Python3環境の準備
データ解析基盤Mac で Python3 環境での開発を行う準備を環境を準備した際の備忘録。Anacondaなどを利用すれば一発で入るけど、サーバー環境に移行する場合にコンフリクトするのが面倒なのと自身の理解のためにいちからやってみる。まずは『パッケージ管理システム Homebrew - Qiita』を見ながら Homebrew をインストール。続いて Python3のインストール。
$ brew install python3 $ pip3 install --upgrade setuptools $ pip3 install --upgrade pip $ brew linkapps
.bash_profileに以下の記述を行って、デフォルトで利用するPythonを3系にする。
alias python="/usr/local/bin/python3" alias pip="/usr/local/bin/pip3"
シェル設定を有効可して、PythonとPipのバージョンを確認。
$ . .bash_profile $ python --version Python 3.6.0 $ pip --version pip 9.0.1 from /usr/local/lib/python3.6/site-packages (python 3.6)
仮想環境を作成して必要なパッケージをインストール
ライブラリを独立管理するための仮想環境を作成。Python2系の頃はサードパーティツールの virtualenv を使うイメージがあったけれど、Python3 では組み込みの venv を使うのがよいらしい。
$ python -m venv ./data_analysis $ cd data_analysis $ . bin/activate (data_analysis) $
数値計算ライブラリの numpy、データ解析基盤の pandas をインストール。
(data_analysis) $ pip install numpy (data_analysis) $ pip install pandas
NumpyとPandasで正規分布乱数表を生成して簡易分析
いよいよ pythonでプログラミング。NumpyとPandasで正規分布乱数表を生成して簡易分析させてみる。
import pandas as pd import numpy as np ## 10行5列の正規分布乱数を生成 r = np.random.randn(10,5) # カラムにA〜Eを割り付けてデータフレームを作成 df = pd.DataFrame(r, columns=list("ABCDE")) # 乱数表を表示 print(df) # 分析概要を表示 print(df.describe())
これだけで、正規分布の乱数を生成して要素数、平均、標準偏差、最小、25パーセンタイル、中央値、75パーセンタイル、最大値を出力させられる。
(data_analysis) $ python test.py A B C D E 0 -0.475664 -0.279614 0.769798 -0.842362 -0.990630 1 -1.515329 0.359877 -1.012964 -0.902889 -0.422315 2 -1.005066 -0.744064 -1.739727 0.370189 -0.788447 3 1.084547 -0.669911 0.869942 -0.593359 -0.729903 4 -0.994824 0.976057 2.317380 2.101970 -0.527500 5 1.189061 -0.938198 0.397261 0.396541 -0.773025 6 1.355600 -0.279438 2.599107 0.020310 -0.942765 7 0.109022 -0.436186 -0.796743 0.610479 0.330171 8 0.889160 -0.721003 -0.592103 -0.919960 0.508450 9 -0.488005 -0.230929 1.244978 2.349501 -0.175396 A B C D E count 10.000000 10.000000 10.000000 10.000000 10.000000 mean 0.014850 -0.296341 0.405693 0.259042 -0.451136 std 1.053487 0.577961 1.436626 1.185935 0.520875 min -1.515329 -0.938198 -1.739727 -0.919960 -0.990630 25% -0.868119 -0.708230 -0.745583 -0.780111 -0.784592 50% -0.183321 -0.357900 0.583529 0.195250 -0.628702 75% 1.035700 -0.243057 1.151219 0.556995 -0.237126 max 1.355600 0.976057 2.599107 2.349501 0.508450
サンプル数が少ないとばらつきが大きいので1000行づつ生成させて表示。
import pandas as pd import numpy as np r = np.random.randn(1000,5) df = pd.DataFrame(r, columns=list("ABCDE")) print(df.describe())
実行。標準偏差は限りなく1に近づき。正規分布にしたがったパーセンタイルになる。
(data_analysis) $ python test.py A B C D E count 1000.000000 1000.000000 1000.000000 1000.000000 1000.000000 mean 0.033938 -0.023520 0.030100 -0.017647 -0.006550 std 0.990832 0.972516 0.994633 0.997848 0.987670 min -3.689006 -3.528158 -2.744848 -3.627054 -3.991040 25% -0.617739 -0.700103 -0.640078 -0.633762 -0.632677 50% -0.013711 -0.056635 0.043262 -0.020641 -0.011819 75% 0.647932 0.617857 0.714928 0.599148 0.679650 max 3.535475 3.768816 2.684675 2.929153 3.028185
Pythonでグラフを表示
グラフ表示を可能とするために matplotlib をインストール。
(data_analysis) $ pip install matplotlib
乱数配列をヒストグラム化するプログラムを作成。
import pandas as pd import numpy as np import matplotlib.pyplot as plt # ヒストグラムのY軸を正規化（確率）して表示させる関数 def show_normed_hist(data, title, xlabel, ylabel, bins): plt.hist(data, normed=True, bins=bins) plt.title(title) plt.xlabel(xlabel) plt.ylabel(ylabel) plt.show() r = np.random.randn(1000,5) df = pd.DataFrame(r, columns=list('ABCDE')) print(df.describe()) show_normed_hist(r, 'Histgram', 'n', 'prob', 50)
下記のコマンドでプログラムを実行。
(data_analysis) $ python test.py & [1] 40776
グラフ表示を終了させるまでシェルの制御が戻ってこなくなるため、"&" を付けてバックグラウンド実行とする。
ヒストグラムの表示結果。2次元配列を渡しても matplotlib 側で制御してくれる。
scikit-learn のインストール
続いて機械学習ライブラリの scikit-learn をインストールする。普通にPIPインストールすると失敗するので調べたら、SciPy が必須とのこと。
Python (>= 2.6 or >= 3.3),
NumPy (>= 1.6.1),
SciPy (>= 0.9).
Installing scikit-learn — scikit-learn 1.0.2 documentation
先に SciPy をインストールしてから scikit-learnをインストール。scikit-learnは途中でコンパイルが必要となるため、sudoで実行する。
(data_analysis) $ pip install scipy (data_analysis) $ sudo pip install scikit-learn
scikit-learn でクラスタリング
乱数配列を Kmeans法でクラスタリングするプログラムを作成。
import pandas as pd import numpy as np from sklearn.cluster import KMeans ## Kmeans 表示 def show_kmeans(data): # Kmeas kmeans_model = KMeans(n_clusters=3, random_state=10).fit(data) # クラスタラベルを結合 df = pd.concat([pd.DataFrame(kmeans_model.labels_, columns=['Label']), data], axis=1) print(df) r = np.random.randn(10,5) df = pd.DataFrame(r, columns=list('ABCDE')) show_kmeans(df)
前回インストールした pandas で配列同士を結合すると便利。
(data_analysis) $ python test.py Label A B C D E 0 0 0.462018 1.573145 1.356272 2.077497 -0.442880 1 0 0.105133 0.314921 1.316209 1.887002 1.163974 2 1 -1.092522 1.290340 1.187348 -1.262344 0.037429 3 0 0.733690 -0.245179 0.304962 0.459715 1.306258 4 0 0.570241 -0.238423 0.353163 0.241814 0.874983 5 1 -0.420605 -0.783803 0.036591 -1.197135 -0.534035 6 1 -0.691496 0.767393 -0.682319 -1.080912 0.580725 7 2 2.951777 0.570069 -0.311573 -0.072250 -1.133658 8 0 0.932389 0.179889 0.166576 0.873454 -0.396965 9 0 0.156743 -0.671090 1.227245 -0.024907 0.041011
結果を表示。なんとなく特徴のある行ごとにクラスタリングできたっぽい。
