「統計処理及び機械学習に基づくデータマイニング勉強会 #01」に参加してきました

タイトル

統計処理及び機械学習に基づくデータマイニング勉強会 #01 - connpass　（2015.2.26）

主催

梅染充男（@dr4caena）

会場

東京都渋谷区恵比寿南3-5-7 代官山DGビル9F
株式会社デジタルガレージセミナールーム

Twitter

#study_np のツイート

統計処理及び機械学習に基づくデータマイニング入門

発表者: ナビプラス株式会社 宮本隆志（@tmiya_）

きたー。 http://t.co/cGIdT9fJDf #study_np (@ Digital Garage (デジタル ガレージ)) https://t.co/5WOVzHvm0W pic.twitter.com/K4GYsUctnW

— Yuta Okamoto (@okapies) February 26, 2015

【講義】

http://nbviewer.ipython.org/github/takashi-miyamoto-naviplus/spml4dm/blob/master/1/study_np_01.pdf

• インフラとか実務的な話はしない。
• メインに Python を使う。Anaconda-2.1.0 で説明する。
• アルゴリズムの詳細については、「2014年 パターン認識と機械学習勉強会（全23回）」の資料 を参照
• 前半は統計処理とか機械学習の手法についての講義、後半は Pythonのハンズオン。
• データマイニング全般
• 「データマイニング手法」（Data Mining Techniques, 3rd edition の和訳版）

データマイニング手法―営業、マーケティング、CRMのための顧客分析

• 購買心理を読み解く統計学（豊田秀樹）
  • 世の中にどんな統計手法があるのか？が分かる入門書

購買心理を読み解く統計学―実例で見る心理・調査データ解析28

• 統計学
  • 東大出版の統計学3冊どれでも

統計学入門 (基礎統計学)

• 機械学習
  • 有名なビショップの本上下

パターン認識と機械学習 上

• • データマイニングの基礎

データマイニングの基礎 (IT Text)

• Pythonでの機械学習

Learning Scikit-Learn: Machine Learning in Python: Experience the Benefits of Machine Learning Techniques by Applying Them to Read-World Problems Using Python and the Open S

• データマイニングのステップ
  • データの準備（データの取得、前処理、集計）
  • モデルの適用
  • モデルの評価・検証
  • 各局面での視覚化
• 代表的なモデル
  • 回帰分析
  • クラスタリング
  • アソシエーション分析
• 検証
  • オッカムの剃刀
  • 交差検証（cross validation）、ホールドアウト検証

• 線形回帰モデル
  • 最小二乗法
• 理論を学ぶのは、ライブラリを使って一発でうまくいかなかった場合にどこが悪いのかを考えられる
• 正則化最小二乗法
  • パラメータwに対するペナルティとして働き、モデルの複雑さを減らす
  • Lassoで上手くいかない場合は、ElasticNetというライブラリを使うといいかも
• 情報量基準
  • 「モデルの複雑さ」と「データの適合度」のバランスを取ることが必要
  • AIC（赤池情報量基準）, BIC（ベイズ情報量基準）

• なぜ Python？
  • GUIベースだと文章で説明しづらい
  • IPythonのノートブック形式で公開
  • 数値計算に便利なライブラリ一式が揃った Anacondaを使う
  • 使用するライブラリ
    • matplotlib
    • numpy
    • scipy
    • pandas
    • scikit-learn・・・機械学習用ライブラリ
    • statsmodels・・・統計処理ライブラリ

【ハンズオン】

Anaconda インストール（Mac環境）

ちなみに現在の環境は、

• OS X 10.9.5
• Python 2.7.5

を参考に、Anaconda を事前にインストールしておきます。

http://continuum.io/downloads

「Mac OS X — 64-Bit Python 2.7 Graphical Installer」をクリック。

ダウンロードできたら、「Anaconda-2.1.0-MacOSX-x86_64.pkg」をダブルクリックします。

IPython Notebookを使う

まずは、

を参考に、Mac で IPython Notebook を使えるようにしておきました。

sudo pip install -U ipython
sudo pip install pyzmq tornado jinja2

ハンズオンの Notebook を起動する

cd ~/temp/
git clone https://github.com/takashi-miyamoto-naviplus/spml4dm.git
cd spml4dm/

ipython notebook

すると、8888番ポートで Notebook が起動し、Safari が開きます。

上から順番にセルにカーソルを合わせて、
「Run Cell」をクリックしていけば、どんどん実行されていきます。

これは楽チン。

Pythonスクリプトは実行できないのですが、ブラウザで
http://nbviewer.ipython.org/github/takashi-miyamoto-naviplus/spml4dm/blob/master/1/aic.ipynb
にアクセスすると、ハンズオンのドキュメントを見ることはできるようです。

でも、boston のハンズオンを実行しようとすると、、

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from sklearn import datasets
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<ipython-input-1-bf40fb4ac6f0> in <module>()
      2 import numpy as np
      3 import matplotlib.pyplot as plt
----> 4 import pandas as pd
      5 from sklearn import datasets

ImportError: No module named pandas

というエラーが。

Anaconda インストールしたのに、おかしいなぁ。。
ちょっと調べてみよう。

（2015/3/11追記）

を参考に、

rm -rf ~/anaconda

でアンインストール（削除）してから、再度インストーラで入れなおすと、エラーは出なくなりました。

何だったんだろう。。