- 導入pdf
- 情報の変換過程のモデル化
- ベイズ統計と例題(機械翻訳など)
- 教師あり学習と教師なし学習
- 識別モデルと生成モデル
- 最尤推定、MAP推定
- データの性質と表現
- Bayes推論pdf
- Bayesによる確率分布推定の考え方
- 多項分布、ディリクレ分布
- 事前分布としてのディリクレ分布の意味
- 1次元正規分布と事後分布
- 多次元正規分布
- 条件付き正規分布
- 指数型分布族
- 自然共役事前分布の最尤推定
- 線形回帰および識別pdf
- 線形回帰のモデル
- 正則化項の導入
- L2正則化
- L1正則化
- 正則化項のBayes的解釈
- 線形識別
- 2乗誤差最小化の線形識別の問題点
- 生成モデルを利用した識別
- 学習データと予測性能pdf
- 過学習
- 損失関数と Bias,Variance, Noise
- K-Nearest Neighbor法への応用
- bias2とvarianceの間のトレードオフの線形回帰への応用
- サポートベクターマシン(SVM)とカーネル法pdf
- サポートベクターマシン(SVM)の最適化問題としての定式化
- 双対問題化
- SVMの定式化ー境界面で完全に分離できる場合
- KKT条件
- 双対化の御利益
- SVMの定式化 境界面で完全に分離できない場合
- SVM実装上のアルゴリズムの工夫
- SVMによる回帰
- カーネル関数
- オンライン学習pdf
- オンライン学習の定式化
- オンライン学習の評価法
- パーセプトロン
- Passive Aggressive Algorithm
- バッチ、オンライン、ストリームの比較
- 大規模データの線形識別pdf
- データの性質
- 正則化項＋損失の最小化
- 双対化
- Pegasos
- Trust Region Newton Method(TRON)
- Coordinate Descent
- 最適化と学習アルゴリズムpdf
- 記法
- 勾配降下法
- 最急降下法アルゴリズム
- 直線探索
- 劣勾配(sub-gradient)の利用
- ニュートン法
- 確率的勾配降下法：Stochastic Gradient Descent(SGD)
- クラスタリングpdf
- 距離あるいは類似度
- 階層型クラスタリングアルゴリズム
- K-means法
- モデル推定pdf
- K-means の形式化
- 潜在変数を考慮する推論
- 経験ベイズ法
- EMアルゴリズム
- EMの適用例：混合正規分布
時間があれば以下も話します - KL-divergence
- 変分ベイズ法
- Expectation Propagation
- ノンパラメトリックベイズ推定pdf
- マルコフ連鎖モンテカルロ法:MCMCpdf
- Sampling法の必要性
- EMのQ計算をsamplingで置き換える方法
- 次元の呪い
- MCMC の基本アイデア
- Metropolis アルゴリズム
- Metropolis-Hastings アルゴリズム
- Gibbs Sampling
- 付録
