| 5.1 確率と言語モデル 5.2 RNN とは 5.3 RNN の実装 5.4 時系列データを扱う 5.5 RNNLM の学習コード 5.6 まとめ |
関連用語
・フィード・フォアード（一方向）
・確率と言語モデル（Language Model）
・条件付き言語モデル（Conditional Language Model）
・確率の乗法定理
・同時確率と事後確率
・CBOWモデルの言語モデル化
・２階マルコフ連鎖
マルコフ性（マルコフモデル、マルコフ連鎖）：機械学習、統計学の分野
・Neural Probabilistic Language Model
・リカレント・ニューラル・ネットワーク
（Recurrent Neural Network: RNN）
循環するニューラル・ネットワーク
・RNNレイヤ（閉じた経路・ループを持つ）
・リカーシブ・ニューラル・ネットワーク（木構造のデータ処理）
・ht = tanh（Ht-1 Wh + Xt Wx + b）：隠れ状態（hidden state）
・BPTT（BackPropagation Through Time）
時間方向に展開したニューラルネットワークの誤差逆伝播法
・Truncated BPTT：適当な長さ（10くらい）で「切り取った」誤差逆伝播法
・RNNレイヤの計算グラフ（順伝播、逆伝播）
・Stateful変数
・RNNを用いた言語モデル（RNNLM）
・Timeレイヤ
・言語モデルの評価
・パープレキシティ：確率の逆数を表し、分岐数や選択肢の数を表す