書籍２　７章

関連用語

・seq2seq（from sequence to sequence：時系列から時系列）

・seq2seq を用いたアプリ：機械翻訳、音声認識、文書生成

・文書生成の手順　WS → TimeEmbeddinng → TimeLSTM → TimeAffine →
　 TimeSoftmaxWithLoss → Loss

・文書生成の流れ
（１）文の先頭の単語を与える
（２）次にくる単語を選ぶ（繰り返す）
　　　選択方法　①一番確率の高い単語　②確率分布に従う

・seq2seq　２つのRNN（LSTM）を利用する
　Encoder － Decoderモデル

・可変長の時系列データ：最大値を設定し、空いた場所にパディングを用いる
　Decoder にマスク機能が必要

・足し算データセット
　Encoder クラス
　Decoder クラス
　seq2seq クラス

・seq2seq の評価

・seq2seq の改良　正解率90％越え
（１）入力データの反転　
（２）覗き見　Peeky Decoder

・seq2seq を用いたアプリ：
　機械翻訳
　自動要約
　メールの自動返信
　質疑応答・チャットボット（人間とコンピュータがテキストで会話する）
　アルゴリズムの学習（Python プログラムの解釈、実行）
　イメージキャプション（画像を文章に変換する）