AIに「記憶」を教えた革命技術、RNNとは？
AIが文章を翻訳し、自然な対話を行う。その裏側では「順番」に意味がある情報をどう扱っているのでしょうか？この課題を解決したのがRNN（再帰型ニューラルネットワーク）です。この記事では、RNNを使った翻訳モデルを例に、AIが文脈を理解する仕組みをステップ・バイ・ステップで解き明かします。
1. 翻訳AIの基本設計図：エンコーダ＆デコーダ
RNNを用いた翻訳モデルは、`seq2seq`（sequence-to-sequence）と呼ばれ、2つのRNNから成る専門家チームのような構造をしています。
- エンコーダ（情報の読書家）: 原文（日本語）を読み解き、その意味や文脈を「記憶」することに専念します。
- デコーダ（才能ある作家）: エンコーダが作った「記憶」を元に、訳文（英語）をゼロから書き起こすことに専念します。
この2人が連携することで、翻訳は行われます。では、具体的にどのようなフローで処理が進むのでしょうか。
2. ステップ・バイ・ステップで見る翻訳フロー
「今日の天気は晴れ」という文章が翻訳されるプロセスを、4つのステップで見ていきましょう。
ステップ1：単語を数値に変える「Embedding」
まず、コンピュータは「今日」や「天気」といった単語をそのまま扱えません。そこで、各単語を意味を持つ数値のリスト（ベクトル）に変換します。これが「単語の埋め込み（Word Embedding）」です。
Embeddingとは？AI・自然言語処理の基幹技術をわかりやすく解説｜仕組みから応用まで
Embeddingの賢さ 💡
Embeddingは、単に単語を数字に置き換えるだけではありません。単語の意味的な近さを、ベクトル空間上の距離として表現します。例えば、「王様」と「女王様」、「歩く」と「走る」といった関連性の高い単語は、互いに似たベクトル（近い位置）に変換されます。
ステップ2：エンコーダが原文を「記憶」する
次に、ベクトル化された単語がエンコーダ（RNN）に一つずつ入力されます。エンコーダは、その心臓部である「再帰ループ」を使って、文脈を記憶していきます。
RNNの心臓部：再帰ループの仕組み
RNNのループ処理は、「現在の入力」と「過去の記憶（一つ前の隠れ状態）」の2つの情報から、「新しい記憶（現在の隠れ状態）」を計算するプロセスです。数式で表すと以下のようになります。
これは、新しい単語（x_t）と直前の文脈（h_{t-1}）を、重み（W_x, W_h）を使って適切に混ぜ合わせ、次の文脈（h_t）を作り出していることを意味します。エンコーダは、この処理を単語の数だけ繰り返し、原文全体の情報を凝縮した「記憶のリスト」を完成させます。
ステップ3：デコーダがAttentionで原文を「カンニング」する
エンコーダが記憶リストを作り終えると、デコーダ（RNN）の出番です。デコーダは訳文を1単語ずつ生成しますが、その際にAttentionメカニズムが決定的な役割を果たします。
Attentionは、デコーダが単語を一つ出力するたびに、エンコーダが作った記憶リストのすべてを見渡し、「今、原文のどの部分に注目（Attention）すべきか？」を動的に判断します。
ステップ4：モデル全体が「学習」する仕組み
AIは、最初から完璧な翻訳ができるわけではありません。膨大な翻訳データを使って学習します。この学習プロセスも、ニューラルネットワークの基本サイクルに沿っています。
AIの頭脳「ニューラルネットワーク」とは？仕組みと進化を支える必須技術を徹底解説
- 順伝播: まず、モデルは現在の設定で一度翻訳をやってみます（ステップ1〜3）。
- 損失関数: モデルの出力（訳文）と正解の訳文を比較し、間違いの大きさ（損失）を計算します。
- 誤差逆伝播法 (BPTT): 損失の原因を探るため、間違いをデコーダからエンコーダへと逆方向に伝播させます。RNNではこれを時間を通した誤差逆伝播（BPTT）と呼び、どの重みが間違いの原因だったかを突き止めます。
- 最適化: 特定した原因に基づき、最適化アルゴリズム（Adamなど）がモデル全体の重みを微調整し、少しだけ賢くします。
このサイクルを何百万回と繰り返すことで、AIは徐々に翻訳の精度を高めていきます。
3. RNNの限界と次世代への進化
「RNN + Attention」は一時代を築きましたが、計算速度が遅いという課題がありました。このRNNの逐次処理という制約を取り払い、Attentionの能力を最大限に引き出したのが、現代AIの基盤となっているTransformerです。
RNNを理解することは、それを乗り越えるために生まれたLSTMやGRU、そしてTransformerへと至る、AIの壮大な進化の物語を理解するための第一歩なのです。
