エンベディング（Embedding、埋め込み）とは、単語や文章、画像といったデータを、数百から数千の数値が並んだベクトルに変換する技術である。意味が近いものほどベクトル同士の距離が近くなるように変換される点が本質で、これによりコンピュータは「言葉の意味の近さ」を計算で扱えるようになる。生成AIの検索機能やレコメンド、異常検知など、現在のAI応用の土台を支える仕組みだ。
従来のコンピュータは、文字列が完全に一致するかどうかしか判断できなかった。「自動車」と「クルマ」は人間には同じ意味でも、文字列としては別物として扱われる。エンベディングはこの壁を越え、両者を座標空間上の近い点として表現する。検索キーワードと文書が一字も一致していなくても、意味が近ければ関連づけられるのはこのためである。
エンベディングの仕組み
エンベディングは、学習済みのニューラルネットワークにデータを入力し、その中間層から得られる数値の並びを取り出すことで生成される。この数値の並びをベクトルと呼び、長さは用いるモデルによって異なるが、384次元や1536次元といった規模が一般的である。
重要なのは、この数値が人手で設計されたものではないという点だ。モデルは大量のテキストを学習する過程で、「同じような文脈に現れる語は意味も近い」という分布仮説に沿った表現を自動的に獲得する。結果として、「王」から「男性」を引いて「女性」を足すと「女王」に近いベクトルが得られる、といった意味の演算が成立することが知られている。
生成されたベクトル同士の近さは、コサイン類似度やユークリッド距離で測る。コサイン類似度は2つのベクトルがなす角度に着目する指標で、値が1に近いほど意味が近いと判断される。ベクトルの長さではなく向きを見るため、文章の長短に左右されにくいという利点があり、実務では最もよく使われる。
エンベディングの種類
対象とするデータによって、いくつかの系統に分かれる。
- 単語エンベディング：単語1つを1つのベクトルに対応させる方式。Word2VecやGloVeが代表例で、文脈によらず同じ単語には常に同じベクトルが割り当てられる
- 文脈エンベディング：前後の文脈に応じてベクトルが変化する方式。「花が咲く」と「話に花が咲く」の「花」を区別できる
- 文・文書エンベディング：文章全体を1つのベクトルにまとめる方式。検索や分類で用いられる
- マルチモーダルエンベディング：画像と文章を同じ空間に配置する方式。「犬の写真」というテキストで犬の画像を検索できる
単語単位の手法は意味の曖昧さに弱く、現在の実務では文脈を考慮する方式が主流となっている。
エンベディングのメリット
第一に、表記のゆれや言い換えに強い検索が実現できる。キーワードの完全一致に頼らないため、「解約したい」という問い合わせから「退会手続きについて」という文書を見つけ出せる。日本語は漢字・ひらがな・カタカナの表記ゆれが多く、この特性は特に効果が大きい。
第二に、扱いにくいデータを数値として統一的に処理できる。文章も画像も音声も、いったんベクトルに変換してしまえば、同じ計算手法で類似度の判定やクラスタリングにかけられる。分類器の入力としてもそのまま利用できる。
第三に、生成AIに社内の知識を参照させる基盤になる。社内文書をあらかじめベクトル化して蓄えておき、質問文のベクトルと近い文書を取り出して大規模言語モデルに渡す仕組みが、検索拡張生成（RAG）である。モデルを再学習させずに独自の知識を反映できるため、導入の負担が小さい。
エンベディングのデメリット・注意点
意味の近さは学習データに依存する。専門用語や社内固有の略語は、汎用モデルの学習データにほとんど含まれていないため、適切なベクトルにならないことがある。業界特有の語彙を扱う場合は、その分野のデータで追加学習したモデルを検討する必要がある。
また、ベクトルは人間が読んで意味を理解できない。1536個の数値を見ても、なぜその2つが似ていると判定されたのかを説明できない。検索結果が期待と違ったとき、原因の切り分けが難しいという運用上の課題がある。
保存容量と計算コストも無視できない。1536次元のベクトルを4バイト精度で持つと1件あたり約6キロバイトとなり、100万件で6ギガバイト規模になる。件数が増えるほど類似度計算の負荷も上がるため、近似最近傍探索による高速化や、次元を削減する量子化といった対策が前提となる。
さらに、モデルを変更するとベクトルの互換性が失われる。別のモデルで作ったベクトル同士は同じ空間に属さないため比較できず、モデルを更新する際は全データの再変換が必要になる。運用開始前にモデル選定を固めておくべき理由がここにある。
エンベディングの活用例
- 社内文書検索：規程やマニュアルをベクトル化し、自然な言い回しの質問で該当箇所を探す
- RAGによる問い合わせ対応：質問に関連する文書を取り出し、それを根拠に生成AIが回答する
- レコメンド：閲覧履歴のベクトルと商品のベクトルを突き合わせ、好みに近い商品を提示する
- 重複・類似の検出：問い合わせ内容をベクトル化し、既存チケットとの重複を自動判定する
- 異常検知：通常のログのベクトル分布から外れたものを異常候補として抽出する
- 分類の自動化：メールや問い合わせをベクトル化し、担当部署へ自動で振り分ける
エンベディングとキーワード検索の違い
| 観点 | エンベディング検索 | キーワード検索 |
|---|---|---|
| 照合の基準 | 意味の近さ | 文字列の一致 |
| 表記ゆれ | 強い | 弱い |
| 固有名詞・型番 | 弱い | 強い |
| 処理速度 | ベクトル計算が必要で重い | 索引参照で軽い |
| 結果の説明 | 困難 | 一致箇所を示せる |
| 事前準備 | ベクトル化と保管が必要 | 索引の作成のみ |
両者は優劣ではなく得意分野が異なる。型番や人名のように一字一句が意味を持つ検索では、キーワード検索のほうが確実である。そのため実務では、両方の結果を統合するハイブリッド検索が採用されることが多い。
エンベディングを扱う際のポイント
文書をベクトル化する前に、適切な長さへ分割する作業が結果を大きく左右する。長すぎる文書を1つのベクトルにまとめると複数の話題が混ざって特徴がぼやけ、短すぎると文脈が失われる。見出し単位での分割や、前後を少し重ねて切る手法が用いられる。
モデル選定では、次元数の大きさだけで判断しないことが重要である。次元が多いほど表現力は高いが、保存容量と計算量も増える。日本語を扱うなら、日本語データを十分に学習したモデルかどうかを実際の自社データで検証してから決めるべきだ。
ベクトルの保管には、専用のベクトルデータベースか、既存データベースのベクトル拡張機能を用いる。件数が数万程度なら既存の仕組みで足りることも多く、規模に見合わない構成を先に導入しないほうがよい。
精度の評価は、実際の検索ログから代表的な質問と正解文書の組を用意し、上位に正解が含まれる割合で測る。体感に頼らず数値で確認する仕組みを作っておくと、モデルや分割方法を変えた際の良し悪しを判断できる。
まとめ
- エンベディングは、データを意味の近さが距離に反映されたベクトルへ変換する技術である
- 文字列の一致に頼らないため、表記ゆれや言い換えに強い検索を実現できる
- RAGをはじめ、生成AIに独自の知識を参照させる仕組みの土台となっている
- 専門用語に弱い、結果を説明しにくい、保存と計算のコストがかかるという制約がある
- モデルを変更すると互換性が失われるため、選定は運用開始前に固めておく
- 文書の分割方法と評価の仕組みづくりが、実用上の精度を決める要点となる