MoE

MoE（Mixture of Experts）は、複数の専門家モデルを組み合わせ、入力に応じて最適なエキスパートを選択して処理するニューラルネットワークアーキテクチャである。GPT-4やGeminiなど最先端LLMに採用され、計算効率とパラメータ規模の両立を実現する。