LLMキャッシュ

LLMキャッシュは大規模言語モデルへの問い合わせ結果を保存し、同一・類似リクエストに再計算なしで応答する技術。コスト削減とレイテンシ短縮を同時に実現する。