Local LLM Plugin

言語モデルをUE5でローカル実行

製品概要

この製品は、オンラインサービスを使用せずにAIチャットボットをゲームに組み込むことを目的に開発されました。

GGUF形式の大規模言語モデル(LLM)をロードしてUnreal Engine上で実行できます。

・ローカルPC上でオフラインで動作します。
・アクターにコンポーネントを一つ追加するだけで動作します。
・Pythonや専用サーバは必要ありません。

・非同期に動作し、回答の生成中にいつでも追加の質問をすることができます。
・LLMとの会話の文脈を保持した「状態」のセーブとロードが可能で、以前の会話の続きを後から再開できます。
・マルチバイト文字が使用可能です。

複数のNPCとの会話シーンのサンプルを無料で配布しています。
精度やパフォーマンスをお確かめください。