世界的に利用されるローカルAI推論エンジン「llama.cpp」のメンテナ（WebGPU担当）に就任

NTT OSSセンタの吉村仁志 研究員が、オープンソースのローカルAI推論エンジン「llama.cpp」のメンテナに就任しました。

llama.cppは、大規模言語モデル（LLM）をラップトップやスマートフォンなどの端末上で動作させることを可能にする、軽量かつ高性能な推論エンジンです。クラウドに依存せず手元の端末でLLMを活用できることから、プライバシー保護やセキュリティ確保、コスト削減が求められる領域での重要な基盤技術となっています。また、世界中で広く利用されている代表的なAIツール「Ollama」の中核技術としても採用されており、NTTグループ会社でも活用されています。

メンテナ就任に当たっては、llama.cppをChromeやSafariなどのウェブブラウザ上で、LLMを高速に実行するための技術領域（WebGPU）において、行列積※1の高速化やMoEモデル※2への対応など、多大な貢献をしたことが評価されました。この技術により、ブラウザを開くだけで手元の端末上でLLMを活用できるようになり、容易に利用可能かつ安全性の高いLLM環境の実現が期待されます。

^※1行列積：
LLMの推論処理の大部分を占める、多次元の数値配列同士の掛け合わせ処理。この高速化が推論速度向上の鍵となる。

^※2MoE（Mixture-of-Experts）モデル：
LLMのモデル設計の一つ。必要な部分だけを選択的に使うことで、高い性能を保ちながら高速に動作する。最先端のモデルでも採用されている代表的な設計。