業界注目の日本発のローカルLLM
Tanuki-8x8Bを動かそう

技術コラム
業界注目の日本発のローカルLLM「Tanuki-8x8B」を使用した動作手順を解説。
必要なハードウェアやDocker環境の構築方法、基本スクリプトの実行について詳しく紹介します。

当社技術スタッフによる、連載コラムです。

業界注目の日本発のローカルLLM「Tanuki」

昨今、ChatGPTやGemini、Claudeなどのような言語生成AIの盛り上がりは、
みなさまも目の当たりにしていることかと思います。
そんな中、自前の環境（ローカル）でこういった言語モデルを動かす、
「ローカルLLM（Large Language Models、大規模言語モデル）」も進歩が目まぐるしいです。

このローカルLLM向けに、先日、純国産のTanukiが発表されました。
こちらのモデルは商用利用可能で、日本語の受け答えにおいては非常に精度も高く、注目度が高いです。

本コラムでは、2種の公開モデルうち、高精度版の「Tanuki-8x8B」をPCで実際に動かすまでの詳細手順や、
GATで取り扱っている各種GPUサーバーでも実際に試行し、その簡易なベンチマークを記します。

 

《画面イメージ》

 

技術コラムはこちら