うちの子（Local AI)についてのメモ
mishima.bio ここ2年ほどローカルAIについて色々とやってきたが、仕様が落ち着いたので書いておこうと思う。
| 以前 | 現在 | |
| 本体 | Dell XPS 8920 | Dell Precision 5910 |
| CPU | i7-7700 | Xeon E5-1620 v3→Xeon E5-2630 v4 |
| メモリ | DDR4-2400/32 GB | PC4-17000/DDR4-2133 ECC RDIMM 16GB→48GB |
| GPU | Nvidia GTX1060(6GB) | Tesla P100(12GB)+Nvidia GTX1060(6GB) |
| ドライブ | SATA SSD(256GB) | SATA SSD(256GB)→NVME m.2. (256GB) |
| OS | Windows 11 Pro | Ubuntu 26.04 CUI |
| AIプラットフォーム | Ollama/Openweb UI/Stable Diffusion | Ollama/Openweb UI/Stable Diffusion |
| その他 |
AIモデルはいくつか試したけど、現在下記で落ち着いている。
・gemma4:26b-a4b-it-qat（1回目に40〜50秒待つけどそのあとは目で追うよりやや早い）
・qwen3.6-35b-a3b-mtp-q4_K_M（1回目に40〜50秒待つけどそのあとは目で追える程度）
・qwen2.5:14b-instruct-q4_K_M（1回目に10〜20秒待つけどそのあとは数秒で表示が始まる。目で追うより早い。）
この中でも簡単な内容はqen2.5、複雑なものはgemma4を使うことが多い。大型モデルはMoEモデルとしているのでこんな貧弱なGPU環境でも出だしは悪くなくそれなりに使える。（Ai）
あと学内関係者が構築したものもテストで使用させていただいている。（仕様は内緒、gpt-oss:20bだけど爆速！）
以前は普段使いのMac mini M1(16GM)にも4bモデルを入れて使っていたが、結局精度が合わずやめている。（Bonsaiも試したけど、スピードはともかく残念な結果だった。）
クライアントは色々試したけど
普段使い：Chatbox
高度な内容：Antigravity（Geminiをちょっと使うけどローカルを使うようソケット作ったらほとんどGeminiのトークンは使わなくなった）/ AnythingLLM（RAGやるならとAIに勧められたけどChatboxで事足りそうで、あまり使ってない）という状況だ。
最近の学生さんは就活のためにChatGPTに課金して色々とやっており、ゼミでも綺麗なスライドを生成して見せてくれる。（うちでは大いに勧めている）課金ができない学生にはうちのを使ってもらおうと思っているが、あんまり使ってはくれてないみたい。
