自宅サーバー・ローカルLLM・Minecraft Mod開発の実測と記録

2026-11-20 · ローカルLLM GEEKOM eGPU 自作PC 生成AI

ミニPCに中古GPUを外付けしたら、ローカルLLMが実用レベルになった話|GEEKOM A8+AG02+RTX 2080 SUPER 実測記録

結論を先に

「中古GPUの外付けなんて本当に実用になるの?」という疑問に、実測で答える記事です。

なぜやったか

Discord サーバーで常駐する AI Bot を自作して運用しています。最初はクラウドの API を使っていましたが、

という不満が積もってきました。「どうせ常時稼働させるなら、手元でモデルを回したい」。そこで目を付けたのが、机の上に置いてあるミニPC、GEEKOM A8 でした。

買ったもの

品目 価格 備考
Palit RTX 2080 SUPER X 8GB 28,800円 Amazon Renewed(整備済み品)
AG02(eGPUドック) 34,400円 USB4 / OCuLink 両対応
合計 63,200円

選定のポイントは3つです。

  1. NVIDIA を優先:ローカルLLMのエコシステムは CUDA 前提のものが多く、トラブル時の情報量が段違い
  2. VRAM 8GB は割り切る:試す目的なので、まずは小さく始める
  3. 返品・保証の条件:この個体は 2027年1月末まで返品可、出品者保証も最低180日。中古GPUは初期不良が怖いので、「安さ」より「ダメだったら戻せること」を優先しました

GEEKOM A8 側の条件

OCuLink が無いので帯域は USB4 の 40Gbps が上限です。ここが一番の不安要素でしたが、LLM 推論は「モデルを VRAM に載せてしまえば、あとは GPU 内で完結する」タイプの処理なので、実測では致命的な足枷にはなりませんでした(後述)。

セットアップでやったこと

  1. AG02 に 2080 SUPER を載せて USB4 で A8 に接続
  2. NVIDIA ドライバ 580.178.04 + CUDA 12.4.131 を導入
  3. llama.cpp を CUDA 版でビルドして推論
  4. ファン制御:ヘッドレス環境だと GPU ファンが回らず熱で落ちかけたので、固定50%で回す常駐サービスを自作 → 73℃で安定

4番は地味に重要で、外付けGPUを「サーバーのように無人で回す」なら、温度監視とファン制御は最初に潰しておくべきポイントでした。

実測結果

CUDA 版 llama.cpp での計測です。

現在、本番の Bot で使っている構成はこちら。

チャットBotの応答としては十分すぎる速さで、体感でもクラウドAPI時代と遜色ありません。コストは電気代だけになりました。

試した中では、Gemma 4 12B(非QAT の UD-Q3_K_XL 量子化)が 128K コンテキスト+MTP 有効で約54 tok/s と、12B級としてはかなり快適でした。「8GB VRAM でも、量子化とモデル選び次第でここまで行ける」というのが一番の収穫です。

ハマりどころ・注意点

まとめ:誰に向くか

「ミニPC+中古eGPU」という変な組み合わせですが、総額6万円ちょっとで“自分のAI基盤”が持てるのは、やってみると想像以上に快適でした。

次回は、モデル比較の実測(どのモデルが何 tok/s 出るか)を詳しく書く予定です。

← 記事一覧へ