ミニPCに中古GPUを外付けしたら、ローカルLLMが実用レベルになった話|GEEKOM A8+AG02+RTX 2080 SUPER 実測記録
結論を先に
- ミニPC「GEEKOM A8」に、eGPUドック「AG02」と中古の RTX 2080 SUPER を外付けした。総額 63,200円
- ローカルLLMの生成速度は 最大で約116 tok/s、いま本番運用しているモデルでは 約113 tok/s(並列3)
- 自分の Discord Bot の AI を24時間ローカルで回す用途では、クラウドAPIを卒業できた
「中古GPUの外付けなんて本当に実用になるの?」という疑問に、実測で答える記事です。
なぜやったか
Discord サーバーで常駐する AI Bot を自作して運用しています。最初はクラウドの API を使っていましたが、
- 使うほど料金がかかる
- レート制限に当たる
- モデルやパラメータを自由に試せない
という不満が積もってきました。「どうせ常時稼働させるなら、手元でモデルを回したい」。そこで目を付けたのが、机の上に置いてあるミニPC、GEEKOM A8 でした。
買ったもの
| 品目 | 価格 | 備考 |
|---|---|---|
| Palit RTX 2080 SUPER X 8GB | 28,800円 | Amazon Renewed(整備済み品) |
| AG02(eGPUドック) | 34,400円 | USB4 / OCuLink 両対応 |
| 合計 | 63,200円 |
選定のポイントは3つです。
- NVIDIA を優先:ローカルLLMのエコシステムは CUDA 前提のものが多く、トラブル時の情報量が段違い
- VRAM 8GB は割り切る:試す目的なので、まずは小さく始める
- 返品・保証の条件:この個体は 2027年1月末まで返品可、出品者保証も最低180日。中古GPUは初期不良が怖いので、「安さ」より「ダメだったら戻せること」を優先しました
GEEKOM A8 側の条件
- CPU: Ryzen 7 8845HS
- メモリ: 16GB × 1(DDR5-5600)※空きスロット1
- 接続: USB4(40Gbps)のみ。OCuLink は無い
OCuLink が無いので帯域は USB4 の 40Gbps が上限です。ここが一番の不安要素でしたが、LLM 推論は「モデルを VRAM に載せてしまえば、あとは GPU 内で完結する」タイプの処理なので、実測では致命的な足枷にはなりませんでした(後述)。
セットアップでやったこと
- AG02 に 2080 SUPER を載せて USB4 で A8 に接続
- NVIDIA ドライバ 580.178.04 + CUDA 12.4.131 を導入
- llama.cpp を CUDA 版でビルドして推論
- ファン制御:ヘッドレス環境だと GPU ファンが回らず熱で落ちかけたので、固定50%で回す常駐サービスを自作 → 73℃で安定
4番は地味に重要で、外付けGPUを「サーバーのように無人で回す」なら、温度監視とファン制御は最初に潰しておくべきポイントでした。
実測結果
CUDA 版 llama.cpp での計測です。
- 生成速度:86.6 〜 115.9 tok/s(モデル・設定による)
- プリフィル(入力処理):約 4,465 tok/s
現在、本番の Bot で使っている構成はこちら。
- モデル:Gemma 4 E4B
- 生成 約113 tok/s、並列3リクエストで稼働中
チャットBotの応答としては十分すぎる速さで、体感でもクラウドAPI時代と遜色ありません。コストは電気代だけになりました。
試した中では、Gemma 4 12B(非QAT の UD-Q3_K_XL 量子化)が 128K コンテキスト+MTP 有効で約54 tok/s と、12B級としてはかなり快適でした。「8GB VRAM でも、量子化とモデル選び次第でここまで行ける」というのが一番の収穫です。
ハマりどころ・注意点
- メモリが 16GB × 1枚:モデルを RAM にキャッシュする使い方では心許ない。増設は価格を見て保留中(無理に買う値段ではない)
- A8 の NPU は使えない:チップには載っていますが BIOS で無効化されていて OS から見えません。有効化できても現行ランタイムの対象外世代なので、LLM用途では実質あてにできません
- 中古GPUは個体差:ファンの異音やコイル鳴きは運。だからこそ返品条件を先に確認するのが大事
まとめ:誰に向くか
- 向く人:常時稼働の自作Botや、API課金を固定費(電気代)に変えたい人。中古のリスク管理ができる人
- 向かない人:最新の大規模モデルを最大性能で回したい人(それは素直に新しいGPUを買うべき)
「ミニPC+中古eGPU」という変な組み合わせですが、総額6万円ちょっとで“自分のAI基盤”が持てるのは、やってみると想像以上に快適でした。
次回は、モデル比較の実測(どのモデルが何 tok/s 出るか)を詳しく書く予定です。