大容量VramでローカルLLM>Radeon‐RX7900XT‐20GB

LLMの時代到来

AIの頭脳に当たるLLMを個人のPCにダウンロードして使う、ローカルLLMが近年賑わいを見せています。

claude codeと違い、月額課金が掛からないのが最大のメリットです。

しかしその処理に必要なグラフィックボードが最近値上がり始めています。

16GBモデルは早い段階から値上げされ、今から新品を購入するには高いハードルがあります。

特にCudaが使用できるNvidia製は高嶺の花…..

ということで、Radeonグラボで大容量Vram搭載したグラボはないか?

と探したところありました。

Radeon‐RX79000XT‐20GBです。中古を許容できる方には最適な選択肢だと思います。

rx5700xt

下がrx7900XT。どんどんでかくなってます

Radeon‐RX7900XT‐20GBの利点

  • 大容量Vram20GB
  • 中古で10万円以下
  • LLM、comfy(画像生成)で使用可
  • ゲーム性能はRTX5070やRX9070xtとほぼ同性能
  • 低負荷時にファンストップ

デメリット

  • 新品入手不可
  • グラボステイ必須

◎:VRAM20GB

ローカルLLMで一番重要なのが、VRAMです。

いくら処理性能が高くても、LLMがVRAMに入れなければ意味がありません。

容量は大きければ大きいほど良いのです。

具体的に見ていくと下記になります。

LLM

これは数あるLLMのほんの一例です。

例えば庶民が現実的に入手できるグラボにRTX5070TIの16GBがあります。

そして2026/8月現在、ミドルクラスレベルのLLMにqwen3.8 27Bがあります。

ですがこのモデルは16.52GBを必要とします。

つまり16GBでは収まらないのです。

一応使えますが、処理速度が急激に低下するので実用面で不満が出ると思います。

しかし、

VRAM20GBのRX7900XTなら大丈夫!!

ちなみに27Bとか9Bといった数値がありますが、これが大きい数値ほど高性能です。

数値の増加によって必要な容量が増えます。

16.52GBでも余裕があるので、設定を変更(コンテキスト長)してより長い文章を出力できるようにすることもできます。

RadeonでもLLM大丈夫?

A、全く問題ありません。

私が購入する前はあまりWindows環境のRadeonでLLMをしているという情報が少なかったので心配していましたが、

杞憂でした。

手軽にローカルLLMを構築したい場合、初心者でも扱いやすいUIで操作できるLM Studio(リンク)がおすすめです。

「Download LM Studio for Windows」をクリック。あとは手順にに沿って操作。

設定(左下の歯車マーク)をクリックして、DeveloperでDeveloperModeをONにして…..

HardWareで使用するGPUを選択しましょう。(デフォルトでLM Studioがいい感じに調整していることが多い)

AMDが提供するROCmを使うこともできますし、vulkanを使って動かすこともできます。

もしかしたらNVidiaグラボの方が処理が速いのかもしれませんが、使ったことないので何とも言えません。

人間を認識するプログラムを作ってみた

ということで、早速qwen3.8 27Bの実力を見てみたいと思います。

今回はWindowsに接続した、ELECOMのIRつきカメラで人間を認識するプログラムを作ってもらいました。

ちなみにPython初心者で、Javaを触ったことがあるというレベルの筆者。

果たして作れるのか…

作れました

実行でエラーを吐いたので、その後やり取りを数回繰り返し。

最終的に完成したのがこちら。


import cv2
from ultralytics import YOLO

# モデルをロード(初回実行時に自動ダウンロード)
model = YOLO("yolov8n.pt")

# カメラを開く
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)

print("▶ 開始 (Ctrl+C で終了)")

try:
while True:
ret, frame = cap.read()
if not ret:
break

# 人物検出
results = model(frame, conf=0.5, classes=[0], verbose=False)

person_found = False
boxes = []

for r in results:
if r.boxes is not None and len(r.boxes) > 0:
person_found = True
for box in r.boxes:
conf = float(box.conf[0])
x1, y1, x2, y2 = map(int, box.xyxy[0].tolist())
boxes.append((x1, y1, x2, y2, conf))

# 描画
if person_found:
for (x1, y1, x2, y2, conf) in boxes:
cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
cv2.putText(frame, f"PERSON {boxes[0][4]:.2f}", (10, 30),
cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2)
else:
cv2.putText(frame, "NO PERSON", (10, 30),
cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 255), 2)

cv2.imshow("Detection", frame)

if cv2.waitKey(1) & 0xFF == ord('q'):
break

except KeyboardInterrupt:
pass
finally:
cap.release()
cv2.destroyAllWindows()

雑ですみません…

ちなみに14.52トークン/秒でした。

待つ必要はありますが、許容できる遅さでした。

そして実行したところ、動きました。

人間がカメラに映り込むと赤枠で教えてくれます。

まとめ

RadeonグラボでもローカルLLMを普通に使えることがわかりました。

複雑なターミナル操作が必要なのかな思いましたが、アプリをダウンロードするだけだったので拍子抜けしました。

クラウド型LLMの方が速度も機能も上ですが、今後課金額が上昇する可能性も大いにあります。

AI開発企業の赤字が膨れているらしいので…..

ある程度のレベルのLLMをローカルで動かせるようにすることで、長期的に見れば安上がりになるかもしれません。

最後にLMstudioで行った、負荷軽減の設定を紹介して終わろうと思います。

①DRAMの使用量を減らす

デフォルトではグラフィックボードのVramに保持した量と同じ容量を、なぜかDRAMにも保持してしまいます。

処理の高速化というメリットはあるのですが、ddr5 32GBだと使用率が9割となってしまい、動作が不安定になります。

なので下記設定を変更し、モデルを読み込むことで解決しました。

モデルをメモリに保持をOFF mmap試行をOFF

GPUオフロードはMAXにしましょう。

Follow me!

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です