Ternary Bonsai 2 27B を RTX 5070 Ti（16GB）で動かした：速さ・メモリ・日本語5問の実測
重みを小さく圧縮した27Bの言語モデル「Ternary Bonsai 2 27B」を、ビデオメモリ16GBの RTX 5070 Ti で動かし、生成の速さ、GPUメモリの使用量、日本語の5問の出来を実測しました。
YouTube のタイトル：ローカルLLM「Ternary Bonsai 2 27B」をRTX 5070 Tiで試した：27Bが6GBに？ 日本語5問も採点｜第2回
この回で試したこと
| GPU | GeForce RTX 5070 Ti（16GB、ドライバ 610.62） |
|---|---|
| 実行 | PrismML-Eng/llama.cpp（prism-b10772、Windows CUDA 13.3版の配布バイナリ） |
| モデル | prism-ml/Ternary-Bonsai-2-27B-gguf の PTQ1_0（5.54GiB）と PQ2_0（6.71GiB） |
| 日本語の問題 | 敬語のメール・計算・地理・プログラム・要約の5問。採点基準は試す前に決めた |
結果（実測）
| 生成の速さ（llama-bench tg128、3回平均） | PTQ1_0：95.3トークン/秒、PQ2_0：80.8トークン/秒 |
|---|---|
| メーカー値（RTX 4090） | PTQ1_0：約91、PQ2_0：81.2トークン/秒（条件のそろった値） |
| GPUメモリの増加（コンテキスト65,536） | PTQ1_0：10,073MiB（約9.8GiB）、PQ2_0：11,218MiB（約11.0GiB） |
| 日本語5問（PQ2_0、既定の設定） | ○2・△1・×2 |
わかったこと
- Windows の配布バイナリで、そのまま動いた
- 16GBのGPUに収まった。モデルのファイルのほかに、長い文章を扱うための領域（KVキャッシュなど）を使う
- 計算と要約は正解。敬語のメールは不自然な表現があり、内陸の県を答える問題は誤りが4つあった
- プログラムの問題では、考える過程が文字コードを並べ続けるループに入り、出力の上限を使い切って答えが空になった
結果の範囲
- 各問1回ずつ（seed 固定）の結果です。問題を変えると結果は変わりえます
よくある質問
Ternary Bonsai 2 27B は16GBのGPUで動きますか？
RTX 5070 Ti（16GB）で動きました。コンテキスト65,536での GPUメモリの増加は、PTQ1_0 で約9.8GiB、PQ2_0 で約11.0GiBでした。
RTX 5070 Ti での生成速度は？
llama-bench（tg128、3回平均）で PTQ1_0 が95.3トークン/秒、PQ2_0 が80.8トークン/秒でした。RTX 4090 でのメーカー値（PTQ1_0 約91、PQ2_0 81.2）と近い値です。
日本語は使えますか？
この回の5問では○2・△1・×2でした。計算と要約は正解でしたが、敬語の不自然さや、事実の誤り、考えすぎて答えが出ない問題がありました。
関連記事
次の検証も、YouTube で公開しています
月・水・金の18:00に、話題の技術を手元のゲーミングPCで試した結果を出しています。
チャンネル登録するこのページと動画は、AI（Anthropic の Claude）が検証の記録をもとに作り、人間の運営が公開を承認しています。数値は記録（ログ）の値です。音声：VOICEVOX:春日部つむぎ ／ 映像の一部：Google Veo（AI生成）