AnythingLLM×Foundry Local を実機で：同じモデルの4変種で RTX 84.1・CPU 38.6・内蔵GPU 21.4・NPU 14.2 トークン/秒。一覧で印が付く NPU がいちばん遅かった
AnythingLLM Desktop 1.19.0 に入っている Microsoft Foundry Local で、同じモデル（qwen2.5-1.5b）の4つの変種を、手元の PC の NPU・内蔵 GPU・CPU・RTX 5070 Ti で動かして比べました。アプリの一覧でこのモデルに付く印は NPU です。速さのほか、日本語の答えの違い、部品を入れる前後のモデルの一覧、アプリの画面で選べるものを見ています。
YouTube のタイトル：AnythingLLM×Foundry Localを実機で：NPU・GPU・CPU、同じモデルはどれが速い？｜第12回
この回で試したこと
| PC | Windows 11 26H2（26300.9711）、Intel Core Ultra 7 265K（NPU：Intel AI Boost、内蔵 GPU）、RTX 5070 Ti 16GB |
|---|---|
| ソフト | AnythingLLM Desktop 1.19.0（MIT）。インストーラーは実行せず、中身を作業フォルダに展開。中の部品は foundry-local-sdk-winml 1.2.4（MIT） |
| モデル | qwen2.5-1.5b の6つの変種のうち4つ（CUDA 1,280MB、CPU 1,822MB、OpenVINO の内蔵 GPU 1,019MB、OpenVINO の NPU 885MB）。量子化と大きさは変種ごとに違う。利用条件は apache-2.0 |
| 速さの測り方 | SDK で変種を指定し、Q1〜Q3 を3周（各変種9回）。max_tokens 256、temperature 0。代表値は9回の中央値 |
| 日本語の見方 | 答えを見る前に決めた文字列の照合（ていねいに直す問いは「です」か「ます」を含むか）。読んだ感想はそれと分けて書いた |
| ダウンロードとログイン | ダウンロードは合計約8.2GB。ログイン・規約への同意・トークンは求められなかった |
| 作業フォルダの外にできたもの | %APPDATA%\anythingllm-desktop（3,368MB）、C:\Program Files\WindowsApps の実行の部品2つ（198MB・273MB） |
結果（実測）
| 1秒あたりのトークン（9回の中央値） | RTX（CUDA）84.1、CPU 38.6、内蔵 GPU（OpenVINO）21.4、NPU（OpenVINO）14.2 |
|---|---|
| 最初の文字まで（9回の中央値） | RTX 0.104秒、内蔵 GPU 0.226秒、CPU 0.391秒、NPU 2.191秒 |
| 読み込み（初回） | RTX 2.4秒、CPU 3.5秒、内蔵 GPU 24.9秒、NPU 43.8秒 |
| 読み込み（2回目） | RTX 3.7秒、CPU 4.4秒、NPU 7.0秒、内蔵 GPU 9.4秒 |
| RTX の最初の1回 | Q1 の1周目だけ、最初の文字まで 62.3秒。2周目からは 0.1秒。2回目の起動では出なかった |
| 部品を入れる前後の一覧 | 入れる前は48のモデルすべてが CPU 版だけ。入れたあとは49モデルになり、NPU 版のあるモデルが11、ほとんどのモデルに GPU 版が出た。部品4つの登録に 268.5秒。qwen3・qwen3.5・gemma-4 は GPU 版だけ |
| アプリの画面 | 一覧ではモデルごとに印が1つだけで、qwen2.5-1.5b は「NPU」。GPU・CPU を選ぶ所は見つからなかった（この版・この画面で） |
| アプリの画面での答え | Q1 は送ってから答えが出るまで約48秒（最初の読み込みを含む）。表示は 2.86 tok/s。Q3 の表示は 4.95 tok/s |
| 照合の結果（基準で○） | RTX 9/9、CPU 9/9、内蔵 GPU 6/9、NPU 6/9 |
| ていねいに直す問いの答え | RTX「明日の会議は10時から変更いたします。」、内蔵 GPU「明日の会議は、10時からに変更されました。」、NPU「明日の会議は10時から変更となりました。」、CPU「ごめんなさい、あなたの文章はまだ少し間違っています。…」 |
| NPU 版で動いた部品（結果を見てから足した測り方） | 送っている間に入った3回の記録で、RTX の電力は 15.33・15.57・15.56W（ふだんの値）。うち2回で compute の値が出た部品があり、どの部品かはどの変種のときに動いたかで見分けた |
わかったこと
- 同じモデルの4変種で、1秒あたりのトークンは RTX 84.1、CPU 38.6、内蔵 GPU 21.4、NPU 14.2。アプリの一覧で印が付く NPU がいちばん遅かった
- 部品を入れる前は、48のモデルすべてが CPU 版だけだった。NPU 版が出たのは部品を入れたあとで、NPU 版があるのは少し前のモデル（qwen2.5、phi-3-mini-4k、phi-4-mini、mistral-7b-v0.2、deepseek-r1-7b）
- NPU と内蔵 GPU は初回の読み込みに時間がかかった（NPU 43.8秒、内蔵 GPU 24.9秒）。2回目は NPU 7.0秒、内蔵 GPU 9.4秒
- 同じ名前のモデルでも、変種ごとに答えが違った。ていねいに直す問いで、おかしかったのは CPU 版（相手の文を間違いと言い出した）だけ
- 先に決めた文字列の照合は、「ました」で終わるていねいな文を ✕ にし、CPU 版の変な答えを ○ にした。両方向に外れていた
結果の範囲
- 1台の PC・1つのモデル・各問3回の結果で、一般化はしません
- 変種ごとに量子化・大きさ・答えの長さが違うので、速さは目安です（Q3 は RTX・CPU が49〜50トークン、内蔵 GPU が21、NPU が25）
- CPU・NPU の消費電力は測れていません。「NPU は省電力」とは言えません
- 動いた部品の記録は、結果を見てから足した測り方です。1秒ごとの予定が約6秒ごとになり、送っている間の記録は NPU 3回、内蔵 GPU 1回、CPU 1回、RTX 0回で、比べられません
- 部品の見分けは、どの変種のときに動いたかによるもので、名前では確かめていません
- 先に決めた試し方から変えた点：モデルは最大2つの予定を1つに（いちばん小さい 0.5b も試していません）、変種はすべての予定を4つに（TensorRT-RTX と WebGPU は試していません）、代表値は問ごとの3回でなく3問まとめた9回の中央値にしました
- 照合の基準は変えていません。内蔵 GPU・NPU の答えもていねいな文だという判断は、答えを見たあとの感想です
- アプリの画面の tok/s は SDK で測った値（NPU 14.2）より小さく出ました。アプリが何で割っているかは確かめていません
- アプリのログに、チャットを送ったこと・提供元の種類などを送る記録（TELEMETRY）がありました。チャットの中身は含まれていません。初期設定で利用の統計を送っています
よくある質問
AnythingLLM と Foundry Local で、NPU はいちばん速いですか？
この回の PC と qwen2.5-1.5b では、NPU がいちばん遅い結果でした。1秒あたりのトークンは RTX 84.1、CPU 38.6、内蔵 GPU 21.4、NPU 14.2（9回の中央値）です。変種ごとに量子化や答えの長さが違うので、速さは目安です。
アプリの画面で NPU・GPU・CPU を選べますか？
この版（1.19.0）のこの画面では、一覧の印はモデルごとに1つだけで、qwen2.5-1.5b は「NPU」でした。⋮ のメニューは「Uninstall」だけで、GPU・CPU を選ぶ所は見つかりませんでした。速さの比べは、SDK で変種を指定して測りました。
最初から NPU 版のモデルが出ますか？
この回では、部品を入れる前は48のモデルすべてが CPU 版だけでした。部品を入れたあとは49モデルになり、NPU 版のあるモデルが11になりました。qwen3・qwen3.5・gemma-4 は GPU 版だけでした。
同じモデルなら、どの部品でも答えは同じですか？
同じになりませんでした。量子化と大きさが変種ごとに違い、答えも変種ごとに違いました。ていねいに直す問いでは、CPU 版だけ「ごめんなさい、あなたの文章はまだ少し間違っています。」と言い出しました。
NPU は電力が少なくて済みますか？
この回では言えません。CPU・NPU の消費電力は測れていません。わかったのは、NPU 版で送っている間の3回の記録で RTX の電力がふだんの値（15.33〜15.57W）だったことだけです。
関連記事
月・水・金の18:00に、話題の技術を手元のゲーミングPCで試した結果を出しています。
チャンネル登録するこのページと動画は、AI（Anthropic の Claude）が検証の記録をもとに作り、人間の運営が公開を承認しています。数値は記録（ログ）の値です。音声：VOICEVOX:春日部つむぎ ／ 映像の一部：Google Veo（AI生成）