「顧客情報が入っているから、AIには貼れない」「取引先との契約上、社外に出せない」——そう言ってAI活用ごと止まっている会社を、この1年で何社も見てきました。うちも同じ壁に当たり、社内のPCの中だけで動くAI（ローカルLLM）を自分たちで組んで検証しています。本記事は、その実測値と投資判断の実録です。
先に、今回の検証で分かったことを一文にまとめます。
ここからは、使いどころと実測結果、投資判断まで順に見ていきます。
「クラウドに出せない」は、AIを諦める理由ではなくなった
先に結論です。機密データを扱う業務でも、AIの選択肢はあります。
無償公開されているAIモデルを社内のPCで動かすローカルLLMなら、データが1バイトも外部に出ない構成を組めます。
うちの実測では、市販の16GBグラフィックボード1枚で、最上位クラウドAIの7割の実力（自動採点25問で70.2%）が出ました。
用途を絞れば、もう実用の域です。
70.2%最上位クラウドAI比（自動採点25問）
この実測値を出発点に、用途を確かめながら投資判断を後ろに置くのが、うちの進め方です。
大事なのは、いきなり100万円超のAI専用PCを買わないことです。うちは「まず小さく試して、実測を見てから次を決める」という段階を踏んでいて、この記事ではその途中経過を隠さず書きます。
クラウドAIに出せない業務は、思ったより多い
ChatGPTやClaudeのようなクラウドAIは性能面で頭ひとつ抜けていますが、入力した内容は社外のサーバーに送られます。
事業者向けプランには学習に使われない設定もあるとはいえ、「社外に送る」こと自体が壁になる業務は珍しくありません。
- 顧客情報やNDA対象の資料など、社外に出せないデータがある。
- ネット接続を切った閉域網の中でAIを使いたい。
- 利用件数で増えるAPI費用を事前に読み切れない。
- 複雑な文章やコード生成など、最高精度が常に必要になる。
- 社内にGPUを載せたPCを置く場所がない。
「閉域網」とは
インターネットにつながっていない、社内だけで閉じたネットワークのこと。工場の制御系や、医療機関の電子カルテなどで使われる。外部と通信できないので、クラウドAIは原理的に使えない。
士業・製造業・医療系の会社ほどこの壁は厚く、「うちはAIは無理」で検討が終わりがちです。
この「無理」を、仕組みで解く道がローカルLLMです。
ローカルLLMとは——社内のPCの中だけで動くAI
ローカルLLMは、AIの本体（モデル）を自社のPCに置いて動かす使い方です。ポイントは3つあります。
データは社内で完結
質問も回答も、社外のサーバーを経由しません。ネットを切っても動きます。
モデルは無償公開が主流
性能の高いモデルが無料で公開されています。うちも公開モデル（日本語向けに強化された8B級）を使っています。
月額の利用料がない
かかるのはPCと電気代だけ。人数や回数では課金されません。
「8B級」とは
AIモデルの大きさを表す単位。「B」は10億（Billion）のことで、8B＝80億個の部品でできたモデル、という意味。数字が大きいほど賢くなる傾向がある一方、動かすのに大きな機械が必要になる。8B級は「手元のPCで動かせる大きさ」の目安として使われている。
問題は、この小ささでどこまで戦えるか。
なので、測りました。
実測——16GBのゲーミングGPUでどこまで動くか
うちの検証機は、手持ちのPCに市販のグラフィックボード（RTX 5060 Ti・メモリ16GB）を載せたものです。AI専用機ではありません。
この構成で日本語8B級モデルを動かし、最上位クラウドAI（Claude Fable 5）と同じ問題を解かせて自動採点で比較しました。結果がこれです。
70.2%最上位クラウドAI比（自動採点25問）
49.5生成速度 tok/s（RTX 5060 Ti 16GB）
79%推論（考える力）の実測値。目標60%を大きく超えた。
「トークン/秒」とは
AIが文章を作り出す速さの単位。「トークン」は文章を細かく区切った単位で、日本語ではおおよそ1文字から数文字ぶんにあたる。毎秒49トークンというのは、人が黙読する速さより速く文字が出てくる体感になる。
総合値だけでなく、速度と得意分野を並べると、任せる仕事の境界が見えてきます。
| 項目 | 実測値 | 読み方 |
|---|---|---|
| 総合（自動採点25問） | 最上位クラウドAI比 70.2% | 用途を絞れば実用の域 |
| 推論（考える力） | 79% | 目標60%を大きく超えた |
| 指示追従（言われた通りにやる力） | 80% | 定型業務に十分 |
| コード生成 | 50% | 弱い。ここは任せない |
| 生成速度 | 49.52トークン/秒 | 読む速さより速く返ってくる体感 |
数字の受け止め方はシンプルです。
万能AIにはならないが、定型寄りの仕事なら任せられる。
「決まった様式で文書を整える」「社内資料を元に答える」といった仕事です。実際うちでは、この検証機に会議の文字起こしから議事録を作らせる仕組みを組んでいます（この実例は別記事「Teams議事録の自動化」に書きました）。
逆に、コード生成のような高度な仕事は素直にクラウドAIに回します。弱点を実測で知っておくと、この線引きに迷いがなくなります。
いきなり150万円のPCを買わない——うちの段階の踏み方
ローカルLLMを調べると、本格構成のPCで80〜150万円という金額が出てきます。うちも当初その予算で計画しました。
ただ、いきなり買いませんでした。
実測なしの投資は、外したときのダメージが大きすぎる。
代わりに踏んだのが、次の3段階です。
- まず小さく試す。
手持ちPCと市販の16GB GPUで8B級モデルを動かし、実測できる環境を作る。
- 実業務に当てて実測する。
議事録や社内文書の検索応答に使い、得意な仕事と任せられない仕事を確かめる。
- 本格投資を判断する。
8B級モデルで足りない仕事が本当にあるかを見てから、大型PCの構成を決める。
いま、うちは段階2にいます。
段階1の実測で「推論と指示追従は既に目標到達」と分かったので、本格投資の判断材料は「コード生成や長文生成をローカルでやる必要が本当にあるか」に絞られました。
買う前にここまで分かるのが、段階を踏む価値です。
クラウドAIとローカルLLM、使い分けの目安
実際に両方を使って見えた線引きを表にします。どちらか一方に寄せる必要はなく、併用が現実解です。
ローカルLLMが向く業務
- 議事録や書類整形、社内文書の検索応答など、機密データを扱う定型業務に向く。
- 件数課金が積み上がる処理を、毎日大量に回す場合に向く。
クラウドAIが向く業務
- 複雑な文章作成やコード生成、重要な判断の壁打ちなど、最高の精度が要る仕事に向く。
- 最新情報を参照しながら進める調査に向く。
機密の業務はローカルで、出せる業務はクラウドで。
そう分けると、AI活用ごと止まっていた会社でも前に進めます。
まとめ
機密データがある会社こそ、ローカルLLMを検討する価値があります。
市販の16GB GPUと無償公開モデルで、最上位クラウドAI比70.2%。まず小さく試して、実測を投資判断の材料にする。
この順番なら、失敗しても傷は浅い。
うまくいけば、そのまま実務に載せられます。
「うちの業務だと何から試せる？」という段階の相談も歓迎です。AI導入の検証から仕組み化までまとめて請け負っています。