>
>
公開日
最終更新日
ローカルLLMは、自社管理下のサーバーやPCで推論する大規模言語モデルです。外部送信を禁止する業務では、ローカル環境が候補になります。
総務省のAIセキュリティの技術的対策に係るガイドラインは、2025年12月のAIセキュリティ分科会の取りまとめを踏まえ、AI開発者・AI提供者向けの技術的対策として、最小権限とRAG参照権限を挙げています。本記事では情シス担当者向けに、選定基準、野良LLMのリスク、導入判断の進め方を整理します。

ローカルLLMとは?情シスがまず押さえる定義と全体像
ローカルLLMとは、クラウド上のAIサービスではなく、自社サーバーや社内管理下のPC・端末で動かす大規模言語モデルです。最大の特徴は、推論の実行場所と通信経路を自社の設定で管理でき、入力データの外部送信を自社で制御しやすい点にあり、機密文書の要約や社内ナレッジ検索と相性が良い一方、ハードウェアと運用は自社負担になります。
1. ローカルLLMの定義
モデルの重みデータをオンプレミスのサーバーや社内PCなど自社の管理環境に置き、CPUやGPUで推論を実行する形態のLLMを指します。処理が社内で完結するため、クラウド型のように「入力を外部に送信することが前提」ではない点が本質的な違いです。
この「自社運用」という考え方は、従来からあるオンプレミスの発想をAI領域に持ち込んだものと理解すると整理しやすいでしょう。オンプレミスとクラウドの根本的な違い(コスト構造・セキュリティ統制・運用負荷)については、オンプレミスとは?クラウドとの対比で解説もあわせてご覧ください。この判断は、突き詰めると「AIワークロードをオンプレに戻すかどうか」の判断と重なります。
なお、LLMそのものの仕組みや生成AIの基礎から確認したい場合は、生成AIとは?導入のメリット・リスクと活用術を先にお読みいただくと理解がスムーズです。
2. クラウドLLMとの違い
両者の決定的な違いは「どこでデータを処理するか」です。クラウドLLMは外部サーバーで高性能な推論を手軽に使える反面、入力はベンダーのサービス環境で処理されます。自社環境で動かす型は処理場所と通信経路を自社で設計できる反面、性能はハードウェアに、運用は自社に依存します。
情シスが押さえるべき違いを、意思決定に効く観点で整理すると次の通りです。
観点 | ローカルLLM | クラウドLLM |
|---|---|---|
実行環境 | 自社サーバー・社内端末(オフライン可) | ベンダーのクラウド(要インターネット接続) |
データの流れ | 処理場所と通信経路を自社で設計できる | 入力はベンダーのサービス環境で処理される(保持・学習利用は契約と設定による) |
性能 | ハードウェア性能に依存・上限あり | 最新・最高性能モデルを利用しやすい |
コスト構造 | 初期投資(GPU等)+維持費が中心 | 従量課金(使うほど増減する) |
立ち上げの速さ | 環境構築・検証に時間がかかる | すぐ使い始められる |
ポイントは、この表を「どちらが優れているか」で読まないことです。機密度・利用量・求める性能・運用体制という自社の条件によって、有利な側は入れ替わります。選定基準は「クラウドLLM vs ローカルLLM|情シスの選定基準」の章で詳しく扱います。
3. なぜ今、自社運用のLLMが注目されているのか
IPAが2024年7月に公表した調査によると、AIのセキュリティ課題を認識する企業は60%を超える一方、規則の策定や明文化、組織的な検討がなされている企業は20%未満にとどまっており、機密データを外部に出さずにAIを使える手段としてローカルLLMが注目されています。
背景は大きく3つです。
第一に、セキュリティ・コンプライアンス意識の高まりです。金融・医療・法務・製造など、規制やデータの機微性が高い領域では、機密情報を外部クラウドに送ること自体が懸念になります。これは、従業員が無断で外部AIを使う「シャドーAI」への警戒感の裏返しでもあります。シャドーAIの実態と対策はシャドーAIとは?リスクと2026年最新の検知・対策ガイドで詳しく解説しています。
第二に、モデルと実行環境の進化です。IPAの中核人材育成プログラム受講生がまとめた手引書(2026年7月)は、AIモデルの提供形態を、Llama、Gemmaのようにモデルの重みが公開されローカル環境へ展開できるオープンモデルと、APIやサービス経由で提供される商用利用可能モデルに分けて整理しています。導入時は、自社の日本語データと業務タスクで性能を評価してください。
第三に、コスト管理の観点です。クラウドLLMのAPI従量課金は、全社利用が広がるほど読みにくくなります。利用量が大きい定型処理を社内に寄せてコストを平準化したい、という発想も注目を後押ししています(ただし後述の通り、ローカル=安いとは限りません)。
▶ 関連記事: 生成AIとは?導入のメリット・リスクと実務での活用・運用術

▲ ローカルLLMとクラウドLLMにおける実行環境やコスト・運用面の違い
クラウドLLM vs ローカルLLM|情シスの選定基準
選定は「一番賢いモデル探し」ではなく「自社要件との適合探し」です。機密度・コスト構造・性能要件・運用体制・オフライン要件の5軸で棚卸しすれば、ローカルに寄せるべき業務とクラウドで十分な業務が自然と分かれます。
導入検討でよくある失敗は、モデル一覧を眺めて「一番性能が高いもの」を探してしまうことです。実際には、同じモデルでも量子化形式・GPUメモリ・コンテキスト長・推論エンジン・RAGの品質で体感が大きく変わります。情シスがまず固めるべきは、モデルではなく判断軸です。
選定の5軸
選定軸 | ローカル運用が有利になりやすい条件 | クラウドLLMが有利になりやすい条件 |
|---|---|---|
① データ機密度 | 外部送信できない機密・規制対象データを扱う | 機密性が低い、または匿名化・マスキング済み |
② コスト構造 | 大量・定型処理でAPI課金が膨らむ/利用量が読める | 利用量が変動的・小規模、初期投資を避けたい |
③ 性能要件 | 中程度の精度で十分な定型タスク | 最高精度・最新モデルの推論力が必要 |
④ 運用体制 | 社内にインフラ・MLOps人材がいる/外部支援を確保できる | 運用に人を割けない、少人数の情シス |
⑤ オフライン要件 | 閉域網・工場・現場などネット接続が前提にできない | 常時オンラインで問題ない一般オフィス業務 |
「どちらか一方」ではなくハイブリッドが現実解
ローカルとクラウドは、前掲の5軸で業務ごとに振り分けます。外部送信できないデータを扱う業務や利用量が読める定型処理はローカル、機密性が低い業務や最高精度が要る業務はクラウドが候補になります。
業務AIエージェントやクラウドLLMの各サービスを比較検討する際は、業務AIエージェント3大比較|情シスの選定基準と統制ポイントやClaudeとは?企業での使い方も判断材料になります。ローカルとクラウドは対立概念ではなく、ポートフォリオとして設計する対象だと捉えてください。
▶ 関連記事: シャドーAIとは?情報漏洩リスクと情シス向け検知・対策ガイド
セキュリティ要件からの逆引き判断
導入判断は、「便利そうだから」ではなく、自社のセキュリティ要件をクラウドで満たせるかどうかから逆算します。この順序にすると、導入後の運用負荷を見落としにくくなります。そして忘れてはならないのが、「ローカル=安全」は誤解だという点です。
ここが情シスにとって本記事で最も重要なパートです。ローカル運用は手段であり、目的は「要件を満たすこと」です。以下の逆引きフローで、自社にローカルが必要かを判定してください。
逆引きステップ1:外部送信の可否を確定する
まず、扱うデータが契約・規制・社内規定で外部送信を禁じられているかを確認します。個人情報・医療情報・未公開の財務情報・ソースコード・顧客機密などが該当します。ここで「送信不可」が確定した業務は、約款への同意のみで使える一般向けクラウドLLMでは避けるのが無難です。デジタル庁のガイドライン(DS-920)も、定型約款や規約への同意だけで利用する類型は原則として要機密情報を扱わない利用を想定しており、ローカルLLMや閉域・専有環境が有力候補になります。ただし専有環境や閉域接続のクラウドは、契約・データ保持条件・暗号化・リージョンの内容で可否が変わるため、法務・セキュリティ部門と契約条件を突き合わせて判定します。
逆引きステップ2:クラウドの統制オプションで代替できないかを確認する
「機密だから即ローカル」と結論を急がないでください。ローカルへ進む前に、候補のクラウドLLMの契約書とデータ取扱条項で、学習利用・データ保持・処理リージョンの条件を洗い出して比較対象に入れます。その条件が自社の要件を満たせばクラウドで足り、満たせなければローカルが候補に残ります。ここを検討せずにローカルへ走ると、運用負荷だけ増やして目的を達しない、という事態になりがちです。
なお、「API経由だから安全」「エンタープライズ版だから万全」という思い込みは危険です。一時キャッシュの保管やハルシネーションなど、個別の対策が別途必要になります。クラウド側の統制の勘所は情シスが実践する生成AIセキュリティ ベストプラクティスで体系的に確認できます。
逆引きステップ3:ローカルでも残るリスクを洗い出す
「社内で処理しているから安全」は成立しません。自社運用にも固有のリスクが残ります。
導入後に情シスが管理し続けるべきリスクは、主に次の通りです。
アクセス制御の甘さ:モデルを動かすサーバーやアプリへの権限管理が不十分だと、社内からの不正閲覧・持ち出しが起きる。総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」は、オーケストレータの権限を必要最小限にする最小権限の原則と、RAG用データストアへの参照権限をユーザーや役割に応じて設定することを技術的対策例に挙げています。IDと権限の設計は必須です(参考:アカウント管理とは?情シスの工数削減とセキュリティ強化手法)。
監査ログの欠如:誰が何を入力・出力したかを追えないと、インシデント時の追跡ができない。
RAGの検索時認可とキャッシュ:文書単位のACLを元のファイルサーバーやドキュメント管理システムと同期し、ベクトル検索の時点で質問者の権限に合う文書だけを候補にする認可フィルタを掛けます。検索結果や回答のキャッシュは利用者・権限単位で分け、他部署の機密が別の利用者の回答に混入しないようにします。
モデルの改ざん・供給元リスク:モデルの入手元が信頼できないと、改ざんされた重みを取り込む恐れがある。ダウンロード元は必ず検証します。
プロンプトインジェクションとRAGデータ汚染:社内文書やWebページに埋め込まれた命令文をモデルが実行する恐れがあるため、取り込む文書の登録者と承認フローを決め、検索結果に含まれる指示文はシステム指示と分離して扱います。ツール連携を持たせる場合は、メール送信やファイル更新などの操作ごとに実行者本人の権限で認可し、書き込み系は人の承認を挟みます。出力も、個人情報や社内コードのパターン検査を通してから表示します。
ライセンス違反:オープンウェイトでも商用利用・改変・再配布の条件はモデルごとに異なります。ライセンス規約の確認は法務と連携して行ってください。
精度・ハルシネーション:自動更新されないため、放置すると出力品質が陳腐化する。重要用途では人間の二重チェックを前提にします。
つまりローカルLLMは、「クラウドに送らない」という一点を解決する代わりに、アクセス制御・ログ・供給網・ライセンス・品質維持という別の統制責任を自社に移す選択だと理解することが重要です。
▶ 関連記事: ChatGPT Work・Gemini Spark・Claude Cowork徹底比較|情シスが押さえる選定基準と統制ポイント

▲ 自社のセキュリティ要件からローカルLLMの要否を判定する逆引きフロー
選択肢としてのSLM(小規模言語モデル)
SLM(小規模言語モデル)は、用途を絞れば軽量な環境でも動く「現実的なローカルAI」の入り口です。全社汎用の万能モデルを狙うより、特定タスクにSLMを充てる方が、情シスにとって投資対効果を出しやすい場面が多くあります。
ローカルLLMの検討では、必ずしも巨大なモデルが正解ではありません。SLMは、パラメータ規模を抑えた軽量なモデルで、特定分野・特定タスクに特化させて使うのに向いています。
項目 | LLM(大規模言語モデル) | SLM(小規模言語モデル) |
|---|---|---|
パラメータ規模 | 大規模 | 抑えた規模 |
得意領域 | 幅広い汎用タスク | 特定タスクへの特化 |
必要リソース | 高性能GPU等が必要 | 軽量・省リソースで動きやすい |
情シス視点でのSLMの使いどころ
SLMが活きるのは、たとえば次のような場面です。エッジデバイスや現場端末でのリアルタイム処理、社内FAQ・文書分類・要約といった定型タスク、GPUを潤沢に用意できない環境での小さく始めるPoCなどです。
「まず社内の一部業務でローカルAIを試したい」「機密度は高いが求める精度はそこまで高くない」といったケースでは、大型モデルより先にSLMでの実現可能性を検討すると、投資を抑えたまま効果検証ができます。SLMはモデル規模の分類で、ローカルかクラウドかという配置形態とは別の軸のため、ローカルLLM戦略では軽量なモデルの選択肢として位置づけるのが実務的です。
▶ 関連記事: 【2026】Claude(クロード)とは?読み方・料金と企業活用
運用・ガバナンスの落とし穴
モデルを選ぶ前に、更新担当者、監査ログの保管期間、利用者の権限設計を決めてください。ローカル環境では、これらの運用を自社で継続する必要があります。
情シスが導入前に必ず想定しておくべき、代表的な落とし穴を5つ挙げます。
落とし穴① 自動更新されない
自社環境にモデルを置く場合、更新の担当者と実施時期を決めずに導入すると、性能が陳腐化し、脆弱性も放置されます。
落とし穴② 「導入したのに使われない」
自社で環境を用意しても、現場に使われなければ投資は回収できません。導入目的の周知、操作ガイドの整備、利用状況の可視化をセットで設計します。AI活用の定着とROIモニタリングは、AIガバナンスの中核テーマです。詳しくはAIガバナンスとは?推進体制・国際フレームワーク・実装ステップを参照してください。
落とし穴③ 社内で立てたLLMも「シャドーAI化」する
見落とされがちですが、情シスの管理外で立てられた社内LLMは、それ自体が新たなシャドーAIになります。「社内で動いているから安全」と現場が独自にモデルを構築・運用し始めると、ログもアクセス制御もない野良AIが増殖します。ローカルかクラウドかを問わず、全社のAI利用を横断的に把握する仕組みが必要です(参考:生成AI利用状況 可視化ガイド|シャドーAI検知の手順)。
落とし穴④ TCO(総所有コスト)の誤算
「一度入れれば追加コストゼロ」は誤りです。GPU・サーバー・ソフトウェアライセンスといった初期投資に加え、電力・冷却、保守契約、モデル更新時の再検証、運用担当者の人件費、監査ログの保管容量が継続的に発生します。API課金と、ハードウェア+人件費を含めたTCOを、想定利用量ベースで比較してください。
落とし穴⑤ ライセンス・商用利用条件
オープンウェイトモデルでも、「無料で使える」と「商用で自由に使える」は別問題です。導入前にライセンス規約を確認し、必要に応じて法務レビューを通してください。
▶ 関連記事: 生成AIセキュリティ対策とベストプラクティス【情シス実践】
ローカルLLM導入の進め方(情シス向け4ステップ)
導入は「目的定義 → PoC → ガバナンス整備 → 段階展開」の順で進めます。まず対象業務を限定し、応答品質・運用負荷・コストを確認してから対象を広げてください。
目的と要件の明確化:どの業務を、なぜローカルで処理する必要があるのかを定義します。「セキュリティ要件からの逆引き判断」の逆引きフロー(外部送信の可否・クラウド代替の可否・残存リスク)で判定し、達成したいKPI(工数削減量、コスト削減額など)も設定します。
モデル・ツール選定とPoC:要件に合うモデルサイズ(LLM/SLM)と実行環境を選び、小規模なパイロットで応答品質・速度・使い勝手を実測します。この段階で量子化やハードウェア要件の現実性も検証します。測定指標は、代表的な質問と文書のテストセットでの正答率(人手採点)、応答時間と同時利用時のスループット、GPUメモリ使用量、根拠のない回答の発生率、利用者の満足度アンケートです。
ガバナンス整備:アクセス制御・監査ログ・利用ガイドライン・ライセンス確認・更新体制を整えます。ここを飛ばして本番展開すると、「運用・ガバナンスの落とし穴」で挙げた事態に直行します。
段階的な本番展開:PoC結果をもとに対象業務を段階的に拡大します。RAGや既存業務ツールとの連携も、一気にではなく順を追って広げます。
▶ 関連記事: アカウント管理とは?一元管理の仕組みと情シスの工数削減手順

▲ 小さく始めて検証しながら拡大するローカルLLM導入の4ステップ
ローカルLLM時代に情シスが持つべき「見える化」の視点
ローカルLLMを導入しても、企業のAI利用はクラウドAI・SaaS内蔵AI・従業員の個人利用と多層的に併存します。情シスに本当に求められるのは、ローカルもクラウドも横断してAI・SaaS利用を可視化し、統制下に置くことです。
ローカル運用は、機密業務の一部を社内に寄せる施策です。利用台帳、アクセス権、入力・出力ログ、モデル更新履歴を管理しなければ、ローカル環境でもガバナンスは機能しません。実際には、承認済みのクラウドLLM、SaaSに内蔵されたAI機能、そして従業員が個人契約で使う未承認AI(シャドーAI)が同時に存在します。社内運用のモデルを増やしても、この全体像が見えていなければ、管理外のAI利用は残り続けます。
AI・SaaS利用を横断的に把握する手段は、IdPのログ連携、CASBによる通信の可視化、EDRなどの端末管理、SaaS管理プラットフォームなど複数あり、見える範囲がそれぞれ異なります。このうちSaaS管理プラットフォームの一例が次の製品です。マネーフォワードは、自社のSaaS管理プラットフォーム「マネーフォワード Admina」を、Google WorkspaceやMicrosoft 365などのIdPと連携し、従業員が業務アカウントでOAuth連携しているSaaS・AIサービスを可視化する製品と位置づけています。ただしOAuth連携で見えるのは業務アカウントで連携したサービスに限られ、個人アカウントでの利用、端末上で動くローカル実行のモデル、OAuthを使わないツールは対象外のため、ネットワークログ、端末管理、部門からの申告などで補う設計にします。
導入判断は、この「見える化」を土台にしてこそ意味を持ちます。まず自社のAI・SaaS利用実態を可視化し、そのうえで「どこをローカルに寄せるか」を決める——これが2026年の情シスにとって現実的な進め方です。
▶ 関連記事: AIガバナンスの実装手順|ISO42001対応とシャドーAI対策
よくある質問(FAQ)
Q1. ローカル環境に導入すれば情報漏洩は完全になくなりますか? いいえ。外部送信を抑えられる一方で、アクセス制御の不備、監査ログの欠如、モデルの改ざん、社内からの持ち出しといったリスクは残ります。「ローカル=安全」ではなく、統制の責任が自社に移ると理解してください。
Q2. ローカルとクラウド、結局どちらのLLMを選ぶべきですか? どちらか一方ではなく、使い分け(ハイブリッド)が現実解です。外部に出せない機密業務や大量の定型処理はローカル、機密性が低く最高精度が要る業務はクラウド、と役割分担するのが基本です。判断軸は「クラウドLLM vs ローカルLLM|情シスの選定基準」の5軸で整理しています。
Q3. ローカル運用でコストは削減できますか? 利用量次第です。API課金が膨らむ大量処理では有利になり得ますが、GPU等の初期投資・電力・保守・人件費を含めたTCOで比較する必要があります。
Q4. SLM(小規模言語モデル)とローカルLLMは何が違いますか? SLMはローカルLLMの中の「軽量な選択肢」です。パラメータ規模が小さく省リソースで動くため、特定タスクや現場端末での利用、小さく始めるPoCに向いています。
Q5. 少人数の情シスでも、自社環境でLLMを運用できますか? 運用・更新・ガバナンスがすべて自社責任になるため、運用体制の確保が前提です。人員に余裕がない場合は、まずクラウドLLMの統制オプションで要件を満たせないかを検討し、必要な範囲だけをローカル化する(またはSLMで小さく始める)のが現実的です。
▶ 関連記事: 生成AIセキュリティのベストプラクティス|シャドーAI検知と対策
まとめ
ローカルLLMは、機密データを外部に出さずにAIを活用したい情シスにとって、有力な選択肢の一つです。
一方で、ローカル運用は「入れれば安全・安上がり」という万能解ではありません。情シスに求められるのは、モデルの入れ方の前に、①クラウドとの選定基準(5軸)で棚卸しし、②セキュリティ要件から逆引きで必要性を判定し、③運用・ガバナンスの落とし穴を先回りで潰すという判断のプロセスです。
そして忘れてはならないのが、社内にモデルを構築しても、企業のAI利用はクラウド・SaaS内蔵AI・シャドーAIと多層的に併存し続けるという事実です。まず自社のAI・SaaS利用を横断的に可視化し、そのうえで「どこをローカルに寄せるか」を決める——この順序を守ることが、2026年の情シスにとって最も堅実な導入判断につながります。
本記事の内容に誤り等がございましたら、こちらからご連絡ください。
監修
Admina Team
情シス業務に関するお役立ち情報をマネーフォワード Adminaが提供します。
SaaS・アカウント・デバイスの管理を自動化し、IT資産の可視化とセキュリティ統制を実現。
従業員の入退社対応や棚卸し作業の工数を削減し、情報システム部門の運用負荷を大幅に軽減します。
中小企業から大企業まで、情シス・管理部門・経営層のすべてに頼れるIT管理プラットフォームです。





