>
>
最終更新日
生成AI（ジェネレーティブAI）は業務効率化の強力な武器ですが、企業にとっては無視できない新たな脆弱性をもたらしています。情報システム部門（情シス）には、会社に無断で利用される「シャドーAI」の抑制と、安全な利活用を両立させる高度なガバナンスと舵取りが求められています。
本記事では、2025年5月に成立した「AI法」や2026年版「情報セキュリティ10大脅威」で初登場した最新のサイバーリスクを踏まえ、技術的・組織的な防御策を体系的に解説します。単に利用を禁止するのではなく、「正しく怖がり、安全に使い倒す」ための具体的な生成AIの導入ステップやベストプラクティスを、先進の企業・自治体事例を交えて紹介。読後すぐに役立つデータ入力チェックシートも提供します。
生成AI セキュリティとは／なぜ今、情シスに強力なガバナンスが求められるのか
生成AIセキュリティとは、機密データの漏洩やサイバー攻撃、出力に伴う権利侵害などの不確実なリスクを、技術と組織の両面から多重に防御する管理プロセスです。本記事は、情報セキュリティ領域を専門とするAdmina編集部が、公的機関・業界団体の最新ガイドラインおよび実務事例をもとに作成しています。
本記事のポイント
生成AIの無断利用（シャドーAI）はビジネスパーソンの約3割に達しており、禁止ではなく「条件付き許可」による安全な環境提供が急務です。
2025年5月の「AI基本法」成立、2026年3月の「AI事業者ガイドライン（第1.2版）」改定など、企業にはリスクベースのガバナンス構築が強く求められています。
「API経由だから安全」「エンタープライズ版だから万全」という認識は誤解であり、一時キャッシュの保管やハルシネーションなどの個別対策が欠かせません。
CASBによる利用可視化、社内RAGのアクセス制御、および実務に即したガイドライン策定こそが、2026年におけるセキュリティのベストプラクティスです。
従来のITセキュリティと生成AIセキュリティの違い
生成AIのセキュリティ対策が従来と異なる点は、防御対象が「システムの外側」だけでなく、「ユーザーが入力するプロンプト」や「AIが生成するアウトプット」そのものに含まれる不確実性に及ぶことです。従来のファイアウォールやEDR（Endpoint Detection and Response）が境界防御や端末保護に主眼を置いていたのに対し、AIセキュリティではデータフローの監視と、AIモデル特有の脆弱性への対策が中心となります。
具体的には、入力されたプロンプトがAIモデルの学習に再利用されないかというオプトアウトの可否や、プロンプトを通じて意図しない内部情報を引き出されないかといった、AI特有のデータ処理プロセスの監視が欠かせません。例えば、安全性が高いと評価されている大規模言語モデル「Claude」などの最新AIを導入する場合であっても、データが学習に使われない契約形態・設定になっているかを確認することが対策の第一歩となります。
なぜ今、情シスに強力なガバナンスが求められるのか
現在、企業における生成AIの導入率は約80%に達しており（オープンテキスト株式会社 2026年2月26日発表調査）、日本市場での普及スピードはグローバル平均を大きく上回っています。しかし、その急速な普及にガバナンスが追いついていません。その背景には、以下のような法改正や業界指標の劇的な変化があります。
日本初のAI基本法が成立（2025年5月28日）：日本政府は「人工知能関連技術の研究開発及び活用の推進に関する法律」を2025年5月28日に成立させました。罰則主体のEU型とは異なり、利活用とリスク管理の両立（ソフトロー）を目指す方針ですが、2025年12月23日には国家戦略となる「人工知能基本計画」が閣議決定（2026年2月公表）され、民間企業にも適切なAIガバナンス体制の整備と、社会的責任が明確に求められるようになっています。
「AI事業者ガイドライン（第1.2版）」の公表（2026年3月31日）：経済産業省・総務省が改定版を公表しました。自律的に思考して複数のシステムをまたぎ実行する「AIエージェント」や、ロボット等を操作する「フィジカルAI」特有の暴走、意図しない他システム接続などのリスクに備える「リスクベースアプローチ」が明記されました。
「情報セキュリティ10大脅威 2026」でAIリスクが3位に初選出：IPA（情報処理推進機構）が2026年1月29日に発表した「情報セキュリティ10大脅威 2026（組織編）」にて、「AIの利用をめぐるサイバーリスク」が初登場でいきなり第3位に選出されました。社員の不十分な理解による情報漏洩に加え、攻撃者が生成AIを悪用して極めて自然な日本語のビジネスメール詐欺（BEC）などを自動生成する脅威の急増が背景にあります。
このような状況下で、情シスがルールを作らず禁止・放置していると、後述する「シャドーAI（勝手な利用）」が進み、深刻なセキュリティインシデントに発展します。情シスの役割は禁止ではなく、安全な環境と明確なガイドラインの提示にあります。それがリスクを最小化しながら生産性を高める、現実的なアプローチです。
▲ 従来のITセキュリティと生成AIセキュリティにおける防御対象の違い
情シスを悩ませる生成AIの主要リスクと具体的な脅威
生成AIの利活用にあたっては、従来のデータ漏洩や攻撃に加え、自律型AIエージェントの暴走や社内RAGでのアクセス権限の越境といった最新の技術的脅威への対応が必要です。上記のリスクに対し、次セクションで解説する技術的対策を組み合わせることで多層防御を構築できます。
1. 入力データの再利用と機密情報の漏洩
最も発生頻度が高いのは、ユーザーが入力した機密データがAIモデルの学習に再利用され、他ユーザーの出力結果に紛れ込むことによる情報漏洩です。コンシューマー向けの無料版AIサービスの多くは、デフォルトで入力データを学習に利用する設定になっています。例えば、自社の開発者が未発表のソースコードや製品仕様書を無料のAIにペーストしてバグチェックを行った場合、そのコードが競合他社のプロンプトに対して出力される危険性が生じます。これを防ぐには、入力データが再学習に利用されない法人向けエンタープライズ契約やAPI接続への移行が欠かせません。
2. プロンプトインジェクション等のサイバー攻撃
AIモデルの入力欄を悪用し、開発者が想定していない不正な挙動や情報の出力を強制させる攻撃手法が、プロンプトインジェクションです。OWASP（Open Web Application Security Project）の「OWASP Top 10 for LLM Applications」において、プロンプトインジェクションは「LLM01」として最優先の脅威に位置づけられており、総務省が2026年3月27日に公表した「AIのセキュリティ確保のための技術的対策に係るガイドライン」においても、具体的な技術的防御策の整備が呼びかけられています。社内AIチャットや公開ボットを構築する際、ユーザーの入力をそのままLLMに渡す設計は極めて危険であり、事前の入力フィルタリングやサニタイズ（無害化）が必要です。
3. 自律型AIエージェントの暴走や乗っ取り
従来の生成AIは「人間の指示に対してテキストを返す」だけでしたが、2025〜2026年はAIが自律的に判断してシステムを動かす「AIエージェント（フィジカルAI）」が本格的に稼働しています。例えば、「顧客からの指示メールを解析して自動返信する」「社内RPA・APIを操作して在庫データを書き換える」などの実行権限をAIに持たせる場合、外部からの不正な電子メールや悪意ある命令（プロンプトインジェクション等）をAIエージェントが「正規の指示」と誤認してシステムがハッキング（乗っ取り）され、勝手に社内データを外部送信・削除してしまうといった新たな暴走リスクへの備えが急務となっています。
4. 社内RAG導入時の「アクセス権限の越境」問題
社内のPDFや共有ドライブの規約・ドキュメントをAIに検索・読み込みさせて回答させる「RAG（検索拡張生成）」の導入が企業で広く進んでいます。ここで情シスを悩ませているのが、「一般社員がRAGのチャットを介して、本来アクセス権を持たない極秘情報を引き出せてしまう」というセキュリティの穴です。AIに全社共有のデータベースを一括して読み込ませた結果、一般社員が「私のボーナスはいくらですか？」や「未公開プロジェクトの買収情報は？」と質問した際、AIがバックエンドから「役員報酬データ」「人事評価シート」「M&A計画」等を検索・要約して回答してしまう事態が頻発しています。RAG構築時には、Active Directoryなどのユーザー権限と同期した「検索時・ベクトルDBアクセス時のフィルタリング設計（Security Trimming）」が欠かせません。
5. 出力結果に含まれる著作権侵害とハルシネーション
生成AIがもっともらしい嘘を出力する「ハルシネーション」や、出力結果に他者の著作物がそのまま含まれていることによる法的・倫理的リスクです。2024年初頭に報じられたエア・カナダのAIチャットボットによる誤案内と損害賠償事例（現在も業界の教訓事例として広く引用）に代表されるように、ハルシネーションによる虚偽情報をそのままビジネスで活用すると、深刻な信用失墜と損害を招きます。また、AIの出力物が既存の著作物と酷似していた場合、意図していなくても著作権侵害に問われる可能性があります。利用規約において「最終的な人間によるファクトチェック（Human-in-the-loop）」を義務づける運用ルールが必要です。
安全な利用環境を構築するための技術的対策
CASBやDLPによる可視化・制御を起点に、APIや法人向けプランが持つセキュリティ上の限界も踏まえた多層防御の設計が、安全な利用環境構築の出発点になります。
CASBとファイアウォールによる「シャドーAI」の可視化
現場でのシャドーAI（無断利用）を防ぐための強力なアプローチが、CASB（Cloud Access Security Broker）や次世代ファイアウォール（NGFW）の導入です。これらを用いることで、社内ネットワークや社内PCから、いつ、誰が、どのAIサービス（ChatGPT、Claude、Grokなど）に、どのようなデータを送信しているかをログとして可視化・検知できます。
例えば、セキュリティ管理が不十分な個人の無料アカウントや、安全性の不明な海外のマイナーなAIサービスへの通信を自動的にブロックし、代わりに企業が契約している安全な代替ツール（例えば承認済みのGoogle提供のGeminiなど）へユーザーを自動転送するといったきめ細かな制御が可能です。ファイルのアップロード量や送信データ量の異常検知により、大量の機密持ち出しを早期に捉える効果もあります。
DLPによる機密情報のフィルタリング
DLP（Data Loss Prevention）をAIのプロンプト入力経路に連携・設定することで、社員が誤って機密データを送信するヒューマンエラーを防ぐことができます。プロンプトの中にクレジットカード番号、マイナンバー、特定の社内製品コード、顧客の個人名などが含まれている場合、DLPゲートウェイが自然言語処理により自動で検知。送信をリアルタイムにブロックするか、あるいは該当情報を伏字（マスキング）にしてからLLMへ引き渡すような高度な技術的対策が可能です。
情シスが陥りがちな2つの「落とし穴・よくある誤解」
セキュリティ対策を進める中で、情シス部門が過信しがちな技術的仕様の「誤解」を整理しておきましょう。
誤解1：「API経由の利用だから100%安全」の落とし穴
「API接続であれば入力データがモデルの再学習に使われないため、何を送信しても完全に安全」と思い込むのは危険です。再学習は行われませんが、「APIプロバイダ（OpenAI等）のサーバー内に不正検知を目的として最長30日間データが一時保管されるリスク（ゼロデータ保持契約を締結しない場合）」や、「APIキー自体の管理不備による漏洩（GitHubにキーを含めて誤公開するなど）」、「プロバイダ自体のシステム障害による漏洩」は存在します。依然として、極秘情報の入力はポリシーで制限し、APIキーの適切な暗号化と定期ローテーションを徹底しなければなりません。誤解2：「法人向けプランを契約したから追加対策は不要」という盲点
ChatGPT EnterpriseやMicrosoft Copilot等の法人プランは「データの送信・保管経路」を暗号化・保護するだけであり、セキュリティ対策が完了したわけではありません。「社員がハルシネーション（もっともらしい嘘）を鵜呑みにして誤った提案書を顧客に送り、実害が生じるリスク」や、「出力されたソースコードや画像に他人の著作権が含まれており、自社製品に組み込んで著作権侵害となるリスク」は防げません。システム導入後も「最終出力は人間の目で検証する」ルールの定着や、定期的なリテラシー教育が必須です。
個人向け・法人プラン・API接続の技術比較
情シスが安全な利用環境を構築するにあたり、提供形態別のセキュリティ仕様を理解しておく必要があります。以下に主要な比較軸での違いを整理しました。技術選定の検討材料として活用してください。
比較項目 | 個人向け無料版 | 法人向けプラン（ChatGPT Team/Enterprise等） | API接続（OpenAI API、Claude API等） |
|---|---|---|---|
データの学習利用 | 原則として利用される（オプトアウト設定が必要） | 利用されない（契約上、非学習を保証） | 利用されない（仕様上、非学習を明記） |
一時キャッシュの保管 | 常時保存・管理される | 不正監視等の目的で一定期間（最長30日等）保管あり | 不正検知のため最長30日間一時保管される（特約による免除可） |
管理者（情シス）の統制 | 不可能（シャドーAIの温床となる） | メンバー管理、SSO連携、利用ログ確認などが容易 | 自社開発したシステム側で高度なアクセス制限やログ保存が可能 |
APIキーの管理負担 | なし | なし | あり（安全な鍵管理、暗号化、定期ローテーションが必須） |
ハルシネーション/著作権侵害 | 利用者の目視確認に依存 | 管理者がカスタムインストラクションで注意喚起等のみ可能 | 自社開発により、回答を技術的（ガードレール）にフィルタリング可能 |
稼働保証（SLA） | なし | あり（プランによる） | あり |
各パターンの特徴をふまえ、自社のセキュリティレベルに応じた使い分けを検討しましょう。より詳細な実務運用については、ChatGPTのビジネス活用ガイドなども併せて参照するとスムーズな導入が可能です。
▲ CASBによるシャドーAI（無断利用）の検知・制御判断フロー
組織的なガバナンスと利用ガイドラインの策定
全面禁止という失敗パターンを避け、条件付き許可をベースにした実用的なガイドライン策定と従業員教育が、組織的なガバナンス確立の出発点になります。
全面禁止が招く「シャドーAI」という失敗パターン
生成AIの利用リスクを恐れるあまり、情シスが「社内での生成AIの一律利用禁止」を命じるのは、セキュリティ運用における典型的な失敗パターンです。業務を効率化したい現場の社員は、情シスの目の届かない「私用のスマートフォン」や「個人の無料アカウント」を用いてこっそりAIを使い始めます。結果、情シスの管理ログに残らない「シャドーAI」の温床となり、安全管理措置の取られていない環境で最悪のデータ漏洩が発生します。
株式会社USEN Smart Worksが2026年6月8日に発表した「生成AIの活用状況に関する実態調査」によると、「社内に公式な導入はないが、個人の判断で生成AIを利用している（シャドーAI）」と回答したビジネスパーソンは約3割（27.1%）に上っています。つまり、一律禁止はセキュリティを担保するどころか、社内の約3割の現場でコントロール不可能な「隠れたリスク」を放置することと同じです。「使わせない」から「安全に使わせる」へ。ガバナンスの軸足を移すことが今、求められています。
「入力OK/NGデータ」判断チェックシート
社員が実務で迷わずに安全なAI活用を行えるよう、情シスが提示すべきデータ入力の判断基準を以下のように整理しました。全社配布用のチェックシートとしてそのままご活用いただけます。
区分 | 入力データの例 | 判定 | 情シスの推奨対応・代替案 |
|---|---|---|---|
個人情報 | 顧客の氏名、メールアドレス、クレジットカード番号、マイナンバー | NG | APIやDLPを利用し、該当情報を「XXXX」などに完全に匿名化・マスキングしてから入力する。 |
社外秘の機密情報 | 未発表の経営計画、他社との機密保持契約（NDA）下の情報、新製品の設計仕様書 | NG | 外部漏洩によるインサイダー取引や契約違反を避けるため、社内クローズドRAGやセキュアな自社API環境以外では絶対に入力しない。 |
社内の一般ドキュメント | 一般的な業務マニュアル、既に公開済みの営業資料、定型の社内通知文 | 条件付きOK | 非学習が契約上保証されている「法人向けプラン」において、誤字脱字チェックや要約目的でのみ利用可能。 |
公開情報・汎用データ | プレスリリース（公開済み）、一般的なビジネストレンド情報、プログラムの一般コード | OK | AIの再学習対象となっても実害がないため自由に入力して良いが、最終的な出力のハルシネーション（嘘）は必ず検証する。 |
公的機関・業界団体の先進ガイドライン事例
自社のガイドラインやセキュリティポリシーを策定するにあたり、以下の公的機関や業界団体が実践している「リスクベース」の優れたガバナンス設計を参考にすることをおすすめします。
自治体：神戸市の「AI条例」によるリスクアセスメントの義務化
神戸市は、行政処分や市民対応などの重要業務にAIを用いる場合、あらかじめ市が定める項目に基づいて「リスクアセスメント（安全評価）」を行うことを義務付ける「神戸市におけるAIの活用等に関する条例（AI条例）」を2024年3月に公布し、2024年9月27日に施行しました（2026年現在も継続運用中）。安全性が確保されていないAIへの個人情報の入力を厳格に禁止する一方、職員が直感的に判断しやすい具体的なマニュアルを作成。利用制限を明確にしつつ、安全な業務効率化を両立する自治体ガバナンスのベストプラクティスとなっています。業界団体：日本デジタルヘルス・アライアンス（JaDHA）の業界ガイド
極めて厳しいセキュリティと個人情報保護が求められるヘルスケア領域において、業界独自の活用ガイドライン「ヘルスケア事業者のための生成AI活用ガイド」を先駆けて策定し、2025年2月7日に第2.0版へと改定しました。最新のRAG（検索拡張生成）技術や日本語特化型LLMの進化に伴うリスク、国内外の最新の政策動向に対応し、医療機関や事業者が遵守すべき「院内・組織内ポリシーのひな型」を提示。専門性の高い業界において安全にAI活用を進める際のモデルケースとなっています。
セキュアなAI活用を両立した先進企業の導入事例
安全なAI活用に成功している企業は、利用ルールを一律に制限するのではなく、インシデント対応体制や専用の検知ツール（ガードレール）の導入を迅速に進めています。
1. 国内AIスタートアップ（自律型ツールのセキュリティ運用）
企業名：株式会社GENAI
業種・規模：AIプロダクト・ソフトウェア開発 / 社員数約150名
導入時期：2025年後半〜
課題：自律的にソースコードを解析・修正して接続先システムを動かす「Claude Code」や、自律型のAIエージェントツールを業務に利用したいという現場の強いニーズがあった。しかし、AIエージェントの想定外のシステム操作や、データ書き換えに伴う二次的なセキュリティ事故を恐れ、どのように運用ガバナンスを敷くべきか悩んでいた。
施策：「危ないから使わせない」ではなく「正しく制御して最速で使う」を掲げ、AIエージェントに付与するシステム操作権限をローカルの開発用サンドボックス環境のみに厳格に制限。同時に、AIの暴走時や異常な通信を検知した際のインシデント対応フロー（キルスイッチ体制等）を設計した。また、全社員を対象としたセキュリティオンボーディング研修を実施し、ガイドラインを月次でアップデートした。
成果：セキュリティを高度に担保した状態で、Claude Codeを含む自律型ツールの全社展開に成功。開発業務におけるバグ修正工数を約40%削減した。シャドーAIを一掃し、高いセキュリティ水準を維持しながら、開発効率の大幅な改善を実現している。
2. SMBCサイバーフロント × 三井物産セキュアディレクション（MBSD）
業種・規模：金融・サイバーセキュリティサービス / 金融グループ向け先進セキュリティ検証
導入時期：2026年6月開始
課題：金融業に求められる極めて厳しいシステム基準において、AIエージェントや生成AIを本格的に実務に組み込む必要があった。しかし、プロンプトインジェクションや不適切な入出力、個人情報の意図しない引き出しを確実に防止する技術的フィルター（ガードレール）の国産ソリューションが不在だった。
施策：2026年6月10日、両社がAIエージェントを安全に利用するための国産セキュリティ製品（ガードレール）の開発に着手すると発表。生成AIやAIエージェントに対する入力（プロンプト）と出力結果をリアルタイムで監視・評価し、社内ポリシーに抵触するデータや不適切な指示を瞬時に検知・マスキング（または遮断）するAI専用の国産「ガードレール」製品の共同開発および実証実験（PoC）を開始した。
成果：金融グループの高度なセキュリティ要件に合致する、AI専用の防御網「AIガードレール」の設計に成功。AIエージェントの暴走やハッキング、ハルシネーションによる虚偽情報の発生リスクを技術的にブロックできるベースを確立し、本番稼働に向けて検証を進めている（2026年6月時点）。
よくある質問
生成AIのセキュリティに関する疑問を解消するため、技術の仕様や運用上の落とし穴について簡潔に解説します。
Q：API経由で生成AIを利用すれば、一切のセキュリティリスクを排除できますか？
A：いいえ、API経由にすることで「データモデルの再学習」は防げますが、すべてのリスクを排除できるわけではありません。OpenAI APIではゼロデータ保持（ZDR）が適用されない場合、不正監視の目的で最大30日間データが保持されるリスクや、APIキーの管理不備（GitHubへの誤公開等）による流出リスクは残ります。また、出力されるハルシネーション（誤回答）によるビジネス上の法的・損害賠償リスクも残るため、人手による検証ルール（Human-in-the-loop）が必須です。
Q：全面利用禁止から「条件付き許可」へ移行する際、情シスはまず何から取り組むべきですか？
A：まず最優先すべきは、CASBや既存ファイアウォールのログ分析を通じて、自社における「シャドーAI（無断利用）」の実態を可視化することです。その上で、個人無料アカウントでの無断利用を検知・遮断し、データの再学習を防ぐ「セキュアな自社専用のAIチャット環境（法人向けプランやAPI接続によるもの）」を提供します。合わせて、入力OK/NGを具体例で示したシンプルなガイドラインを配布し、社員に対するセキュリティリテラシー教育を実施してください。
Q：社内RAG（検索拡張生成）の構築時に発生する、一般社員による「機密データへのアクセス権限の越境」を防ぐにはどうすればよいですか？
A：単にすべての社内ドキュメントを一括してAIに読み込ませる（ベクトルデータベースに入れる）のを避け、ユーザー自身の権限管理と同期した「セキュリティフィルタリング」を構築する必要があります。一般にSecurity Trimmingと呼ばれる設計手法を用い、Active Directory等のアクセス権限とRAGを連携させ、一般社員が質問した際には、その社員が本来アクセス権を持たない「役員報酬」「人事評価」などのドキュメントを検索対象から自動的に除外するシステムを構築してください。
▲ 安全な「条件付き許可」へ移行するための3ステップ
まとめ
明日から取り組める生成AIセキュリティ対策の一歩
生成AIのセキュリティ対策は、一度構築して終了するものではありません。AI技術が自律型AIエージェントやフィジカルAIへと急速に進化する2026年現在、新たな攻撃手法やリスクが日々生まれているため、継続的な監視とルール更新が必要です。しかし、その根底にあるのは「データの流れを正しく把握し、適切に保護する」という情報セキュリティの鉄則にほかなりません。
情シスが明日から取り組むべき最初の一歩は、自社のCASBやファイアウォール、プロキシサーバーのログを確認し、社内ネットワークから外部のAIサービスにどの程度のアクセス（シャドーAI）が発生しているか実態を可視化することです。現状の「隠れたリスク」を正確に把握することこそが、安全で強力な業務効率化を可能にするセキュアなAI環境の確実なスタートラインとなります。
✅ CASBまたはNGFWのログを確認し、シャドーAIの実態を把握した
✅ 個人の無料アカウントへのアクセスをブロックし、法人プランへ誘導した
✅ 入力OK/NGチェックシートを全社配布した
✅ RAGのSecurity Trimmingをアクセス権限と連携させた
✅ AIセキュリティ研修を年1回以上のスケジュールに組み込んだ
本記事の内容に誤り等がございましたら、こちらからご連絡ください。
監修
Admina Team
情シス業務に関するお役立ち情報をマネーフォワード Adminaが提供します。
SaaS・アカウント・デバイスの管理を自動化し、IT資産の可視化とセキュリティ統制を実現。
従業員の入退社対応や棚卸し作業の工数を削減し、情報システム部門の運用負荷を大幅に軽減します。
中小企業から大企業まで、情シス・管理部門・経営層のすべてに頼れるIT管理プラットフォームです。
