AIチャットボットの導入は、なぜセキュリティ審査を通らないのか
AIチャットボットの導入が止まるのは、多くの場合、社内のデータがどこへ送られるのかを担当者が示せないためです。問い合わせ対応やナレッジ検索の部門は、社内資料をAIに読み込ませて同じ質問への回答負担を減らしたいと考えます。一方で法務部門は、その資料が社外に出るのかどうかを確認する必要があります。
多くの企業では、サーバーが日本国内にあり、通信が暗号化され、お客様のデータを学習に使わないと明示されたSaaS型チャットボットであれば、承認を得られます。SaaSの提供会社に確認したい質問は、[AIチャットボット導入のセキュリティ審査 承認前に答えておきたい5つの質問](/ja/blog/ai-chatbot-security-questions-enterprise)にまとめています。
本記事が扱うのは、それでも承認が下りないケースです。社内規程、お客様との契約、監督官庁の要請などにより、データをインターネットに出すこと自体が認められない場合です。金融、医療、官公庁、そしてこうした業界のシステムを手がけるSIer様で多く見られます。
「データを外に出さない」には、どの構成要素を社内に置く必要があるか
RAG(Retrieval-Augmented Generation、関連する資料の箇所を検索し、それをもとにAIが回答を作る仕組み)のチャットボットで本当にデータを外に出さないためには、次の5つの構成要素がすべて社内ネットワーク内で動いている必要があります。
「オンプレミス対応」とうたう製品の中には、1から3だけを社内に置き、回答を作る段階では外部のLLM APIを呼び出しているものもあります。この場合、利用者の質問と関連する資料の箇所は、インターネットを通って外部に送られます。評価の際は「オンプレミスに対応していますか」と一括で聞くのではなく、構成要素ごとに確認されることをおすすめします。
外部送信がないことは、どう確かめればよいか
製品資料に書かれた約束は、検証の代わりにはなりません。検収の前に、次の3つの手順を提供会社に求めることをおすすめします。
1. 設計上の外部接続をすべて一覧にする。 接続ごとに、理由、接続先、通るデータの種類を明記します。一覧が短いほど審査は通りやすくなります。
2. ソースコードと設定を走査する。 外部サービスの環境変数、APIキー、接続先アドレスをすべて洗い出し、手順1の一覧と一致するかを確かめます。
3. ファイアウォールで外向きの通信をすべて遮断して動かす。 それでも通常どおり回答できれば、インターネットに暗黙に依存している部分はないと判断できます。
手順2は、VAONが自社の製品で実施したものです。VAONが2026年に自社開発した、オンプレミスで動く請求書・契約管理システムで、外部サービスの接続情報をソースコード全体から走査したところ、見つかった環境変数は6つで、すべてSMTPによるメール送信に関するものでした(2026年8月24日計測)。このシステムはチャットボットではありませんが、確かめ方は同じです。RAGチャットボットであれば、手順1の一覧は空、あるいは社内のメールサーバーへの接続だけになるのが理想です。
LLMを社内のハードウェアで動かすと、何と引き換えになるか
オンプレミスのRAGチャットボットで最も大きな引き換えになるのは、言語モデルです。大規模な商用LLMをAPI経由で使うことはできず、公開されているモデル(オープンウェイトモデル)を自社のサーバーで動かすことになります。
量子化(モデルの数値の精度を8ビットや4ビットに下げる技術)を使えば、モデルを小さくしてCPUで動かすこともできます。ただし応答は遅くなり、小さなモデルは複数の段階を踏む質問や、専門用語の多い日本語の資料を苦手とする傾向があります。商用LLMに近い品質を求める場合はGPUが必要になることが多く、ハードウェアの費用もその分増えます。
VAONは、オンプレミス構成について「何割削減」といった一律の数字はお示ししていません。総費用は利用者数、質問の量、選べるモデル、すでにお持ちのハードウェアによって変わるため、一般的な数字はお客様の状況に当てはまらない可能性が高いからです。代わりにVAONでは、小規模なPoC(概念実証)で、お客様の実データを使って次の3点を測ることをご提案しています。
1. 回答の正答率： 業務担当の方に正解を用意していただいた、実際の質問50〜100件で測ります。
2. 応答時間： 導入を予定しているサーバー構成そのもので、複数の方が同時に使った場合を測ります。
3. ハードウェアと運用の費用： 3年間の見込みを出し、同等のSaaSの見積もりと並べます。
この3つの数字がそろえば、経営層の方は2つの案を同じ条件で比較できます。
RAGチャットボットの閲覧権限は、どこで制御すべきか
RAGチャットボットの閲覧権限は、LLMへの指示文ではなく、資料を検索する段階で制御すべきです。機密資料も検索したうえでLLMに「この資料には触れないように」と指示する方式では、機密の内容がすでにモデルへの入力に含まれており、回答に漏れ出るおそれがあります。
より安全なのは、資料をベクトルデータベースに登録する時点で、各箇所に部署、役職、プロジェクトといった権限情報を付けておく方法です。質問があったときは、その方が閲覧を許されている箇所だけを検索します。権限のない箇所は、LLMに届くことがありません。
この考え方は、SaaSでもオンプレミスでも同じです。VAONのSaaS型AIチャットボット「ONEBOT」には、ロールベースのアクセス制御(RBAC)があり、利用者のグループごとに回答の根拠にできる資料を限定できます。オンプレミスで構築する場合は、実際の組織構成に合わせた権限設計を最初に固めておくことをおすすめします。数千件の資料を登録したあとで権限を作り直すのは、はるかに手間がかかるためです。
オンプレミスのRAGチャットボットが向かない場合
オンプレミスのRAGチャットボットは、最初から選ぶべき標準の構成ではありません。次の4つのケースでは、SaaSのほうが合っています。
1. 暗号化と国内保存を条件に、データのインターネット送信が認められている場合。 SaaSのほうが安く、早く、回答の品質も高いことが多いです。
2. サーバーを運用できる担当者がいない場合。 社内のシステムには監視、バックアップ、更新が欠かせません。担当者がいないと、運用上のリスクがデータのリスクを上回ることもあります。
3. LINEでお客様に回答したい場合。 LINEはインターネット上のサービスのため、「インターネットに出さない」という条件とは両立しません。
4. 数週間で成果が必要な場合。 ONEBOTのようなSaaSは2〜4週間で導入できます。社内のシステムでは、調査、PoC、ハードウェアの調達が先に必要です。
なお、オンプレミスで動かすことによって、個人情報保護法(APPI)への対応が自動的に完了するわけではありません。構成によってデータの通り道は限定できますが、どのデータを入れるのか、誰が閲覧できるのか、どれだけの期間保存するのかについては、別途法務面での確認が必要です。
SIer・代理店様は、お客様にどちらを提案すべきか
SIer・代理店様には、売りやすさではなく、エンドユーザーであるお客様の規程に合う案を選んでいただくことをおすすめします。エンドユーザーのお客様は、第2章と第3章の質問をそのまま確認されます。答えられない提案は、その段階で選考から外れてしまいます。
VAONは、パートナーの皆様を2つの形で支援しています。SaaSを受け入れられるお客様向けには、ONEBOTをパートナー様のブランドで提供できるOEMプログラムがあります。インターネットへの送信が認められないお客様向けには、AI・自動化サービスの個別開発案件として、オンプレミスのRAGチャットボットを構築します。いずれもインフラ調査とPoCから始めます。