テストにAIを使うことと、AIをテストすること — 異なる2つの職能

要約： テストにAIを活用することと、AIシステムそのものをテストすることは、必要とされる技能が異なる別々の仕事です。ISTQBはこの区分を正式に分離しました。AIを補助として使う技能はCT-GenAI、AIシステム自体を検証する技能はCT-AI v2.0が扱います。

目次

1. なぜこの2つは混同されるのか
2. ISTQBはこの2領域をどう分離したか
3. AI for Testing（CT-GenAI）— 補助としてのAI
4. Testing AI Systems（CT-AI v2.0）— AIが被テスト対象になる場合
5. なぜAIによるAIのテストが成立しないのか
6. QAマネージャーはチームの技能をどう配置すべきか
7. CT-AIがまだ必要でない場合
8. よくあるご質問

1. なぜこの2つは混同されるのか

「AIテスト」という言葉は、ほとんど関連のない2種類の仕事を同時に指しています。ひとつはテストを実施するためにAIを使うこと、もうひとつはAIそのものである製品をテストすることです。

お客様のQAチームとの打ち合わせでも、この混同はしばしば見受けられます。あるエンジニアの方が「当チームではすでにAIテストに取り組んでいる」とおっしゃり、詳しくうかがうとChatGPTでSeleniumのコードを生成しているという状況でした。これは有用な取り組みですが、チャットボットやAIエージェント、RAG（Retrieval-Augmented Generation／検索した文書に基づいて回答を生成する仕組み）を検証できるかどうかについては、何も示していません。

この混同は、採用と人員配置の場面で実際の損失につながります。チャットボットのテスト案件に向けて「AI経験のあるエンジニア」を採用したところ、Copilotでテストスクリプトを書けるだけだったという例があります。逆に、モデル評価を本当に理解している方が、通常の自動化業務に配置されてしまう例もあります。

2. ISTQBはこの2領域をどう分離したか

国際ソフトウェアテスト資格認定委員会（ISTQB — International Software Testing Qualifications Board）は、この2領域を別々の資格として分離し、その移行は2026年に完了しました。

2026年4月、ISTQBは Certified Tester AI Testing（CT-AI）シラバス バージョン2.0 を公開しました。2021年以来、初の大幅な改訂です。このバージョンで最も重要な変更は、追加された内容ではなく削除された内容にあります。テストを支援するためにAIを使うという主題は、CT-AIから全面的に取り除かれました（ISTQB「CT-AI v2.0シラバス公開」2026年4月）。CT-AI v2.0は現在、AIシステムそのものの検証だけを扱う資格です。

取り除かれた主題には、専用の受け皿が用意されています。Certified Tester – Testing with Generative AI（CT-GenAI） は2025年7月25日にISTQB総会で承認され、現在バージョン1.1が有効です。プロンプトエンジニアリング、大規模言語モデルの限界、テスト基盤へのAI導入を扱います。

CT-AI v1.0は提供終了が決まっています。英語版は2027年4月21日まで、英語以外の言語版は2027年10月21日まで受験可能です（ISTQB CT-AI資格ページ）。v1.0の学習を進めている方がいらっしゃる場合、教育計画の策定にあたってこの期日をご確認ください。

3. AI for Testing（CT-GenAI）— 補助としてのAI

AI for Testingは、通常のソフトウェアテスト工程の中でAIを補助として使う領域です。広く導入されている用途は次の3つです。

1. 要件からのテストケース生成。 モデルが仕様書を読み、テストシナリオを提案します。実際の価値は最初の草案に到達する速さにあり、その草案の品質にあるわけではありません。
2. テストデータの合成（synthetic data）。 処理分岐を網羅できる多様なサンプルデータを生成します。本番データに個人情報が含まれ、テスト環境へ持ち込めない場合に特に有効です。
3. スクリプトの自己修復（self-healing）。 画面変更でセレクタが壊れた際、対応する要素を特定してスクリプトを更新し、失敗として扱いません。

自己修復については、限界を明確に申し上げる必要があります。この仕組みが修復できるのは画面変更に起因して壊れたスクリプトです。「登録ボタンのidが変更された」場合と「登録ボタンが誤って製品から削除された」場合を区別することはできません。後者では、自己修復の成功がそのまま実在する欠陥の隠蔽になります。修復性能が高すぎるテストスイートは、製品が壊れている状態でも全件成功を示し得ます。

したがって自己修復の運用には原則が伴います。自動修復はすべてログに記録し、定期的に人が確認することです。痕跡を残さない静かな修復は、機能ではなくリスクです。

4. Testing AI Systems（CT-AI v2.0）— AIが被テスト対象になる場合

Testing AI Systemsは、被テスト対象がチャットボット、AIエージェント、RAGシステム、または機械学習モデルである場合を扱う領域です。ここでは従来のテストの前提が崩れます。同じ入力が同じ出力を返すとは限らないため、assertEqualsによる表明が成立しません。

CT-AI v2.0は、機械学習システム固有の2つのテストレベルと、品質特性の層で構成されています。

入力データテスト（input data testing）。 データがモデルの挙動を決めるため、データはソフトウェア構成要素としてテストされます。実際の利用実態を代表しているか、ラベルは正しいか、増幅されるバイアスがないか、取り込みパイプラインがデータを損なっていないか、といった観点です。

モデルテスト（model testing）。 従来のテストには存在しない技法でモデル自体を評価します。メタモルフィックテスト（絶対的な出力を表明するのではなく、複数の出力の関係を検証する手法）、敵対的テスト、経時的なドリフト検出、バージョン間の背中合わせ比較などです。

AI品質特性。 CT-AI v2.0はこの部分をISO/IEC 25059に紐づけています。ソフトウェア品質規格をAIシステム向けに拡張した規格で、頑健性・透明性・説明可能性といった特性を含みます。

この領域は、当社が自社製品で直接取り組んでいる領域です。VAONはRAG構成の対話アシスタント「OneBot」を開発し、LINE連携を含めて本番運用しています。OneBotの検証で最も難しかったのは、主要な対話フローではありませんでした。非決定的な出力に対する評価基準の構築です。業務ルール上は正しいが表現が異なる回答を合格とみなすのか、どの閾値をもってモデルが事実を捏造していると判定するのか。この要件を表明文で記述することはできません。当社は人が定義した採点基準を伴う専用の評価データセットを構築する必要がありました。これはCT-AI v2.0が記述している作業そのものであり、優秀な自動化エンジニアであっても経験のないことが多い作業です。

5. なぜAIによるAIのテストが成立しないのか

あるAIシステムに別のAIシステムの評価を委ねると、基準点のない閉じた輪ができあがります。被テスト側と評価側が同じ形で誤り得るうえ、その誤りを輪の内側にある要素は検出できません。

問題は評価側モデルの採点精度が低いことではありません。評価側が被評価側と死角を共有していることです。学習データが重なり、正確な回答よりも流暢な回答を好む傾向を共有し、馴染みのある表現に対する同じ偏りを持ちます。誤っているが体裁の整った回答は、双方に受け入れられ得ます。

これはモデルによる採点を全廃すべきという意味ではありません。テストアーキテクチャをハイブリッド構成にし、3層で設計すべきという意味です。

1. 決定的な層。 合否基準が明確な検査です。出力形式、応答時間、出典の提示有無、個人情報の漏えい有無など。完全に自動化します。
2. モデルがモデルを採点する層。 大量の出力を高速にふるいにかける用途に限定し、誤差を許容したうえで、リリース判断の根拠には決して用いません。
3. 人が判断する層。 合格の定義、第2層からの無作為抽出レビュー、そしてリリース可否の判断。ここが最終関門であり、ツールへ委譲してはならない部分です。

3層の比重は製品のリスク水準によって変わります。社内の手順照会用チャットボットと、エンドユーザー向けの商品案内アシスタントは、技術的にはどちらもRAGであっても、求められる検証の厚みは全く異なります。

6. QAマネージャーはチームの技能をどう配置すべきか

適切な配置は、自社が「AIについて語っているかどうか」ではなく、チームが実際に何をテストしているかによって決まります。

採用に関して一点補足いたします。求人票には「AI経験」ではなく被テスト対象を明記されることをお勧めします。「RAGシステムのテスト、非決定的出力に対する評価基準の設計」と書くほうが、「AI経験者優遇」よりもはるかに正確に候補者を絞り込めます。

7. CT-AIがまだ必要でない場合

製品にAI構成要素が含まれていない場合、CT-AI v2.0が現時点でチームにもたらす実務的価値はありません。入力データテストとモデルテストは、テストすべきモデルが存在して初めて使える技能です。

同様に、テストの規約が文書化されておらず、安定した回帰テストスイートも整っていない段階では、いずれの領域であってもAIの導入は既存の混乱を増幅させるだけです。工程の土台はツールに先行します。この順序については、AIをテストに用いる際の4段階ループと検証チェックポイントの記事で詳しくご説明しています。

8. よくあるご質問

QAエンジニアはCT-GenAIとCT-AI v2.0のどちらを先に取得すべきでしょうか。 テスト対象となる製品によります。製品にAI構成要素がない場合は、日々の業務に直ちに適用できるCT-GenAIを先に取得されることをお勧めします。チャットボット、AIエージェント、RAGシステムを現在または近くテストされる場合はCT-AI v2.0が適切であり、案件開始前に少なくとも1名が取得されている状態が望ましいと考えます。

CT-AI v1.0を保有している場合、v2.0を取り直す必要はありますか。 CT-AI v2.0は2021年以来初の大幅改訂であり、構成と重点がv1.0とは異なるため、旧資格は現行の内容を反映していません。ISTQBはv1.0の提供終了時期も公表しています。英語版は2027年4月21日まで、英語以外の言語版は2027年10月21日までです。

ChatGPTでテストスクリプトを書くことは「AIテスト」に当たりますか。 当たりません。それはテストを支援するためにAIを使う行為であり、CT-GenAIの範囲です。AIテストとは被テスト対象がAIシステムであることを指し、入力データテスト、メタモルフィックテスト、非決定的出力の評価といった別の技法を必要とします。

ある言語モデルの出力を別の言語モデルで採点してもよいでしょうか。 大量の出力を高速にふるいにかける用途であれば可能ですが、リリース判断の根拠には用いないでください。採点側は被採点側と死角を共有するため、流暢だが誤っている回答が双方で受け入れられ得ます。合格基準の定義と抽出レビューは人が担う必要があります。

RAGシステムのテストは通常のチャットボットのテストと何が異なりますか。 RAGシステムには独立して検証すべき層が加わります。文書検索の層です。誤った回答の原因は、生成の段階にある場合と、検索が有効ではあるが無関係な文書を返している場合があります。この2つの原因には別々のテストセットが必要で、まとめて扱うと不具合の所在を特定できなくなります。

AI出力の評価基準は誰が構築すべきでしょうか。 ツールに詳しい方ではなく、業務ルールを理解している方です。ある回答が合格かどうかの判断は技術的判断ではなく業務判断です。テストエンジニアは実行と測定の仕組みを構築し、業務に詳しい方が「何をもって正しいとするか」を定義します。

まとめと次の一歩

この2つの職能は、収束するのではなく今後さらに分岐していきます。テストにAIを使うことは生産性の技能であり、数年のうちに前提条件になります。AIシステムをテストすることは独立した専門領域であり、対応できる人材の数は、それを必要とする案件の数に現時点で追いついていません。

QAマネージャーの方にとって当面の課題は、資格の選定ではありません。「自チームが責任を負う製品にAI構成要素が含まれているか、含まれているなら、その出力の合格基準を現在誰が定義しているか」という問いにお答えいただくことです。定義している方が誰もいない場合、その空白を埋めることが教育計画より先に来ます。

VAONは自社製品とお客様の案件の双方でAIシステムの検証を行っております。AI案件の受注をご準備中でしたら、QA工程・システムアーキテクチャの無料診断をご提供しております。システム開発およびDXコンサルティングの経験に基づいてご対応いたします。

参考文献

• ISTQB. ISTQB Releases Certified Tester AI Testing (CT-AI) Syllabus Version 2.0. 2026年4月. https://istqb.org/istqb-releases-certified-tester-ai-testing-ct-ai-syllabus-version-2-0/
• ISTQB. Certified Tester AI Testing (CT-AI) Version 2.0 — 資格ページ（ビジネスアウトカム、受験前提、v1.0提供終了時期）. https://istqb.org/certifications/certified-tester-ai-testing-ct-ai/
• ISTQB. Certified Tester Specialist Level – Testing with Generative AI (CT-GenAI) — 資格ページ（2025年7月25日承認、バージョン1.1）. https://istqb.org/certifications/gen-ai/