一般的な商用OCRはベトナム語の声調記号を25〜30%誤認識し、RAG型AIチャットボットは誤回答や「情報なし」応答を返してしまいます。VAONはLLMによる誤り補正の代わりに、132MB・CPU専用OCRエンジンを50万件の実データでファインチューニングし、精度を70%から検証済みデータセットでエラーゼロの水準へ引き上げ、インフラコストを80%削減しました。
目次
- ベトナム語OCRがRAG型AIチャットボットで失敗する理由
- LLMでOCRの誤りを補正する方法:一見合理的だが罠になる理由
- VAONが精度を70%からエラーゼロへ引き上げた4ステップ
- 実プロジェクトでの測定結果
- この方法だけでは不十分なケース
- よくある質問
ベトナム語OCRがRAG型AIチャットボットで失敗する理由
ベトナム語は5種類の声調記号と、ă・ơ・ưといった特殊な母音を持つ複雑な言語です。これは標準的なOCRが最も苦手とする部分です。
具体的な数値: 大手クラウドベンダーのAPIを含む一般的な商用OCRエンジンを検証したところ、ベトナム語の声調記号・文字の誤認識率は25〜30%に達しました。「thanh toán（決済）」を「thanh toan」と読み違えたり、「ký hợp đồng（契約締結）」を意味のない文字列に変えてしまう事例が繰り返し発生しました。
この問題はテキスト読み取りの段階にとどまりません。OCRが文字を誤認識すると、後段のRAG（検索拡張生成）パイプラインは正しいベクトル文脈を紐付けられません。その結果、チャットボットは契約条項や請求金額といった重要な質問に対して誤った回答をするか、「情報が見つかりません」と応答してしまいます。
実際の書類はさらに条件が悪くなります。実運用の請求書・契約書・法的書類の多くは、傾き、ぼやけ、紙のしわ、感熱紙のかすれた文字を伴うスマートフォン撮影の写真です。公開されているOCRベンチマークはきれいなスキャン画像で測定されており、この条件を反映していません。
LLMでOCRの誤りを補正する方法:一見合理的だが罠になる理由
OCRが誤読した際のよくある対処法は、そのテキストをGPT-4のようなLLMに送って校正させることです。この方法はエンタープライズの現場で3つの問題を引き起こします。
財務数値の捏造リスク。 LLMが欠落した文字を「推測」する際、金額や契約日付を誤って生成する可能性があります。会計データにとって、このリスクは許容できません。
コストと遅延の急増。 単なる文字校正のために大量の誤認識テキストをLLMへ送信し続けると、APIコストは300〜500%増加し、1ページあたりの処理遅延は0.5秒から5〜10秒へ延びます。
データセキュリティのリスク。 個人情報を含む請求書データを外部APIへ送信すること自体、日本のAPPIやGDPR違反につながります。
結論として、入力の根本（OCR）が壊れている状態を出力側（LLM）の対処だけで解決することはできません。問題の根本に直接介入する必要があります。
VAONが精度を70%からエラーゼロへ引き上げた4ステップ
金融・小売業のお客様向けの実プロジェクトで、VAONは5万件を超えるベトナム語の請求書・契約書・法的書類からの知識抽出を担当し、RAG型AIチャットボットに取り込む役割を任されました。OCRエンジンを変更するだけでも、LLMによる補正を追加するだけでも解決しません。VAONは以下の4ステップで対応しました。
-
専用の画像前処理。 モデルに画像を投入する前に、ノイズ除去、傾き自動補正、局所適応しきい値処理を行うパイプラインを構築し、ぼやけた文字、傾いた画像、感熱紙のかすれをクリアにしました。
-
実際の業務データでのファインチューニング。 汎用の多言語モデルをそのまま使うのではなく、VAON独自の132MB・CPU専用OCRエンジンを50万件を超えるベトナム語実データ（行政書類のフォント、小売請求書、地域による声調記号のばらつき）でファインチューニングしました。専用ファインチューニングを選んだ理由は、多言語モデルが複数言語向けに平均的に最適化されており、ベトナム語の声調記号処理が弱いためです。実際の請求書・契約書データの方が、実際のフォントと業務文脈に合致します。
-
LLMの代わりに業務辞書層を追加。 Levenshtein距離アルゴリズムと金融・小売用語辞書を組み合わせたフィルターを構築し、辞書にない不自然な単語を周辺文脈から自動補正しました。LLMではなくルールベースを選んだ理由は、ルールは数値を捏造せず、すべての補正がその根拠まで追跡できるためです。
-
CPUインフラ上でRAGへ接続。 クリーンになったテキストをRAGパイプラインへ直接投入し、正確なベクトル埋め込みを生成します。OCRからRAGまで、システム全体がGPUを使わない標準的なCPUサーバー上で稼働します。
実プロジェクトでの測定結果
以下の数値は、2026年のプロジェクト稼働中に実際の請求書・契約書データと照合して測定したものであり、モデル提供元が公表するベンチマークではありません。OCRやAIがあらゆる場合に完璧というわけではなく、この結果は特定の検証済みデータセットにおけるものです。
| 指標 | 導入前 | 導入後 | 変化 |
|---|---|---|---|
| 知識抽出の精度 | 70% | 検証済みデータセットでエラーゼロ | 大幅な改善 |
| 声調記号・文字の誤認識率（商用OCRの基準値） | 25〜30% | ファインチューニングと辞書フィルターで解消 | - |
| インフラ | GPUサーバー | 標準CPUサーバー | コスト-80% |
| データ処理 | 外部クラウドAPIを呼び出し | 100%オンプレミス | APPI・GDPR準拠 |
この結果がもたらす3つの直接的な事業価値です。
- 契約書・規程・請求書データに基づく複雑な業務質問に正しく回答できるようになり、「情報が見つかりません」という応答がなくなりました。
- 100%オンプレミス処理により、銀行や医療など高いコンプライアンス要件を持つ業界への展開が可能になりました。
- 代理店・SIerがベトナム語・日本語の文書処理能力を自社ブランドで展開するOEM/ホワイトレーベルの道が開けました。
この方法だけでは不十分なケース
他のプロジェクトへ応用する前に知っておくべき3つの限界です。
業務辞書層は業界ごとに構築し直す必要があります。 上記の辞書フィルターは金融・小売分野の語彙向けに構築されています。銀行や医療分野へ展開する場合、同等の精度に達する前に分野別辞書の追加が必要です。
ファインチューニング用データは実際に遭遇する書類の種類に合わせる必要があります。 今回の結果は、行政フォント、小売請求書、スマートフォン撮影という本プロジェクトの条件で測定されたものです。自由記述の手書き文字など、範囲外の文書タイプについては未検証です。
オンプレミス導入には社内CPUインフラが必要です。 すぐに呼び出せるクラウドAPIとは異なり、標準的なOCR APIを統合するより初期導入に時間がかかります。
よくある質問
ベトナム語OCRは英語や日本語に比べてどれくらい精度が低いのですか? 一般的な商用OCRエンジンを検証したところ、ベトナム語の声調記号・文字の誤認識率は25〜30%に達した一方、同じエンジンで英語・日本語には同様の問題は見られませんでした。原因はベトナム語特有の声調体系と特殊な母音です。
OCRの誤りをLLMで補正すればよいのではないですか? LLMは欠落した文字を推測する際に金額や契約日付を誤って生成する可能性があり、APIコストも300〜500%増加し、1ページあたりの遅延は5〜10秒に達します。財務データにとって、このリスクは許容できません。
精度を上げるとインフラコストは増えますか? いいえ。本プロジェクトでは132MBのOCRエンジンがGPUなしで標準的なCPUサーバー上のみで動作し、同等の処理量をGPUで行う場合と比較してインフラコストを80%削減しました。
この方法は金融・小売以外の業界にも使えますか? 4ステップのアーキテクチャは他業界にも応用できますが、業務辞書層は銀行や医療など、その業界の用語で構築し直す必要があります。
この方法で顧客データは安全に扱われますか? はい。パイプライン全体が100%オンプレミスで稼働し、外部のクラウドAPIへデータを送信することはありません。日本のAPPIやGDPRといったセキュリティ基準にも対応しています。
まとめ
- 一般的な商用OCRはベトナム語の声調記号を25〜30%誤認識し、RAG型チャットボットの誤回答や「情報なし」応答を招きます。
- LLMでOCRの誤りを補正するのは正しい解決策ではありません。コストが300〜500%増加し、遅延が延び、財務数値を捏造するリスクもあります。
- VAONはOCR層で問題を解決しました。画像前処理、実データでのファインチューニング、業務辞書層、CPUインフラ上でのRAG統合という4ステップです。結果として精度は70%から検証済みデータでエラーゼロの水準へ、インフラコストは80%削減されました。
- この方法を他業界に応用するには辞書の再構築が必要で、すぐに呼び出せるクラウドAPIではなく社内CPUインフラが求められます。
AIチャットボット、RAGパイプライン、書類OCRにおいてベトナム語・日本語データで同様の課題をお持ちの方は、VAONへのご相談はこちら。現時点の限界も含め、実際に行った内容をそのままお伝えします。