Một câu “Hello” có đáng giá một LLM call không?
User mở app và gõ:
Hello
Ở phía sau, hệ thống bắt đầu hì hục.
Load history. Search vector DB. Rerank vài document. Ghép system prompt. Gọi model xịn.
Rồi trả về:
Hello! How can I help you today?
Quá tuyệt.
Một đống GPU vừa được huy động để làm việc mà một cái if cũng xử lý được.
Đây là một góc khá thực dụng của AI Security mà ít người nói tới: guardrail không chỉ để chống jailbreak hay prompt injection. Nó còn có thể ngăn những request không đáng tiền đi quá sâu vào hệ thống.
Không phải request nào cũng cần gặp model
Giả sử bạn làm chatbot nội bộ về chính sách nhân sự.
Có ba câu:
Hello
Ai vô địch World Cup 2018?
Tôi còn bao nhiêu ngày nghỉ phép?
Cách dễ nhất là quẳng cả ba vào cùng một pipeline.
Nhưng thực ra:
Hello
→ greeting
→ trả nhanh
World Cup
→ off-topic
→ fallback
Nghỉ phép
→ đúng domain
→ retrieval → LLM
Chỉ câu cuối mới thực sự cần đến RAG và model chính.
OpenAI Agents SDK cũng mô tả đúng kiểu này: nếu agent chính dùng model thông minh nhưng chậm và đắt, có thể đặt một guardrail rẻ phía trước. Nếu guardrail chặn request và chạy ở blocking mode, model đắt thậm chí chưa cần bắt đầu.
AWS Bedrock còn nói thẳng hơn: nếu Guardrail block ngay input prompt, bạn vẫn trả phí kiểm tra guardrail nhưng không bị tính phí foundation-model inference.
Đến đây guardrail không chỉ là bảo vệ nữa.
Nó giống bảo vệ ở cửa quán:
“Ông này chỉ vào hỏi nhà vệ sinh ở đâu. Không cần mở phòng VIP.”
Câu hợp lệ cũng chưa chắc cần model xịn
Hai câu này đều đúng domain:
Đổi mật khẩu ở đâu?
và:
Phân tích chính sách nghỉ thai sản ở ba quốc gia,
so sánh rủi ro pháp lý và đưa nguồn tham khảo.
Cho cả hai chạy model mạnh nhất thì code rất dễ.
Bill cũng rất dễ… mạnh nhất.
RouteLLM nghiên cứu đúng bài toán này: đặt một router trước các model để quyết định query nào cần model mạnh, query nào model rẻ đã đủ.
Trong một số thiết lập thử nghiệm, paper báo cáo giảm chi phí hơn 2 lần mà không làm giảm chất lượng response.
[RouteLLM — arXiv:2406.18665]
Nói đơn giản:
easy → cheap model
hard → strong model
Còn "Hello"?
Nó có thể chẳng cần model nào.
Đã biết output hỏng thì đừng để nó nói thêm
Input sạch không có nghĩa output sẽ sạch.
Giả sử model đang stream một câu trả lời dài.
Đến đoạn thứ hai, guardrail đã biết response vi phạm rule.
Một cách làm là:
gen tiếp...
gen tiếp...
gen thêm 2000 token...
xong
→ moderation
→ block
Tức là để model nói cho đã rồi vứt cả bài vào sọt rác.
NeMo Guardrails hỗ trợ cách hợp lý hơn: kiểm tra output theo từng chunk trong lúc streaming. Khi một rail block nội dung, stream có thể terminate ngay.
Research cũng đang đào khá sâu vào chỗ này.
SentGuard kiểm tra ở cấp câu thay vì đợi toàn bộ response. Trong benchmark của paper, nó phát hiện 90.5% unsafe cases trong vòng hai câu.
[SentGuard — arXiv:2606.02041]
Một paper khác, StreamGuard, còn thử dự đoán từ partial response xem generation đang có xu hướng đi về vùng unsafe hay không để can thiệp sớm.
[StreamGuard — arXiv:2604.03962]
Có một dấu * khá quan trọng ở đây:
Stop stream không đồng nghĩa chắc chắn provider sẽ ngừng tính toàn bộ token ngay lập tức.
Cái đó phụ thuộc API, cancellation và cách billing được triển khai.
Nhưng về mặt thiết kế thì vẫn đơn giản:
Nếu biết kết quả này không dùng được nữa, đừng tiếp tục tốn computation cho nó.
Nhưng cũng đừng biến guardrail thành một đống LLM khác
Đọc đến đây rồi làm thế này thì cũng hơi căng:
request
↓
LLM safety judge
↓
LLM topic classifier
↓
LLM intent classifier
↓
LLM router
↓
main LLM
↓
LLM output judge
User:
Hi
Hệ thống:
“Xin chờ. Hội đồng AI đang đánh giá lời chào của bạn.”
Guardrail cũng tốn tiền.
Greeting đơn giản thì rule xử lý được.
Một số intent có thể dùng classifier nhỏ.
Off-topic rõ ràng không nhất thiết phải gọi reasoning model.
LLM judge nên dành cho những case mà rule và model nhỏ thật sự không xử lý tốt.
Security tốt không phải là thêm càng nhiều model càng an toàn.
Nó là biết chỗ nào nên dừng sớm.
Prompt injection? Chặn.
Off-topic? Cho về.
Request dễ? Route model rẻ.
Tool call đáng ngờ? Đừng cho chạy.
Output đã vi phạm? Đừng để nó viết thêm một bài văn.
Frontier model vẫn rất đáng tiền.
Chỉ là không phải request nào cũng xứng đáng được gặp nó.
Và đôi khi AI Security không chỉ cứu data hay system.
Nó cứu luôn thứ mà production team nhìn mỗi cuối tháng:
API bill.
References
- RouteLLM: Learning to Route LLMs with Preference Data — arXiv:2406.18665
- SentGuard: Sentence-Level Streaming Guardrails for Large Language Models — arXiv:2606.02041
- Predict, Don't React: Value-Based Safety Forecasting for LLM Streaming — arXiv:2604.03962
- OpenAI Agents SDK — Guardrails
- Amazon Bedrock — How Guardrails works
- NVIDIA NeMo Guardrails — Output Rail Streaming