LLM evaluation & observability: bắt lỗi khi API vẫn trả 200 OK

- Published on
- 12 mins read
Dashboard xanh mượt: API trả 200 OK, latency ổn, JSON đúng schema. Cùng lúc đó, con bot vừa trả lời khách hàng một câu bịa từ đầu tới cuối, và không có alert nào kêu.
Dựng một bản demo LLM chạy trên máy local (Proof of Concept, PoC) thì dev nào cũng làm được trong một buổi chiều, vài chục dòng Python hay JavaScript gọi API là xong. Nhưng đưa cái app đó lên production cho hàng triệu người dùng thật lại là một câu chuyện khác hẳn.
Với phần mềm truyền thống, hệ thống hỏng thì ném exception, trả mã HTTP 500 và để lại stack trace rõ ràng để lần theo. Ứng dụng LLM hỏng theo kiểu khác: bên ngoài mọi thứ vẫn bình thường, còn nội dung bên trong là một câu bịa đặt (hallucination) sai kiến thức cơ bản, hoặc tệ hơn là vi phạm chính sách bảo mật của công ty.
Vấn đề là đo kiểu gì một hệ thống bất định (non-deterministic), cùng một câu hỏi mỗi lúc trả lời một kiểu. Monitoring truyền thống không trả lời được câu đó.
# traditional monitoring khác llm observability ở đâu
Với backend truyền thống, mình theo dõi 4 tín hiệu vàng (Golden Signals): Latency, Traffic, Errors, Saturation.
Với app GenAI và Agentic Workflow thì chừng đó chưa đủ:
| Tiêu chí | Traditional Backend APM | LLM Observability |
|---|---|---|
| Output Type | Dữ liệu có cấu trúc, kết quả xác định (deterministic) | Văn bản tự do, kết quả mang tính xác suất (probabilistic) |
| Thế nào là "lỗi" | Exception, Status 4xx/5xx, Timeout | Trả lời sai sự thật, lạc đề (Drift), lộ dữ liệu mật, giọng điệu khó nghe |
| Metric chính | RPS, CPU/RAM, Error Rate, p99 Latency | Token Count, Cost per Request, Hallucination Rate, Faithfulness |
| Debugging | Stack trace theo từng hàm | Đồ thị thực thi từng bước qua chuỗi Agents, Tools, RAG context |
# bộ ba thước đo: rag triad of metrics
Bài toán LLM hay gặp nhất trong doanh nghiệp là RAG (Retrieval-Augmented Generation). Làm sao biết bot RAG trả lời tốt hay dở mà không phải ngồi đọc từng dòng log?
RAG Triad (khái niệm do nhóm làm TruLens đưa ra; Ragas có bộ metric tương tự như faithfulness, answer relevancy, context precision/recall) chia chất lượng RAG thành 3 thước đo:
# Context Relevance (Độ liên quan của ngữ cảnh)
Thước đo đầu tiên kiểm tra tầng truy xuất (Retriever): những mẩu văn bản (chunks) mà Vector Database tìm về có thực sự chứa thông tin cần thiết để trả lời câu hỏi hay không, hay lẫn toàn rác. Nếu điểm Context Relevance thấp, lỗi nằm ở khâu tìm kiếm chứ chưa phải do LLM; bạn cần rà lại chiến lược cắt nhỏ tài liệu (chunking strategy), đổi embedding model, kết hợp tìm kiếm từ khoá (hybrid search BM25 + vector) hoặc gắn thêm một bước Reranker để lọc lại top-K kết quả trước khi nhét vào prompt.
# Faithfulness / Groundedness (Độ trung thực)
Khi ngữ cảnh đưa vào đã chuẩn, Faithfulness đo xem câu trả lời của LLM có bám sát và chứng minh được hoàn toàn bằng dữ liệu trong ngữ cảnh đó hay không. Nếu điểm này dưới 100%, nghĩa là có ít nhất một mệnh đề trong câu trả lời không tìm thấy căn cứ trong tài liệu đính kèm, thường do model tự suy diễn thêm (hallucination) hoặc lôi kiến thức cũ từ quá trình pre-training ra nói. Lưu ý là mệnh đề đó có thể vẫn đúng ở ngoài đời thực, nhưng trong bài toán RAG doanh nghiệp thì "đúng mà không nằm trong tài liệu nguồn" vẫn bị tính là lỗi, vì hệ thống không thể kiểm chứng hay trích dẫn nguồn cho khách hàng được. Bên dưới, các framework đánh giá thường dùng một LLM khác bóc câu trả lời thành danh sách từng mệnh đề đơn lẻ, rồi kiểm tra từng mệnh đề với context để tính tỉ lệ phần trăm có căn cứ. Nên điểm này cũng chỉ tin được tới mức judge tin được (xem phần dưới).
# Answer Relevance (Câu trả lời có đúng trọng tâm không)
Hai chỉ số trên tốt vẫn chưa chắc người dùng đã hài lòng nếu thiếu Answer Relevance, tức đo xem câu trả lời cuối cùng có giải quyết thẳng vào câu hỏi của người dùng hay không. Một bot trích dẫn đúng 100% nội dung trong tài liệu (Faithfulness cao) nhưng người dùng hỏi thủ tục hoàn tiền mà lại trả lời quy định đổi trả hàng thì điểm Answer Relevance vẫn thấp như thường.
# llm-as-a-judge: dùng ai chấm điểm ai
Thuê người gắn nhãn bằng tay (Human-in-the-loop Evaluation) là chuẩn nhất, nhưng đắt và không scale nổi khi mỗi ngày có hàng trăm nghìn lượt hỏi đáp.
Cách hay dùng bây giờ là LLM-as-a-Judge: lấy một model mạnh (thường là model frontier của OpenAI, Anthropic hay Google) kèm một prompt chấm điểm thật chặt (rubric) để chấm câu trả lời của model đang chạy cho sản phẩm (thường là model nhỏ hơn, rẻ hơn hoặc model open-weight tự host):
[PROMPT TEMPLATE: EVALUATE FAITHFULNESS]
Bạn là một giám khảo khắt khe về tính trung thực của dữ liệu.
Nhiệm vụ: Hãy phân tích kỹ lưỡng từng mệnh đề trong "CÂU TRẢ LỜI" dưới đây.
Đối chiếu từng mệnh đề đó với thông tin có trong "NGỮ CẢNH CUNG CẤP".
NGỮ CẢNH:
{retrieved_context}
CÂU TRẢ LỜI:
{generated_response}
HÃY ĐÁNH GIÁ:
- Liệt kê các luận điểm trong câu trả lời.
- Với mỗi luận điểm, kiểm tra xem có căn cứ trong ngữ cảnh không.
- Trả về JSON theo định dạng:
{
"reasoning": "giải thích chi tiết logic chấm điểm",
"score": 1.0 (nếu hoàn toàn có căn cứ) hoặc 0.0 (nếu có mệnh đề bịa đặt)
}# Mấy cái bẫy khi dùng LLM-as-a-Judge:
- Position Bias: khi so sánh từng cặp (pairwise comparison), model hay thiên vị câu trả lời đứng đầu hoặc đứng cuối. Cách giảm: chấm hai lần với thứ tự đảo ngược, chỉ tính khi hai lần đồng ý.
- Self-enhancement Bias: judge hay chấm điểm cao hơn cho câu trả lời do chính nó (hoặc model cùng họ) viết ra. Cách giảm: dùng judge khác họ với model đang chấm.
- Verbosity Bias: model thường cho rằng câu trả lời dài dòng, văn hoa là "tốt hơn" câu ngắn gọn, dù cả hai đều đúng. Cách giảm: ghi rõ trong rubric là độ dài không được cộng điểm.
Ba kiểu bias này được mô tả kỹ trong paper Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng và cộng sự, 2023). Dù dùng cách nào, trước khi tin judge thì nên lấy vài trăm mẫu cho người chấm tay, so độ đồng thuận giữa người và judge. Judge chưa khớp với người thì con số nó đưa ra chưa có ý nghĩa.
# full-stack tracing cho ai agent
Khi làm agent phức tạp (với LangGraph, AutoGen/Microsoft Agent Framework hay LlamaIndex), một request của người dùng có thể kéo theo cả một chuỗi việc:
- Agent lên kế hoạch (Planning)
- Gọi tool tìm kiếm trên web
- Đọc dữ liệu từ database SQL
- Thấy thiếu thông tin -> nghĩ tiếp và gọi thêm API phụ
- Tổng hợp câu trả lời cuối
Câu trả lời mất 12 giây mà còn sai, làm sao biết khâu nào bị nghẽn (bottleneck), khâu nào quyết định sai?
Lúc này cần distributed tracing riêng cho LLM. Công cụ mã nguồn mở tiêu biểu là Langfuse và Arize Phoenix. Bên dưới, cả hai đều nhận dữ liệu qua OpenTelemetry, còn OpenTelemetry GenAI Semantic Conventions là bộ quy ước đặt tên attribute (tên model, số token, prompt...) để trace từ framework này đọc được ở công cụ kia. Bộ quy ước này vẫn đang ở trạng thái phát triển, tên attribute có thể còn đổi, nên ghim phiên bản SDK cho cẩn thận:
Khi đã gắn Span và Trace theo chuẩn như vậy, mỗi khi có một phiên chat bị báo lỗi, bạn chỉ cần mở trace ID đó lên là thấy toàn bộ bức tranh: prompt thực tế gửi sang LLM sau khi đã ghép biến và system prompt trông ra sao, tham số temperature hay top_p lúc gọi là bao nhiêu, từng bước tốn bao nhiêu Input/Output token (quy đổi ra đúng từng phần trăm cent USD), thời gian chờ nằm ở bước gọi tool SQL hay ở bước LLM sinh chữ, và tỉ lệ thành công của từng bước lập luận.
# prompt drift & dataset curation: vòng lặp cải tiến liên tục
Gắn observability không phải để dựng mấy cái biểu đồ trưng trên màn hình cho đẹp. Giá trị thật của nó là tạo ra một vòng lặp phản hồi (Flywheel Feedback Loop) để chất lượng hệ thống tốt dần lên theo thời gian:
- Bắt Prompt Drift: lâu dần, cách người dùng thật hỏi han sẽ khác xa so với dữ liệu team tưởng tượng hồi còn thử nghiệm. Theo dõi độ lệch ngữ nghĩa (semantic drift) giúp phát hiện sớm những lúc LLM bắt đầu không hiểu người dùng nữa.
- Gom "Golden Dataset" từ những lần hỏng: mỗi lần người dùng bấm Dislike (Thumbs Down) hoặc bot trả lời sai luật, trace đó phải được đánh dấu (flagged) ngay, rút cặp
{Query, Bad Response, Context}ra. Trước khi đưa vào bộ test chuẩn (Regression Test Suite), cần có người viết câu trả lời đúng hoặc tiêu chí chấm cho từng mẫu; chỉ có câu trả lời sai thì test không biết thế nào là đạt. - CI/CD cho prompt: mỗi lần ai đó sửa một chữ trong System Prompt hay nâng version model, CI/CD pipeline tự chạy bộ test trên toàn bộ Golden Dataset và tính xem điểm trung bình (F1, Accuracy, Faithfulness) tăng hay giảm, rồi mới cho merge vào nhánh
main. Vì cả model lẫn judge đều có độ ngẫu nhiên, điểm dao động vài phần trăm giữa hai lần chạy là bình thường; nên chạy lặp vài lần hoặc đặt ngưỡng chênh lệch tối thiểu, kẻo pipeline đỏ xanh thất thường.
# tổng kết
Câu "Cái gì không đo được thì không cải tiến được" (thường được gán cho Peter Drucker, dù thực tế khó truy ra ông viết nguyên văn câu này ở đâu) hợp với app LLM hơn hẳn phần mềm thường. Nếu hệ thống của bạn chưa có gì, theo mình nên đi theo thứ tự này:
- Gắn distributed tracing tới từng span trước. Chưa cần chấm điểm gì, chỉ cần nhìn được mỗi request đi qua retrieval, prompt, tool call nào và tốn bao nhiêu.
- Đọc tay một ít trace mỗi tuần, gom những câu trả lời sai vào một dataset. Đây là nguyên liệu cho vòng lặp regression test từ dữ liệu lỗi thực tế.
- Lúc đó mới thêm LLM-as-a-Judge chấm theo RAG Triad, và kiểm chuẩn nó với người thật trước khi tin điểm của nó.
Làm xong ba bước, mỗi lần sửa prompt bạn sẽ biết ngay nó tốt lên hay tệ đi, thay vì đợi khách hàng báo.
Chỉ là những ghi chép cá nhân với hy vọng mang lại chút giá trị. Nếu thấy hữu ích, đừng ngại chia sẻ cho bạn bè & đồng nghiệp nhé!
Happy coding 😎 👍🏻 🚀 🔥.
On this page
- # traditional monitoring khác llm observability ở đâu
- # bộ ba thước đo: rag triad of metrics
- # Context Relevance (Độ liên quan của ngữ cảnh)
- # Faithfulness / Groundedness (Độ trung thực)
- # Answer Relevance (Câu trả lời có đúng trọng tâm không)
- # llm-as-a-judge: dùng ai chấm điểm ai
- # Mấy cái bẫy khi dùng LLM-as-a-Judge:
- # full-stack tracing cho ai agent
- # prompt drift & dataset curation: vòng lặp cải tiến liên tục
- # tổng kết