ADLC: vì sao SDLC của bạn âm thầm gãy ngay ngày ship AI agent

- Published on
- 17 mins read
Buổi demo trơn tru từ đầu tới cuối. Agent đọc ticket hỗ trợ, lấy lịch sử đơn hàng của khách, soạn sẵn một lệnh hoàn tiền rồi nhờ người duyệt. Sếp vỗ tay, feature flag bật lên 5%, ai về nhà nấy vui vẻ.
Hai tuần sau, không ai đụng vào dòng code nào, vậy mà tỉ lệ bản nháp hoàn tiền được duyệt nguyên văn đã trôi từ 92% xuống 71%. Nhà cung cấp model đã tung một bản cập nhật nhỏ sau cái alias mình đang gọi. Một bạn product manager đã "sửa cho gọn" hai câu trong system prompt. Một team phía sau đổi tên một field trong API đơn hàng, và agent bắt đầu đoán mò thay vì báo lỗi. Unit test xanh hết, vì chẳng cái nào đo đúng thứ đã thay đổi.
Nếu câu chuyện này nghe quen, thì bạn đã gặp đúng vấn đề mà Agentic Development Life Cycle (ADLC) đang cố gọi tên. Bài này là cách mình mô tả nó từ chỗ mình ngồi: người phải đưa agent lên production, giữ nó chạy ở đó, và giải thích trước cả phòng họp vì sao mấy con số lại nhảy.
# ADLC thực ra là gì
Nói thẳng luôn: chưa có định nghĩa nào thống nhất. Các hãng bảo mật dùng từ này để nói về agent làm việc dọc pipeline phát triển, và bề mặt tấn công mà chuyện đó mở ra. Các công ty tư vấn dùng nó cho một quy trình Agile có AI cài vào mọi giai đoạn. Còn người làm thực tế thì dùng nó cho kỷ luật kỹ thuật để xây, đánh giá và vận hành agent trên production.
Mình thấy cách hiểu cuối là hữu ích nhất, nên bài này dùng nó:
ADLC là vòng đời cho phần mềm có hành vi được quyết định cùng lúc bởi code, prompt, model, tool và dữ liệu, nên nó mang tính xác suất, được version ở nhiều nơi hơn là repository của bạn, và chẳng bao giờ thật sự "xong".
Hai nghĩa còn lại không sai; chúng là hệ quả của nghĩa này. Một khi chấp nhận rằng hành vi của agent là một phân phối chứ không phải một hàm, thì cả tư thế bảo mật lẫn quy trình làm việc của team đều phải đổi theo.
# vì sao SDLC kiểu cũ không đủ
SDLC dựa trên những giả định ăn sâu tới mức hiếm khi ai nói ra. Agent phá gần như từng cái một.
| Giả định của SDLC | Chuyện gì xảy ra với agent |
|---|---|
| Hành vi nằm trong code | Hành vi nằm trong code cộng với prompt, phiên bản model, mô tả tool và dữ liệu truy xuất được |
| Cùng input, cùng output | Cùng input, ra một dải output; bạn đo tỉ lệ pass chứ không phải pass hay fail |
| "Xong" là PR đã merge | "Xong" là một ngưỡng trên bộ eval, và ngưỡng đó phải tiếp tục giữ được sau khi ra mắt |
| Dependency chỉ đổi khi bạn nâng version | Model đứng sau một API alias có thể đổi mà bên bạn không có commit nào |
| Chi phí chủ yếu là hạ tầng cố định | Chi phí là biến số lúc chạy: một lần chạy bị rối có thể gọi bốn mươi tool trong khi ba là đủ |
| Bug là một dòng code sai | "Bug" có thể là một mô tả tool mơ hồ, một tài liệu bị đầu độc hay thiếu điều kiện dừng |
Không có nghĩa là vứt hết những gì đã biết. Code review, CI, rollout theo giai đoạn và họp rút kinh nghiệm sau sự cố vẫn quan trọng. Thứ thay đổi là đơn vị đo chất lượng. Với một service bình thường, đó là test case. Với agent, đó là eval: một task thực tế, chạy nhiều lần, chấm theo tiêu chí bạn đã viết ra trước khi bắt đầu tinh chỉnh.
# vòng lặp, không phải thác nước
Phần lớn sơ đồ ADLC được công bố đều là hình tròn, và có lý do cả. Đây là phiên bản mình dùng với team. Hàng trên là chỗ xây; hàng dưới là chỗ vận hành. Mũi tên quan trọng nhất là mũi tên đi ngược lên: những gì học được trên production biến thành eval case mới, và đôi khi thành một thay đổi về phạm vi hay mức tự chủ.
# định khung công việc
Trước khi ai đó mở file prompt, mình muốn có ba câu trả lời gói trong một trang.
Task là gì, trong một câu mà nhân viên mới cũng hiểu? "Xử lý các ticket hoàn tiền dưới 200 đô khớp với chính sách" là một task. "Cải thiện chăm sóc khách hàng bằng AI" là một điều ước.
Nó được tự chủ tới đâu? Một cái thang đơn giản giúp cuộc thảo luận đi xa hơn bất kỳ framework nào:
| Mức | Agent... | Ví dụ thường gặp |
|---|---|---|
| L0 | chỉ gợi ý; con người làm hết | gợi ý code, soạn nháp câu trả lời |
| L1 | tự làm, nhưng hành động nào cũng cần duyệt | nháp hoàn tiền, đề xuất pull request |
| L2 | tự làm các việc rủi ro thấp, việc còn lại thì hỏi | phân loại, gắn nhãn, nghiên cứu chỉ đọc |
| L3 | tự làm trong giới hạn budget và sandbox | sửa test trong CI, job dọn dữ liệu |
Nếu nó sai một cách tự tin thì vùng ảnh hưởng rộng cỡ nào? Câu hỏi này quyết định kiến trúc của bạn nhiều hơn cả chuyện chọn model. Một agent chỉ được đọc là bài toán kỹ thuật khác hẳn một agent chuyển được tiền.
Phần lớn các team bắt đầu cao hơn một bậc so với mức nên. Bắt đầu ở L1 rồi dùng số liệu để lên L2 gần như lúc nào cũng nhanh hơn là bắt đầu ở L2 rồi è cổ lấy lại lòng tin sau một sự cố.
# thiết kế harness
Model là phần bạn kiểm soát được ít nhất, nên hãy dồn công sức kỹ thuật vào mọi thứ xung quanh nó: tool, context, guardrail và điều kiện dừng. Mình gọi chỗ này là harness, và review nó như review một bản thiết kế API.
- Tool là interface cho một bên gọi không thể hỏi lại cho rõ. Nhỏ, đặt tên tốt, có tài liệu tốt, và báo lỗi theo kiểu chỉ cho cách sửa.
- Hành động ghi nên idempotent hoặc đảo ngược được ở mọi chỗ có thể, và có chế độ dry-run.
- Vòng lặp nào cũng cần trần: số bước tối đa, số token tối đa, thời gian chạy tối đa. Agent không có budget là một sự cố hoá đơn chỉ đang chờ ngày.
Bài đi kèm về kiến trúc agentic AI đi sâu hơn vào từng phần này.
Có một thói quen sinh lời ngay từ ngày đầu: cấp cho mỗi cấu hình chạy được một manifest và một version. Hành vi phụ thuộc vào nhiều thứ hơn commit hash, nên hãy pin tất cả vào một chỗ và đóng dấu version của manifest lên mọi trace.
# agent.manifest.yaml
agent: refund-assistant
version: 2026.11.3
model: provider-model-2026-09-30 # an exact snapshot, never a floating alias
temperature: 0.2
system_prompt: prompts/refund/system.md # hashed in CI
tools:
- name: get_order
schema: tools/get_order.v3.json
- name: draft_refund
schema: tools/draft_refund.v2.json
budgets: { max_steps: 12, max_tokens: 60000, timeout_s: 90 }
autonomy: L1Khi một con số nhảy, câu hỏi đầu tiên trong kênh sự cố sẽ là "mình đang so hai version manifest nào?" thay vì "có ai đổi gì không?".
# viết eval trước khi chỉnh bất cứ thứ gì
Đây là bước phần lớn các team bỏ qua, và cũng là bước phân biệt một bản demo với một sản phẩm.
Một bộ eval là tập các task thực tế kèm cách chấm điểm kết quả. Bắt đầu với hai mươi tới năm mươi case lấy từ ticket thật, log thật và lỗi thật. Gồm cả phần đông nhàm chán, mấy ca biên khó chịu, và một nhúm task mà agent bắt buộc phải từ chối. Một case có thể đơn giản thế này:
- id: refund-047
input: 'Order 88213 arrived broken, I want my money back. Photo attached.'
fixtures: { order: orders/88213.json, policy: policies/refund-v7.md }
expect:
tools_called_in_order: [get_order, check_policy, draft_refund]
tools_never_called: [issue_refund] # L1: drafting only
output:
refund_amount: 149.00
requires_approval: true
rubric: 'Apologises once, states the amount and timeline, no promises outside policy.'
tags: [happy-path, damaged-item]Rồi quyết định cách chấm, theo thứ tự ưu tiên này:
- Kiểm tra tất định ở mọi chỗ có thể: đúng tool, đúng thứ tự, JSON hợp lệ, số tiền khớp chính sách. Rẻ, nhanh và không bao giờ cãi lại bạn.
- Kiểm tra quỹ đạo cho cả đường đi chứ không chỉ đích đến. Một agent ra đúng số tiền hoàn nhờ đoán mò tổng đơn hàng là một quả bom hẹn giờ, dù output cuối vẫn pass.
- Rubric do model chấm cho những phần mơ hồ thật sự, như giọng điệu và độ đầy đủ. Hiệu chỉnh grader bằng một mẫu nhãn do người gán và theo dõi độ đồng thuận (Cohen's kappa là điểm khởi đầu hợp lý). Một grader chưa từng được so với người chỉ là một ý kiến, không phải một metric.
Kỷ luật ở đây là test-driven development cộng thêm thống kê. Viết ra "tốt" trông như thế nào khi phán đoán của bạn còn tỉnh táo, trước khi bạn mất một tuần để phải lòng một cái prompt cụ thể.
# lặp theo eval, nhưng phải trung thực
Giờ thì chỉnh được rồi. Mỗi lần đổi một thứ, và so tỉ lệ pass chứ đừng so từng lần chạy lẻ. Đây là chỗ chút thống kê cứu bạn khỏi khá nhiều lần muối mặt.
Bộ eval nhỏ thì nhiễu. Với 50 case và tỉ lệ pass thực vào khoảng 85%, khoảng tin cậy 95% rộng cỡ ±10 điểm phần trăm. Một thay đổi prompt đưa bạn từ 84% lên 88% gần như chẳng nói lên điều gì. Hoặc mở rộng bộ eval, hoặc chạy mỗi case nhiều lần, hoặc thống nhất từ đầu mức thay đổi nhỏ nhất mà bạn chịu tin.
Tỉ lệ thành công trung bình che mất sự thất thường. Chạy mỗi case k lần và báo cáo hai con số. pass@k hỏi agent có thành công ít nhất một lần không; hợp với task mà người dùng chọn kết quả tốt nhất trong nhiều lần thử. pass^k hỏi agent có thành công mọi lần không, và đó mới là thứ agent làm việc với khách hàng cần, vì mỗi người dùng chỉ có một lần thử. Nhóm tác giả τ-bench phổ biến pass^k chính vì lý do này, và với nhiều agent, con số này tụt mạnh khi k tăng. Một agent thành công trung bình 80% nhưng chỉ qua được cả tám lần thử trong 40% trường hợp thì, từ góc nhìn người dùng, không phải agent 80%.
Chia lát trước khi tính trung bình. Con số tổng 91% có thể che đi chuyện lát "bắt buộc từ chối" đã tụt xuống 40%. Gắn tag cho các case và đặt cổng riêng cho từng lát quan trọng.
Đối xử với prompt, mô tả tool và các giá trị trong manifest như code. Chúng nằm trong repository, đi qua review, và mỗi thay đổi đều chạy bộ eval trong CI. Người review phải thấy được "lần sửa system prompt này làm độ chính xác khi từ chối giảm 12 điểm" ngay trong pull request, chứ không phải phát hiện ra trên production.
# cổng release
Cổng release của agent có nhiều chiều hơn một bản build xanh:
| Chiều | Mình đặt cổng ở đâu |
|---|---|
| Chất lượng | Tỉ lệ pass tổng trên ngưỡng; các lát quan trọng không tụt quá mức nhiễu; có báo cáo pass^k |
| An toàn | Qua bộ red-team về prompt injection, rò rỉ dữ liệu và lạm dụng tool |
| Chi phí | Token và số lần gọi tool trên mỗi task thành công, trung vị và p95, so với manifest trước |
| Độ trễ | p95 thời gian chạy trên mỗi task, tính cả thời gian của tool |
| Tái lập được | Pin đúng snapshot model; ghi lại version manifest |
Có hai chi tiết quan trọng. Thứ nhất, đo chi phí trên mỗi task thành công, đừng đo trên mỗi task: agent hỏng nhanh trông rẻ cho tới khi bạn tính thêm người phải làm nốt việc. Thứ hai, với bộ an toàn, OWASP Top 10 for Agentic Applications là checklist khởi đầu khá chắc.
Bản release nào không qua hết các cổng thì không ship. Mình từng chứng kiến các team cãi nhau cả tiếng về 2% chất lượng tăng thêm trong khi không ai để ý chi phí mỗi task đã tăng gấp ba.
# rollout từ từ
Chạy shadow mode trước: agent chạy trên traffic thật, nhưng hành động của nó chỉ được ghi log chứ không thực thi, và bạn so với những gì con người thực sự đã làm. Mức trùng khớp với quyết định của người, chia theo từng lát, là con số thuyết phục nhất bạn có thể đưa cho một bên liên quan còn hoài nghi.
Sau đó là một canary nhỏ, hành động nào cũng có người duyệt. Rồi mở rộng đối tượng người dùng, và chỉ sau đó mới mở rộng mức tự chủ. Đổi cả hai cùng lúc thì bạn sẽ không biết cái nào gây ra vấn đề tiếp theo.
# quan sát trace, không chỉ metric
Request rate và error rate nói rất ít về một agent. Bạn cần trace đầy đủ của từng lần chạy: prompt, mỗi lần gọi model, mỗi lần gọi tool kèm input và output, số token đã dùng, version manifest và câu trả lời cuối. Khi có chuyện, câu hỏi không bao giờ là "nó có lỗi không?" mà là "suy luận của nó lệch ở bước nào?", và chỉ trace mới trả lời được. Bộ semantic conventions cho generative AI của OpenTelemetry là một định dạng chung hợp lý nếu bạn không muốn bị trói vào một vendor.
Một pattern mình thích: mỗi ngày lấy mẫu một phần nhỏ trace production và cho chạy qua chính các grader dùng offline. Cách này biến bộ eval thành một monitor chạy thật, và bắt được kiểu trôi âm thầm như trong câu chuyện mở bài chỉ sau một ngày chứ không phải hai tuần.
# học từ lỗi, và khép vòng lặp
Mỗi lỗi trên production thành một eval case mới, lý tưởng là trong vòng một tuần. Mỗi lời phàn nàn khó hiểu đều được gắn trace. Mỗi lần agent xin duyệt và người duyệt nói "dĩ nhiên là được", đó là bằng chứng để đưa hành động đó lên một bậc trên thang tự chủ. Mỗi lần người phải sửa lại cho nó, đó là bằng chứng theo chiều ngược lại.
Đây là bánh đà khiến ADLC đáng công bỏ ra. Bộ eval lớn dần từ hai mươi case lên vài trăm, mỗi case là một lỗi bạn sẽ không phải trả giá lần hai. Giữ riêng một bộ held-out mà không ai được tinh chỉnh theo, làm mới mỗi quý, để phân biệt được tiến bộ thật với chuyện overfit vào chính bộ test của mình.
# thay đổi gì với con người
Quy trình là phần dễ. Phần khó hơn là thay đổi vai trò và thói quen.
Tech lead review hành vi, không chỉ review diff. Một thay đổi prompt dài ba dòng có thể quan trọng hơn một đợt refactor nghìn dòng. Câu hỏi khi review thành "cho tôi xem chênh lệch eval", và pull request nào không có thì coi như chưa đủ.
Phải có người sở hữu bộ eval. Không phải "cả team". Một người có tên hẳn hoi, giống như có người phụ trách lịch trực on-call. Eval không ai sở hữu sẽ mục ruỗng trong vòng một quý: case lỗi thời, grader trôi, và tỉ lệ pass thành một con số không ai tin.
Product manager viết tiêu chí chấp nhận dưới dạng eval case. Đây là cuộc trao đổi hiệu quả nhất mình có với PM trong nhiều năm. "Đưa tôi mười ticket agent phải xử lý được, và năm ticket nó phải từ chối" chính xác hơn nhiều so với một đoạn văn trong spec.
On-call cần runbook mới. "Model đang hơi lạ" không phải là một loại sự cố. Runbook nên có cách rollback về manifest trước, pin lại snapshot model cũ hơn, hạ mức tự chủ bằng một cờ, và chuyển agent sang chế độ chỉ gợi ý mà không cần deploy.
# mấy anti-pattern mình cứ gặp hoài
- Release theo cảm giác. Năm người thử agent, thấy "ổn ổn", vậy là ship. Cảm giác không sống sót qua một lần cập nhật model.
- Một con số eval to đùng. Một con số 91% duy nhất che mất cái lát đã sụp. Chia lát kết quả và báo cáo
pass^k. - Chấm bằng giám khảo chưa hiệu chỉnh. Grader là model mà chưa từng được so với nhãn của người có thể trôi cùng chiều với chính agent nó đang chấm.
- Tự chủ như một tính năng ra mắt. Team công bố agent tự chủ hoàn toàn ngay ngày đầu, rồi lặng lẽ thêm bước duyệt sau sự cố đầu tiên. Hãy làm theo thứ tự ngược lại.
- Eval đóng băng. Bộ eval viết trước khi ra mắt rồi không ai đụng tới nữa thì chỉ đo sản phẩm của quý trước.
- Mặc kệ chi phí tới khi phòng tài chính gọi. Chi phí trên mỗi task thành công phải nằm chung dashboard với chất lượng ngay từ bản release đầu tiên.
# nếu thứ hai này chỉ làm được ba việc
- Ghi ra mức tự chủ và vùng ảnh hưởng của mọi agent bạn đang chạy, gói trong một trang, và chia sẻ nó.
- Gom ba mươi task thật, quyết định cách chấm, và chạy chúng nhiều lần trong CI mỗi khi đổi prompt, tool hay snapshot model.
- Bật trace đầy đủ, đóng version manifest lên mọi trace, và đưa mỗi lỗi production vào bộ eval trong vòng một tuần.
Không có gì hào nhoáng ở đây. Vẫn là tay nghề mình đã luyện lâu nay, chỉ chỉnh lại cho hợp với thứ phần mềm mỗi lần hỏi lại trả lời hơi khác một chút. Những team coi agent là một vòng đời chứ không phải một buổi ra mắt, là những team vẫn còn chạy được agent của mình một năm sau.
Tham khảo:
- Anthropic: Building effective agents
- Cycode: Agentic Development Lifecycle (ADLC), what you need to know
- Arize: Evaluation-driven development, moving AI agents from pilot to production
- Yao et al.: τ-bench, a benchmark for tool-agent-user interaction (pass^k)
- OWASP: Top 10 for Agentic Applications
Chỉ là những ghi chép cá nhân với hy vọng mang lại chút giá trị. Nếu thấy hữu ích, đừng ngại chia sẻ cho bạn bè & đồng nghiệp nhé!
Happy coding 😎 👍🏻 🚀 🔥.
On this page
- # ADLC thực ra là gì
- # vì sao SDLC kiểu cũ không đủ
- # vòng lặp, không phải thác nước
- # định khung công việc
- # thiết kế harness
- # viết eval trước khi chỉnh bất cứ thứ gì
- # lặp theo eval, nhưng phải trung thực
- # cổng release
- # rollout từ từ
- # quan sát trace, không chỉ metric
- # học từ lỗi, và khép vòng lặp
- # thay đổi gì với con người
- # mấy anti-pattern mình cứ gặp hoài
- # nếu thứ hai này chỉ làm được ba việc