Kiến trúc Agentic AI: những phần nhàm chán quyết định agent có sống nổi trên production

- Published on
- 19 mins read
"Agent thì chỉ là một LLM gọi tool trong vòng lặp thôi."
Câu này đúng hoàn toàn, và cũng hữu ích ngang câu "database thì chỉ là mấy file trên ổ đĩa". Nó giải thích được cái demo bạn dựng trong một buổi chiều. Nó không giải thích được vì sao cái demo đó, khi người dùng thật kéo tới, bắt đầu chạy vòng vòng, làm lộ địa chỉ khách hàng vào log, hay đốt mười một đô để trả lời một câu mà một query SQL trả lời miễn phí.
Model là phần ấn tượng nhất của một hệ thống agentic, nhưng theo mình lại ít khi là lý do nó hỏng. Thứ hay hỏng là mọi thứ xung quanh model. Bài này là tấm bản đồ cho cái "mọi thứ xung quanh" đó: kiến trúc mình tìm khi review một thiết kế agent, và các câu mình hỏi trước khi nó được bén mảng tới production.
Phần quy trình, tức là đánh giá, release và vận hành mấy hệ thống này thế nào, nằm ở bài đi kèm về Agentic Development Life Cycle.
# câu hỏi đầu tiên: có cần agent không?
Quyết định kiến trúc đáng tiền nhất nhiều khi lại là quyết định bỏ agent đi. Bài viết hay được trích dẫn của Anthropic về cách xây agent hiệu quả vạch ra một đường ranh mà mình dùng suốt:
- Workflow điều phối các lần gọi LLM và tool theo luồng code do bạn định sẵn.
- Agent để model tự quyết bước tiếp theo, dùng tool nào, và khi nào thì xong.
Workflow dễ đoán, rẻ, dễ test. Agent linh hoạt, đắt, khó lường hơn. Sự linh hoạt phải trả bằng độ trễ, token và độ bất định, nên bài toán cần bao nhiêu thì mua bấy nhiêu thôi.
Mỗi bước sang phải là thêm năng lực, thêm chi phí và thêm kiểu hỏng. Nguyên tắc của mình: chỉ tiến thêm một bước khi chỉ ra được những task thật mà bước hiện tại không làm nổi. "Biết đâu sau này cần" không phải lý do. Khá nhiều "agent" mình review hoá ra là một workflow ba bước đội lốt, và nó nhanh hơn, rẻ hơn, chắc hơn ngay khi mình chịu thừa nhận điều đó.
Mấy pattern phổ biến nên nhớ tên, vì chúng phủ được nhiều trường hợp hơn bạn nghĩ:
| Pattern | Hình dạng | Hợp với |
|---|---|---|
| Prompt chaining | Output của bước A làm input cho bước B, có kiểm tra ở giữa | Sinh nội dung, rồi kiểm tra, rồi định dạng |
| Routing | Một bộ phân loại đẩy input sang handler chuyên biệt | Phân loại ticket hỗ trợ; ca dễ cho model rẻ xử lý |
| Parallelisation | Nhiều lần gọi chạy cùng lúc; gộp kết quả hoặc cho bỏ phiếu | Các câu hỏi con độc lập, các bước kiểm tra an toàn |
| Orchestrator-workers | Một planner chia việc linh động rồi giao cho worker | Task mà không biết trước các bước con |
| Evaluator-optimiser | Một bên viết nháp, một bên chấm điểm, lặp tới giới hạn | Viết bài, dịch, code phải qua được test |
Chỉ hai pattern cuối mới bắt đầu có mùi "agentic". Ba cái đầu là phần mềm bình thường có nhét model bên trong.
# giải phẫu một agent
Khi thật sự cần agent, đừng nghĩ về nó như "cái model" nữa, mà nghĩ như một runtime nhỏ với model nằm ở giữa. Đây là hình mình hay vẽ lên bảng.
Tám thành phần, mỗi cái một việc rõ ràng:
- Model. Bộ máy suy luận. Thay được, và nên thiết kế như thể nó sẽ bị thay, vì kiểu gì nó cũng bị thay.
- Control loop. Gọi model, chạy các tool mà model yêu cầu, và quan trọng nhất là quyết định khi nào dừng.
- Context builder. Gom những gì model thấy ở mỗi lượt: chỉ dẫn, phần memory liên quan, tài liệu truy xuất được, kết quả tool gần nhất.
- Tools. Đôi tay của agent: mọi thứ nó làm được với thế giới bên ngoài.
- Policy và approval. Ai được làm gì, và hành động nào cần người duyệt.
- Guardrails. Các lớp kiểm tra ở chiều vào và chiều ra.
- State và memory. Những gì còn giữ lại giữa các bước, các phiên và các người dùng.
- Observability. Trace, thống kê token và chi phí, và chỗ để gắn eval vào.
Phần còn lại của bài đi qua những thành phần mà mình thấy người ta trả giá đắt nhất.
# control loop: lúc nào cũng phải biết nó kết thúc thế nào
Vòng lặp ngây thơ gửi context cho model, chạy tool nào model đòi, nối kết quả vào rồi lặp lại. Nó chạy ngon lành cho tới khi model bị rối, thử đi thử lại đúng một lệnh gọi đang lỗi, và cứ thế chạy tới khi có thứ gì bên ngoài giết nó. Vòng lặp production trông giống thế này hơn:
def run(task, budget):
state = load_checkpoint(task.id) or new_state(task)
while True:
if state.steps >= budget.max_steps or state.tokens >= budget.max_tokens:
return handoff_to_human(state, reason="budget exhausted")
if clock() - state.started_at > budget.timeout_s:
return handoff_to_human(state, reason="timeout")
reply = model.generate(build_context(state)) # one model turn
state.tokens += reply.usage.total
if reply.is_final:
return finish(state, output_guardrails(reply.text))
for call in reply.tool_calls:
if repeated(state, call, times=3): # same tool, same args
return handoff_to_human(state, reason="stuck in a loop")
if policy.requires_approval(call):
return pause_for_approval(state, call) # resumes later from checkpoint
result = tools.execute(call, idempotency_key=f"{task.id}:{state.steps}:{call.id}")
state.append(call, summarise_if_large(result))
state.steps += 1
save_checkpoint(state)Trong đó có vài chi tiết đáng nói:
- Lối ra nào cũng tường minh. Hết budget, timeout, phát hiện lặp và chờ duyệt đều có đường thoát riêng có tên. "Bỏ cuộc và chuyển cho người" là một tính năng, không phải thất bại.
- State được checkpoint sau mỗi bước. Crash, deploy, hay ba tiếng chờ duyệt thì task chạy tiếp từ chỗ dở, chứ không làm lại từ đầu. Với việc chạy lâu, dùng một durable execution engine (Temporal, một workflow service, hoặc state machine lưu trong database) thay vì vòng lặp nằm trong RAM.
- Mỗi lần gọi tool mang theo idempotency key. Khi vòng lặp chạy lại sau crash, một lệnh
create_ticketđược retry không được tạo ra ticket thứ hai. - Kết quả tool lớn được tóm tắt trước khi đưa vào context, và chuyện này dẫn sang phần tiếp theo.
# tool: thiết kế như một public API
Tool là chỗ agent chạm vào thế giới thật, và nó là một interface mà bên gọi không thể hỏi lại bạn "ý anh là sao". Hướng dẫn viết tool cho agent của Anthropic khớp với những gì mình thấy ngoài thực tế: thiết kế tool cải thiện chất lượng nhiều hơn là ngồi chỉnh prompt.
So sánh một tool bê nguyên API nội bộ ra với một tool thiết kế cho đúng người gọi nó:
{
"name": "search_orders",
"description": "Find a customer's recent orders. Use this before any refund or delivery question. Do NOT use it to look up products; use search_catalog for that. Returns at most 10 orders, newest first.",
"input_schema": {
"type": "object",
"properties": {
"customer_id": {
"type": "string",
"description": "UUID from the ticket header, not the email address."
},
"status": { "type": "string", "enum": ["any", "delivered", "in_transit", "returned"] },
"since_days": { "type": "integer", "minimum": 1, "maximum": 365, "default": 90 }
},
"required": ["customer_id"]
}
}Những gì mình soi khi review tool:
- Ít tool, mỗi cái có mục đích rõ. Hai mươi tool chồng chéo làm model rối y như làm một kỹ sư mới vào rối. Hãy đưa ra
search_orders, đừng phơi nguyên bề mặt REST của ba service. - Mô tả viết cho model đọc. Nói rõ tool dùng để làm gì, khi nào không được dùng, và từng tham số nghĩa là gì, kèm đơn vị và định dạng.
- Response nhỏ, nhiều thông tin. Trả về năm field quan trọng, có phân trang, và khi cắt bớt thì ghi rõ trong response là đã cắt.
- Lỗi phải dạy được.
"customer_id must be a UUID; you passed an email address. Look for the 'Customer' field in the ticket header."giúp agent tự sửa được.400 Bad Requestthì không. - Ghi an toàn. Idempotency key, chế độ dry-run, và nếu được thì thiết kế hai bước "chuẩn bị rồi mới commit" để bước duyệt nằm chen vào giữa.
Model Context Protocol (MCP), được Anthropic tặng cho Agentic AI Foundation của Linux Foundation vào cuối năm 2025, giờ đã thành cách chuẩn để đóng gói tool sao cho agent nào tuân thủ cũng dùng được. Nó giải quyết chuyện phân phối và tìm kiếm tool. Nó không giải quyết chuyện thiết kế hay bảo mật: tool thiết kế dở đặt sau MCP thì vẫn dở, và một MCP server của bên thứ ba là một dependency cần được soi kỹ, pin version và review như mọi package bạn cài.
# context và memory: ít thôi, nhưng chất
Context window lớn đã dụ khá nhiều người trong chúng ta vào một kiểu kiến trúc lười: nhét hết vào prompt rồi để model tự lo. Cách này không scale được. Context dài và nhiễu thì tốn tiền hơn, chạy chậm hơn, và quá một ngưỡng nào đó còn làm giảm độ chính xác, vì chỉ dẫn quan trọng bị chôn dưới ba mươi kilobyte output của tool.
Kỷ luật này giờ thường được gọi là context engineering: ở mỗi lượt, đưa cho model tập token nhỏ nhất mà giàu thông tin nhất nó cần. Thực tế mình chia memory thành mấy lớp:
| Lớp | Sống bao lâu | Ví dụ | Rủi ro chính |
|---|---|---|---|
| Working context | Một lần gọi model | Chỉ dẫn hiện tại, vài kết quả tool gần nhất | Phình to; dữ kiện quan trọng bị lạc |
| Session state | Một task hoặc cuộc hội thoại | Kế hoạch, các quyết định đã chốt, ghi chú nháp | Trôi dần khi task càng dài |
| Long-term memory | Qua nhiều phiên | Sở thích người dùng, dữ kiện đã xác thực, kết quả cũ | Bị đầu độc; "dữ kiện" cũ hoặc sai |
| Knowledge | Thuộc về doanh nghiệp | Tài liệu, chính sách, dữ liệu sản phẩm qua retrieval | Truy xuất trượt; phân quyền truy cập |
Ba quy tắc giúp đỡ khổ khá nhiều:
- Nén lại, đừng tích luỹ. Tóm tắt hoặc bỏ output tool cũ thay vì mang nguyên văn theo mãi. Giữ kế hoạch và các quyết định; bỏ log thô.
- Sắp xếp prompt cho hợp cache. Các provider cache phần đầu giống hệt nhau dài nhất của request, và input đã cache chỉ tính một phần nhỏ giá thường. Đặt phần ổn định lên trước (system instruction, định nghĩa tool, tài liệu chính sách) và phần hay đổi xuống cuối. Với một agent gửi lại toàn bộ context ở mỗi bước, bố cục thân thiện với cache thường cắt được hơn một nửa chi phí input; còn một cái timestamp đặt ở đầu system prompt sẽ âm thầm xoá sạch khoản tiết kiệm đó.
- Coi việc ghi vào long-term memory là đặc quyền. Nếu agent được lưu bất cứ thứ gì nó đọc thành "dữ kiện" lâu dài, thì một tài liệu độc hại có thể ảnh hưởng mọi phiên về sau. OWASP xếp memory và context poisoning vào nhóm rủi ro agentic hàng đầu cũng vì lý do này. Bắt mỗi mục memory phải có nguồn gốc rõ ràng, và chỉ cho nguồn đã xác thực được ghi vào.
# multi-agent: công cụ mạnh, nhưng có giá thật
Multi-agent là phần hấp dẫn nhất của lĩnh vực này, và cũng là phần hay bị dùng quá sớm nhất.
Lý do nên dùng là có thật. Một orchestrator chia câu hỏi nghiên cứu rộng thành các nhánh độc lập, chạy song song các worker với context sạch của riêng chúng, rồi gộp kết quả, có thể làm tốt hơn một agent đơn lẻ ở những bài toán rộng và chia song song được. Anthropic đã báo cáo đúng như vậy với tính năng research của họ, kèm luôn hoá đơn: agent dùng khoảng gấp bốn lần token so với một lượt chat, còn hệ multi-agent thì khoảng gấp mười lăm lần.
Lý do không nên dùng cũng có thật. Lập luận nổi tiếng của Cognition là các agent chạy song song đưa ra quyết định dựa trên context không đầy đủ, và các quyết định đó xung đột nhau. Hai worker, mỗi bên chọn một hướng hợp lý; gộp lại thì hai lựa chọn không ăn khớp, và orchestrator chẳng hề hay biết.
Cách mình đọc cả hai bên: yếu tố quyết định là các task con độc lập với nhau tới mức nào.
- Việc dàn rộng, chủ yếu là đọc (nghiên cứu, tìm kiếm, phân tích các tài liệu tách biệt) chia song song tốt. Dùng orchestrator-workers, và giao cho mỗi worker một brief rõ ràng: mục tiêu, định dạng output, tool được dùng, và khi nào thì dừng.
- Việc gắn chặt nhau, chủ yếu là ghi (một codebase, một tài liệu, một kế hoạch) thường ổn hơn với một agent duy nhất và context được quản lý tốt, hoặc các worker chạy tuần tự nghiêm ngặt với hợp đồng rõ ràng giữa chúng.
- Output cần chất lượng cao được lợi từ cặp evaluator-optimiser, có giới hạn cứng số vòng lặp để bên chấm điểm không giữ vòng lặp chạy mãi.
Với agent nói chuyện vượt ranh giới team hay công ty, giao thức Agent2Agent (A2A), do Google khởi xướng và giờ cũng nằm dưới Linux Foundation, chuẩn hoá cách một agent tìm thấy agent khác và giao việc cho nó. Một cách hình dung dễ nhớ: MCP nối agent với tool; A2A nối agent với agent. Không cái nào cho bạn sẵn danh tính, phân quyền hay audit trail. Mấy thứ đó vẫn là việc của bạn.
# bảo mật: cứ coi như model sẽ bị lừa
Sự thật quan trọng nhất về bảo mật agent là model không phân biệt chắc chắn được đâu là chỉ dẫn, đâu là dữ liệu. Bất cứ đoạn text nào nó đọc, dù là trang web, email, PDF hay kết quả tool, đều có thể chứa chỉ dẫn mà nó sẽ cố làm theo. Prompt tốt hơn và bộ phân loại giúp giảm tỉ lệ; chúng không xoá được cả nhóm lỗi này.
"Lethal trifecta" của Simon Willison là cách giải thích rõ nhất mình biết về mối nguy này. Một agent trở nên bị khai thác được để đánh cắp dữ liệu khi nó có đủ cả ba:
- quyền truy cập dữ liệu riêng tư,
- tiếp xúc với nội dung không tin cậy, và
- khả năng giao tiếp ra bên ngoài.
Bỏ được một chân bất kỳ là cuộc tấn công khó hơn hẳn. Phần lớn hệ thống có ích không bỏ nổi cả ba, nên kiến trúc phải khoanh vùng thiệt hại thay vì hy vọng phát hiện được. Các pattern đứng vững nhất đều chung một ý: text không tin cậy không bao giờ được chọn hành động nào sẽ chạy.
- Lập kế hoạch rồi mới thực thi. Agent chốt kế hoạch (tool nào, theo thứ tự nào) trước khi đọc nội dung không tin cậy. Kết quả tool có thể điền dữ liệu vào, nhưng không được thêm bước mới.
- Dual LLM và theo dõi capability. Một model có đặc quyền lập kế hoạch và gọi tool nhưng không bao giờ thấy text không tin cậy ở dạng thô; một model bị cách ly đọc text đó nhưng không có tool nào, và output của nó được chuyền đi như một biến mờ không đọc được. Thiết kế CaMeL của Google DeepMind đi xa hơn: theo dõi từng giá trị đến từ đâu và áp các chính sách, kiểu "dữ liệu lấy từ email không được gửi tới địa chỉ không do người dùng cung cấp", bằng code bình thường chứ không phải bằng prompt.
- Quyền tối thiểu cho từng agent và từng task. Mỗi agent có danh tính riêng và credential ngắn hạn, phạm vi hẹp. Đừng bao giờ để agent mượn nguyên phiên đăng nhập của một người.
- Người duyệt các hành động không đảo ngược được, và màn hình duyệt phải cho thấy chuyện gì sẽ thực sự xảy ra (đúng người nhận, đúng số tiền, đúng diff), chứ không phải bản tóm tắt do chính agent viết.
- Chạy trong sandbox và kiểm soát egress. Code chạy trong sandbox; truy cập mạng ra ngoài đi qua allowlist. Việc render ảnh Markdown cũng là một kênh rò rỉ dữ liệu, nên giới hạn domain nào được phép tải ảnh.
OWASP Top 10 for Agentic Applications, công bố tháng 12/2025, biến những điều trên thành một checklist cụ thể: chiếm quyền mục tiêu (goal hijacking), lạm dụng tool, lạm dụng danh tính và đặc quyền, rủi ro chuỗi cung ứng, đầu độc memory, giao tiếp giữa các agent thiếu an toàn, và còn nữa. Theo mình, ai ký duyệt thiết kế agent cũng nên bắt buộc đọc qua.
# độ tin cậy và observability
Agent hỏng theo những kiểu mà monitoring thông thường không nhìn thấy. Service trả 200, độ trễ ổn, còn câu trả lời thì sai một cách rất tự tin. Vì thế mức yêu cầu về observability cao hơn:
- Trace từng lần chạy từ đầu tới cuối: mỗi lần gọi model, mỗi lần gọi tool kèm input và output, token, chi phí và kết quả cuối. Bộ semantic conventions cho generative AI của OpenTelemetry là một định dạng chung khá hợp lý.
- Theo dõi chi phí trên mỗi task thành công song song với chất lượng. Chi phí tăng vọt thường là triệu chứng đầu tiên nhìn thấy được của một agent bị kẹt hoặc bị rối.
- Chấm điểm một phần trace production bằng chính các grader dùng offline, để regression hiện lên thành cảnh báo chứ không phải thành lời phàn nàn.
- Pin snapshot của model và nâng cấp có chủ đích, kèm một lượt chạy eval, như mọi dependency khác.
- Tính trước chuyện provider sập. Rate limit và sự cố là chuyện có thật; quyết định trước là sẽ xếp hàng chờ, chuyển sang một model khác đã qua cùng bộ eval, hay hạ xuống chế độ chỉ gợi ý.
- Giữ một kill switch: một cờ chuyển agent về chế độ chỉ gợi ý mà không cần deploy.
# bảng hỗ trợ ra quyết định
Khi một team mang tới đề xuất agent mới, đây là các câu mình hỏi, đại khái theo thứ tự này.
| Câu hỏi | Nếu có, nghiêng về |
|---|---|
| Có viết ra được các bước từ trước không? | Workflow, không phải agent |
| Làm sai một hành động có đắt hoặc không đảo ngược được không? | Tool kiểu chuẩn bị-rồi-commit, có người duyệt |
| Các task con có độc lập và chủ yếu là đọc không? | Orchestrator-workers chạy song song |
| Các task con có cùng ghi vào một thứ không? | Một agent duy nhất, hoặc worker chạy tuần tự nghiêm ngặt |
| Nó có đọc nội dung không tin cậy và giữ dữ liệu riêng tư không? | Plan-then-execute hoặc dual LLM; chặn egress ra ngoài |
| Nó có cần nhớ qua nhiều phiên không? | Ghi memory tường minh, có nguồn gốc và hạn dùng |
| Agent của team khác có gọi vào nó không? | Hợp đồng kiểu A2A, danh tính riêng, audit log |
| Task có chạy nhiều phút hoặc phải chờ người không? | Durable execution có checkpoint và tool idempotent |
# vài lời cuối
Kiến trúc của một hệ thống agentic tốt trông bảo thủ tới bất ngờ. Vòng lặp có budget và lối ra có tên. Tool thì ít và nhạt. Memory được chọn lọc chứ không gom hết. Text không tin cậy không được chọn hành động. Hành động nguy hiểm phải chờ người. Bước nào cũng để lại trace. Model lo phần trí thông minh; kiến trúc quyết định trí thông minh đó được phép hành động ở đâu.
Bắt đầu với thiết kế đơn giản nhất giải được task thật, đo nó cho trung thực, và chỉ thêm quyền tự chủ khi số liệu cho thấy bạn xứng đáng có nó. Lời khuyên này chẳng mới. Chỉ là giờ nó quan trọng hơn, khi phần mềm của chúng ta đã biết làm mình bất ngờ.
Muốn đào sâu từng phần thì đọc thêm các bài trước về vòng lặp ReAct và multi-agent trên production, multi-agent có state với LangGraph và agentic RAG.
Tham khảo:
- Anthropic: Building effective agents
- Anthropic: Effective context engineering for AI agents
- Simon Willison: The lethal trifecta for AI agents
- Debenedetti et al. (Google DeepMind): Defeating prompt injections by design (CaMeL)
- OWASP: Top 10 for Agentic Applications
Chỉ là những ghi chép cá nhân với hy vọng mang lại chút giá trị. Nếu thấy hữu ích, đừng ngại chia sẻ cho bạn bè & đồng nghiệp nhé!
Happy coding 😎 👍🏻 🚀 🔥.
On this page
- # câu hỏi đầu tiên: có cần agent không?
- # giải phẫu một agent
- # control loop: lúc nào cũng phải biết nó kết thúc thế nào
- # tool: thiết kế như một public API
- # context và memory: ít thôi, nhưng chất
- # multi-agent: công cụ mạnh, nhưng có giá thật
- # bảo mật: cứ coi như model sẽ bị lừa
- # độ tin cậy và observability
- # bảng hỗ trợ ra quyết định
- # vài lời cuối