Chi phí API AI: câu trả lời ngắn
Chi phí API AI gần như luôn bằng số token đầu vào nhân đơn giá đầu vào, cộng số token đầu ra nhân đơn giá đầu ra, rồi nhân với số lần gọi. Muốn kiểm soát chi phí, hãy kiểm soát ba yếu tố đó: gửi ít token hơn, để mô hình trả lời ngắn hơn và dùng đúng mô hình cho đúng việc.
Các nhà cung cấp lớn còn giảm giá chính thức cho phần prompt lặp lại (prompt caching) và việc không cần trả lời ngay (Batch API). Bài này không đưa bảng giá vì giá thay đổi thường xuyên; hãy đọc trực tiếp trang giá của Anthropic hoặc của nhà cung cấp bạn dùng.
Chi phí API AI được tính thế nào?
LLM không đọc chữ mà đọc token, tức những mảnh văn bản nhỏ như một từ, một phần của từ hoặc dấu câu. Nhà cung cấp tính tiền theo token, thường niêm yết theo một triệu token, với đơn giá riêng cho đầu vào (những gì bạn gửi) và đầu ra (những gì mô hình viết).
Đầu vào gồm nhiều thứ hơn bạn nghĩ
Mỗi lần gọi API, phần đầu vào không chỉ là câu hỏi của người dùng. Nó gồm:
- System prompt: chỉ dẫn, quy tắc, giọng văn.
- Định nghĩa công cụ (tools) nếu ứng dụng cho mô hình gọi công cụ. Tài liệu giá của Anthropic ghi rõ khi dùng tool, API tự thêm một system prompt riêng và các token này được cộng vào đầu vào.
- Lịch sử hội thoại: trong chatbot hay AI Agent nhiều lượt, toàn bộ lịch sử thường được gửi lại ở mỗi lượt, nên đầu vào tăng dần theo độ dài cuộc trò chuyện.
- Tài liệu tham chiếu: đoạn trích từ RAG, file đính kèm, kết quả công cụ.
Đầu ra thường đắt hơn đầu vào
Trên bảng giá của các nhà cung cấp lớn, token đầu ra đắt hơn đầu vào, và phần suy luận (thinking) của mô hình suy luận cũng tính là đầu ra. Vì vậy viết một báo cáo dài có thể tốn hơn đọc một tài liệu dài rồi trả lời vài dòng.
Chi phí ẩn ngoài token
- Công cụ phía máy chủ như tìm kiếm web có thể tính phí theo lượt dùng, cộng thêm vào token (theo tài liệu giá của Anthropic).
- Một số tùy chọn như xử lý dữ liệu trong một vùng địa lý cụ thể có hệ số giá riêng.
- Lỗi và gọi lại: một yêu cầu thất bại rồi chạy lại vẫn tốn token cho lần thất bại.
Tiếng Việt có tốn nhiều token hơn tiếng Anh không?
Có, với nhiều tokenizer phổ biến. Nghiên cứu của Petrov và cộng sự (Đại học Oxford, NeurIPS 2023) cho thấy cùng một nội dung ở các ngôn ngữ khác nhau có độ dài token chênh lệch tới 15 lần, nên người dùng một số ngôn ngữ trả nhiều hơn cho dịch vụ tính phí theo token.
Riêng với tiếng Việt, một nghiên cứu năm 2026 của nhóm Đại học Quốc gia Singapore (Lee và cộng sự) dẫn lại kết quả của Petrov: tokenizer của GPT-4 cần khoảng 2,5 lần số token cho tiếng Việt so với tiếng Anh cho cùng nội dung. Con số này gắn với một tokenizer cụ thể; các mô hình mới dùng tokenizer khác nên tỷ lệ có thể khác.
Vì vậy, đừng lấy ước tính từ tài liệu tiếng Anh áp sang tiếng Việt. Hãy đếm token trên một mẫu dữ liệu tiếng Việt thật bằng công cụ đếm token của chính mô hình sẽ dùng rồi mới lập ngân sách (xem thêm chọn LLM cho tiếng Việt).
Năm nguyên nhân khiến hóa đơn API AI tăng ngoài dự kiến
- Dùng một mô hình mạnh nhất cho mọi việc, kể cả phân loại hay trích xuất đơn giản.
- Ngữ cảnh phình to: system prompt dài, lịch sử hội thoại không được cắt, nhồi cả tài liệu thay vì đoạn liên quan.
- Đầu ra không giới hạn: mô hình viết dài hơn mức cần, hoặc suy luận quá nhiều cho việc đơn giản.
- Vòng lặp của AI Agent: Agent gọi công cụ lặp lại, thử lại không giới hạn, hoặc nhiều Agent chuyển việc qua lại.
- Không ai sở hữu ngân sách: một API key dùng chung cho nhiều nhóm, không có hạn mức, không có cảnh báo.
10 cách kiểm soát chi phí LLM
Thứ tự dưới đây đi từ việc dễ làm, tác động lớn đến việc cần thay đổi kiến trúc.
1. Chọn mô hình theo tác vụ (model routing)
Phân loại email, trích xuất trường dữ liệu, tóm tắt ngắn thường chạy tốt trên mô hình nhỏ; mô hình lớn dành cho suy luận nhiều bước hoặc nội dung quan trọng. Lập bộ kiểm thử từ dữ liệu thật, chạy trên hai hạng mô hình liền kề và chọn hạng rẻ hơn mà vẫn đạt ngưỡng chất lượng. Nâng cao hơn: một bước phân loại nhẹ quyết định câu hỏi nào chuyển lên mô hình lớn.
2. Prompt caching cho phần lặp lại
Nếu nhiều yêu cầu bắt đầu bằng cùng một đoạn (system prompt, định nghĩa công cụ, tài liệu chính sách), nhà cung cấp lưu phần tiền tố đó và tính giá đọc cache thấp hơn giá đầu vào thường.
Với OpenAI, caching tự động áp dụng cho prompt từ 1.024 token và chỉ hoạt động khi phần mở đầu khớp chính xác. Với Anthropic, bạn đánh dấu điểm cache bằng cache_control; thời gian sống mặc định 5 phút, được làm mới mỗi lần dùng, có tùy chọn 1 giờ. Ghi cache có thể đắt hơn đầu vào thường, nên chỉ có lợi khi tiền tố thực sự được đọc lại.
Đặt phần cố định lên đầu, phần thay đổi (câu hỏi, kết quả RAG) xuống cuối. Một dấu thời gian ở đầu prompt sẽ làm trượt cache ở mọi lần gọi.
3. Batch API cho việc không cần trả lời ngay
Phân loại hàng nghìn phiếu hỗ trợ, tóm tắt tài liệu tồn đọng hay chạy đánh giá ban đêm đều không cần kết quả ngay. OpenAI và Anthropic đều có Batch API với giá thấp hơn gọi đồng bộ, đổi lại kết quả trả về sau: OpenAI nêu khung xử lý 24 giờ; Anthropic cho biết phần lớn batch xong trong chưa tới 1 giờ, tối đa 24 giờ. Theo tài liệu giá của Anthropic, giảm giá batch cộng dồn được với prompt caching. Không dùng batch khi có người đang chờ, hoặc cho vòng lặp AI Agent mà bước sau phụ thuộc bước trước.
4. Cắt và nén ngữ cảnh
- Rút gọn system prompt: bỏ chỉ dẫn trùng lặp, ví dụ không còn cần.
- Giới hạn lịch sử hội thoại: giữ vài lượt gần nhất, tóm tắt phần cũ.
- Chỉ nạp công cụ cần cho tác vụ hiện tại thay vì mọi công cụ.
- Đếm token trên prompt đã lắp ráp hoàn chỉnh, không chỉ trên phần người dùng gõ.
5. RAG thay vì nhồi toàn bộ tài liệu
Cửa sổ ngữ cảnh lớn không có nghĩa nên dùng hết: mỗi token trong ngữ cảnh được tính tiền ở mọi lần gọi. Nghiên cứu "Lost in the Middle" (Liu và cộng sự, TACL 2024) còn cho thấy hiệu quả của mô hình có thể giảm khi thông tin liên quan nằm giữa một ngữ cảnh dài. RAG chỉ đưa những đoạn liên quan vào prompt, thường vừa rẻ hơn vừa dễ kiểm chứng nguồn hơn. Xem RAG là gì.
Ngược lại, nếu cùng một tài liệu dài được hỏi nhiều lần trong thời gian ngắn, đặt tài liệu vào phần được cache có thể là lựa chọn hợp lý. Hãy đo cả hai cách trên dữ liệu của bạn.
6. Giới hạn và định dạng đầu ra
Đặt tham số giới hạn token đầu ra (ví dụ max_tokens) cho từng loại tác vụ, yêu cầu định dạng ngắn gọn hoặc JSON có cấu trúc thay vì văn xuôi, và với mô hình suy luận, chọn mức suy luận phù hợp độ khó. Vì đầu ra thường đắt hơn đầu vào, đây là đòn bẩy rất trực tiếp.
7. Cache câu trả lời ở tầng ứng dụng
Nếu nhiều người hỏi cùng một câu (giờ mở cửa, chính sách đổi trả), ứng dụng có thể lưu câu trả lời đã duyệt và trả lại mà không gọi mô hình. Cần quy tắc làm mới khi dữ liệu gốc đổi, và không áp dụng cho câu trả lời phụ thuộc dữ liệu cá nhân.
8. Chặn vòng lặp của AI Agent
AI Agent tự gọi công cụ nhiều bước là nơi chi phí dễ vượt kiểm soát nhất. Đặt giới hạn cứng cho mỗi tác vụ: số lần gọi công cụ, ngân sách token, thời gian chạy; khi chạm giới hạn thì dừng và chuyển cho người phụ trách. Xem thêm năm điểm kiểm tra khi điều phối nhiều AI Agent.
9. Ngân sách và cảnh báo theo nhóm
Tách API key và ngân sách theo nhóm, dự án hoặc môi trường. OpenAI cho đặt hạn mức chi tiêu tháng ở cấp tổ chức và dự án: cảnh báo không chặn yêu cầu, còn hạn mức cứng làm yêu cầu bị từ chối (lỗi 429) khi chạm ngưỡng; việc chặn không tức thời nên chi tiêu có thể vượt nhẹ. Anthropic cho đặt hạn mức chi tiêu và giới hạn tốc độ riêng cho từng Workspace, kèm cảnh báo.
Nên đặt cảnh báo ở vài mức trước ngưỡng, ghi rõ ai nhận cảnh báo, ai được nâng hạn mức, và biết hạn mức nào sẽ thực sự cắt dịch vụ để production không bị dừng bất ngờ.
10. Đo chi phí trên mỗi việc hữu ích
Ghi lại cho mỗi lần gọi: tính năng, mô hình, token đầu vào, token đầu ra, token đọc cache, thành công hay không. Từ đó tính chi phí trên mỗi tác vụ hoàn thành. Một hệ thống rẻ hơn trên mỗi lần gọi nhưng phải chạy lại nhiều lần có thể đắt hơn hệ thống làm đúng ngay.
Bảng chỉ số chi phí nên theo dõi
| Chỉ số | Cách đo | Dùng để làm gì |
|---|---|---|
| Token đầu vào trung bình mỗi yêu cầu | Trường usage trong phản hồi API, theo tính năng | Phát hiện prompt hoặc ngữ cảnh phình to |
| Token đầu ra trung bình mỗi yêu cầu | Trường usage, theo tính năng | Kiểm tra giới hạn đầu ra và mức suy luận |
| Tỷ lệ đọc cache | Token đọc từ cache / tổng token đầu vào (OpenAI: cached_tokens; Anthropic: cache_read_input_tokens) | Biết prompt caching có thực sự hoạt động |
| Tỷ lệ việc chạy qua batch | Số yêu cầu batch / tổng yêu cầu đủ điều kiện | Tìm việc còn chạy đồng bộ không cần thiết |
| Phân bổ theo hạng mô hình | Chi phí theo model ID | Kiểm tra việc định tuyến mô hình |
| Chi phí mỗi tác vụ hoàn thành | Tổng chi phí / số tác vụ đạt yêu cầu | So sánh phương án theo giá trị thật |
| Tỷ lệ lỗi và gọi lại | Số yêu cầu lỗi hoặc chạy lại / tổng yêu cầu | Phát hiện chi phí lãng phí |
| Chi tiêu so với ngân sách | Báo cáo chi phí theo dự án/Workspace | Cảnh báo sớm trước khi chạm hạn mức |
Quy trình 5 bước để bắt đầu
Ví dụ minh họa (kịch bản giả định, không phải kết quả của khách hàng cụ thể): một đội chăm sóc khách hàng đo và thấy phần lớn token là đầu vào lặp lại. Họ đưa phần chính sách cố định lên đầu prompt để được cache, giữ năm lượt hội thoại gần nhất kèm tóm tắt, và chuyển việc gắn nhãn phiếu cuối ngày sang batch.
- Gắn nhãn: mỗi lần gọi API mang mã tính năng, nhóm và môi trường; tách API key theo dự án.
- Đo nền: một đến hai tuần dữ liệu token, chi phí, tỷ lệ cache theo tính năng.
- Chọn hai, ba tính năng tốn nhất và áp dụng các cách dễ nhất trước: giới hạn đầu ra, sắp lại prompt cho cache, chuyển việc không gấp sang batch.
- Thử mô hình nhỏ hơn trên bộ kiểm thử chất lượng; chỉ chuyển khi đạt ngưỡng đã thống nhất.
- Đặt ngân sách, cảnh báo và người chịu trách nhiệm cho từng nhóm; xem lại hằng tháng.
EYC hỗ trợ thế nào
EYC thiết kế hệ thống AI với kiểm soát chi phí trong kiến trúc từ đầu: định tuyến mô hình, prompt cho caching, đo chi phí theo tính năng, ngân sách theo nhóm. Xem hạ tầng đám mây và dữ liệu, tự động hóa bằng AI hoặc liên hệ EYC.
Câu hỏi thường gặp
Chi phí API AI được tính như thế nào?
Theo token: token đầu vào (prompt, lịch sử, tài liệu, định nghĩa công cụ) nhân đơn giá đầu vào, cộng token đầu ra nhân đơn giá đầu ra. Đơn giá khác nhau theo mô hình.
Dùng API có rẻ hơn mua gói ChatGPT Plus hay Claude Pro không?
Hai thứ phục vụ mục đích khác nhau. Gói thuê bao dành cho người dùng làm việc trực tiếp trong ứng dụng chat; API dành cho phần mềm tự gọi mô hình và tính theo token. Muốn so sánh, hãy ước tính token thực tế của khối lượng công việc rồi đối chiếu với trang giá hiện hành.
Tiếng Việt có tốn token hơn tiếng Anh không?
Với nhiều tokenizer, có. Theo Petrov và cộng sự (2023), tokenizer của GPT-4 cần khoảng 2,5 lần token cho tiếng Việt so với tiếng Anh. Tỷ lệ khác nhau theo mô hình, nên hãy đếm trên dữ liệu thật.
Prompt caching là gì và khi nào nên dùng?
Là cơ chế lưu phần đầu prompt lặp lại và tính giá đọc cache thấp hơn. Nên dùng khi nhiều yêu cầu chia sẻ cùng system prompt, công cụ hoặc tài liệu và đến đủ dày trong thời gian sống của cache.
Batch API phù hợp với việc gì?
Việc không cần trả lời ngay: phân loại, tóm tắt hàng loạt, gắn nhãn dữ liệu, chạy đánh giá, báo cáo định kỳ. Không hợp với chatbot có người chờ hay vòng lặp AI Agent.
Làm sao tránh hóa đơn API AI tăng đột biến?
Tách API key và ngân sách theo dự án, bật cảnh báo ở nhiều ngưỡng, dùng hạn mức cứng nơi nhà cung cấp hỗ trợ, đặt giới hạn số bước và token cho AI Agent, và theo dõi chi phí theo tính năng hằng tuần.