LiteLLM là cổng AI (AI gateway) mã nguồn mở giúp gọi hơn 100 mô hình LLM (OpenAI, Anthropic, Gemini, Bedrock, Azure...) bằng một chuẩn API duy nhất theo format OpenAI, kèm theo dõi chi phí, virtual key, guardrail và cân bằng tải — self-host được.
Repo signal
GitHub traction để cân nhắc độ đáng thử.
53.152
★ Stars
9.631
⑂ Forks
~1079 ngày tuổi, ~49.3 sao/ngày
Decision brief
Replaces
Một phần nhu cầu dùng AI gateway/LLM proxy trả phí (managed) ở khâu định tuyến và quản lý key
Workflow cut
Khâu tự viết và bảo trì lớp tích hợp riêng cho từng nhà cung cấp LLM, cộng phần quản lý key và tính chi phí thủ công.
Caution
CẢNH BÁO BẢO MẬT: các bản litellm 1.82.7 và 1.82.8 trên PyPI từng bị chèn mã độc đánh cắp credential (thảo luận Hacker News tháng 3/2026) — đây chính là tín hiệu đưa repo vào queue. Bản thân dự án là hợp pháp và rất phổ biến, nhưng ai dùng phải PIN đúng phiên bản sạch, kiểm tra nguồn cài và không cài bừa phiên bản mới nhất. Ngoài ra: đây là hạ tầng cho dev, cần Docker/vận hành để self-host, không phải tool bấm-là-chạy cho creative/ecom/seo. Repo có ~3800 issue mở.
VN fit
Agency/studio Việt bắt đầu nhận dự án có tính năng AI (chatbot, tạo nội dung, xử lý ảnh) và phải gọi nhiều LLM khác nhau cho từng khách. Không có lớp gateway chung thì mỗi dự án lại tích hợp và quản lý key/chi phí riêng, rất khó kiểm soát ngân sách token.
Nhu cầu 'quản lý API key và chi phí khi dùng nhiều LLM' đang xuất hiện ở các team build sản phẩm AI; tuy nhiên tín hiệu đưa repo này vào queue lại là một sự cố bảo mật (xem cảnh báo bên dưới), không phải một câu chuyện tăng trưởng.
Saved
Gộp việc tích hợp nhiều LLM về một chuẩn và có sẵn quản lý key/chi phí; là bản self-host miễn phí thay cho một số AI gateway trả phí. Lợi ích thực tế phụ thuộc năng lực vận hành của team.
Use cases
Why it stands out
Member insight
Bản public giúp bạn quyết định có nên mở tab hay không. Member area đi thêm một nhịp: lưu repo vào shortlist, để note riêng cho lần test tới, rồi mở guide đúng lúc cần chạy thật.
Shortlist action
Đăng nhập để lưu repo, thêm note riêng và quay lại guide khi cần thử thật.
Related alternatives
forge là lớp 'giữ ổn định' cho các model LLM tự host khi gọi tool: bạn khai báo bộ công cụ, model tự chọn gọi cái nào, còn forge lo phần bắt lỗi, thử lại và kiểm tra kết quả để việc gọi tool ít hỏng hơn.
Dream Server là bộ cài local AI all-in-one giúp bạn biến PC, Mac hoặc máy Linux thành stack AI riêng với chat, model serving, voice, workflow, RAG và image generation mà không phải tự nối hàng chục dịch vụ từ đầu.
ODS là bộ cài để biến PC, Mac hoặc máy Linux thành một AI server riêng: có chat, model local, workflow, RAG, voice và tạo ảnh trong cùng một stack.
Plane là phần mềm quản lý dự án và công việc bạn có thể tự cài, như một lựa chọn thay Jira/Linear/Trello khi muốn giữ dữ liệu trên hạ tầng của mình.