colibrì là một 'động cơ' chạy model ngôn ngữ khổng lồ GLM-5.2 (744 tỉ tham số) trên máy tính thường chỉ ~25GB RAM, bằng cách viết thuần C, không phụ thuộc gì và nạp dần các 'expert' từ ổ đĩa.
Repo signal
GitHub traction để cân nhắc độ đáng thử.
2.560
★ Stars
180
⑂ Forks
~10 ngày tuổi, ~256 sao/ngày
Decision brief
Replaces
Thuê GPU cloud để chạy model lớn ↔ chạy CPU với colibrì (đánh đổi tốc độ)
Workflow cut
Khâu phải có GPU/VRAM lớn hoặc thuê cloud để chạy thử một model ngôn ngữ cực lớn.
Caution
Rất kén: phải build C, cần ~370GB dung lượng đĩa cho expert, và tốc độ trên CPU chậm hơn nhiều so với GPU. Repo mới ~10 ngày, còn thử nghiệm, số liệu 'token-exact' là tuyên bố của tác giả. Không liên quan trực tiếp tới công việc của creative/agency/ecom/seo — đây là lý do chính khiến nó khó vào scope RepoRadar.
VN fit
Đây là công cụ nghiên cứu hạ tầng inference, không nhắm creative/agency/ecom/seo. Nhóm liên quan hiếm hoi ở VN là dev/ML enthusiast muốn nghịch chạy LLM lớn trên máy cá nhân.
Chủ đề 'chạy LLM local trên máy yếu' được cộng đồng AI Việt quan tâm, nhưng chạy một model 744B thực tế cần ~370GB đĩa và tốc độ thấp — nên giá trị chủ yếu là thử nghiệm/học thuật, không phải để làm việc hằng ngày.
Saved
Về lý thuyết bỏ được chi phí thuê GPU khủng để chạy model 744B; đổi lại cần ~370GB ổ đĩa cho expert và tốc độ chậm hơn nhiều so với GPU.
Use cases
Why it stands out
Member insight
Bản public giúp bạn quyết định có nên mở tab hay không. Member area đi thêm một nhịp: lưu repo vào shortlist, để note riêng cho lần test tới, rồi mở guide đúng lúc cần chạy thật.
Shortlist action
Đăng nhập để lưu repo, thêm note riêng và quay lại guide khi cần thử thật.
Related alternatives
Dream Server là bộ cài local AI all-in-one giúp bạn biến PC, Mac hoặc máy Linux thành stack AI riêng với chat, model serving, voice, workflow, RAG và image generation mà không phải tự nối hàng chục dịch vụ từ đầu.
forge là lớp 'giữ ổn định' cho các model LLM tự host khi gọi tool: bạn khai báo bộ công cụ, model tự chọn gọi cái nào, còn forge lo phần bắt lỗi, thử lại và kiểm tra kết quả để việc gọi tool ít hỏng hơn.
ODS là bộ cài để biến PC, Mac hoặc máy Linux thành một AI server riêng: có chat, model local, workflow, RAG, voice và tạo ảnh trong cùng một stack.
Locally Uncensored là app desktop để chat, tạo ảnh, tạo video và chạy agent bằng AI local: một file cài, không Docker, dữ liệu không phải đi qua cloud nếu bạn dùng backend nội bộ.