vLLM-Omni
vLLM-Omni là framework để tự host và phục vụ model text, ảnh, video và audio trong cùng một hạ tầng, hợp với team muốn gom nhiều luồng inference về một chỗ thay vì dựng rời từng server.
Giúp bớt việc: Khâu dựng riêng từng server inference cho từng loại model và tự ghép lớp API ở phía trên.