Đột phá CacheBridge: Chuyển giao KV-Cache giữa các mô hình AI khác nhau mà không cần prefill lại

Note from the sharer

Giải pháp cho phép định tuyến linh hoạt tác vụ giữa các mô hình chuyên gia (MoE) với độ trễ chuyển giao gần như bằng không, tiết kiệm hàng triệu USD chi phí tính toán GPU.