Declarative Attention: Cho phép mô hình ngôn ngữ lớn tự khai báo vùng đọc để cắt giảm 52% chi phí token

Note from the sharer

Thay vì để thuật toán phần cứng đoán mò các vùng dữ liệu quan trọng, mô hình tự định hướng vùng nhớ KV-Cache cần thiết cho bước suy luận tiếp theo.