Tencent HPC-Ops phát triển thuật toán Sparse Attention Top-K giúp AI xử lý context triệu token

Note from the sharer

Kỹ thuật chọn lọc động các token quan trọng nhất giúp giảm tải 80% bộ nhớ GPU mà vẫn bảo toàn tính mạch lạc và độ sâu suy luận của các văn bản dài hàng trăm trang.