GPT-6 Astra sửa thẳng trọng số Qwen, điểm toán từ 7,9% lên 48,1% không cần huấn luyện

Ghi chú của người chia sẻ

Bài blog ngày 2/11/2026 của nhóm MIT CSAIL (Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab) giới thiệu Weight-Space Programming: để LLM đọc và sửa trực tiếp trọng số của mạng nơ-ron, không dùng gradient hay vòng huấn luyện. GPT-6 Astra được giao trọng số Qwen3.5-0.8B trong một phiên Python, tối đa 50 lượt chạy thử, với yêu cầu làm model giỏi toán hơn. Astra phát hiện model hay kẹt vòng lặp suy luận, lần ra một hướng tín hiệu do MLP lớp 15 và 19 ghi ra, rồi trừ hướng đó khỏi 131.072 trọng số (0,016%). Kết quả: MATH-500 từ 7,9% lên 48,1%, GSM8K từ 13,8% lên 67,1%, IFEval từ 21,0% lên 62,3%. Astra cũng sửa 3,5% trọng số một mạng lái xe để xe leo dốc thành công cả 1.024 lượt, và tự viết mạng chơi Breakout đạt 517,4 điểm (PPO 500 triệu bước: 25,3). Giới hạn: với Gemma 3 270M (ít bị kẹt vòng lặp) Astra gần như không cải thiện được; nhóm tác giả nói sửa trọng số gỡ được chướng ngại nhưng chưa thêm năng lực mới. Astra sửa model khác, không tự sửa chính nó. Model đã sửa: https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming (Apache-2.0).