Unsloth

1. Unsloth là gì?

Unsloth là một phần mềm miễn phí, mã nguồn mở để chạy và huấn luyện các mô hình AI ngay trên máy tính của bạn. Trước đây Unsloth nổi tiếng là một thư viện code giúp tinh chỉnh (fine-tune) mô hình ngôn ngữ nhanh hơn và tốn ít bộ nhớ hơn. Nay dự án đã mở rộng thành ba dạng: Unsloth Desktop (ứng dụng máy tính có giao diện), Unsloth Studio (giao diện web), và Unsloth Core (bản code cho lập trình viên). Bạn có thể tải một mô hình về, trò chuyện với nó, tạo ảnh, hoặc huấn luyện mô hình theo dữ liệu riêng — tất cả chạy cục bộ, không gửi dữ liệu ra ngoài.

Nói rõ để bạn chọn đúng: phần "trò chuyện với mô hình" thì người mới dùng được nhờ ứng dụng Desktop bấm-là-chạy. Nhưng phần huấn luyện là việc nâng cao, cần hiểu biết kỹ thuật và thường cần card đồ họa (GPU) mạnh của NVIDIA.

Hợp với bạn nếu:

• Bạn muốn chạy một mô hình AI (chatbot) ngay trên máy, không phụ thuộc dịch vụ trên mạng, giữ riêng tư dữ liệu.
• Bạn tò mò muốn thử tự huấn luyện một mô hình nhỏ và có máy đủ mạnh.

Chưa hợp nếu:

• Bạn chỉ cần một chatbot nhanh gọn và không ngại dùng dịch vụ trực tuyến.
• Máy bạn yếu, không có GPU rời: bạn vẫn trò chuyện được với mô hình nhỏ, nhưng huấn luyện gần như không khả thi.

2. Cần chuẩn bị gì?

Với người mới, hãy dùng Unsloth Desktop. Phần chuẩn bị bên dưới xoay quanh cách này.

• Máy tính chạy Windows, macOS hoặc Linux. Tài liệu chính thức nêu các yêu cầu này cho Unsloth Studio (bản web) và không có mức tối thiểu riêng cho bản Desktop: Windows 10/11 (64-bit), macOS 12 Monterey trở lên (chip Intel hoặc Apple Silicon), Ubuntu 20.04 hoặc bản Linux 64-bit tương tự.
• Dung lượng trống: đủ để chứa mô hình. Mô hình nhỏ vài GB, mô hình lớn hàng chục GB, nên nên chừa nhiều ổ trống.
• Không cần tài khoản, không cần khóa API để dùng cơ bản. Phần mềm không thu thập dữ liệu sử dụng và có thể chạy hoàn toàn ngoại tuyến (chỉ cần mạng lúc tải mô hình).
• Để huấn luyện (nâng cao): cần GPU của NVIDIA (Unsloth cũng hỗ trợ GPU AMD, Intel và chip Mac cho MLX). Riêng bản Core viết bằng code cần Python (phiên bản 3.11 đến 3.13) và trình điều khiển (driver) GPU đầy đủ.

3. Cài đặt từng bước

Bước 1 (dễ nhất): Cài Unsloth Desktop trên Windows

Vào trang tải chính thức https://unsloth.ai/download và chọn bản Windows, hoặc tải trực tiếp file cài từ trang Releases của repo. Mở file .exe vừa tải, làm theo các bước cài, rồi mở ứng dụng và chờ nó hoàn tất thiết lập lần đầu.

Thấy gì là đúng: cửa sổ ứng dụng Unsloth mở ra ở trang trò chuyện (Chat), có ô "Select model" (chọn mô hình) ở trên.

Bước 2: Cài Unsloth Desktop trên macOS

Tải bản Mac tại https://unsloth.ai/download. Mở file .dmg, kéo Unsloth vào thư mục Applications, rồi mở ứng dụng và chờ thiết lập xong.

Bước 3: Cài Unsloth Desktop trên Linux

Tải bản Linux (file .deb hoặc .AppImage) tại https://unsloth.ai/download. Với file .deb, mở lên và chọn cài; với AppImage, cấp quyền chạy rồi mở.

Bước 4 (nâng cao): Cài Unsloth Studio (giao diện web)

Nếu bạn muốn bản chạy trong trình duyệt, mở cửa sổ dòng lệnh và chạy lệnh cài phù hợp với hệ điều hành.

Trên macOS / Linux / WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Trên Windows (PowerShell):

irm https://unsloth.ai/install.ps1 | iex

Sau khi cài xong, khởi động Studio:

unsloth studio -p 8888

Rồi mở trình duyệt vào http://127.0.0.1:8888. Lần đầu nó yêu cầu đặt mật khẩu, sau đó vào trang trò chuyện.

Bước 5 (dành cho lập trình viên): Cài Unsloth Core

Đây là bản thư viện để viết code huấn luyện. Nếu máy đã có Python và PyTorch chạy được với GPU:

pip install unsloth

Xem hướng dẫn chi tiết theo hệ điều hành tại https://unsloth.ai/docs.

4. Dùng lần đầu

Ví dụ: tải một mô hình về và trò chuyện thử bằng Unsloth Desktop.

Bước 1: Chọn và tải mô hình

Bấm ô "Select model" ở trên, hoặc mở thẻ "Model hub". Chọn một mô hình và một mức nén (quantization) hợp với dung lượng máy bạn — mô hình nhỏ chạy nhẹ hơn. Bấm tải và chờ tải xong.

Thấy gì là đúng: thanh tiến trình tải chạy đến 100%, mô hình xuất hiện trong danh sách đã có.

Bước 2: Trò chuyện

Gõ một câu hỏi vào ô nhập và bấm Enter. Mô hình sẽ trả lời ngay trên máy.

Thấy gì là đúng: mô hình trả lời câu hỏi của bạn; nếu máy yếu, câu trả lời có thể ra chậm hơn.

Bước 3: Thử thêm (tùy chọn)

Từ đây bạn có thể kết nối công cụ (như Claude Code, tìm kiếm web, MCP), tạo ảnh, hoặc bắt đầu tìm hiểu phần huấn luyện. Phần huấn luyện phức tạp hơn nhiều và nên bắt đầu từ các "notebook" mẫu miễn phí trong tài liệu chính thức.

5. Lỗi thường gặp và cách sửa

• nvidia-smi not found (không nhận GPU) khi huấn luyện. Nguyên nhân: chưa cài trình điều khiển GPU của NVIDIA. Cách sửa: cài driver từ https://www.nvidia.com/en-us/drivers/ rồi thử lại.
• nvcc not found khi cài bản Core. Nguyên nhân: thiếu bộ công cụ CUDA. Cách sửa (Linux): sudo apt install nvidia-cuda-toolkit, hoặc thêm đường dẫn CUDA vào PATH.
• Cài xong mô hình chạy rất chậm hoặc báo hết bộ nhớ. Nguyên nhân: mô hình quá lớn so với máy. Cách sửa: chọn mô hình nhỏ hơn hoặc mức nén thấp hơn (ví dụ bản 4-bit) trong Model hub.
• Bấm nút mở Unsloth Studio nhưng trình duyệt báo lỗi. Nguyên nhân theo tài liệu: đôi khi do trình chặn quảng cáo hoặc cookie bị tắt. Cách sửa: mở thẳng địa chỉ http://127.0.0.1:8888 trong trình duyệt.
• Không thấy mô hình đã tải từ trước (ví dụ tải từ Hugging Face). Cách sửa: Unsloth thường tự nhận các mô hình đã có; nếu không, bạn chỉ định thư mục chứa mô hình trong phần cài đặt.
• llama-server build failed khi cài Studio. Nguyên nhân: thiếu công cụ biên dịch. Đây là lỗi không nghiêm trọng (Unsloth vẫn chạy, chỉ thiếu chạy mô hình dạng GGUF). Cách sửa: cài cmake rồi chạy lại thiết lập.

6. Gỡ cài đặt và cập nhật

• Cập nhật bản Desktop: tải bản mới nhất từ https://unsloth.ai/download rồi cài đè lên bản cũ.
• Cập nhật bản Studio: chạy lại đúng lệnh cài (curl … | sh trên Mac/Linux, hoặc irm … | iex trên Windows).
• Gỡ bản Desktop trên Windows: vào Settings → Apps → Installed apps, tìm Unsloth và gỡ.
• Gỡ bản Desktop trên macOS: kéo Unsloth từ Applications vào Thùng rác.
• Xóa mô hình để lấy lại dung lượng: xóa trong ứng dụng (biểu tượng thùng rác ở phần tìm mô hình), hoặc xóa thư mục lưu mô hình của Hugging Face tại ~/.cache/huggingface/hub/.

7. Câu hỏi hay gặp

• Có mất tiền không? Không. Unsloth miễn phí và mã nguồn mở (giấy phép Apache-2.0; riêng phần giao diện Studio dùng giấy phép AGPL-3.0). Bạn không phải trả phí để chạy hay huấn luyện mô hình cục bộ.
• Có cần mạng không? Cần mạng lúc cài và lúc tải mô hình. Sau khi mô hình đã có trên máy, bạn có thể trò chuyện hoàn toàn ngoại tuyến.
• Dữ liệu có bị gửi đi đâu không? Theo nhà phát triển, Unsloth không thu thập dữ liệu sử dụng; chỉ nhận diện loại GPU/thiết bị để biết máy chạy được gì. Ứng dụng có thể chạy 100% ngoại tuyến.
• Máy yếu, không có GPU rời có dùng được không? Bạn vẫn trò chuyện được với các mô hình nhỏ (kể cả chỉ có CPU), nhưng chậm hơn; việc huấn luyện thì cần GPU và gần như không chạy được trên máy yếu.
• Bản mới nhất là gì? Khi viết bài, bản Desktop mới nhất là v0.1.900-beta (28/9/2026). Xem trang tải và tài liệu chính thức: https://unsloth.ai/download và https://unsloth.ai/docs.