AirLLM

1. AirLLM là gì?

AirLLM là một thư viện Python giúp chạy các mô hình AI ngôn ngữ rất lớn (loại 70 tỷ tham số trở lên) trên máy chỉ có card đồ họa 4 GB bộ nhớ. Bình thường, mô hình cỡ đó đòi máy chủ đắt tiền. AirLLM làm được vì nó không nạp cả mô hình vào card cùng lúc: nó cắt mô hình thành từng lớp, lưu xuống ổ cứng, rồi mỗi lần chỉ đưa một lớp lên card để tính.

Nói thẳng: đây là công cụ cho người biết lập trình Python. AirLLM không có cửa sổ chat, không có file cài đặt, không có nút bấm. Bạn dùng nó bằng cách viết vài dòng code. Thư viện miễn phí, mã nguồn mở (giấy phép Apache-2.0), và các mô hình được tải miễn phí từ Hugging Face (kho lưu trữ mô hình AI).

Cái giá phải trả là tốc độ. Vì mỗi lớp phải đọc từ ổ cứng lên, câu trả lời ra chậm hơn nhiều so với một ứng dụng chat thông thường.

Hợp với bạn nếu:

• Bạn đã biết chút Python và muốn thử một mô hình rất lớn trên máy cá nhân.
• Bạn cần xử lý việc không gấp: tóm tắt tài liệu, chạy thử nghiệm, để máy chạy qua đêm.
• Bạn muốn xem thử mà không cần cài gì: repo có sẵn sổ tay mẫu chạy trên Google Colab.

Chưa hợp nếu:

• Bạn muốn một ứng dụng chat với AI ngay trên máy, gõ là có câu trả lời liền.
• Bạn chỉ có điện thoại.
• Ổ cứng của bạn gần đầy: mô hình lớn chiếm hàng chục đến hàng trăm GB.

2. Cần chuẩn bị gì?

Thứ cần có	Chi tiết
Máy tính	Máy có card NVIDIA (đoạn code mẫu dùng card NVIDIA), hoặc máy Mac dùng chip Apple Silicon. Tài liệu của dự án ghi rõ trên Mac chỉ hỗ trợ Apple Silicon.
Bộ nhớ card đồ họa	Tùy mô hình. Bảng của dự án ghi: mô hình cỡ 8B cần khoảng 1–2 GB, Llama 3.x 70B cần khoảng 4 GB, Llama 3.1 405B khoảng 8 GB, DeepSeek-V3 khoảng 12 GB.
Ổ cứng	Càng trống càng tốt. Lần chạy đầu, AirLLM tải mô hình gốc rồi cắt thành từng lớp và lưu thêm một bản nữa. Thiếu chỗ là nguyên nhân gây lỗi số một.
Mạng	Cần mạng ổn định để tải mô hình lần đầu.
Tài khoản Hugging Face	Không bắt buộc. Chỉ cần khi mô hình bạn chọn bị khóa (gated), lúc đó bạn cần một token (mã truy cập) miễn phí từ https://huggingface.co

Phần mềm cần cài trước:

• Python: ngôn ngữ lập trình mà AirLLM chạy trên đó. Tải tại https://www.python.org/downloads/ . Khi cài trên Windows, nhớ tích ô "Add python.exe to PATH".
• PyTorch: thư viện tính toán AI mà AirLLM dựa vào (bản 4.0.0 yêu cầu PyTorch từ 2.4 trở lên). Nếu muốn dùng card NVIDIA, hãy chọn đúng bản hỗ trợ CUDA theo hướng dẫn tại https://pytorch.org/get-started/locally/
• Riêng máy Mac: cần thêm thư viện mlx của Apple, xem https://github.com/ml-explore/mlx

Lưu ý: Tài liệu chính thức chỉ mô tả cách chạy trên Linux và macOS. Lệnh cài trên Windows giống hệt, nhưng dự án không có phần hướng dẫn riêng cho Windows.

3. Cài đặt từng bước

Cách A: Chạy thử trên Google Colab, không cài gì lên máy

Google Colab là dịch vụ của Google cho bạn mượn một máy tính có card đồ họa và chạy code ngay trong trình duyệt. Đây là cách nhẹ nhàng nhất để xem AirLLM hoạt động.

Bước 1: Mở sổ tay mẫu của dự án

Mở đường dẫn sau và đăng nhập bằng tài khoản Google:

https://colab.research.google.com/github/lyogavin/airllm/blob/main/air_llm/examples/run_all_types_of_models.ipynb

Bạn thấy một trang gồm nhiều ô chứa code, mỗi ô có nút hình tam giác (nút chạy) ở bên trái. Thấy vậy là đúng.

Bước 2: Chạy lần lượt từng ô

Bấm nút chạy ở ô đầu tiên, chờ ô chạy xong rồi bấm ô kế tiếp. Ô cài đặt sẽ in ra nhiều dòng chữ, sau đó các ô phía dưới tải mô hình và in câu trả lời.

Lưu ý: Dung lượng ổ đĩa và thời gian dùng trên Colab bản miễn phí có giới hạn, nên chỉ hợp với mô hình nhỏ. Giới hạn cụ thể do Google quy định, xem tại trang của Colab.

Cách B: Cài lên máy của bạn

Bước 1: Kiểm tra Python

python --version

Đúng là khi màn hình in ra một dòng dạng Python 3.x.x. Trên macOS và Linux, nếu lệnh trên báo lỗi, thử python3 --version.

Bước 2: Cài AirLLM

pip install airllm

Máy sẽ tải AirLLM cùng các thư viện đi kèm. Đúng là khi dòng cuối có chữ Successfully installed và trong danh sách có airllm.

Bước 3 (chỉ cho máy Mac): Cài mlx

pip install mlx

Dự án cũng lưu ý bạn nên dùng bản Python chạy gốc trên chip Apple (không phải bản giả lập Intel).

Bước 4: Kiểm tra đã cài xong

pip show airllm

Đúng là khi bạn thấy dòng Name: airllm và dòng Version: kèm số phiên bản (bản mới nhất lúc viết bài là 4.0.0, phát hành ngày 5/9/2026).

4. Dùng lần đầu

Bạn sẽ chạy một file Python nhỏ, hỏi mô hình một câu và nhận câu trả lời.

Bước 1: Tạo file code

Tạo một file tên thu_airllm.py (dùng Notepad hoặc bất kỳ trình soạn thảo nào) và dán nội dung sau. Đây là ví dụ rút gọn từ tài liệu của dự án:

from airllm import AutoModel

MAX_LENGTH = 128
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

input_text = ['What is the capital of United States?']

input_tokens = model.tokenizer(input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False)

generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

Dòng AutoModel.from_pretrained(...) là nơi bạn chọn mô hình: chỉ cần đổi tên trong ngoặc kép thành mã mô hình khác trên Hugging Face.

Bước 2: Chạy file

Mở dòng lệnh tại thư mục chứa file rồi gõ:

python thu_airllm.py

Bước 3: Chờ và đọc kết quả

Lần đầu sẽ rất lâu, vì máy phải tải mô hình về rồi cắt thành từng lớp. Bạn thấy các thanh tiến trình chạy. Khi xong, màn hình in ra câu hỏi kèm phần mô hình viết tiếp. Những lần sau nhanh hơn vì không phải tải lại.

Mẹo: tăng tốc và tiết kiệm ổ cứng

Dự án cho biết bật nén mô hình có thể tăng tốc tới 3 lần với sai lệch gần như không đáng kể. Cài thêm thư viện nén:

pip install -U bitsandbytes

Rồi sửa dòng tạo mô hình thành:

model = AutoModel.from_pretrained("Qwen/Qwen3-32B", compression='4bit')

Các tùy chọn khác đặt ở cùng chỗ đó:

Tùy chọn	Tác dụng
compression	'4bit' hoặc '8bit' để nén; mặc định là không nén.
delete_original=True	Xóa bản mô hình gốc sau khi cắt lớp, tiết kiệm khoảng một nửa dung lượng.
layer_shards_saving_path	Chọn thư mục (ví dụ một ổ khác còn trống) để lưu các lớp đã cắt.
hf_token	Token Hugging Face cho mô hình bị khóa.
profiling_mode=True	In ra thời gian từng công đoạn.

5. Lỗi thường gặp và cách sửa

Dấu hiệu	Nguyên nhân	Cách sửa
SafetensorError: Error while deserializing header: MetadataIncompleteBuffer	Gần như chắc chắn là hết chỗ trên ổ cứng trong lúc cắt mô hình.	Dọn thêm chỗ trống, xóa thư mục bộ nhớ đệm của Hugging Face rồi chạy lại. Có thể thêm delete_original=True hoặc chuyển nơi lưu bằng layer_shards_saving_path.
ValueError: max() arg is an empty sequence	Bạn nạp mô hình Qwen hoặc ChatGLM bằng lớp AirLLMLlama2 cũ.	Dùng from airllm import AutoModel và AutoModel.from_pretrained(...), nó tự nhận loại mô hình.
401 Client Error ... Repo model ... is gated	Mô hình bị khóa, phải có quyền truy cập.	Xin quyền trên trang mô hình ở Hugging Face, tạo token, rồi thêm hf_token='token-cua-ban' khi tạo mô hình.
ValueError: Asking to pad but the tokenizer does not have a padding token	Mô hình không có ký tự đệm.	Đặt padding=False trong lệnh model.tokenizer(...) như ví dụ ở mục 4.
pip hoặc python báo "is not recognized" / "command not found"	Python chưa cài hoặc chưa nằm trong PATH.	Cài lại Python và tích ô "Add python.exe to PATH"; trên macOS/Linux thử pip3 và python3.
Lỗi có chữ Torch not compiled with CUDA enabled	Bạn đang dùng bản PyTorch không hỗ trợ card NVIDIA, hoặc máy không có card NVIDIA.	Cài lại PyTorch bản CUDA theo https://pytorch.org/get-started/locally/ . Dự án có hỗ trợ chạy bằng CPU từ bản 2.10.1, chi tiết xem tại trang repo.
Mô hình mới báo thiếu lớp hoặc không nhận ra	Một số mô hình đòi phiên bản transformers riêng (ví dụ Qwen3.8-27B cần 5.8 trở lên, Kimi K3 cần 4.56.x).	Đọc mục "Updates" trong README của repo để biết yêu cầu riêng của từng mô hình.

6. Gỡ cài đặt / cập nhật

Cập nhật lên bản mới:

pip install -U airllm

Gỡ AirLLM:

pip uninstall airllm

Gỡ thư viện không xóa các mô hình đã tải, mà chính chúng mới là thứ chiếm ổ cứng. Mô hình nằm trong thư mục bộ nhớ đệm của Hugging Face; theo mặc định đó là thư mục .cache/huggingface/hub trong thư mục người dùng của bạn. Xóa các thư mục con bắt đầu bằng models-- để lấy lại dung lượng. Nếu bạn từng đặt layer_shards_saving_path, hãy xóa cả thư mục đó.

7. Câu hỏi hay gặp

AirLLM có mất tiền không? Không. Thư viện là mã nguồn mở, miễn phí. Bạn chỉ tốn điện, ổ cứng và thời gian.

Có cần mạng không? Cần khi cài và khi tải mô hình lần đầu. Việc tính toán diễn ra trên máy bạn, và bạn có thể trỏ thẳng tới thư mục mô hình đã có sẵn trên máy thay cho mã mô hình.

Chất lượng câu trả lời có bị giảm không? Ở chế độ mặc định, AirLLM không nén, không cắt bớt mô hình nên mô hình giữ nguyên. Chỉ khi bạn tự bật compression thì mới có nén, và dự án cho biết sai lệch gần như không đáng kể.

Máy yếu có chạy được không? Card đồ họa nhỏ vẫn chạy được, đó là mục đích của AirLLM. Nhưng bạn cần ổ cứng rộng, và phải chấp nhận tốc độ chậm vì nút thắt nằm ở việc đọc từng lớp từ ổ cứng.

Tôi không biết lập trình thì nên làm gì? Hãy thử Cách A (Google Colab) để xem cho biết. Nếu mục tiêu của bạn là chat với AI trên máy, AirLLM không phải lựa chọn phù hợp vì nó không có giao diện.