Qwen3.5-9B: Giải mã kiến trúc Gated DeltaNet, Hybrid Attention và Native Multimodal

Qwen3.5-9B là bản dense nhỏ nhất trong dòng release đầy đủ của Qwen3.5 — dòng model chính thức đầu tiên của Qwen kết hợp kiến trúc hybrid attention (kế thừa từ Qwen3-Next) với native vision, bỏ luôn việc tách riêng model text với model vision. Bài này tổng hợp toàn bộ những gì công khai trên model card Hugging Face: kiến trúc, cơ chế bên trong, huấn luyện, và benchmark thật..

Tổng quan model

Layer layout: 32 layers được tổ chức thành 8 nhóm, mỗi nhóm gồm 3 Gated DeltaNet layers → FFN, sau đó là 1 Gated Attention layer → FFN.

Kiến trúc — bên trong từng loại tầng

Gated DeltaNet — tầng chiếm đa số (24/32 tầng)

Đây là loại tầng thay thế attention truyền thống ở phần lớn model. Thông số: 32 head cho V, 16 head cho QK, head dimension 128.

Cơ chế cốt lõi là delta rule kết hợp gating. Thay vì tính ma trận attention so sánh mọi cặp token (tốn bình phương), tầng này giữ một trạng thái (state) kích thước cố định, cập nhật tuần tự qua từng token:

• Delta rule: tại mỗi bước, model truy xuất xem state hiện tại đang "nhớ" gì ứng với key hiện tại, tính sai số giữa cái nhớ được và giá trị thật, rồi chỉ sửa đúng phần sai số đó vào state — giống một cục tẩy phẫu thuật, xóa đúng chỗ sai rồi viết lại, thay vì viết đè bừa lên state cũ.
• Gating: một cổng quyết định phần trăm state cũ được giữ lại trước khi cộng thêm thông tin mới, ngăn state bị bão hòa khi chuỗi quá dài.

Công thức cập nhật state (viết gọn): Sₜ = αₜ(I − βₜkₜkₜᵀ)Sₜ₋₁ + βₜkₜvₜᵀ, trong đó αₜ là cổng quên, βₜ là tốc độ sửa sai, k/v là Key/Value như attention thường.

Vì state có kích thước cố định (không tăng theo độ dài chuỗi như KV cache), tầng này cho phép suy luận với chi phí gần O(1) mỗi token, bất kể context dài bao nhiêu.

Gated Attention — tầng còn lại (8/32 tầng)

Cứ sau 3 tầng Gated DeltaNet thì có 1 tầng Gated Attention, đóng vai trò "trí nhớ chính xác": truy xuất đúng một chi tiết cụ thể ở rất xa trong văn bản — việc mà tầng recurrent làm kém hơn vì đã nén thông tin vào state.

Thông số: 16 head Q, 4 head KV (áp dụng GQA), head dimension 256, Rotary Position Embedding dimension 64. Về bản chất đây là attention chuẩn cộng thêm một cổng (gate) nhân vào output trước khi đưa ra ngoài.

Feed Forward Network

Intermediate dimension 12,288, đi sau cả hai loại tầng (Gated DeltaNet lẫn Gated Attention). LM output layer cùng kích thước với token embedding: 248,320 (đã pad).

Multi-Token Prediction (MTP)

Model được huấn luyện với multi-step MTP — dự đoán nhiều token tiếp theo cùng lúc thay vì chỉ một, phục vụ cả tín hiệu huấn luyện tốt hơn lẫn suy luận nhanh hơn qua speculative decoding (các framework serving như vLLM/SGLang có tham số bật riêng cho việc này).

Native Vision — tích hợp từ gốc, không phải gắn thêm

Điểm khác biệt lớn nhất so với Qwen3: không còn tách riêng dòng "-VL". Vision được huấn luyện early fusion — đưa token ảnh/video vào cùng luồng huấn luyện với token text ngay từ đầu, thay vì huấn luyện xong model text rồi mới gắn một vision encoder vào sau. Kết quả công bố: đạt ngang hàng Qwen3 ở benchmark text thuần, đồng thời vượt qua các model Qwen3-VL ở benchmark reasoning, coding, agent, và visual understanding.

Huấn luyện

Model card không công bố số liệu chi tiết về khối lượng token pretraining hay từng giai đoạn cụ thể như report Qwen3, nhưng nêu rõ 5 điểm nhấn ở tầng huấn luyện:

• Scalable RL Generalization: reinforcement learning được scale trên môi trường agent quy mô hàng triệu, với phân phối tác vụ độ khó tăng dần — mục tiêu là khả năng thích nghi thực tế mạnh hơn, không chỉ điểm benchmark tĩnh.
• Next-Generation Training Infrastructure: hiệu suất huấn luyện đa phương thức đạt gần 100% so với huấn luyện chỉ text (tức chi phí phụ trội khi thêm ảnh/video vào training gần như không đáng kể), cùng framework RL bất đồng bộ hỗ trợ agent scaffold và environment orchestration quy mô lớn.
• Efficient Hybrid Architecture: chính là Gated DeltaNet + sparse MoE (ở các bản MoE lớn hơn 9B) giúp throughput cao, latency và chi phí thấp.
• Global Linguistic Coverage: mở rộng hỗ trợ lên 201 ngôn ngữ và phương ngữ.
• Unified Vision-Language Foundation: early fusion như đã nói ở trên.

Model có bản base riêng (Qwen3.5-9B-Base) trước khi qua post-training — bản trên model card này là bản đã post-train, tương thích thẳng với Transformers, vLLM, SGLang, KTransformers.

Kết quả thử nghiệm (benchmark)

Model card công bố hai bộ benchmark: Language (so với GPT-OSS-120B/20B, Qwen3-Next-80B-A3B-Thinking, Qwen3-30B-A3B-Thinking) và Vision-Language (so với GPT-5-Nano, Gemini-2.5-Flash-Lite, Qwen3-VL-30B-A3B).

Điểm đáng chú ý ở nhóm Language:

• Qwen3.5-9B đạt 82.5 trên MMLU-Pro, 91.1 trên MMLU-Redux — ngang hoặc nhỉnh hơn GPT-OSS-120B (120 tỷ tham số) dù chỉ 9B.
• Long Context: AA-LCR đạt 63.0, vượt hẳn mọi model so sánh kể cả GPT-OSS-120B (50.7) — đây là nơi kiến trúc hybrid attention thể hiện lợi thế rõ nhất, đúng như thiết kế nhắm tới.
• General Agent: TAU2-Bench đạt 79.1, cách biệt lớn so với Qwen3-Next-80B-A3B-Thinking (57.4) dù model nhỏ hơn nhiều — cho thấy phần lớn cải thiện đến từ post-training/RL agentic chứ không chỉ kiến trúc.
• Coding (LiveCodeBench v6): 65.6 — đây là điểm yếu tương đối so với GPT-OSS-120B (82.7), cho thấy đánh đổi thực sự tồn tại chứ không phải model nào cũng thắng tuyệt đối.

Điểm đáng chú ý ở nhóm Vision-Language:

• MathVision: 78.9, vượt xa Qwen3-VL-30B-A3B (65.7) dù 9B nhỏ hơn 30B-A3B nhiều — minh chứng rõ nhất cho lợi ích của native vision so với "gắn thêm" vision encoder.
• VlmsAreBlind: 93.7 so với 72.5 của Qwen3-VL-30B-A3B — chênh lệch rất lớn.
• OSWorld-Verified (visual agent): 41.8 so với 30.6 của Qwen3-VL-30B-A3B.

Nhìn chung: ở phần lớn benchmark vision, Qwen3.5-9B vượt qua Qwen3-VL-30B-A3B dù nhỏ hơn 3 lần — đây là bằng chứng thực nghiệm cho luận điểm "native multimodal tốt hơn gắn thêm vision encoder" mà Qwen team đưa ra.

Cách dùng — sampling parameters và context dài

Thinking mode là mặc định. Khác với Qwen3 (có thể gõ /think hoặc /no_think trong prompt), Qwen3.5 không hỗ trợ soft switch này — phải tắt thinking qua tham số enable_thinking: False trong chat_template_kwargs khi gọi API.

Bốn bộ sampling parameters khuyến nghị, chọn theo mode và loại tác vụ:

Presence penalty có thể chỉnh 0–2 để giảm lặp câu, nhưng giá trị cao hơn đôi khi gây trộn ngôn ngữ và giảm nhẹ chất lượng.

Độ dài output khuyến nghị: 32,768 token cho hầu hết câu hỏi, tăng lên 81,920 token khi benchmark bài toán/lập trình cực khó (thi đấu toán, lập trình thi đấu).

Mở rộng context vượt 262K: dùng YaRN, chỉnh trực tiếp trong config.json (rope_type: yarn, factor, original_max_position_embeddings) hoặc qua tham số dòng lệnh khi serve bằng vLLM/SGLang. Lưu ý quan trọng: YaRN ở các framework hiện tại là static — hệ số scale không đổi bất kể độ dài input thật, nên có thể ảnh hưởng hiệu năng ở văn bản ngắn nếu bật sẵn. Khuyến nghị chỉ bật khi thực sự cần xử lý văn bản dài.

Dùng cho agent: model card khuyến nghị Qwen-Agent (framework chính thức, hỗ trợ cấu hình MCP server) hoặc Qwen Code (agent dòng lệnh cho công việc lập trình) làm lớp điều phối tool-calling.

Kết luận

Qwen3.5-9B không phải "Qwen3 nhưng lớn hơn" — nó thay đổi cả hai trục cùng lúc: trục attention (hybrid Gated DeltaNet/Gated Attention thay vì full attention thuần) và trục modal (native vision thay vì tách dòng VL riêng). Benchmark cho thấy hai thay đổi này mang lại lợi ích rõ nhất ở đúng nơi lý thuyết dự đoán: context dài (AA-LCR, LongBench v2) và vision (MathVision, VlmsAreBlind) — trong khi ở coding thuần, model 9B vẫn thua các model dense lớn hơn nhiều lần, cho thấy kiến trúc mới không phải phép màu miễn phí mà là một đánh đổi có chủ đích.

Tài liệu tham khảo

• Model card Qwen3.5-9B trên Hugging Face — https://huggingface.co/Qwen/Qwen3.5-9B
• Blog công bố Qwen3.5 (bản mirror) — https://www.alibabacloud.com/blog/qwen3-5-towards-native-multimodal-agents_602894
• Gated Delta Networks: Improving Mamba2 with Delta Rule (paper gốc cơ chế Gated DeltaNet) — https://arxiv.org/abs/2412.06464
• Sebastian Raschka, Hybrid Attention — phân tích tỷ lệ 3:1 và so sánh với các kiến trúc hybrid khác — https://sebastianraschka.com/llm-architecture-gallery/hybrid-attention/