Qwen3.8: Kiến trúc Hybrid Gated DeltaNet + MoE và bước tiến mới của họ Qwen
Bài viết này tổng hợp kiến trúc mới nhất của Qwen3.8 dựa trên các công bố chính thức và model card. Qwen3.8 tiếp tục scale và hoàn thiện kiến trúc hybrid Gated DeltaNet + Gated Attention đó lên các biến thể mạnh hơn, đặc biệt là 2.4T-A95B.
1. Tổng quan
Qwen3.8 là thế hệ mô hình mới trong họ Qwen của Alibaba/Qwen Team, được giới thiệu như một bước nâng cấp lớn sau Qwen3.5 và Qwen3.6. Theo model card chính thức, Qwen3.8 tập trung vào các năng lực khó hơn: coding, professional work, research, long-horizon agentic tasks, planning, tool use và xử lý ngữ cảnh rất dài.
Điểm đáng chú ý nhất: Qwen3.8 không chỉ là "một Transformer lớn hơn". Nó tiếp tục hướng hybrid attention đã được Qwen đưa vào nhánh Qwen3.5, rồi scale cấu hình này lên các model mạnh hơn. Backbone của Qwen3.8 kết hợp:
- Gated DeltaNet, một dạng linear attention/state-based layer cho suy luận dài hiệu quả hơn.
- Gated Attention, các lớp full attention được xen kẽ để giữ khả năng mô hình hóa quan hệ toàn cục.
- Mixture of Experts, giúp tăng tổng tham số lên rất lớn nhưng chỉ kích hoạt một phần nhỏ khi inference.
- MTP, Multi-Token Prediction, phục vụ tăng tốc sinh token/speculative decoding.
Đọc thêm về phần kiến trúc Qwen3.5 có nền tảng tương tự:
2. Từ Qwen3 đến Qwen3.5 rồi Qwen3.8: thay đổi nằm ở đâu?
Trong Qwen3 Technical Report, Qwen3 ban đầu dùng kiến trúc decoder-only quen thuộc của các LLM hiện đại: GQA, SwiGLU, RoPE, RMSNorm pre-norm, QK-Norm, hỗ trợ dense model và MoE model.
Điểm mới ở Qwen3 là unified thinking/non-thinking mode, thinking budget, multilingual 119 languages và Apache 2.0 cho các model Qwen3 công khai.
Sau đó, Qwen3.5 mới là bước chuyển kiến trúc lớn ở backbone. Theo tài liệu Transformers cho Qwen3.5, họ model này dùng stack hybrid tỷ lệ 3:1: ba lớp Gated DeltaNet (linear attention) cho mỗi một lớp Gated Attention (full attention). Cách thiết kế này giúp long context và token vision/video có thể được phục vụ hiệu quả hơn, thay vì trả chi phí full quadratic attention ở mọi block.
Vì vậy, cách nói chính xác hơn là: Qwen3.8 không khai sinh Gated DeltaNet, mà kế thừa và scale kiến trúc hybrid của Qwen3.5/Qwen3.6. Điểm mới của Qwen3.8 nằm ở quy mô, layout cụ thể, khả năng agent/coding/cowork, reasoning control và các cấu hình long-context/serving đã được tối ưu hơn.
3. Hai biến thể chính: 2.4T-A95B và 27B
Trước khi đi vào từng biến thể, có thể nhìn nhanh Qwen3.8-27B và Qwen3.8-2.4T-A95B như sau:
| Thành phần | Qwen3.8-27B | Qwen3.8-2.4T-A95B |
|---|---|---|
| Loại | Dense | MoE |
| Tổng tham số | 27B, toàn bộ kích hoạt | 2.4T tổng / khoảng 95B active |
| Hidden dimension | 5120 | 8192 |
| Số layer | 64, tức 16 nhóm x 4 | 92, tức 23 nhóm x 4 |
| FFN mỗi block | Dense, intermediate 17,408 | MoE 512 expert, 10 routed + 1 shared |
| Gated Attention heads | 24 Q / 4 KV | 64 Q / 4 KV |
| Gated DeltaNet heads | 48 V / 16 QK | 128 V / 16 QK |
| Modal | Có vision encoder | Text-only |
| Context | 262K native / khoảng 1M mở rộng | 262K native / khoảng 1.01M mở rộng |
| Phù hợp khi | Cần chạy nhẹ hơn, xử lý ảnh/video | Cần chất lượng tối đa cho coding/agent phức tạp |
Điểm rút ra: hai bản này cùng đi theo layout hybrid 3:1 của nhánh Qwen3.5, nhưng khác nhau ở tầng FFN/MoE và mục tiêu triển khai. 27B là bản dense, dễ chạy hơn và có multimodal; 2.4T-A95B là bản MoE cực lớn, text-only, hướng tới chất lượng tối đa.
3.1. Qwen3.8-2.4T-A95B
Đây là biến thể flagship open-weight, text-only causal language model.
| Thành phần | Giá trị |
|---|---|
| Tổng tham số | 2.4T |
| Tham số active/token | 95B |
| Hidden dimension | 8192 |
| Số layer | 92 |
| Token embedding | 248,320 padded |
| Context native | 262,144 tokens |
| Context mở rộng | tới khoảng 1,010,000 tokens |
| MoE experts | 512 |
| Activated experts | 10 routed + 1 shared |
| Expert intermediate dim | 2048 |
| Gated Attention heads | 64 Q / 4 KV |
| Gated DeltaNet heads | 128 V / 16 QK |
| MTP | trained with multiple steps |
Điểm lõi là layout:
23 x (3 x (Gated DeltaNet -> MoE) -> 1 x (Gated Attention -> MoE))
Nghĩa là cứ 4 block thì có 3 block dùng Gated DeltaNet, 1 block dùng Gated Attention. Tổng cộng 92 layer = 23 cụm x 4 layer. Cách bố trí này tạo tỷ lệ khoảng 75% linear/state-based layer và 25% full attention layer.
3.2. Qwen3.8-27B
Biến thể 27B nhỏ hơn, deployment-friendly hơn, đồng thời hỗ trợ vision-language: image và video understanding.
| Thành phần | Giá trị |
|---|---|
| Tổng tham số | 27B |
| Hidden dimension | 5120 |
| Số layer | 64 |
| Token embedding | 248,320 padded |
| Context native | 262,144 tokens |
| Context mở rộng | tới khoảng 1,000,000 tokens |
| FFN intermediate dim | 17,408 |
| Gated Attention heads | 24 Q / 4 KV |
| Gated DeltaNet heads | 48 V / 16 QK |
| MTP | trained with multiple steps |
Layout:
16 x (3 x (Gated DeltaNet -> FFN) -> 1 x (Gated Attention -> FFN))
Khác với bản 2.4T-A95B, bản 27B dùng FFN dense thay vì MoE trong mỗi block, và có vision encoder để xử lý ảnh/video.
4. Các thành phần kiến trúc và inference quan trọng
Thay vì tách Gated DeltaNet, Gated Attention, MoE, MTP và reasoning thành nhiều mục độc lập, có thể nhìn chúng như một cụm thiết kế chung: làm sao để model vừa mạnh, vừa chạy được context dài, vừa phù hợp với agent/coding workflow.
4.1. Hybrid Gated DeltaNet + Gated Attention
Trong Transformer truyền thống, attention cần lưu và truy cập KV cache ngày càng lớn khi context dài. Điều này làm long-context inference đắt đỏ, đặc biệt với agent chạy hàng chục hoặc hàng trăm nghìn token.
Gated DeltaNet trong Qwen3.5/Qwen3.8 được dùng như một lớp linear attention/state-based. Thay vì phụ thuộc hoàn toàn vào full KV cache cho mọi layer, các layer này duy trì trạng thái gọn hơn, giúp giảm áp lực bộ nhớ và tăng hiệu quả khi decode dài.
- Full attention mạnh ở việc bắt quan hệ toàn cục.
- Linear/state-based attention tốt cho chuỗi dài và chi phí decode.
- Qwen3.5 đã đưa pattern 3:1 này vào mainline Qwen.
- Qwen3.8 tiếp tục dùng và scale pattern đó ở các cấu hình mới hơn.
Đây là lý do khi viết về Qwen3.8, nên xem nó như một bước phát triển tiếp theo của hướng Qwen3.5: không chỉ scale tham số, mà còn scale khả năng phục vụ context dài và agent workflow trong thực tế.
4.2. Gated Attention và GQA
Các lớp Gated Attention trong Qwen3.8 vẫn dùng grouped-query attention. Với bản 2.4T-A95B, số head là 64 cho query và 4 cho key/value. GQA giúp giảm kích thước KV cache so với multi-head attention đầy đủ, trong khi vẫn giữ chất lượng tốt.
Ngoài ra, model card ghi rõ RoPE dimension là 64 trong Gated Attention. RoPE tiếp tục đóng vai trò mã hóa vị trí, đặc biệt quan trọng khi mở rộng context bằng các kỹ thuật scaling.
4.3. Mixture of Experts: 2.4T nhưng chỉ active 95B
Bản Qwen3.8-2.4T-A95B dùng sparse MoE với 512 experts. Mỗi token kích hoạt:
10 routed experts + 1 shared expert
Thiết kế này giúp model có tổng dung lượng tri thức rất lớn, nhưng chi phí tính toán mỗi token thấp hơn nhiều so với dense model 2.4T. Đây là logic quen thuộc của MoE: tăng capacity theo chiều ngang, còn inference chỉ đi qua một số expert được router chọn.
So với Qwen3 MoE trong Technical Report, Qwen3.8 có quy mô expert lớn hơn rất nhiều và thêm shared expert trong công bố model card mới.
4.4. MTP: Multi-Token Prediction
Qwen3.8 cũng được train với Multi-Token Prediction. Thay vì chỉ học dự đoán token kế tiếp, MTP huấn luyện model dự đoán nhiều bước token. Trong serving, thiết kế này có thể hỗ trợ speculative decoding hoặc draft head, giúp tăng tốc generation nếu framework inference tận dụng tốt.
Các framework như vLLM, SGLang, TokenSpeed đều đã có hướng dẫn phục vụ Qwen3.8, cho thấy kiến trúc này không chỉ là nghiên cứu mà đã được tối ưu cho triển khai.
4.5. Thinking mode và reasoning control
Qwen3 từ Technical Report đã nổi bật với unified thinking/non-thinking mode. Sang Qwen3.8, cơ chế này tiếp tục được nhấn mạnh qua:
reasoning_effort: điều chỉnh độ sâu reasoning, ví dụxhigh,medium,low.preserve_thinking: giữ reasoning context từ lịch sử hội thoại.- Thinking mode mặc định cho Qwen3.8-27B và bắt buộc với Qwen3.8-2.4T-A95B text-only theo model card.
Điểm này rất hợp với agentic workflow: model không chỉ trả lời từng câu, mà duy trì mạch suy luận dài qua nhiều bước.
4.6. Context dài: 262K native, mở rộng tới 1M
Cả hai biến thể chính đều hỗ trợ context native 262,144 tokens. Bản 2.4T-A95B được công bố có thể mở rộng tới khoảng 1,010,000 tokens; bản 27B tới khoảng 1,000,000 tokens.
Đây là một thay đổi lớn cho các use case như:
- đọc repository lớn,
- phân tích tài liệu pháp lý/tài chính dài,
- agent chạy nhiều bước,
- video/document understanding với bản 27B,
- research workflow kéo dài.
5. Cấu hình chạy thực tế Qwen3.8-27B NVFP4
Phần trên chủ yếu nói về kiến trúc và thông số model theo công bố/model card. Còn trong triển khai thực tế, mình test bản unsloth/Qwen3.8-27B-NVFP4 với vLLM ở chế độ language-model-only. Đây không phải benchmark chính thức của Qwen Team, mà là số đo thực nghiệm trên một cấu hình cụ thể.
Note: Các thông số benchmark trong phần này được cung cấp từ thực nghiệm do một thành viên khác thực hiện: Trần Xuân Hưng.
5.1. Phần cứng
| Thành phần | Thông số |
|---|---|
| GPU | 2 x NVIDIA RTX PRO 6000 Blackwell Server Edition |
| Công suất GPU | loại 600W |
| Kết nối | PCIe Gen5 x16 |
| CUDA | 13.2 |
| Tensor parallel | 2 |
| VRAM dùng thực tế | khoảng 96.2 GB mỗi GPU |
5.2. Cấu hình inference
| Tham số | Giá trị |
|---|---|
| Engine | vLLM 0.23.0 |
| Model | unsloth/Qwen3.8-27B-NVFP4 |
| Runner | generate |
| Mode | language-model-only |
max-model-len |
131072 |
max-num-seqs |
8 |
gpu-memory-utilization |
0.95 |
kv-cache-dtype |
fp8 |
| Prefix caching | bật |
| Tool calling | --enable-auto-tool-choice, parser qwen3_coder |
| Reasoning parser | qwen3 |
| Structured outputs backend | xgrammar |
| Speculative decoding | MTP, num_speculative_tokens = 3 |
Command serve:
vllm serve \
--host 0.0.0.0 \
--port 8989 \
--model unsloth/Qwen3.8-27B-NVFP4 \
--served-model-name "${LLM_MODEL_NAME}" \
--tensor-parallel-size 2 \
--runner generate \
--language-model-only \
--max-model-len 131072 \
--max-num-seqs 8 \
--gpu-memory-utilization 0.95 \
--kv-cache-dtype fp8 \
--enable-prefix-caching \
--generation-config vllm \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser qwen3 \
--structured-outputs-config '{"backend":"xgrammar","disable_any_whitespace":true,"enable_in_reasoning":false}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}' \
--chat-template /workspace/hf-cache/qwen-codex.jinja
5.3. Throughput quan sát được
| Loại output | Tốc độ sinh text token |
|---|---|
| Sinh text thông thường | khoảng 100-120 tokens/s |
| Coding, sinh code, tool calling | khoảng 70-80 tokens/s |
Một prompt test 1-shot là yêu cầu tạo game xếp hình 2D phong cách Nintendo/8-bit. Output thu được là một game Pixel Jigsaw chạy bằng vanilla JS + Canvas, không cần dependency, có kéo thả mảnh ghép, snap, hint, peak, chọn size, âm thanh chiptune bằng WebAudio và lưu best time bằng localStorage.
Ảnh dưới đây là kết quả game đã chạy được trong trình duyệt ở môi trường test sau khi lấy code model sinh ra và mở file index.html. Vì file demo chưa được host công khai, phần này chỉ dùng ảnh để minh họa output thực tế, không phải link cho người đọc test trực tiếp.
Điểm đáng chú ý ở cấu hình này là MTP speculative decoding được bật trực tiếp qua vLLM. Điều này khớp với phần kiến trúc ở trên: Qwen3.8 được train với Multi-Token Prediction, và khi serving stack hỗ trợ tốt, MTP có thể giúp cải thiện tốc độ sinh token mà không cần đổi model chính.
6. Kết luận
Qwen3.8 cho thấy một xu hướng rõ ràng của LLM hiện đại: không chỉ tăng tham số, mà phải tối ưu kiến trúc để phục vụ context dài, agent dài hơi và inference thực tế.
Nếu Qwen3 là bước thống nhất giữa thinking và non-thinking, thì Qwen3.5 là bước đưa hybrid Gated DeltaNet + Gated Attention vào nhánh model chính. Qwen3.8 tiếp tục đẩy hướng đó lên một nấc mới: scale lớn hơn, cấu hình 2.4T-A95B, MoE sparse scaling, MTP, reasoning control và long-context native 262K.
Với bản 2.4T-A95B, Qwen đưa một model cấp flagship Max-class ra dạng open-weight. Với bản 27B, họ đưa kiến trúc hybrid mới vào một model dense, multimodal và dễ triển khai hơn. Đây có lẽ là phần thú vị nhất của Qwen3.8: nó không chỉ là một model lớn, mà là một blueprint mới cho LLM long-context và agentic AI.
Tài liệu tham khảo
All rights reserved
