← Danh mục 100 · AI Agent, LLM & Kiến Trúc Nhận Thức · Hình tương tác #003

Giải Phẫu Kiến Trúc Transformer & Chùm Tia Self-Attention

Cách các ma trận Query, Key, Value phóng chùm tia liên kết toàn cục để giải nghĩa ngữ cảnh đa chiều song song trên GPU.

Hình 3 · sơ đồ 6 trạm & 8 điểm chọn Mạng Nút Quang Học Đa Tầng

Chọn kịch bản · kéo thanh · chạy mô phỏng · tháo rời

Số nhỏ trên trạm = thứ tự vận hành. Màu xám = tạm bỏ qua. Xem hình lớn ↗

Chọn kịch bản4 chế độ đối chứng

Đường đi đang kích hoạt · theo số trạm

Độ dài chuỗi đầu vào (Sequence N)16 k token

Khoảng tối ưu: 4 đến 32 k token. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Số đầu chú ý song song (Attention Heads)32 đầu

Khoảng tối ưu: 24 đến 64 đầu. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Tỷ lệ nén Grouped-Query (GQA Ratio)4 :1

Khoảng tối ưu: 4 đến 8 :1. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Độ chính xác giải nghĩa xa

95,6%

Thông lượng sinh văn bản

95tok/s

Bộ nhớ VRAM KV Cache

6,4GB

Bấm vào trạm trên hình hoặc nút số bên dưới để đọc vai trò từng bộ phận.

Đọc hình như một mô hình giải thích

Hình tương tác này cô đọng cơ chế vận hành cốt lõi của chủ thể thành 6 trạm trực quan kèm đồng hồ đo và đầu ra đối chứng. Bấm vào từng hàng trong bảng tham chiếu bên dưới để nạp nhanh bộ thông số vào mô hình.

Bảng đối chiếu 4 kịch bản tham khảo (bấm vào dòng bất kỳ để áp dụng)
Kịch bản	Đường đi	Độ dài chuỗi đầu vào (Sequence N) (k token)	Số đầu chú ý song song (Attention Heads) (đầu)	Tỷ lệ nén Grouped-Query (GQA Ratio) (:1)	Hệ quả quan sát
Kiến Trúc GQA Hiện Đại Cân Bằng (Tối ưu)	1 → 2 → 3 → 4 → 5 → 6	16 k token	32 đầu	4 :1	Giữ trọn độ sắc nét ngữ nghĩa, tiết kiệm 75% VRAM KV Cache, tốc độ 95 tok/s
Mô Hình Ít Đầu Ngữ Cảnh Ngắn (Thiếu tải)	1 → 2 → 4 → 6	2 k token	8 đầu	16 :1	Mất liên kết đại từ xa, nén KV quá đà làm lẫn lộn chủ ngữ và vị ngữ
Bùng Nổ Bậc Hai Full-MHA Chuỗi Dài (Quá ngưỡng)	1 → 2 → 3 → 4 → 5 → 6	128 k token	128 đầu	1 :1	Ma trận N² nuốt trọn 80GB VRAM A100, nghẽn băng thông HBM, tụt còn 6 tok/s
Phân Tích Tài Liệu Dài 32k (Thực tế)	1 → 3 → 4 → 5 → 6	32 k token	48 đầu	8 :1	Cấu hình tối ưu cho đọc hợp đồng pháp lý dài với FlashAttention-2 trên 1 GPU

RNN / LSTM Truyền Thống
Đọc từng từ nối tiếp nhau từ trái sang phải qua một nút thắt trạng thái ẩn duy nhất; không thể tận dụng tính toán song song GPU và nhanh chóng quên thông tin ở đầu văn bản.

Transformer Self-Attention
Cho phép mọi token nhìn thấy trực tiếp mọi token khác chỉ trong 1 bước nhảy khoảng cách O(1), mở khóa khả năng huấn luyện song song hàng nghìn tỷ từ trên siêu cụm GPU.

Quan hệ định lượng minh họa: Attention(Q, K, V) = Softmax((Q × Kᵀ) ÷ √d_k) × V | Độ_phức_tạp = O(N² × d)