← Danh mục 100 · Kỹ Thuật Phần Mềm, Cloud & An Ninh Mạng · Hình tương tác #017

Luồng Sự Kiện Kafka: Phân Vùng Partition, Consumer Lag & Áp Lực Ngược

Cơ chế nhật ký nối đuôi tuần tự trên đĩa kết hợp chia làn Partition song song để nuốt hàng triệu sự kiện mỗi giây không rớt tin.

Hình 17 · sơ đồ 6 trạm & 8 điểm chọn Bồn Chứa Thủy Tinh & Van Cổ Chai

Chọn kịch bản · kéo thanh · chạy mô phỏng · tháo rời

Số nhỏ trên trạm = thứ tự vận hành. Màu xám = tạm bỏ qua. Xem hình lớn ↗

Chọn kịch bản4 chế độ đối chứng

Đường đi đang kích hoạt · theo số trạm

Số phân vùng song song của Topic (Partitions)12 làn

Khoảng tối ưu: 8 đến 24 làn. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Kích thước gom lô xử lý (Consumer Batch Size)250 msg

Khoảng tối ưu: 100 đến 500 msg. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Mức xác nhận bền vững khi ghi (Producer Acks/ISR)3 bản

Khoảng tối ưu: 2 đến 3 bản. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Thông lượng xử lý bền vững

180k/s

Độ trễ ứ đọng Consumer Lag

1,2k tin

Nguy cơ mất tin khi sập nút

0,0%

Bấm vào trạm trên hình hoặc nút số bên dưới để đọc vai trò từng bộ phận.

Đọc hình như một mô hình giải thích

Hình tương tác này cô đọng cơ chế vận hành cốt lõi của chủ thể thành 6 trạm trực quan kèm đồng hồ đo và đầu ra đối chứng. Bấm vào từng hàng trong bảng tham chiếu bên dưới để nạp nhanh bộ thông số vào mô hình.

Bảng đối chiếu 4 kịch bản tham khảo (bấm vào dòng bất kỳ để áp dụng)
Kịch bản	Đường đi	Số phân vùng song song của Topic (Partitions) (làn)	Kích thước gom lô xử lý (Consumer Batch Size) (msg)	Mức xác nhận bền vững khi ghi (Producer Acks/ISR) (bản)	Hệ quả quan sát
Luồng Sự Kiện Cân Bằng Bất Tử Dữ Liệu (Tối ưu)	1 → 2 → 3 → 4 → 5 → 6	12 làn	250 msg	3 bản	Thông lượng 180k msg/s, Consumer Lag sát 0, chịu sập 1 Broker không mất 1 bản ghi
Nút Cổ Chai 1 Làn & Ghi Không Đợi (acks=1) (Thiếu tải)	1 → 2 → 4 → 6	2 làn	25 msg	1 bản	Thêm 10 Consumer vẫn ngồi chơi vì chỉ có 2 Partition, Lag ứ đọng 4.2 triệu tin, mất tin khi rớt Leader
Phân Mảnh Quá Đà & Bão Chia Lại Nhóm (Rebalance) (Quá ngưỡng)	1 → 2 → 3 → 4 → 5 → 6	64 làn	2.000 msg	3 bản	Lô quá lớn xử lý vượt max.poll.interval gây Stop-the-World Rebalance đóng băng liên tục
Đường Ống Phân Tích Hành Vi Clickstream (Thực tế)	1 → 3 → 4 → 5 → 6	16 làn	400 msg	2 bản	Ưu tiên thông lượng ghi hàng loạt cao vào kho ClickHouse với độ bền 2 bản sao đồng bộ

Message Queue (Đọc Xong Xóa Ngay)
Broker giữ vai trò thông minh định tuyến phức tạp và xóa tin nhắn ngay khi một worker xác nhận đã xử lý; khó tua lại lịch sử sự kiện từ ngày hôm qua.

Distributed Event Log (Lưu Bền & Tua Lại)
Lưu giữ chuỗi sự kiện bất biến theo thời gian quy định (7 ngày hoặc vĩnh viễn); nhiều hệ thống khác nhau (AI, Kho, Kế toán) cùng đọc độc lập trên một luồng và tua lại con trỏ Offset bất cứ lúc nào.

Quan hệ định lượng minh họa: Tốc_độ_Tiêu_thụ_Max = min(Số_Partition, Số_Consumer) × Thông_lượng_1_Worker | Lag = ∫(λ_vào − μ_ra)dt