vLLM Inference Engine v0.34.0: KV cache mở rộng mặc định, chỉ còn GPU Model Runner V2 và hỗ trợ thêm 10 mô hình
Nguồn: GitHub Releases: vLLM (Open Model Inference Engine)
• Phiên bản: v0.34.0
• Tiêu đề gốc: [vLLM Inference Engine] v0.34.0
Khuyến nghị & Hành động nhanh
Nâng cấp theo hướng dẫn cài đặt chính thức của vLLM lên v0.34.0, sau đó đối chiếu changelog và mục Before you upgrade. Gỡ VLLM_USE_V2_MODEL_RUNNER=0; thường nên bỏ cấu hình gpu-memory-utilization để dùng cơ chế KV cache mới, hoặc đặt --gpu-memory-utilization 0.9 hay --no-enable-extensible-kv-cache nếu cần giới hạn/chia sẻ GPU. Nếu cần giữ hành vi block size cũ, truyền --block-size 16. Cập nhật các dependency bắt buộc và chuyển sang ROCm 10.0 nếu dùng AMD; rà soát cấu hình lượng tử hóa đã bị loại bỏ.