Cổng tin tức Radar

Radar Mô hình AI & Công cụ Dev

Theo dõi mô hình AI mới phát hành (đóng & mở), nâng cấp Claude Code, Codex, Antigravity và công cụ phát triển phần mềm

Quét gần nhất: SUCCESS • 2026-11-22 13:51 UTC API Health
Hiển thị 3 / 3 bản tin AI & Dev đã kiểm định (Trang 1/1)
HIGH 🔌 Công cụ hạ tầng AI / SDK và quy trình vLLM Project vLLM Inference Engine v0.34.0 Công cụ / SDK Dev Impact: 88/100
Công bố: 2026-11-17 06:22 UTC

vLLM Inference Engine v0.34.0: KV cache mở rộng mặc định, chỉ còn GPU Model Runner V2 và hỗ trợ thêm 10 mô hình

Nguồn: GitHub Releases: vLLM (Open Model Inference Engine) • Phiên bản: v0.34.0 • Tiêu đề gốc: [vLLM Inference Engine] v0.34.0

vLLM v0.34.0 bổ sung hỗ trợ 10 mô hình mới, bật Extensible KV cache mặc định và loại bỏ GPU Model Runner V1; bản phát hành có 1.061 commit từ 412 người đóng góp. KV cache được cấp phát dựa trên lượng bộ nhớ thực sự còn trống sau warmup và CUDA graph capture, giúp tăng dung lượng cache và thông lượng trong nhiều trường hợp. Bản này cũng có các tối ưu hiệu năng đáng kể trên NVIDIA Blackwell và AMD MI355X, nhưng đi kèm thay đổi có thể làm hỏng cấu hình cũ, như block size mặc định tăng lên 64 và một số backend, artifact cùng phương thức lượng tử hóa bị loại bỏ. Trước khi nâng cấp, cần kiểm tra hướng dẫn migration và các thay đổi tương thích trong changelog.
📦 Mô hình / Công cụ & Thông số
Công cụ suy luận và phục vụ mô hình AI; GPU runner duy nhất hiện là Model Runner V2. Extensible KV cache được bật mặc định trên CUDA và ROCm, xác định dung lượng cache từ bộ nhớ còn trống sau warmup và CUDA graph capture. Block size mặc định đổi từ 16 lên 64; ROCm paged attention vẫn dùng 16. Có thêm hỗ trợ cho 10 mô hình, gồm Mistral Large 4 (1 nghìn tỷ tham số tổng, 52 tỷ tham số hoạt động, FP8/NVFP4), MiniMax-M3.1-Flash và các mô hình nhận dạng tiếng nói, OCR, đa phương thức khác. Yêu cầu huggingface-hub 2.0.0, tokenizers 0.23.3 và timm 1.0.30.
✨ Tính năng & Nâng cấp mới
Extensible KV cache bật mặc định, tăng dung lượng cache trong một số cấu hình; ví dụ MiniMax-M3 trên H200 tăng từ 433.000 lên 672.000 token. Model Runner V1 bị xóa; Model Runner V2 hỗ trợ dual-batch overlap, speculative decoding, CUDA graphs cho draft model và các API/plugin cho speculator tùy chỉnh. Bổ sung 10 mô hình mới cùng nhiều tối ưu cho Blackwell và MI355X. Các thay đổi breaking gồm bỏ artifact ROCm 7.2, QuTLASS/fp quant, Marlin W4A8 và hỗ trợ Keye-VL/Keye-VL-1.5.
📊 Hiệu năng Coding / Benchmark & Chi phí
Công bố mức tăng decode tối đa 1,95× cho Step5 NVFP4 MoE trên 4×GB200; thông lượng đầu ra GLM-5.3-Flash tăng 1,6×; decode đơn luồng Muse Spark tăng 1,5× trên GB300; TTFT của GLM-5.3 nhanh hơn 1,24–1,40× ở prompt 32K–128K. Mức tăng phụ thuộc mô hình và phần cứng; một số trường hợp trên H200 có TPOT tăng 6–18% ở concurrency 128. Không nêu giá API hay yêu cầu VRAM chung; nhu cầu phần cứng phụ thuộc mô hình và định dạng lượng tử hóa.
💻 Ứng dụng Phát triển Phần mềm & Công việc
Phù hợp để nâng thông lượng phục vụ mô hình và giảm TTFT ở tải đồng thời cao; có thể tích hợp các mô hình mới vào pipeline suy luận, âm thanh và đa phương thức. Trước khi triển khai, rà soát cấu hình block size, biến môi trường của Model Runner V1, thiết lập gpu-memory-utilization, backend ROCm và checkpoint lượng tử hóa. Chạy thử tải đại diện để đánh giá đánh đổi giữa dung lượng KV cache, thông lượng và độ trễ mỗi token; kiểm tra tương thích dependency và plugin trước khi đưa lên production.

Khuyến nghị & Hành động nhanh

Nâng cấp theo hướng dẫn cài đặt chính thức của vLLM lên v0.34.0, sau đó đối chiếu changelog và mục Before you upgrade. Gỡ VLLM_USE_V2_MODEL_RUNNER=0; thường nên bỏ cấu hình gpu-memory-utilization để dùng cơ chế KV cache mới, hoặc đặt --gpu-memory-utilization 0.9 hay --no-enable-extensible-kv-cache nếu cần giới hạn/chia sẻ GPU. Nếu cần giữ hành vi block size cũ, truyền --block-size 16. Cập nhật các dependency bắt buộc và chuyển sang ROCm 10.0 nếu dùng AMD; rà soát cấu hình lượng tử hóa đã bị loại bỏ.

HIGH 🔌 Công cụ, SDK và quy trình tích hợp Ollama Ollama v0.40.17; Inkling 2 Mini Công cụ / SDK Dev Impact: 72/100
Công bố: 2026-11-11 05:25 UTC

Ollama v0.40.17: tải công cụ MCP theo nhu cầu, xử lý nhiều yêu cầu đồng thời trên Apple silicon và hỗ trợ Inkling 2 Mini

Nguồn: GitHub Releases: Ollama (Local Open Models Runtime) • Phiên bản: v0.40.17 • Tiêu đề gốc: [Ollama Local LLM Runtime] v0.40.17

Ollama v0.40.17 cải thiện tích hợp với Claude Code bằng cách tải công cụ MCP khi cần, đồng thời cho phép Ollama trên Apple silicon phục vụ nhiều yêu cầu cùng lúc. Bản phát hành cũng sửa các vấn đề cấp phát bộ nhớ trên GPU tích hợp, giữ nguyên các từ khóa JSON Schema trong định nghĩa công cụ API và cập nhật cách xử lý mức suy luận khi tắt chế độ thinking. Ollama giới thiệu lệnh chạy mô hình Inkling 2 Mini, mô hình 26 tỷ tham số với 5,4 tỷ tham số hoạt động, hỗ trợ văn bản, hình ảnh và gọi công cụ. Trong phiên bản này, Inkling 2 Mini chỉ được hỗ trợ trên Apple silicon; hỗ trợ PC sẽ được bổ sung sau.
📦 Mô hình / Công cụ & Thông số
Ollama là runtime chạy mô hình ngôn ngữ cục bộ; bản phát hành v0.40.17. Inkling 2 Mini của Thinking Machines có 26 tỷ tham số tổng cộng, trong đó 5,4 tỷ tham số hoạt động; kiến trúc dùng các lớp lặp để tăng lượng tính toán trên mỗi token. Mô hình hỗ trợ văn bản, hình ảnh, gọi công cụ và chế độ suy luận; có thể chạy trên Mac với mức sử dụng bộ nhớ khoảng 20 GB theo thông tin phát hành. Trong bản này, mô hình chỉ hỗ trợ Apple silicon.
✨ Tính năng & Nâng cấp mới
['Claude Code có thể tải công cụ MCP theo nhu cầu thay vì nạp tất cả công cụ ngay từ đầu.', 'Ollama trên Apple silicon hỗ trợ phục vụ nhiều yêu cầu đồng thời.', 'ollama launch opencode thiết lập tùy chọn thinking dựa trên metadata của mô hình; ollama launch pi làm mới danh sách mô hình sau khi đăng nhập và chuyển tiếp đối số prompt.', 'Cải thiện luồng ollama launch chatgpt khi khôi phục hồ sơ, giữ cài đặt và lịch sử trò chuyện hiện có.', 'Sửa một số lỗi bộ nhớ và tải mô hình: Vulkan dùng mmap cho GPU tích hợp; mô hình offload một phần trên iGPU Windows không còn lỗi cấp phát KV cache.', 'API giữ lại các từ khóa JSON Schema trong định nghĩa công cụ mà Ollama không mô hình hóa; tắt thinking sẽ ánh xạ sang mức suy luận thấp nhất mà mô hình hỗ trợ.', 'Sửa hành vi dòng lệnh và giao diện nhập liệu, đồng thời tránh tải lại mô hình khi thay đổi cài đặt context shift.', 'Bổ sung lệnh chạy Inkling 2 Mini: ollama run inkling-2-mini.']
📊 Hiệu năng Coding / Benchmark & Chi phí
Inkling 2 Mini được báo cáo đạt 79,2% trên SWE-bench Verified và chạy trên Mac với khoảng 20 GB bộ nhớ; yêu cầu phần cứng chi tiết và giá không được nêu. Hỗ trợ PC cho mô hình này chưa có trong bản phát hành.
💻 Ứng dụng Phát triển Phần mềm & Công việc
Việc nạp công cụ MCP theo nhu cầu có thể giảm lượng công cụ cần tải ban đầu khi dùng Claude Code với Ollama. Khả năng phục vụ nhiều yêu cầu đồng thời trên Apple silicon hữu ích cho môi trường phát triển và thử nghiệm cục bộ có nhiều phiên làm việc. Các sửa lỗi về JSON Schema, KV cache và bộ nhớ GPU tích hợp giúp tăng độ tin cậy khi xây dựng quy trình gọi công cụ và chạy mô hình trên máy cá nhân.

Khuyến nghị & Hành động nhanh

Cài đặt hoặc cập nhật Ollama lên v0.40.17 theo hướng dẫn chính thức, sau đó chạy `ollama run inkling-2-mini`. Lưu ý mô hình hiện chỉ hỗ trợ Apple silicon; kiểm tra dung lượng bộ nhớ khả dụng khoảng 20 GB trước khi chạy.

MEDIUM 🔌 Công cụ/API và quy trình phát triển Ollama Ollama Local LLM Runtime v0.40.16 Công cụ / SDK Dev Impact: 67/100
Công bố: 2026-11-10 01:21 UTC

Ollama v0.40.16: giảm mức dùng bộ nhớ trên Apple Silicon, cải thiện API và hỗ trợ CUDA 13.5 trên Windows ARM

Nguồn: GitHub Releases: Ollama (Local Open Models Runtime) • Phiên bản: v0.40.16 • Tiêu đề gốc: [Ollama Local LLM Runtime] v0.40.16

Ollama v0.40.16 bổ sung Ripple Preview của Ricursive Intelligence, mô hình dense 65 tỷ tham số dành cho lập trình theo hướng tác tử, có thể chạy bằng lệnh `ollama run ripple-preview`. Bản cập nhật cho biết Qwen3.8 Flash Next dùng ít hơn khoảng 27 GiB bộ nhớ trên Apple Silicon, đồng thời cải thiện cách định tuyến Claude Code qua `ollama launch claude`. Ollama cũng điều chỉnh hành vi của các API `/v1/responses` và `/v1/models`, hỗ trợ CUDA 13.5 trên Windows ARM và cập nhật llama.cpp.
📦 Mô hình / Công cụ & Thông số
Bản phát hành runtime Ollama v0.40.16; cập nhật llama.cpp và hỗ trợ CUDA 13.5 trên Windows ARM. Ripple Preview của Ricursive Intelligence được giới thiệu là mô hình dense 65 tỷ tham số cho lập trình theo hướng tác tử. Thông tin đầu vào không nêu giấy phép của Ripple Preview.
✨ Tính năng & Nâng cấp mới
Qwen3.8 Flash Next giảm mức sử dụng bộ nhớ khoảng 27 GiB trên Apple Silicon. `ollama launch claude` luôn định tuyến Claude Code đến mô hình đã chọn; `ollama launch` thông báo khi mô hình đám mây đã ngừng hoạt động. API `/v1/responses` tuân thủ tùy chọn truncation và không còn âm thầm cắt nội dung theo mặc định; `/v1/models` trả về danh sách rỗng thay vì `null` khi chưa cài mô hình. Bổ sung hỗ trợ CUDA 13.5 trên Windows ARM và cập nhật llama.cpp.
📊 Hiệu năng Coding / Benchmark & Chi phí
Không có số liệu benchmark coding, tốc độ token hoặc giá API trong thông tin phát hành được cung cấp. Mức giảm khoảng 27 GiB bộ nhớ được nêu cho Qwen3.8 Flash Next trên Apple Silicon; chưa có thêm yêu cầu phần cứng cụ thể.
💻 Ứng dụng Phát triển Phần mềm & Công việc
Người dùng Claude Code có thể chọn mô hình trong Ollama và dựa vào `ollama launch claude` để định tuyến đúng mô hình đó. Các sửa đổi API giúp client xử lý truncation rõ ràng hơn và tránh lỗi khi danh sách mô hình trống. Ripple Preview có thể được thử nghiệm cho tác vụ coding agent; hỗ trợ CUDA mới cũng mở rộng khả năng chạy trên máy Windows ARM tương thích.

Khuyến nghị & Hành động nhanh

Cập nhật Ollama lên v0.40.16 bằng phương thức cài đặt chính thức cho hệ điều hành của bạn. Sau đó chạy `ollama run ripple-preview` để thử Ripple Preview; kiểm tra cấu hình mô hình đã chọn trước khi khởi chạy Claude Code bằng `ollama launch claude`.