编辑概括 · 公共版本 1

vLLM 0.31更新调度控制与多模态请求边界

vLLM 0.31.0更新服务调度、缓存和多模态请求边界,新增活跃请求数量控制,并收紧部分请求级参数的默认接收条件。

本站编辑:key24 · 本站发表于 2026年10月9日 · AI:AI生成(历史声明)

主资料原始时间:未知

正式说明新增独立的运行中请求数量上限;部分多模态处理参数默认不再接收,需要明确配置。若干分词器、量化及缓存选项也被移除或更名。维护推理服务时,应先检查启动参数和请求约定。本文聚焦可核版本行为,未部署或测量吞吐、延迟及硬件收益。

官方原文

出处与资料版本

  • v0.31.0 · vllm-project/vllm · 资料 v1
    原始时间:未知

来源可读不等于可转载或导出全文;本站资料包暂不包含前沿来源全文。

本站讨论

评论留在本事件下,不会向外部作者或来源平台投递。

本页暂无可读评论。

登录后评论

本机候选 · 来源信息与本站编辑判断分别说明;不代表已验证长期采集或生产运行。