TengNews财经网 发布时间:2026-10-20 19:26 所属栏目:[AI] 热度:℃
TengNews财经网讯:10月20日,DeepSeek正式宣布将内部推理框架DeepInfer全面开源,同步开放生产级Token编解码组件deepseek-recipe。这是继大模型、TileLang编译工具及推理算子库之后,DeepSeek在开源道路上的又一次关键延伸,首次将支撑大规模模型服务的工程内核交予社区。
DeepSeek在公告中阐释了此次开源的逻辑:模型能力由模型本身划定,但能否以合理成本承载海量用户调用,取决于推理框架这一“中间层”。训练让模型学有所成,推理则让模型为人所用。推理框架负责统筹调度庞大的算力集群,其效率直接决定了AI服务的算力成本与电力消耗。基于DeepInfer,DeepSeek已实现V4.1 Flash高吞吐、低延迟的大规模推理服务,单一集群服务吞吐达155万亿Tokens/天。未来新模型的推理代码及优化也将在此持续更新。
从技术能力看,DeepInfer集成了高性能算子与深度优化引擎,支持分布式推理、推测解码、SWA Bounded Replay及结构化输出,并同时兼容英伟达与华为昇腾平台。同步开源的deepseek-recipe则与官方API处理逻辑完整对齐,确保社区部署获得一致的接口体验。
DeepSeek引用古语“为善与众行之,为巧与众能之”,表达了分享内部部署经验的意图:帮助开发者与企业优化推理吞吐与延迟,降低算力成本与能耗,让智能以更低价格触达更广泛人群。在算力成本日益成为AI普及瓶颈的当下,将效率内核而非仅仅模型权重交出去,或许正是推动“大模型普惠”从口号走向现实的关键一步。
8月11日消息,消息源XR Vision曝光了DPVR(大朋VR)旗下首款AI眼镜产品DPVR AI Glasses外观谍照。照片显示,该产品外形酷似墨镜,
DeepSeek重磅宣布!将内部推理框架DeepInf
DeepSeek重磅宣布!将内部推……
国家数据集团在河北雄安新区成立
国家数据集团在河北雄安……
美团龙珠与美团双线领投近10亿元,法奥
美团龙珠与美团双线领投……
智元机器人联合安徽省汽车创新中心、国
智元机器人联合安徽省汽……
格物通智完成近亿元天使轮融资,匹克投
格物通智完成近亿元天使……