TengNews财经网

热门搜索: 融资  IPO  京东
您的位置: 主页 > AI > 正文

DeepSeek重磅宣布!将内部推理框架DeepInfer全面开源

TengNews财经网讯:10月20日,DeepSeek正式宣布将内部推理框架DeepInfer全面开源,同步开放生产级Token编解码组件deepseek-recipe。这是继大模型、TileLang编译工具及推理算子库之后,DeepSeek在开源道路上的又一次关键延伸,首次将支撑大规模模型服务的工程内核交予社区。

DeepSeek在公告中阐释了此次开源的逻辑:模型能力由模型本身划定,但能否以合理成本承载海量用户调用,取决于推理框架这一“中间层”。训练让模型学有所成,推理则让模型为人所用。推理框架负责统筹调度庞大的算力集群,其效率直接决定了AI服务的算力成本与电力消耗。基于DeepInfer,DeepSeek已实现V4.1 Flash高吞吐、低延迟的大规模推理服务,单一集群服务吞吐达155万亿Tokens/天。未来新模型的推理代码及优化也将在此持续更新。

从技术能力看,DeepInfer集成了高性能算子与深度优化引擎,支持分布式推理、推测解码、SWA Bounded Replay及结构化输出,并同时兼容英伟达与华为昇腾平台。同步开源的deepseek-recipe则与官方API处理逻辑完整对齐,确保社区部署获得一致的接口体验。

DeepSeek引用古语“为善与众行之,为巧与众能之”,表达了分享内部部署经验的意图:帮助开发者与企业优化推理吞吐与延迟,降低算力成本与能耗,让智能以更低价格触达更广泛人群。在算力成本日益成为AI普及瓶颈的当下,将效率内核而非仅仅模型权重交出去,或许正是推动“大模型普惠”从口号走向现实的关键一步。

来源:TengNews财经网 作者:综合

全站头条

广告也精彩