中国电信完成业界首个面向大模型推理的异构算力协同技术验证
近期,中国电信研究院联合北京智源人工智能研究院、昆仑芯科技有限公司、中兴通讯、北京基流科技有限公司、中科加禾公司等产业合作伙伴,依托中国电信云网融合大科创装置,完成业界首次DeepSeek系列模型基于“英伟达算力+国产算力”交叉组合的异构PD分离推理试验验证,实现大模型推理集群的降本增效。
本试验完成了面向大模型推理的异构算力协同技术针对6类典型场景的推理性能验证,DeepSeek 671B模型在多种场景下实现推理集群总吞吐性能30%~72%的提升,并发能力提升2倍,同等吞吐条件下,异构算力组合推理成本下降最高达42%,真正实现“存量利旧”与“国产替代”的双重目标。
针对推理Prefill与Decode阶段特性优化芯片设计逐渐成为行业共识,英伟达和华为分别发布芯片设计规划,将PD两阶段分别适用“高算低存”和“低算高存”的思路融于芯片设计。中国电信研究院在2025年初洞察到PD分离推理对算力异质性的需求,构建异构通信优化、PD资源调配、推理任务调度全栈自研异构混推体系,展现出三大核心优势:一是通过自研异构传输引擎,实现跨架构芯片PD池间KVCache的高效传输;二是采用自研国产算力赋能工具“翼芯”,根据业务特征与算力性能自动推荐并实时优化PD资源配比;三是构建AI推理平台,实现推理任务在Prefill池与Decode池间的动态调度。
技术验证的成功体现了中国电信对智算推理优化技术的深刻理解与对国产算力适配调优的实践创新,彰显了中国电信作为算力基础设施建设方推动国产算力从“可用”到“好用”的央企担当。未来,中国电信将持续深化国产算力高质量发展布局,面向大模型训推一体、多智能体系统打造“互联互通、高效协同”的异构算力生态格局,推动新型信息基础设施协调发展。(记者 翼研)
转自:人民邮电报
- 1共赴智算未来:维谛(Vertiv)亮相Computex2026,以全融合型基础设施赋能AI时代
- 2旅游新国标贯通“吃住行游购娱” 场所从“卖商品”转向“卖服务、卖体验、卖文化”
- 3目的地多元、体验深入 暑期文旅市场热度飙升蓄势待发呈现新亮点
- 4164项专利行业领先,日日顺持续打造“科技生态”
- 5核心业务稳定运行!电科金仓助力某省级公安云平台完成关键升级
- 6“美丽中国行之探访国家公园”集中采访启动
- 7远景发布全球首款AI光储一体化系统,全栈自研打通“风、光、储、氢”
- 8BEAUTY RUSH 忠于自己,不必攀比
- 9数字经济重构实体价值:中食科技与一场“兴商富民”的产业实验
- 10京东6万工程师迎战高温季! 部分地区可实现24小时空调极速送装
- 1中传世纪控股开展子公司清理规范专项工作 坚决清理假冒国企与低效企业
- 2芯位科技与清华大学共同领衔的标准成果在2026世界数字教育大会发布
- 32026年中国AI竞争格局与商业化趋势分析:梯队重构、价值兑现、生态决胜
- 4绿盟科技安全数字人平台正式发布:以风云卫为核心,构建自主运营、持续进化的安全数字人团队
- 52026年磷酸铁锂电池行业量价齐升迎拐点 技术迭代启新程
- 6叶嘉重返北音毕业典礼 献唱《听我说谢谢你》致青春
- 72026年4月汽车工业经济运行情况
- 8共赴智算未来:维谛(Vertiv)亮相Computex2026,以全融合型基础设施赋能AI时代
- 9海尔厨电618开门红:Seeker油烟机天猫热卖榜TOP1
- 10寻找高效传动方案 电动推杆品牌推荐大揭秘



