万卡国产训推之后，科大讯飞开始让AI反哺算力

编辑｜Clio 最近几个月，国产 AI 算力开始密集跨过一个新的数量级。 7 月，全国产十万卡 AI 超集群落成；9 月初，无锡国产万卡级智算中心一期 2000 张摩尔线程 MTT S5000 GPU 智算卡已全部投入运行，集群算力需求基本达到满载；国产卡正在进一步向万卡乃至十万卡级训练基础设施迈进。 无锡（惠山）国产智算中心机房内 集群规模越来越大，新的问题也随之而来：这些芯片究竟能发挥出多少实际训练能力？ 大模型训练里，卡数增加的同时，系统复杂度也会跟着上升。一块芯片上的算子效率差异，放到数万块芯片上会不断被放大；小规模训练里不太显眼的通信等待，到了万卡集群会变得很可观；节点数量增加、训练周期拉长之后，软硬件故障也会更频繁地进入日常运维。 因此，评价一套算力系统，除了看芯片数量和单卡性能，还要看算子、通信、并行调度、故障恢复以及软件栈之间能不能配合起来。 最近一个新发布的模型引起了我们的注意。 9 月 7 日，科大讯飞正式发布星火 X2.5。该模型采用 MoE 架构，参数规模为 293B-A30B，重点提升代码和智能体能力，同时覆盖 200 余种语言，在语言理解、答题、推理等通用任务上保持优异效果。 其中，万卡规模国产 910B 集群承担了模型的预训练和后训练，线上推理基于国产平台，并配合多步投机解码提升推理效率。 值得一提的是，随着代码和工具调用能力增强，星火 X2.5 也开始参与 NPU 算子优化，AI 开始反过来参与底层算力的优化。 通过这次真实的大模型训练，也可以进一步探讨万卡国产算力面临的几个具体工程问题：算子效率、长上下文处理、万卡通信和长周期训练稳定性，以及模型与底层算力之间正在形成怎样的反馈关系。 这次星火 X2.5 的训练优化，也基本围绕这些问题展开。 万卡国产芯片，怎么真正干活？ 可以把大模型训练想象成一座超大型工厂。 万卡集群里的芯片，是成千上万名「工人」；显存是存放模型参数、上下文和中间数据的「仓库」；通信网络则是芯片之间交换数据的「运输通道」。当规模扩大到万卡级，计算速度、显存容量、通信效率和系统稳定性，都会直接影响整座「工厂」的效率。 而推理和训练，对这座「工厂」的要求并不相同，这也是「推理适配」和「全国产训推」的关键区别。 推理适配主要解决模型能否在国产芯片上高效部署运行；完整训练还涉及参数持续更新、跨卡同步、数值稳定和长周期故障恢复，因此对整套系统协同提出了更高要求。 科大讯飞技术人员把万卡训练的核心挑战概括为： 算得快、装得下、传得顺，以及跑得稳。 先看「算得快」。 对这座工厂来说，芯片数量决定了有多少「工人」，算子效率则影响每个「工人」实际能干多少活。模型训练中的 Attention 等核心计算，最终都要通过算子落到芯片上执行。算子效率高不高，会直接影响芯片真正能够发挥出多少计算能力。 针对星火 X2.5， 团队围绕国产关键算子进行了定向优化。 科大讯飞相关技术人员表示，其中 Attention 计算算子效率相比基础实现提升 2 倍以上。 单颗芯片算得快还不够。到了万卡规模，另一个问题是「怎么分工」。 训练任务会被拆分到大量计算单元上，如果不同芯片承担的任务量不均衡，就可能出现一部分已经算完、另一部分还在继续运行的情况。规模越大，这种等待越容易被放大，最终拖慢整个训练过程。 针对长序列训练，星火 X2.5 采用 结合动态负载均衡的长序列并行方案 ，让不同计算单元承担的任务更加均衡。科大讯飞相关技术人员表示，该方案使长文本训练效率相对提升 30% 以上。 第二个问题是「装得下」。 模型越大、上下文越长，无论训练还是推理，需要处理和暂存的数据都会增加，「仓库」压力也会随之上升。这里比拼的并不只是显存容量，还包括如何减少长上下文带来的计算和资源开销。 在模型结构层面，为提高长程任务的推理效率，星火 X2.5 引入 稀疏注意力机制和跨层共享稀疏注意力索引 ，进一步减少资源开销。 稀疏注意力的思路，是把更多计算集中到真正需要关注的信息上，减少不必要的计算；跨层共享索引，则让不同计算层复用已经建立的索引，减少重复开销。简单说，就是尽量少做无效计算，也少做重复工作。 第三个问题是「传得顺」。 到了万卡规模，「运输」也会成为瓶颈。大模型训练不是每张卡各算各的，不同芯片之间需要持续交换训练数据和状态。集群越大，通信关系越复杂，一旦数据传输跟不上，前面的计算能力就会被等待时间吃掉。 尤其在超长序列训练中，序列被拆分到更多计算单元之后，跨卡通信还会进一步增加。 针对这一问题，星火 X2.5 在通用通信优化之外，还针对超长序列带来的通信开销，引入 通信压缩、分层通信和计算并行等方式 。科大讯飞相关技术人员表示，相关训练效率提升 10%。 其中，通信压缩可以减少需要交换的数据，分层通信则根据不同层级的互联关系组织