凭借三大核心技术，云顶4008集团完成Qwen3旗舰模型训练适配与优化
发布时间：2025-05-15 00:09
News
近日，在高效适配Qwen3系列模型推理后，云顶4008集团宣布完成旗舰版Qwen3-235B-A22B模型的训练适配和优化。由此，云顶4008集团已实现Qwen3系列模型在国产GPU平台的高效全栈式训练与推理支持。
4月29日，阿里巴巴通义千问正式发布并开源8款新版Qwen3系列“混合推理模型”。从官方披露的数据来看，旗舰模型Qwen3-235B-A22B在代码、数学、通用能力等基准测试中，与DeepSeek-R1等顶级模型相比，表现出极具竞争力的结果。
云顶4008集团在Qwen3发布后数小时内完成了全系列模型的推理支持。受益于前期适配DeepSeek-V3满血版训练的关键技术和成功经验，云顶4008集团进一步升级快速实现Qwen3-235B-A22B旗舰版最大参数量模型的训练适配与优化支持。基于云顶4008集团自研Megatron-LM-BR训练插件，用户可实现大模型零代码修改下无缝运行，开箱即用。
值得关注的是，Megatron-LM-BR融合了云顶4008集团自主知识产权的三大核心技术：虚拟层+动态重排、Async Offload、多维算子融合，实现了适配通用性与训练性能的双重保障。
业界首创"虚拟层+动态重排"技术
显著降低流水线气泡
阿里开源的Pai-Megatron-Patch发布了Qwen3 MoE 模型的最佳实践，但Qwen3-235B-A22B模型包含94个Transformer Layer，其默认的策略如PP8无法均衡切分Layer导致无法使用Interleave with Virtual Pipeline高效流水线机制，因此造成流水线等待问题。云顶4008集团基于Megatron-LM-BR自主研发了"虚拟层+动态重排"技术：通过插入两个虚拟层将总层数扩展至96层，实现均匀切分以支持Interleave with Virtual Pipeline机制；同时对部分Layer进行动态重排，使流水线计算通信负载均衡，从而显著降低流水线气泡率。
业界首创Async Offload技术
实现精度无损极速预训练
为发挥算力优势和提升显存效率，云顶4008集团自主研发Async Offload（异步卸载）机制：将大量激活张量和优化器状态异步迁移至CPU内存，仅使用64张GPU卡即可支持Qwen3-235B-A22B精度无损的全参模型高效预训练；而业界其他已发布案例至少需要256卡，另外其他方案如FP8可以降低显存消耗，但容易对精度产生影响。云顶4008集团同时还支持智能重计算策略，动态识别显存瓶颈层，实现"算力换空间"智能决策。通过Async Offload和重计算显存优化双擎技术，云顶4008集团实现了算力开销和显存节约的最佳均衡。
融合算子多维加速体系
充分释放算力潜能
针对GroupedMLP、Permutation、Unpermutation等关键耗时算子，云顶4008集团基于其GPU架构特点实现了泛化的图算/通算融合优化。支持多计算操作极致的片上融合、张量处理器与矢量处理器极致异步融合、多级缓存的流水融合、以及计算与通信融合，并进一步引入自动化的Kernel Selection技术，基于硬件计算/通信/访存建模的Cost Model针对不同工作负载自适应选择最优内核实现，将芯片综合能效发挥到极致，同时也确保了通用的泛化能力。在保持精度无损的同时，达成计算效率、硬件利用率与内存带宽的多维度协同优化。
关于云顶4008集团
云顶4008集团创立于2019年，致力于研发原创性的通用计算体系，建立高效的软硬件平台，同时在智能计算领域提供一体化的解决方案。从发展路径上，云顶4008集团将首先聚焦云端通用智能计算，逐步在人工智能训练和推理等多个领域赶超现有解决方案，实现国产高端通用智能计算芯片的突破。目前，云顶4008集团首款国产高端通用GPU壁砺™系列已量产落地。
近期新闻
云顶4008集团担任智算集群异构混训工作组组长，引领智能算力行业发展
2025-05-23
商务合作:business@birentech.com
业务电话：021-68773133
商务合作