大公网

大公报电子版
首页 > 新闻 > 内地 > 正文

蚂蚁集团用国产“芯”训练AI 成本降20%

2025-03-25 05:02:40大公报
字号
放大
标准
分享

  图:蚂蚁集团一直在致力于提高大语言模型的训练效率,并突破这一限制。

  【大公报讯】综合中国基金报、凤凰网报道:蚂蚁集团使用国产芯片开发了一种训练人工智能模型的技术,可将成本降低20%。近期,蚂蚁集团Ling团队发表了最新的技术成果论文《无需高级GPU即可扩展3000亿参数混合专家LING大模型》。论文提到,尽管稠密模型(神经网络中最为常见的模型之一,每个神经元都与输入数据中的每个元素相连)取得了显著进展,专家混合(MoE)模型如DeepSeek系列、Qwen系列和MiniMax-01系列等在某些特定任务中已展现出优于传统稠密模型的性能。

  然而,MoE模型的训练通常依赖于高性能计算资源(例如H100、H800等先进AI加速器)。为了给业界提供一种适用于资源受限场景的模型训练新路径,论文介绍了两款开源MoE模型:Ling-Lite与Ling-Plus,在资源成本与模型性能之间取得良好平衡。例如Ling-Plus模型在五种不同硬件配置下完成9万亿token的预训练任务。若使用高性能硬件设备训练1万亿token,预计成本为635万元人民币;而使用低规格硬件系统则成本约为508万元,节省近20%。

  分析指,MoE模型的训练通常依赖于如英伟达所售GPU这类高性能芯片,使得训练成本对许多中小企业而言过于高昂,限制了更广泛的应用。如果蚂蚁集团研究成果属实,将表明中国在人工智能领域正逐步走向自主可控,特别是在寻求成本更低、计算效率更高的模型架构来应对英伟达芯片的出口限制。

点击排行