华为开发的鹏程.盘古,是人工智能业界首个千亿级参数中文自然语言处理大模型,可支持知识问答、知识检索、知识推理、阅读理解等丰富的下游应用。
鹏城实验室联合有关单位技术团队组建的“盘古α”联合攻关团队,首次基于“鹏城云脑Ⅱ”和MindSpore框架的自动混合并行模式,实现在2048卡算力集群上的大规模分布式训练,训练出“鹏程.盘古”。
在模型性能方面,鹏程.盘古大模型在16个下游任务中,性能指标优于业界SOTA模型,其中零样本学习任务11个、单样本学习任务12个、小样本学习任务13个。
为了发挥基础性技术成果的最大效益,鹏程.盘古的模型、代码、数据集在Open I启智社区全面开源、开放,希望以启智开源社区为载体,集众智、聚众力,吸引开发者共同参与到模型的压缩轻量化和应用创新工作中,不断探索鹏程.盘古大模型的巨大潜力。