
图:香港理工大学人工智能高等研究院在AI训练技术有新突破,可大幅降本及提升效率。
香港理工大学人工智能高等研究院(PAAI)近期在AI训练技术上突破频现,该院执行院长杨红霞教授率团队,提出“协作式生成人工智能”创新模式,将过往的集中式训练转为分散式,开源FP8低比特训练方案、研发InfiFusion模型融合技术,大幅降低成本提升效率。该技术目前已用于医疗靶区规划等领域,正联合多家医院推动临床落地,项目并计划在大湾区推进商业化。\大公报记者 邱梓茵
团队主导者杨红霞教授,拥有字节跳动、阿里巴巴等“大厂”15年从业经验,曾负责搭建千问团队、豆包性格团队,是生成式AI领域开拓者。她指出,当前大模型在高精尖领域难有进展,根源在于企业多依赖互联网公开数据训练,无法适应高精尖行业需要,若采用传统的集中式AI训练方法适应行业则耗时长,其团队方案正解决此问题。
节省算力 料成AI发展趋势
杨红霞教授介绍,团队率先开源“端到端FP8低比特训练全套方案”,全球掌握此核心技术团队寥寥。相较主流的BF16精度标准,FP8训练速度快逾20%,内存占用少逾10%,成本大降,还整合AI训练三步骤,训练效果媲美BF16─即GPT、DeepSeek等主流AI使用的训练模式。团队现正研发更省成本的FP4方法,相关论文已发表,杨红霞教授表示,“低比特一定是AI发展未来大势所趋”。
团队研发的“InfiFusion模型融合技术”实现关键突破。仅需数百GPU小时,即可融合出传统方法需100万至200万GPU小时训练的大模型,大幅节省算力与时间成本。
杨红霞教授解释,传统生成式AI需集中摄取大量原始数据训练,而“模型融合”采用分布式路径─以四家医院为例,每家医院无需共享数据,仅在本地训练小模型,最终将四个小模型融合,即可生成涵盖所有医院知识与数据的全新基础模型,过程是主动学习而非简单整合。
她进一步以武侠小说“吸星大法”比喻“模型融合”:不同模型各有擅长,有的擅长数学解题、有的精通代码编写、有的强于文本理解,透过模型融合可直接吸收各模型最强能力,无需耗费大量算力重新训练,最终实现“各项本领皆优”的AI模型。
放射治疗靶区规划省时
应用方面,团队聚焦医疗领域。病人放射治疗前的靶区规划,医生以往需30至50分钟,借助其技术可降至10至20分钟,目前正联合复旦大学附属华山医院、中山大学肿瘤防治中心、山东省肿瘤医院及香港伊利沙伯医院推动合作与临床落地。该技术亦能用于研究生、博士学术助手,同时作为多模态专利检索引擎为创新研发提供高效支持。
在项目产学研规划上,理大高级副校长(研究及创新)赵汝恒教授表示,理大目前与大湾区城市的合作已进入深度产业发展阶段,该项目正在大湾区规划后续商业化发展。