大公网

大公报电子版
首页 > 新闻 > 内地 > 正文

强化学习 博采衆长

2025-02-08 05:02:17大公报
字号
放大
标准
分享

  图:人工智能发展一日千里。图为2016年3月9日至15日,人工智能程序“阿尔法围棋”在韩国首尔进行的五番棋比赛中,以4比1的总比分击败韩国九段棋手李世石。\新华社

  大公报:我们现在知道,DeepSeek的高性能根本上来自于新算法,即强化学习方法,这似乎和当年Alpha Zero与人类棋手博弈相似,是吗?

  高飞:是的。DeepSeek的强化学习,不是新理论。大家最耳熟能详的强化学习模型,应该是谷歌DeepMind的围棋模型Alpha Zero。它之所以叫Zero,是指模型是从零数据开始,通过与自身进行数百万次对弈,积累数据,提升性能。

  DeepSeek R1也是这样,通俗地说,它就是人工智能界的“Alpha Zero棋手”,用AI和AI对弈的强化学习方式(而不是学习人类知识行为数据),提高性能。需要说明的是,DeepSeek R1并非单一地运用强化学习方法,而是新老方法并用,博采众长。例如,DeepSeek团队发现模型出现中英文双语混用、答案不易被人理解的现象,所以也使用了传统的监督式学习(SFT),即人类数据辅助优化,让内容输出更友好。

  大公报:但谷歌DeepMind八年前就已推出围棋模型Alpha Zero,强化学习法早已有之。在这方面,DeepSeek是否算抄袭了谷歌的技术呢?

  高飞:这就是科学、技术、工程的区别了。强化学习技术早有公开论文,大家都可学习借鉴。但科学原理如何在技术和工程上实现,是另一回事。

  此外,属于封闭性问题(即有标准答案、可判断胜负)的围棋问题,与处理开放性问题的语言大模型是不同的。这种强化学习技术,并不容易在大语言模型的训练中使用,从去年开始涌现的千百个大模型,都没能取得这方面突破,没能走通这条技术路径。

点击排行