大公网

大公报电子版
首页 > 新闻 > 内地 > 正文

AI学堂/什么是缩放定律?

2025-02-01 05:02:11大公报
字号
放大
标准
分享

  在人工智能(AI)和深度学习(DL)领域,缩放定律(Scaling Laws)指的是模型性能如何随计算量、参数规模和数据量的增加而变化的规律。这些定律帮助研究者理解如何提高AI性能,以及是否值得投入更多资源来训练更大的模型。

  如果用“培育一棵树”的比喻来理解缩放定律,树的树根深度即为大模型的模型参数量;土壤养分为训练数据量,阳光能量为计算资源,果实甜度为模型性能。当树根更深(模型参数量更大)、土壤更肥(训练数据量更大)、阳光更足(算力更强),果实会越来越甜(模型性能更强),且甜度提升速度超过投入增长─直到遇到“玻璃天花板”,此时再增加投入,甜度增幅急剧放缓。

  就像园林大师不会盲目追求最高树木,AI工程师通过缩放定律寻找“甜蜜点”:在算力预算内,找到使(性能提升/资源消耗)比值最大的参数─数据─算力组合,这就是DeepSeek以算法突围而出的关键所在。

点击排行