图:小米CEO雷军是近期AI仿冒声音的热门对象,网上有不少以AI覆製其声音的视频教程。
“国庆假期7天,被‘雷军’骂了8天”“刘晓庆回应‘画面是我、声音像我、但不是我’”……随着AI生成技术普及,覆製他人声音、面貌的成本大幅下降,一些产品更以低至5-10元的价格,号称“10秒生成明星声线”,相关的滥用问题层出不穷。
近年更有不法分子以AI拟声等技术“移花接木”,盗用名人声音用于商业欺诈,令消费者以为其商品获得名人代言、推荐,使商品销量在短时间内暴涨。专家指出,由于对新技术存在“代际技术鸿沟”,老年群体更是这类AI消费陷阱的“重灾区”。
抖音平台监测数据显示,去年国庆假期期间,AI合成的小米CEO雷军语音“吐槽”调休政策的短视频持续霸榜热搜;有网友调侃“国庆假期7天,被‘雷军’骂了8天”,相关话题累计播放量突破1.2亿次。
更值得警惕的是,AI拟声技术已被不法分子用于商业欺诈。
一杯咖啡价格 仿冒“华仔推荐”
在社交媒体平台上出现的《一路繁花》刘晓庆吃鱼改编片段中,AI技术不仅篡改台词植入产品,更匹配了与原嘉宾极为相似的音色。由于AI合成语音比AI换脸视频更难辨别,且其成本已大幅下降,让这项新技术成为诈骗分子的“新宠”。
2024年3月,某电商平台出现300余条克隆刘德华声音的促销视频。这些视频通过AI技术完美复刻其嗓音,以“华仔推荐”名义推销某品牌保健品。数据显示,相关商品销量在3天内暴涨217%,但随后大量消费者作出投诉,当中78%用户表示“因信任刘德华才购买”。
只需要15秒的语音片段,花费不到一杯咖啡的价格,任何人的声音都能被完美克隆。记者在购物平台上搜索“AI人声克隆”,“10秒生成明星声线”“专业设备录制+AI精修”等宣传语下,价格从5.9元(人民币,下同)到159元不等的多款AI声音克隆软件在售。据中国网络视听节目服务协会2025年1月发布的《2024网络视听内容生态治理白皮书》显示,全年监测到AI声音克隆平台2850家,生成语音总量超15亿条;确认违规内容中,商业欺诈类占比58%(伪造企业家带货等)。
雷军:明确AI应用边界红线
而据中国老龄协会2025年1月发布的《中国老龄事业发展报告(2024)》显示,涉及AI技术的电信诈骗案件中,60岁以上受害者占比达42.7%;老年人人均直接经济损失2.87万元。不法分子通过AI换脸生成“专家”形象,利用变声技术伪造权威声线,在直播中宣称普通食品“包治百病”,精准“围猎”银发群体。
广西消费者权益保护委员会宣传部主任李佩霞表示,由于新技术对老年群体存在“代际技术鸿沟”,使得AI诈骗分子能够精准突破心理防线,政府、平台以及社会各界需要共同努力,构建全链条防护体系。
身为AI合成受害者,雷军亦在今年全国两会期间提议,加快单行法立法进程,在安全与发展并重的基础上提升立法位阶。建议针对“AI换脸拟声”等某一代表性问题,探索推出人工智能单行法,明确“AI换脸拟声”应用边界红线,加大对利用人工智能技术实施犯罪行为的刑事处罚力度。