图：公安部数据显示，2024年AI诈骗案件同比激增217%，“换脸术”与“变声器”成为新型犯罪工具。图为业内行家在网络安全宣传周上教授识别“AI换脸”骗子知识。 南方网

　　当知名专家在直播间兜售商品被确认为AI虚拟人像；从浙江查获的AI伪基站每分钟可生成2000个真人特征的社交账号；当价值5亿元（人民币，下同）的合同诈骗案中“董事长签名”被鉴定为深度伪造……当AI从赋能工具异化为犯罪“帮兇”，这场技术狂欢背后，法律与技术的双重挑战愈发尖锐。

　　公安部最新数据显示，2024年涉及AI的新型犯罪同比激增217%，破案成本达传统案件的3.8倍，黑产分子已将Stable Diffusion、GPT-4等工具改造成“犯罪全家桶”，可实时伪造语音、视频甚至生物特征，并在此基础上形成完整的诈骗链条。如何监管失控的算法，让AI回归向善本质，成为摆在所有人面前的紧迫命题。\大公报记者 曾萍

　　2024年8月，上海市民刘先生向闵行警方报案称，其通过短视频平台结识的“女友”焦女士在两个月内以服装店开业、家属生病等为由，骗取其近20万元。

　　经深入侦查，警方锁定以杨某为首的10人诈骗团伙。该团伙分工明确，利用AI生成美女视频和网络素材拼贴，在短视频平台“广撒网”吸引被害人。团伙成员通过“恋爱剧本”与被害人建立信任，虚构身份和场景，如赠送手串、虚构亲属患病等，逐步骗取钱财。为增强可信度，团伙成员还伪造身份证、病历等虚假材料，形成完整的诈骗链条。

　　换脸技术被滥用 引发隐私危机

　　在AI换脸技术的狂飙突进中，每个人的“脸面”都可能成为被解构的数字符号，AI换脸的滥用不仅侵犯肖像权，更引发严重的隐私危机。2024年7月，抖音用户欧阳潇潇发现自己的照片被AI换脸成淫秽视频，在境外社交平台传播。其后，欧阳潇潇报警，最终违法行为人李勇平被处10日行政拘留。

　　欧阳潇潇是中国网络暴力受害者中罕见的成功维权案例，她因AI换脸技术被制作色情图像，遭受陌生人围观羞辱。然而施害者借助加密对话隐秘作恶，删除证据后便了无痕迹。韩国“N号房”的中国版本在AI换脸技术“加持”下，不断在网络的隐秘角落里上演。此外类似于“AI一键脱衣”等AI技术的滥用，不仅让公众的“脸面”沦为可以随意覆製的代码，也引发了更多人的身份危机，失去对数字世界的基本信任。

　　生成式AI沦造谣、学术造假工具

　　3月10日，一则“有顶流明星在澳门输了10亿”的信息在互联网平台传播，引发网民热议和各种猜测，相关话题频繁登上社交媒体热搜。然而最后经上海闵行警方调查，这则引发热议的消息，竟是网民徐某强利用AI生成工具编造的谣言。江西某MCN机构被曝利用AI软件批量生产虚假文章，最高峰时一天可生成4000至7000篇，内容涉及社会热点、健康养生等领域，配图与文字看似详实，实则全为捏造。经初步估算，其每天收入在1万元以上。

　　随着技术门槛降低，AI正沦为谣言制造的“工业化生产线”，从社会热点到学术领域，虚假内容如病毒般扩散，形成庞大的灰色产业链。记者在购物网站输入“论文服务”，从论文代写、论文翻译到论文发表等各项与学术论文有关的服务均可定制化购买。

　　今年1月，麻省理工学院宣布开除一名中国学生严某，因其在课程作业中使用ChatGPT修改数据，构成学术不端。据麦可思2024年中国高校师生生成式AI应用情况研究显示，近两成高校师生已成为AI工具的“重度用户”，超三成本科生主要使用AI工具来写论文或作业，学术创新正逐渐沦为技术的“搬运游戏”。