本刊记者 宋杰

屏幕里，西装笔挺的“建国弟弟”梳着整齐背头，用温柔嗓音说着“亲爱的姐姐，岁月是一首诗”，评论区瞬间被玫瑰和爱心表情淹没。

屏幕外，60岁的李阿姨不知道，这个贴心的“弟弟”没有心跳，只有代码，一句句关怀话术，只是为了将“姐姐”们引到私域平台上进行商业变现。

近期，直播间利用虚拟主播，通过精心设计的情感话术诱导中老年消费，甚至涉嫌诈骗的事件引发广泛关注。“数字人王建国”便是AI技术被滥用的一个代表。

AI数字人技术为电商开辟了新路径，其“不知疲倦”“可批量复制”的特性提升了效率。然而，当这项技术被用于刻意模糊虚拟与真实的界限，利用特定群体的情感需求进行不当营销时，其潜在风险不容忽视，亟须规范引导。

对此，相关部门已采取整治行动。据“网信中国”微信公众号7月9日发布的消息，中央网信办整治AI技术滥用，第一阶段累计处置违规小程序、应用程序、智能体等AI产品3500余款，清理违法违规信息96万余条，处置账号3700余个。

屏幕里的 “贴心弟弟”

上海市普陀区人民法院刑事审判庭副庭长董婷婷接受本刊记者采访时说，近期利用“数字人主播”实施的诈骗案件高发，其核心危害在于经过算法优化的精准话术极易诱导冲动消费。

据介绍，“王建国”常在直播间里称呼观众为“宝贝姐姐”，并通过“你已经偷偷刷过去好几次了，这次就别当小透明了”“每隔几分钟我就会打开手机，查看你是否来了”等话术增强互动感。

记者翻阅相关视频的留言区中，常能看到类似“感谢建国弟弟，你帮助了姐姐，姐姐感激不尽”“你辛苦了。姐姐为你点亮红心，送一朵小红花”等内容。

“王建国”常许诺给“姐姐们”买房、和“姐姐们”过一辈子，情绪价值瞬间拉满。

值得注意的是，视频末尾，“王建国”总会提醒“姐姐们”购买其带货的商品，包括化妆品、黑芝麻糊等。

“建国弟弟”们是如何被生产出来的？记者近日以母婴博主身份电话联系了一家自称位于郑州的数字人直播服务公司。

公司周经理介绍，他们的核心业务之一是克隆主播形象和声音，打造“数字人直播间”。单个直播间的价格为4980元，如果支付9800元则可开通10个直播间。

周经理承认平台对“与人互动”的真实性有要求，完全使用数字人直播存在风险，她建议记者交替使用真人主播和数字人直播以规避审核。

周经理进一步透露，低成本批量复制的模式，可以通过 “贴牌”（OEM） 的方式向外扩散。她解释道，许多小型科技公司并无研发能力，便从其公司购买核心产品，贴上自身品牌和Logo对外销售，“我们主要to B，有1000多家公司客户”。

AI“明星男友”已是“重灾区”

一些不法分子甚至利用“AI换脸、拟声”等手段伪装成演艺界人士、专家学者、知名企业家等公众人物，骗取粉丝信任，实施诈骗。

2024年11月，江西一位老人来到银行办理银行卡，表示要到银行贷款200万元给自己的男朋友“靳东”拍戏。民警查看后发现老人所谓的大明星“靳东”男友是骗子冒充，视频也是由AI合成。

该案中，犯罪嫌疑人利用AI换脸和语音合成技术，在多平台批量创建仿冒知名演员“靳东”的账号，发布大量以“靳东”名义表达“爱意”和“关怀”的视频。这些高度逼真的伪造内容，欺骗了众多中老年女性粉丝。受害者深信自己与“明星”建立了恋爱关系，在对方以“投资”“应援”“解决困难”等借口诱导下，不惜倾尽积蓄转账汇款。

就连靳东本人都说：“一些喜欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。希望能建立更好的规则。”

去年年底，有网友提及这样一件事：家里的老人在浏览网络卖货视频时，看到了“张文宏医生”推广一款蛋白棒的内容，老人对此深信不疑，不仅下单购买，还转发到了多个群聊中。

这段AI合成的视频里，“张文宏医生”端坐着，反复介绍该产品，其声音也与本人颇为相似。经核查确认，这段视频是通过AI技术合成。如今，在微信视频号平台上已无法搜索到该账号，此前该账号商品橱窗页面显示，这款蛋白棒的销量已超过1200件。

同样深受其扰的还有雷军。 2024年国庆长假期间，短视频平台涌现大量“雷军AI配音”恶搞视频，内容涉及用伪造的雷军声音点评堵车、假期乱象等社会话题。这些视频多由用户通过AI语音生成平台制作，仅需输入文字即可克隆雷军声线。事后，雷军本人不得不专门发视频，呼吁大家不要再恶搞。

董婷婷告诉记者，除了公众人物，诈骗分子还惯于将AI数字人包装成“理财专家”“老中医”“情感导师”等权威角色，背后运作的实则是标准化骗局流水线。

识别这类陷阱，应牢记三大关键特征：一是账号内容高产却虚假互动；二是话术流畅动听却逻辑悖谬（如承诺“包治百病”“稳赚不赔”）；三是急于诱导脱离平台监管（如要求加微信或跳转小众平台交易）。

“真正的专业人士绝不会依赖工业化批量生产的‘流水线内容’广撒网，更不会利用焦虑情绪催促付款。”董婷婷说。

AI治理仍面临多重挑战

奇安信集团发布的《2024人工智能安全报告》中显示，2023年基于AI的深度伪造欺诈暴增3000%。

面对AI深度伪造欺诈的激增态势，相关整治行动迅速展开。今年2月，中央网信办启动“清朗行动”，将整治AI滥用列为重点任务之一。2月下旬起，各大短视频平台陆续关停部分“王建国”账号，清空相关视频。

“在处置‘王建国’案例时，平台回查处置相关视频4.4万条，对298个违规账号采取禁言措施。”抖音相关负责人向记者透露，为遏制风险扩散，团队不仅对“王建国”的形象、昵称添加管控，还针对其变体特征训练垂类识别模型，“比如有人换个‘建国哥’的昵称，或者调整虚拟人的发型，这些细微变化也能被模型捕捉到”。

各平台对数字人的监督也日趋严厉。快手电商收紧数字人直播，减少AI直播流量扶持。主播在微信视频号直播间“讲解和售卖虚拟人代播软件”也会被判定为违规。

作为技术落地的第一道防线，平台亟须承担更主动的监管责任。当内容的真实边界因技术而变得模糊，平台应生成显著提示信息，告知受众内容由AI生成。

不过，AI治理仍面临多重挑战。“现在AI生成内容越来越逼真，批量制作成本低，有些黑灰产团伙还会跨平台传播，给识别工作增加难度。”抖音负责人坦言，平台正联合行业机构优化技术，并通过发布《治理AI技术滥用专项公告》等，向创作者明确违规红线。

在监管层面，《人工智能生成合成内容标识办法》将于今年9月1日起正式施行，该办法规定，用户使用网络信息内容传播服务发布生成合成内容的，应当主动声明并使用服务提供者提供的标识功能进行标识。

各地政府部门也在积极探索规范路径，比如浙江出台《浙江省网络直播营销行为规范指引》，明文规定“不得采用技术手段删除、篡改、隐匿区分AI数字人标识”。

“技术本身无罪，防范之道在于时刻保持理性判断，让技术真正服务生活。” 董婷婷说。