当前，AI起号的内容鱼龙混杂，加上“AI幻觉”（指大语言模型编造它认为是真实存在的、甚至看起来合理或可信的信息，简而言之就是AI会“胡说八道”）的不可控性，AI账号也逐渐成为虚假内容的温床。
在“AI造”帅哥美女领域，存在不少擦边、造假等内容，大都低俗猎奇。且“胡说八道”的AI还会渗透到健康、教育、心理咨询等公共议题领域，对公众危害更甚。此前，央广网就曝光过一打着“外国幼儿教育专家”旗号的AI账号，借数字人的外衣，传播极端、绝对的思想，暗藏误导风险。
面对AI造假泛滥的现状，今年3月中旬，四部门联合出台《人工智能生成合成内容标识办法》，其中要求人工智能生成合成内容标识包括显式标识和隐式标识。新规自2025年9月1日起施行。
目前尚在新规执行的“空窗期”，关于“AI打标”仍存标准的罅隙。网络上不少“秘籍”会传授绕过平台“AI 打标”的经验，有的还会售卖预配置的镜像文件，用其生成的虚拟人形象可规避平台的AI内容强制标注机制。
业内人士也发现了当前的机制漏洞，“我做AI账号已经有近4个月了，发现只有当视频的播放量超200万时，才会进行人工审核，而由机器审核的视频很难分辨出是不是AI。目前发布的几十个视频中只有两个被检测出‘疑似AI’。”
针对这一现象，江力做出提醒，“各平台已普遍升级AI内容识别系统，要求对AI生成作品进行显著标注。若规避手段已经严重影响平台运营秩序，则可能构成不正当竞争。即使成功绕过目前各平台的监测，未来平台检测升级、《办法》实施后，已发布未删除的AI内容也需要根据《办法》进行合规处理，否则被平台检测出AI编辑痕迹将影响账号安全，甚至触发行政处罚。”
监管“紧箍咒”下 未来AI治理如何趋于“向善”？
在人工智能技术发展如潮涌的当下，AI变成了一把打开创作世界大门的新钥匙，通过“文生图、图生视频”的制作方式生成“万千世界”。
但“生成的世界”不知真假，技术模糊了虚拟与真实的边界，以致乱象丛生。当前，多方亮出监管利剑，释放出政策层面的明确信号，推动技术朝着健康有序方向发展。
4月底，中央网信办印发通知，在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动，共分两个阶段：第一阶段强化AI技术源头治理，清理整治违规AI应用程序，加强AI生成合成技术和内容标识管理，推动网站平台提升检测鉴伪能力；第二阶段聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容，假冒他人、从事网络水军活动等突出问题，集中清理相关违法不良信息，处置处罚违规账号、MCN机构和网站平台。
5月19日，抖音平台也发布公告，重点整治利用AI生成低俗猎奇视频、AI生成虚拟外国幼儿教育专家教授育儿内容、AI视频账号售卖教程、AI账号秘籍传授、引导规避平台AI标注、转让销售AI虚拟账号等行为。在平台站内，累计清理311条违规内容，针对15个严重违规账号进行了封禁。
整治AI技术滥用正在行动，奔着问题而去的同时也要注意到，AI这项新兴技术正在以不可抵挡之势解构劳动市场供需、重构生产创造场景，带来无限可能性。在机遇与挑战并存的未来，AI治理何去何从？仍有待进一步讨论。
在浙江大学传媒与国际文化学院副教授邱戈看来，“当前，AI技术正以一种挤破某种框架的方式涌现，但技术的监管存在一定的滞后和动态修正过程。对于哪些市场化行为是可以鼓励的、哪些明显违法行为需要明令禁止的，还需要进一步分类处理。同时，监管与发展也存在相互的对冲和结构性张力，处于一种非确定结果的博弈状态中，未来需要协同各方力量，在持续摸索中找到技术发展与治理的平衡状态。”
相比于学界的审慎包容，业界的态度则更为积极。刘亭亭认为，对使用者来说，AI做到了代替人工、减少开支、降本增效，是时代的改革浪潮下科技进入生活的大势所趋。“AI作为一种技术工具，本身是中性的，使用者的认知是最大的门槛。”未来，自媒体发展仍会和技术紧紧绑定，但“内容为王”始终是核心，在流量时代，保持内容真实是需要坚守的生产底线。
此外，随着《人工智能生成合成内容标识办法》等相关制度的不断完善，AI监管和发展的法治基础也将更加坚实。江力表示，“未来的监管导向将促进人工智能在具体应用场景中加快落地，逐步搭建法治化、伦理化、安全化的治理框架。重点防范利用人工智能技术制作传播虚假信息等风险行为，明确各参与主体责任，推动人工智能健康有序发展，鼓励注意力经济从‘流量收割’向‘价值创造’转型。”
■记者手记
站在人工智能技术呈指数级跃迁的今天，技术发展与安全监管成为数字时代的“一体两面”。
AI技术创新的强劲风潮席卷各行各业,展现出前所未有的高效生产力。同时，“野蛮生长”的技术也衍生了侵权造谣、虚假信息、灰产链条等隐患,给治理和监管带来挑战。
聚焦“AI+自媒体”领域，关于“AI起号”的整治行动，从中央网信办到各大社交平台都在轰轰烈烈地进行中，无一不折射出对于AI技术滥用的严管态度。
但需要注意的是，整治滥用行动并不是反对AI技术应用，而是以一种更加积极的修正方式，引导技术在规范中寻求发展的空间。诚如邱戈老师所言，在当下这种“非确定结果的博弈状态”中，我们需要保持思忖，找到鼓励创新与风险防范的平衡。
构建“技术向善”生态环境、让AI服务和应用更规范，这是需要持续探索的时代课题。期待在创新与治理的“平衡木”上，我们将走向一个更加清朗的数字未来。