欧盟新规虽强制标注AI生成内容,却可能让深度伪造内容更难识别
随着深度伪造内容在全球泛滥,欧盟正在出台举措,帮助公众分辨内容真伪。
欧盟近期开始对科技企业实施透明度义务,要求企业对由其人工智能系统生成、且刻意做得足以以假乱真的图片、视频、音频作出清晰标注。
澳大利亚等其他国家仅建议AI开发者对AI生成内容进行标记,方便公众识别;欧盟的要求比这类倡议更进一步。这点十分关键:相关研究表明,面对高水准AI生成内容时,人类分辨真假的能力,几乎和抛硬币猜正反面差不多。
但欧盟这套方案真的能奏效吗?强制标注AI生成内容会不会带来意料之外的副作用?它是否反而会让我们更容易被虚假内容欺骗?

图片来源:Unsplash;CC0 公有领域
一套专用标识
《欧盟人工智能法案》第50条于8月2日正式生效,对提供、部署AI系统与AI内容的企业设置多项透明度义务。
义务包含:凡是模仿真实人物、实物、地点、实体或事件的AI生成/篡改图片、音频、视频,必须标注其为AI生成或经过篡改。
涉及公共利益、未经过人工审核与编辑把关的AI生成文本,同样需要标注说明。
欧盟设计了一套专用标识,看起来高度写实的AI内容必须使用该标识进行标记。
- 音频类深度伪造内容,需要在音频开头加入简短的语音提示声明。
- 用户首次浏览内容时,标识必须清晰可见;标识不得做成遮挡画面的悬浮弹窗,需要嵌入内容文件本身,这样即便内容被转发、下载,标识依然保留。
企业可以选用这套欧盟官方标识,不作强制;但法案要求的内容披露义务,企业必须履行。
值得注意:如果AI内容明显属于艺术创作、讽刺作品或是虚构内容,披露要求可以适度灵活,在不破坏作品观感、不干扰欣赏体验的前提下告知受众即可。
欧盟新的透明度规则,还要求AI企业为自家系统生成甚至经过系统处理的全部内容,添加机器可读的隐形水印。
为遵守法案,头部AI企业Anthropic表示:8月2日之后在欧盟上线的所有Claude对话大模型,都会支持机器可读标记;同时企业也在为旧版本Claude模型补加水印。
该法案管辖范围覆盖欧盟境外企业:只要其产出的AI内容会被欧盟用户浏览,就受法案约束。违规企业最高可处以1,500万欧元(折合2,450万澳元)罚款,或是全球年度总营收的3%,二者取较高值。
但法案不适用于个人非职业、私人用途创作的内容。因此,在部分AI生成内容的监管落地层面,法案存在局限性。
标签可能产生适得其反的效果
即便标签完全按规定添加,我们也需要考量普通用户的实际反应。
AI标签本意是帮人们识别合成内容,但有可能出现“反冲效应”:干预措施带来与初衷完全相反的结果。
当人们习惯看到带有AI标签的合成内容,就会下意识认为:没有标签的内容就是真实内容。而这恰恰存在巨大风险——蓄意造假的恶意主体,几乎不会主动标注自己使用了AI。
政府试图依靠标签披露来保护民众,反而会造成大众对网络内容降低思辨意识。一味依赖标签,会让人们更容易中招,被那些未做标注的恶意AI内容欺骗。
研究表明,仅仅打上“AI生成”标签,远不足以完成信息披露。
AI提示标注出现的时机、位置,都会影响人们对内容的判断。也就是说,披露是否有效,不只取决于有没有标签,更取决于用户如何解读、看待这个标签。
关键一点:标签只是人们判断网络内容可信度的参考线索之一。研究同时发现,一旦内容开始病毒式传播,或是评论区言论在佐证内容观点,人们就更容易被虚假信息蒙蔽。
这类来自社交环境的线索,会和真伪提示相互博弈,甚至压倒AI真伪标记的作用。
不能只靠标签,还要提升AI媒介素养
人们不能单纯依靠标签分辨AI生成内容,还需要留意各类破绽:人物面部动作、表情、语音、声线出现违和与矛盾之处。
但随着AI技术迭代,这些破绽会越来越难以察觉。因此还需要关注:内容是谁创作、转发的,消息来源是否可信,内容逻辑是否成立,信息能否通过其他渠道交叉核验。
培养这类AI媒介素养至关重要。
AI标签能够起到辅助作用,但绝不能替代对网络内容的批判性思考。合成内容与真实内容的边界日益模糊,各国政府与科技企业应当投入更多资源推广AI媒介素养教育,帮助大众对网络所见信息做出理性判断。
欢欢@盖世汽车供应链
悠悠@盖世汽车
豆豆@盖世汽车





