有图未必有真相！AI涉灾谣言如何破？

来源：中国应急管理
前不久，全国多地遭受极端天气的影响，尤其是在进入主汛期后，一些地区经历了大范围极端高温、破纪录的强降雨及变化莫测的大风天气。这些极端天气引发了洪涝、山体滑坡等自然灾害，给人民群众的生活和生产活动带来了严重影响。令人气愤的是，有人却趁机利用网络、人工智能（AI）技术制造并散布涉灾谣言，进一步扰乱了本已紧张的信息环境。涉灾涉险谣言为何存在，近年来人工智能技术的发展对涉灾涉险谣言产生了哪些影响，如何遏制涉灾涉险谣言的制造与传播？
AI加持成汛期涉灾谣言新趋势
如果在每年的七八月份浏览诸如中国互联网联合辟谣平台等辟谣平台就会发现，涉高温、汛情、灾情等领域谣言呈多发频发态势。
今年7月以来，由于强降雨导致的洪水、内涝、泥石流等自然灾害不断升级，给民众的生命财产安全带来重大损害，相关谣言也甚嚣尘上，干扰应急管理工作。近期，互联网上先后出现了“洪峰过境，重庆洪崖洞被淹”“湖南长沙暴雨致多辆摩托车被淹没”“四川达州洪灾致多人死亡”“河南邓州暴雨死了一千多人”等谣言，影响极其恶劣。查阅梳理近年来涉灾涉险网络谣言类型，可大致将其归纳为三类。
一是虚构灾情和人员伤亡。一些网民编造或夸大受灾地区的实际情况，如错误报告洪水的高度、受灾人口的数量或财产损失的程度，传播未经证实的人员伤亡信息，包括死亡人数、失踪人数等，引发民众恐慌焦虑情绪。例如，8月4日，一名江苏网民发布视频称，四川雅安芦山县发生一起严重的山洪灾害，目前已有三十多人失联。芦山县委网信办随后发表声明，澄清经核实，芦山县近日未发生山洪灾害，也无人员失联等情况。
二是发布误导性视频或图片。最常见的手法是“张冠李戴”“移花接木”式操作，即将以往灾害或其他不相关事件的照片或视频伪造成当前灾害现场的情景，谎报灾情，误导公众判断。例如，6月19日，某网友在短视频平台发布一条消息，称广西桂林市灵川县九屋镇发生了严重泥石流。经桂林网信办核实，网传视频实际上是2021年7月3日发生在日本热海市伊豆山山体大规模泥石流的视频。该网友将他地视频移花接木，严重误导了公众。
三是编造不实救援信息。如发布虚假的救援需求、捐款账号或志愿者招募信息等，不仅消耗宝贵的救援资源，还可能延误真正的救援行动，给救灾工作带来负面影响。例如，2023年，有不法分子未经许可，擅自使用浙江省嘉兴市红十字会的账号，在网络上以“捐款返利”的名义实施诈骗行为。
不久前，湖南省互联网举报中心微信公众号还公布了一个案例：网民杨某运用AI技术将河水与杨梅果树图片拼接在一起，造成大雨涨水淹没果树的假象。逼真的画面导致部分群众信以为真，引发恐慌情绪。案例中所提到的AI技术便是近期用于制作涉灾涉险谣言的新手段之一。
近年来，随着生成式人工智能、视频合成等技术的发展，利用AI等新技术制造的涉灾涉险谣言案例在全国多地频发，相较于传统的涉灾涉险谣言，它们具有制造门槛更低、迷惑性更强的特点。
4月12日，公安部公布了10起打击整治网络谣言违法犯罪典型案例，“江西公安机关查处一起MCN（多频道网络）机构使用人工智能工具造谣案”和“重庆公安机关查处一起使用人工智能工具编造‘爆炸事故’谣言案”位列其中。江西南昌一家MCN机构被曝出利用先进的AI软件，通过输入关键词自动收集网络信息，进而生成数百字至上千字的文章。这些文章看似信息丰富，实则内容多为捏造，并配以看似与事件相关的虚假图片，大大增加了其误导性。这家机构所制造的虚假文章产量最高时一天能产出4000篇至7000篇。当前AI技术的发展已经到了一个相对成熟的阶段，许多AI工具和服务已经商业化并且易于获取，还可以提供免费或低成本的版本，不需要专业的编程技能或者高级的技术知识，普通人也可以使用现成的软件或在线服务来生成文本、图片或视频，大大降低了制作谣言的经济成本和时间投入。
AI还可以根据热点事件快速生成相关的谣言内容，自动拼接信息，形成看似合理的叙述，增加了信息的真实感。例如，2024年1月23日，违法行为人杨某某为获取流量牟利，搜集网络上的相关信息后，利用AI软件生成了“云南山体滑坡灾害已致8人遇难”的虚假新闻信息，并发布在网络平台上，造成不良社会影响。记者浏览了杨某某发布的虚假消息，这条出自AI之手的谣言语言精练、信息全面、用词专业，乍一看和日常官方媒体发布的新闻消息十分相似，很容易误导读者。
涉灾谣言为何经久不绝
探究制造、传播涉灾涉险谣言行为的出发点，利用人们的好奇心和关心心理，通过制造轰动效应的内容来吸引公众注意，提高社交媒体账号的浏览量和粉丝数，进而获得商业利益是许多虚假信息发布者的主要目的之一。例如前文提到的“江西公安机关查处一起MCN机构使用人工智能工具造谣案”，初步估算该公司每天收入超过1万元。不久前，一网红在抖音平台发布两条汛情视频，显示有车辆被洪水冲走，并声称因近期强降水，湖南永州多地暴雨涨水。6月26日，永州市冷水滩公安分局肖家园派出所民警经依法询问，发现相关视频是杨某为了博取眼球、吸引流量，罔顾事实从网上下载外地洪水视频后自行配文发布至网络账号，并非当地实情。这种为了博取关注、流量为王、利益至上的行为让杨某最终受到了行政处罚。再有一些造谣者可能出于对现实不满或其他情绪原因，抱着“看热闹不嫌事大”的负面心态，通过恶意散布虚假负面信息来表达自己的态度或情绪。更有甚者，试图通过制造混乱来影响政府形象、政策决策或是社会舆论走向。此外，还有一部分人并非故意造谣，而是无知无畏，未经核实就转发分享来源不明的信息。
人类自诞生之日起便承受着各种自然灾害的威胁和打击。古今中外，每当发生自然灾害时，谣言常常“相伴左右”。例如，在《草木子》记录了这样一起谣言事件：元朝至正十四年，南方地区遭遇罕见的大雨，持续下了80多天，泽国一片，造成洪涝和饥荒灾害。当时有谣言称大量潜藏在地底下的龙趁着这场大雨钻了出来，许多人对此深信不疑，十分恐慌。1978年，希腊的塞萨洛尼基市发生3次地震后产生了“市中心将发生大地震”的谣言，这座城市的70万人口几乎逃走大半，人们纷纷低价抛售固定资产、抢购食品。
2019年，当超强台风“利奇马”登陆中国时，社交媒体上出现了“街头惊现鳄鱼”“某天晚7点会将地面井盖全部打开以便排水”等谣言，引发了民众不必要的恐慌情绪。2023年甘肃积石山发生6.2级地震，其间甘肃、青海两地共依法行政处罚造谣抗震救灾网民14人、批评教育121人。特别是“捐赠甘肃震区的加拿大鹅羽绒服被倒卖谣言”在网络上广泛传播，造成恶劣影响。2010年还曾发生过这样一件“奇事”：当时网络上出现谣言称山西太原等城市可能会发生破坏性地震，农历正月初八夜间1时到早上7时，山西省晋中、吕梁、太原等地几十个县市、上千个村落、近千万人家灯火通明，寒风中人们半夜不睡觉挤上街道“等地震”。
为什么地震、洪水等自然灾害相关的谣言会如此“有市场”呢？因为人们对于自然灾害有着天生的恐惧感，这种恐惧会让人对相关消息更加敏感。当面临可能的灾难威胁时，人们往往会倾向于相信最坏的情况，从而加剧了恐慌情绪的传播。且灾害发生前后，官方信息往往不能及时准确地传达给所有人，这就为谣言提供了滋生的空间。特别是在信息闭塞或网络不发达的地区，人们更容易相信非正式渠道的消息。加之部分人群可能缺乏足够的科学知识来辨别信息的真实性，以及存在从众心理，这些因素共同助推了谣言的滋生与传播。
“一个流传广泛的地震谣言所造成的损失，不亚于一次中等强度的地震。”涉灾涉险不实信息不仅会通过渲染极端恶劣的天气状况或灾难后果制造不必要的恐慌情绪，还会占用本已紧张的信息资源通道，甚至掩盖官方发布的准确信息以及受灾群众通过网络寻求帮助的真实需求。此类行为不仅损害公共利益，给社会的公信力带来负面影响，而且可能对抢险救灾、应急处置工作产生困扰。
智能审核、人工复核须组合发力
在面临自然灾害时，维护信息的真实性至关重要。俗话说，造谣一张嘴，辟谣跑断腿，尽管上文所提到的造谣案例中的造谣者均已受到处罚，各大网站平台也积极对相关谣言进行了辟谣，但不能排除一些网友只看到谣言、没看到澄清的情况，谣言造成的影响并不能被完全消除。
涉灾涉险谣言的迅速扩散不仅容易误导公众，还可能引发恐慌、资源错配甚至次生灾害。因此，提升公众对AI谣言的辨识能力，加大网络平台的监管力度，成为当前亟待解决的问题。
为治理AI造假乱象，深化网络生态治理，近年来，相关部门和平台出台多项政策和措施，与AI相关法律法规的逐步完善，各方的权责逐渐明晰。
2021年12月和2022年11月，国家互联网信息办公室等部门先后发布《互联网信息服务算法推荐管理规定》和《互联网信息服务深度合成管理规定》，针对利用人工智能算法从事传播违法和不良信息、侵害用户权益、操纵社会舆论等问题，加强安全管理，推进算法推荐技术和深度合成技术依法合理有效利用。
其中，《互联网信息服务深度合成管理规定》要求深度合成服务提供者和使用者不得利用深度合成服务制作、复制、发布、传播虚假新闻信息，并指出深度合成服务提供者应当建立健全辟谣机制，发现利用深度合成服务制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告。
2023年7月国家互联网信息办公室等部门出台的《生成式人工智能服务管理暂行办法》对提供者和监管部门都做出了要求。第12条规定提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。第14条规定提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。提供者发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。第十六条规定网信、发展改革、教育、科技、工业和信息化、公安、广播电视、新闻出版等部门，依据各自职责依法加强对生成式人工智能服务的管理。
今年4月，中央网信办秘书局发布《关于开展“清朗·整治‘自媒体’无底线博流量”专项行动的通知》，要求加强信息来源标注展示。使用AI等技术生成信息的，必须明确标注系技术生成。发布含有虚构、演绎等内容的，必须明确加注虚构标签。
以抖音短视频平台为例。2023年5月10日，抖音发布《关于人工智能生成内容的平台规范暨行业倡议》称，人工智能生成内容存在识别难的特点，也带来了虚假信息、侵权等问题。参照《互联网信息服务深度合成管理规定》等法律法规，抖音提出十一条平台规范与行业倡议，其中第四条为发布者应对人工智能AI生成内容进行显著标识，帮助其他用户区分虚拟与现实，特别是易混淆场景。所以对疑似AI生成的内容要进行显著标识。当前，针对疑似使用AI技术的内容，抖音会在作品下方标注“内容疑似AI生成，请谨慎甄别”的提示。还有一些平台会对包含虚构、演绎等环节的内容，明确加注虚构标签，对违规账号采取“封号”等举措。
一位长期关注人工智能领域的专家介绍，关于短视频和图片的谣言识别工作，其实在十几年前就已经开始研究。当前相对成熟的技术是依靠检索和比对的方式进行甄别。因为视频、图像谣言经常是把其他时间或者其他地区的素材“张冠李戴”拿来进行拼接使用，依靠人工智能技术可以识别解决很大一部分问题。通过收集覆盖各个不同国家和地区的各种数据、前推几年甚至十几年的信息，从时间到空间采集和保存足够多的数据后，大部分谣言都可以通过检索识别相似图片、相似视频帧的方式被发现。
这位专家同时也提到，如果是用AI技术纯粹新生成的造谣视频则很难甄别。最近几年基于多模态大模型生成技术的发展，很容易生成一些全新的短视频或图片，用这些素材制造谣言的技术路线就发生了改变。这些新技术能够产生从来没有在网上流传过的信息，导致识别难度大大增加，以往基于检索和比对的谣言甄别技术则收效甚微。所以对于新的生成式模型产生的虚假内容如何甄别，从技术层面来讲当前还在探索之中。
中国科协辟谣平台特聘专家张英认为面对AI生成的涉灾涉险谣言的挑战，提升公众辨识能力与强化网络平台监管策略是相辅相成的两个方面。张英建议要重点做好四方面的工作：一是传播科技进展，给人民以希望；二是辟谣解释误区，救人民于水火；三是关注落后地区，关注易损脆弱性；四是注重公众参与，增加公众获得感。
针对网络平台监管策略，张英给出了如下建议：一是智能审核与人工复核相结合。网络平台应引入先进的AI技术辅助内容审核，提高审核效率和准确性。同时，建立人工复核机制，对疑似谣言进行二次审查，确保审核结果的公正性和权威性。二是建立快速响应与辟谣机制。一旦发现涉灾涉险谣言，网络平台应立即启动快速响应机制，迅速删除谣言内容，并通过官方渠道发布辟谣信息。同时，政府部门、权威媒体等建立联动机制，共同打击谣言传播。三是加强用户行为管理与引导。网络平台应与加强对用户行为的监管和管理，对恶意传播谣言的用户进行处罚和警示。同时，提醒公众要通过权威途径获取消息，通过弹窗提示、用户教育等方式引导用户理性参与信息传播，共同维护良好的网络环境。四是推动数据共享与跨平台协作。鼓励不同网络平台之间建立数据共享机制，实现信息共享和协同作战。通过跨平台协作，加强舆情监测、可以更全面地掌握谣言的传播动态和范围，为制定针对性的应对措施提供有力支持。
针对公众如何辨识AI谣言的策略，张英也给出了一些建议。
一是增强信息素养教育。公众应接受系统的信息素养教育，学习如何辨别信息来源的可靠性，理解AI生成内容的局限性和潜在风险。平时相关行业主管部门、主流媒体、科普专家也应该通过多种形式开展科普宣教，例如中国科协打造了辟谣平台，针对生命健康、食药与应急安全等老百姓关注的领域开展辟谣工作、科普宣传，中央网信办也开展了年度辟谣工作榜单发布等工作，取得了较好的效果。同时，有关部门应该通过案例分析、模拟演练等方式，提高公众对谣言的警觉性和辨识能力。
二是多渠道验证信息。鼓励公众在面对涉灾涉险信息时，采取多渠道验证的方法。除了官方媒体和政府机构发布的信息外，还可以利用搜索引擎、社交媒体上的官方账号以及第三方事实核查机构等资源，综合判断信息的真实性。以地震预报为例，短临预报仍是世界难题，相关法规规定，只有省级以上政府才有发布相关消息的权限，切不可轻信地震谣言。
三是培养批判性思维。培养公众的批判性思维，学会对信息进行独立分析和评估。对于过于夸张、情绪化或缺乏具体证据的信息，要保持谨慎态度，不轻信、不传播。就地震而言，地震并不可怕，只要建筑设防达标或者准备充分，一般不会造成灾难性后果，无需过度恐惧。同时，应急避险方法而言：没有放之四海而皆准的应急避险方法，公众应该科学思考，因地、因时、因人制宜面对不同场所、不同大小的火灾，如何应对也应该科学思考、处置。
作者：本刊记者 魏思佳
来源：《中国应急管理》杂志2024年第8期原标题《“有图有真相”的涉灾谣言如何破——浅析AI技术带来的挑战和机遇》