“AI骗局”横行 ，人工智能安全亟待加码丨AI安全观察②

21世纪经济报道记者孔海丽、实习生张奕丹 北京报道

图片来源于网络，如有侵权，请联系删除

人工智能的“双刃剑”效应日益明显。

图片来源于网络，如有侵权，请联系删除

AI技术在引发科技变革、提升生产力和效率等方面展现了充分的潜力，但与此同时，它带来的安全隐患也越来越凸显。利用深度伪造制造假象、操纵舆论甚至进行欺诈活动已经侵扰了正常的公众生活，“AI骗局”的新手段层出不穷，让人防不胜防。

同样不容忽视的是，恶意AI大模型的出现、网络钓鱼攻击以及LLM自身的安全风险等，在不同层面上放大甚至催生了新的安全隐患，给经济安全、信息安全、算法安全、数据安全等带来了威胁。中国银河证券分析师认为，人工智能在知识产权、劳动权益、伦理准则等方面存在侵权风险。

而随着我国《全球人工智能治理倡议》、美国《关于安全、可靠和值得信赖的人工智能的行政命令》以及欧盟《人工智能法案》等与人工智能相关的法案发布，AI安全的相关法律规定得到完善，在AI安全问题上的法律实践有望逐步落实。

宏观上，监管层已经“出手”。微观上，目前的形势也对各主体也提出了相应的要求。在企业层面，金社研究院分析师指出，AI领域的企业应当考虑搭建相应的AI安全与合规体系，从而对于AI的安全与合规问题形成系统性保障；对公民个人而言，对虚假信息保持警惕是面对威胁加强自身防护的第一步。

“无孔不入”

生成式AI面世以来，看得见和看不见的变革和颠覆正在持续进行着，因为其便捷性和应用的广泛性，AI渗透到人们工作生活的方方面面，而与之相对应的是AI滥用风险的日益显露。

今年1月，麻省理工科技评论（MIT Technology Review）公布了基于2778名专业研究人员对于人工智能未来看法的调查结果。对于AI可能给人类带来的风险，结果显示，以深度伪造为代表的AI制造传播虚假信息和操纵舆论、加剧经济不平等和被危险团体恶意使用等问题受到较多关注。

奇安信《2024人工智能安全报告》则指出，AI恶意使用对现有格局的影响主要有两类：一个是放大现有威胁，即极大提高现有恶意活动的效率、扩大恶意活动的规模，如钓鱼邮件和社会工程学的恶意活动；另一个是引入新型威胁，即引入新的攻击对象和模式，比如AI模型自身的漏洞，以及借助AI生成的音视频内容来进行诈骗。

这其中，深度伪造“劣迹昭著”。

深度伪造(deep fake)是一种使用人工智能技术合成人物图像、音频和视频，使得伪造内容趋于真实的技术，可能滋生多种新型违法犯罪，例如利用AI合成虚假的人物图像或色情视频进行侮辱诽谤、敲诈勒索、操控舆论以制造或推动网络暴力等对社会安全造成了威胁。

麻省理工科技评论在去年12月发布了文章《六个问题将决定生成人工智能的未来》，其中就提出了“AI造假的风险有多大”的问题。2023年一些用AI制造的假照片在网上疯传这一现象引起了大众的担忧，部分甚至涉及教皇、特朗普等敏感人物。

（被数百万人看到和转发和假照片 来源：MIT Technology Review）

随着生成式AI全身动作生成等技术的进步，深度伪造内容的可信度也进一步增加。利用AI工具制作虚假色情视频进行传播、勒索等恶意行为引起广泛关注。去年6月，美国网络犯罪投诉中心（IC3）发布了公共服务公告，美国联邦调查局（FBI）警示公众警惕恶意行为者利用受害者社交媒体上发布的图像和视频来AI篡改，进行性勒索和骚扰。

其次是恶意人工智能大模型带来的威胁。

恶意人工智能大模型是指由非法组织或不法分子操纵，借助开源模式模仿ChatGPT等合法模型，基于有害语料库训练而生滋生的、专门用于网络犯罪、诈骗等非法行为的一类非法大模型。

据悉，首个恶意大模型WormGPT 于2021年7月在暗网发布，主要用于生成复杂的网络钓鱼和商业电子邮件攻击及编写恶意代码。

恶意大模型产生的直接目的就是用于各类非法行为，带来的威胁具有明确指向性。恶意大模型主要运行于暗网，具有更强的隐蔽性、危害性，对国家安全、行业创新、生产生活等方面造成危害。

（恶意人工智能大模型典型代表  来源：国家信息中心）

国家信息中心指出，恶意AI大模型给AIGC的安全治理带来了新的严峻挑战。其极容易受到核心技术掌控方操纵，可能对行业创新造成新冲击、对生产生活方式等带来新挑战。而目前在AIGC政策具体实施层面还存在市场形势判断难、协同治理能力不足等问题。

AI与数据和算法联系密切，因而也带来了潜在的安全隐患，主要涉及数据的隐私与保护、算法偏见与歧视和跨境数据流通三方面。

一方面，AI在与用户交互过程中可能收集许多私密或敏感数据，这些数据也被用于训练AI模型。这些数据包括但不限于个人身份信息、位置数据、消费习惯、甚至是生物识别信息。如果它们没有得到充分保护或被不当处理，可能会导致严重的隐私泄露，进而损害个人权益，甚至威胁到社会的公共安全。另一方面，AI可基于其采集到无数个看似不相关的数据片段，通过深度挖掘分析得到更多与用户个人信息或隐私相关的信息，导致现行的数据匿名化等安全保护措施无效。

算法偏见和歧视可能导致决策不公。例如AI招聘工具根据其以往的训练数据，存在歧视女性或其他群体的可能性，这使得AI在决策过程中发生偏向某一群体或对特定群体产生负面影响的行为。

同时，根据部分AI产品的运作原理，用户在对话框进行交互时，相关问答数据可能会被传输到位于境外的产品开发公司，其间数据的跨境流动可能会引发数据跨境安全问题。

（数据与算法安全隐患  来源：金杜研究院，中国银河证券）

在此基础上，AI产品对算法、算力和数据的高度依赖，可能导致科技企业的寡头垄断。

而除了AI带来的这些威胁，LLM（Large Language Model）自身也存在安全风险。《2024人工智能安全报告》指出，AI与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。

OWASP研究发布了LLM存在处理输入不安全、训练数据投毒、供应链漏洞、敏感信息披露、过度依赖等10大安全漏洞，腾讯朱雀实验室也发布了《AI安全威胁风险矩阵》（以下称“矩阵”）。矩阵以全生命周期视角来看待人工智能领域可能存在的各类安全问题，涉及环境接触、数据搜集整理、模型训练等AI模型创建到投入使用的全过程阶段，指出AI在各个环节可能存在的潜在风险，包括环境接触阶段的Docker恶意访问、模型使用阶段的数据泄露攻击等等。

（AI安全威胁矩阵 来源：https://matrix.tencent.com/detail）

需要注意的是，硬件传感器相关威胁带来的对人类身体健康甚至生命安全的侵害，则是更加直接的。高度自治的AI系统，如无人驾驶汽车、医疗机器人等，一旦出现数据泄露、网络连通性差等问题，可能会造成严重的安全事故。

2021年2月，欧盟网络安全局（ENISA）和联合研究中心（JRC）发布《在自动驾驶中采用人工智能的网络安全挑战》报告。报告总结了四种网络安全威胁，一是传感器卡塞、致盲、欺骗或饱和，攻击者可以通过这种方式操纵人工智能模型，降低自动决策的有效性; 二是DoS/DDoS 攻击，中断自动驾驶车辆可用的通信通道，使车辆无法看到外部世界，干扰自动驾驶导致车辆失速或故障；三是操纵自动驾驶车辆的通信设备，劫持通信通道并操纵传感器读数，或者错误地解读道路信息和标志，四是信息泄露。

此外，AI带来的威胁还包括利用AI自动化攻击、恶意软件、钓鱼邮件、口令爆破、验证码破解、社会工程学的技术支持等，种类繁多，技术复杂。

风险和利好是同在的，在现代社会几乎是“无孔不入”。

AI安全治理在路上

在立法层面，AI安全已经踏出了重要的一步。

去年11月，在首届人工智能安全全球峰会上，中国、美国、欧盟、英国在内的二十余个主要国家和地区共同签署了《布莱切利宣言》，这是全球首个人工智能安全声明。

今年，全球第一部关于人工智能的综合法律《人工智能法案》（以下简称《法案》）已经在上周由欧洲议会正式投票批准通过，相关条款将分阶段实施。《法案》根据风险级别对人工智能系统进行分类，以界定对人的健康和安全或基本权利构成重大风险的 "高风险 "人工智能系统，而对于某些特定的人工智能系统，只提出了最低限度的透明度义务。其主要目标之一是防范任何人工智能对健康和安全构成威胁，并保护基本权利和价值观。

在经历深度伪造所带来的一系列负面社会事件后，美国政府于 2023 年 10 月底签署了《关于安全、可靠和值得信赖的人工智能的行政命令》。该行政令包含建立AI安全的新标准、保护美国民众隐私等8个目标。中国银河证券分析师认为，该法案侧重于安全与隐私的高度保护，防止人工智能导致的不公平与歧视加剧，保障个体权利的同时，提升政府在人工智能数据与技术方面的管控。

我国将引导技术发展与加强监管“并驾齐驱”，致力于有关部门和行业共同完善人工智能监管体系，相关法律文件相继推出，为引导人工智能发展和监管提供法律依据。

2023 年 6 月，国务院宣布“人工智能法”列入立法议程。2023年10月，国家互联网信息办公室（“网信办”）发布《全球人工智能治理倡议》，围绕人工智能发展、安全、治理三方面系统阐述了人工智能治理中国方案，强调各国应在人工智能治理中加强信息交流和技术合作，以共同促进AI治理规范和行业标准的框架搭建。

落实到行业层面，近日，包括图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等在内的数十位中外专家，在北京联合签署了《北京AI安全国际共识》，要求任何人工智能系统都不应在人类没有明确批准和协助的情况下复制或改进自身，包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。“协助不良行为者”则是指所有人工智能系统都不应辅助提升其使用者的能力，使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约或执行导致严重财务损失或同等伤害的网络攻击领域专家的水平。

以上法案和条令等均强调了AI在社会安全、算法安全、科技伦理安全等存在的风险，并分别给出了相应的指导和建议。

在打击深度伪造等AI虚假信息生成方面，拜登政府出台了相关的规定和措施，要求AI生成内容加上标识和水印，并保护用户免受聊天机器人的欺骗。欧盟委员会副主席乔罗娃（Vera Jourova）也于去年6月宣布，要求向谷歌、抖音国际版、微软、Facebook和Instagram母公司Meta等超过40家科技企业检测人工智能生成的图片、视频和文本，向用户提供明确的标记。在欧盟《法案》中，也要求生成深度合成内容的AI系统使用者需要对外告知该等内容是由AI生成或操纵的，而并非真实内容。

同时，我国、美国以及欧盟等国家和地区均将数据安全视为AI安全方面最为重要的问题之一。据金杜研究院分析师整理，欧盟《法案》要求针对高风险的AI系统在系统全生命周期落实透明度要求，并且要求AI系统提供方向下游AI系统部署方、分销商等披露特定信息。

中共中央办公厅、国务院办公厅于2022年发布了《关于加强科技伦理治理的意见》，该意见是我国首个国家层面的、专门针对科技伦理治理的指导性文件，提出了科技伦理治理原则以及基本要求。2023年10月新发布的《科技伦理审查办法（试行）》对于科技伦理审查的基本程序、标准、条件等提出统一要求，标志着我国AI伦理治理监管体系建设进入了新阶段。

AI安全的法律法规建设已经提上日程，各项法案和规定的出台逐渐给AI这个新兴领域划出了“分界线”。

AI什么可以做、什么不应该做、什么地方应该加以规范、什么地方应该严令禁止，都会在这些法律事件中逐步明晰。但这些措施是否有效，是否及时，尚需要检验。

在针对AI 带来安全威胁的具体的应对措施上，各界看法不一，但大体有一个一致的方向，即分行分业、协同治理。

金杜研究院分析师认为，当前我国的实践中，AI领域的企业应当考虑搭建相应的AI安全与合规体系，从而对AI的安全与合规问题形成系统性保障。在内部合规管理体系上，建议AI领域企业根据自身实际情况判断是否需要办理特殊资质证照，在外部合作层面，提出企业应当考虑AI安全方面的要求，在互联网应用层面指出企业在涉及AIGC平台等互联网应用时应考虑到其对信息安全、数据安全造成的风险，修订用户协议、隐私政策等文件。

AI安全是一个不容忽视又实时更新的问题，道远路长，也或许将有超出现有认知的挑战，需要每一个主体的不懈求索。