因为最近一直在做大模型的一些事情，就大模型，今天做一个关于大模型安全的分析，不涉及到核心理论研究，只是通过这种方式来跟大家交流一下，AI很好用，但是AI也能成为你的威胁。尤其是AI安全也是网络空间安全的一种，这学期有AI课，结合现在大模型的强度和未来发展方向，也给大家提供一条新的就业道路（AI安全岗）。
人工智能安全
首先来了解一下人工智能安全有哪些
人工智能安全大致可以分为以下三类：人工智能内生安全、人工智能衍生安全、以及人工智能助力安全。
人工智能内生安全
由于技术本身的脆弱性所引发的智能系统本身出现的安全问题，其作用对象是系统本身。理论上，任何一个智能系统的组件，如训练所使用的人工智能框架、训练数据、模型结构等，都有可能出现安全问题。
想象一下，你要造一辆智能自动驾驶汽车。这辆车就是你的“人工智能系统”
造车的三个核心组件（对应AI系统的三个核心）：
设计图纸（模型结构）：决定了这辆车是轿车还是SUV，用什么引擎，刹车系统怎么设计。
原材料（训练数据）：用来制造各个零件的钢铁、橡胶、芯片等。
生产线（人工智能框架）：比如特斯拉的工厂流水线，负责把图纸和原材料变成真车。
“内生安全”问题出在哪里？
问题不在于有人半路抢劫这辆车（那是外部攻击），而在于这辆车从被造出来的那一刻起，自己就带着“先天疾病”或“设计缺陷”。这些病根来自上面三个组件的任何一个
1. “原材料”被投毒（训练数据问题）
比喻：你采购的刹车片钢材里，被人恶意掺进了一种特殊杂质。平时开车没问题，但只要连续刹车10次，钢材就会过热断裂。
对应AI问题：这就是 “数据投毒” 。攻击者在训练数据里偷偷加入一些“带毒样本”。比如，在训练“停止”标志的识别数据中，偷偷加入一些贴了特定小贴纸的停止标志图片。导致训练出的AI模型，平时认得出正常的停止标志，但一看到贴了那个小贴纸的标志，就认不出来了。车本身（AI模型）学会了错误的规则。
2. “设计图纸”有致命缺陷（模型结构问题）比喻：工程师在设计刹车系统时，犯了一个低级错误，把油路管道设计得太细，在极端情况下会供油不足导致刹车失灵。
对应AI问题：某些模型结构（如特定的神经网络架构）可能存在算法层面的脆弱性。比如，更容易被“对抗性样本”欺骗——就像在停止标志上贴一些人眼几乎看不出的小斑点，就能让自动驾驶系统把它看成“限速标志”。这是模型“大脑”天生的认知漏洞。
3. “生产线”有漏洞（框架/工具链问题）比喻：你使用的机器人焊接生产线，其控制软件存在一个漏洞，导致每生产1000辆车，就会有一辆车的底盘焊接不牢。
对应AI问题：训练AI所依赖的底层框架（如TensorFlow、PyTorch）或开源代码库存在安全漏洞。攻击者可以利用这个漏洞，在模型训练过程中植入后门。比如，让一个语音识别模型，平时工作正常，但只要听到一段特定的超声波指令，就会执行恶意操作。问题出在“制造过程”本身被污染了。
为什么要有这个内生安全
因为这是所有AI安全问题的“根”。如果不解决内生安全，你在外部修筑的任何防御工事，都像是建立在流沙上的城堡，一推就倒。
我们可以从四个层面来理解为什么必须要有“内生安全”：
1. 技术层面：这是最底层的“信任基石”
传统安全 保护的是系统的大门和围墙（比如网络防火墙、访问控制）。假设系统内部（模型本身）是健康、可信的。
内生安全 保护的是系统的“大脑”和“基因”。它要确保这个“大脑”的思维方式是正确、可靠的。
为什么必要：如果模型本身就有认知缺陷（比如容易被欺骗）或内置后门，那么黑客根本不需要费力攻破“围墙”，他们可以直接给这个“有缺陷的大脑”下指令，让它自己犯错。堡垒是从内部被攻破的。
2. 经济与实用层面：防止“AI无用”甚至“AI有害”
高额投资不白费：训练一个大模型耗费巨资（数百万美元级）。如果因为数据被投毒或框架有漏洞，导致模型学会错误知识或留有后门，这巨额投资就变成了一个昂贵的定时炸弹，随时可能做出错误决策。
避免灾难性失效：想象一个基于有缺陷模型的风控系统，错误地把所有正常交易判定为欺诈；或者一个医疗诊断AI，因为训练数据偏见，对特定人群的诊断始终不准。内生安全问题会导致系统在核心功能上系统性失败，失去所有使用价值。
3. 攻击演变层面：传统防御已无法应对新威胁
网络攻击已经进化到了 “攻击制造过程” 的阶段。
过去：黑客攻击部署好的软件。
现在：高级黑客会攻击正在被创造的AI模型。他们污染训练数据、利用框架漏洞。这种攻击更隐蔽、成本更低，但破坏性是根本性的——因为一个被“种毒”的模型，会把它携带的问题复制到成千上万的应用中。
为什么必要：你必须把防线前置到“生产车间”，而不是等“问题产品”出厂后再召回。内生安全是“安全左移”的终极体现。
4. 社会与伦理层面：这是负责任AI的起点
公平与偏见：如果训练数据本身包含社会偏见（内生数据问题），那么模型学到的就是带有偏见的规则，它会自动化、大规模地执行歧视。这不仅是技术故障，更是社会伦理灾难。
可靠性与问责：当一个AI系统做出关键决策（如自动驾驶、医疗诊断）时，我们必须能追溯和审查它的“决策依据”。如果模型本身是个不可解释的“黑箱”，或者其决策逻辑被污染，那么当事故发生时，将无法追责，整个社会对AI的信任会崩塌。
so，关注的是智能系统“与生俱来”的毛病。它不是黑客从外部攻破系统，而是系统在“孕育”（训练）和“出生”（部署）时，就因为自身的组件不可靠，而成了一个“病秧子”。防御者必须像最严格的质检员一样，深入到造车的每一个环节，从根源上确保这辆“智能车”出厂时就是健康、可靠的。
人工智能衍生安全
由于智能模型的不安全性而给其他领域带来的安全问题，其作用对象是智能系统以外的其他领域。自动驾驶事故、智能体脱离控制甚至攻击人类等就属于人工智能给交通和公共安全领域带来的衍生安全问题。 从作用效果来看，不管是内生安全还是衍生安全，我们一般认为其引发的安全问题都是负面有害的。
人工智能衍生安全，简单说就是AI本身“不靠谱”，结果把其他领域也“拖下水”了。
就像你家的智能扫地机器人突然发疯，不仅没扫地，反而把你桌上的水杯打翻了——这就不只是机器人坏了的问题，它还给你带来了“家居安全”问题。自动驾驶汽车因为AI判断错误而撞车，也是类似的道理：AI的不安全“衍生”成了交通安全问题。
所以，AI衍生安全就是AI的“病”传染给了其他领域，让那些本来跟AI没直接关系的领域（比如交通、公共安全）也跟着遭殃。
这个你可以理解为，现在ai能赋能ctf竞赛，如果把ctf竞赛中的一些环境，换成现实环境，那么他就会攻击企业或者个人服务器，进而勒索或者盗窃数据。
但是这个我最近也很苦恼，因为最近这些AI（包括gpt、opus）的道德审查太严格了，导致我在做相关实验和数据分析的时候，它总是给我拒之门外
然后我就一直在做绕过，但是他的审查机制真的很严格
人工智能助力安全
利用人工智能技术为其他领域提升安全性，其作用是正向有益的，嗯大多数是为了正向的。典型的人工智能助力安全的例子包括利用人工智能技术进行电脑病毒检测、虚假视频检测、危险事故预判等等。
数据安全和模型安全
人工智能的核心是机器学习。经过几十年的发展，机器学习衍生出有监督学习、无监督学习、强化学习、联邦学习、对比学习、特征学习等不同的学习范式，但不管是哪一种学习范式，要构建智能系统（模型）都离不开训练数据。可以说，训练数据的特性，如数据规模、数据均衡性、标注准确性等，在很大程度上直接决定了智能系统的最终表现。一般来说，数据规模越大，训练得到的模型的表征能力和泛化能力也就越强。而数据的均衡性则会直接影响模型所学习知识的均衡性，即训练数据分布越均衡、不同类别间的分布偏差越小，人工智能算法的泛化效果往往也就越好。标注的准确性同样也是影响人工智能内生安全的一个重要因素。由于标注工作的繁重性及其对专业知识的要求，标注过程中难免会产生一些错误，这会对人工智能算法的执行效果产生不可估量的影响。由于训练数据对最终模型的决定性作用，其也就成为攻击者的重点攻击对象，此外，数据中所包含的隐私和敏感信息也是攻击者的攻击目标。现有针对训练数据的攻击主要包括以下四种：
数据投毒：通过操纵数据收集或标注过程来污染（毒化）部分训练样本，从而大幅降低最终模型的性能。
数据窃取：从已训练好的模型中逆向工程出训练样本，从而达到窃取原始训练数据的目的。
隐私攻击：利用模型的记忆能力，挖掘模型对特定用户的预测偏好，从而推理出用户的隐私信息。
数据篡改：利用模型的特征学习和数据生成能力，对已有数据进行篡改或者合成全新的虚假数据。
模型安全。
模型无疑是人工智能系统最核心的部分。 高性能的模型是解决实际问题的关键，无论采用何种训练数据、训练方式、超参数选择，最终也往往都作用在模型上。因此，模型也就成为攻击者的首要攻击目标。现有针对人工智能模型的攻击大致可分为以下几类：对抗攻击：在测试阶段向测试样本中添加对抗噪声，让模型作出错误预测结果，从而破坏模型在实际应用中的性能。
后门攻击：以数据投毒或者修改训练算法的方式，向模型中安插精心设计的后门触发器，从而在测试阶段操纵模型的预测结果。
模型窃取：通过与目标模型交互的方式，训练一个窃取模型来模拟目标模型的结构、功能和性能。
现实安全问题
本小节介绍几个与人工智能数据与模型安全相关的真实案例，以此来警示相关问题可能会给社会以及个人所带来的危害，说明人工智能安全研究的重要性。
微软机器人Tay遭投毒攻击导致其发表歧视性言论：2016年3月25日，微软在其公司Twitter账户上推出了一款名为Tay的人工智能聊天机器人。Tay最初被寄予的期望是能够积极正向地与Twitter上的年轻人进行交流。然而，在上线不到24个小时内，Tay就由于受到网友的恶意投毒攻击，学会了发表恶意和歧视性言论，如支持纳粹主义、反对女性主义等言论，引起了大量Twitter用户的不适。这一结果直接导致微软在上线当天就关闭了Tay。
RealAI 基于对抗样本设计的眼镜成功解锁多款安卓手机： 2021年初，一则关于基于对抗样本设计的手机解锁技术引发了大众关注。清华大学人工智能研究所成立的RealAI公司研究显示，攻击者基于一张照片和对抗样本所设计的特殊眼镜可以在15分钟内解锁19款安卓手机以及金融领域的人脸识别系统。一旦人脸识别系统被攻破，将会给用户隐私、财产安全等带来巨大损失。
针对自动驾驶的对抗攻击案例：自动驾驶作为人工智能应用的典范，其安全性受到了研究者的广泛关注。Eykholt等人在其发表在CVPR 2018的论文 （Eykholt 等， 2018） 中展示了一种针对道路标志的物理对抗攻击，该攻击对路牌等重要交通标志牌添加不起眼的对抗贴纸，即使在不同拍摄角度、距离、光照等情况下，也能成功误导深度学习模型对路牌做出错误的识别，例如将“停止”标识识别为“45公里限速”。Eykholt等人提出的对抗攻击方法只是针对摄像机的攻击，而Cao等人（Cao等，2021）则是更进一步完成了对摄像机（形状改变）和雷达（点云改变）的同时攻击，可以让汽车“看不见”3D打印的对抗物体。
数据篡改与生成技术伪造虚假视频内容： 2017年，一名外国网友将色情视频中的女主角篡改为某知名女明星，给女性文娱工作者带来巨大的困扰与担扰。国内也发生过类似事件，2019年网上一段关于某女明星换脸为另外一位女明星的视频在各大社交媒体中广泛传播，引起了大众讨论。换脸技术甚至一度被应用到了政治领域，著名领导人奥巴马、特朗普、普京、汤姆·克鲁斯、已逝英国女王伊丽莎白二世等均有相关的虚假换脸视频被传出，其中美国前总统奥巴马的虚假视频在Youtube上的观看量高达960万次。在此前的俄乌冲突中也出现了一起伪造乌克兰总统呼吁全国人民放下武器的虚假讲话视频，给本就紧张的俄乌局势带来更多的不确定性。基于人工智能的数据篡改与伪造具有门槛低、成本低、效率高、传播性高等特点，一旦被恶意使用，将会引发严重的负面社会影响，严重时甚至会危害社会稳定。
我也将部分隐私性问题（如隐私攻击、数据窃取和模型窃取）归纳为安全性问题，因为这些问题本身往往涉及多个方面（隐私和安全）。除了安全问题，数据和模型还可能会存在更广泛的可信性问题，如公平性问题、可解释性问题、隐私性问题等。例如，亚马逊人脸识别系统Rekognition将美国国会议员中的28人误判为罪犯，引发了公平性担忧;英国智能交通监控系统将行人衣服上的字母误识别为车牌号并开罚单。此外，在人工智能系统构建的任何一个环节，如数据采集、模型训练或模型部署等，均存在潜在的安全问题。随着各类攻击技术的发展，攻击所需要的成本也越来越低，但其所带来的危害却越来越大、影响范围越来越广。与此同时，相信随着防御技术的不断提高，很多现有安全问题也都会在不久的将来得到很好的解决。