随着人工智能技术深入金融、医疗、自动驾驶等关键领域，AI安全（AI Security）已不再仅仅是网络安全的一个分支，而是决定AI系统能否被社会广泛接受的基石。 它关注的是如何确保AI系统在面对恶意攻击、意外故障或不可预见环境时，依然能够保持功能的正确性、可靠性和机密性。
保护AI模型参数、训练数据以及用户隐私输入不被未授权窃取。例如，防止通过模型逆向推导出敏感的训练数据（如医疗记录）。
确保模型行为不被恶意篡改。防止攻击者通过“数据投毒”或“对抗样本”误导AI做出错误判断，如让自动驾驶汽车无视红灯。
保证AI服务在遭受攻击（如大量恶意查询造成的DoS攻击）时仍能正常提供服务，且系统具有鲁棒性。
AI面临的风险是多维度的，不仅包含传统的软件漏洞，还引入了机器学习特有的攻击面。我们需要从数据、模型、系统和应用四个层面来审视。
该图展示了AI系统面临的主要风险层级，从底层数据到上层应用。
攻击者在训练数据中注入精心设计的恶意样本，导致模型在特定条件下产生错误行为。例如，在交通标志数据集中混入带有特殊贴纸的“停止”标志，训练出的模型可能在看到该贴纸时将“停止”识别为“限速”。
在输入数据（如图片）上添加人类肉眼不可见的微小扰动，却能导致AI模型以高置信度做出完全错误的分类。这是深度学习模型最著名的脆弱性之一。
针对大语言模型（LLM）的新型攻击。通过设计特殊的提示词（Prompt），绕过模型的安全限制，诱导模型输出违规内容或执行恶意指令。
在讨论AI风险时，经常会听到 Security, Safety 和 Alignment 这三个词。它们虽然相关，但侧重点完全不同。
展示Security（安全性）、Safety（鲁棒性/无害性）与Alignment（对齐）的交集与区别。
| 概念 | 关注点 (Focus) | 典型场景 (Example) |
|---|---|---|
| AI Security | 恶意攻击、防御机制、系统完整性 | 防止黑客通过对抗样本欺骗人脸识别门禁。 |
| AI Safety | 系统鲁棒性、不可预见的故障、失控风险 | 防止清洁机器人在打扫卫生时意外撞倒花瓶或伤害宠物。 |
| AI Alignment | 目标一致性、伦理道德、价值观匹配 | 防止AI为了“治愈癌症”这一目标而采取极端手段（如消灭所有人类）。 |
AI安全是一场持续的博弈。了解攻击手段是构建防御体系的前提。
目前最有效的防御手段之一。在模型训练过程中，主动生成对抗样本并将其加入训练集，让模型“见多识广”，学会识别并抵抗这些扰动。
使用自动化工具（如AutoAttack）对模型进行压力测试，量化模型在各种扰动下的准确率下降情况，作为上线前的必经环节。
组织专家团队模拟攻击者的行为，对AI系统（特别是LLM）进行多轮次的攻击尝试，挖掘潜在的漏洞、偏见和有害输出。
以下伪代码展示了FGSM（快速梯度符号法）攻击的基本原理，这是生成对抗样本的基础算法。
随着AI风险的显现，全球范围内正在加速制定相关的标准和法规。
AI安全技术正在向自动化、原生化方向发展。
未来的AI安全将是一个动态闭环系统，而非静态的防火墙。
联邦学习（Federated Learning）和多方安全计算（MPC）将成为标配，实现“数据可用不可见”，在保护数据隐私的前提下训练高性能模型。
安全机制将不再是外挂的组件，而是内嵌于模型架构之中。例如，具备自我纠错和自我验证能力的下一代大模型。
AI安全是一个跨学科领域，需要算法工程师、安全专家和政策制定者的共同努力。