面向企业团队的AI安全术语：从AI辅助攻击到AI驱动的防御

揭示攻击者和防御者如何利用人工智能，以及如何保障人工智能系统安全的术语

作者：薇薇安·维雷茨基

11月10，2026

分享此贴

AI 安全涵盖 三个不同的方面，在与供应商沟通之前（而非沟通过程中）将它们区分开来是很有必要的。攻击者利用 AI 生成并扩大威胁；防御者则利用 AI 来检测并应对这些威胁。而第三类则贯穿于这两者之间：保障组织已运行的 AI 系统、模型、训练数据、RAG 数据源以及智能代理的安全，无论攻击者是否接近这些系统，它们本身都存在风险。

主要收获

AI安全术语可分为三类：攻击者技术、防御能力以及保障AI系统本身安全的组织风险；若将它们混为一谈，就会导致与供应商的沟通出现偏差。
一个术语究竟属于攻击技术还是防御能力，取决于人工智能是在文件、提示词还是数据集的哪一侧进行操作，而非取决于技术本身
对文件进行清理并不能验证其内容的真实性，检测到由人工智能生成的内容也不能证明存在欺诈，而且文件检查也无法涵盖人工智能代理被允许执行的操作范围。

我们的自有技术体现在以下多个术语中：AI 管道前的文件和内容检查、MetaDefender Aether™ 内的LLM 扫描，以及无论是否涉及 AI 模型均适用的敏感数据控制。在涉及 AI 模型的情况下，我们会直接说明该功能。如果某个术语是行业缩写，且在我们的技术栈中没有直接对应的术语，则会直接说明这一点。

人工智能安全的三个含义

AI安全术语可分为三类，这些类别之间几乎没有重叠，尽管从表面上看，前两类可能看起来完全相同。攻击者相关的术语描述了AI如何加速攻击行为，从AI生成的恶意软件到被篡改的训练数据。防御者相关的术语则描述了AI如何增强检测能力，从预测性、执行前的检测到敏感数据的自动屏蔽。攻击者利用生成式模型在几秒钟内生成一封极具欺骗性的钓鱼邮件；而防御者则利用数千次真实的钓鱼攻击尝试来训练分类器，从而将其拦截。底层技术相同，目的却截然相反。

第三类风险涉及人工智能系统本身：无论涉及何人，模型文件、训练数据和智能体都客观存在。以下术语的区别在于，人工智能是在文件、提示词还是数据集的哪一侧进行操作，以及该风险是否与攻击者有关。

1. 攻击方AI术语

这九个术语描述了攻击者如何利用人工智能，从由人工智能编写的恶意软件到源头被篡改的数据。每个术语都反映了安全团队目前已经观察到的真实模式。

术语	说明	需要提出的问题	opswat 如何使用这个术语
由人工智能生成的恶意软件	由人工智能编写或在人工智能辅助下生成的、经过人工智能修改的代码。	检测是依赖于特征，还是依赖于结构和行为？	“2026年，Venak Security对四款商用沙箱进行了测试，测试对象是二十个由人工智能生成的恶意软件样本，其中OPSWAT旗下的Adaptive （Sandbox ）以95%的通过率位居榜首。”
由人工智能生成的网络钓鱼/社会工程学	由人工智能打造的网络钓鱼、语音克隆和深度伪造技术，旨在大规模地制造出令人信服的效果。	检测功能是实时检查链接和内容，还是仅在交付时进行检查？	“与传统的诈骗手段不同，由人工智能生成的钓鱼邮件措辞精炼、极具说服力。”
人工智能辅助攻击	一种在多个阶段（包括侦察、有效载荷生成、规避等）都利用人工智能的攻击，而非仅将其作为偶尔的捷径。	有什么证据能证明这是与某项具体活动有关，而不是一种普遍趋势？	“各国政府也在调整补丁发布的时间表，以应对人工智能辅助攻击的快速蔓延。”
AI生成的零日漏洞	“AI被用于发现漏洞或将其转化为攻击工具”，这一说法比“AI编写了新的恶意软件”更为狭义。新型恶意软件并不一定就是零日漏洞。	这一说法是指一个新的漏洞，还是仅仅指一种新的、尚未被发现的恶意软件？	“Predictive Alin AI 持续利用MetaDefender Aether 提供的、经沙箱验证的零日漏洞进行训练。它有助于发现由人工智能生成且前所未见的威胁。”
接触基于人工智能的恶意软件	利用人工智能构建或增强的恶意软件，通过与承载其他威胁相同的文件、文档或管道输入进入人工智能系统。	检测机制能否发现由人工智能构建或引导的恶意软件，还是仅能检测到它已经见过的签名？	“大幅降低遭遇基于人工智能的恶意软件和基于文件的攻击的风险。”
对抗性人工智能/提示注入	对抗性人工智能是精心构造的输入攻击这一更广泛类别的组成部分；提示注入则是针对大型语言模型（LLM）的特定形式，包括隐藏在检索到的文档中而非直接输入的指令。	该控件是否会检查模型检索到的内容，而不仅仅是用户输入的内容？	“提示注入：攻击者将隐蔽指令嵌入到拼接PDF文件中隐藏的第一个部分中。”
碎布中毒	受污染的文档会破坏检索系统的知识库。	内容是在索引之前还是之后进行筛选的？	“确保只有经过信任且符合政策规定的内容才会被收录到检索系统和向量存储中，从而降低RAG 中毒风险以及长期存在的知识操纵问题。”
数据污染	受损的训练数据会导致模型表现出有利于攻击者的行为。	对训练数据的来源情况能有多少了解？	“训练数据中毒：用于微调或增强人工智能模型的文档中可能包含一个隐藏部分……”
AI 处理管道中的文件型恶意软件	恶意文件绕过了纯文本AI防护机制。	安全防护栏会检查文件内容，还是只检查周围的文本？	“AI 处理流程中的文件型恶意软件：恶意有效载荷隐藏在 PDF、Office 文档和压缩文件等常见商务文件中。”

2. 防守方AI术语

以下术语描述了我们及整个行业如何利用人工智能来保护人工智能管道。这些术语均对应于我们技术栈中的具体技术。

术语	说明	需要提出的问题	opswat 如何使用这个术语
原生于AI的安全/ 平台	一个厂商的定位术语，表明人工智能是产品架构的核心，而非事后附加的组件。MetaDefender 以 Aether™ 为例：Predictive Alin AI 作为专用的检测层运行，而非辅助功能。	当AI层与其他所有信号都存在分歧时，会发生什么？	“对AI原生平台的评估，必须采用与评估任何现代软件堆栈时同样严格的标准……”
人工智能辅助检测模型	一种检测模型，用于标记行为异常以便进行审查，而分析师仍需对警报进行关联分析，并判断哪些行为确实具有恶意。	该模型是会将异常情况标记出来供人工审查，还是会直接采取应对措施？	“借助其人工智能辅助检测模型，[MetaDefender NDR ] 持续分析网络行为，以在攻击生命周期的早期阶段识别可能预示攻击者活动的细微异常。”
AI内容审查/ 检测	我们的AI内容检测工具，可识别AI生成的内容及文档造假行为。	它会自动将AI生成的内容标记为欺诈，还是将其提交给审核人员进行审查？	“AI Content Inspector是OPSWAT 推出的一款基于人工智能的内容真实性及文档造假检测引擎，适用于图片、PDF 以及包含文本的文件。”
自主分诊	在既定政策范围内处理部分警报分级任务的人工智能，例如补充案件信息或推荐优先级，而非拥有全面的调查权限。	AI 做出的决定与它提出的建议有何区别？	“……该机构部署了OPSWAT的MetaDefender Aether，以便在受控环境中对可疑文件进行初步筛查。”
可解释人工智能（XAI）	判决背后的证据、构成判决的各项因素及其局限性，而不仅仅是一个置信度分数。分数只是一个概率值，而非解释。	这个数字背后有什么依据？	“人工智能审计工具、可解释性框架以及可解释人工智能（XAI）技术有助于缓解人们对‘黑箱’决策的担忧。”
人工智能安全网关	MetaDefender™ 平台为大型语言模型（LLM）设置了防护措施，可在文件和提示词送达大型语言模型之前对其进行筛查。	检查是在内容进入模型之前进行，还是仅在之后进行？	“MetaDefender Core 作为AI 安全网关，在文件上传前、RAG 数据摄入前、工具执行前以及数据跨越信任边界前，对内容进行检查和净化。”
预测性人工智能	预测性Alin AI，可在文件运行前预测其恶意意图（第2层：MetaDefender Aether中的静态分析）。	假阳性率是多少？是基于哪个数据集得出的？	“该引擎经过优化，可在MetaDefender 平台上实现高精度和无缝集成，从而使基于人工智能的预测性威胁检测能够与其他检测技术协同工作。”
基于人工智能的文件类型检测	我们的“文件类型检测™”技术，可识别伪造文件。	这是内联执行，还是会增加延迟？	“基于人工智能的增强型检测技术通过分析文件的结构和内容来识别其真实类型，从而弥补了传统验证方法的不足。”
基于人工智能的DLP	我们的Proactive DLP™技术可对 125 多种文件类型中的 PII、PHI 和 PCI 进行屏蔽处理。	信息遮盖是在上传完成之前还是之后进行的？	“当文件需要更深入的审查时，OPSWAT基于仿真的Adaptive Sandbox 会实时分析其行为。由人工智能驱动的Proactive DLP ™可检测并屏蔽或遮盖电子受保护健康信息（ePHI）及其他敏感内容，从而协助履行《健康保险流通与责任法案》（HIPAA）和《通用数据保护条例》（GDPR）规定的义务。”
内容无害化处理与重建	我们的Deep CDR™ 技术能够从文件中剥离活跃内容，并在 200 多种格式下重建干净版本，且无需依赖签名，该技术在大型语言模型（LLM）的安全防护机制内运行，并配合专门针对 AI 的控制措施。	经过清理后，该文件还能正常使用吗？	“OPSWAT 的‘深度内容清除与重建’文件净化技术能够扫描文件、清除恶意内容，并以 100% 的准确率重建安全且可用的文件。”
Multiscanning 多防毒引擎扫描	可同时将文件提交给30多个反恶意软件引擎进行检测。虽然并非专门针对AI，但作为大型语言模型（LLM）防护体系的一部分，能够拦截那些AI驱动层无法处理的已知威胁。	在部署配置下，有多少台引擎在运行？	“当采用在线检查时，多引擎扫描可在邮件投递前，利用多个反恶意软件引擎对电子邮件附件进行检测。”

3. 保障人工智能系统安全

这些术语既不能完全归类为“攻击”，也不能完全归类为“防御”。它们描述的是组织在构建、管理和连接其自身人工智能系统过程中所产生的风险，无论是否涉及攻击者。

术语	说明	应提出的问题	opswat 如何使用这个术语
保障人工智能代理的安全	界定代理在无需批准的情况下能够做什么、可以访问什么以及可以采取哪些行动。OWASP的“代理权限过高”风险——在2026年LLM十大风险中排名第三——正是指这三个故障点。	在任何代码执行之前，人类是否能看到输出结果？	“安全团队该如何防御自主人工智能代理的攻击？”
人工智能模型与供应链安全	AI 系统所依赖的文件和组件中存在的风险；例如，预训练模型遭到入侵，或训练管道中存在漏洞的软件包。我们的 LLM 扫描功能会在模型运行前检查其结构，并通过对抗性提示测试其部署后的行为，而 SBOM 则 MetaDefender Software Supply Chain 则将类似的审查范围扩展至AI管道所依赖的更广泛的组件集。	是检查模型文件本身，还是仅检查它在运行时处理的数据？	“防范大型语言模型（LLM）及Supply Chain 威胁：在将开源大型语言模型、模型文件及相关组件引入企业AI环境之前，对其进行扫描，以检测其中是否存在恶意软件、恶意内容和敏感数据。”
人工智能/机器学习训练数据的安全性	在数据导入之前，需对训练集、RAG 数据源以及为 AI 和分析管道提供数据的湖存储内容进行验证；受污染或不可信的数据会像受损的依赖项一样，导致模型产生偏差。	数据是在进入数据湖之前经过筛选，还是仅在模型基于这些数据完成训练之后才进行筛选？	“AI/ML 训练数据：通过确保只有可信的文档、代码、数据集和知识库进入 AI 管道，从而保护用于训练 AI 模型、大型语言模型（LLM）和 RAG 应用程序的数据。”
通过人工智能导致的敏感数据泄露	一旦像 Copilot 这样的人工智能助手能够读取并将其呈现于回复中，原本存储在系统中的机密、受监管或专有数据便会变得可被发现。	该控制措施是在AI助手获得读取权限之前，还是仅在获得读取权限之后，对敏感数据进行分类和限制？	“通过专为特定行业环境设计、以预防为先的多层安全防护机制，保护关键人工智能工作流免受不可信数据、恶意模型以及敏感数据泄露的威胁。”

有几点界限需要明确说明：对文档进行净化处理并不能验证其内容的真实性；检测到AI生成的内容本身并不能证明存在欺诈；检查文件也无法规避因授予代理广泛权限而产生的所有风险。上述每项措施都只解决了问题的一部分，而非整个风险。

这些术语在日常工作中有哪些应用

下表列出了常见的日常场景，并对应了可解决这些问题的OPSWAT 技术。

日常工作流程	您需要准备的物品	相关的OPSWAT 链接
文档进入助理系统或RAG处理流程	在处理或索引之前检查文件并应用策略	MetaDefender Core 以及大型语言模型（LLM）的防护措施
机密文件被上传至人工智能服务	检测敏感数据，并在数据外传前进行拦截或屏蔽	Proactive DLP，来源：MetaDefender ICAP Server
各团队推出第三方AI模型	检查模型文件并测试部署后的行为	MetaDefender Aether 的 LLM 扫描：静态分析与动态分析
发票、索赔或图片会影响审批结果	识别AI生成的内容及欺诈迹象	AI内容检查器的检查结果支持此次审查
AI 项目文件在团队之间流转或存放在存储库中	在转运和仓储工作流中应用检验	MetaDefender Managed File Transfer 和 MetaDefender Storage Security

实际应用示例

我们开发了本文涉及的许多术语背后的技术，从Predictive Alin AI在MetaDefender Aether中的“执行前检测”，到AI Content Inspector的内容真实性核查，再到Proactive DLP 技术中的敏感数据脱敏。了解这些技术如何应用于您自己的数据、模型和大型语言模型（LLM）工作流中。

了解OPSWAT 人工智能安全解决方案

最新研究印证了这些术语所描述的情况。OPSWAT发布的《2026年企业文件安全报告》（由Osterman Research负责调研）发现，能力与信心之间存在严重差距：73.6%的安全负责人将本组织的文件安全水平评为“非常成熟”或“极其成熟”，但没有任何一家组织的实际表现达到前两级水平，且94.5%的组织对其自身评价高于其实际做法所能支撑的水平。

这一差距正在迅速扩大：过去一年中，人们对能够规避人工智能驱动的防御系统的人工智能生成威胁的担忧增加了87%。这一趋势在具体技术领域也有所体现：上文提到的“内容无害化与重建”（Content Disarm and Reconstruction）和“内容重构”（Multiscanning ）这两项技术，在该研究中被列为“以预防为先”的部署中成熟度最低的，其中仅分别有22.9%和25.9%被评为“极其成熟”。

获取完整报告

常见问题

“攻击者”、“防御者”和“AI系统”这几个安全术语之间有什么区别？

“攻击者”相关术语描述了人工智能如何加速攻击行为，例如人工智能生成的恶意软件或数据污染。“防御者”相关术语描述了人工智能如何增强检测能力，例如预测性检测、执行前检测或基于人工智能的数据泄露防护（DLP）。“人工智能系统安全”相关术语则描述了人工智能系统本身、模型文件、代理程序及训练数据中存在的风险，这些风险无论是否涉及攻击者都客观存在。同一项基础技术可能出现在多个类别中，因此分类取决于行为主体以及实际面临风险的对象。

该检查项是检查原始文件、提取的文本、模型生成物，还是实时模型响应？

这四个检查要点各不相同，而声称提供“AI安全”服务的供应商可能只涵盖其中之一。在假设其他要点也包含在内之前，请具体询问是哪一项。

检查是在哪里进行的？工作流能否不仅对内容进行标记，还能将其拦截或隔离？

如果没有强制执行点，检测仍会让高风险内容通过。请确认该控制措施是在内容传输前进行内联处理，还是仅在事后进行报告。

除了文件和内容检查之外，哪些风险还需要采取额外的应用程序、身份或代理控制措施？

即使在同一套安全架构内，代理权限、身份治理和文件级检查通常也由不同的工具分别处理。请明确询问哪些内容明确不在范围之内，而不仅仅是哪些在范围内。

标签

订阅OPSWAT 简讯

获取OPSWAT 最新动态、活动信息以及推动行业发展的相关新闻。

关注我们的社交网站Media

请在您的 LinkedIn、Facebook、Twitter 和 YouTube 上关注OPSWAT ，了解更多信息！

通过OPSWAT 了解最新信息！

立即注册，获取最新的公司动态、故事、活动信息等。