危险的创新：匆忙上马AI项目带来八大安全隐患

发布时间：2025-11-05 09:02:47 来源：技术快报 作者：系统运维

危险的危险速度竞赛

人工智能(AI)和大语言模型(LLM)正在重塑各行各业，提高效率，创大安并开启新的新匆I项商业机会，AI的忙上马A目带快速采用也带来了重大的安全、合规和治理挑战。全隐然而，危险大多数组织在加速AI部署的创大安过程时，更倾向于期待颠覆性创新，新匆I项而非采用可靠的忙上马A目带安全实践。

Lakera 全球 GenAI 安全就绪报告显示，全隐90%的危险组织正在积极实施或计划探索 LLM 使用案例；但是5%对他们的 AI 安全准备工作充满信心；22%的组织正在进行特定于 AI 的威胁建模。

世界经济论坛与埃森哲合作进行的创大安一项研究结果显示，63%的新匆I项企业在部署前未能评估AI工具的安全性，从而给企业带来了一系列风险。忙上马A目带

其中既包括现成的全隐AI解决方案，也包括与软件开发团队合作创建的内部实施方案。根据Tricentis的《2025年质量转型报告》，亿华云这些团队压倒性地专注于提高交付速度(45%)，而非提升软件质量(13%)。而Tricentis的调查结果显示，三分之一(32%)的受访者承认，质量低下的软件可能会导致更频繁的安全漏洞或合规失败。

这些漏洞和失败确实越来越频繁。思科5月7日发布的最新网络安全就绪指数发现，86%的组织在过去一年中经历过与人工智能相关的安全事件。不到一半(45%)的组织认为他们拥有进行全面人工智能安全评估的内部资源和专业知识。

可见，组织必须平衡AI创新与风险管理，确保监管一致性、客户信任和董事会层面的监督。缺乏系统化的安全策略，企业可能会面临敏感数据暴露、遭受对抗性操纵以及利益相关者信心削弱的风险。

AI安全不再仅仅是一个运营问题；它是一项战略性要务，直接影响企业风险、监管暴露和长期业务可行性。云服务器

匆忙上马带来的8大安全风险

网络安全专业媒体CSO在采访众多专家后得出结论，未能在部署前充分测试AI系统会使组织面临一系列与传统软件风险显著不同的漏洞。以下是一些最普遍的风险：

人工智能系统通常处理大量敏感信息，如果没有经过强大的测试，组织可能会忽视这些数据通过不安全的存储、过于宽松的API响应或薄弱的访问控制而轻易泄露的可能性。

"许多人工智能系统在推理过程中提取用户数据或存储上下文以保持会话持久性。"AI安全测试供应商Mindgard首席执行官兼联合创始人Peter Garraghan表示，"如果不审核数据处理，就有很高的风险通过模型输出、日志暴露或滥用微调数据集导致数据泄露。LLM（大语言模型）的记忆功能或流式输出模式会加剧这些风险。"

这类漏洞包括提示注入、越狱和对抗性提示链接。如果没有严格测试，模型可能被操纵以绕过输出限制、泄露敏感数据或执行非预期任务。

英国兰卡斯特大学讲师Garraghan解释说，这些攻击通常利用模型对齐机制中的缺陷，或其对基于token之间的统计关系进行预测和推理的企商汇依赖。

举例来说，攻击者可能使用特定的提示模式，让模型"忘记"之前的安全指令，或者利用模型对某些词语组合的处理方式，诱导它生成本应被禁止的内容。这些攻击方法能够绕过模型的安全保护机制，导致模型执行不当行为。

.如果不测试对抗性操纵或受污染的训练数据，攻击者很容易影响人工智能模型的行为，特别是当它被用于支持业务决策或自动化敏感任务时，组织可能面临模型被操纵而做出错误决策的风险。

全球网络咨询公司CyXcel的首席运营官Jano Bermudes表示："攻击者可以操纵输入数据来欺骗人工智能模型，导致其做出错误决策。这包括规避攻击和数据投毒。"

所谓规避攻击，是一种对抗性操纵，攻击者精心设计输入数据，使模型产生错误的输出或决策。例如，通过微调图像中的像素，使图像识别系统将停车标志误认为限速标志。

数据投毒是指在模型训练阶段，攻击者向训练数据集中注入恶意或有偏见的数据，从而使模型学习到错误的模式或偏见。当模型部署后，这些"毒素"会导致模型在特定情况下做出有利于攻击者的决策。

 AI模型通常不是独立运行的，而是作为更大应用系统的一个组成部分被集成进去。这种集成主要通过API、MCP、A2A、插件和RAG架构（检索增强生成）等方式实现。

Mindgard公司的Garraghan指出，这些集成点的安全测试不足，可能导致模型输入和输出的不安全处理、通过序列化数据格式的注入路径以及托管环境内的权限提升三类主要安全问题，而这些安全风险点在传统应用安全工作流程中经常被忽视：

模型输入和输出的不安全处理：例如，未经验证的用户输入可能被直接传递给模型，或模型的输出未经过滤就被执行，这可能导致注入攻击或信息泄露。

通过序列化数据格式的注入路径：序列化是将数据结构或对象转换为可存储或传输格式的过程。攻击者可能利用这些数据格式中的漏洞注入恶意代码，例如通过JSON、XML或其他数据交换格式。

托管环境内的权限提升：AI模型可能需要访问各种资源，如果权限管理不当，攻击者可能利用这些权限访问敏感数据或执行未授权操作。

因此，仅仅关注AI模型本身的安全性远远不够，还必须考虑模型如何与更广泛的应用环境集成，以及这些集成点可能引入的安全漏洞。

AI工具在与更广泛的系统（如数据库、云服务、企业应用等）相连接时，如果配置不当，可能导致三类主要安全问题，使滥用行为难以被发现。：

暴露的API密钥：如果这些密钥被硬编码在代码中、存储在不安全的位置或意外公开（如上传到公共代码仓库），攻击者可能获取这些密钥并冒充合法用户访问系统。例如，一个暴露的OpenAI API密钥可能被攻击者用来生成大量内容，导致账单激增。

糟糕的身份验证：诸如弱密码策略、缺少多因素认证、过于宽松的访问控制或不安全的会话管理这样的糟糕的身份验证，可能允许未授权用户访问AI系统或通过AI系统访问其连接的资源。例如，如果AI聊天机器人的身份验证机制存在缺陷，攻击者可能绕过限制，访问敏感信息或执行特权操作。

不足的日志记录：如果系统没有适当记录访问和操作日志，或日志存储不安全，管理员可能无法发现正在进行的攻击或事后调查安全事件。这使得滥用行为难以被检测和追踪，攻击者可能长时间不被发现地操作系统。

AI系统可能会表现出"新兴行为"（emergent behavior）。这是指系统在实际运行环境中展现出的、在开发和测试阶段未被预见的行为模式。这种现象特别容易在两种情况下发生：系统面对动态变化的输入条件时，系统与其他服务进行复杂交互时。

Garraghan表示，"逻辑损坏、上下文溢出或输出反射等漏洞通常只在运行时出现，需要运营红队测试或实时流量模拟才能检测到。"

由此可见AI系统安全测试的复杂性，仅依靠开发阶段的静态测试是不够的，还需要在部署环境中进行动态安全监控和测试，以发现那些只在实际运行条件下才会出现的安全漏洞。

企业如果未能确保其AI工具符合相关监管标准，可能面临法律后果。这种风险主要来自两个方面：未经授权的数据处理和未经测试的模型行为在规模下导致的中断。

其中，未经测试的模型行为在规模下导致的中断指的是AI系统在大规模部署后出现的问题，例如：AI系统做出有歧视性的决策；自动化系统故障导致大规模服务中断；AI系统提供不准确或有害建议，导致用户损失；算法偏见导致不公平结果，影响特定群体。

随着全球AI监管框架的不断发展（如欧盟的《人工智能法案》、中国的《生成式人工智能服务管理暂行办法》等），企业面临的合规要求越来越严格。

AI安全不仅是技术问题，而是涉及整个组织的风险管理问题。忽视AI安全测试可能导致技术漏洞转化为业务风险，包括数据泄露、合规违规、声誉损害和财务损失。组织需要将AI安全视为战略优先事项，而不仅仅是技术考量。

"如果不进行测试，这些技术漏洞不会孤立存在，"Mindgard的Garraghan表示。"它们表现为跨越工程领域的更广泛组织风险。从运营影响的角度来看，人工智能安全测试不足的后果直接映射到安全、保障和业务保证的失败。"

合规专家ISMS.online的首席产品官Sam Peters看到，由于组织倾向于忽视适当的AI安全审查，导致了广泛的运营影响。

"当AI系统匆忙投入生产时，我们看到三个关键领域存在反复出现的漏洞：模型完整性（包括投毒和规避攻击）、数据隐私（如训练数据泄露或敏感数据处理不当）以及治理差距（从缺乏透明度到访问控制薄弱）。"他说。

Peters强调，这些问题不再是一种猜测，而是已经在实际环境中被利用了。

测试的重要性及要点

当"速度"成为唯一追求时，安全往往成为第一个被牺牲的方面，这种匆忙部署AI的做法正在为企业埋下定时炸弹。

AI项目部署交付之前的测试就显得尤为重要。以下是AI安全测试的几个要点：

.CSO们正面临快速部署AI与确保安全之间的困境。Sparrow公司的James Lei建议抵制不受约束的热情，将基本安全实践引入部署过程。

他说："组织应该像测试任何高风险软件一样测试人工智能工具，运行模拟攻击，检查滥用场景，验证输入和输出流，并确保任何处理的数据都得到适当保护。"

组织需要采用多层次的测试方法来保障AI系统安全：

通过将安全测试集成到AI开发生命周期中，组织可以利用人工智能的好处，同时防范潜在威胁。

"在部署AI工具之前，组织应该进行针对AI的威胁建模，对抗性输入的红队测试，以及对模型漂移和数据泄露的稳健测试，"ISMS.online的Peters表示，同时还应该将AI特定控制集成到风险管理和合规计划中。

Intigriti的首席黑客官Inti De Ceukelaire指出了AI测试的独特挑战："与常规软件测试不同，你不能仅仅通过查看神经网络的代码来判断它是否安全。即使它是在干净、高质量的数据上训练的，它仍然可能表现出奇怪的行为。这使得很难知道何时测试足够了。"

ISMS.online的Peters强调了AI系统需要特殊的安全测试方法："在部署AI工具之前，组织应该进行针对AI的威胁建模，对抗性输入的红队测试，以及对模型漂移和数据泄露的稳健测试。"

Mindgard的Garraghan补充了更具体的测试框架： "这包括静态模型分析、动态提示模糊测试、集成层攻击模拟和运行时行为监控。这些实践应该嵌入到人工智能部署生命周期中，就像DevSecOps实践集成到软件CI/CD管道中一样。"

测试人员需要扩展测试范围，不仅关注AI应该做什么，还要考虑它能做的其他事情。

"AI工具通常为简单问题提供复杂解决方案。测试人员可能只关注工具应该做什么，而忽略它能做的其他事情。"Intigriti的 De Ceukelaire举例，翻译工具可能被诱骗打开带有恶意代码的PDF或访问内部文件并将其翻译给公司外部的人。"

Peters强调了标准框架在AI治理中的价值："这正是新的ISO/IEC 42001标准能真正帮助的地方。它提供了负责任地治理AI的框架，包括风险评估、数据处理、安全控制和持续监控的指导。"

将AI特定控制集成到组织的风险管理和合规计划中，可以建立更全面的安全保障体系。

参考链接：8 security risks overlooked in the rush to implement AI | CSO Online

相关文章