当前位置：首页 > news >正文

生成式AI应用带来持续升级的网络安全风险

news 来源：原创 2025/6/26 17:18:46

生成式AI应用带来持续升级的网络安全风险概要

根据Netskope最新研究，企业向生成式AI（GenAI）应用共享的数据量呈现爆炸式增长，一年内激增30倍。目前平均每家企业每月向AI工具传输的数据量已达7.7GB，较一年前的250MB实现跨越式增长。

这些数据包含源代码、受监管数据、密码密钥和知识产权等敏感信息，大幅增加了数据泄露、合规违规和知识产权盗窃的风险。75%的企业用户正在使用具备生成式AI功能的应用，这给安全团队带来了新挑战：无意识的内鬼威胁。

数据显示，90%的企业有员工直接使用ChatGPT、Google Gemini和GitHub Copilot等生成式AI应用，98%的企业员工使用Gladly、Insider等集成AI功能的应用程序。从数据安全视角看，最关键的风险指标是传输至AI应用的数据量——每次上传都可能成为数据泄露的导火索。

Netskope首席信息安全官James Robinson 指出："尽管企业努力推广官方管理的AI工具，但我们的研究表明，影子IT 已演变为影子AI——近四分之三用户仍通过个人账户访问生成式AI应用。这种趋势与共享数据的敏感性相结合，凸显了企业需要增强数据安全能力，以重新获得对AI使用的治理权、可见性和使用规范。"

企业对AI数据缺乏有效管控

多数组织对间接使用生成式AI时的数据处理、存储和利用方式缺乏完整可见性。常见做法是采取"先阻断后审查"策略，仅允许特定应用而屏蔽其他所有AI工具。但安全管理者需要制定安全启用策略，平衡员工对效率提升的需求与风险管控。

典型案例是DeepSeek AI——Netskope发现该应用在2025年1月上线后数周内，就有91%的企业出现访问尝试。当时大多数企业尚未制定相关安全政策，使企业暴露于未知风险。更严重的是，员工可能在不知情的情况下向AI输入商业机密，包括源代码、知识产权、受监管数据甚至密码等敏感信息。

Netskope威胁实验室总监Ray Canzanese强调："生成式AI已从边缘技术发展为无处不在的基础设施，从独立应用到后端集成日益普及。这种泛在化带来持续升级的网络安全挑战，要求企业采取全面风险管理措施，否则敏感数据可能被第三方用于训练新AI模型，引发更广泛的数据泄露风险。"

本地化部署催生新型安全威胁

过去一年，企业本地部署生成式AI基础设施的比例从不足1%飙升至54%。虽然这降低了云端第三方应用的数据暴露风险，但本地化部署带来了供应链风险、数据泄漏、输出处理不当等新型威胁，以及提示词注入、越狱攻击和元提示提取等特有风险。因此许多企业在已有云端AI应用基础上，叠加部署了本地化AI基础设施。

影子AI现象持续蔓延

虽然多数企业已使用生成式AI，但主动使用独立AI应用的用户比例虽小却持续增长。过去一年企业内使用AI应用的人数几乎翻倍，平均每家企业4.9%的员工使用生成式AI应用。

企业AI应用采用模式延续了云服务的典型路径：员工通过个人账户使用应用。这导致企业内大部分AI使用可归类为影子IT（指未经IT部门批准使用的解决方案）。专为AI解决方案创造的"影子AI"新术语，更强调这些应用的隐蔽性和非正式性。即使在ChatGPT引发AI热潮两年后的今天，72%的用户仍通过个人账户在工作场所使用ChatGPT、Google Gemini等主流AI应用。

Netskope安全与情报运营副总裁Ari Giguere表示："AI不仅重塑边界安全和平台安全，更在重写安全规则。"

目前99%的企业正在实施风险管控政策，包括全面禁用AI应用、限制特定用户群体使用，以及控制输入AI的数据类型等措施。这些政策的具体实施方式将在后续详细解析。

一、生成式AI技术普及带来的新型安全威胁

1. 攻击手段的智能化演进

自适应恶意软件：AI生成的恶意代码可自动规避检测系统
动态钓鱼攻击：基于目标画像自动生成个性化钓鱼内容
智能暴力破解：AI优化密码猜测算法，效率提升百倍
深度伪造攻击：语音/视频合成技术突破生物识别防线

2. 攻击规模的指数级扩张

自动化攻击流水线：单次攻击可生成数百万变体
零日漏洞挖掘：AI辅助的漏洞发现速度提升10-100倍
攻击成本下降：ChatGPT类工具降低黑客技术门槛
攻击持续性增强：自我学习的攻击系统7×24小时运作

二、关键风险领域深度分析

1. 身份认证系统失效

声纹伪造：只需5秒语音样本即可克隆声纹（微软VALL-E演示）
人脸欺骗：GAN生成的高清人脸可骗过多数活体检测
行为模仿：AI学习用户操作习惯突破行为验证

2. 数据泄露风险加剧

训练数据提取：通过模型逆向工程获取敏感训练数据
隐私推断攻击：从模型输出反推输入数据特征
成员推断攻击：判断特定数据是否在训练集中

3. 基础设施新型威胁

AI供应链污染：训练数据/开源模型被植入后门
模型劫持攻击：通过对抗样本操控AI系统决策
资源耗尽攻击：诱导大模型进行无意义计算消耗资源

三、典型攻击场景案例

1. 商务邮件诈骗升级版

AI生成：模仿高管写作风格的完整邮件链
多模态组合：伪造视频会议邀请+语音确认
时机判断：分析日历数据选择最佳攻击时段

2. 自动化勒索软件即服务(RaaS)

变体生成：每次传播自动调整代码特征
谈判AI：根据受害者画像动态调整赎金要求
支付追踪：智能分析区块链交易记录

3. 大规模社会工程攻击

个性化内容：基于社交网络数据生成定制化骗局
多语言支持：实时翻译保持攻击一致性
情感计算：识别受害者心理弱点调整话术

四、防御体系升级路径

1. 新一代安全技术框架

AI安全防御体系
├─ 输入检测层
│  ├─ 深度伪造识别
│  ├─ 对抗样本检测
│  └─ 异常模式发现
├─ 运行时防护层
│  ├─ 行为可信验证
│  ├─ 决策可解释性
│  └─ 弹性容错机制
└─ 持续进化层├─ 威胁情报共享├─ 联邦学习防御└─ 自动化红蓝对抗

2. 关键防御技术突破

对抗训练：提升模型抗干扰能力（如IBM的Adversarial Robustness Toolbox）
模型水印：嵌入数字指纹追踪模型泄露
差分隐私：Google开源的TensorFlow Privacy框架
同态加密：微软SEAL库实现加密数据计算

3. 组织防护能力建设

AI安全运营中心(SOC)：专门监控模型异常行为
红队增强计划：每月进行AI渗透测试
员工AI素养培训：识别基础AI欺诈手段
应急响应预案：针对模型被控等新型场景

五、治理与合规新要求

1. 国际监管动态

欧盟AI法案：高风险系统强制安全评估
NIST AI RMF：美国AI风险管理框架1.0版
中国生成式AI管理办法：深度合成内容标识义务

2. 企业合规要点

模型审计追踪：保留完整训练决策记录
数据治理：训练数据来源合法性验证
第三方风险管理：AI供应链安全评估
影响评估：部署前AI系统安全影响分析

六、未来安全技术展望

量子加密防御：抗量子密码算法标准化（NIST后量子密码计划）
神经形态安全芯片：IBM TrueNorth等类脑芯片实现物理级防护
区块链+AI审计：不可篡改的模型行为记录
生物免疫启发防御：数字抗体自动识别新型威胁
AI安全即服务：云端实时防护（如Cloudflare AI WAF）

随着生成式AI以每周都有突破的速度发展，网络安全防御必须从被动响应转向主动免疫。企业需要建立"设计即安全"的AI开发生命周期，将安全防护深度集成到模型架构中，而非事后补救。未来的安全攻防将演变为AI系统之间的持续对抗，只有保持技术代差优势才能确保安全。