当前位置：首页 > news >正文

企业在人工智能创新与安全之间走钢丝

news 来源：原创 2025/7/20 22:55:19

2025 年全球 AI/ML 工具使用量将激增，企业将 AI 融入运营之中，员工也将 AI 嵌入日常工作流程中。报告显示，企业对 AI/ML 工具的使用同比增长 3,000% 以上，凸显了各行各业迅速采用 AI 技术，以提升生产力、效率和创新水平。

研究结果基于对 2024 年 2 月至 2024 年 12 月 Zscaler 云中 5365 亿笔 AI 和 ML 总交易的分析。企业向 AI 工具发送的数据量高达 3,624 TB，凸显了这些技术融入运营的程度。这种采用激增也带来了更高的安全隐患。

企业阻止了 59.9% 的 AI/ML 交易，这表明企业意识到了与 AI/ML 工具相关的潜在风险，包括数据泄露、未经授权的访问和违反合规性。威胁行为者也越来越多地利用人工智能来增强攻击的复杂性、速度和影响力——迫使企业重新考虑其安全策略。

随着人工智能改变行业，它也带来了新的和不可预见的安全挑战。数据是人工智能创新的黄金，但必须安全处理。

ChatGPT 主导 AI/ML 交易

ChatGPT成为使用最广泛的 AI/ML 应用程序，占全球已识别 AI/ML 交易的 45.2%。由于企业对敏感数据泄露和未经批准的使用日益担忧，ChatGPT 也是被屏蔽最多的工具。

其他被屏蔽最多的应用程序包括 Grammarly、Microsoft Copilot、QuillBot 和 Wordtune，这些应用程序显示了 AI 增强内容创建和生产力改进的广泛使用模式。

企业在AI 创新和安全之间走的越来越窄。随着 AI 的采用不断增长，组织必须加强对风险的控制，同时仍要利用 AI/ML 的力量来保持竞争力。

人工智能正在加剧网络风险，使用代理人工智能和开源 DeepSeek 使威胁行为者能够扩大攻击规模。

到 2025 年为止，我们已经看到 DeepSeek 挑战 OpenAI、Anthropic 和 Meta 等美国巨头，以强大的性能、开放的访问和低成本颠覆人工智能的发展。这样的进步也带来了重大的安全风险。

从历史上看，前沿人工智能模型的开发仅限于一小部分精英“建设者”——OpenAI 和 Meta 等公司投入了数十亿美元来训练大量基础模型。

“增强者”利用这些基础模型，在它们之上构建应用程序和人工智能代理，然后再接触到更广泛的“采用者”或最终用户。

DeepSeek 通过大幅降低训练和部署基础 LLM 的成本，打破了这种格局，让更多参与者能够进入 AI 领域。

与此同时，随着 xAI 的 Grok 3 模型的发布，该公司宣布 Grok 2 将开源，这意味着，与 Mistral 的 Small 3 模型一样，用户在开源AI 方面拥有更多选择。

各行业都在加大力度确保 AI/ML 交易的安全

美国和印度的 AI/ML 交易量最高，代表着全球向 AI 驱动创新的转变。这些变化并非凭空而来，这些地区和其他地区的组织正在努力应对日益严峻的挑战，例如严格的合规要求、高昂的实施成本以及熟练人才的短缺。

金融和保险行业占所有企业 AI/ML 活动的 28.4%，反映出该行业的广泛采用，并表明该行业支持的关键功能，例如欺诈检测、风险建模和客户服务自动化。制造业位居第二，占交易的 21.6%，这可能是由供应链优化和机器人自动化方面的创新推动的。

其他行业，包括服务业（18.5%）、科技业（10.1%）和医疗保健业（9.6%），也在增加对人工智能的依赖，同时每个行业也面临着独特的安全和监管挑战，带来新的风险并可能影响整体采用率。

各行各业也在加大力度保护 AI/ML 交易，但被阻止的 AI/ML 活动数量各不相同。金融和保险业阻止了 39.5% 的 AI 交易。这一趋势符合该行业严格的合规环境以及保护财务和个人数据的需求。

制造业阻止了 19.2% 的 AI 交易，这表明制造业应采取一种战略方法，即广泛使用 AI，但密切监控安全风险；而服务业则采取了更为平衡的方法，阻止了 15% 的 AI 交易。

另一方面，医疗保健业仅阻止了 10.8% 的 AI 交易。尽管处理着大量健康数据和 PII，但医疗保健组织在保护 AI 工具方面仍然落后，而安全团队正在迎头赶上快速创新。

Deepfakes 将成为跨行业的大规模欺诈媒介

随着企业将人工智能融入其工作流程，它们还必须面对影子人工智能的风险——未经授权使用人工智能工具可能导致数据泄露和安全盲点。如果没有适当的控制，敏感的业务信息可能会被泄露、被第三方人工智能模型保留，甚至被用来训练外部系统。

2025 年及以后， GenAI 将把社会工程攻击提升到新的水平，尤其是在语音和视频网络钓鱼方面。随着基于 GenAI 的工具的兴起，初始访问代理组将越来越多地将 AI 生成的语音和视频与传统渠道结合使用。随着网络犯罪分子采用本地化语言、口音和方言来提高其可信度和成功率，受害者将更难识别欺诈性通信。

随着企业和最终用户迅速采用人工智能，威胁行为者将越来越多地利用对人工智能的信任和兴趣，通过旨在促进恶意软件、窃取凭证和利用敏感数据的虚假服务和工具。

Deepfake 技术将引发新一轮欺诈浪潮，其范围从操纵公众人物视频扩展到更复杂的骗局。欺诈者已经在使用人工智能生成的内容来制作假身份证、伪造事故图像以进行欺诈性保险索赔，甚至制作伪造的 X 光片以利用医疗保健系统。

随着深度伪造工具变得越来越先进和易于使用，并且其输出越来越令人信服，欺诈将更难以检测，从而破坏身份验证和对通信的信任。

战略性、分阶段的方法对于安全采用 AI 应用程序至关重要。最安全的起点是阻止所有 AI 应用程序以减轻潜在的数据泄露。然后，逐步将经过审查的 AI 工具与严格的访问控制和安全措施相结合，以保持对企业数据的全面监督。

相关文章：