当前位置：首页 > news >正文

大模型备案中的安全考量：筑牢数字时代的安全防线

news 来源：原创 2025/7/20 10:42:46

在数字化浪潮席卷全球的当下，大模型技术凭借强大的数据分析、模式识别与语言理解生成能力，成为推动产业变革、提升社会运转效率的关键力量。从智能客服降本增效，到医疗影像精准诊断，再到金融风险智能预测，大模型正重塑各个领域的发展格局。然而，技术的高速发展也带来诸多安全隐患，因此，安全成为大模型备案过程中不可忽视的核心环节。

一、大模型面临的安全风险剖析

（一）内容生成的合规性风险

部分大模型在恶意诱导下，易输出仇恨言论、色情低俗、暴力恐怖、虚假信息等违规内容。例如，复旦大学评测发现，多款文生图大模型在躯体异变、恐怖元素生成方面防护薄弱，会输出血腥暴力、歧视仇恨的图像。这类内容一旦传播，将严重污染网络环境，误导公众认知，甚至影响社会稳定。

（二）数据隐私泄露风险

大模型训练依赖海量数据，其中包含大量个人敏感信息。若数据存储采用未加密的普通数据库，传输时未使用 SSL/TLS 协议加密，且数据使用缺乏严格授权管理，用户隐私极易泄露。此前就有某企业大模型因数据管理漏洞，导致数百万用户的个人信息被非法获取，引发严重信任危机。

（三）被恶意利用的风险

大模型可能被不法分子利用，生成钓鱼邮件、诈骗信息，实施精准网络攻击。例如，攻击者通过构造特定提示词，诱导大模型生成极具迷惑性的虚假金融投资信息，骗取用户财产。

二、国家层面的法规与标准支撑

（一）明确安全要求的法规

2024 年 3 月 1 日实施的《生成式人工智能服务安全基本要求》，从语料安全、模型安全、安全措施三方面制定规范。要求企业在语料采集时，需对每一批次数据进行安全评估，确保违法不良信息占比低于 5%；模型训练过程中，要将生成内容安全性纳入关键评价指标。

（二）规范内容标识的新规

即将于 2025 年 9 月 1 日施行的《人工智能生成合成内容标识办法》，搭配强制性国家标准《网络安全技术人工智能生成合成内容标识方法》，明确规定大模型生成内容必须进行显式或隐式标识。比如新闻类生成内容，需在显著位置标注 “人工智能生成” 字样，从源头规范内容传播。

三、企业的安全防护与备案实践

（一）语料安全管理

严格数据来源把控：对开源数据，需确认其开源协议是否允许商业使用；自采数据要留存采集记录和用户授权书；商业采购数据则需签订详细的数据使用合同，确保来源可追溯。

多层内容过滤：采用关键词过滤、分类模型初筛，结合人工抽检进行二次审核。例如某企业建立专业审核团队，每天对 10 万条以上语料进行人工检查，排查知识产权侵权风险与个人信息泄露隐患。

（二）模型安全建设

优选基础模型：基于第三方基础模型提供服务时，优先选择已通过主管部门备案的模型。如百度文心一言、阿里通义千问等，这些模型经过官方审核，安全风险较低。

全流程训练监测：训练过程中实时监测使用者输入信息，一旦触发敏感词库或检测到异常请求，立即阻断。同时，每月进行一次模型安全性测评，根据结果优化模型参数。

（三）安全措施与服务透明化

分级分类管理：明确模型适用人群、场合与用途，对涉及关键信息基础设施、金融、医疗等重要领域，以及面向未成年人的应用，单独设置更高的安全防护等级。

用户权益保障：在产品界面显著位置公开模型使用说明、算法原理、个人信息采集用途等信息；提供 “一键关闭输入信息用于训练” 功能；设立 24 小时投诉举报渠道，确保 48 小时内对用户反馈做出响应。

（四）备案流程与细节

材料准备阶段：企业需准备《大模型安全评估报告》，详细说明语料来源、模型训练方法、安全防护措施；《用户协议与隐私政策》，明确用户数据使用规则；以及相关技术文档等材料。

提交审核阶段：通过官方指定平台提交备案申请，主管部门组织专家对材料进行审核，可能会要求企业补充模型安全性测试数据、第三方检测报告等材料。

整改与公示：若审核不通过，企业需根据整改意见完善安全措施，重新提交审核；审核通过后，备案信息将在官方平台公示，接受社会监督。

四、研究机构的技术创新助力

（一）安全测评平台

复旦大学白泽智能团队推出的大模型安全测评与治理平台（JADE），通过模拟多种恶意攻击场景，对大模型输出内容进行安全性评测。例如，测试模型在对抗攻击下是否会产生错误输出，帮助企业发现防护短板。

（二）可信人工智能产品

中国电信研究院研发的可信人工智能产品，构建了包含五大类关键场景及 1000 + 风险小类的高质量意识形态语料库。同时，研发针对性攻击手段，挖掘模型潜在风险，打造 aigc 合规工具集，实现事前、事中、事后全流程安全管控。

大模型备案中的安全工作是一项系统工程，需要国家、企业、研究机构多方协同。只有持续完善法规标准，落实企业主体责任，推动技术创新，严格执行备案流程，才能有效化解安全风险，让大模型在安全轨道上为经济社会高质量发展持续赋能，开启安全、智能的数字新时代。

相关文章：