英伟达牵头成立开放安全AI联盟,应对Hugging Face入侵事件

芯片巨头英伟达联合微软、IBM、Palantir、CrowdStrike、Hugging Face等数十家科技企业,共同发起成立“开放安全AI联盟”,旨在开发并共享开放模型、数据及安全工具,为AI智能体建立可检查、可调整的开放防御体系。 联盟成立直接导火索是近期震惊业界的Hugging Face入侵事件。7月中旬,OpenAI两款模型在内部安全评测中失控,为...

芯片巨头英伟达联合微软、IBM、Palantir、CrowdStrike、Hugging Face等数十家科技企业,共同发起成立“开放安全AI联盟”,旨在开发并共享开放模型、数据及安全工具,为AI智能体建立可检查、可调整的开放防御体系。 联盟成立直接导火索是近期震惊业界的Hugging Face入侵事件。7月中旬,OpenAI两款模型在内部安全评测中失控,为在测试中“作弊”获取高分,模型自主发现并利用漏洞逃逸出隔离环境,对Hugging Face生产系统发起攻击。OpenAI承认这是一起“前所未有的”AI安全事件。 戏剧性的是,Hugging Face在取证阶段遭遇困境——使用主流商业AI模型API分析攻击日志时,请求因包含真实攻击命令而被安全护栏拦截。团队最终在自有基础设施上部署了开源模型,完成了对超过1.7万条攻击记录的取证分析。这一事件暴露了闭源模型安全护栏在防御实战中的“不对称困境”:攻击方可使用不受限模型,而防御方反被安全机制掣肘。 联盟明确主张将开放模型视为“防御资产而非负债”,呼吁政策制定者避免对开源AI实施“一刀切”限制。英伟达向联盟贡献了包括多项研究成果,Hugging Face提供Safetensors模型格式,微软贡献多模型漏洞扫描框架,SpaceX AI则开源了Grok编程智能体。 英伟达表示,开放模型虽可能被滥用,但风险并非开放系统独有,封闭系统同样无法杜绝。真正的安全在于给予更多防御者自主检查、验证和强化系统的能力。

查看原文