Google 发布首个隐私保护大语言模型 VaultGemmaGoogle Research 团队发布了 VaultGemma,这是该公司首个采用差分隐私技术的开放权重大语言模型。该模型基于 Gemma 2 构建,拥有 10 亿参数,通过在训练阶段引入校准噪声来防止模型"记忆"训练数据中的敏感信息。
研究团队建立了差分隐私缩放定律的基础理解,在计算预算、隐私预算和数据预算之间找到平衡。尽管采用了隐私保护技术,VaultGemma 的性能仍与同等规模的非隐私模型相当。用户现可从 Hugging Face 和 Kaggle 下载该模型。
Ars Technica🍀在花频道🍵茶馆📮投稿via
科技圈🎗在花频道📮 - Telegram Channel