谷歌发布TensorFlow，用于测试人工智能模型的隐私保护

近日，谷歌发布了隐私保护TensorFlow工具包，可以评估各种机器学习分类器的隐私属性。谷歌表示，它旨在成为一个隐私测试套件的基础，不管AI开发者的技能水平高低都可以使用它。

当前，各种人工智能隐私技术仍然是社区内争论的话题，但还没有一个规范的指南来建立一个私有模型。而越来越多的研究表明人工智能模型可以泄露训练数据集的敏感信息，从而产生隐私风险。TensorFlow隐私保护所采用的缓解方法是差分隐私，它在训练数据中添加噪声以隐藏单个示例。据了解，这种噪声是以学术上最坏的情况去设计的，同时会显著影响模型的准确性。

因此，这促使谷歌的研究人员在寻求另一种选择。新的TensorFlow隐私模块支持的成员推断攻击方法，建立分类器来推断训练数据集中是否存在特定样本。分类器越精确，记忆就越多，因此模型的隐私保护就越少，做出高精度预测的攻击者将成功找出训练集中使用了哪些数据。

新模块提供的测试是黑盒，这意味着它们只使用模型的输出，而不是内部或输入样本。它们产生一个漏洞得分，确定模型是否从训练集中泄漏信息，并且它们不需要任何再训练，使得它们相对容易执行。

“在内部使用成员关系推断测试之后，我们将与开发人员共享这些测试，以帮助他们构建更多的私有模型，探索更好的架构选择，使用正则化技术，如提前停止、退出、权重衰减和输入增强，或收集更多数据。”谷歌Brain的双歌和谷歌软件工程师David Marn在TensorFlow博客上对外表示。

另外，谷歌表示：“今后，它将探索将成员推断攻击扩展到分类器之外的可行性，并开发新的测试。它还计划通过将新的测试与用于部署生产机器学习管道的端到端平台TensorFlow Extended（TFX）集成，探索将新的测试添加到TensorFlow生态系统中。”

雷锋网 (公众号：雷锋网) 了解到，谷歌在去年夏天开放的基础差异隐私库中增加了对Go和Java的支持，还提供了Beam上的隐私，基于Apache Beam（一个特定于语言的sdk模型和集合）构建的端到端差异隐私解决方案，它依赖于差异隐私库的低级构建块，并将它们组合成一个“开箱即用”的解决方案，该解决方案考虑了差异隐私所必需的步骤。

此外，谷歌还推出了一个新的隐私损失分配工具，用于跟踪隐私预算，允许开发者对收集差异私人查询的用户隐私总成本进行估计，并更好地评估其管道的总体影响。 雷锋网雷锋网

参考于： Google releases experimental TensorFlow module that tests the privacy of AI models

。