Sommer D M, Meiser S, Mohammadi E. Privacy loss classes: The central limit theorem in differential privacy[J]. Proceedings on Privacy Enhancing Technologies, 2019, 2019(2): 245-269.

量化隐私保护机制中的privacy loss是一个复杂的问题。本文通过利用机制的隐私损失分布(privacy loss distribution, PLD)统一了之前的工作。研究表明，对于非适应性(non-adaptive)的机制，顺序组合下的隐私损失经过卷积并将收敛到高斯分布(DP的中央极限定理)。本文还得出了几个相关的见解：可以通过他们的隐私损失类来(privacy loss class)表征机制，即通过他们的PLD收敛到高斯分布来表征机制，这样可以基于他们的隐私损失类给出机制的新的ADP(approximate DP)界限; 我们得到了近似随机响应机制的精确分析保证和高斯机制的精确解析和闭合公式，也就是，给定$\varepsilon$，计算$\delta$，使得，机制是$(\varepsilon,\delta)$-ADP（不是过度近似界）。

Jayaraman B, Evans D. Evaluating Differentially Private Machine Learning in Practice[C]//28th USENIX Security Symposium (USENIX Security 19). Santa Clara, CA: USENIX Association. 2019.

Abstract

在实现PPML时，为了提高模型的可用性，常会选择较大的$\varepsilon$，而对这些选择对有意义的隐私所产生的影响知之甚少；此外，在使用迭代学习方法的场景中，差分隐私的变种可以提供更严密的分析，被用于降低所需的隐私预算，但隐私性和实用性之间存在难以理解的权衡。所以本文量化了这些影响。

CSE660的课件，这节是讲zero-Concentrated DP的。

Huang Z, Hu R, Guo Y, et al. DP-ADMM: ADMM-based distributed learning with differential privacy[J]. IEEE Transactions on Information Forensics and Security, 2019.

发表在TIFS2019上，从摘要来看，是针对分布式学习的Alternating direction method of multipliers（ADMM）优化方法提出了DP的版本。指出以前的工作在高privacy guarantee下，utility都比较低，而且还需要假设目标函数是光滑且强凸的。为此，本文提出了DP-ADMM，结合了approximate augmented Lagrangian function和随时间可变的高斯噪声，在同样隐私保证的条件下，可以得到更高的utility。同时，还采用了moments accountant方法来分析端到端的privacy loss，证明了收敛性，提供了明确的utility-privacy tradeoff。

大佬博文Deep learning and differential privacy阅读。

这篇博文是大佬Frank McSherry在看了Privacy-Preserving Deep Learning (CCS15)和Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning (CCS17)之后写的。这两篇文章，一篇说自己用DP进行了保护隐私的federated learning，很强大，一篇说以DP的方式来分享模型参数是不行的，不信你看我拿出了训练数据集中的数据。于是大佬觉得，这不矛盾吗：

Well, at least one of the two of them has to be wrong. Just because they can’t both be right doesn’t mean they can’t both be wrong, which to my reading they both are.

Balle B, Barthe G, Gaboardi M. Privacy amplification by subsampling: Tight analyses via couplings and divergences[C]//Advances in Neural Information Processing Systems. 2018: 6277-6287.

Introduction

提出了一种通用的框架，适用于任何subsampling策略的方案，提供tight privacy amplification results。基于$\alpha$-divergences[1]来推导bound，之前都是用在program verification上的，这是第一次用在算法分析的场景里。为此提出了两种分析工具，advanced joint convexity—关于混合分布的$\alpha$-divergences属性，和privacy profile—描述算法可以提供的privacy guarantees。