Li J, Khodak M, Caldas S, et al. Differentially private meta-learning[J]. arXiv preprint arXiv:1909.05830, 2019.
参数传递是元学习的一种众所周知的通用方法，其应用包括few-shot学习，联邦学习和强化学习。但是，参数传递算法通常需要共享已对来自特定任务的样本进行过训练的模型，从而使任务所有者容易受到隐私的侵犯。
本文在这种情况下进行了隐私的首次正式研究，并将任务全局差分隐私（task-global dp）的概念形式化为对更常见的威胁模型的实际放宽。然后，我们针对基于梯度的参数传递提出了一种新的差分隐私算法，该算法不仅满足此隐私要求，而且在凸设置中保留了可证明的传递学习保证。从经验上讲，我们将分析应用于具有个性化和few-shot分类的联邦学习问题，这表明允许从较普遍研究的局部隐私（local privacy）概念放宽到任务全局隐私会使rnn类的自然语言处理问题和图像分类问题的性能大幅提升。
Abernethy J D, Jung Y H, Lee C, et al. Online Learning via the Differential Privacy Lens[C]//Advances in Neural Information Processing Systems. 2019: 8892-8902.
DP框架”less about privacy and more about algorithmic stability”。本文提出一种one-step differential stability，便于对在线学习进行更精细的regret分析。这种稳定性的提法对于follow-the-perturbed-leader算法的一阶regret bounds十分适用，这也是以前工作留下的问题。同时，本文提出了一种标准的max-divergence来得到更为宽广的一类Tsallis max-divergences。
本文采用DP lens来设计和分析随机的在线学习算法，包括两种不同场景中：full information (online convex optimization, online linear optimization, experts problem) 和 partial information (multi-armed bandits, bandits with expert)。
Our rich set of examples suggests that our framework will be useful in translating results from the DP literature to study a much larger variety of online learning problems in the future.
本文的目标不是设计low-regret算法来满足privacy保证，而是以DP启发的基于稳定性的方法非常适合设计具有出色保证的在线学习算法。
Our goal is instead to show that, in and of itself, a DP-inspired stability-based methodology is quite well-suited to designing online learning algorithms with excellent guarantees.
文献[7 Noga Alon, Roi Livni, Maryanthe Malliaris, and Shay Moran. Private PAC learning implies finite Littlestone dimension. In Proceedings of the 51st Annual ACM SIGACT Symposium on Theory of Computing, pages 852–860. ACM, 2019.] 指出如果某类函数是可以privately learnable的，那么这个函数通过非构造性参数就有有限的Littlestone dimension（一个表征在线二进制分类的可学习性的参数）。我们的结果可以被解释为以建设性的方式证明了类似的主张，尽管是针对不同的、更容易解决的在线学习问题。
主要贡献是：
有一些研究统计学习算法稳定性分析的工作，但是很少有工作研究稳定性条件下的low regret online algorithm。本文主要用DP作为稳定性概念【Cynthia Dwork and Aaron Roth. The algorithmic foundations of differential privacy. Founda- tions and Trends in Theoretical Computer Science, 9(3-4):211–407, 2014. 13.2节 ，对小扰动要具有稳定性，这是DP的标志】。
DP通过以下散度来量化稳定性：P,Q是概率空间中的两个分布，P和Q之间的$\delta$-approximate max-divergence定义如下：
\[D_{\infin}^{\delta}(P,Q)=\sup_{P(B)>\delta}\log\frac{P(B)-\delta}{Q(B)}\]where the supremum is taken over measurable sets B。要指出最大散度不是一种metric，因为它不对称而且不满足三角不等式。
接下来定义了在线学习的稳定性，量化了对于新的损失函数，算法的分布会发生多少变化。
下面引理很简单但是很强大。因为，首先，它使DP中大量的算法工作可用于推导regret界限；其次，DP算法经常添加扰动以实现隐私。
纪守领老师综述的第四部分，讲述模型隐私风险与保护。主要场景是机器学习即服务(MLaaS)，数据持有者可以利用第三方提供的模型和算法以及平台提供的计算资源，训练用于特定任务的模型。尽管这种模式给用户训练和发布模型提供了便利，但同时也使得隐私数据面临泄漏风险。
这种场景中的攻击是通过某种手段来窃取模型信息或者通过部分恢复数据的方式来推断用户数据中的某些隐私信息。根据窃取目标不同，攻击可以分为训练数据窃取（Training Data Extraction）攻击和模型萃取（Model Extraction）攻击。
####1. 训练数据窃取
通过获取训练数据的大致分布 或者 根据模型的预测结果推断训练数据中是否包含某个具体的成员数据 的方式窃取训练数据中的隐私信息。
[Fredrikson M, Lantz E, Jha S, et al. Privacy in pharmacogenetics: An end-to-end case study of personalized warfarin dosing[C]. 23rd {USENIX} Security Symposium ({USENIX} Security 14), 2014: 17-32]通过分析药物推荐系统中人口统计信息和推荐药物的输出结果之间的相关性，可以逆向推出病患的遗传信息。
[Fredrikson M, Jha S, Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures[C]. Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, 2015: 1322-1333.]发现攻击者利用机器学习模型的预测结果可以重建模型训练时使用的人脸数据。
[Song C, Ristenpart T, Shmatikov V. Machine learning models that remember too much[C]. Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, 2017: 587-601]发现攻击者通过在训练阶段，将训练数据编码到模型参数中，然后在预测阶段对参数进行解码来窃取训练数据。
[Shokri R, Shmatikov V. Privacy-preserving deep learning[C]. Proceedings of the 22nd ACM SIGSAC conference on computer and communications security, 2015: 1310-1321.]提出了协作式深度学习(Collaborative Deep Learning)模型，每个参与者通过本地训练和定期更新交换参数来构建联合模型，以保护各自数据的隐私。（这篇文章的方案实际上加入的噪声很小，完全不算什么保护）
[Hitaj B, Ateniese G, Pérez-Cruz F. Deep models under the GAN: information leakage from collaborative deep learning[C]. Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, 2017: 603-618.]发现任何隐私保护的协作深度学习其实并没有真正地保护用于训练的人脸数据，应用于模型共享参数的记录层面(Record-level)上的差分隐私机制对于作者提出的基于GAN的攻击是无效的。
[Salem A, Bhattacharya A, Backes M, et al. Updates-Leak: Data Set Inference and Reconstruction Attacks in Online Learning[J]. arXiv preprint arXiv:1904.01067, 2019.]在Online Learning场景下，提出基于GAN的混合生成网络(BM-GAN)，利用模型在更新前后针对同样样本预测结果的变化来窃取用于更新模型的训练数据信息。(各种encoder和decoder，可以跑一下实验了解一下)
窃取训练数据的隐私属性。
172[Ateniese G, Felici G, Mancini L V, et al. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers[J]. arXiv preprint arXiv:1306.4447, 2013] 首次出了基于元分类器(Meta-classifier)的属性推断攻击并且证明仅供记录级隐私的差分隐私机制无法有效地防御属性推断攻击。然而，尽管该属性推断攻击方法针对隐马尔可夫模型(HMM)和支持向量机 (SVM)有很强的攻击效果，但由于深度神经网络模型的复杂性使得训练元分类器变得困难，导致严重地削弱了 该攻击在深度神经网络上的攻击效果。
173[Ganju K, Wang Q, Yang W, et al. Property inference attacks on fully connected neural networks using permutation invariant representations[C]. Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security, 2018: 619-633] 为了解决深度神经网络上攻击效果不佳的问题，提出了新的针对全连接神经网络 (FCNNs)的属性推断攻击方法,简化了元分类器的训练过程。
174[Melis L, Song C, De Cristofaro E, et al. Exploiting unintended feature leakage in collaborative learning[C], 2019] 发现在协同式深度学习模式下，针对训练数据子集的属性推断攻击仍然能够成功。
利用模型的预测结果来推断模型训练数据中是否包含某个训练样本。
176[Shokri R, Stronati M, Song C, et al. Membership inference attacks against machine learning models[C]. 2017 IEEE Symposium on Security and Privacy (SP), 2017: 3-18.] 首先利用训练数据和目标模型返回的预测概率向量及标签训练一个与目标模型架构相似的影子模型(Shadow Model)，以得到某条数据是否属于影子模型训练集的标签；然后将这些数据输入目标模型，利用模型预测接口返回的预测类别、置信度以及该数据是否在训练集中的二值标签训练一个分类模型；最后，给定一条待推断数据，通过将目标模型针对该数据返回的预测概率和标签输入到训练所得分类模型来判断该数据是否属于目标模型的训练数据集。
然而，这种攻击基于的假设条件较强(如攻击者必须了解目标模型结构、拥有与目标模型训练数据分布相同的数据集等)，因此攻击实施的成本较高。177[Salem A, Zhang Y, Humbert M, et al. Ml-leaks: Model and data independent membership inference attacks and defenses on machine learning models[J]. arXiv preprint arXiv:1806.01246, 2018.] 放宽了这些关键假设，并且证明改进后的攻击方法能显著地减低攻击成本。
由于机器学习模型通常是由一系列参数决定的，因此通过求解模型参数就可以实现模型萃取。
2[]发现攻击者理论上只需要通过预测借口进行$n+1$次查询就能窃取到输入为$n$维的线性模型。
178[Oh S J, Augustin M, Schiele B, et al. Towards reverse-engineering black-box neural networks[J]. arXiv preprint arXiv:1711.01768, 2017.]表明攻击者可以从一系列的查询结果中逆向取得到诸如训练数据、模型架构以及优化过程等神经网络的内部信息，而这些暴露的内部信息将有助于攻击者生成针对黑盒模型的更有效的对抗样例，从而显著高黑盒对抗攻击方法的攻击效果。
179[Wang B, Gong N Z. Stealing hyperparameters in machine learning[C]. 2018 IEEE Symposium on Security and Privacy (SP), 2018: 36-52.]出了超参数窃取攻击(Hyperparameter Stealing Attacks)，研究结果证明该攻击适用于诸如岭回归、逻辑回归、支持向量机以及神经网络等各种流行的机器学习算法。
差分隐私将隐私定义为添加或移除输入数据中的任何一条记录不会显著影响算法输出结果的一种属性。为了提供任何有意义的差分隐私保护，必须随机化机器学习系统的部分管线，这种随机化过程既可以在训练阶段完成，也可以在模型推理阶段通过随机化选择模型预测结果来实现。
训练阶段的DP. 典型方法是数据满足局部差分隐私(LDP)[181Kairouz P, Oh S, Viswanath P. Extremal mechanisms for local differential privacy[C]. Advances in neural information processing systems, 2014: 2879-2887]。
182[Erlingsson Ú, Pihur V, Korolova A. Rappor: Randomized aggregatable privacy-preserving ordinal response[C]. Proceedings of the 2014 ACM SIGSAC conference on computer and communications security, 2014: 1054-1067.]提出了RAPPOR，允许浏览器的开发人员在满足隐私前下收集并使用来自浏览器用户的有意义的统计数据。具体地，RAPPOR机制在用户将数据发送到用于收集数据以训练模型的集中式服务器时，采用随机响应来保护用户隐私，即用户在响应服务器查询时以 q 的概率返回真实答案或以 1-q 的概率返回随机值。
183[Liu C, Mittal P. LinkMirage: Enabling Privacy-preserving Analytics on Social Relationships[C]. NDSS, 2016.]出了一种保护用户社交网络隐私信息的方法 LinkMirage，该方法通过模糊社交网络的拓扑结构，从而允许不受信任的外部应用程序能够收集有意义的、具有隐私保护的用户社交网络信息以用于模型训练。
其他则通过在训练过程中向损失函数[184 Chaudhuri K, Monteleoni C, Sarwate A D. Differentially private empirical risk minimization[J]. Journal of Machine Learning Research, 2011, 12(Mar): 1069-1109.]、梯度[185 Abadi M, Chu A, Goodfellow I, et al. Deep learning with differential privacy[C]. Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, 2016: 308-318.]、参数值[169 Shokri R, Shmatikov V. Privacy-preserving deep learning[C]. Proceedings of the 22nd ACM SIGSAC conference on computer and communications security, 2015: 1310-1321.]添加随机噪声的方式来保证$\varepsilon$-DP。
预测阶段的DP. 通过随机化模型预测行为的方式，提供DP保证。然而，随着查询次数的增加，引入的噪声量也随之增长，导致模型预测的准确性降低。
为克服这一缺陷，[186 Papernot N, Abadi M, Erlingsson U, et al. Semi-supervised knowledge transfer for deep learning from private training data[J]. arXiv preprint arXiv:1610.05755, 2016.]设计了一种保护数据隐私的通用型框架——PATE (Private Aggregation of Teacher Ensembles)，它不仅能够提供正式的差分隐私保障，也供一定的直观隐私(Intuitive Privacy)保障。具体地，该框架先将训练数据划分成 N 个不相交的子集，然后用这些子集分别训练不同的模型，得到 N 个独立的教师模型，最后在预测阶段通过统计每个教师模型的预测结果并选取票数最高的结果将预测结果聚合起来。如果大部分教师模型都同意某一个预测结果，那么就意味着它不依赖于具体的分散数据集，所以隐私成本很小；但如果有两类预测结果有相近的票数，那么这种不一致或许会泄露隐私信息。因此,作者在统计票数时引入了拉普拉斯噪声，把票数的统计情况打乱，从而保护隐私。事实上，每次查询聚合教师模型时都会增加隐私成本，因为它每次给出的结果或多或少都会透露一些隐私信息。因此，作者利用聚合教师模型以隐私保护的方式对未标记的公共数据进行标注，然后用标记好的数据训练学生模型，最终将学生模型部署到用户设备上。这种做法可以防范攻击者窃取隐私训练数据，因为在最坏情况下攻击者也只能得到学生模型的训练数据，即带有隐私保护标注信息的公开数据。
防御成员推断攻击.
[177 ]认为成员推断攻击之所以能够成功，原因之一在于机器学习模型在训练过程中普遍存在过拟合现象。基于这一认知，作者出了利用随机失活(Dropout)和模型集成(Model Stacking) 的方法来防御成员推断攻击。
[187 Nasr M, Shokri R, Houmansadr A. Machine learning with membership privacy using adversarial regularization[C]. Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security, 2018: 634-646.]引入了一种隐私机制来训练机器学习模型并将其形式化为最小–最大博弈优化问题，利用对抗性训练算法使模型的分类损失和成员关系推理攻击的最大增益最小化，以使攻击者无法区分最终训练所得模型对其训练数据以及对同一分布中其他数据点的预测结果。
[188 Hagestedt I, Zhang Y, Humbert M, et al. MBeacon: Privacy-Preserving Beacons for DNA Methylation Data[C]. Proceedings of the 2019 Network and Distributed System Security Symposium (NDSS). Internet Society, 2019.]提出了 一种新的差分隐私机制 SVT2，能够显著降低 DNA 甲基化(DNA Methylation)等生物医学数据的成员隐私风险。
在机器学习领域，同态加密、安全多方计算等技术也被广泛应用于保护机器学习模型的安全与隐私。
[189 Gilad-Bachrach R, Dowlin N, Laine K, et al. Cryptonets: Applying neural networks to encrypted data with high throughput and accuracy[C]. International Conference on Machine Learning, 2016: 201-210]将同态加密技术引入到神经网络中，以允许神经网络在不解密数据的情况下直接处理加密数据。由于同态加密技术将给机器学习模型的体系结构设计引入额外的约束。因此该方法受限于同态加密的性能开销以及所支持的有限算术运算集。
为解决这一问题，[190 Liu J, Juuti M, Lu Y, et al. Oblivious neural network predictions via minionn transformations[C]. Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, 2017: 619-631.]为神经网络中诸如线性转换、激活函数和池化等常用操作设计了不经意(Oblivious)协议，并结合乱码电路、同态加密等密码学相关理论出了MiniONN，这种方法可以在不需要改变模型训练方式的情况下将普通神经网络转换为不经意神经网络(Oblivious Neural Networks)以支持保护隐私的模型预测。
此外，安全多方计算应用于协同式机器学习框架中(比如岭回归[191 Nikolaenko V, Weinsberg U, Ioannidis S, et al. Privacy-preserving ridge regression on hundreds of millions of records[C]. 2013 IEEE Symposium on Security and Privacy, 2013: 334-348.]、线性回归[192 Gascón A, Schoppmann P, Balle B, et al. Privacy-preserving distributed linear regression on high-dimensional data[J]. Proceedings on Privacy Enhancing Technologies, 2017, 2017(4): 345-364.])。
[193 Bonawitz K, Ivanov V, Kreuter B, et al. Practical secure aggregation for privacy-preserving machine learning[C]. Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, 2017: 1175-1191.]出了一种移动应用场景下的数据聚合安全协议，该协议利用安全多方计算的方式计算自各个用户设备的模型参数更新总和，以确保客户端设备的输入仅由服务器进行聚合学习。该协议不仅开销低，而且还可以容忍大量的设备故障，因此是移动应用的理想选择。
[194 Mohassel P, Zhang Y. Secureml: A system for scalable privacy-preserving machine learning[C]. 2017 IEEE Symposium on Security and Privacy (SP), 2017: 19-38.]出了一种基于安全多方计算的、适用于线性回归、逻辑回归和神经网络的模型训练保密协议，该协议大幅度提升了已有最先进的解决方案效率。
IEEE Symposium on Security and Privacy 2019
之前提出的基于DP的用来解决凸优化问题的算法都不能部署到实践中。本文提出了Approximate Minima Pertubation，可以针对当前的任何优化器实现隐私保护算法，并且不需要超参数的调整；其次做了一些评估比较，和当前的DP凸优化方法进行了比较；最后给出了开源实现。
TCC 16
给出了CDP的另一种形式，并基于此证明了更好的量化结果，更低的bounds，提出了一些新的问题。
Infocom 2020, Zhiying Xu, Shuyu Shi, etc.
提出一种适应性的快速的保护隐私学习算法，ADADP。该算法通过适应性的学习率提高了收敛速度从而极大的减少了privacy cost，同时通过引入适应性的噪声量，缓和了DP对模型正确率的负面影响。