洋哥作品
发表于
|
热度
℃
Efficient Privacy-Preserving Nonconvex Optimization (Skimming)
Wang L, Jayaraman B, Evans D, et al. Efficient Privacy-Preserving Nonconvex Optimization[J]. arXiv preprint arXiv:1910.13659, 2019.
为非凸ERM的优化问题提供了隐私保护。提出了一种DPSGD，给出了privacy、gradient complexity和utility的tight analysis。可以达到目前已知最好的utility保证[WANG, D., YE, M. and XU, J. (2017). Differentially private empirical risk minimization revisited: Faster and more general. In Advances in Neural Information Processing Systems.]，同时降低gradient complexity。可以用于分布式的设定中。
Differentially Private Iterative Gradient Hard Thresholding for Sparse Learning (Skimming)
Wang L, Gu Q. Differentially Private Iterative Gradient Hard Thresholding for Sparse Learning[C]//IJCAI. 2019: 3740-3747.
考虑保护隐私的sparse learning。提出了DP iterative gradient hard thresholding算法，拥有线性收敛率和很强的utility保证。对于稀疏线性回归，本文提出的算法无需先前工作中使用的任何额外支持，即可获得最好的utlity保证[Kifer 2012]。 对于稀疏的逻辑回归，本文的算法可以获得对问题维度的对数依赖的utlity保证。 在合成数据和现实世界数据集上的实验证明了本文提出的算法的有效性。
Renyi Differentially Private ERM for Smooth Objectives ntoes
Chen C, Lee J, Kifer D. Renyi differentially private erm for smooth objectives[C]//The 22nd International Conference on Artificial Intelligence and Statistics. 2019: 2037-2046.
为凸ERM问题提出了RDP-SGD。利用了输出扰动和SGD本身对随机性，创造了“随机的敏感度”来减少噪声量的添加。输出扰动的好处之一是，可以合并一个定期求平均的步骤，以进一步降低敏感度，同时提高精度（将SGD的众所周知的振荡行为降低至最佳水平）。RDP提供的$(\epsilon,\delta)$-DP保证，比之前的工作性能更好。
Privacy-Preserving Distributed Linear Regression on High-Dimensional Data (Skimming)
Gascón A, Schoppmann P, Balle B, et al. Privacy-preserving distributed linear regression on high-dimensional data[J]. Proceedings on Privacy Enhancing Technologies, 2017, 2017(4): 345-364.
为分布式的线性模型设计了隐私保护的协议。提出了一种混合的多方计算协议，该协议将Yao的乱码电路与tailored protocols相结合，用于计算内积。对比了包括共轭梯度算法在内的不同的安全计算技术。本文提出的算法适用于安全计算，因为它为实数提供了有效的定点表示，同时保持了与使用浮点数的经典解决方案所能获得的精度和收敛速率。本文的方法改进了privacy-preserving ridge regression (S&P 2013)。实现了一个完整的系统，并证明了本文的方法具有高度的可扩展性，可以在不到一小时的总运行时间内解决具有一百万条记录和一百个特征的数据分析问题。