CSE660的课件,这节是讲zero-Concentrated DP的。
$\delta$的作用有个三个:
- DP计算中的失败的概率
- 高级组合定理中,当回答n个queries时,随着$\varepsilon$的增长,用来得到一个更优的bound?(高级组合定理不是需要k-fold adaptive嘛,后一个的输入是前一个的输出那种?)
- 用来分析高斯机制
实际上最初引入$(\varepsilon,\delta)$-DP时,是为了解决2和3的。那么有没有一种定义可以考虑到2和3,而不需要1?
高级组合性质中,$k<1/\varepsilon$,也就是说$0<\varepsilon\leq 1$.
重新定义privacy loss如上。
对于$(\varepsilon,\delta)$-DP如上。
随机变量可以通过它的矩(moments)来描述,那么是不是可以bound the moments of the privacy loss.
注意:一阶原点矩就是矩生成函数的一阶导数在0处的取值!
Renyi散度用来衡量两个概率分布接近程度。
第二点看起来可能是用一系列的$\alpha$来衡量相近程度,每一个$\alpha$提供不同的信息(所以CCS16的moments accountant代码里才计算1-32的M的值?)