对比求学引领弱标签求学新SOTA，浙大新研究入选ICLR Oral

类学器

，

PLL的对比也就是说研读（Contrastive Representation Learning For PLL）

受到指导对比研读（SCL）[3] 的启发，学者旨在转用对比研读必要，为来自同一类的检验研读相近的也就是说。PiCO 的基本结构和 MoCo [4] 类似，仅有由两个的网络组合而成，都为 Query 的网络

和 Key 的网络

。给定一个检验

，学者首先为了让随机样本增强新科技拿到两个别字检验，分别称为 Query View 和 Key View。然后，它们才会被分别输入两个的网络，拿到一对

- 1]的 embeddings，即

和

。

实现时，学者让 Query 的网络与分类学器共享并不相同的时域块，并增加一个额外的投影的网络。和 MoCo 一样，学者为了让 Query 的网络的动量平仅有（Momentum Averaging）新科技对 Key 的网络透过更是新。并且，学者转用一个路由表 queue，存储设备过去一段时间内的 Key embedding。由此，学者拿到了请求注意的对比研读 embedding pool：

。接着，学者根据如下公式计算出来每个检验的对比伤亡：

其中都

是对比研读中都的亦然检验集，而

。

是温度变量。

Positive Set 重新考虑。可以辨认出，对比研读基本功能中都，最重要的妥善解决办法即为亦然检验空集的构建。然而，在 PLL 妥善解决办法中都，真亦然附加是未知的，因此不能同样重新考虑特别之处检验。因此，学者转用了一个比较简单而直接的思路，即同样应用于分类学器结论的附加：

，构建如下亦然检验集：

为了最大限度计算出来效率，学者还保护一个附加路由表来存储设备早先几个 Batch 的结论。尽管该思路很比较简单，却能得到非常好的检验结果，并且很难从理论数学模型上被证明该思路是行之直接的。

基于十分相似的附加消歧（Prototype-based Label Disambiguation）

取值得一提的是的是，对比研读直到现在依赖于直观的分类学器结论，因此直到现在能够一个直接的附加消歧思路，获取直观的附加预估。为此，学者明确提出了一个精致的基于十分相似的附加消歧思路。完全一致的，学者为每个附加

保护了一个十分相似 embedding 等价

，它可以被看作一组具备近现代的 embedding 等价。

可证附加更是新。在研读处理过程中都，学者首先将 S 初始化为 Uniform 等价

。接着，基于类十分相似，学者转用一个向下平仅有的思路更是新可证附加等价，

即，学者重新考虑最近的十分相似互换的附加，逐步更是新可证附加 S。此处，转用向下平仅有原因是对比研读的网络输出的 embeddings 在初始阶段并不确实，此时拟合 Uniform 可证前提很难更是好地初始化分类学器。然后，向下平仅有思路可证附加平直地更是新为亦然确的前提，以必要一个稳定的 Traning Dynamic。

十分相似更是新。为了更是新可证附加，一个比较简单的方式为是每个迭代或者 Epoch 中都都计算出来一次每个类的中都心，不过这才会引起更是大的计算出来获益。因此学者再行一次应用于向下平仅有新科技更是新十分相似，

即，当

被结论为类别

时，则令

往互换的

等价方向步进一些。

Insights. 取值得一提的是的是，这两个其实脱离的基本功能本来很难协同文书工作。首先，对比研读在 embeddings 内部空间中都具备聚类效用，因此很难被附加消歧基本功能为了让，以拿到更是直观的类中都心。其次，经过附加消歧后，分类学器结论的附加更是直观，很难反哺对比研读基本功能内部结构更是精密的 Positive Set。当两个基本功能达成一致时，整个基础训练处理过程就才会收敛。学者在接下来在理论数学模型上更是严苛地谈论 PiCO 与精华 EM 聚类搜索算法的共同点。

检验结果

主要结果

在展开理论数学模型数据分析早先，学者首先看一下 PiCO 出众的检验效用。首先是在 CIFAR-10、CIFAR-100 上的结果，其中都，

声称每个 Negative Label 踏入候选附加的不已确定性。

如上图，PiCO 达致了十分出色的检验结果，在两个样本集、相异持续性的青峰下（互换

的大小），仅有赢取了 SOTA 的结果。取值得一提的是的是，早先的文书工作 [5][6] 仅有只阐释了附加量小得多的上述情况（

），学者在 CIFAR-100 上的结果确实，即使在附加内部空间更是大，PiCO 直到现在具备十分优越良好的可靠性。再行次，取值得一提的是的是，当

相对小得多的时候，PiCO 甚至达致了相似亦然因如此指导的结果！

也就是说研读

除此之外，学者还三维了相异方式为研读到的也就是说，可以看不到 Uniform 附加加剧了含糊的也就是说，PRODEN 方式为研读到的簇则假定交错，不能仅仅分开。相比之下，PiCO 研读的也就是说更是小巧，更是具辨识度。

复元检验

再行次，学者展示相异的基本功能对检验结果的受到影响，可以看不到，附加消歧基本功能和对比研读基本功能都才会带来非常明显的可靠性提升，复元其中都一个才会带来

的可靠性下降。更是多的检验结果请求请求听闻原科学论文。

理论数学模型数据分析

终于到了最激动人心的部分！相信大家都有一个疑问：为什么 PiCO 很难拿到如此出众的结果？本文中都，学者从理论数学模型上数据分析对比研读得到的十分相似更容易附加消歧。学者将才会展示，对比研读中都的相反本质（Alignment）本质上也就是说了 embedding 内部空间中都的类内协正态分布，这与精华聚类搜索算法的前提是一致的。这更进一步学者从期望举例来说搜索算法（Expectation-Maximization，EM）的出发点来暗示 PiCO。

首先，学者重新考虑一个即使如此的 Setup：在每个基础训练步骤中都，所有样本检验都是可访问的，并且别字的检验也举例来说在基础训练集中都，即

。然后，可以如下计算出来对比伤亡：

学者主要注意第一项 (a)，即 Alignment 项 [2]，另一项 Uniformity 则被证明有利于 Information-Preserving。在本文中都，学者将其与精华的聚类搜索算法联系起来。学者首先将样本集划分为

个可数

，其中都每个可数中都的检验举例来说具备并不相同的结论附加。本来，PiCO 的 Positive Set 重新考虑思路也是通过从并不相同的思路来内部结构 Positive Sets。因此，学者有，

其中都

是一个常数，

是

的仅有取值中都心。这里学者近似

因为

举例来说不大。为比较简单起听闻，学者省略了

小写字母。可以看不到，Alignment 这一项很难也就是说类内正态分布！

至此，学者可以将 PiCO 搜索算法暗示为最优化一个分解数学模型的 EM 搜索算法。在 E 步，分类学器将每个检验分派到一个特定的簇。在 M 步，对比伤亡将 embedding 集中都到他们的簇中都心方向。再行次，基础训练样本将被映射到为单位的大球面上的混合 von Mises-Fisher 分布。

EM-Perspective。为了预估似然

，学者额外转用一个结论来建立候选附加空集与真亦然附加的联系，

由此，学者证明 PiCO 隐式地举例来说似然如下，

E-Step。首先，学者在转用一组分布

，且

若

，

。令

为

的变量。学者的前提是举例来说如下似然，

再行次一步推导应用于了 Jensen 不等式。由于

函数是凹函数，当

是某些常数时等式成立。因此，学者有，

即为类后验不已确定性。在 PiCO 中都，学者应用于分类学器输出对其透过预估。

为了预估

，精华的无指导聚类方式为同样将检验分派给最近的聚类中都心，如 k-Means 方式为；在仅仅指导研读上述情况下，学者可以同样应用于 ground-truth 附加。然而，在 PLL 妥善解决办法中都，指导接收机保持稳定仅仅指导和无指导之间。根据学者的检验观察，候选附加在开始时对后验预估更是确实；而随着数学模型基础训练，对比研读的十分相似才会变得更是加可信。这更进一步学者以向下平仅有方式为更是新可证附加。因此，学者在预估类后验时有一个更是好的初始化数据，并且在基础训练处理过程中都才会被平直地最优化。再行次，由于每个检验互换一个唯一的附加，学者转用 One-hot 结论

，学者有

。

M-Step。在这一步，学者结论后验类不已确定性据信，并举例来说似然。下述定理确实，也就是说对比伤亡很难也举例来说似然的一个也就是说，

证明听闻译文。当

相似 1 时，也就是说较紧，这意味着的大球面的类内集中都度极好。

直观地说，当结论内部空间足够丰沛时，学者或许在欧几里得内部空间中都得到较低的类内协正态分布，从而加剧仅有取值等价

的度量不大。

然后，的大球面中都的1] embedding 在也具备强于的类内集中都度，因为大的

也才会加剧大的 K 取值 [7]。根据检验结果中都的三维结果，学者辨认出 PiCO 无论如何很难研读小巧的簇。因此，学者认为也就是说对比伤亡也很难举例来说似然。

结论

在本文中都，学者明确提出了一种精致的偏于附加研读基础 PiCO。其最重要思想是通过应用于对比研读的 embdding 十分相似从候选空集中都识别真亦然附加。亦然因如此面的检验结果确实 PiCO 达致了 SOTA 的结果，并在部分上述情况下达致了相似仅仅指导的效用。理论数学模型数据分析确实，PiCO 可以被暗示为一种 EM 搜索算法。学者希望学者的文书工作很难引起社区的更是多注意，以更是广泛地应用于对比研读新科技透过偏于附加研读。

检验室简介

欢迎大家申请求加入学者赵俊博同学们所在的清华大学样本智能检验室和带领的M3 Group（与宝马逃离现场跑车没啥彼此间）！！检验室在计算出来机副教授陈刚同学们带领下，曾获 VLDB 2014/2019 best paper，近年来在 VLDB、ICLR、ICML、ACL、KDD、WWW 等顶级才会议和期刊上成就不计其数，多次拿到国家级、省级金奖。赵俊博同学们是清华大学百人原计划研究所、博士生指导，师承 Yann LeCun，Google 所述 1w+，知乎万粉小 V，AI 路肩连续创业者。

赵俊写手页：

参看

1. 本来，PLL 有更是同样的叫作：Ambiguous Label Learning（含糊 / 青峰附加研读），或 set Label Learning（的大集附加研读）。本文遵循最特指的名称，称作偏于附加研读。

2. Tongzhou Wang and Phillip Isola. Understanding contrastive representation learning through alignment and uniformity on the hypersphere. In ICML, volume 119 of Proceedings of Machine Learning Research, pp. 9929–9939. PMLR, 2020.

3. Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, and Dilip Krishnan. vised contrastive learning. In NeurIPS, 2020.

4. Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In CVPR, pp. 9726–9735. IEEE, 2020.

5. Jiaqi Lv, Miao Xu, Lei Feng, Gang Niu, Xin Geng, and Masashi Sugiyama. Progressive identification of true labels for partial-label learning. In ICML, volume 119 of Proceedings of Machine Learning Research, pp. 6500–6510. PMLR, 2020.

6. Lei Feng, Jiaqi Lv, Bo Han, Miao Xu, Gang Niu, Xin Geng, Bo An, and Masashi Sugiyama. Provably consistent partial-label learning. In NeurIPS, 2020b.

7. Arindam Banerjee, Inderjit S. Dhillon, Joydeep Ghosh, and Suvrit Sra. Clustering on the unit hypersphere using von mises-fisher distributions. J. Mach. Learn. Res., 6:1345–1382, 2005.

知乎译文：

。

感冒上火嗓子疼吃什么
腹泻吃什么药最有效
吃什么可以止泻
双氯芬酸钠凝胶对痛风效果好吗
婴儿益生菌调理肠胃哪个牌子好
治疗类风湿的新方法
高血糖
远大医药