对比学习是一种机器学习技术,通过训练模型哪些数据点相似或不同,来学习没有标签的数据集的一般特征。
对比学习及其应用_CExploer的博客-CSDN博客
什么是范式?范式是我们用来组织观察和推理的基础模型或者参考框架。
范式
是指研究问题、观察问题时的角度、视野和参照框架
其构成包括:特有的观察角度、基本假设、概念体系、研究方式。
对比学习是一种自监督学习的方法。
在无标签的数据集上较好的学习general feature(一般特征)
即使我们不知道什么是猫什么是狗,但是我们可以对比,也可以知道哪些照片相似,哪些照片不一样。
对比学习通过对比数据对的相似或者不同以获取数据的高阶信息。
我们以SimCLRv2框架来学习一下对比学习的流程:
(1)假设我们面前有猫和狗图片混杂在一起的数据集,我们希望可以分出猫一类和狗一类。
0
(2) 首先,会将图片进行信息扩增,例如从一张猫变成两张猫。且新生成的两只猫的图片互为Positive Pairs。Positive Pairs即由同一张原始图片扩增而来的两张新的图片,类似的,还有negative Pairs,即由不同的原始图片进行扩增得到的新的图像。
(3)我们希望把Positive Pairs这两张由同一张图片扩增的图像丢进深度学习模型中,我们希望深度模型可以学习到这两张图片是相似的。同样,我们将negative pairs丢进模型中,我们希望其可以学习到这两张图片是不同的。
最后输出一个向量表示,我们希望positive pairs的向量表示越相似越好。即他们有最大的相似一致性。
对比学习的三个步骤:
(1)Data augmentation
(2)Encoding
(3)Loss minimization
【【硬核科普】6分钟了解对比学习(Contrast Learning)】 https://www.bilibili.com/video/BV1zr4y1b7F9/?share_source=copy_web