KDD2022 Learning Backward Compatible Embeddings【个人笔记】
admin
2024-03-19 23:18:44
文章链接
KDD2022： https://cs.stanford.edu/people/jure/pubs/bcemb-kdd22.pdf
文章主要内容
文章本身说的情景并不适合。
个人认为此方法适合的场景是：如何在低储存量的前提下交付多个下游用户。而不是文章说的在同一个模型不断迭代的情景下保持对某个用户的稳定节点表示。
文章主要新意
把原先只在face recognition的方法迁移到图表示上来。另外还做了些工程上的尝试。
文章脉络
3种应对场景的方法
- keep all，把所有使用到的embedding都存储
- keep latest，只存储最后一版emebdding，剩下的用B来转换到对应版本，文章在这一方法下做了6种不同的实验。
- keep original， 只储存第一版embedding，但是文章除了用fine tune，并没有给出更多实验。
3种实验setting：
为了学到一个B矩阵，用来还原上一版，
- Representation transformation：对上一步的embedding是否做linear变换。
- Single/Multiple version of Regularizer：只对上一步的embedding做拉近还是对前多步的embedding做拉近。
- Training: 先train再regularize，还是training与regularization一起。
原本应该有222 共8种实验，但是文章只给出了6种。
其他
模型使用Pinsage，也就是graph sage。
其他： 情景理由
为了“稳定节点表示”而去倒推回原先的一套表示？那我新训练出来的新的embedding有什么用？
相关内容
热门资讯
最新或2023（历届）植树节经...
植树吧，让空气更清新。植树吧，让世界更美好。植树吧，让荒山披绿装。植树吧，让小鸟有家园，今天植树，千...
3月7女生节短信祝福语 3月7...
ith very best wishes for your happiness in the GIR...
北京此次降雪为何沿山雪势更强？...
新京报讯（记者王景曦）目前北京大部分地区以小雪为主，西部地区相对明显，雪花较大且蓬松。 1月17日6...
3月7女生节短信祝福语 3月7...
;给你个节日就快乐，给你点阳光就灿烂，给你些问候就温暖，给你顶高帽就发飘。祝女生节快乐 50. 在...
“智谷趋势”解读茅台开年10日...
1月17日，知名财经媒体“智谷趋势”发布文章《世上十日，圈内十年：茅台改革实录》认为，2026年茅台...