阅读笔记5：（SBERT）Sentence-BERT:Sentence Embeddings using Siamese BERT-Networks

目录

    - Motivation：论文想要解决的问题

    - Methodology：本文提出的方法

    - experiment：实验结果

Motivation

- Bert 直接生成的sentence representation（SR） 不能很好的表达句子的语义。（相似的句子距离更近）

- 所以设计网络来finetune bert，使得可以获取nice的SR

Methodology

- SBERT architecture with classification objective function：同时输入两个句子，最后使用entropy loss

注：fintune结束后，bert+pooling可作为句子编码器。

- SBERT architecture at inference：同时输入两个句子，可以使用MSEloss

experiment

- 使用SBERT框架&NLI finetune之后效果比BERT CLS-vector效果好