基于改進(jìn)SimCSE的無監(jiān)督句嵌入方法

摘要： 針對無監(jiān)督SimCSE相同語義正樣本差異性不足、模型訓(xùn)練與預(yù)測階段具有不一致性的問題，基于SimCSE提出一種改進(jìn)的無監(jiān)督句嵌入方法SimCSE-PSER。采用dropout和位置嵌入擾動聯(lián)合進(jìn)行數(shù)據(jù)增強(qiáng)，提升正樣本質(zhì)量；引入R-Drop正則化方法，降低無監(jiān)督SimCSE使用dropout作為數(shù)據(jù)增強(qiáng)方法帶來的訓(xùn)練與預(yù)測階段不一致性。實(shí)驗(yàn)基于BERT模型在跨領(lǐng)域的4個中文語義文...