基于BERT-BiLSTM-CRF的中文分詞和詞性標(biāo)注聯(lián)合方法

摘要： 針對中文分詞、詞性標(biāo)注等序列標(biāo)注任務(wù)，本文提出了結(jié)合BERT語言模型、BiLSTM(雙向長短時記憶模型)、CRF(條件隨機(jī)場模型)和馬爾可夫族模型(MFM)或樹形概率(TLP)構(gòu)建的中文分詞和詞性標(biāo)注聯(lián)合方法.隱馬爾可夫(HMM)詞性標(biāo)注方法忽略了詞本身到詞性的發(fā)射概率，而在利用樹形概率或馬爾可夫族統(tǒng)計模型的詞性標(biāo)記中，一個詞的詞性不僅和該詞前一個詞的詞性關(guān)聯(lián)，且與該詞自身關(guān)聯(lián)...