基于MCA-BERT的數(shù)學(xué)文本分類方法

摘要： 為盡可能地提高數(shù)學(xué)文本分類的效果，通過構(gòu)建數(shù)學(xué)文本數(shù)據(jù)集并對(duì)該數(shù)據(jù)集進(jìn)行分析，提出增強(qiáng)文本實(shí)體信息的多通道注意力機(jī)制-Transformers的雙向編碼器表示(MCA-BERT)模型。通過Word2vec詞向量的平均池化獲得句子級(jí)的實(shí)體信息，通過注意力機(jī)制給不同詞賦予不同權(quán)重，獲得詞語(yǔ)級(jí)的實(shí)體信息，將兩類實(shí)體信息與BERT輸出的上下文信息拼接，通過Softmax層得到分類結(jié)果。...