融合注意力機制的IETM細粒度跨模態(tài)檢索算法

摘要： 交互式電子手冊是提高各類裝備保障信息化、智能化的關(guān)鍵技術(shù)之一，針對其檢索模態(tài)單一的問題，以其數(shù)據(jù)中圖文描述為研究對象，提出一種融合注意力機制的細粒度跨模態(tài)檢索算法。針對數(shù)據(jù)中圖像簡圖較多、色彩單一等特點，特征提取模塊使用Vision Transformer模型和Transformer編碼器分別獲得圖文的全局和局部特征；使用注意力機制在圖文模態(tài)間及模態(tài)內(nèi)部挖掘細粒度信息，加入文本...