結(jié)合新穎的互注意力和門控機(jī)制的圖像標(biāo)題生成
小型微型計(jì)算機(jī)系統(tǒng)
頁數(shù): 7 2023-06-25
摘要: 圖像標(biāo)題生成是通過機(jī)器產(chǎn)生描述圖像的語句,屬于多模態(tài)領(lǐng)域的重要研究方向之一.現(xiàn)有的工作大多數(shù)有兩點(diǎn)不足:1)采用單一的圖像特征,導(dǎo)致在非結(jié)構(gòu)化場(chǎng)景中無法完全描述圖像中更加細(xì)粒度的內(nèi)容信息;2)模型大多數(shù)完全依賴圖像的特征生成句子,而沒有引入外部知識(shí)作為輔助信息.針對(duì)上述兩點(diǎn),提出一種互注意力和門控機(jī)制的方法.在MSCOCO2014數(shù)據(jù)集上和Flickr 30k數(shù)據(jù)集上分別進(jìn)行實(shí)...