多模態(tài)對比學習中的靶向投毒攻擊

摘要： 近年來,使用對比學習技術在大規(guī)模無標注數(shù)據(jù)上所構建的預訓練模型得到了廣泛的應用（如車道檢測、人臉識別等）。然而,其面臨的安全和隱私問題也引起學者的廣泛關注。文章聚焦于針對多模態(tài)對比學習模型的投毒攻擊,該攻擊將精心構造的數(shù)據(jù)注入訓練集,以改變模型在特定數(shù)據(jù)上的預測行為。針對現(xiàn)有投毒攻擊主要針對文本或圖像單模態(tài)模型,沒有利用文本或者圖像間的多模態(tài)信息的問題,文章提出一種同時對文本與...