基于自適應(yīng)溫度改進(jìn)的可解釋方法及實(shí)驗(yàn)驗(yàn)證

摘要： 針對(duì)教師-學(xué)生網(wǎng)絡(luò)存在的超參數(shù)溫度控制效率低、時(shí)間開銷大的問題,提出了一種基于自適應(yīng)溫度的小教師網(wǎng)絡(luò)輔助訓(xùn)練的可解釋模型.在原有教師-學(xué)生模型結(jié)構(gòu)的基礎(chǔ)上,首先,說明超參數(shù)溫度只與學(xué)生模型的訓(xùn)練收斂速度相關(guān);然后,加入小教師模型結(jié)構(gòu),節(jié)約了解釋模型的訓(xùn)練時(shí)間.在圖像分類的驗(yàn)證實(shí)驗(yàn)中,解釋模型在cifar-100圖像數(shù)據(jù)集的平均TOP-1準(zhǔn)確率相比原有方法提高了2.45%,處理時(shí)...