面向深度學(xué)習(xí)訓(xùn)練的內(nèi)存交換機(jī)制綜述

摘要： 隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展和深入應(yīng)用,深度學(xué)習(xí)訓(xùn)練規(guī)模持續(xù)增大,內(nèi)存不足已成為影響深度學(xué)習(xí)可用性的主要瓶頸之一.內(nèi)存交換機(jī)制是應(yīng)對(duì)深度學(xué)習(xí)訓(xùn)練內(nèi)存問(wèn)題的關(guān)鍵技術(shù),該機(jī)制利用深度學(xué)習(xí)訓(xùn)練內(nèi)存需求的“時(shí)變”特征,在專(zhuān)用計(jì)算加速設(shè)備內(nèi)存與外部存儲(chǔ)之間按需移動(dòng)數(shù)據(jù),通過(guò)瞬時(shí)內(nèi)存需求替代累積內(nèi)存需求,保障深度學(xué)習(xí)訓(xùn)練任務(wù)的運(yùn)行.對(duì)面向深度學(xué)習(xí)訓(xùn)練的內(nèi)存交換機(jī)制進(jìn)行綜述,以深度學(xué)習(xí)訓(xùn)練內(nèi)存...