深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率策略研究進(jìn)展

摘要： 學(xué)習(xí)率(learning rate, LR)是深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNNs)能夠進(jìn)行有效訓(xùn)練的重要超參數(shù).然而,學(xué)習(xí)率的調(diào)整在DNNs訓(xùn)練過程中仍存在諸多困難與挑戰(zhàn),即使以恒定的學(xué)習(xí)率選擇為目標(biāo),為訓(xùn)練DNNs選擇一個最優(yōu)的恒定初始學(xué)習(xí)率也非易事.動態(tài)學(xué)習(xí)率涉及到訓(xùn)練過程的不同階段,需對學(xué)習(xí)率進(jìn)行多步調(diào)整以達(dá)到高精確度和快速收斂的目的:調(diào)整...