主  題: 面向神經(jīng)網(wǎng)絡(luò)壓縮的稀疏學(xué)習(xí)與分布式優(yōu)化
內(nèi)容簡(jiǎn)介:以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型往往具有超大的參數(shù)規(guī)模，在提高學(xué)習(xí)性能的同時(shí)也為模型的穩(wěn)定性、可解釋性和可部署性帶來(lái)巨大的挑戰(zhàn)。在這類(lèi)高維非凸模型中引入稀疏約束學(xué)習(xí)機(jī)制是解決這類(lèi)挑戰(zhàn)的有效途徑之一。同時(shí)如何利用分布式計(jì)算平臺(tái)進(jìn)行高效深度網(wǎng)絡(luò)壓縮訓(xùn)練也是重要問(wèn)題之一。針對(duì)這一系列問(wèn)題，本報(bào)告主要探討深度神經(jīng)網(wǎng)絡(luò)中的結(jié)構(gòu)化稀疏學(xué)習(xí)及大規(guī)模優(yōu)化方法。將重點(diǎn)介紹一類(lèi)基于梯度閾值追蹤的深度神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)裁剪算法和一類(lèi)基于近似牛頓估計(jì)的分布式神經(jīng)網(wǎng)絡(luò)裁剪方法。研究結(jié)果表明所提出的稀疏訓(xùn)練方法可以自適應(yīng)地顯著減少卷積神經(jīng)網(wǎng)絡(luò)的冗余度，同時(shí)保持稠密模型的泛化能力。
報(bào)告人: 袁曉彤    教授
時(shí)  間:    2019-05-31    15:00
地  點(diǎn):    競(jìng)慧東302
舉辦單位:    統(tǒng)計(jì)與數(shù)學(xué)學(xué)院、澄園書(shū)院