科研動(dòng)態(tài)
基于多級深層次知識(shí)蒸餾的動(dòng)態(tài)類增量學(xué)習(xí)框架
中文題目：基于多級深層次知識(shí)蒸餾的動(dòng)態(tài)類增量學(xué)習(xí)框架
論文題目： A dynamic class incremental learning expansion architecture based on Multi-level deep knowledge
錄用期刊/會(huì)議：中國自動(dòng)化大會(huì)CAC（CAA A類會(huì)議）
錄用時(shí)間：2024.9.18
作者列表：
1) 鄒 周 中國石油大學(xué)（北京）人工智能學(xué)院 控制工程 碩22級
2) 劉建偉 中國石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
摘要:
增量學(xué)習(xí)是旨在解決模型無法連續(xù)訓(xùn)練的問題而提出的，其中動(dòng)態(tài)可擴(kuò)展架構(gòu)在性能方面有極為顯著的優(yōu)勢，然而，它在其中也存在一些問題，首先數(shù)據(jù)間存在三種混亂問題阻礙性能的提升，其次沒有考慮到不同樣本的知識(shí)含量以及繼承難度，使得難以充分繼承。本文提出了一種名為MLD-DEA的動(dòng)態(tài)類增量學(xué)習(xí)擴(kuò)展架構(gòu)，旨在解決以上問題并克服類增量學(xué)習(xí)任務(wù)中的災(zāi)難性遺忘。
背景與動(dòng)機(jī):
類增量學(xué)習(xí)旨在訓(xùn)練出一個(gè)模型能夠克服災(zāi)難性遺忘，其在當(dāng)前類上訓(xùn)練獲取新知識(shí)時(shí)，能夠盡可能多的保留從舊類中學(xué)到的舊知識(shí)。目前，動(dòng)態(tài)可擴(kuò)展框架（DEA）正逐漸成為一種備受關(guān)注的模型范式。該框架隨著任務(wù)數(shù)量的增加而靈活擴(kuò)展，通過將每個(gè)任務(wù)映射到獨(dú)立的子網(wǎng)絡(luò)并在引入新任務(wù)時(shí)凍結(jié)先前任務(wù)的權(quán)重，實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的動(dòng)態(tài)演化。其中，DEA的一項(xiàng)顯著優(yōu)勢在于其能夠有效地保留已學(xué)習(xí)任務(wù)的知識(shí)。但是它目前存在著數(shù)據(jù)間的混亂以及數(shù)據(jù)不充分繼承的問題，阻礙它的性能進(jìn)一步提升。
主要內(nèi)容:
本文提出了一種基于多層次深度知識(shí)蒸餾的動(dòng)態(tài)擴(kuò)展架構(gòu)（MLD-DEA）來解決數(shù)據(jù)間的混亂以及數(shù)據(jù)不充分繼承的問題，從而更好地克服增量學(xué)習(xí)中的災(zāi)難性遺忘問題。MLD-DEA 利用多層次深度知識(shí)蒸餾，結(jié)合了特征層、實(shí)例對數(shù)層、實(shí)例間相關(guān)對數(shù)層和類相關(guān)對數(shù)層。具體來說，它在每個(gè)新舊特征提取器之間建立知識(shí)傳播路徑。然后，在新舊分類器之間建立多級知識(shí)傳播路徑，從而形成舊知識(shí)繼承和新模型的完整路徑，有效地將知識(shí)從舊模型轉(zhuǎn)移到新模型，從而緩解任務(wù)間、任務(wù)內(nèi)和新舊混淆等問題。此外MLD-DEA還引入了熵加權(quán)實(shí)例級蒸餾，以根據(jù)樣本的不同難度調(diào)整知識(shí)轉(zhuǎn)移過程，并且設(shè)計(jì)了全新的特征融合模塊，通過聚焦于更主要的特征來克制災(zāi)難性遺忘問題。
圖1. MLD-DEA模型的結(jié)構(gòu)圖
結(jié)論:
本文重點(diǎn)研究了動(dòng)態(tài)可擴(kuò)展架構(gòu)中的混亂問題，其中ITC、WTC 和 ONC 是災(zāi)難性遺忘的主要原因。針對這一問題，本文提出了MLD-DEA，利用多層次的深度知識(shí)提煉和特征融合模塊，更全面地繼承和學(xué)習(xí)知識(shí)。在 CIFAR100 和 ImageNet100 上進(jìn)行的完整實(shí)驗(yàn)驗(yàn)證了我們的方法。MLD-DEA 報(bào)告了最先進(jìn)的準(zhǔn)確率，并且即使在不同內(nèi)存池大小的情況下也能保持最先進(jìn)的水平。但是，由于每個(gè)任務(wù)網(wǎng)絡(luò)中的知識(shí)無法全部貢獻(xiàn)出來，因此準(zhǔn)確率的提高和誤差的減少仍然受到限制。因此，未來我們將探索如何更好地共享不同子網(wǎng)絡(luò)之間的知識(shí)，并有興趣將 MLD-DEA 擴(kuò)展到其他應(yīng)用場景。
作者簡介:
劉建偉，教師，學(xué)者。