在線持續自適應樣例相似性嵌入學習
中文題目：在線持續自適應樣例相似性嵌入學習
論文題目：Adaptive Instance Similarity Embedding for Online Continual Learning
錄用期刊/會議：Pattern Recognition (JCR Q1-Top)
原文DOI：https://doi.org/10.1016/j.patcog.2023.110238
原文鏈接：
https://www.sciencedirect.com/science/article/pii/S0031320323009354
錄用/見刊時間：2024.01.01
作者列表：
1） 韓亞楠 中國石油大學（北京）信息科學與工程學院/人工智能學院 控制科學與工程 博19
2） 劉建偉 中國石油大學（北京）信息科學與工程學院/人工智能學院 自動化系 教師
我們研究了在線持續學習（CL）范式，即學習者必須不斷學習一系列任務。在這種情況下，提高模型的學習能力和減輕災難性遺忘是兩個關鍵因素。請注意，大多數現有的在線持續學習方法都是基于經驗h回放策略的。在這種類型的方法中，應用內存緩沖區來存儲先前任務的子集，以防止災難性遺忘。來自當前任務和存儲器緩沖器之間的樣本被聯合訓練以更新網絡參數。考慮到大多數方法只通過共享特征提取器生成特征嵌入，然后通過交叉熵損失訓練網絡。我們認為，這種方法未能全面探索特征嵌入內在機制，并忽略了樣本之間的相似關系，從而導致判別性能較低，尤其是在在線學習環境中。為此，我們提出了用于在線連續學習的自適應樣例相似性嵌入（AISEOCL）框架，該框架進一步考慮了給定批次中的所有樣例之間的關系。具體來說，首先，使用經驗回放策略來避免災難性遺忘。然后，在訓練過程中，我們應用自適應相似嵌入，從由當前任務和先前任務組成的當前訓練樣例中獲得額外的有價值的相似信息。由于并非所有樣例對預測都同等重要，因此我們通過注意力機制進一步權衡每個樣例的重要性。重要的是，我們進一步對當前模型和先前模型之間的相似性關系的分布施加了相似性蒸餾損失。這樣的操作可以將不同樣例之間的相似性關系從舊模型轉移到當前模型，以緩解災難性遺忘。通過這種策略，AISEOCL可以進一步提高模型的學習能力，同時增強判別能力，這也有利于穩定地抵抗遺忘。在幾個現有基準數據集上的實驗驗證了我們提出的方法的有效性。
為了能夠實現在線持續學習，學習者應該在能夠執行先前任務的同時，從當前任務中不斷獲得新知識。在線持續學習的最終目標是最大化所有任務的性能。我們注意到，提高模型的學習能力和克服災難性遺忘是在線持續學習環境中的兩個關鍵因素。有鑒于此，人們對持續學習越來越感興趣，近年來已經提出了幾種方法。為了對抗遺忘，早期的工作試圖將額外的正則化項應用于損失函數，在學習新任務時鞏固先驗知識，如無遺忘學習（LwF）、彈性權重鞏固（EWC）。然而，正則化方法可能不足以約束優化過程，特別是在在線設置或具有長序列的情況下，這可能導致較差的全局性能。與正則化方法相比，為了消除災難性遺忘，基于記憶的方法在情景記憶中保存了一些舊任務的樣本，這些樣本在學習新數據時會回放，最近的研究發現，這種方法表現出優越的性能。因此，幾乎所有現有的在線持續學習方法都是基于經驗重放，或者簡單地重放。此外，研究人員專注于提高模型的學習能力，如Chelsea等人。將元領導算法擴展到在線持續學習設置中，從而進一步加快和增強新任務的學習能力。基于交叉驗證原理，Quang等人通過雙層優化提高了模型的泛化能力。注意，大多數方法要么避免災難性遺忘，要么注重提高學習能力。但是，大多數方法都是通過交叉熵損失來訓練網絡的。由于這種損失只考慮了樣本的類別標簽，它們忽略了樣本之間的相似關系，導致判別性能較低，這不利于提高整體性能，尤其是在在線持續學習環境中。
設計與實現:
提出的自適應樣例相似性嵌入（AISEOCL）框架如下圖所示。
相似蒸餾損失過程圖解：
a) Task 1
b) Task 5
c) Task 10
d) Task 15
我們提出了一種新的在線持續學習范式，自適應實例相似性嵌入方法（AISEOCL），無論樣本是否屬于同一類，該方法可以自適應地計算當前訓練批中所有實例之間的相似關系。
我們提出了一種相似性蒸餾損失，可以在經驗回放過程中將查詢點與先前模型中的錨點相比的相似性轉移到當前模型，對抗災難性遺忘。
該方法可以進一步提高模型的判別性能，使相似樣例在特征空間中比不相似樣例更接近，從而提高模型的性能。
我們進行了全面的實驗比較，和一系列最先進的基準模型比較，驗證我們提出的方法的有效性，并進行了消融研究，以進一步了解AISEOCL模型中每個組分的貢獻。
劉建偉，教師，學者。研究領域涉及在線學習（包括強化學習，賭博機算法，持續學習，長尾學習）；圖像視頻顯著性目標檢測，解糾纏表示學習，光場和神經場模型，以及圖像視頻少樣本變化檢測；自然語言理解中的知識補全，圖神經網絡；不平衡數據處理；霍克斯點過程故障預測與診斷；非線性預測與控制。 是兵器裝備工程學報第三屆編輯委員會委員。歷屆中國控制會議(CCC)和中國控制與決策會議(CCDC)的程序委員會委員。擔任過80多個國際會議的TPC.