用于對嘈雜和不平衡數(shù)據(jù)的元學(xué)習(xí)和類感知自適應(yīng)閾值的協(xié)同穩(wěn)健學(xué)習(xí)框架
中文題目：用于對嘈雜和不平衡數(shù)據(jù)的元學(xué)習(xí)和類感知自適應(yīng)閾值的協(xié)同穩(wěn)健學(xué)習(xí)框架
論文題目： Synergistic Framework of Meta-Learning and Class-Aware Adaptive Thresholding for Robust Learning on Noisy and Imbalanced Data
錄用期刊/會議：CPCC2025 （CAA A類會議）
錄用時間：2025.5.28
作者列表：
1)劉芷含 中國石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研23級
2)劉建偉 中國石油大學(xué)（北京）人工智能學(xué)院 自動化系 教師
摘要:
1) 提出了一種新的魯棒學(xué)習(xí)框架ML-CAT（Meta-Learning and Class-Aware Adaptive Thresholding），該框架結(jié)合了元學(xué)習(xí)和基于類的自適應(yīng)閾值生成方法，有效應(yīng)對噪聲標(biāo)簽和類別不平衡問題，顯著提高了模型在復(fù)雜數(shù)據(jù)場景下的魯棒性和泛化能力。
2) 通過構(gòu)建基于類特征分布的高斯混合模型（GMM），實(shí)現(xiàn)了動態(tài)閾值的自適應(yīng)調(diào)整，從而精準(zhǔn)區(qū)分干凈樣本與噪聲樣本。結(jié)合元學(xué)習(xí)的動態(tài)樣本重加權(quán)策略，ML-CAT能夠根據(jù)樣本損失動態(tài)優(yōu)化訓(xùn)練權(quán)重，充分利用高置信度樣本，抑制噪聲樣本的負(fù)面影響。
3) 研究進(jìn)一步驗(yàn)證了動態(tài)閾值調(diào)整與元學(xué)習(xí)重加權(quán)策略的協(xié)同作用，表明兩者在應(yīng)對長尾分布和高噪聲數(shù)據(jù)時具有互補(bǔ)性。實(shí)驗(yàn)結(jié)果證明，ML-CAT在多個長尾噪聲數(shù)據(jù)集上的表現(xiàn)均優(yōu)于現(xiàn)有方法，展現(xiàn)了其在復(fù)雜數(shù)據(jù)場景下的強(qiáng)大適應(yīng)能力和穩(wěn)健性。
背景與動機(jī):
在實(shí)際的圖像分類任務(wù)中，深度神經(jīng)網(wǎng)絡(luò)通常面臨類別不平衡和標(biāo)簽噪聲的雙重挑戰(zhàn)，這會導(dǎo)致模型預(yù)測的偏差和魯棒性下降。這種問題在醫(yī)療影像分析、工業(yè)檢測等應(yīng)用領(lǐng)域尤為突出，因?yàn)檫@些領(lǐng)域很難獲取大規(guī)模、高質(zhì)量且類別分布平衡的標(biāo)注數(shù)據(jù)集。現(xiàn)有研究通常分別針對類別不平衡和標(biāo)簽噪聲問題提出解決方案，但在這兩種問題同時存在的復(fù)雜場景下，現(xiàn)有方法的效果仍然有限。例如，傳統(tǒng)的固定閾值方法在區(qū)分干凈樣本和噪聲樣本時缺乏靈活性，無法適應(yīng)不同類別和訓(xùn)練階段的動態(tài)變化。此外，現(xiàn)有的樣本重加權(quán)方法大多依賴人工設(shè)計(jì)的權(quán)重分配策略，缺乏對數(shù)據(jù)動態(tài)分布的自適應(yīng)能力。
主要內(nèi)容:
圖1 ML-CAT結(jié)構(gòu)圖
結(jié)論:
本文提出了一種新穎的魯棒訓(xùn)練框架，專為應(yīng)對噪聲標(biāo)簽和類別不平衡問題而設(shè)計(jì)。通過結(jié)合基于類別高斯混合模型的自適應(yīng)閾值機(jī)制與基于元學(xué)習(xí)的動態(tài)樣本重加權(quán)策略，該框架顯著提升了模型的魯棒性和性能。自適應(yīng)閾值模塊利用特征的統(tǒng)計(jì)分布，在類別層面動態(tài)識別高置信度的干凈樣本，為模型提供更可靠的監(jiān)督信號；同時，元學(xué)習(xí)模塊通過端到端的方式動態(tài)優(yōu)化樣本權(quán)重，使模型在訓(xùn)練過程中能夠聚焦于更具信息價(jià)值和可靠性的樣本。實(shí)驗(yàn)結(jié)果表明，所提出的框架在多個具有噪聲標(biāo)簽和類別不平衡的基準(zhǔn)數(shù)據(jù)集上均取得了顯著的性能提升，展現(xiàn)出優(yōu)越的魯棒性和泛化能力。
展望未來，本文提出的魯棒學(xué)習(xí)框架為解決數(shù)據(jù)質(zhì)量不完美問題提供了重要的理論基礎(chǔ)和實(shí)踐工具。未來研究可以進(jìn)一步探索該方法在大規(guī)模數(shù)據(jù)集、多模態(tài)場景中的擴(kuò)展?jié)摿Γ⑵鋺?yīng)用于半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等更復(fù)雜的學(xué)習(xí)范式。此外，如何在更廣泛的實(shí)際應(yīng)用中提升模型的適應(yīng)性和泛化能力，也是值得關(guān)注的方向。我們相信，本文的研究成果將為數(shù)據(jù)質(zhì)量受限場景下的穩(wěn)健學(xué)習(xí)提供新的思路，推動相關(guān)領(lǐng)域的發(fā)展。
作者簡介:
劉建偉，教師。