基于重參數(shù)化技術(shù)和互信息最大的IMRChangeMamba編碼器
中文題目：基于重參數(shù)化技術(shù)和互信息最大的IMRChangeMamba編碼器
論文題目：IMRChangeMamba Encoder Based on Reparameterization Technique and Mutual Information Maximization
錄用期刊/會議：CPCC2025 （CAA A類會議）
錄用時間：2025.5.28
作者列表：
1)吳祎凡 中國石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研23級
2)劉建偉 中國石油大學(xué)（北京）人工智能學(xué)院 自動化系 教師
摘要:
1)ChangeMamba的核心設(shè)計(jì)：ChangeMamba模型基于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和Transformer架構(gòu)，采用了Mamba編碼器，該編碼器通過狀態(tài)空間模型（SSM）有效地學(xué)習(xí)輸入圖像中的空間時間特征。與傳統(tǒng)模型的局部卷積操作不同，ChangeMamba通過狀態(tài)空間轉(zhuǎn)換，捕捉到了更多的跨時刻變化信息。然而，盡管該架構(gòu)具有一定的優(yōu)勢，但如何進(jìn)一步增強(qiáng)不同時間步特征的一致性，依舊是一個待解決的問題。
2)在此基礎(chǔ)上，我們引入了重參數(shù)化技術(shù)和最大化互信息的概念，進(jìn)一步優(yōu)化了ChangeMamba模型的表現(xiàn)。通過這種方式，模型能夠在多個時間步驟之間保持特征的一致性，極大地提升了其對時序變化的理解能力。具體來說，我們通過重參數(shù)化技術(shù)將不同時間步的特征映射到同一潛在空間中，然后使用互信息最大化方法來確保這些潛在特征的一致性。
3)關(guān)鍵技術(shù)——最大化互信息：在信息論中，互信息用于度量兩個隨機(jī)變量之間共享的信息量。在我們的研究中，最大化互信息的目標(biāo)是使得不同時間步驟的特征在潛在空間中具有最大的一致性。通過這種方法，我們能夠顯著提升模型在捕捉時序變化時的穩(wěn)定性和精度，尤其是在面對復(fù)雜的變化環(huán)境時，模型能夠更好地識別出潛在的變化模式。
4)提出的IMRChangeMamba模型：首先，通過重參數(shù)化技術(shù)，我們確保了在不同時間步驟之間的潛在變量的可微性，從而使得模型在訓(xùn)練時能夠更有效地捕捉時序變化；其次，通過最大化互信息，我們強(qiáng)化了時間步之間的特征一致性，顯著提升了模型在變化檢測中的表現(xiàn)。
背景與動機(jī):
目前，遙感變化檢測（CD）領(lǐng)域的主流模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和Transformer，在一定程度上取得了顯著進(jìn)展，但也存在明顯的局限性。具體來說，CNNs由于其接收域的限制，難以有效捕捉更廣泛的空間上下文信息；而Transformer雖然在建模長距離依賴關(guān)系上具有明顯優(yōu)勢，但其高計(jì)算成本使得在大規(guī)模數(shù)據(jù)集上的訓(xùn)練和部署面臨較高的開銷。近年來，基于狀態(tài)空間模型（SSM）的Mamba架構(gòu)在多種任務(wù)中取得了顯著成果，有效地克服了CNNs和Transformer的這些限制。盡管ChangeMamba架構(gòu)在遙感變化檢測中展現(xiàn)了良好的性能，尤其在時序特征和空間上下文信息的捕捉方面，但在處理多個時間步的特征時，仍然面臨如何增強(qiáng)不同時間步特征一致性的挑戰(zhàn)。具體而言，模型在不同時間步提取的特征可能存在偏差，從而導(dǎo)致信息丟失或特征不穩(wěn)定，這會影響變化區(qū)域的精確識別，尤其是在細(xì)微變化或復(fù)雜場景下。特征的不一致性不僅限制了潛在空間的有效表示，還增加了多時刻數(shù)據(jù)處理的難度，特別是在捕捉跨時間步的變化時更為突出。盡管現(xiàn)有的ChangeMamba模型在時序特征學(xué)習(xí)方面已有一定進(jìn)展，但缺乏有效手段對潛在空間進(jìn)行有效表征，也未通過有效的約束來確保不同時間步之間特征的一致性。因此，本研究提出了創(chuàng)新性的改進(jìn)，通過引入重參數(shù)化技術(shù)和最大化互信息的方式，來解決這一問題，進(jìn)一步提升模型的穩(wěn)定性和準(zhǔn)確性。
主要內(nèi)容:
圖1 IMRChangeMamba結(jié)構(gòu)圖
結(jié)論:
針對遙感圖像變化檢測任務(wù)，我們通過引入重參數(shù)化技術(shù)和互信息最大化技術(shù)，改進(jìn)了原始的ChangeMamba模型，增強(qiáng)了特征在多個時間步長上的一致性。這使得模型能夠更準(zhǔn)確、更穩(wěn)健地捕捉時空變化，尤其適用于復(fù)雜的城市環(huán)境。實(shí)驗(yàn)結(jié)果顯示，在二進(jìn)制變化檢測（BCD）方面，提出的IMRChangeMamba模型優(yōu)于現(xiàn)有的基于CNN和Transformer的方法。此外，該模型在處理降質(zhì)數(shù)據(jù)時也表現(xiàn)出更強(qiáng)的魯棒性。通過引入互信息損失和重參數(shù)化技術(shù)，提高了特征在不同時間步長間的對齊度，從而在不采用復(fù)雜訓(xùn)練策略的情況下實(shí)現(xiàn)了更準(zhǔn)確的變化檢測。提出的IMRChangeMamba模型架構(gòu)成為遙感變化檢測的一個有前景的解決方案，并為未來的大規(guī)模應(yīng)用提供了提高效率和可擴(kuò)展性的潛力。
作者簡介:
劉建偉，教師。