基于多約束和損失權(quán)重的變化檢測
中文題目：基于多約束和損失權(quán)重的變化檢測
論文題目：Change Detection with Incorporating Multi-Constraints and Loss Weights
錄用期刊/會議：Engineering Applications of Artificial Intelligence (中科院SCI 2區(qū)，JCR Q1，Top)
原文DOI：https://doi.org/10.1016/j.engappai.2024.108163
原文鏈接：https://www.sciencedirect.com/science/article/pii/S095219762400321X
錄用/見刊時間：2024.01.24
作者列表：
1）張成杰 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 控制科學(xué)與工程 碩21
2）劉建偉 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 自動化系 教師
摘要:
本文提出了一種用于遙感影像變化檢測的變化檢測(CDMC)，該網(wǎng)絡(luò)采用了先進的基線網(wǎng)絡(luò)，即將孿生網(wǎng)絡(luò)和UNet結(jié)合的網(wǎng)絡(luò)架構(gòu)，并通過相似性約束和邊界互補信息約束增強基線網(wǎng)絡(luò)的學(xué)習(xí)能力，解決背景一致性和邊緣噪聲問題。相似性約束由兩個多層感知器組成，這些感知器指導(dǎo)深層特征的背景一致性，并抑制“不感興趣”的變化，例如由位置和照明等環(huán)境因素引起的變化。通過添加邊界類實現(xiàn)邊界互補信息約束，增強了模型對“感興趣”目標(biāo)周圍不確定性強的位置的關(guān)注。自適應(yīng)對偶損失模塊使用可訓(xùn)練參數(shù)為不同的類設(shè)置權(quán)值，有效防止模型過于關(guān)注背景類，緩解類不平衡問題。自適應(yīng)加權(quán)損失模塊對相似約束和邊界互補信息約束的重要性進行加權(quán)。本模型與5種主流的變化檢測方法在BCDD、LEVIR-CD、DSIFN和S2Looking等4個大型現(xiàn)實遙感數(shù)據(jù)集上進行了比較。實驗結(jié)果表明，該方法具有較好的精度、收斂速度和穩(wěn)定性。通過對統(tǒng)計結(jié)果和可視化結(jié)果的分析，所提出的CDMC減少了假陽性樣本的數(shù)量和目標(biāo)周圍的不確定性。
背景與動機:
現(xiàn)有的遙感影像變化檢測方法在面對復(fù)雜應(yīng)用場景時仍面臨一些挑戰(zhàn)。首先，如表1所示，根據(jù)統(tǒng)計數(shù)據(jù)得出的結(jié)果，現(xiàn)存先進方法的檢測結(jié)果中，假陽性樣本比假陰性樣本多，即錯誤像素在背景區(qū)域中出現(xiàn)的更多。另一方面，如圖1所示，從可視化結(jié)果可以發(fā)現(xiàn)，現(xiàn)存的先進方法的檢測結(jié)果中，“感興趣”的目標(biāo)周圍的邊緣噪聲非常嚴(yán)重，有效的解決該問題，可以顯著的優(yōu)化變化檢測方法的檢測結(jié)果。
表1 SNUNet在四個數(shù)據(jù)集上預(yù)測結(jié)果中假陽性樣本和假陰性樣本的數(shù)量統(tǒng)計
Dataset |
LEVIR |
BCDD |
S2Looking |
DSIFN |
False Positive |
675823 |
1037232 |
12732222 |
1209552 |
False negative |
662120 |
508429 |
8514302 |
507030 |
圖1 SNUNet在四個數(shù)據(jù)集上的視覺結(jié)果
設(shè)計與實現(xiàn):
本文提出的基于多約束和損失權(quán)重的變化檢測方法（CDMC）的結(jié)構(gòu)圖如圖2所示。相似性約束采用了兩個多層感知器的結(jié)構(gòu)構(gòu)成，對生成的特征的背景一致性施加約束，緩解由于氣候變化、預(yù)處理校正等原因，不同圖像域之間存在細(xì)微的風(fēng)格差異。對于邊界互補信息約束，首先將與不變像素相鄰的變化像素設(shè)置為變化的邊界類，將與變化像素相鄰的不變像素設(shè)置為不變邊界類。在“感興趣”的目標(biāo)邊界上總是存在大量的錯誤預(yù)測，邊界互補信息有效地增強了邊界附近特征的區(qū)分。
對于自適應(yīng)對偶損失模塊，類損失權(quán)重
在訓(xùn)練過程中將自適應(yīng)調(diào)整。對于第
類，軟最大激活函數(shù)層（SoftMax）
的輸出為：
然后，引入了交叉熵?fù)p失的一種變體——對偶損失，對偶損失同時關(guān)注了兩類損失，而不產(chǎn)生太多偏見，且更多地關(guān)注于2-范數(shù)難以區(qū)分的樣例。令真值標(biāo)簽為
，預(yù)測輸出為
，自適應(yīng)對偶損失可以描述為下式：
為了避免手動優(yōu)化余弦相似損失
和邊界互補信息損失
的相對權(quán)重，我們引入自適應(yīng)權(quán)重?fù)p失模塊，稱為自適應(yīng)加權(quán)損失模塊（Adaptive Weight Loss, AWL）。通過計算損失的方差不確定性，得到了加權(quán)損失函數(shù)。公式化如下：
圖2 CDMC結(jié)構(gòu)圖
實驗結(jié)果及分析:
對比實驗的結(jié)果主要以兩種形式呈現(xiàn)，分別是評價指標(biāo)的定量比較和變化圖的可視化對比。如表2所示，本模型在四個數(shù)據(jù)集上的指標(biāo)均為最優(yōu)。圖3可視化結(jié)果也可以看出，CDMC主要緩解了邊緣噪聲問題。消融實驗中，我們對兩個約束條件都進行了消融對比，從指標(biāo)結(jié)果可以看出，這兩個模塊都起到了模型優(yōu)化的作用。最后，我們使用了顯著性分析方法，對對比實驗中的結(jié)果進行弗里德曼排序，可以看出本模型排名第1。
（1）對比實驗
表2 不同方法在BCDD、LEVIR、DSIFN和S2Looking數(shù)據(jù)集上的精確率、召回率、F1、和IoU對比（%）
BCDD |
LEVIR |
DSIFN |
S2Looking |
|
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
|
FC-EF |
92.70/69.24/79.27/65.66 |
96.55/68.58/80.20/66.94 |
72.61/52.73/61.09/43.98 |
81.36/8.95/7.65/8.77 |
FC-SC |
93.20/7214/81.33/68.53 |
97.60/69.29/81.04/68.13 |
66.45/54.21/59.71/42.56 |
68.27/18.52/13.54/17.05 |
FC-SD |
91.13/74.31/81.87/69.30 |
97.35/69.16/80.87/67.88 |
59.67/65.71/62.54/45.50 |
59.67/15.76/13.19/14.24 |
SNUNet |
85.60/81.49/83.50/71.67 |
89.18/87.17/88.16/78.83 |
60.60/72.89/66.18/49.45 |
27.53/23.47/21.51/14.51 |
STANet |
79.37/85.50/82.32/69.95 |
83.81/91.00/87.26/77.40 |
67.71/61.68/64.56/47.66 |
38.75/56.49/45.97/29.84 |
CDMC |
92.64/89.50/91.04/83.56 |
93.09/88.07/90.51/82.67 |
66.08/67.08/66.58/49.90 |
64.88/58.15/61.34/44.23 |
圖3 不同方法在BCDD、LEVIR、DSIFN和S2Looking數(shù)據(jù)集上的可視化結(jié)果。從上往下分別是BCDD、LEVIR、DSIFN和S2Looking；(a)變化前圖像，(b)變化后圖像，(c)變化真值圖，(d)CDMC的可視化結(jié)果，(e) SNUNet的可視化結(jié)果，(f) FC-SD的可視化結(jié)果
（2）消融實驗
表3 消融方法在BCDD和LEVIR數(shù)據(jù)集上的精確率、召回率、F1、和IoU對比（%）
|
BCDD |
LEVIR |
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
|
CD |
61.44/95.95/74.91/59.88 |
74.94/96.52/84.38/72.97 |
Without BCI |
78.88/93.52/85.58/74.79 |
75.17/97.20/84.78/73.58 |
Without similarity |
93.43/85.65/89.37/80.79 |
91.93/88.99/9044/82.54 |
CDMC |
92.64/89.50/91.04/83.56 |
93.09/88.07/90.51/82.67 |
（3）弗里德曼排名
表4 弗里德曼排名
Method |
Ranking |
CDMC |
1 |
FC-EF |
5.75 |
FC-SC |
4.75 |
FC-SD |
4.5 |
SNUNet |
2.25 |
STANet |
2.75 |
結(jié)論:
我們提出了一種基于多約束和損失權(quán)重的變化檢測模型，在BCDD、LEVIR-CD、DSIFN和S2Looking數(shù)據(jù)集上實現(xiàn)最優(yōu)的精度、收斂速度和穩(wěn)定性。更準(zhǔn)確地說，我們的模型在這些數(shù)據(jù)集上的F1和IoU得分分別提高了7.54/11.89、2.35/3.84、0.40/0.45和15.37/14.39分，在指標(biāo)上有顯著的提升。相似性約束指導(dǎo)深層特征的背景一致性，并抑制不感興趣的變化，例如由位置和照明等環(huán)境因素引起的變化。邊界互補信息約束增強了模型對感興趣目標(biāo)周圍不確定性強的位置的關(guān)注，抑制了邊緣噪聲。此外，自適應(yīng)對偶損失模塊自動更新邊界互補信息損失中的類權(quán)重，緩解類不平衡。CDMC通過分析統(tǒng)計結(jié)果和可視化結(jié)果，確實減少了誤報樣本的數(shù)量，抑制了邊緣噪聲，這是實現(xiàn)顯著提升的主要原因。
通訊作者簡介:
劉建偉，副教授，教師，學(xué)者。研究領(lǐng)域涉及在線學(xué)習(xí)（包括強化學(xué)習(xí)，賭博機算法，持續(xù)學(xué)習(xí)，長尾學(xué)習(xí)）；圖像視頻顯著性目標(biāo)檢測，解糾纏表示學(xué)習(xí)，光場和神經(jīng)場模型，以及圖像視頻少樣本變化檢測；自然語言理解中的知識補全，圖神經(jīng)網(wǎng)絡(luò)；不平衡數(shù)據(jù)處理；霍克斯點過程故障預(yù)測與診斷；非線性預(yù)測與控制。 是兵器裝備工程學(xué)報第三屆編輯委員會委員。歷屆中國控制會議(CCC)和中國控制與決策會議(CCDC)的程序委員會委員。擔(dān)任過80多個國際會議的TPC。