LOPD：基于域適應(yīng)的低照度場景遮擋行人檢測模型
中文題目：LOPD：基于域適應(yīng)的低照度場景遮擋行人檢測模型
論文題目：LOPD: A Low-illumination Scene Occluded Pedestrian Detection Model Based on Domain Adaptation
錄用期刊/會議：【International Joint Conference on Neural Networks 2025】 (CCF C類 會議)
作者列表：
1） 祝留宇 中國石油大學(xué)（北京）人工智能學(xué)院 計算機科學(xué)與技術(shù)專業(yè) 碩 23
2） 王智廣 中國石油大學(xué)（北京）人工智能學(xué)院 計算機科學(xué)與技術(shù)系教師
3） 侯永勝 中國石油大學(xué)（北京）人工智能學(xué)院 能源動力專業(yè) 博24
4） 劉志強 中國石油大學(xué)（北京）人工智能學(xué)院 計算機科學(xué)與技術(shù)專業(yè) 碩 23
5） 李 珅 中國石油大學(xué)（北京）人工智能學(xué)院 計算機技術(shù)專業(yè) 碩23
6） 李曉雪 中國石油大學(xué)（北京）人工智能學(xué)院 計算機科學(xué)與技術(shù)專業(yè) 碩 23
文章簡介:
近年來，在行人檢測領(lǐng)域，相關(guān)的模型和方法不斷被提出。但目前仍有兩個問題尚未被很好地解決，這兩個問題分別是低照度和遮擋。針對低照度遮擋復(fù)合場景下的行人檢測問題，本文開展了一系列研究工作。
摘要:
在行人檢測領(lǐng)域主要存在以下瓶頸：（1）行人檢測領(lǐng)域的開源數(shù)據(jù)集缺少低照度遮擋復(fù)合場景的數(shù)據(jù)集；（2）低照度圖片中存在高頻噪聲，這些高頻噪聲會降低模型檢測的準(zhǔn)確率；（3）通用行人檢測方法的邊界框損失函數(shù)在遮擋場景中定位不夠準(zhǔn)確；（4）傳統(tǒng)NMS算法在遮擋場景中容易導(dǎo)致漏檢。針對上述瓶頸問題，本文提出了一種基于域適應(yīng)的低照度遮擋復(fù)合場景行人檢測模型LOPD。
主要內(nèi)容:
1．LOPD整體模型架構(gòu)圖
我們想在只利用有標(biāo)簽的正常照度遮擋行人數(shù)據(jù)集和無標(biāo)簽的低照度遮擋行人數(shù)據(jù)集的情況下去完成低照度遮擋場景下的行人檢測任務(wù)。基于此我們設(shè)計了能夠進行域適應(yīng)的LOPD模型，LOPD的整體架構(gòu)圖如圖1所示。
圖1 LOPD的整體架構(gòu)圖
圖片的中部是半監(jiān)督域適應(yīng)檢測框架MT-YOLO。圖片的左側(cè)是輸入，我們除了將源域（正常照度域）圖片
和目標(biāo)域（低照度域）
圖片作為輸入外，為了緩解光照差異，我們還使用離線模型S2WAT去生成具有目標(biāo)域風(fēng)格的源域圖片
和具有源域風(fēng)格的目標(biāo)域圖片
，并將他們一起送入MT-YOLO中。圖片的右側(cè)是不同的損失函數(shù)。對于不同的輸入使用不同的損失函數(shù)來支持半監(jiān)督域適應(yīng)。我們所提出的AR Loss被包含在Detection Loss中。此外，由于我們所提出的SD-NMS是后處理步驟因此并未在模型架構(gòu)圖中展示出來，它的詳細論述將在第5節(jié)給出。
2．域適應(yīng)蒸餾檢測架構(gòu)MT-YOLO
MT-YOLO是LOPD的核心部分，也是LOPD能夠?qū)⒄Ｕ斩扔蛏蠈W(xué)習(xí)到的知識遷移到低照度域的關(guān)鍵原因之一。MT-YOLO的半監(jiān)督學(xué)習(xí)架構(gòu)是Mean Teacher，同時我們采用兩個完全相同的、添加了CLEF模塊的YOLOv8作為Mean Teacher的教師模型和學(xué)生模型。MT-YOLO的模型架構(gòu)如圖1中部所示。
3．跨階段低頻增強濾波器CLEF
為了抑制低照度圖片中的高頻噪聲同時融合不同階段的特征信息，我們設(shè)計了CLEF模塊。CLEF的具體結(jié)構(gòu)如圖2所示。
圖2 CLEF模塊詳細結(jié)構(gòu)圖
4．吸引排斥損失函數(shù)AR Loss
AR Loss的目標(biāo)是在訓(xùn)練過程中讓擬合行人T的預(yù)測框盡可能地與行人T的GT框靠近（吸引），同時與周圍行人的GT框遠離（排斥）。AR Loss公式如式（1）所示。
在公式（1）中AR Loss由兩部分組成，其中吸引部分包括兩個損失函數(shù)：一個是CIOU Loss，另一個是DFL Loss；排斥部分只包括RepGT Loss（如公式（2）所示）。
5．SD-NMS
為了減少遮擋場景中漏檢的錯誤情況發(fā)生。我們設(shè)計出了SD-NMS后處理算法。SD-NMS的具體細節(jié)信息如表1所示。
表1 SD-NMS后處理算法
實驗結(jié)果及分析:
1、數(shù)據(jù)集
我們選取Citypersons中包含遮擋行人的圖片以及在現(xiàn)實場景中收集的正常照度遮擋行人圖片作為本研究所使用的正常照度遮擋行人數(shù)據(jù)集，記為
。同時，我們將從互聯(lián)網(wǎng)上和現(xiàn)實場景中采集的低照度遮擋行人圖片作為為本研究所使用的低照度遮擋行人數(shù)據(jù)集，記為
。
此外，我們用
和
訓(xùn)練了S2WAT模型，然后利用S2WAT去生成
和
。各種類型圖片的具體數(shù)量如表2所示。
表2 不同類型的圖片的數(shù)量及來源
2、對比實驗
為了證明我們提出的方法的有效性，我們在上一小節(jié)構(gòu)建的低照度數(shù)據(jù)集上進行了實驗，并與其它行人檢測模型進行了對比實驗，實驗結(jié)果如表3所示。實驗表明我們的方法更適用于低照度遮擋場景中的行人檢測。
表3不同檢測模型之間的性能對比
結(jié)論:
本文提出了一種適用于低照度遮擋復(fù)合場景下的行人檢測方法LOPD。在LOPD中，我們設(shè)計的半監(jiān)督域自適應(yīng)檢測架構(gòu)MT-YOLO使檢測器能夠利用無標(biāo)簽的低照度數(shù)據(jù)集；CLEF模塊能夠抑制低照度圖像中的高頻噪聲；AR Loss損失函數(shù)和SD-NMS能夠解決遮擋場景中行人定位不準(zhǔn)確和漏檢的問題。實驗結(jié)果表明，我們的方法在低照度遮擋復(fù)合場景中能夠獲得更好的行人檢測結(jié)果。
通訊作者簡介:
王智廣，教授。博士生導(dǎo)師，北京市教學(xué)名師。中國計算機學(xué)會（CCF）高級會員，全國高校實驗室工作研究會信息技術(shù)專家指導(dǎo)委員會委員，北京市計算機教育研究會常務(wù)理事。長期從事計算機視覺、知識圖譜方面的研究工作，主持或承擔(dān)國家重大科技專項子任務(wù)、國家重點研發(fā)計劃子課題、國家自然科學(xué)基金、北京市重點實驗室課題、地方政府委托課題以及企業(yè)委托課題20余項，在國內(nèi)外重要學(xué)術(shù)會議和期刊上合作發(fā)表學(xué)術(shù)論文70余篇，培養(yǎng)了100余名碩士博士研究生。