交通場景中夜間圖像的預(yù)處理：當(dāng)?shù)凸庠鰪?qiáng)遇上耀斑消除
中文題目：交通場景中夜間圖像的預(yù)處理：當(dāng)?shù)凸庠鰪?qiáng)遇上耀斑消除
論文題目：Nighttime Image Preprocessing in Traffic Scenes: When Low-light Enhancement Meets Flare Removal
錄用期刊/會議：2024 International Conference on Virtual Reality and Visualization (CCF C)
作者列表：
1） 劉志強(qiáng) 中國石油大學(xué)（北京）人工智能學(xué)院 碩23
2） 周 靜 中國石油大學(xué)（北京）人工智能學(xué)院 碩22
3） 李曉雪 中國石油大學(xué)（北京）人工智能學(xué)院 碩23
4） 祝留宇 中國石油大學(xué)（北京）人工智能學(xué)院 碩23
5） 王智廣 中國石油大學(xué)（北京）人工智能學(xué)院 教師
6） 魯 強(qiáng) 中國石油大學(xué)（北京）人工智能學(xué)院 教師
摘要:
檢測摩托車駕駛員是否佩戴頭盔是目標(biāo)檢測領(lǐng)域的關(guān)鍵任務(wù)之一。然而，大多數(shù)現(xiàn)有的頭盔檢測方法都只適用于光線充足的白天場景，在能見度較低的夜間場景中難以發(fā)揮作用。夜間場景的能見度較低，視野盲區(qū)較大，這給檢測任務(wù)帶來了巨大挑戰(zhàn)。此外，本文還強(qiáng)調(diào)，在夜間場景中，影響檢測任務(wù)的因素不僅限于能見度較低，還包括車輛前燈或路燈產(chǎn)生的反射耀斑。針對上述兩大挑戰(zhàn)，本文驗證了在攝像機(jī)中廣泛存在的光學(xué)中心對稱先驗信息，即光源及其產(chǎn)生的反射耀斑始終圍繞鏡頭中心對稱。本文還提出了一種數(shù)據(jù)預(yù)處理模型，DCRE。該模型利用層分解技術(shù)生成注意力圖，引導(dǎo)增強(qiáng)圖像中的低光區(qū)域，同時利用光學(xué)中心對稱先驗信息消除反射耀斑，從而提高夜間場景下的檢測精度。本文通過大量實驗驗證了 DCRE 的有效性。使用 DCRE 模型進(jìn)行預(yù)處理后，檢測準(zhǔn)確率從 62.8% 提高到 76.0%。
設(shè)計與實現(xiàn):
針對于夜間場景，本文提出了一種基于圖層分解技術(shù)和光學(xué)中心對稱先驗信息的夜間圖像預(yù)處理模型DCRE，如圖1所示。
圖1. DCRE模型的結(jié)構(gòu)。(1)表示圖層分解模塊，用于將輸入圖像(a)分解為光效層(b)和背景層(c)。(2)表示高斯擬合模塊，用于定位圖像的光源中心，(d)中的綠點表示擬合結(jié)果。(3)表示消除反射耀斑模塊，該模塊基于光源中心和光學(xué)中心對稱先驗信息對背景層(c)中的反射耀斑進(jìn)行定位和消除。(4)表示低光增強(qiáng)模塊，該模塊使用光效層(b)作為注意力圖，引導(dǎo)模型對去除反射耀斑后的結(jié)果(e)的低光區(qū)域進(jìn)行增強(qiáng)，得到增強(qiáng)圖像(f)。(5)表示最終的檢測模塊，本文使用RAY-Net完成檢測任務(wù)，得到檢測結(jié)果(g)。
1、層分解
如圖1(1)所示，對于任意輸入圖像 I，本文使用圖像層分解技術(shù)對其進(jìn)行分解，分解模型如下：
該公式將輸入圖像 I 分解為無光效的背景層B和光效層E。本文使用兩個獨立的神經(jīng)網(wǎng)絡(luò)從輸入圖像I中獲得背景層和光效層：
其中
分別表示從輸入圖像 I 中得到背景層B和光效層E的網(wǎng)絡(luò)模型。
2、光學(xué)中心對稱先驗
受Dai等人的啟發(fā)，我們發(fā)現(xiàn)智能手機(jī)和相機(jī)在捕捉強(qiáng)光時會在圖像中留下反射耀斑。由于攝像鏡頭內(nèi)部組件的反射，產(chǎn)生這種反射耀斑通常是不可避免的。耀斑會影響圖像的質(zhì)量，這在交通監(jiān)測領(lǐng)域中尤為突出，如圖2所示。如果這些耀斑恰好在摩托車駕駛員頭部的位置，將不可避免地影響檢測任務(wù)的準(zhǔn)確性。如圖3所示，光源和其產(chǎn)生的反射耀斑的位置總是關(guān)于相機(jī)鏡頭中心呈現(xiàn)對稱關(guān)系。本文使用三種品牌的智能手機(jī)(iPhone 14 Plus、華為榮耀90 Pro、小米14 Pro)、尼康相機(jī)(尼康Z9)和交通監(jiān)控攝像機(jī)(9361-S)進(jìn)一步驗證了這種光學(xué)先驗信息。
圖2. 光源與反射耀斑的位置關(guān)系。
3、去除反射耀斑
摩托車的前燈通常不會影響頭盔檢測任務(wù)，因為駕駛員的頭部和前燈通常不會重疊。然而，大多數(shù)交通監(jiān)控攝像機(jī)都位于頭頂角度，這意味著車輛前燈產(chǎn)生的反射耀斑可能會與駕駛員的頭部重合。同時，交通道路上的路燈產(chǎn)生的反射耀斑也可能與駕駛員重疊。這些反射耀斑會嚴(yán)重影響圖像質(zhì)量，從而影響檢測任務(wù)的準(zhǔn)確性，如圖2中的反射耀斑所示。本文使用高斯擬合算法在光效層E中定位光源中心的位置
，利用光學(xué)中心對稱先驗信息，可以很容易地確定反射耀斑的位置：
其中
分別表示光源和反射耀斑的坐標(biāo)。獲取反射耀斑的位置后，我們進(jìn)一步減少或消除圖像中的反射耀斑。由于在同一場景中收集有反射耀斑和沒有反射耀斑的配對圖像是不現(xiàn)實且不可行的，因此本文使用非配對圖像進(jìn)行訓(xùn)練，并采用無監(jiān)督學(xué)習(xí)消除反射耀斑。
4、低光增強(qiáng)
如圖1(4)所示，本文使用光效層作為注意力圖引導(dǎo)模型增強(qiáng)低光區(qū)域。光效層E中像素值越高，表示原始圖像中該位置的光越強(qiáng)。相反，光效層E中像素值越低，表示原始圖像中該位置越暗。因此，我們使用光效層來引導(dǎo)模型增強(qiáng)低光區(qū)域，從而提高這些低光區(qū)域的亮度。
在檢測摩托車駕駛員是否佩戴頭盔的任務(wù)中，重點關(guān)注的是摩托車及其駕駛員的頭部位置，該任務(wù)不受強(qiáng)光的影響。因此，本文所提出的方法不同于其他流行的夜間增強(qiáng)方法。其他流行的夜間增強(qiáng)方法通常會在增強(qiáng)低光區(qū)域的同時抑制強(qiáng)光區(qū)域。相比之下，本文的方法只增強(qiáng)低光區(qū)域，而不需要抑制強(qiáng)光區(qū)域。
實驗結(jié)果及分析:
表1展示了去除反射耀斑前后的圖像質(zhì)量。從PSNR、SSIM兩個指標(biāo)的評價可以看出，我們的方法在消除反射耀斑后的圖像質(zhì)量是非常高的。
Table 1. 去除反射耀斑后的圖像質(zhì)量。
本文利用光效層作為注意力圖，引導(dǎo)模型增強(qiáng)低光區(qū)域。表2將本文提出的增強(qiáng)方法與其他現(xiàn)有流行的方法進(jìn)行了比較，可以看出我們的方法在增強(qiáng)后具有更高的圖像質(zhì)量。
Table 2. 低光區(qū)域增強(qiáng)后圖像質(zhì)量的對比。
DCRE模型主要關(guān)注的內(nèi)容是低光區(qū)域的增強(qiáng)工作以及反射耀斑的消除工作，因此本文在實驗中對這兩個主要的工作進(jìn)行消融分析。本文做了如下四個實驗：
1. 直接使用RAY-Net完成檢測任務(wù)。
2. 在使用RAY-Net完成檢測任務(wù)之前先使用DCRE模型中的低光增強(qiáng)模塊進(jìn)行預(yù)處理。
3. 在使用RAY-Net完成檢測任務(wù)之前先使用DCRE模型中的耀斑消除模塊進(jìn)行預(yù)處理。
4. 在使用RAY-Net完成檢測任務(wù)之前使用完整的DCRE模型同時進(jìn)行低光增強(qiáng)和耀斑消除。
實驗結(jié)果如表3所示，如果直接使用RAY-Net進(jìn)行檢測，平均準(zhǔn)確率僅為62.8%。如果對輸入圖像進(jìn)行低光增強(qiáng)后再做檢測任務(wù)，平均準(zhǔn)確率能從62.8%提升到75.6%。這證明本文的DCRE模型中的低光增強(qiáng)工作是有效的，這是因為低光增強(qiáng)可以改善夜間圖像的可視度和區(qū)分度，從而增加圖像中各種物體的可識別性。如果對輸入圖像進(jìn)行耀斑消除后再做檢測任務(wù)，平均準(zhǔn)確率能從62.8%提升到64.2%。這證明DCRE模型中耀斑消除功能也是有效的，這是因為去除耀斑可以提高圖像質(zhì)量，防止反射在摩托車駕駛員頭部的耀斑影響頭盔識別任務(wù)。如果同時進(jìn)行耀斑消除和低光增強(qiáng)，平均準(zhǔn)確率能從62.8%提高到76.0%。從消融實驗可以看出，這兩個主要改進(jìn)都是有意義的，可以有效地增強(qiáng)圖像中的低光區(qū)域并且消除圖像中的噪聲，進(jìn)而提高摩托車駕駛員頭盔檢測任務(wù)的準(zhǔn)確性。
Table 3. DCRE模型的消融實驗結(jié)果。
結(jié)論:
針對夜間場景，本文提出了一種名為 DCRE 的預(yù)處理方法。DCRE 基于圖像層分解和光學(xué)中心對稱先驗信息對夜間圖像進(jìn)行增強(qiáng)和去噪處理。該方法將圖像分解為背景層和光效層。隨后，我們使用高斯擬合算法來定位光效層中的光源中心，利用光學(xué)中心對稱先驗信息定位并消除圖像中的反射耀斑。實驗證明，該方法能夠有效提高夜間場景下檢測任務(wù)的準(zhǔn)確性。在未來的研究中，我們將進(jìn)一步探索如何應(yīng)對其他具有挑戰(zhàn)性的場景，以提高交通監(jiān)控系統(tǒng)整體的準(zhǔn)確性。
作者簡介:
王智廣，教授。博士生導(dǎo)師，北京市教學(xué)名師，北京市教育系統(tǒng)“教書育人先鋒”。中國計算機(jī)學(xué)會（CCF）高級會員，全國高校實驗室工作研究會信息技術(shù)專家指導(dǎo)委員會委員，全國高校計算機(jī)專業(yè)（本科）實驗教材與實驗室環(huán)境開發(fā)專家委員會委員，北京市計算機(jī)教育研究會常務(wù)理事。長期從事分布式并行計算、三維可視化、計算機(jī)視覺、知識圖譜方面的研究工作，主持或承擔(dān)國家重大科技專項子任務(wù)、國家重點研發(fā)計劃子課題、國家自然科學(xué)基金、北京市教委科研課題、北京市重點實驗室課題、地方政府委托課題以及企業(yè)委托課題20余項，在國內(nèi)外重要學(xué)術(shù)會議和期刊上合作發(fā)表學(xué)術(shù)論文70余篇，培養(yǎng)了100余名碩士博士研究生。