區域動態點云補全網絡
中文題目：區域動態點云補全網絡
論文題目：Regional Dynamic Point Cloud Completion Network
錄用期刊/會議：Pattern Recognition Letters (中科院大類3區)
原文DOI: https://doi.org/10.1016/j.patrec.2024.10.017
錄用時間：2024.10.31
作者列表：
1) 朱麗萍 中國石油大學（北京）人工智能學院 計算機系教師
2) 楊逸萱 中國石油大學（北京）人工智能學院 計算機技術 碩22
3) 劉 凱 中國石油大學（北京）人工智能學院 計算機科學與技術 碩22
4) 吳祀霖 中國石油大學（北京）人工智能學院 計算機科學與技術 碩22
5) 王丙垚 中國石油大學（北京）人工智能學院 計算機技術 碩19
6) 常憲祥 中國石油大學（北京）人工智能學院 計算機科學與技術 碩22
背景與動機:
隨著 3D 傳感器技術的進步，點云成為捕獲 3D 信息的重要手段。迄今為止，點云在虛擬現實、三維重建和自動駕駛汽車等各個領域都得到了廣泛的應用。點云數據很容易通過激光掃描儀或深度相機獲取。盡管如此，由于遮擋和傳感器分辨率有限，來自3D掃描儀和深度相機的原始點云通常是稀疏的和不完整的，如圖1所示。這導致缺乏語義信息，給深度學習和后續任務帶來了挑戰。
現有的幾何補全方法，如基于體素的方法，在更高分辨率下計算成本很高，而將點云和網格數據轉換為傳統格式會引入冗余并模糊數據的不變性。因此，需要基于點云的形狀補全方法來解決幾何缺失問題，提高后續任務效率。
圖1 真實世界對象(上圖)與3D掃描儀捕獲的不完整數據(下圖)之間的比較
設計與實現:
在本文中，我們提出了一種新穎的形狀補全網絡，即 RD-Net。該網絡包含三個關鍵模塊：區域動態模塊（RDM）、多尺度重建模塊（MSRM）和點云細化模塊（PCRM）。我們引入RDM通過迭代EdgeConv增強了網絡提取語義和幾何信息的能力。我們將MSRM設計為插件可定制模塊，通過結合不同分辨率的特征來處理具有相對復雜表面的幾何圖形。我們提出了PCRM自適應聚合局部鄰域特征，通過學習相鄰點的關系來有效地生成結構細節。整體框架圖如圖2所示。
圖2 RD-Net的整體架構
首先，由于大多數三維點云數據量太大，如果點云數據直接輸入到網絡中，它將帶來太多的計算，最終使性能差。我們對原始數據進行采樣以適合大小的子網絡。基于FPS，我們通過增加點集的存儲空間來迭代地對代表點進行采樣，為采樣過程設計了一組類似“管道”的過程，從而提高了時間的利用率。
其次，以前的點云特征提取方法使用了基于多層感知器 (MLP) 的方法。然而，僅依靠 MLP 進行特征提取可能會導致點云的局部特征不足，生成的對象只有共同特征而不是局部特征。第一個子網絡區域動態模塊(RDM)使用EdgeConv構造點之間的關系來獲取局部區域信息，然后通過連續疊加得到全局信息。在迭代EdgeConv的過程中，我們通過特征空間中的相對關系獲得更豐富的語義信息。
由于高分辨率點云特征的密集性質，當只使用高分辨率點云生成形狀時，點云不規則局部區域的細節會丟失。對于第二個子網絡多尺度重建模塊(MSRM)，我們使用FPN的分層性質來設計多尺度結構來預測缺失的點云。與 2D 網絡中提到的反饋機制類似，我們從高到低處理點云分辨率，然后使用小規模分支再次向高尺度提供信息。不同尺度的分支進行特征融合，重建更精細的點云。
最后，以前的方法可以利用局部點特征來保留觀測到的幾何細節，但不能有效地生成結構信息（如幾何對稱性）來恢復局部觀測條件下的缺失部分。為了進一步增強結構關系，在第三個子網絡中，我們提出了殘差連接模塊（Residual Connection Module， RCM）模塊，該模塊利用學習到的鄰點關系自適應聚合局部鄰點特征，以增加點云結構的詳細特征。
實驗結果及分析:
在 ShapeNet-part數據集上地表現如表1所示，我們的 RD-Net 在具有相同輸入和裁剪大小的 ShapeNet-part(16) 數據集的大多數類別上實現了最低的 CD 誤差。
表1 ShapeNet-part(16) 上補全結果的比較
表2 消融實驗
圖3 形狀補全結果
結論:
在本文中，我們提出了RD-Net用于高質量的點云補全。首先，SD-IFPS旨在提供一種高效的均勻采樣點提取方法。其次，RDM捕獲局部幾何特征，同時保持排列不變性，支持不同深度和尺度的層。第三，在保留現有輪廓的前提下，生成具有豐富語義輪廓和詳細特征的目標點云。最后，PCRM對完成的點云進行進一步細化。RD-Net完成局部形狀，提高補全質量。該模型在ShapeNet-part數據集上取得了較高的精度。
作者簡介:
朱麗萍，博士，中國石油大學（北京）計算機系副教授，碩士生導師。目前主要研究方向是大數據和數據挖掘方向，尤其關注深度學習在計算機視覺方向上的應用，已發表論文多篇高水平論文。
聯系方式：zhuliping@cup.edu.cn