融合卷積CR-FFD與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維物體重建
論文題目：融合卷積CR-FFD與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維物體重建
錄用期刊：計算機輔助設(shè)計與圖形學(xué)學(xué)報 (CCF A)
作者列表：
1） 連遠鋒 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機系教師
2） 趙澤欣 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機科學(xué)與技術(shù)專業(yè) 碩22
摘要:
針對復(fù)雜拓撲結(jié)構(gòu)物體單視圖三維重建過程中二維圖像與三維形狀之間難以準確映射的問題，提出一種融合卷積Catmull-Rom樣條自由形變(CR-FFD)與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維重建方法。首先通過Catmull-Rom樣條基函數(shù)對點云模型控制點進行插值，保持點云模型形變局部拓撲結(jié)構(gòu)的一致性；然后提出卷積神經(jīng)網(wǎng)絡(luò)最小二乘求逆解法，通過非線性參數(shù)映射加速求解過程；最后設(shè)計偏置注意力Transformer膠囊網(wǎng)絡(luò)增強局部特征表達能力，捕獲點云形狀的細粒度特征。實驗結(jié)果表明，在ShapeNet數(shù)據(jù)集上，所提方法的EMD指標平均值為3.84，CD指標平均值為3.71；在Pix3D數(shù)據(jù)集上，EMD指標平均值為5.51，CD指標平均值為5.39；與已有的單視圖點云三維重建方法相比，該方法有效地提升單視圖的三維重建結(jié)果，能夠從不同角度保持重建的一致性。
背景與動機:
近年來，隨著深度學(xué)習(xí)和圖像處理技術(shù)的飛速發(fā)展，單視圖三維模型重建技術(shù)得到廣泛關(guān)注。由于單視圖存在自遮擋問題，無法充分表達圖像的上下文信息，因此基于點云的單視圖三維物體重建極具挑戰(zhàn)性。傳統(tǒng)的面向點云的單視圖三維重建算法根據(jù)圖像表觀特征恢復(fù)物體空間結(jié)構(gòu)，對圖像的質(zhì)量要求較高，并且存在時間復(fù)雜度高、重建結(jié)果不精確等問題。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的方法能夠快速提取輸入圖像的細節(jié)特征并推理空間幾何結(jié)構(gòu)，實現(xiàn)高效的三維重建，但仍存在對圖像局部信息利用的不夠充分導(dǎo)致重建結(jié)果不精確的局限性。
設(shè)計與實現(xiàn):
本文提出一種融合卷積CR-FFD(Catmull-Rom splines based FFD)與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維物體重建方法。首先將Catmull-Rom樣條與FFD結(jié)合提出CR-FFD方法，通過Catmull-Rom樣條基函數(shù)對點云模型控制點進行插值，以保持形變過程的拓撲結(jié)構(gòu)一致性；然后提出基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)的最小二乘求逆解法加速CR-FFD的求解過程；為了增強網(wǎng)絡(luò)的局部特征表達能力，將偏置注意力(offset-attention, OA)與基于Transformer的膠囊網(wǎng)絡(luò)結(jié)合，提出偏置Transformer膠囊網(wǎng)絡(luò)，通過OA捕獲點云形狀的細粒度特征以保持二維圖像與三維模型的空間結(jié)構(gòu)一致性。
主要內(nèi)容:
本文方法的結(jié)構(gòu)如圖1所示，包括控制點生成網(wǎng)絡(luò)、卷積CR-FFD模型和偏置Transformer膠囊網(wǎng)絡(luò)局部點云形變模塊。首先將單幅圖像輸入到控制點生成網(wǎng)絡(luò)獲得三維模型的控制點；然后利用卷積CR-FFD模型對模板模型進行調(diào)整；最后利用偏置Transformer膠囊網(wǎng)絡(luò)對局部點云進行調(diào)整，得到最終的三維點云重建結(jié)果。
圖1 系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)
實驗結(jié)果及分析:
圖2 本文三維重建結(jié)果與 PSGN 等方法對比
在Airplane和Bench數(shù)據(jù)集上，與PSGN，VGG-Pixel2Mesh和DISN這3種方法進行對比，結(jié)果如圖2所示。可以看出，本文方法在Airplane數(shù)據(jù)集上的重建結(jié)果與VGG-Pixel2Mesh相近，優(yōu)于其他2種方法，均取得較好的重建效果。但本文方法重建結(jié)果的噪聲更少，點云分布更加均勻，更加貼近真實形狀；在有孔洞的Bench模型上，本文方法的重建結(jié)果明顯優(yōu)于其他方法，證明該方法具有較好的魯棒性。
圖3為部分真實場景圖像的三維重建結(jié)果。可以看出，本文方法對于雙層結(jié)構(gòu)的桌子、椅子等復(fù)雜結(jié)構(gòu)的重建細節(jié)更加準確，能夠有效地保持點云模型形變局部拓撲結(jié)構(gòu)的一致性。
圖3 本文方法真實場景三維重建效果
結(jié)論:
本文提出一種融合卷積CR-FFD與偏置Transformer膠囊網(wǎng)絡(luò)的點云三維重建方法。為實現(xiàn)高質(zhì)量的三維點云重建模型，通過Catmull-Rom樣條基函數(shù)對點云模型控制點進行插值，保持點云模型形變局部拓撲結(jié)構(gòu)的一致性，并使用卷積神經(jīng)網(wǎng)絡(luò)最小二乘求逆解法加速求解過程。在此基礎(chǔ)上，將基于偏置注意力的Transformer編碼器模塊和球鄰域模型嵌入膠囊網(wǎng)絡(luò)，增強局部特征表達能力以捕獲點云形狀的細粒度特征。實驗結(jié)果表明，本文方法有效地提升單視圖的三維重建結(jié)果，具有較強的魯棒性。未來將結(jié)合隱表達方式描述三維模型拓撲結(jié)構(gòu)，實現(xiàn)更高質(zhì)量的重建效果；同時，進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)重建質(zhì)量與模型性能之間的平衡。
作者簡介:
連遠鋒，教授，碩士生導(dǎo)師。研究方向為圖像處理與虛擬現(xiàn)實、機器視覺與機器人、深度學(xué)習(xí)與數(shù)字孿生。