科研動(dòng)態(tài)
步態(tài)協(xié)調(diào)特征建模與多尺度步態(tài)表征方法研究
中文題目：步態(tài)協(xié)調(diào)特征建模與多尺度步態(tài)表征方法研究
論文題目：Gait coordination feature modeling and multi?scale gait representation for gait recognition
錄用期刊/會(huì)議：International Journal of Machine Learning and Cybernetics (中科院SCI 3區(qū)，JCR Q2)
原文DOI：https://doi.org/10.1007/s13042-024-02120-8
原文鏈接：https://link.springer.com/article/10.1007/s13042-024-02120-8
錄用/見刊時(shí)間：2024.02.11
作者列表：
1） 朱丹丹 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
2） 季來虎 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專業(yè) 碩20
3） 朱麗萍 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
4） 李承陽 北京大學(xué)計(jì)算機(jī)學(xué)院 計(jì)算機(jī)軟件與理論專業(yè) 博20
文章簡介:
本文提出基于模型的GaitSkeleton方法用于步態(tài)識(shí)別。GaitSkeleton利用骨架序列作為步態(tài)表示，通過圖卷積網(wǎng)絡(luò)（GCN）和時(shí)間卷積網(wǎng)絡(luò)（TCN）提取步態(tài)時(shí)空特征，同時(shí)結(jié)合步態(tài)協(xié)調(diào)特征和多尺度步態(tài)表征，有效提高了步態(tài)識(shí)別的精度。
摘要:
步態(tài)識(shí)別是一種先進(jìn)的生物特征識(shí)別方式，根據(jù)個(gè)體的行走姿勢進(jìn)行身份識(shí)別。目前，大多數(shù)步態(tài)識(shí)別方法采用輪廓圖像作為步態(tài)的主要表示形式。然而，包含衣服和隨身物品細(xì)節(jié)的輪廓信息可能會(huì)干擾步態(tài)特征的提取。為此，我們提出了GaitSkeleton，一種利用骨架序列作為步態(tài)表示的新方法。GaitSkeleton對(duì)步態(tài)的運(yùn)動(dòng)協(xié)調(diào)特征進(jìn)行建模，并結(jié)合三尺度空間特征，得到具有判別性的特征用于步態(tài)識(shí)別。為了捕獲關(guān)節(jié)之間的協(xié)調(diào)關(guān)系，我們?cè)O(shè)計(jì)了一個(gè)協(xié)調(diào)特征學(xué)習(xí)器( Coordination Feature Learninger，CFL )。將CFL嵌入到ST - GCN模塊中，以增強(qiáng)模型的表征能力。此外，我們引入了一種新的特征級(jí)聯(lián)模塊MSCM，通過在3個(gè)尺度上采樣空間特征，進(jìn)一步增強(qiáng)了判別信息。整個(gè)網(wǎng)絡(luò)顯著增強(qiáng)了步態(tài)特征的判別性。在CASIA-B數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法在基于模型的步態(tài)識(shí)別中取得了最先進(jìn)的性能。
背景與動(dòng)機(jī):
步態(tài)識(shí)別可以根據(jù)個(gè)體的行走姿勢來識(shí)別個(gè)體，具有廣泛的應(yīng)用領(lǐng)域，如公共安全、犯罪預(yù)防和門禁系統(tǒng)。然而，當(dāng)前大多數(shù)步態(tài)識(shí)別方法存在以下三個(gè)問題：（1）使用輪廓圖像作為步態(tài)的表示形式，但輪廓信息中包含有關(guān)服裝和攜帶物品的細(xì)節(jié)，存在干擾步態(tài)特征的提取的可能性；（2）如圖1所示，關(guān)節(jié)之間的協(xié)調(diào)關(guān)系是步態(tài)識(shí)別中重要的區(qū)分特征，大多數(shù)現(xiàn)有方法忽視了步態(tài)的協(xié)調(diào)信息，導(dǎo)致步態(tài)特征的區(qū)分能力較弱；（3）個(gè)體之間的步態(tài)變化呈現(xiàn)多尺度性質(zhì)，不同個(gè)體的關(guān)節(jié)運(yùn)動(dòng)、肢體運(yùn)動(dòng)和身體姿勢存在差異，如圖2所示。為此本文提出GaitSkeleton方法，利用骨架序列作為步態(tài)的表示形式，同時(shí)結(jié)合步態(tài)協(xié)調(diào)特征和多尺度步態(tài)表征，旨在提取更具區(qū)分性的步態(tài)特征，從而提高步態(tài)識(shí)別的準(zhǔn)確性和魯棒性。
圖1 關(guān)節(jié)之間的運(yùn)動(dòng)協(xié)調(diào)
圖2 步態(tài)差異的多樣性
設(shè)計(jì)與實(shí)現(xiàn):
本文將步態(tài)視為骨架序列，首先利用輸入姿勢估計(jì)網(wǎng)絡(luò)HRNet生成骨架步態(tài)序列。接著先提取骨架步態(tài)序列的淺層特征，再使用協(xié)調(diào)特征學(xué)習(xí)器(CFL)提取協(xié)調(diào)特征與時(shí)空特征融合得到深層特征。隨后，深層特征經(jīng)多尺度級(jí)聯(lián)模塊(MSCM) 得到關(guān)節(jié)、肢體和姿勢三個(gè)尺度的特征，沿空間維度拼接形成步態(tài)特征，最后使用SupCon損失來訓(xùn)練整個(gè)提出的模型。整體架構(gòu)如圖3所示。
圖3 GaitSkeleton方法架構(gòu)
為了捕獲關(guān)節(jié)之間的協(xié)調(diào)關(guān)系，我們?cè)O(shè)計(jì)了一個(gè)協(xié)調(diào)特征學(xué)習(xí)器(CFL )，首先計(jì)算關(guān)節(jié)特征之間的點(diǎn)積相似性，并通過softmax函數(shù)將它們映射到區(qū)間(0, 1)，生成一個(gè)協(xié)調(diào)系數(shù)向量，如圖4所示。通過連接每個(gè)關(guān)節(jié)的這些向量，得到一個(gè)協(xié)調(diào)系數(shù)矩陣。
圖4 協(xié)調(diào)系數(shù)矩陣計(jì)算過程
如圖5所示，我們基于協(xié)調(diào)系數(shù)矩陣來建模步態(tài)協(xié)調(diào)特征，通過匯總所有關(guān)節(jié)的信息獲得步態(tài)協(xié)調(diào)特征。
圖5 步態(tài)協(xié)調(diào)特征建模
為了增強(qiáng)步態(tài)特征的區(qū)分性，本文提出了基于人體骨骼圖的多尺度級(jí)聯(lián)模塊(MSCM)獲取多尺度步態(tài)表征，分別處理關(guān)節(jié)尺度、肢體尺度和姿勢尺度的判別特征。具體細(xì)節(jié)如圖6所示。
圖6 MSCM結(jié)構(gòu)
實(shí)驗(yàn)結(jié)果及分析:
在CASIA-B數(shù)據(jù)集上表現(xiàn)如表1所示，GaitSkeleton方法能在不同條件（即正常（NM）、背景（BG）和穿著（CL））有效提升步態(tài)識(shí)別的準(zhǔn)確性。與基于模型的方法相比，在NM、BG和CL條件下，GaitSkeleton相比GaitGraph具有2.5%、3.7%和6.1%的識(shí)別準(zhǔn)確率提升，可以看出GaitSkeleton在BG和CL條件下展現(xiàn)出最顯著的改善。這可以歸因于其減輕外觀影響并提取高度具有區(qū)分性和穩(wěn)健性的步態(tài)特征的能力。與基于外觀的方法相比，在CL條件下，相比GaitPart，在在0°、108°和180°角度處，GaitSkeleton分別實(shí)現(xiàn)了0.5%、0.8%和5.3%的識(shí)別準(zhǔn)確率提升。與GaitSet相比，GaitSkeleton在NM和BG條件下的識(shí)別準(zhǔn)確率較低。然而，在CL條件下，GaitSkeleton超越了GaitSet，在180°處實(shí)現(xiàn)了21.8%的最大改善。這些結(jié)果突顯了與基于外觀方法相比，GaitSkeleton對(duì)服裝和視角的優(yōu)越穩(wěn)健性。
表1 CASIA-B數(shù)據(jù)集上與最新方法在不同條件與不同角度下性能比較
本文進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果分別在圖7和圖8中展示了有無CFL或MSCM的情況。可以看出，無論是否應(yīng)用MSCM，CFL都提高了在所有三種條件下的識(shí)別準(zhǔn)確率。
圖7 不同角度下四種模型的識(shí)別準(zhǔn)確率評(píng)估
圖8 NM、BG和CL條件下，三種模型相對(duì)于Baseline的平均準(zhǔn)確率提升情況
相比Baseline，CFL分別在NM和BG條件下將準(zhǔn)確率提高了0.8%和2%，而在CL條件下激增至5.9%。如圖7所示，只有在CL條件下，CFL在所有角度上都提高了準(zhǔn)確率。實(shí)驗(yàn)結(jié)果顯示了CFL的優(yōu)越性，最顯著的改進(jìn)是在CL條件下實(shí)現(xiàn)的。這主要?dú)w因于CFL能通過捕捉關(guān)節(jié)之間的協(xié)調(diào)關(guān)系豐富特征的語義信息，同時(shí)CFL基于協(xié)調(diào)關(guān)系矩陣聚合所有關(guān)節(jié)的運(yùn)動(dòng)特征有助于減輕低質(zhì)量關(guān)節(jié)的影響，并減少姿勢估計(jì)引入的噪音。
從圖8中可以看出，MSCM在不同條件下持續(xù)提高了識(shí)別準(zhǔn)確率，當(dāng)MSCM應(yīng)用于Baseline時(shí)，在NM條件下提高了1.4%，在BG條件下提高了2.8%，在CL條件下顯著提高了5.2%。如圖7所示，MSCM提高了幾乎所有角度的識(shí)別準(zhǔn)確率，特別是在CL條件下大角度（大于或等于90°）的情況下。這主要?dú)w功于MSCM提取的多尺度特征包含更豐富的判別信息，比單尺度特征更有效地捕捉步態(tài)模式，并且肢體尺度和姿勢尺度特征分別關(guān)注區(qū)域和全局運(yùn)動(dòng)模式，從而平滑了低質(zhì)量關(guān)節(jié)引入的噪音。
結(jié)論:
本文提出GaitSkeleton，一種基于模型的新型步態(tài)識(shí)別方法，利用骨架序列作為主要表示形式。GaitSkeleton旨在捕捉關(guān)節(jié)之間的運(yùn)動(dòng)協(xié)調(diào)，豐富步態(tài)特征的語義信息。為此，我們引入了協(xié)調(diào)特征學(xué)習(xí)器（CFL）來有效建模步態(tài)協(xié)調(diào)特征。此外，我們還提出了一種新穎的多尺度步態(tài)表示方法，以增強(qiáng)步態(tài)特征的區(qū)分性。通過設(shè)計(jì)多尺度協(xié)調(diào)模塊（MSCM）來提取多尺度步態(tài)特征，我們展示了其出色性能。CASIA-B數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了我們方法的有效性。
作者簡介:
朱丹丹，博士，中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院智能中心副教授，碩士生導(dǎo)師。目前主要研究方向是強(qiáng)化學(xué)習(xí)和數(shù)據(jù)挖掘。
聯(lián)系方式：zhu.dd@cup.edu.cn