開放集條件下群體活動識別的再思考
中文題目：開放集條件下群體活動識別的再思考
論文題目：Rethinking group activity recognition under the open set condition
錄用期刊/會議：The Visual Computer (中科院SCI 3區(qū)，JCR Q2，CCF C)
原文DOI：https://doi.org/10.1007/s00371-024-03424-0
原文鏈接：https://link.springer.com/article/10.1007/s00371-024-03424-0
錄用/見刊時間：2024.5.13
作者列表：
1) 朱麗萍 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機(jī)系教師
2) 吳祀霖 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
3) 常憲祥 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
4) 楊逸萱 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
5) 李 軒 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
背景與動機(jī):
群體行為識別旨在識別群體環(huán)境中的預(yù)定義人類活動類別。這些行為包括簡單動作和復(fù)雜互動，在體育和公共安全等領(lǐng)域有廣泛應(yīng)用。然而，預(yù)定義類別在訓(xùn)練過程中存在局限性，無法涵蓋所有現(xiàn)實世界的活動類型。
盡管現(xiàn)有的群體行為識別模型取得了重大進(jìn)步，但在識別訓(xùn)練數(shù)據(jù)中未包含的行為方面仍存在一個顯著的挑戰(zhàn)。圖1揭示了在群體識別任務(wù)中開集與閉集場景之間的差異，突出了在閉集環(huán)境下訓(xùn)練的傳統(tǒng)模型在適應(yīng)現(xiàn)實生活應(yīng)用方面的局限性。在閉集場景中，模型基于一組固定的類別進(jìn)行訓(xùn)練，并假定所有遇到的行為都屬于這些預(yù)定義的類別之一。而在開集場景中，模型必須能夠識別那些在訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的行為，并將它們視為新穎或未知類別。因此，迫切需要設(shè)計一種能夠在開集環(huán)境下運作的群體行為識別模型，以克服傳統(tǒng)方法在處理未知類別時遇到的固有局限。在這種情況下，開集群體活動識別被定義為一個計算任務(wù)，其目標(biāo)是識別和分類群體內(nèi)的集體行為，特別是針對那些在訓(xùn)練過程中未預(yù)定義的未知行為。這一創(chuàng)新方法旨在提高群體行為識別模型在動態(tài)多變現(xiàn)實環(huán)境中的適應(yīng)性。
圖1 封閉集和開放集條件下群體行為識別的比較
設(shè)計與實現(xiàn):
本研究提出的開集群體行為識別模型（OSGAR）旨在通過對視頻樣本進(jìn)行不確定性估計，以確定其中群體活動的熟悉度。OSGAR方法主要利用嵌入的骨骼特征進(jìn)行處理，采用兩階段的流程。首先，在Evidence Aware Collection（EAC）階段，從不同尺度提取語義特征，并生成多組證據(jù)值。隨后，在Evidence Aware Decision（EAD）階段，利用注意力機(jī)制有選擇地聚合這些證據(jù)，最終得到能夠有效區(qū)分已知和未知類別的不確定性結(jié)果。整體而言，OSGAR方法的目的在于應(yīng)對視頻中群體活動的開放性判斷問題，通過有效利用骨骼特征提高判斷的準(zhǔn)確性和泛化能力。OSGAR的整體架構(gòu)如下圖2所示。
圖2 OSGAR的整體架構(gòu)
首先本研究針對基于RGB的識別方法常見的背景噪聲問題提出了解決方案，即利用骨架數(shù)據(jù)進(jìn)行人體動作識別。具體而言，先利用HRnet提取初始骨架信息，然后將關(guān)節(jié)類型、時間位置和空間位置等先驗信息嵌入到原始骨架中，生成每個個體的關(guān)節(jié)向量。這一過程利用拼接函數(shù)和前饋網(wǎng)絡(luò)結(jié)合GCN學(xué)習(xí)得到最終的關(guān)鍵點特征表示，公式描述如下：
其次在證據(jù)收集階段，要在在解決基于特征推斷對樣本不確定性估計的影響。該方法將群體活動分解為個體、子群體和整體三個尺度，然后利用證據(jù)感知收集方法從每個尺度收集證據(jù)特征。在個體水平，將骨架向量組合形成個體特征，并利用 Transformer 提取時間維度批次化的空間演化特征。在子群體水平，利用個體相似性劃分子群體，并利用 Transformer 提取子群體特征。最后，將個體特征和子群體特征合并，以獲得群體特征表示。在這些階段中，Transformer 編碼器結(jié)構(gòu)都包含多頭自注意力機(jī)制，能夠捕捉同一尺度內(nèi)不同個體之間的相關(guān)性表示，從而提高了模型的泛化能力，最終群體特征計算公式描述如下：
最終在證據(jù)融合階段針對前期收集的多尺度證據(jù)，利用注意力機(jī)制將其融合然后輸出樣本的不確定度信息，與閾值相比較判斷已知類別與未知類別的歸屬。
實驗結(jié)果及分析:
本文依照開集環(huán)境要求，對現(xiàn)有對Volleyball數(shù)據(jù)集以及CAD數(shù)據(jù)集進(jìn)行了開集劃分如下表1所示。
表1 數(shù)據(jù)集開集分割方法
然后在V1-openset下與其他SOTA的對比結(jié)果如下表2所示。
表2 不同方法的比較
針對不同開集方法下，在兩種分割策略下最終預(yù)測結(jié)果的比較如下圖3所示。
圖3 使用不同的開放集識別方法預(yù)測得分的可視化比較
結(jié)論:
本文介紹了開放集群體活動識別的概念，并提出了一個名為OSGAR的框架，作為在實際場景中識別群體活動的解決方案。OSGAR模型在不同尺度上建模群體活動，增強(qiáng)了對群體行為的層次理解，突出了子群體的優(yōu)勢。提出的兩階段方法，即證據(jù)感知收集和證據(jù)感知決策，聚合了來自不同尺度的證據(jù)，提供可靠的不確定性預(yù)測，有效應(yīng)對了開放集場景的挑戰(zhàn)。此外，本文在現(xiàn)有數(shù)據(jù)集上進(jìn)行了開放集劃分，并證明了提出的方法在區(qū)分已知和未知類別的同時保持高閉集識別能力方面表現(xiàn)良好。總體而言，OSGAR框架為開放集環(huán)境中的群體活動識別做出了有價值的貢獻(xiàn)。
作者簡介:
朱麗萍，博士。中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院計算機(jī)系副教授，碩士生導(dǎo)師。目前主要研究方向是大數(shù)據(jù)和數(shù)據(jù)挖掘方向，尤其關(guān)注深度學(xué)習(xí)在計算機(jī)視覺方向上的應(yīng)用，已發(fā)表論文多篇高水平論文。
聯(lián)系方式：zhuliping@cup.edu.cn