LSTM多維時序建模中隱藏層激活的降維可視分析對比研究
中文題目：LSTM多維時序建模中隱藏層激活的降維可視分析對比研究
論文題目：Comparing dimensionality reduction techniques for visual analysis of the LSTM hidden activity on multi-dimensional time-series modeling
錄用期刊：The Visual Computer （JCR Q2）
作者列表：
1） 紀連恩 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師
2） 邱詩榮 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 21
3） 徐 智 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 23
4） 劉 月 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 20
5） 楊 光 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 22
長短期記憶網(wǎng)絡(LSTM)已被廣泛應用于包括各類工業(yè)控制領域在內(nèi)的多維時序數(shù)據(jù)建模中，而可視分析方法（VAST）在提高其可解釋性方面發(fā)揮著重要作用。為了理解模型隱藏層中的高維激活模式，降維技術（DR）的應用必不可少。然而，DR的多樣性極大地增加了選擇的難度。本文針對DR在LSTM隱藏層激活可視分析中的適用性問題，選取了四種具有代表性的DR技術作為比較對象，包括PCA、MDS、t-SNE和UMAP。原始的連續(xù)型建模數(shù)據(jù)和符號化處理后的離散型數(shù)據(jù)作為模型學習的知識，可將它們與LSTM隱藏層的激活行為相關聯(lián)，從而比較不同DR技術保持和抽取隱藏層激活信息的能力。根據(jù)LSTM模型結構和數(shù)據(jù)特點，分別設計了在降維質(zhì)量評估、高低隱藏層間抽象表征、模型與輸出變量間關聯(lián)分析、輸入特征重要性分析和隱藏層時序規(guī)律探索等五個典型任務中的對照實驗。通過對實驗結果的定性和定量分析，總結了不同DR技術的適用性，提煉了LSTM多維時序建模場景下對隱藏層激活狀態(tài)進行降維可視分析的系統(tǒng)性指導原則。
深度模型具有工作機理復雜、可解釋性差的問題，LSTM也不例外。可視分析在改善深度模型可解釋性方面發(fā)揮了重要作用，而隱藏層激活狀態(tài)作為模型的內(nèi)部表現(xiàn)，是模型可視分析的主要研究對象。但高維的隱藏層激活值難以被直接可視化映射，近年來，人們通過DR提取隱藏層的激活值特征，在低維空間展示模型內(nèi)部行為以利于人的理解和分析。然而，在對LSTM進行多維時序預測的可視分析中，DR的應用面臨著諸多挑戰(zhàn)。一方面，DR的多樣性極大地增加了選擇的難度，且DR是一個無監(jiān)督的過程，在實際應用中很容易被誤用；另一方面，不同的DR會產(chǎn)生不同的模式特征，DR的有效性評估分析任務的特點緊密相關。
本文根據(jù)DR特點和應用現(xiàn)狀，選擇了PCA、MDS、t-SNE和UMAP四種代表性技術作為比較對象。此外，還提煉出了多維時間序列建模應用中LSTM隱藏層激活可視分析的五個主要任務，分別為T1：降維質(zhì)量評估，T2：高低隱藏層間的抽象表征，T3：模型與輸出變量的關聯(lián)分析，T4：輸入特征的重要性分析，T5：隱藏層的時序規(guī)律探索。
為了能夠全面有效地將降維結果進行可視化，本文設計了空間投影和時序投影兩種視圖。分析人員可根據(jù)不同的分析任務選取不同分段下隱藏層激活狀態(tài)，將其輸入到DR中，然后再將二維空間下的投影結果映射到相應視圖中進行探索和分析。
圖1 投影視圖
面向五種典型LSTM可視分析任務場景，文中通過多組對照實驗定性和定量比較了四種DR技術的表現(xiàn)性能和效果。
圖2 降維質(zhì)量評估（T1）
圖3 模型的隱藏層與輸出變量之間的關聯(lián)在訓練過程中發(fā)生變化（T2,T3）
表1 多維模型輸入特征重要性保持能力評估結果（T4）
圖4 某樣本在不同DR下的時序投影結果（T5）
基于上述實驗結果，本文提煉了在LSTM隱藏層可視分析任務中選擇DR時必須考慮的幾個重要因素，包括任務的關聯(lián)對象、分析視角以及模式探索需求，并對它們適用的DR技術進行了總結，如表2所示。
表2 可視分析任務的特征及其適用的降維技術
本文通過選擇四種具有代表性的DR技術進行對比研究，提煉了DR應用于多維時間序列建模的五種LSTM可視化分析任務，并進行了相應的案例實驗研究。最后，根據(jù)任務的關聯(lián)對象和分析視角，總結了不同類型任務對DR的關鍵特征要求，為研究人員在可視化地分析LSTM隱藏層激活狀態(tài)時選用最有效的DR技術提供了系統(tǒng)性指導原則。
紀連恩，博士，副教授，研究生導師。主要研究領域為大數(shù)據(jù)可視化與智能分析、可解釋機器學習及工業(yè)領域應用、虛擬現(xiàn)實與計算機仿真、計算機圖形學與人機交互技術等。主持和參與了國家自然科學基金、國家科技重大專項和重點企業(yè)合作項目多項。現(xiàn)為中國計算機學會（CCF）人機交互專委會委員、中國圖象圖形學學會（CSIG）可視分析專委會委員以及虛擬現(xiàn)實專委會委員。
聯(lián)系方式：jilianen@cup.edu.cn