基于工業時間序列數據的注意力機制神經網絡建模與評估
中文題目：基于工業時間序列數據的注意力機制神經網絡建模與評估
論文題目：Modeling and Evaluation of Attention Mechanism Neural Network Based on Industrial Time Series Data
錄用期刊/會議：Processes （中科院大類四區）
原文DOI：10.3390/pr13010184
原文鏈接：https://doi.org/10.3390/pr13010184
錄用/見刊時間： 2025.01.10
作者列表：
1）周建橋 中國石油大學（北京）人工智能學院 自動化系 博 21
2）王 珠 中國石油大學（北京）人工智能學院 自動化系 教師
3）劉佳璇 中國石油大學（北京）人工智能學院 自動化系 碩20
4）羅雄麟 中國石油大學（北京）人工智能學院 自動化系 教師
5）陳茂銀 中國石油大學（北京）人工智能學院 自動化系 教師
摘要:
化工過程控制系統十分復雜，而為被控對象建模是自動控制和優化設計的首要任務。因此，本文提出了一種基于自注意機制的改進Transformer模型，用于工業過程建模。然后，設計了一種基于均方根誤差（RMSE）和KL散度（KLD）指標的評估機制，以獲得更合適的模型參數。變分自動編碼器（VAE）網絡用于計算相關的KLD。最后，使用所提出的方法對石化行業中一個真實的非線性動態過程進行建模和評估，以預測該過程的時間序列數據。此外，還討論了適合預測的時域問題。
背景與動機:
描述過程動態特性的模型是煉油行業先進控制系統的重要組成部分。模型的質量是控制過程是否有效的決定性因素。然而，辨識通常需要停止工業生產，并在開環條件下執行。與此同時，在足夠長的時間內手動向過程輸入激勵信號，以激發系統的全部動態特性，并獲得辨識所需的數據。這些問題嚴重影響了工業生產，而且難以長期投入使用，對復雜多變的運行條件也有限制。
設計與實現:
結構圖如圖1所示。其中黑色實心箭頭表示結構矩陣內所有組結構參數的遍歷。通過網絡訓練和預測，得到每組網絡結構參數對應的RMSE，并選擇RMSE較小的前幾組計算KL散度。KL散度最小的網絡結構參數組代表最優結構參數。橙色虛線箭頭表示在獲得最佳結構參數后，使用這些最佳參數對網絡進行重新訓練和預測，以獲得更精確的最終預測結果。
圖1 算法流程圖
主要內容:
本文提出了一種改進Transformer預測模型，該模型結合了工業時序I/O設計，可用于非線性動態過程預測場景。該模型與經典Transformer模型的主要區別體現在輸入層和解碼器上，而位置編碼器和編碼器則與經典Transformer模型保持一致。輸入層通過對輸入/輸出(I/O)設計的巧妙整合，簡化了傳統的Transformer模型。
為了使改進Transformer對非線性動態過程的預測效果盡可能好，有必要從結構參數集中選擇一組最優網絡結構參數。在最優結構參數下，模型的預測誤差可以相對最小，預測曲線與實際曲線的擬合度可以相對較高。為了實現上述目標，本文提出了一種去確定神經網絡結構最優參數的評價機制。該機制考慮了兩個性能評價指標：RMSE和KL散度。后者是通過變分自動編碼（VAE）獲得的。
實驗結果及分析:
本文以天津大港煉油廠催化裂化分餾系統為例，利用實際數據驗證了改進Transformer模型對非線性動態過程的預測能力。催化裂化分餾系統主要由主分餾塔、塔頂油氣冷凝冷卻系統、柴油汽提塔、循環油罐、中間循環回流等部分組成。從反應器頂部流出的高溫反應油氣混合物進入主分餾塔下部的減溫器。經過熱交換和洗滌后，催化劑粉末進入分餾器本體。該裝置中催化裂化分餾器C2201的部分工藝流程如圖2所示。其主分餾器設有頂部循環回流、中部循環回流、部分精煉回流和油漿循環回流。
圖2 催化裂化分餾裝置部分工藝流程圖
本文使用所提出的模型和三個參考模型對多變量非線性動態過程進行了單步預測。圖3直觀地展示了四種模型在單步預測情況下的預測曲線與實際曲線之間的比較，圖例t代表當前時刻的預測值。從圖3可以看出，基于改進Transformer的預測值能夠很好地擬合實際值的變化趨勢，建模精度較高。
圖3 不同模型的預測曲線與實際曲線的比較。(a) RNN；(b) GRU；(c) Transformer；(d) 改進Transformer。
表1展示了不同預測時域下改進Transformer的性能指標。同時可以看出，隨著預測步長的增加，本模型的預測效果越來越差，預測精度越來越低。預測步長越長，預測未來相應時刻的難度越大。
表1 不同預測時域下改進型Transformer的性能比較
結論:
本文介紹了一種使用Transformer-VAE進行建模、評估和預測的綜合方法。研究對象是一個工業催化裂化分餾系統。對比實驗和分析表明，所提出的評估系統能夠確定最佳網絡結構參數。此外，集成了工業時序I/O設計的Transformer模型顯示出更高的預測精度，同時通過混合網絡對預測時域進行了研究，以確定最佳預測時域范圍。改進的Transformer模型集成了工業時間序列輸入/輸出，提供了寶貴的參考價值為基于多變量時間序列數據的工業預警和其他應用提供了寶貴的參考點。
通訊作者簡介:
王珠，博士，中共黨員，現任中國石油大學（北京）副教授、碩士生導師。2016年至今在中國石油大學（北京）自動化系工作，現任中國自動化學會人工智能技術與工業應用專業委員會委員、中國化工學會信息技術應用專業委員會青年委員、北京人工智能學會理事。
在科研與社會服務方面，研究興趣為系統辨識與智能控制、煉化過程動態異常診斷與故障預警、大數據質量預測與綜合優化。近年來，主持重點流程工業企業的高級智能報警項目數項以及國家自然科學基金項目，已發表高水平學術論文30余篇。