基于最大均值差異領域泛化的化工過程智能辨識方法
中文題目：基于最大均值差異領域泛化的化工過程智能辨識方法
論文題目：An intelligent identification method based on self-adaptive mechanism regulated neural network for chemical process
錄用期刊/會議：Journal of the Taiwan Institute of Chemical Engineers (JCR Q1)
原文DOI：10.1016/j.jtice.2023.105318
原文鏈接：https://doi.org/10.1016/j.jtice.2023.105318
作者列表：
1） 徐寶昌 中國石油大學（北京）信息科學與工程學院/人工智能學院 自動化系教師
2） 王雅欣 中國石油大學（北京）信息科學與工程學院/人工智能學院 控制科學與工程專業 博19
3） 孟卓然 中國石油大學（北京）信息科學與工程學院/人工智能學院 控制科學與工程專業 博20
4） 陳貽祺 中國石油大學（北京）信息科學與工程學院/人工智能學院 控制科學與工程專業 博21
5） 尹士軒 中國石油大學（北京）信息科學與工程學院/人工智能學院 控制科學與工程專業 博23
化工過程具有多變量、非線性、時變、強耦合等復雜特性，往往導致傳統辨識理論在實際應用中效果不佳。近年來，深度學習的發展為非線性系統辨識帶來了突破，但仍需要更多的進展。本文提出了一種基于自適應正則化神經網絡的化工過程動態模型辨識方法。首先，為了提高神經網絡應用于化工過程辨識的可靠性，提高泛化能力，將描述機理的已知微分方程作為正則化項來約束神經網絡的輸出。然后，提出了一種具體的訓練方法，通過引入可訓練的自適應權值，迫使神經網絡專注于訓練誤差較大的區域。此外，針對機理方程中某些參數未知的情況，提出了一種半監督網絡訓練方法。最后，建立了一個動態虛擬裝置（VD）模型來模擬被控對象的動態響應。在pH中和與連續攪拌釜反應器（CSTR）過程上進行的各種比較實驗表明，該辨識方法能夠獲得魯棒性強、精度高、泛化能力強的非線性動態模型。
深度學習方法主要基于數據驅動，需要大量的采樣數據和豐富的信息。如今，先進控制系統和生產管理系統的引入使得工業過程可以實現快速、準確、穩定的控制。盡管從DCS中獲得的樣本數據數量巨大，但波動非常小。在某種程度上，這相當于重復的數據采樣，數據覆蓋率和代表性較差。而機理建模方法獲得的模型雖有良好的可解釋性和外延性，但對于復雜工業過程普遍存在求解復雜度過高等諸多難題，且實際模型往往會隨著時間推移而與機理模型產生偏差。因此，提出了一種機理與數據融合驅動的非線性工業過程辨識方法，該方法利用已知的機理對深度網絡模型進行約束，建立自適應機理正則化深度網絡。
1.為了最大限度地減少傳統化工過程辨識方法對化工廠運行的干擾，提出了一種基于工廠歷史數據的神經網絡辨識方法。此外，還采用了適用于控制領域的虛擬裝置模型結構。
2.提出在已知化學過程機理的情況下，將常微分方程作為正則化項來約束網絡的輸出。這種數據-機理混合驅動建模方法可以在訓練數據信息不足的情況下獲得滿足機理條件約束的模型，提高神經網絡的可解釋性和外推性。
3.對于部分機理參數未知的情況，提出了一種半監督訓練方法，在估計未知機理方程參數的同時更新神經網絡權重。
1）自適應機理正則化LSTM模型
MRLSTM框架由兩部分組成。該框架的第一部分是LSTM網絡結構。然后，LSTM網絡的輸出被輸入到機理正則化部分，該部分本質上由描述動態過程遵循的q個微分方程組成，以評估微分方程的殘差。本研究考慮以下形式的一般非線性常微分方程（Ordinary differential equation，ODE）作為已知機理方程：
MRLSTM的機理正則化部分定義為下式。其中，na為解空間中隨機分布的配置點數量。顯然，resi表示第i個常微分方程與模型輸出在na個配置點下的殘差之和。
接下來，將等式約束作為正則化項訓練LSTM網絡。通過組合與樣本數據及殘差相對應的損失來構建損失函數。其中ODE的殘差的權重由可訓練的自適應權重重新縮放。該方法使神經網絡在求解方程的過程中自動聚焦誤差較大的區域，并在損失較大的區域增加相應的權重。具體地，
2）自適應訓練算法
a. 所有已知機理方程參數為常數
在機理模型的所有參數都是常數的情況下，通過網絡反向傳播，以計算損失函數對LSTM網絡的權重和殘差的權重的梯度。如下式所示，所提出的訓練方法的基本思想是在具有較大損失的區域中最大化相對于自適應權重的損失，并最小化相對于網絡權重的損失。
在最小化損失函數的過程中，第t步的權重更新如下式所示。
自適應權重梯度更新方程如下：
可以看出，如果權重向量初始值為非負值，則權重向量將為非單調遞減。當方程殘差和權重較大時，其梯度會相應增加，這是對不能很好地擬合機理方程的深度網絡的懲罰。在具體的優化過程中，采用雙層優化方法。首先使用Adam算法進行固定次數ep1的迭代優化，同時更新自適應權重和網絡權重。然后使用二階算法SGD-SRSO進行新ep2輪次的迭代優化，在此期間自適應權重保持不變，僅優化LSTM網絡權重。
b. 部分機理方程參數未知
在未知的情況下，訓練機理正則化部分的問題變成了半監督學習任務。具體實現方法為通過最大化關于自適應權重的損失并最小化關于網絡權重和參數估計的損失來獲得一致性參數估計:
其中，
在最小化損失函數的過程中，第t步的權重更新如下式所示。
在半監督訓練過程中，采用雙層優化方法。首先使用Adam算法進行固定次數ep1的迭代優化，同時更新自適應權重，網絡權重和未知機理參數。然后使用二階算法SGD-SRSO進行新ep2輪次的迭代優化，在此期間自適應權重和未知機理參數保持不變，僅優化LSTM網絡權重。
用于辨識的SA-MRLSTM結構如圖1所示。
圖1 SA-MRLSTM模型
3）虛擬裝置模型（VD）構建
在神經網絡訓練過程中，模型的輸入由實際采樣數據組成。這種模型被大多數基于深度學習的非線性系統辨識方法所使用。然而，為了模擬被控對象對控制信號的響應，希望在訓練結束后構建一個只使用CV的實際初始條件和MV的實際值作為輸入的模型。該模型可以作為虛擬裝置模擬受控對象在不同工況下的動態響應或測試控制算法的性能，更適合控制領域。因此，模型的輸入向量由實際輸入和預測輸出組成，而不是實際輸入和實際輸出，如下式所示。
VD模型的構建如圖2所示，其中MV是被控對象的輸入，CV是被控對象的輸出。在采用開環控制時，MV是手動給定的。對于閉環控制，MV是執行器在接收到來自控制器的控制信號之后的輸出。VD模型的輸入和輸出向量的維數與STA-LSTM的相同。在初始時刻t0，STA-LSTM輸入向量中的所有值都是預先設置的或通過實際采樣獲得的，網絡計算的輸出值則存儲在數據庫中。然后，在t0+1時刻，網絡輸入向量中的元素為來自上一時間步存儲在數據庫中的輸出值，而不是實際采樣。在之后的時間步里，VD模型的輸入向量中的xy(t)部分的每個元素的值都來自網絡本身的先前計算結果。
圖2 VD模型構建示意圖
以pH中和過程與CSTR過程為例進行實驗，驗證SA-MRLSTM模型和相應雙層優化算法的有效性和優越性，以及在CSTR機理方程參數k0未知的情況下所提出的訓練算法的魯棒性。
表1 不同模型結構下的實驗結果
(a) pH中和過程 (b) CSTR 過程
圖3 不同優化算法的訓練誤差對比
圖4 pH值對q2的傳遞函數和階躍響應曲線
圖5 CSTR過程參數k0估計曲線
圖6 CSTR過程不同測量噪聲下參數k0估計精度
表2 不同測量噪聲下的模型訓練和測試結果
圖7 CSTR過程LSTM和SA-MRLSTM泛化能力測試結果
考慮到化學過程的復雜性和傳統辨識方法的局限性，本文提出了一種基于SA-MRLSTM的結合機理和過程數據的化工過程動態模型辨識方法。為了在訓練數據的信息不充分時獲得準確的模型，引入微分方程作為正則化項來約束神經網絡的輸出，迫使網絡滿足微分方程描述的物理或化學機理。在訓練過程中，將自適應權值引入損失函數，通過最小化損失和最大化自適應權值來訓練神經網絡，以獲得更好的擬合結果。此外，還討論了當機理方程中存在未知參數時，神經網絡的訓練和參數估計方法。VD模型使用初始條件和MV作為模型輸入，可以有效地獲得先進控制器所需的傳遞函數模型，避免辨識實驗對實際生產過程的干擾。在pH中和與CSTR過程上的實驗結果表明，SA-MRLSTM網絡適用于化工過程辨識，具有較強的魯棒性和泛化能力。
徐寶昌，副教授，博士生導師/碩士生導師。長期從事復雜系統的建模與先進控制；鉆井過程自動控制技術；井下信號的測量與處理；多傳感器信息融合與軟測量技術等方面的研究工作。現為中國石油學會會員，中國化工學會信息技術應用專業委員會委員。曾參與多項國家級、省部級科研課題的科研工作，并在國內外核心刊物發表了論文70余篇；其中被SCI、EI、ISTP收錄30余篇。