數(shù)字孿生輔助強化學(xué)習的燃氣站場巡檢任務(wù)分配算法
論文題目：數(shù)字孿生輔助強化學(xué)習的燃氣站場巡檢任務(wù)分配算法
錄用期刊：電子信息學(xué)報（CCF中文C類）
作者列表：
1） 連遠鋒 中國石油大學(xué)（北京）人工智能學(xué)院 智能科學(xué)與技術(shù)系教師
2） 田 天 中國石油大學(xué)（北京）人工智能學(xué)院 計算機技術(shù)專業(yè) 碩22
3） 陳曉禾 中國石油大學(xué)（北京）人工智能學(xué)院 計算機系教師
4） 董紹華 中國石油大學(xué)（北京）安全與海洋工程學(xué)院 安全工程系教師
摘要:
針對燃氣站場機器人智能巡檢過程中由于突發(fā)任務(wù)導(dǎo)致的巡檢效率下降、任務(wù)延遲和能耗增加問題，該文提出基于數(shù)字孿生輔助強化學(xué)習的燃氣站場巡檢任務(wù)分配算法。首先基于多機器人、差異化任務(wù)的執(zhí)行狀況，建立面向能耗、任務(wù)延遲的多目標聯(lián)合優(yōu)化巡檢任務(wù)分配模型；其次利用李雅普諾夫理論對時間-能耗耦合下的巡檢目標進行解耦，簡化多目標聯(lián)合優(yōu)化問題；最后通過結(jié)合數(shù)字孿生技術(shù)和PPO(Proximal Policy Optimization)算法，對解耦后的優(yōu)化目標進行求解來構(gòu)建多機器人巡檢任務(wù)分配策略。仿真結(jié)果表明，與現(xiàn)有方法相比，所提方法具有較高的任務(wù)完成率，有效地提高了多機器人系統(tǒng)的巡檢效率。
背景與動機:
當前我國燃氣站場安全管控主要是采用人工巡檢與監(jiān)控技術(shù)相結(jié)合的方式，人工巡檢實時性差、巡檢效率低，難以發(fā)現(xiàn)站場微小泄漏，無法滿足智能化、無人化風險管控需求。使用機器人對燃氣站場中的液化裝置(LNG)、壓力容器、管匯等燃氣基礎(chǔ)設(shè)施進行巡檢具有適應(yīng)性強、巡檢效率高、安全性好的優(yōu)勢，對燃氣站場智能化管理具有重要意義。
設(shè)計與實現(xiàn):
在任務(wù)延遲、能耗資源有限和差異化任務(wù)的多機器人燃氣巡檢場景中，考慮到能耗與時間耦合以及模型在真實環(huán)境中的適應(yīng)性，本文研究了數(shù)字孿生輔助強化學(xué)習的燃氣站場巡檢任務(wù)分配，以解耦能耗時間相關(guān)性，提高數(shù)字孿生強化學(xué)習在實際環(huán)境中的應(yīng)用。具體工作總結(jié)如下：(1)構(gòu)建了一個面向能耗、延遲等多目標的聯(lián)合優(yōu)化巡檢任務(wù)分配模型，考慮多機器人巡檢和差異化任務(wù)的執(zhí)行需求，提升了任務(wù)分配的效率和實用性。(2)利用李雅普諾夫理論對時間耦合的巡檢能耗約束進行解耦，將原問題轉(zhuǎn)化為最小化李雅普諾夫漂移加懲罰項的上界，簡化了多目標優(yōu)化問題。(3)針對物理空間和虛擬空間時間步長不同問題，提出數(shù)字孿生輔助的PPO(Proximal Policy Optimization)算法，對解耦后的優(yōu)化問題進行求解，實現(xiàn)了多機器人巡檢任務(wù)的高效且穩(wěn)定分配。在動態(tài)巡檢任務(wù)的燃氣站場環(huán)境中，探索近似最優(yōu)的任務(wù)分配方法以實現(xiàn)機器人能耗和任務(wù)延遲最小化。
圖1 整體框架結(jié)構(gòu)圖
實驗結(jié)果及分析:
圖2展示了PSO, GA, ACO, DRL, DDQN和DTPPO算法在任務(wù)分配中的路徑規(guī)劃結(jié)果。可以看出，PSO算法雖然能夠較好地實現(xiàn)任務(wù)分配，但路線存在較多的交叉和繞行；GA算法通過遺傳操作提供了一定程度的路線優(yōu)化，但在復(fù)雜環(huán)境下仍有重疊現(xiàn)象；ACO算法表現(xiàn)出較好的路線穩(wěn)定性和較少的路徑交叉，但存在漏檢的情況；DRL算法在處理復(fù)雜場景時表現(xiàn)出較高的自主性，但仍存在路徑冗余；本文提出的算法相較于DDQN，機器人能夠高效避免路徑交叉與冗余，從而提升了任務(wù)完成的效率和穩(wěn)定性。
圖2 機器人Pathfinding數(shù)據(jù)集巡檢路線
本文模型與其他模型的機器人燃氣站場巡檢路線如圖3所示。可以看出，PSO和GA算法巡檢的目標點較少，存在漏檢的問題，任務(wù)資源平衡方面也存在不足；ACO算法能在一定程度上優(yōu)化任務(wù)分配，但在復(fù)雜環(huán)境下，尤其是任務(wù)資源要求較高時，算法表現(xiàn)出較為明顯的局部最優(yōu)解，未能充分挖掘全局最優(yōu)解的潛力，因此任務(wù)分配存在不均衡的情況；DRL算法巡檢了更多的目標點，在處理動態(tài)任務(wù)分配時較為有效，能夠根據(jù)環(huán)境的變化做出調(diào)整；本文提出的算法相較于DDQN算法，任務(wù)分配的精確度和資源均衡性方面表現(xiàn)優(yōu)異，能夠根據(jù)環(huán)境變化快速調(diào)整任務(wù)分配策略，減少資源浪費，并提高系統(tǒng)的整體效率。
圖3 機器人燃氣站場巡檢路線
結(jié)論:
本文提出了一種基于數(shù)字孿生輔助強化學(xué)習的巡檢任務(wù)分配算法。首先，構(gòu)建以最小化機器人能耗和任務(wù)時延的多目標聯(lián)合優(yōu)化巡檢任務(wù)分配模型。其次，考慮到能耗和時間之間的耦合關(guān)系以及電池容量約束，利用李雅普諾夫優(yōu)化理論對目標函數(shù)的約束條件進行解耦，進而簡化了多目標優(yōu)化問題。最后結(jié)合數(shù)字孿生技術(shù)和PPO算法，將李雅普諾夫漂移及懲罰項作為獎勵函數(shù)，對解耦后的問題進行求解。仿真部分針對不同因素對巡檢效率進行了討論，并驗證了本文算法的有效性和擴展性。未來的工作中將考慮將優(yōu)化算法與李雅普諾夫理論結(jié)合改進多機器人任務(wù)分配算法。
作者簡介:
連遠鋒，教授。研究方向為圖像處理與虛擬現(xiàn)實、機器視覺與機器人、深度學(xué)習與數(shù)字孿生。