基于擴散模型和知識蒸餾技術(shù)的時間序列插補方法
中文題目：基于擴散模型和知識蒸餾技術(shù)的時間序列插補方法
論文題目：Diffusion Modeling and Transformer Knowledge Distillation Techniques for Time Series Imputation
錄用期刊/會議：2024中國自動化大會 （CAA A類會議）
錄用時間：2024.9.20
作者列表：
1) 阮丹靈 中國石油大學（北京）人工智能學院 控制工程 碩22級
2) 劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師
摘要:
近年來，大數(shù)據(jù)分析十分熱門，但數(shù)據(jù)在收集、存儲等過程中常常會出現(xiàn)缺失的現(xiàn)象，進而影響到數(shù)據(jù)分析的效果。因此，本文提出用擴散模型來插補時間序列的缺失值，并且加入了Transformer結(jié)構(gòu)來捕捉時間序列數(shù)據(jù)中的復(fù)雜依賴關(guān)系，為了提高插補的準確性，還將知識蒸餾用于擴散模型的逆向過程。我們在醫(yī)療數(shù)據(jù)集和空氣質(zhì)量數(shù)據(jù)集上進行了實驗，比較了不同缺失值占比的情況下，模型的表現(xiàn)。結(jié)果表明，我們的模型在三個評價指標上均優(yōu)于其他模型。
背景與動機:
近年來，大量的數(shù)據(jù)被用于分析和決策，許多領(lǐng)域用時間序列數(shù)據(jù)進行預(yù)測分析，例如，預(yù)測股票的價格，預(yù)測天氣，預(yù)測醫(yī)療診斷，預(yù)測實時交通。但是收集的數(shù)據(jù)往往會存在缺失，時間序列數(shù)據(jù)的不完整會導(dǎo)致時間序列的建模出現(xiàn)偏差，進而影響到對時間序列數(shù)據(jù)分析的結(jié)果不準確，因此對時間序列的缺失值的處理也成為一個很重要的問題。缺失值的常用處理方法通常有刪除法和插補法兩種，但是刪除會導(dǎo)致數(shù)據(jù)一些分布特征的丟失，對后續(xù)的時間序列數(shù)據(jù)的處理造成不良影響，所以如何用更準確的方法來對缺失數(shù)據(jù)進行填補是目前的熱點問題。
主要內(nèi)容:
本文選取了擴散模型作為時間序列缺失值插補的基礎(chǔ)模型，并且在此基礎(chǔ)上加入了Transformer和知識蒸餾，將其作為擴散模型反向去噪過程的一部分。用Transformer來捕捉時間序列之間的特征依賴和時間依賴關(guān)系。用知識蒸餾來指導(dǎo)去噪過程，將學生模型的去噪函數(shù)作為擴散模型的去噪函數(shù)，將學生模型和教師模型之間的預(yù)測噪聲的差作為知識蒸餾的損失函數(shù)，并且將知識蒸餾的損失函數(shù)作為總損失函數(shù)的正則化項。將模型用于醫(yī)療和空氣質(zhì)量數(shù)據(jù)集，并且和基線進行比較實驗，得到本文的模型插補的準確率大于基線的準確率。最后，討論了本文的優(yōu)勢和不足之處，并且提出了之后應(yīng)該如何改進。
圖2. 基于擴散模型和知識蒸餾的插補模型結(jié)構(gòu)圖
結(jié)論:
本文提出了一種擴散模型和知識蒸餾的時間序列插補的模型框架。該框架通過在擴散模型的反向過程中加入transformer，捕捉時間序列數(shù)據(jù)中的復(fù)雜依賴關(guān)系，提高模型的表現(xiàn)能力。通過引入條件信息，Transformer在去噪過程中能夠考慮更多的上下文信息，從而提高預(yù)測精度。通過學習教師模型的預(yù)測，學生模型能夠更快地收斂并獲得更高的預(yù)測精度。此外，我們在醫(yī)療和空氣質(zhì)量數(shù)據(jù)上做了對比實驗。結(jié)果表明，本文提出的框架更能準確的填補時間序列的缺失值，插補準確性更強。我們的研究仍有改進的余地。目前的研究僅僅在擴散模型反向過程中加入了最簡單的知識蒸餾方法，未來的工作可以嘗試更為復(fù)雜的知識蒸餾，并將其應(yīng)用在擴散模型的不同環(huán)節(jié)。
作者簡介:
劉建偉，教師，學者。