最近很多人再問頂會點贊 達摩院提出時序預測新模型 有效提升預測精準度，今天小編給大家整理了頂會點贊 達摩院提出時序預測新模型 有效提升預測精準度的相關內容，請往下看。

作者：周天(舟恬) 達摩院決策智能實驗室

時間序列預測在能源、氣象等眾多領域都有著廣泛應用，達摩院提出了基于頻域分解的FEDformer模型，大幅提高了預測精度和模型運行效率，本文將為大家介紹達摩院在時間序列預測方向的最新進展。

給定一段時期的歷史數據，AI要如何準確預測天氣變化、電網負荷需求、交通擁堵狀況？這其實是個時序預測問題，通俗理解就是利用歷史數據預測未來信息。預測可分為短期、中期和長期預測，需要預測的時間窗口越長，預測難度就越大。這項技術在氣象、電力、零售、交通等諸多行業有廣泛應用。

傳統的時序預測模型一般采用LSTM、CNN等方法，精準度和使用場景都較為有限，無力處理大規模數據。近些年來，研究人員開始將transformer模型引入長時序預測，但效果仍不夠理想，簡單地說該模型核心中的注意力機制模塊對時序數據不夠敏感。

達摩院近期提出一種長時序預測的新模型FEDformer，精準度比業界最優方法提升14.8%以上，值得一提的是，該模型已走出實驗室，在區域電網完成概念驗證，明顯提升電網負荷預測準確率。

相關論文已被機器學習頂會ICML2022收錄，本文將介紹阿里巴巴達摩院決策智能實驗室時間序列預測方向的最新（ICML 2022 accepted）工作，相關論文及代碼可至文末查看。

一、引言

時間序列預測在眾多領域中（例如電力、能源、天氣、交通等）都有廣泛的應用。時間序列預測問題極具挑戰性，尤其是長程時間序列預測（long-term series forecasting）。在長程時間序列預測中，需要根據現有的數據對未來做出較長時段的預測。在部分場景中，模型輸出的長度可以達到1000以上，覆蓋若干周期。該問題對預測模型的精度和計算效率均有較高的要求。且時間序列往往會受到分布偏移和噪音的影響，使得預測難度大大增加。

針對時間序列問題，傳統的RNN、LSTM等Recurrent模型，在訓練時容易受到梯度消失和爆炸的影響，尤其是面對更加長程的序列時。且這類Recurrent的模型無法并行計算，限制了其在大規模問題上的應用。

基于Transformer的時間序列預測，通過Attention機制捕捉point-wise的關系，能夠在時序預測中取得較好效果，但仍存在較大不足。Informer、Autoformer等文章對傳統Attention機制進行了改進，在提高計算效率的同時能夠取得較好的效果。傳統Transformer為平方復雜度，Autoformer (NeurIPS'21)、Informer (AAAI'21 Best paper)、Reformer (ICLR'2020) 等模型能夠達到log-線性復雜度，而本文作者所提出的FEDformer因使用了 low-rank approximation 而可以達到線性復雜度，并在精度上大幅超越SOTA（state-of-the-art）結果。

二、分析

Transformer在CV、NLP等領域取得了很好的效果，但在時間序列預測問題上，情況會更復雜。例如在圖片分類問題中，訓練集和測試集的圖片基本采樣自相同的分布，然而在時間序列預測問題中，序列的分布可能隨時間軸的推進不斷變化，這就需要模型具備更強的外推能力。如下圖所示，因為模型輸入（input）和真實值（true）的分布差異較大，導致模型的預測值（predict）不準確。（分布差異的大小可以通過Kologrov-Smirnov test來檢驗）。

為了解決這個問題，作者提出了兩種思路：

通過周期趨勢項分解（seasonal-trend decomposition）降低輸入輸出的分布差異；提出了一種在頻域應用注意力機制的模型結構，以增加對噪聲的魯棒性。三、FEDformer

FEDformer的主體結構（backbone）采用編碼-解碼器結構，內部包括四種子模塊：頻域學習模塊（Frequency Enhanced Block）、頻域注意力模塊（Frequency Enhanced Attention）、周期-趨勢分解模塊（MOE Decomp）、前向傳播模塊（Feed Forward）。

3.1 主體架構

FEDformer 的主體架構采用編碼-解碼器架構。周期-趨勢分解模塊（MOE Decomp）將序列分解為周期項（seasonal，S）和趨勢線（trend，T）。而且這種分解不只進行一次，而是采用反復分解的模式。

在編碼器中，輸入經過兩個 MOE Decomp 層，每層會將信號分解為 seasonal 和 trend 兩個分量。其中，trend 分量被舍棄，seasonal分量交給接下來的層進行學習，并最終傳給解碼器。

在解碼器中，編碼器的輸入同樣經過三個 MOE Decomp 層并分解為 seasonal 和 trend 分量，其中，seasonal 分量傳遞給接下來的層進行學習，其中通過頻域Attention（Frequency Enhanced Attention）層對編碼器和解碼器的 seasonal 項進行頻域關聯性學習，trend 分量則進行累加最終加回給 seasonal 項以還原原始序列。

3.2 頻域上的表征學習

傅立葉變換和逆傅立葉變換可以將信號在時域和頻域之間相互轉換。一般信號在頻域上具有稀疏性，也就是說，在頻域上只需保留很少的點，就能幾乎無損的還原出時域信號。保留的點越多，信息損失越少，反之亦然。

雖然無法直接理論證明在頻域上應用各種神經網絡結構能夠得到更強的表征能力。但在實驗中發現，引入頻域信息可以提高模型的效果，這個現象已經得到近期越來越多論文的證實。

FEDformer 中兩個最主要的結構單元的設計靈感正是來源于此。Frequency Enchanced Block（FEB）和 Frequency Enhanced Attention（FEA）具有相同的流程：頻域投影 -> 采樣 -> 學習 -> 頻域補全 -> 投影回時域：

首先將原始時域上的輸入序列投影到頻域。再在頻域上進行隨機采樣。這樣做的好處在于極大地降低了輸入向量的長度進而降低了計算復雜度，然而這種采樣對輸入的信息一定是有損的。但實驗證明，這種損失對最終的精度影響不大。因為一般信號在頻域上相對時域更加“稀疏”。且在高頻部分的大量信息是所謂“噪音”，這些“噪音”在時間序列預測問題上往往是可以舍棄的，因為“噪音”往往代表隨機產生的部分因而無法預測。相比之下，在圖像領域，高頻部分的“噪音”可能代表的是圖片細節反而不能忽略。在學習階段，FEB 采用一個全聯接層 R 作為可學習的參數。而 FEA 則將來自編碼器和解碼器的信號進行cross-attention操作，以達到將兩部分信號的內在關系進行學習的目的。頻域補全過程與第2步頻域采樣相對，為了使得信號能夠還原回原始的長度，需要對第2步采樣未被采到的頻率點補零。投影回時域，因為第4步的補全操作，投影回頻域的信號和之前的輸入信號維度完全一致。3.3 低秩近似（low-rank approximation）

傳統Transformer中采用的Attention機制是平方復雜度，而 Frequency Enhanced Attention（FEA）中采用的Attention是線性復雜度，這極大提高了計算效率。因為 FEA 在頻域上進行了采樣操作，也就是說：“無論多長的信號輸入，模型只需要在頻域保留極少的點，就可以恢復大部分的信息”。采樣后得到的小矩陣，是對原矩陣的低秩近似。作者對 低秩近似與信息損失的關系進行了研究，并通過理論證明，在頻域隨機采樣的低秩近似法造成的信息損失不會超過一個明確的上界。證明過程較為復雜，有興趣的讀者請參考論文原文。

3.4 傅立葉基和小波基

以上篇幅均基于傅立葉變換進行介紹，同理，小波變換也具有相似的性質，因而可以作為FEDformer的一個變種。傅立葉基具有全局性而小波基具有局部性。作者通過實驗證明，小波版的FEDformer可以在更復雜的數據集上得到更優的效果，但小波版的FEDformer運行時間也會更長。

四、實驗4.1 Benchmark實驗

作者在6個數據集上進行了模型效果實驗，實驗數據集包括電力，經濟，交通，氣象，疾病五個領域，并選取了最新的Baseline模型，包括Autoformer (NeurIPS'21)、Informer (AAAI'21 Best paper)、LogTrans (NeurIPS'2019)、Reformer (ICLR 2020) 等進行對比。FEDformer在多維時間序列預測實驗中相比SOTA模型可以取得14.8%的提升（如下表） ，在一維時間序列預測實驗中相比SOTA模型可以取得22.6%的提升（詳情見論文）。

FEDformer具有較好的魯棒性，在重復多次進行實驗后，最終MSE指標在均值較小的同時也能做到方差較小。FEDformer模型中在FEB和FEA模塊中均具有隨機采樣的過程。也就是說不同隨機種子下得到的FEDformer模型所采樣得到的頻率是不同的，但這種隨機性并不會體現在最終效果上，也就是說并不會使模型的魯棒性有損。

4.2 基頻采樣實驗

作者通過實驗討論了，在FEB和FEA模塊中，在頻域采樣保留多少個點對最終效果的影響如何。

4.3 模型速度和內存的實驗

在不斷增加輸出長度的條件下，FEDformer因其線性復雜度而在運行速度和內存占用上增加很少，相比Transformer（平方復雜度）和 Autoformer/Infomer（log-線性復雜度）具有較大優勢。

五、總結

針對長時間序列預測問題，作者提出了基于頻域分解的FEDformer模型。大幅提高了預測精度和模型運行效率。

作者提出了一種基于傅立葉/小波變換的模塊，通過在頻域進行固定數量的隨機采樣，使得模型達到線性復雜度同時提高精度。

作者通過實驗證明，在涵蓋電力，交通，經濟，氣象，疾病五個領域的6個標準數據集上，FEDformer可以在多維/一維時間序列預測問題上分別取得14.8%和22.6%的提升（相比NeurIPS'21的SOTA模型Autoformer），并具有良好的魯棒性。

特別指出的是，我們的方法初步證明了在深度學習網絡中利用時序頻域信息的有效性。未來，我們將繼續探索如何更好的利用時間序列的頻域信息來構建網絡，在時序預測、異常檢測中取得更好的效果。

延伸閱讀：達摩院時序智能方向近期相關工作

論文鏈接：https://arxiv.org/abs/2201.12740

代碼鏈接：https://github.com/DAMO-DI-ML/ICML2022-FEDformer

[1] [Survey] Qingsong Wen, Tian Zhou, Chaoli Zhang, Weiqi Chen, Ziqing Ma, Junchi Yan, Liang Sun, "Transformers in Time Series: A Survey," arXiv preprint arXiv:2202.07125 (2022).

https://github.com/qingsongedu/time-series-transformers-review

[2] [Quatformer] Weiqi Chen, Wenwei Wang, Bingqing Peng, Qingsong Wen, Tian Zhou, Liang Sun, "Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting", in Proc. 28th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD'22), Washington DC, Aug. 2022.

[3] [KDD'22 Tutorial] Qingsong Wen, Linxiao Yang, Tian Zhou, Liang Sun, "Robust Time Series Analysis and Applications: An Industrial Perspective," in the 28th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD'22), Washington DC, USA, Aug. 14-18, 2022.

https://qingsongedu.github.io/timeseries-tutorial-kdd-2022/

[4] [IJCAI'22 Tutorial] Qingsong Wen, Linxiao Yang, Tian Zhou, Liang Sun, "Robust Time Series Analysis: from Theory to Applications in the AI Era," in the 31st International Joint Conference on Artificial Intelligence (IJCAI 2022), Vienna, Austria, Jul. 23-29, 2022.

https://sites.google.com/view/timeseries-tutorial-ijcai-2022