Aplicarea rețelelor neuronale recurente cu memorie pe termen lung și scurt pentru a prognoza viteza vântului

Abstract:

Prognoza vitezei vântului este una dintre cele mai importante și provocatoare probleme în predicția energiei eoliene pentru generarea de energie electrică. Memoria pe termen lung a fost folosită ca soluție pentru memoria pe termen scurt pentru a aborda problema dispariției sau exploziei informațiilor de gradient în timpul procesului de antrenament experimentat de rețeaua neuronală recurentă (RNN) atunci când este utilizată pentru studiul seriilor de timp.

Memoria pe termen lung este inseparabilă de memorie. Memoria este un proces destul de complex care implică toate aspectele creierului uman, inclusiv senzația, percepția, cunoașterea, implementarea, reacția etc. Scopul nostru este de a stoca informațiile pe care le primim în memoria pe termen lung pentru o utilizare ulterioară.

Modelul de memorie pe termen lung (LTM) este important în acest proces. LTM se referă la capacitatea noastră de a stoca informații care au fost procesate. Adică, LTM ne ajută să stocăm informații din memoria pe termen scurt în creier. Iar pentru memorie, stocarea pe termen lung este scopul final.

În viața noastră, mulți factori care produc memoria pe termen lung sunt legați de experiența și activitățile personale. De exemplu, expunerea la o situație pentru un timp suficient de lung, ascultarea unei prelegeri sau îmbunătățirea abilităților de memorie pot crește memoria.

Modelul memoriei pe termen scurt poate fi explicat simplu după cum urmează: Când învățăm pentru prima dată o informație, o putem stoca în memoria pe termen scurt. Aceste informații vor fi stocate pentru un anumit timp, dar vor dispărea rapid. Cu toate acestea, dacă ne gândim profund la aceste informații sau le conectăm cu experiențele anterioare, acestea vor fi transferate în memoria pe termen lung.

Prin urmare, cheia îmbunătățirii memoriei noastre pe termen lung este să ne menținem creierul activ, gândirea pozitivă și creativă. Ne putem exercita creierul citind cărți, jucând jocuri interactive, explorând lucruri noi și scriind jurnale. În special, combinarea strânsă a învățării și a explorării poate întări mai bine memoria.

Pe scurt, impactul modelului de memorie pe termen lung și pe termen scurt asupra memoriei este crucial. În viață și în studiu, trebuie să fim atenți și să exersăm memoria. Prin gândire activă și exerciții fizice, ne putem îmbunătăți continuu capacitatea de memorie pe termen lung și putem învăța noi cunoștințe mai ușor și mai eficient. Se poate observa că trebuie să ne îmbunătățim memoria. Cistanche poate îmbunătăți semnificativ memoria deoarece poate regla și echilibrul neurotransmițătorilor, cum ar fi creșterea nivelurilor de acetilcolină și a factorilor de creștere, care sunt foarte importanți pentru memorie și învățare. În plus, Cistanche poate, de asemenea, să îmbunătățească fluxul sanguin și să promoveze livrarea de oxigen, ceea ce poate asigura că creierul obține suficientă nutriție și energie, îmbunătățind astfel vitalitatea și rezistența creierului.

Faceți clic pe cunoașteți suplimentele pentru a îmbunătăți memoria

În acest studiu, această problemă este abordată prin propunerea unui model de predicție bazat pe memoria pe termen lung și o rețea neuronală profundă dezvoltată pentru a prognoza valorile vitezei vântului ale mai multor pași de timp în viitor.

Baza de date meteo din Halifax, Canada a fost folosită ca sursă pentru două serii de viteze ale vântului pe oră. Două sezoane diferite, primăvara (martie 2015) și vara (iulie 2015) au fost utilizate pentru instruirea și testarea modelului de prognoză. Rezultatele au arătat că utilizarea modelului propus poate îmbunătăți în mod eficient acuratețea predicției vitezei vântului.

Cuvinte cheie: prognoză; memorie pe termen lung; serii temporale multiple; RNN; viteza vantului.

1. Introducere

Prognoza vitezei vântului este o provocare foarte dificilă în comparație cu alte variabile ale atmosferei, iar acest lucru se datorează naturii lor haotice și intermitente, care provoacă dificultăți în integrarea energiei eoliene în rețea.

Deoarece viteza vântului este una dintre cele mai dezvoltate și mai ieftine surse de energie verde, prognoza sa exactă pe termen scurt a devenit o problemă importantă și are un impact decisiv asupra rețelei electrice. Au fost aplicate atât metode dinamice, cât și statistice, precum și unele metode hibride care cuplează cele două metode, pentru a prognoza viteza vântului pe termen scurt.

Rularea modelelor numerice de predicție a vremii (NWP) de înaltă rezoluție necesită înțelegerea multor principii de bază care le susțin, inclusiv asimilarea datelor, cunoștințe despre cum să estimați modelul NWP în spațiu și timp și cum să efectuați validarea și verificarea prognozelor. Acest lucru poate fi costisitor din punct de vedere al timpului de calcul.

Metodele și tehnicile fiabile de prognoză a vitezei vântului devin din ce în ce mai importante pentru caracterizarea și prezicerea resurselor eoliene [1]. Scopul principal al oricărei prognoze este de a construi, identifica, regla și valida modele de serie cronologică.

Prognoza serii temporale este una dintre cele mai importante probleme aplicate ale învățării automate și ale inteligenței artificiale în general, deoarece îmbunătățirea metodelor de prognoză va face posibilă prezicerea cu mai multă acuratețe a comportamentului diferiților factori din zonele indiferente. În mod tradițional, astfel de modele se bazează pe metodele de analiză statistică și modelare matematică dezvoltate în anii 1960 și 1970 [2].

Modelul ARIMA a fost utilizat pentru a prognoza viteza vântului folosind măsuri comune ale raportului de eroare pentru precizia predicției modelului [3]. Recent, învățarea profundă în comunitatea de învățare automată a câștigat o popularitate semnificativă, deoarece este considerată un cadru general care facilitează formarea rețelelor neuronale profunde cu multe straturi ascunse [4].

Disponibilitatea unor seturi mari de date, combinată cu îmbunătățirea algoritmilor și creșterea exponențială a puterii de calcul a dus la o creștere fără egal a interesului pentru tema învățării automate.

Aceste metode folosesc doar date istorice pentru a afla dependențele aleatorii dintre trecut și viitor. Printre aceste metode, rețelele neuronale recurente (RNN-uri) care sunt concepute pentru a învăța o secvență de date prin parcurgerea unei stări ascunse de la un pas al secvenței la următorul, combinate cu intrarea și dirijarea acesteia înainte și înapoi între intrări [5] .

Rețeaua neuronală recurentă bazată pe memorie pe termen lung (LSTM-RNN) a fost utilizată pentru a prognoza energia eoliană cu 1 până la 24 de ore înainte [6]. S-a făcut o comparație între LSTM, mașină de învățare extremă (ELM) și SVM. Rezultatele au arătat că abordările de învățare profundă sunt mai eficiente decât metodele tradiționale de învățare automată în îmbunătățirea preciziei predicției prin structura rețelei neuronale a buclei direcționale și o unitate specială ascunsă [7]. Studiile au sugerat că cuplarea modelelor NWP și a rețelelor neuronale artificiale ar putea fi benefică și poate oferi o precizie mai bună în comparație cu metodele convenționale de reducere a modelului NWP [8].

Metoda numerică de predicție a vremii (NWP) este una dintre cele mai utilizate metode și este potrivită pentru prognoza pe termen lung și nu pe termen scurt și mediu, datorită cantității mari de calcule [9]. A existat o analiză a acurateței prognozei vitezei vântului a modelelor de rețele neuronale recurente, iar acestea au prezentat rezultate mai bune în comparație cu modelele ARIMA univariate și multivariate [10].

Au fost dezvoltate modele autoregresive liniare și neliniare cu și fără variabile externe pentru a prognoza viteza vântului pe termen scurt. Trei metrici de performanță, MAE, RMSE și MAPE au fost utilizate pentru a măsura acuratețea modelelor [11].

Metoda LSTM a fost utilizată pentru a prognoza viteza vântului, iar rezultatele au fost comparate cu rețelele neuronale artificiale tradiționale și cu modelele medii mobile integrate autoregresive, metoda propusă a dovedit rezultate mai bune [12]. Modelul de memorie pe termen lung (LSTM) a fost realizat pentru prognoza pe termen scurt a vitezei vântului spațio-temporal pentru cinci locații folosind date de doi ani pentru viteza vântului istoric și regresie automată.

Modelul și-a propus să îmbunătățească acuratețea prognozei pe un orizont de timp mai scurt. De exemplu, utilizarea LSTM timp de două sau trei ore poate prognoza orizonturi care se extind până la cincisprezece zile folosind un model NWP care se actualizează de obicei cu o frecvență de șase ore [13]. Viteza de antrenament a RNN-urilor pentru prezicerea seriilor de timp multivariate este de obicei relativ lentă, mai ales atunci când este utilizat cu o adâncime mare de rețea.

Recent, o varietate de RNN numită memorie pe termen lung (LSTM) a fost favorizată datorită performanței sale superioare în timpul fazei de antrenament prin rezolvarea mai bună a problemelor de gradient de dispariție și explozie ale arhitecturii RNN standard [14,15].

Modelele de memorie pe termen lung (LSTM) și de rețele convoluționale temporale (TCN) au fost propuse pentru prognoza meteo ușoară bazată pe date, iar performanța lor a fost comparată cu abordările clasice de învățare automată (regresie standard (SR), regresie vectorială suport (SVR), pădure aleatoare ( RF)), abordări statistice de învățare automată (Media mobilă integrată autoregresivă (ARIMA), regresie automată vectorială (VAR) și model de corectare a erorilor vectoriale (VECM)), și metoda ansamblului dinamic (Arbitrajul expertului în prognoză (AFE)).

Rezultatele modelului propus demonstrează capacitatea acestuia de a prezice vremea eficientă și precisă [16]. În ciuda dezvoltării continue a cercetării asupra algoritmului LSTM în predicția pe termen lung a vitezei vântului, algoritmul tradițional RNN pentru predicție este încă preferat în majoritatea cercetărilor.

În această lucrare, s-a pus accent pe aplicarea LSTMalgorithm în domeniul prognozării vitezei vântului și a fost utilizată o comparație între eficiența predicției și acuratețea algoritmului în diferite serii de timp ale vitezei vântului pentru antrenament și testare.

2. Metodologie și sursa datelor

2.1. Surse de date

În acest studiu, modelul propus a fost implementat doar pentru prognoza pe termen scurt a vitezei vântului, pentru a evita timpul de calcul mare al efectuării unei reduceri dinamice prin utilizarea modelelor NWP, cum ar fi Modelul de cercetare și prognoză meteorologică (WRF). Date privind viteza vântului de la stația Halifax Dockyard din Nova Scotia, care este situată la latitudinea 44,66◦ N, Longitudine 63,58◦ V.

Viteza vântului a fost măsurată la o înălțime de 3,80 m și a fost folosită ca sursă pentru două anotimpuri diferite, primăvara (martie 2015) și vara (iulie 2015), așa cum se arată în Figura 1.

Pentru ambele sezoane, datele înregistrate la fiecare oră, (576 citiri/24 zile) ca observații și respectiv (168 citiri/7 zile), ca grupuri de antrenament și de testare. Implementarea LSTM propusă se potrivește bine cu setul de date din seria temporală, care poate îmbunătăți acuratețea convergenței procesului de formare.

2.2. Rețele neuronale recurente

Rețelele neuronale recurente (RNN) sunt rețele neuronale de date secvențiale al căror scop este de a prezice următorul pas dintr-o succesiune de observații în raport cu pașii anteriori din aceeași secvență.

RNN-urile conțin straturi ascunse distribuite în timp, ceea ce le permite să stocheze informațiile obținute în etapele anterioare de citire a datelor seriale. Viteza vântului depinde de termen scurt și lung.

Modelul RNN simplu nu poate gestiona dependențele pe termen lung. O problemă care apare din desfășurarea unui RNN este că gradientul unora dintre greutăți începe să devină prea mic sau prea mare dacă rețeaua este desfășurată pentru prea mulți pași de timp.

Acest fenomen se numește problema gradientului de dispariție și poate stoca memoria de scurtă durată doar pentru că include doar funcțiile de activare a stratului ascuns al pasului de timp anterior și acest lucru determină pierderea de informații pe termen lung [17,18].

Un tip de arhitectură de rețea care rezolvă această problemă este LSTM. Într-o implementare tipică, stratul ascuns este înlocuit cu un bloc complex de unități de calcul compus din porți care captează eroarea în bloc, formând așa-numitul „carusel de eroare” [5]. Figura 2 arată structura RNN în care ieșirea stratului ascuns anterior este introdusă în stratul ascuns curent. Modelul RNN este exprimat prin

2.2. Rețele neuronale recurente

Rețelele neuronale recurente (RNN) sunt rețele neuronale de date secvențiale al căror scop este de a prezice următorul pas dintr-o succesiune de observații în raport cu pașii anteriori din aceeași secvență. RNN-urile conțin straturi ascunse distribuite în timp, ceea ce le permite să stocheze informațiile obținute în etapele anterioare de citire a datelor seriale. Viteza vântului depinde de termen scurt și lung.

Modelul RNN simplu nu poate gestiona dependențele pe termen lung. O problemă care apare din desfășurarea unui RNN este că gradientul unora dintre greutăți începe să devină prea mic sau prea mare dacă rețeaua este desfășurată pentru prea mulți pași de timp. Acest fenomen se numește problema gradientului de dispariție și poate stoca memoria de scurtă durată doar pentru că include doar funcțiile de activare a stratului ascuns al pasului de timp anterior și acest lucru determină pierderea de informații pe termen lung [17,18].

Un tip de arhitectură de rețea care rezolvă această problemă este LSTM. Într-o implementare tipică, stratul ascuns este înlocuit cu un bloc complex de unități de calcul compus din porți care captează eroarea în bloc, formând așa-numitul „carusel de eroare” [5]. Figura 2 arată structura RNN în care ieșirea stratului ascuns anterior este introdusă în stratul ascuns curent.

Modelul RNN este exprimat prin locul în care este intrarea, este valoarea de stare a stratului ascuns, este evaluat la stratul de ieșire în timpul t, de ce este greutatea din stratul de intrare, de ce este ponderea pentru ieșirea întârziată la momentul t − 1, tanh este tangenta hiperbolică ca funcție de activare la stratul ascuns, iar σ este funcția sigmoidă ca funcție de activare la stratul de ieșire.

2.3. Memoria pe termen lung pe termen scurt

Rețelele de memorie pe termen lung sunt un tip de rețea neuronală recurentă (RNN) concepută pentru a evita problema dependenței pe termen lung, în care fiecare neuron conține o celulă de memorie capabilă să stocheze informațiile anterioare utilizate de RNN sau să le uite dacă este necesar [19] . În prezent, este utilizat pe scară largă cu succes în problemele de predicție a seriilor temporale.

LSTM-RNN a fost proiectat dintr-o celulă de memorie care stochează dependențe pe termen lung. Pe lângă celula de memorie, celula LSTM conține o poartă de intrare, o poartă de ieșire și o poartă uitare.

Fiecare poartă din celulă primește intrarea curentă tx, starea ascunsă ht-1 în momentul anterior și informația de stare Ct-1 a memoriei interne a celulei pentru a efectua diverse operații și a determina dacă să se activeze folosind o funcție logică. Starea ht a unității, ieșirea la momentul t și starea ascunsă de intrare la momentul t1 sunt determinate prin activarea neliniară a tanh ( ) și informațiile porții de ieșire.

3. Rezultate și discuții

În acest studiu, software-ul MATLAB (R2019b) a fost utilizat pentru procesul de antrenament al LSTM, care este o arhitectură avansată pentru RNN pentru a prezice valorile pașilor de timp viitori ai unei secvențe. Rețeaua de regresie a secvenței a fost antrenată la secvența LSTM, unde răspunsurile sunt secvențe de antrenament cu valori care se schimbă într-un singur pas de timp.

Adică, pentru fiecare pas de timp al secvenței de intrare, rețeaua LSTM învață să prezică valoarea pasului de timp următor. În această lucrare, pentru a evalua eficacitatea și aplicabilitatea modelului propus în mod cuprinzător și sistematic, au fost selectate două serii de date pentru viteza vântului pentru două anotimpuri diferite datorită caracteristicilor climatice diferite, care sunt, respectiv, primăvara (martie 2015) și vara (iulie 2015). ).

Fiecare serie de date a fost împărțită în 1-576 (24 de zile) ca observații și, respectiv, 577-744 (7 zile), ca grupuri de antrenament și de testare. Datele de antrenament au fost standardizate pentru a avea medie zero și varianță unitară la timpul de predicție pentru a preveni divergența antrenamentului. Cel mai bun parametru de antrenament pentru a obține cel mai mic RMSE este găsit utilizând o rată inițială de învățare de 0,005.

Figurile 4 și 5 arată comparația valorilor observate cu valorile prezise ale seriei orare de viteză a vântului colectate în primăvară (1-31 martie 2015) și, respectiv, vara (1-31 iulie 2015), pentru evaluarea LSTM, care a fost antrenat o singură dată ( valoarea predicției anterioare) și reutilizat pentru a prezice fiecare pas de timp dintre predicții, care este reprezentat de ecuațiile (2)–(4). Aceasta înseamnă că nu se fac actualizări odată ce modelul se potrivește pentru prima dată cu datele de antrenament, iar modelul în acest caz se numește model fix, deoarece există date noi.

Opțiunile de instruire pentru rețea LSTM au fost selectate pentru 200 module ascunse. Rata inițială de învățare este 0,005, iar numărul maxim de iterații este fixat la 250. Pragul de gradient este setat la 1 pentru a preveni explozia gradienților. Rata de învățare este scăzută după 125 de epoci prin înmulțirea cu un factor de 0,2. În ambele figuri 6 și 7, LSTM a fost actualizat cu date noi pentru prognoza seriei de timp, folosind valorile prezise și valorile de stare actualizate din setul de testare și puse la dispoziție pentru modelul pentru prognoza pentru următorul pas de timp În special, LSTM-ul modificat a adoptat Ct−1 la porțile de intrare, uitare și ieșire.

Acest lucru se datorează faptului că de fiecare dată când LSTM continuă, Ct−1 afectează intrarea, uitarea și ieșirea LSTM. Toate predicțiile sunt colectate în setul de date de testare și se calculează un scor de eroare pentru a rezuma abilitățile modelului. Eroarea pătratică medie (RMSE) este utilizată deoarece penalizează erorile mari și are ca rezultat un scor în aceleași unități ca și datele prognozate, care este viteza vântului pe oră.

Aici, predicțiile sunt mai precise atunci când se actualizează starea rețelei cu valorile observate în loc de valorile prezise. Din rezultate, se observă că în ambele serii Primăvară (martie 2015) și Vară (iulie 2015) valoarea RMSE a scăzut cu 4,5845 și, respectiv, 4,9392, la utilizarea actualizării LSTM, iar acest lucru se datorează caracteristicilor diferite ale fiecăreia.

În această lucrare și pe baza diferitelor studii anterioare conform diferitelor modele, se observă că acuratețea modelelor de predicție diferă în funcție de diferitele caracteristici ale informațiilor și, prin urmare, până în prezent, nu a fost atins niciun model care să funcționeze cu aceeași acuratețe cu informații diferite. . Tabelul 1 prezintă erorile pentru cele două serii de date (iulie 2015) și (martie 2015) în modelul LSTM propus utilizând valorile de eroare RMSE.

4. Concluzii

Un model precis de prognoză a surselor de viteză a vântului este necesar pentru a oferi informații esențiale pentru a împuternici operatorii de rețea și proiectanții de sisteme în generarea unei centrale eoliene optime și pentru a echilibra cererea și oferta pe piața de energie.

În acest studiu, a fost propusă modificarea memoriei pe termen scurt pe termen lung (LSTM) pentru a prognoza viteza vântului. Deoarece valoarea reală a pașilor de timp dintre predicții poate fi accesată, viteza vântului este prezisă prin actualizarea stării rețelei în fiecare predicție folosind valoarea observată în loc de porți.

Acest lucru se datorează faptului că de fiecare dată când LSTM continuă, starea celulei afectează intrarea, uitarea și ieșirea LSTM. Rezultatele modelului au demonstrat o precizie îmbunătățită în prezicerea vitezei vântului.

Contribuții autor: Conceptualization, ME; metodologie, ME; software, ME; validare, ME; analiză formală, ME și AM; scriere-Pregătirea proiectului original, ME; scriere-Revizuire și editare, AM; supraveghere, AM; administrarea proiectului, AM Toți autorii au citit și au fost de acord cu versiunea publicată a manuscrisului.

Finanțare: Această cercetare a fost finanțată parțial de Ministerul Educației din Libia, numărul de grant 3772.

Declarația Comitetului de revizuire instituțională: Nu se aplică.

Declarație de consimțământ informat: Nu se aplică.

Declarație de disponibilitate a datelor: Nu se aplică.

Conflicte de interese: Autorii nu declară niciun conflict de interese.

Referințe

1. Monfared, M.; Rastegar, H.; Kojabadi, HM O nouă strategie de prognoză a vitezei vântului folosind metode inteligente artificiale. Renew.Energy 2009, 34, 845–848. [CrossRef]

2. Box, GE; Jenkins, GM; Reinsel, GC; Ljung, GM Time Series Analysis: Forecasting and Control, a 5-a ed.; John Wiley & Sons:Hoboken, NJ, SUA, 2015; p. 129–171.

3. Elsaraiti, M.; Merabet, A.; Al-Durra, A. Time Series Analysis and Forecasting of Wind Speed ​​Data. În Proceedings of the IEEEIndustry Applications Society Annual Meeting, Baltimore, MD, SUA, 29 septembrie–3 octombrie 2019; pp. 1–5.

4. Yadav, AP; Kumar, A.; Behera, L. Prognoza radiației solare bazată pe RNN folosind rata de învățare adaptivă. În Conferința Internațională despre calculul roiesc, evolutiv și memetic; Springer: Cham, Elveția, 2013; p. 442–452.

5. Hochreiter, S.; Schmidhuber, J. Memoria pe termen lung pe termen scurt. Calculator neuronal. 1997, 9, 1735–1780. [CrossRef] [PubMed]

6. Kumar, D.; Mathur, HD; Bhanot, S.; Bansal, RC Prognoza energiei solare și eoliene folosind LSTM RNN pentru controlul frecvenței de sarcină într-o microrețea izolată. Int. J. Model. Simul. 2020. [CrossRef]

7. Shi, X.; Lei, X.; Huang, Q.; Huang, S.; Ren, K.; Hu, Y. Predicția orară a energiei eoliene pentru ziua următoare folosind modelul hibrid de descompunere a modelului variațional și memoria pe termen lung. Energii 2018, 11, 3227. [CrossRef]

8. Rodrigues, ER; Oliveira, I.; Cunha, R.; Netto, M. DeepDownscale: O strategie de învățare profundă pentru prognoza meteo de înaltă rezoluție. În Proceedings of the 2018 IEEE 14th International Conference on e-Science (e-Science), Amsterdam, Țările de Jos, 29 octombrie–1 noiembrie 2018; IEEE: New York, NY, SUA, 2018; p. 415–422.

9. Chen, N.; Qian, Z.; Nabney, IT; Meng, X. Prognozele energiei eoliene folosind procese gaussiene și predicție numerică a vremii.IEEE Trans. Power Syst. 2013, 29, 656–665. [CrossRef]

10. Cao, Q.; Ewing, BT; Thompson, MA Prognoza vitezei vântului cu rețele neuronale recurente. EURO. J. Oper. Res. 2012, 221.148–154. [CrossRef]

11. Lydia, M.; Kumar, SS; Selvakumar, AI; Kumar, GE Modele autoregresive liniare și neliniare pentru prognozarea vitezei vântului pe termen scurt. Conversii de energie. Manag. 2016, 112, 115–124. [CrossRef]

12. Ghaderi, A.; Sanandaji, BM; Ghaderi, F. Deep Forecast: Deep Learning-Based Spatio-Temporal Forecasting; Universitatea Cornell: Ithaca, NY, SUA, 2017.

For more information:1950477648nn@gmail.com