Primjena rekurentnih neuronskih mreža dugotrajne memorije za predviđanje brzine vjetra

sažetak:

Predviđanje brzine vjetra jedan je od najvažnijih i najizazovnijih problema u predviđanju snage vjetra za proizvodnju električne energije. Dugotrajno pamćenje je korišteno kao rješenje za kratkoročno pamćenje za rješavanje problema nestanka ili eksplozije gradijentnih informacija tokom procesa obuke koje doživljava rekurentna neuronska mreža (RNN) kada se koristi za proučavanje vremenskih serija.

Dugotrajno pamćenje je neodvojivo od pamćenja. Memorija je prilično složen proces koji uključuje sve aspekte ljudskog mozga, uključujući osjet, percepciju, kogniciju, implementaciju, reakciju, itd. Naš cilj je da informacije koje dobijemo pohranimo u dugotrajnu memoriju za kasniju upotrebu.

Model dugotrajne kratkoročne memorije (LTM) je važan u ovom procesu. LTM se odnosi na našu sposobnost pohranjivanja informacija koje su obrađene. Odnosno, LTM nam pomaže da pohranimo informacije iz kratkoročne memorije u mozak. A za pamćenje, dugoročno skladištenje je krajnji cilj.

U našim životima, mnogi faktori koji proizvode dugotrajno pamćenje povezani su s ličnim iskustvom i aktivnostima. Na primjer, izlaganje situaciji dovoljno dugo, slušanje predavanja ili poboljšanje vještina pamćenja mogu povećati pamćenje.

Model dugotrajnog pamćenja može se jednostavno objasniti na sljedeći način: Kada prvi put naučimo neku informaciju, možemo je pohraniti u kratkoročnu memoriju. Ove informacije će biti pohranjene određeno vrijeme, ali će brzo nestati. Međutim, ako duboko razmislimo o ovoj informaciji ili je povežemo s prethodnim iskustvima, ona će se prenijeti u dugoročnu memoriju.

Stoga je ključ za poboljšanje našeg dugoročnog pamćenja održavanje mozga aktivnim, pozitivnim i kreativnim razmišljanjem. Možemo vježbati svoj mozak čitanjem knjiga, igranjem interaktivnih igrica, istraživanjem novih stvari i pisanjem dnevnika. Konkretno, blisko kombiniranje učenja i istraživanja može bolje ojačati pamćenje.

Ukratko, uticaj modela dugoročnog i kratkoročnog pamćenja na pamćenje je presudan. U životu i učenju trebamo obratiti pažnju i vježbati pamćenje. Aktivnim razmišljanjem i vježbanjem možemo kontinuirano poboljšavati svoju sposobnost dugotrajnog pamćenja i lakše i učinkovitije naučiti nova znanja. Vidi se da moramo poboljšati svoje pamćenje. Cistanche može značajno poboljšati pamćenje jer može regulisati i ravnotežu neurotransmitera, kao što je povećanje nivoa acetilholina i faktora rasta, koji su veoma važni za pamćenje i učenje. Osim toga, Cistanche također može poboljšati protok krvi i promovirati isporuku kisika, što može osigurati da mozak dobije dovoljnu ishranu i energiju, čime se poboljšava vitalnost i izdržljivost mozga.

Kliknite znati suplemente za poboljšanje pamćenja

U ovoj studiji, ovaj problem je obrađen predlaganjem modela predviđanja zasnovanog na dugotrajnoj memoriji i dubokoj neuronskoj mreži razvijenoj za predviđanje vrijednosti brzine vjetra za više vremenskih koraka u budućnosti.

Baza podataka o vremenu u Halifaxu u Kanadi korištena je kao izvor za dvije serije brzina vjetra na sat. Za obuku i testiranje modela prognoze korištene su dvije različite sezone proljeće (mart 2015.) i ljeto (juli 2015.). Rezultati su pokazali da korištenje predloženog modela može efikasno poboljšati tačnost predviđanja brzine vjetra.

Ključne riječi: prognoziranje; kratkoročno pamćenje; višestruke vremenske serije; RNN; brzina vjetra.

1. Uvod

Predviđanje brzine vjetra je vrlo težak izazov u poređenju s drugim varijablama atmosfere, a to je zbog njihove haotične i isprekidane prirode koja uzrokuje poteškoće u integraciji energije vjetra u mrežu.

Kako je brzina vjetra jedan od najrazvijenijih i najjeftinijih izvora zelene energije, njegovo precizno predviđanje u kratkom roku postalo je važna stvar i ima odlučujući utjecaj na električnu mrežu. Za prognozu kratkoročne brzine vjetra primijenjene su i dinamičke i statističke metode, kao i neke hibridne metode koje spajaju te dvije metode.

Pokretanje modela numeričkog predviđanja vremena visoke rezolucije (NWP) zahtijeva razumijevanje mnogih osnovnih principa koji ih podržavaju, uključujući asimilaciju podataka, znanje o tome kako procijeniti model NWP u prostoru i vremenu i kako izvršiti validaciju i verifikaciju prognoza. Ovo može biti skupo u smislu vremena za računanje.

Pouzdane metode i tehnike za predviđanje brzine vjetra postaju sve važnije za karakterizaciju i predviđanje resursa vjetra [1]. Glavna svrha bilo kojeg predviđanja je izgradnja, identificiranje, podešavanje i validacija modela vremenskih serija.

Predviđanje vremenskih serija jedan je od najvažnijih primijenjenih problema mašinskog učenja i umjetne inteligencije općenito, budući da će unapređenje metoda predviđanja omogućiti preciznije predviđanje ponašanja različitih faktora u indiferentnim područjima. Tradicionalno, takvi modeli se zasnivaju na metodama statističke analize i matematičkog modeliranja razvijenim 1960-ih i 1970-ih godina [2].

ARIMA model je korišten za predviđanje brzine vjetra korištenjem uobičajenih mjera omjera grešaka za točnost predviđanja modela [3]. Nedavno je duboko učenje u zajednici mašinskog učenja steklo značajnu popularnost jer se smatra opštim okvirom koji olakšava obuku dubokih neuronskih mreža sa mnogo skrivenih slojeva [4].

Dostupnost velikih skupova podataka u kombinaciji sa poboljšanjem algoritama i eksponencijalnim rastom računarske snage dovela je do neuporedivog porasta interesovanja za temu mašinskog učenja.

Ove metode koriste samo istorijske podatke da bi naučile nasumične zavisnosti između prošlosti i budućnosti. Među ovim metodama, rekurentne neuronske mreže (RNN) koje su dizajnirane da nauče niz podataka prelazeći skriveno stanje od jednog koraka niza do drugog, u kombinaciji s ulazom, i usmjeravajući ga naprijed-nazad između ulaza [5] .

Rekurentna neuronska mreža zasnovana na dugotrajnoj memoriji (LSTM-RNN) korišćena je za predviđanje snage vetra od 1 do 24 sata [6]. Napravljeno je poređenje između LSTM, mašine za ekstremno učenje (ELM) i SVM-a. Rezultati su pokazali da su pristupi dubokog učenja efikasniji od tradicionalnih metoda mašinskog učenja u poboljšanju tačnosti predviđanja kroz strukturu neuronske mreže usmjerene petlje i posebnu skrivenu jedinicu [7]. Studije su sugerirale da bi spajanje NWP modela i umjetnih neuronskih mreža moglo biti korisno i pružiti bolju preciznost u poređenju sa konvencionalnim metodama smanjenja veličine NWP modela [8].

Metoda numeričke prognoze vremena (NWP) je jedna od najčešće korištenih metoda i pogodna je za dugoročne, a ne za kratkoročne i srednjoročne prognoze zbog velike količine proračuna [9]. Urađena je analiza točnosti predviđanja brzine vjetra kod modela rekurentnih neuronskih mreža i oni su dali bolje rezultate u odnosu na univarijantne i multivarijantne ARIMA modele [10].

Za predviđanje kratkoročne brzine vjetra razvijeni su linearni i nelinearni autoregresivni modeli sa i bez vanjskih varijabli. Za mjerenje točnosti modela korištene su tri metrike performansi, MAE, RMSE iMAPE [11].

Za prognozu brzine vjetra korištena je LSTM metoda, a rezultati su upoređeni sa tradicionalnom umjetnom neuronskom mrežom i autoregresivno integriranim modelima pokretnih prosjeka, predložena metoda se pokazala boljim [12]. Model dugoročne memorije (LSTM) je urađen za kratkoročnu prostorno-vremensku prognozu brzine vjetra za pet lokacija koristeći dvogodišnje podatke za historijsku brzinu vjetra i auto-regresiju.

Model je imao za cilj da poboljša tačnost predviđanja na kraćem vremenskom horizontu. Na primjer, korištenjem LSTM-a za dva ili tri sata mogu se predvidjeti horizonti koji se protežu i do petnaest dana koristeći NWP model koji se obično ažurira sa frekvencijom od šest sati [13]. Brzina obuke RNN-a za predviđanje multivarijatnih vremenskih serija obično je relativno spora, posebno kada se koristi sa velikom dubinom mreže.

Odnedavno se favorizuje raznovrsnost RNN-a nazvana dugotrajna memorija (LSTM) zbog svojih superiornih performansi tokom faze obuke kroz bolje rešavanje problema nestajanja i eksplodiranja gradijenta standardne arhitekture RNN-a [14,15].

Modeli dugotrajne kratkoročne memorije (LSTM) i vremenskih konvolucionih mreža (TCN) predloženi su za prognoziranje laganih vremenskih prilika vođeno podacima, a njihov učinak je upoređen sa klasičnim pristupima mašinskog učenja (standardna regresija (SR), regresija vektora podrške (SVR), slučajna šuma ( RF)), statistički pristupi mašinskom učenju (Autoregresivni integrisani pokretni prosek (ARIMA), vektorska automatska regresija (VAR) i model vektorske korekcije grešaka (VECM)), i metoda dinamičkog ansambla (Arbitraža stručnjaka za predviđanje (AFE)).

Rezultati predloženog modela pokazuju njegovu sposobnost predviđanja efektivnog i preciznog vremena [16]. Uprkos kontinuiranom razvoju istraživanja LSTM algoritma u dugoročnom predviđanju brzine vjetra, tradicionalni RNN algoritam za predviđanje je i dalje poželjan u većini istraživanja.

U ovom radu akcenat je stavljen na primjenu LSTMalgoritma u području prognoze brzine vjetra, a za obuku i testiranje je korišteno poređenje između efikasnosti predviđanja i tačnosti algoritma pod različitim vremenskim serijama brzine vjetra.

2. Metodologija i izvor podataka

2.1. Izvori podataka

U ovoj studiji, predloženi model je implementiran samo za kratkoročno predviđanje brzine vjetra kako bi se izbjeglo veliko vrijeme računanja za dinamičko smanjivanje pomoću NWP modela kao što je model za istraživanje i prognozu vremena (WRF). Podaci o brzini vjetra sa stanice Halifax Dockyard u Novoj Škotskoj, koja se nalazi na geografskoj širini 44,66◦ S, geografskoj dužini 63,58◦ W.

Brzina vjetra je mjerena na visini od 3,80 m, a korišćena je kao izvor za dva različita godišnja doba, proljeće (mart 2015.) i ljeto (jul 2015.), prikazano na slici 1.

Za obe sezone, podaci zabeleženi na svaki sat, (576 čitanja/24 dana) kao posmatranja i (168 čitanja/7 dana), respektivno, kao grupe za obuku i testiranje. Predložena implementacija LSTM se dobro uklapa sa skupom podataka vremenske serije, koji može poboljšati tačnost konvergencije procesa obuke.

2.2. Rekurentne neuronske mreže

Rekurentne neuronske mreže (RNN) su neuronske mreže sekvencijalnih podataka čija je svrha predviđanje sljedećeg koraka u nizu opservacija u odnosu na prethodne korake u istom nizu.

RNN-ovi sadrže skrivene slojeve raspoređene kroz vrijeme, što im omogućava pohranjivanje informacija dobivenih u prethodnim fazama čitanja serijskih podataka. Brzina vjetra ovisi kratkoročno i dugoročno.

Jednostavan RNN model nije u stanju da se nosi sa dugoročnim zavisnostima. Jedan problem koji proizlazi iz razvijanja RNN-a je da gradijent nekih težina počinje da postaje premali ili prevelik ako se mreža odvija za previše vremenskih koraka.

Ovaj fenomen se naziva problem gradijenta nestajanja i može pohraniti kratkoročnu memoriju samo zato što uključuje funkcije aktiviranja samo skrivenog sloja prethodnog vremenskog koraka i to uzrokuje gubitak informacija na duži rok [17,18].

Vrsta mrežne arhitekture koja rješava ovaj problem je LSTM. U tipičnoj implementaciji, skriveni sloj je zamijenjen složenim blokom računarskih jedinica sastavljenim od kapija koje hvataju grešku u bloku, formirajući takozvani "vrtuljak grešaka" [5]. Slika 2 prikazuje RNN strukturu gdje je izlaz prethodno skrivenog sloja ulaz u trenutni skriveni sloj. RNN model je izražen sa

2.2. Rekurentne neuronske mreže

Rekurentne neuronske mreže (RNN) su neuronske mreže sekvencijalnih podataka čija je svrha predviđanje sljedećeg koraka u nizu opservacija u odnosu na prethodne korake u istom nizu. RNN-ovi sadrže skrivene slojeve raspoređene kroz vrijeme, što im omogućava pohranjivanje informacija dobivenih u prethodnim fazama čitanja serijskih podataka. Brzina vjetra ovisi kratkoročno i dugoročno.

Jednostavan RNN model nije u stanju da se nosi sa dugoročnim zavisnostima. Jedan problem koji proizlazi iz razvijanja RNN-a je da gradijent nekih težina počinje da postaje premali ili prevelik ako se mreža odvija za previše vremenskih koraka. Ovaj fenomen se naziva problem gradijenta nestajanja i može pohraniti kratkoročnu memoriju samo zato što uključuje funkcije aktiviranja samo skrivenog sloja prethodnog vremenskog koraka i to uzrokuje gubitak informacija na duži rok [17,18].

Vrsta mrežne arhitekture koja rješava ovaj problem je LSTM. U tipičnoj implementaciji, skriveni sloj je zamijenjen složenim blokom računarskih jedinica sastavljenim od kapija koje hvataju grešku u bloku, formirajući takozvani "vrtuljak grešaka" [5]. Slika 2 prikazuje RNN strukturu gdje je izlaz prethodno skrivenog sloja ulaz u trenutni skriveni sloj.

RNN model je izražen tako što je ulaz, hto je vrijednost stanja skrivenog sloja, vrednuje se na izlaznom sloju u trenutku t, zašto je težina ulaznog sloja, zašto je težina za odloženi izlaz u vrijeme t − 1, tanh je hiperbolički tangent kao aktivacijska funkcija na skrivenom sloju, a σ je sigmoidna funkcija kao aktivacijska funkcija na izlaznom sloju.

2.3. Dugotrajno pamćenje

Mreže dugotrajnog pamćenja su vrsta rekurentne neuronske mreže (RNN) dizajnirane da izbjegnu problem dugotrajne ovisnosti, gdje svaki neuron sadrži memorijsku ćeliju sposobnu pohraniti prethodne informacije koje koristi RNN ili ih zaboraviti ako je potrebno [19] . Trenutno se široko koristi s uspjehom u problemima predviđanja vremenskih serija.

LSTM-RNN je dizajniran od memorijske ćelije koja pohranjuje dugoročne ovisnosti. Pored memorijske ćelije, LSTM ćelija sadrži ulaznu kapiju, izlaznu kapiju i zaboravljanje.

Svaki gejt u ćeliji prima trenutni ulaz tx, skriveno stanje ht−1 u prethodnom trenutku i informacije o stanju Ct−1 interne memorije ćelije kako bi izvršio različite operacije i odredio da li da se aktivira pomoću logičke funkcije. Stanje ht jedinice, izlaz u trenutku t, i ulazno skriveno stanje u vremenu t1 određuju se nelinearno aktivirajućim tanh ( ) i informacijama izlaznog gejta.

3. Rezultati i diskusija

U ovoj studiji, MATLAB softver (R2019b) je korišten za proces obuke LSTM-a, koji je napredna arhitektura za RNN za predviđanje vrijednosti budućih vremenskih koraka sekvence. Mreža regresije sekvence je obučena na LSTM sekvencu, gdje su odgovori sekvence za obuku sa promjenjivim vrijednostima u jednom vremenskom koraku.

To jest, za svaki vremenski korak ulazne sekvence, LSTM mreža uči da predvidi vrijednost sljedećeg vremenskog koraka. U ovom radu, da bi se sveobuhvatno i sistematski procijenila efikasnost i primjenjivost predloženog modela, odabrane su dvije serije podataka za brzinu vjetra za dva različita godišnja doba zbog njihovih različitih klimatskih karakteristika, a to su proljeće (mart 2015.) i ljeto (jul 2015. godine). ).

Svaka serija podataka je podijeljena na 1–576 (24 dana) kao opservacije i 577–744 (7 dana), respektivno, kao grupe za obuku i testiranje. Podaci o obuci su standardizirani tako da imaju nultu srednju vrijednost i jediničnu varijansu u vremenu predviđanja kako bi se spriječilo odstupanje treninga. Najbolji parametar treninga za postizanje najnižeg RMSE se nalazi korištenjem početne stope učenja od 0.005.

Na slikama 4 i 5 prikazano je poređenje posmatranih vrednosti sa predviđenim vrednostima serije brzina vetra po satu prikupljene u proleće (1–31. marta 2015.) i leto (1–31. jul 2015.), respektivno, za evaluaciju LSTM-a, koji je jednom obučen ( vrijednost prethodnog predviđanja) i ponovo se koristi za predviđanje svakog vremenskog koraka između predviđanja koji je predstavljen jednadžbama (2)–(4). To znači da se nikakva ažuriranja ne vrše kada se model prvi put uklopi u podatke obuke, a model se u ovom slučaju naziva fiksnim modelom jer nema ažuriranja.

Odabrane su opcije obuke LSTM mreže za 200 skrivena modula. Početna stopa učenja je 0,005, a maksimalni broj iteracija je fiksiran na 250. Prag gradijenta je postavljen na 1 kako bi se spriječilo da gradijenti eksplodiraju. Stopa učenja se smanjuje nakon 125 epoha množenjem sa faktorom 0,2. Na slikama 6 i 7, LSTM je ažuriran novim podacima za predviđanje vremenskih serija korištenjem predviđenih vrijednosti i ažuriranih vrijednosti stanja iz skupa testova i stavljen na raspolaganje za model za prognozu u sljedećem vremenskom koraku Posebno, modificirani LSTM je usvojio Ct−1 za ulazne, zaboravne i izlazne kapije.

To je zato što svaki put kada LSTM nastavi, Ct−1 utiče na ulaz, zaborav i izlaz LSTM-a. Sva predviđanja se prikupljaju u skupu podataka testa i izračunava se rezultat greške kako bi se sumirala vještina modela. Korištena je srednja kvadratna greška (RMSE) jer kažnjava velike greške i rezultira rezultatom u istim jedinicama kao i prognozirani podaci, a to je brzina vjetra na sat.

Ovdje su predviđanja preciznija kada ažurirate stanje mreže s uočenim vrijednostima umjesto predviđenim vrijednostima. Iz rezultata se uočava da je u oba serijala proljeće (mart 2015.) i ljeto (jul 2015.) vrijednost RMSE pala za 4,5845 odnosno 4,9392, kada se koristi LSTM ažuriranje, a to je zbog različitih karakteristika svake od njih.

U ovom radu, a na osnovu različitih dosadašnjih studija prema različitim modelima, napominje se da se tačnost modela predviđanja razlikuje prema različitim karakteristikama informacije, te stoga do sada nije postignut nijedan model koji radi sa istom tačnošću sa različitim informacijama. . Tabela 1 prikazuje greške za dvije serije podataka (jul 2015.) i (mart 2015.) u predloženom LSTM modelu koristeći metriku RMSE greške.

4. Zaključci

Tačan model predviđanja izvora brzine vjetra je neophodan kako bi se pružile bitne informacije koje će osnažiti operatere mreže i dizajnere sistema u stvaranju optimalne vjetroelektrane i uravnotežiti ponudu i potražnju na tržištu energije.

U ovoj studiji je predložena modificirana dugotrajna kratkoročna memorija (LSTM) za predviđanje brzine vjetra. Budući da se može pristupiti stvarnoj vrijednosti vremenskih koraka između predviđanja, brzina vjetra se predviđa ažuriranjem stanja mreže u svakom predviđanju koristeći promatranu vrijednost umjesto kapija.

To je zato što svaki put kada LSTM nastavi, stanje ćelije utiče na ulaz, zaborav i izlaz LSTM-a. Rezultati modela pokazali su poboljšanu tačnost u predviđanju brzine vjetra.

Doprinosi autora: Konceptualizacija, ME; metodologija, ME; softver, ME; validacija, ME;formalna analiza, ME i AM; pisanje-Izrada originalnog nacrta, ME; pisanje-Recenzija i uređivanje, AM; nadzor, AM; administracija projekta, AM Svi autori su pročitali i pristali na objavljenu verziju rukopisa.

Finansiranje: Ovo istraživanje je djelimično finansiralo libijsko ministarstvo obrazovanja, grant broj 3772.

Izjava institucionalnog odbora za reviziju: Nije primjenjivo.

Izjava o informiranoj saglasnosti: Nije primjenjivo.

Izjava o dostupnosti podataka: Nije primjenjivo.

Sukob interesa: Autori izjavljuju da nema sukoba interesa.

Reference

1. Monfared, M.; Rastegar, H.; Kojabadi, HM Nova strategija za predviđanje brzine vjetra korištenjem metoda umjetne inteligencije. Renew.Energy 2009, 34, 845–848. [CrossRef]

2. Box, GE; Jenkins, GM; Reinsel, GC; Ljung, GM Analiza vremenskih serija: Predviđanje i kontrola, 5. izdanje; John Wiley & Sons: Hoboken, NJ, SAD, 2015; str. 129–171.

3. Elsaraiti, M.; Merabet, A.; Al-Durra, A. Analiza vremenskih serija i prognoza podataka o brzini vjetra. U Proceedings of the IEEEIndustry Applications Society Annual Meeting, Baltimore, MD, SAD, 29. septembar – 3. oktobar 2019.; str. 1–5.

4. Yadav, AP; Kumar, A.; Behera, L. Predviđanje sunčevog zračenja bazirano na RNN-u korištenjem prilagodljive stope učenja. U The InternationalConference on Swarm, Evolutionary, and Memetic Computing; Springer: Cham, Švicarska, 2013; str. 442–452.

5. Hochreiter, S.; Schmidhuber, J. Dugotrajno pamćenje. Neural Comput. 1997, 9, 1735–1780. [CrossRef] [PubMed]

6. Kumar, D.; Mathur, HD; Bhanot, S.; Bansal, RC Predviđanje solarne i vjetroelektrane korištenjem LSTM RNN za kontrolu frekvencije opterećenja u izoliranoj mikromreži. Int. J. Model. Simul. 2020. [CrossRef]

7. Shi, X.; Lei, X.; Huang, Q.; Huang, S.; Ren, K.; Hu, Y. Predviđanje snage vjetra za dan unaprijed koristeći hibridni model dekompozicije varijacionog modela i dugotrajne kratkoročne memorije. Energije 2018, 11, 3227. [CrossRef]

8. Rodrigues, ER; Oliveira, I.; Cunha, R.; Netto, M. DeepDownscale: Strategija dubokog učenja za vremensku prognozu visoke rezolucije. U Proceedings of 2018 IEEE 14th International Conference on e-Science (e-Science), Amsterdam, Holandija, 29. oktobar–1. novembar 2018.; IEEE: Njujork, Njujork, SAD, 2018; str. 415–422.

9. Chen, N.; Qian, Z.; Nabney, IT; Meng, X. Prognoze snage vjetra koristeći Gaussove procese i numeričko predviđanje vremena.IEEE Trans. Power Syst. 2013, 29, 656–665. [CrossRef]

10. Cao, Q.; Ewing, BT; Thompson, MA Predviđanje brzine vjetra s rekurentnim neuronskim mrežama. Eur. J. Oper. Res. 2012, 221,148–154. [CrossRef]

11. Lydia, M.; Kumar, SS; Selvakumar, AI; Kumar, GE Linearni i nelinearni autoregresivni modeli za kratkoročno predviđanje brzine vjetra. Energy Convers. Manag. 2016, 112, 115–124. [CrossRef]

12. Ghaderi, A.; Sanandaji, BM; Ghaderi, F. Duboka prognoza: prostorno-vremensko predviđanje zasnovano na dubokom učenju; Univerzitet Cornell: Ithaca, NY, SAD, 2017.

For more information:1950477648nn@gmail.com