Dvostruka memorija LSTM sa neuronskom mrežom dvostruke pažnje za prostorno-temporalno predviđanje
Mar 21, 2022
Kontakt:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791
Abstract
Prostorno vremensko predviđanje je izazovno zbog neefikasnosti izdvajanja reprezentacija i nedostatka bogatih kontekstualnih zavisnosti. Predlaže se novi pristup za prostorno vremensko predviđanje koristeći dualmemorijaLSTM sa neuronskom mrežom dvostruke pažnje (DMANet). Predložena je nova LSTM (DMLSTM) jedinica s dvostrukom memorijom za izdvajanje reprezentacija korištenjem operacija razlikovanja između uzastopnih slika i usvajanjem dvostrukememorijamehanizam tranzicije. Da bi se u potpunosti iskoristile istorijske reprezentacije, mehanizam dvostruke pažnje je dizajniran da uhvati dugoročne prostorno-vremenske zavisnosti računajući korelacije između trenutno skrivenih reprezentacija i istorijskih skrivenih reprezentacija iz vremenskih i prostornih dimenzija, respektivno. Zatim se dvostruka pažnja ugrađuje u DMLSTM jedinicu kako bi se konstruirao DMANet, koji omogućava model sa većom moći modeliranja za kratkoročnu dinamiku i dugoročne kontekstualne reprezentacije. U ovom radu je predložena mapa prividnog otpora (AR mapa). Metoda B-spline interpolacije se koristi za poboljšanje skupa podataka AR mape i čini prividnu krivu trenda otpora kontinuiranom derivacijom u vremenskoj dimenziji. Eksperimentalni rezultati pokazuju da razvijena metoda ima odlične performanse predviđanja u poređenju sa nekim najsavremenijim metodama.
Ključne riječi: prostorno-vremensko predviđanje; dualmemorijaLSTM; dvostruka pažnja; istorijske reprezentacije
1. Uvod
Prostorno vremensko predviđanje je učenje reprezentacija na nenadzirani način iz neoznačenih video podataka i njihovo korištenje za izvršavanje zadatka predviđanja, što je tipičan zadatak kompjuterskog vida. Trenutno se prostorno-vremensko predviđanje uspješno primjenjuje na neke zadatke, kao što su buduće predviđanje lokacija objekata [1,2], detekcija anomalija [3] i autonomna vožnja [4]. Modeli zasnovani na dubokom učenju preskaču tradicionalne pristupe jer su naučili adekvatne reprezentacije iz visokodimenzionalnih podataka. Metode dubokog učenja savršeno se uklapaju u zadatak prostorno-vremenskog predviđanja, koji bi mogao izdvojiti prostorno-vremenske korelacije iz video podataka na samonadzoran način. Međutim, prostorno-vremensko predviđanje je još uvijek izazovan zadatak zbog problema neefikasnog izdvajanja reprezentacija i nedostatka dugoročnih ovisnosti. Na primjer, Convolutional LSTM (ConvLSTM) [5] je razvijen za dalje izdvajanje vremenskih reprezentacija, ali zanemaruje prostorne reprezentacije. Neke metode [6,7] su postigle tačne rezultate predviđanja, ali uzrokuju gubitak reprezentacije. Metoda adversarnosti primijenjena je u zadacima predviđanja [8,9]. Međutim, oni [8,9] značajno ovise o nestabilnom trenažnom procesu.
1 Škola za komunikacioni i informacioni inženjering, Šangajski univerzitet, Šangaj 200444, Kina
2 Ključna laboratorija za napredni prikaz i primjenu sistema, Ministarstvo obrazovanja, Šangaj 200072, Kina
Roman dualmemorijaLSTM sa neuronskom mrežom dualne pažnje (DMANet) je predložen za prostorno-vremensko predviđanje u ovom radu radi rješavanja navedenih problema. Dvostruka memorijska LSTM (DMLSTM) jedinica zasnovana na ConvLSTM [5] je razvijena za DMANet za izvođenje prostorno-vremenskog predviđanja. Može se primijeniti za dobivanje prikaza kretanja tako što se na odgovarajući način razlikuju susjedna skrivena stanja ili neobrađene slike. Osim toga, ima dvostruke memorijske strukture za pohranjivanje prostornih i vremenskih informacija. Dvostruki mehanizam pažnje je predložen i ugrađen u DMLSTM jedinicu za izdvajanje dugoročnih ovisnosti karakteristika iz vremenskih i prostornih dimenzija, respektivno, što omogućava razvijenom modelu da uhvati dužu složenu video dinamiku. U poređenju sa gore navedenim metodama prostorno-vremenskog predviđanja, glavni doprinosi ovog rada su sljedeći. Prvo, predložena je nova DMLSTM jedinica za izvođenje izvodnih reprezentacija, koje se mogu primijeniti za prostorno-vremensko predviđanje korištenjem operacija razlikovanja između uzastopnih slika i usvajanjem dualnogmemorijamehanizam tranzicije. Drugo, mehanizam dvostruke pažnje je razvijen kako bi se dobile dugoročne interakcije okvira. Dugoročne interakcije okvira su obuhvaćene računanjem korelacije između trenutno skrivenih reprezentacija i istorijskih skrivenih reprezentacija iz vremenske i prostorne dimenzije, respektivno. Konačno, važan doprinos je da DMANet kombinuje obe prednosti. Takav arhitektonski dizajn omogućava modelu veću moć modeliranja za kratkoročnu dinamiku i dugoročne kontekstualne reprezentacije. Predložena metoda se evaluira na nekim izazovnim skupovima podataka različitim metodama. Postiže odlične performanse u poređenju sa nekim najsavremenijim metodama. Eksperimentalni rezultati pokazuju da predložena metoda ima odlične performanse prostorno-vremenskog predviđanja.
Ostatak ovog članka organiziran je na sljedeći način. Povezani rad je razmatran u Odjeljku 2. DualmemorijaLSTM sa mehanizmom dvostruke pažnje opisan je u Odjeljku 3. Eksperimentalni rezultati i analize su razmotreni u Odjeljku 4, a nakon njih slijede zaključci u Odjeljku 5.
2. Pregled literature
Tokom protekle decenije, predložene su mnoge metode za prostorno-vremensko predviđanje. Rekurentna neuronska mreža (RNN) [10] sa dugoročnim kratkoročnimmemorija(LSTM) [11] se sve više primjenjuje na zadatke predviđanja zbog svojih mogućnosti za učenje reprezentacija video sekvence. Poslednjih godina, LSTM okvir zasnovan na modelu sekvence do sekvence [12] je prilagođen video predviđanju. Ipak, tačnost predviđanja je ograničena zbog činjenice da ove okvirne metode [12] hvataju samo vremenske varijacije. U cilju daljeg izdvajanja video reprezentacija, ConvLSTM [5] zamjenjuje potpuno povezane operacije sa operacijama konvolucije u rekurentnim prijelazima stanja. Predlaže se okvir zasnovan na dubokom učenju [13] za rekonstrukciju podataka koji nedostaju kako bi se olakšala analiza s prostorno-vremenskim serijama. Međutim, to će povećati dodatne računske troškove i smanjiti efikasnost predviđanja. Bijektivno zatvorena rekurentna jedinica je uvedena u [14], koja koristi rekurentne auto-kodere za predviđanje sljedećeg okvira u nekim slučajevima. Multi-output i multi-indeks metoda učenja pod nadzorom [15] sa LSTM [11] su predloženi za prostorno-vremensko predviđanje, koje može modelirati dugoročnu dinamiku. U potrazi za ublažavanjem nestajanja gradijenta, konvolucijski LSTM proširen za [6,7] uvodi cik-cak memorijski tok i gradijentsku jedinicu autoputa (GHU). Za poboljšanje sposobnosti predviđanja korištena je ažurirana metoda zasnovana na dubokom učenju. Verzija ASAP-a nazvana "ASAP duboki sistem", predložena je u [16]. Optički flow warping i algoritmi za sintezu RGB piksela [17] su iskorišteni za izvođenje prostorno-vremenskog predviđanja. Mreža memorija u memoriji (MIM) je predložena za zadatke predviđanja u [18]. Njegova razlika od gore navedenih rekurentnih modela je u tome što se MIM [18] primjenjuje na razliku u memorijskim prijelazima kako bi transformirao vremenski promjenjivi polinom u konstantu, što omogućava predvidljivost determinističke komponente. Međutim, ove metode [14–18] su još uvijek izazovne za izvođenje dugoročnog predviđanja jer bi pretjerani prijelazi vrata uzrokovali gubitak reprezentacija.
koristi cistanche deserticolainmemorija
Pored rekurentnih modela, za prostorno-vremensko predviđanje se koriste i drugi modeli. Retrospekcijska mreža je predložena u [19], koja uvodi gubitak retrospekcije da bi okvire retrospekcije pogurala da budu konzistentni sa posmatranim okvirima. Kako bi se riješila neravnoteža u podacima, u [20] je razvijen algoritam čišćenja susjedstva. Algoritam slučajne šume izdvaja optimalne karakteristike za izvođenje zadatka predviđanja. Varijacijski autoenkoder je usvojen za izdvajanje nelinearnih dinamičkih karakteristika u [21]. Ovaj model analizira korelacije između varijabli i odnose između istorijskih uzoraka i sadašnjih uzoraka. Modul široke pažnje i modul dubokog sastava koriste se u [22] za izdvajanje globalnih ključnih karakteristika i lokalnih ključnih karakteristika. Međutim, ove metode [19–22] u određenoj mjeri ovise o lokalnim reprezentacijama, koje ne mogu postići odlične performanse na zadacima predviđanja. Umjetna neuronska mreža [23] je predložena za modeliranje jedinstvenih svojstava prostorno-vremenskih podataka i izvlači moćniju sposobnost modeliranja prostorno-vremenskih podataka. Sistem prostorno-vremenskog predviđanja [24] je razvijen da se fokusira na prostorno modeliranje i rekonstrukciju kompletnog prostorno-vremenskog signala. Ova metoda pokazuje efikasnost modeliranja koherentnih prostorno-vremenskih polja. Mješovita neuronska mreža je predložena za modeliranje dinamičkog uzorka i učenje reprezentacija izgleda na osnovu datih video okvira u [25]. 3D CNN je korišten u RNN u [26], koji proširuje reprezentacije u vremenskoj dimenziji i činimemorijajedinica čuva bolje dugoročne reprezentacije. Međutim, konvolucione operacije [24–26] uzimaju u obzir zavisnosti kratkog dometa unutar okvira zbog njihovih ograničenih receptivnih polja i nedostatka eksplicitnih mogućnosti modeliranja između okvira. Generativne adversarijske mreže [8] su još jedan pristup za prostorno vremensko predviđanje. U [9] je predložena metoda uslovnog varijacionog autoenkodera stvaranjem budućih ljudskih putanja uslovljenih prethodnim zapažanjima i budućim radnjama robota. Metode predviđanja [8,9] imaju za cilj da generišu manje zamućene okvire, ali njihova izvedba značajno zavisi od nestabilnog procesa obuke.
Mehanizam samopažnje je predložen u [27], koji se može primijeniti za hvatanje dugoročnih ovisnosti i dokazano je djelotvoran u agregiranju istaknutih karakteristika među svim prostornim pozicijama u zadacima kompjuterskog vida [28–30]. Dvostruki blok pažnje predložen je u [28], koji kombinuje karakteristike cijelog prostora u kompaktni skup, a zatim adaptivno odabire i dodjeljuje karakteristike svakoj lokaciji. U cilju efikasnijeg iskorištavanja kontekstualnih informacija, unakrsna mreža [29] uvela je unakrsni modul pažnje za dobijanje kontekstualnih informacija o svim pikselima, što je korisno za probleme vizualnog razumijevanja. Osim toga, za razliku od metoda fuzije značajki na više skala, mreža dvostruke pažnje [30] se predlaže kako bi se adaptivno kombinirale lokalne karakteristike s globalnim ovisnostima. Međutim, ne mogu se koristiti za rješavanje zadataka predviđanja zbog nedostatka prostorno-vremenskih ovisnosti.
Ukratko, prethodni modeli predviđanja imaju različite nedostatke. Za razliku od prethodnog rada, dizajnirali smo novu varijantu ConvLSTM [5] za pohranjivanje reprezentacija stanja i proširenje mehanizma pažnje u zadatku prostorno-vremenskog predviđanja. Ova arhitektura obuhvata bogate kontekstualne odnose za bolje predstavljanje karakteristika sa kompaktnošću unutar klase.
U tabeli 1 prikazani su akronimi korišćeni u radu sa definicijom pojma.
3. DMA neuronska mreža
Dijagram toka DMANet-a je prikazan na slici 1. Reprezentacije su ekstrahovane iz DMANeta s obzirom na ulazne okvire. Reprezentacije ukazuju na rezultate predviđanja i mogu se koristiti za predviđanje sljedećih reprezentacija.
U ovom odeljku će biti dati detalji o DMANet-u. Prvo, nova DMLSTM jedinica je predstavljena u Odjeljku 3.1. Nakon toga, mehanizam dvostruke pažnje je predložen u Odjeljku 3.2, koji omogućava da model može imati koristi od prethodnih relevantnih reprezentacija. Konačno, oni su agregirani zajedno kako bi se izgradio DMANet za prostorno-vremensko predviđanje, što je detaljno opisano u Odjeljku 3.3.
3.1. Dvostruka memorija LSTM
Osvijetljen je PredRNN plus plus [7], koji dodaje više nelinearnih slojeva kako bi se povećala dubina mreže i ojačala sposobnost modeliranja za prostorne korelacije i vremensku dinamiku. Međutim, problem širenja gradijenta postaje sve teži s povećanjem dubine mreže, čak i ako ga GHU [7] ublažava u ograničenoj mjeri. Neki rad[6,7,14] ne radi dobro u izdvajanju reprezentacija prostorno-vremenskih sekvenci preko prekomjernih prelaza kapija, jer može neizbježno uzrokovati gubitak reprezentacija. Stoga se prostorne zavisnosti dugog dometa mogu uhvatiti naslaganim slojevima konvolucije. Međutim, efikasnost mogućnosti modeliranja za prostorno-vremensku dinamiku je ograničena zbog složene tranzicije od vode do sloja.
Nova rekurentna jedinica pod nazivom DMLSTM je razvijena za izvođenje prostorno-vremenskog predviđanja kako bi se prevazišla ograničenja navedena iznad, kao što je prikazano na slici 2. Prvo, dodata je dodatna memorijska jedinica zasnovana na ConvLSTM[5]; ova jedinica se koristi za pohranjivanje prostornih stanja, što omogućava jedinici da nauči više prostorno-vremenskih reprezentacija. Novi mehanizam tranzicije je dizajniran odbacivanjem redundantnih struktura kapije, kao što su ulazna vrata. Različite nelinearne strukture bi izgubile moćne interne reprezentacije u predviđanju na nivou piksela. S druge strane, operacije razlikovanja reprezentacija su efektivno primijenjene za snimanje reprezentacija pokretnih objekata. Zbog toga se razlikovanje može koristiti za zadatke predviđanja kako bi se dopunili detalji reprezentacije pokretnih objekata. U DMLSTM jedinici, operacija razlikovanja je razvijena kako bi se dobila reprezentacija kretanja razlikovanjem susjednih skrivenih stanja ili neobrađenih slika, što čini jedinicu moćnijom sposobnošću modeliranja za prostorno-vremensku dinamiku.
3.2. Dvostruki mehanizam pažnje
Prostorno-vremensko predviđanje može predvideti buduće okvire posmatranjem prethodnih reprezentacija. Međutim, model predviđanja bi se trebao više fokusirati na istorijske reprezentacije koje su povezane sa predviđenim sadržajem. Mehanizam pažnje [27] može uhvatiti dugoročne ovisnosti između lokalnih i globalnih reprezentacija u nekim praktičnim zadacima [32,33]. Štaviše, prostorno-vremensko predviđanje je izazovno zbog složene dinamike i promjena izgleda, koje zahtijevaju ovisnost i o vremenskim i prostornim domenima. Predložena je nova varijanta mehanizma pažnje pod nazivom mehanizam dvostruke pažnje. Ova arhitektura obuhvata dugoročnu prostorno-vremensku interakciju iz vremenskih i prostornih dimenzija, respektivno, a zatim se dobijene reprezentacije agregiraju za buduće predviđanje.
cistanche za prodajuu memoriji
Dvostruki modul pažnje je prikazan na slici 3 uključujući trenutna skrivena stanja vremenske oznake Ht ∈ RH × W × C i istorijska {H1 . . . Ht−1} ∈ Rn × H × W × C, gdje su H i W prostorne veličine, C je broj kanala, a n označava broj skrivenih reprezentacija koje su povezane duž vremenske dimenzije, respektivno
4. Zaključak
DMANet je predložen za prostorno-vremensko predviđanje u ovom radu. DML-STM jedinica se koristi za efikasno izdvajanje reprezentacija korišćenjem operacija razlikovanja između uzastopnih slika i usvajanjem mehanizma dvostruke memorije. Dvostruki mehanizam pažnje je dizajniran da uhvati dugoročne prostorno-vremenske zavisnosti računanjem korelacija između trenutno skrivenih reprezentacija i istorijskih skrivenih reprezentacija iz vremenskih i prostornih dimenzija, respektivno. DMANet kombinuje obe prednosti i takav arhitektonski dizajn omogućava modelu veću moć modeliranja za kratkoročnu dinamiku i dugoročne kontekstualne reprezentacije. Eksperimentalni rezultati pokazuju da naša metoda ima odlične performanse u prostorno-vremenskom predviđanju.
gdje kupiti cistanche u memoriji
Prostorno vremensko predviđanje je obećavajući put za samonadzirano učenje bogatih prostorno-vremenskih korelacija. Za budući rad, istražićemo kako da odvojimo pokretne objekte od pozadine i posvetimo više pažnje pokretnim objektima. Takođe ćemo pokušati da izgradimo sistem očitog otpora sadašnjeg trenutka kako bismo zaštitili kineske pećine od vode.
Reference
1. Yao, Y.; Atkins, E.; Johnson-Roberson, M.; Vasudevan, R.; Du, X. Bitrap: Dvosmjerno predviđanje putanje pješaka s multimodalnom procjenom cilja. IEEE Robot. Autom. Lett. 2021, 2, 1463–1470. [CrossRef]
2. Song, Z.; Sui, H.; Li, H. Hijerarhijska metoda detekcije objekata u velikim optičkim satelitskim snimcima daljinskog otkrivanja koristeći detekciju istaknutosti i CNN. Int. J. Remote Sens. 2021, 42, 2827–2847. [CrossRef]
3. Li, Y.; Cai, Y.; Li, J.; Lang, S.; Zhang, X. Umrežavanje prostorno-vremenskog jedinstva za detekciju video anomalija. IEEE Access 2019, 1, 172425–172432. [CrossRef]
4. Yurtsever, E.; Lambert, J.; Carballo, A.; Takeda, K. Pregled autonomne vožnje: uobičajene prakse i nove tehnologije. IEEE Access 2020, 8, 58443–58469. [CrossRef]
5. Shi, X.; Chen, Z.; Wang, H.; Yeung, DY Konvoluciona LSTM mreža: Pristup mašinskog učenja za prognozu padavina. U Proceedings of the 29th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 7–12. jun 2015; str. 802–810.
6. Wang, Y.; Li, M.; Wang, J.; Gao, Z.; Yu, P. PredRNN: Rekurentne neuronske mreže za prediktivno učenje koristeći prostorno-vremenske LSTM. U Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 4-9 decembar 2017; str. 879–888.
7. Wang, Y.; Gao, Z.; Long, M.; Wang, J.; Yu, P. PredRNN plus plus : Ka rješenju dileme duboko u vremenu u prostorno-vremenskom prediktivnom učenju. U Zborniku radova 35. međunarodne konferencije o mašinskom učenju, Stokholm, Švedska, 10.–15. aprila 2019.; str. 5123–5132.
8. Goodfellow, IJ; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D. Generativne adversarial networks. U Proceedings of the 28th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 8-13. decembar 2014; str. 2672–2680.
9. Ivanović, B.; Karen, L.; Edward, S.; Pavone, M. Multimodalni duboki generativni modeli za predviđanje trajektorije: pristup uslovnog varijacionog autoenkodera. IEEE Robot. Autom. Lett. 2021, 2, 295–302. [CrossRef]
10. Rumelhart, D.; Hinton, G.; Williams, R. Učenje reprezentacija greškama unatrag. Nature 1986, 1, 533–536. [CrossRef]
11. Hochreiter, S.; Schmidhuber, J. Dugotrajno pamćenje. Neural Comput. 1997, 8, 1735–1780. [CrossRef]
12. Sutskever, I.; Vinyals, O.; Le, Q. Učenje sekvenci do sekvenci sa neuronskim mrežama. U Proceedings of the Advances in Neural Information Processing Systems, Montreal, QC, Kanada, 8–13. decembar 2014; str. 3104–3112.
13. Das, M.; Ghosh, S. Ansambl za predviđanje zasnovan na dubokom učenju za predviđanje podataka koji nedostaju za analizu daljinskog istraživanja. IEEE J. Sel. Top. Appl. Earth Observ. Remote Sens. 2017, 12, 5228–5236. [CrossRef]
14. Oliu, M.; Selva, J.; Escalera, S. Preklopljene rekurentne neuronske mreže za buduće video predviđanje. U Proceedings of the 15th European Conference on Computer Vision, Minhen, Njemačka, 8–14. decembar 2018; str. 716–731.
15. Seng, D.; Zhang, Q.; Zhang, X.; Chen, G.; Chen, X. Prostorno-vremensko predviđanje kvaliteta vazduha na osnovu LSTM neuronske mreže. Alex. inž. J. 2021, 60, 2021–2032. [CrossRef]
16. Abed, A.; Ramin, Q.; Abed, A. Automatsko predviđanje solarnih baklji iz SDO slika korištenjem dubokog učenja. Adv. Space Res. 2021, 67, 2544–2557. [CrossRef]
17. Li, S.; Fang, J.; Xu, H.; Xue, J. Predviđanje video okvira pomoću duboke mreže sa više grana maske. IEEE Trans. Circuits Syst. Video Technol. 2020, 4, 1–12. [CrossRef]
18. Wang, Y.; Zhang, J.; Zhu, H.; Long, M.; Wang, J.; Yu, P. Memorija u pamćenju: Prediktivna neuronska mreža za učenje nestacionarnosti višeg reda iz prostorno-vremenske dinamike. U Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 16–20. jun 2020; str. 9146–9154.
19. Chen, X.; Xu, C.; Yang, X.; Yang, X.; Tao, D. Dugoročno video predviđanje putem kritike i retrospekcije. IEEE Trans. Proces slike. 2020, 29, 7090–7103. [CrossRef]
20. Neda, E.; Reza, F. AptaNet kao pristup dubokog učenja za predviđanje interakcije aptamera i proteina. Sci. Re. 2021, 11, 6074–6093.
21. Shen, B.; Ge, Z. Ponderisani nelinearni dinamički sistem za dubinsku ekstrakciju nelinearnih dinamičkih latentnih varijabli i industrijsku primjenu. IEEE Trans. Ind. Inform. 2021, 5, 3090–3098. [CrossRef]
22. Zhou, J.; Dai, H.; Wang, H.; Wang, T. Široka pažnja i duboki kompozitni model za predviđanje saobraćajnih tokova u transportnim sajber-fizičkim sistemima. IEEE Trans. Ind. Inform. 2021, 17, 3431–3440. [CrossRef]
23. Patil, K.; Deo, M. Predviđanje površinske temperature mora u bazenskoj skali pomoću umjetnih neuronskih mreža. J. Atmos. Ocean. Technol. 2018, 7, 1441–1455. [CrossRef]
24. Amato, F.; Guinard, F.; Robert, S.; Kanevski, M. Novi okvir za prostorno-vremensko predviđanje podataka o životnoj sredini koristeći duboko učenje. Sci. Rep. 2020, 10, 22243–22254. [CrossRef]
25. Yan, J.; Qin, G.; Zhao, R.; Liang, Y.; Xu, Q. Mixpred: Video predviđanje izvan optičkog toka. IEEE Access 2019, 1, 185654–185665. [CrossRef]
26. Wang, Y.; Jiang, L.; Yang, M.; Li, L.; Long, M.; Li, F. Eidetic 3D LSTM: Model za video predviđanje i dalje. U Proceedings of the International Conference on Learning Representations, New Orleans, LA, SAD, 6.–9. maja 2019.; str. 1–14.
27. Vaswani, A.; Shazier, N.; Parmar, N.; Uszkoreit, J.; Jones, L. Pažnja je sve što vam treba. U Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 4-9 decembar 2017; str. 5998–6008.
28. Chen, Y.; Kalantidis, Y.; Li, J.; Feng, J. A2 mreže: Mreže dvostruke pažnje. U Proceedings of the 32nd Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 2–8 decembar 2018; str. 352–361.
29. Huang, Z.; Wang, X.; Wei, Y.; Huang, L.; Shi, H. Ccnet: Unakrsna pažnja za semantičku segmentaciju. IEEE Trans. Pattern Anal. Mach. Intell. 2020, 1, 1–11. [CrossRef]
30. Fu, J.; Liu, J.; Tian, H.; Li, Y. Mreža dvostruke pažnje za segmentaciju scene. U Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 16.–20. juna 2019.; str. 3146–3154.
31. Wang, Z.; Bovik, A.; Sheikh, H. Procjena kvaliteta slike: od vidljivosti greške do strukturalne sličnosti. IEEE Trans. Proces slike. 2004, 4, 600–612. [CrossRef]
32. Liu, Q.; Lu, S.; Lan, L. Yolov3 detektor pažnje lica sa visokom preciznošću i efikasnošću. Comp. Syst. Sci. inž. 2021, 37, 283–295.
33. Li, X.; Xu, F.; Xin, L. Dvostruka pažnja, duboka fuzija, semantička segmentacija mreža velikih satelitskih slika daljinskog otkrivanja. Int. J. Remote Sens. 2021, 42, 3583–3610. [CrossRef]
34. Srivastava, N.; Mansimov, E.; Salakhutdinov, R. Nenadgledano učenje video reprezentacija koristeći LSTM. U Zborniku radova 32. međunarodne konferencije o mašinskom učenju, Lille, Francuska, 6–11. juna 2015.; str. 843–852.
35. Geiger, A.; Lenz, P.; Stiller, C.; Urtasun, R. Vizija susreće robotiku: KITTI skup podataka. Int. J. Robot. Res. 2013, 32, 1231–1237. [CrossRef]
36. Dollar, P.; Wojek, C.; Schiele, B.; Perona, P. Detekcija pješaka: mjerilo. U Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, USA, 20–25. jun 2009; str. 304–311.
37. Liu, J.; Jin, B.; Yang, J.; Xu, L. Predviđanje temperature površine mora korištenjem kubične B-spline interpolacije i prostorno-vremenskog mehanizma pažnje. Remote Sens. Lett. 2021, 12, 12478–12487. [CrossRef]
