Memorie dublă LSTM cu rețea neuronală de atenție dublă pentru predicție spațiotemporală

A lua legatura:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791

Abstract

Predicția spațio-temporală este o provocare, deoarece extragerea reprezentărilor este ineficientă și lipsa unor dependențe contextuale bogate. O abordare nouă este propusă pentru predicția spațio-temporală folosind un dualmemorieLSTM cu rețea neuronală duală de atenție (DMANet). O nouă unitate LSTM cu memorie dublă (DMLSTM) este propusă pentru a extrage reprezentările prin valorificarea operațiilor de diferențiere între imaginile consecutive și adoptarea unui sistem dual.memoriemecanism de tranziție. Pentru a folosi pe deplin reprezentările istorice, este proiectat un mecanism de dublă atenție pentru a capta dependențele spațio-temporale pe termen lung prin calcularea corelațiilor dintre reprezentările ascunse în prezent și reprezentările ascunse istorice din dimensiunile temporale și, respectiv, spațială. Apoi, atenția dublă este încorporată în unitatea DMLSTM pentru a construi un DMANet, care permite modelul cu o putere de modelare mai mare pentru dinamica pe termen scurt și reprezentări contextuale pe termen lung. În această lucrare este propusă o hartă a rezistivității aparente (AR Map). Metoda de interpolare B-spline este utilizată pentru a îmbunătăți setul de date AR Map și face curba de tendință a rezistivității aparente derivată continuă în dimensiunea de timp. Rezultatele experimentale demonstrează că metoda dezvoltată are performanțe excelente de predicție prin comparații cu unele metode de ultimă generație.

Cuvinte cheie: predicție spațio-temporală; dualmemorieLSTM; dublă atenție; reprezentări istorice

1. Introducere

Predicția spațio-temporală este învățarea reprezentărilor într-o manieră nesupravegheată din date video neetichetate și utilizarea acestora pentru a executa o sarcină de predicție, care este o sarcină tipică de viziune pe computer. În prezent, predicția spațio-temporală a fost aplicată cu succes unor sarcini, cum ar fi predicția viitoare a locațiilor obiectelor [1,2], detectarea anomaliilor [3] și conducerea autonomă [4]. Modelele bazate pe învățarea profundă fac un salt peste abordările tradiționale, deoarece au învățat reprezentări adecvate din date cu dimensiuni mari. Metodele de învățare profundă se potrivesc perfect în sarcina de predicție spațiotemporală, care ar putea extrage corelații spațiotemporale din datele video într-un mod auto-supravegheat. Cu toate acestea, predicția spațio-temporală este încă o sarcină dificilă din cauza problemei extragerii reprezentărilor în mod ineficient și a lipsei dependențelor pe termen lung. De exemplu, Convolutional LSTM (ConvLSTM) [5] a fost dezvoltat pentru a extrage în continuare reprezentări temporale, dar ignoră reprezentările spațiale. Unele metode [6,7] au obținut rezultate de predicție precise, dar provoacă pierderi de reprezentare. Metoda contradictorialității a fost aplicată în sarcinile de predicție [8,9]. Cu toate acestea, ei [8,9] depind în mod semnificativ de procesul de antrenament instabil.

1 Școala de Comunicare și Inginerie Informațională, Universitatea din Shanghai, Shanghai 200444, China

2 Laborator cheie de aplicații avansate de afișare și sistem, Ministerul Educației, Shanghai 200072, China

Un roman dualmemorieLSTM cu rețea neuronală de dublă atenție (DMANet) a fost propus pentru predicția spațio-temporală în această lucrare pentru a rezolva problemele menționate. O unitate LSTM cu memorie dublă (DMLSTM) bazată pe ConvLSTM [5] a fost dezvoltată pentru DMANet pentru a efectua predicții spațio-temporale. Poate fi aplicat pentru a obține reprezentări ale mișcării prin diferențierea adecvată a stărilor ascunse adiacente sau a imaginilor brute. În plus, are structuri de memorie duală pentru a stoca informații spațiale și informații temporale. Un mecanism de atenție dublă este propus și încorporat în unitatea DMLSTM pentru a extrage dependențe de caracteristici pe termen lung din dimensiunile temporale și, respectiv, spațiale, ceea ce permite modelului dezvoltat să capteze dinamica video complexă mai lungă. În comparație cu metodele de predicție spațio-temporală de mai sus, principalele contribuții ale acestei lucrări sunt următoarele. În primul rând, a fost propusă o nouă unitate DMLSTM pentru a realiza reprezentări extrase, care pot fi aplicate pentru predicția spațio-temporală prin valorificarea operațiilor de diferențiere între imaginile consecutive și adoptarea unui sistem dual.memoriemecanism de tranziție. În al doilea rând, este dezvoltat un mecanism de atenție dublă pentru a obține interacțiunile cadru pe termen lung. Interacțiunile de cadru pe termen lung sunt surprinse prin calcularea corelației dintre reprezentările ascunse în prezent și reprezentările ascunse istorice din dimensiunea temporală și respectiv spațială. În cele din urmă, o contribuție importantă este că DMANet combină ambele avantaje. Un astfel de design arhitectural permite modelul cu o putere de modelare mai mare pentru dinamica pe termen scurt și reprezentări contextuale pe termen lung. Metoda propusă este evaluată la unele seturi de date provocatoare cu metode diferite. Obține performanțe excelente în comparație cu unele metode de ultimă generație. Rezultatele experimentale arată că metoda propusă are o performanță excelentă de predicție spațio-temporală.

beneficii cistancheînmemorie

Restul acestui articol este organizat după cum urmează. Lucrările conexe sunt discutate în Secțiunea 2. DualulmemorieLSTM cu mecanism de atenție dublă este descris în Secțiunea 3. Rezultatele experimentale și analizele sunt discutate în Secțiunea 4 și urmate de concluzii în Secțiunea 5.

2. Studiul literaturii

În ultimul deceniu, au fost propuse multe metode de predicție spațio-temporală. Rețeaua neuronală recurentă (RNN) [10] cu termen lung pe termen scurtmemorie(LSTM) [11] a fost din ce în ce mai aplicat sarcinilor de predicție datorită capacităților sale de a învăța reprezentările unei secvențe video. În ultimii ani, cadrul LSTM bazat pe un model secvență-la-secvență [12] a fost adaptat la predicția video. Totuși, acuratețea predicției este limitată datorită faptului că aceste metode cadru [12] captează doar variațiile temporale. Pentru a extrage în continuare reprezentări video, ConvLSTM [5] înlocuiește operațiunile complet conectate cu operațiuni de convoluție în tranziții de stare recurente. Se propune un cadru bazat pe învățarea profundă [13] pentru a reconstrui datele lipsă pentru a facilita analiza cu serii spațio-temporale. Cu toate acestea, va crește costul de calcul suplimentar și va reduce eficiența predicției. Unitatea recurentă bijectivă este introdusă în [14], care exploatează auto-encodere recurente pentru a prezice următorul cadru în unele cazuri. Pentru predicția spațio-temporală sunt propuse o metodă multi-output și multi-index de învățare supervizată [15] cu LSTM [11], care poate modela dinamica pe termen lung. În căutarea atenuării dispariției gradientului, LSTM convoluțional extins prin [6,7] introduce un flux de memorie în zig-zag și o unitate de autostradă cu gradient (GHU). O metodă actualizată bazată pe învățarea profundă a fost utilizată pentru îmbunătățirea capacității de predicție. O versiune de ASAP numită „ASAP deep system”, este propusă în [16]. Algoritmii de deformare a fluxului optic și de sintetizare a pixelilor RGB [17] au fost exploatate pentru a efectua predicție spațio-temporală. O rețea de memorie în memorie (MIM) este propusă pentru sarcinile de predicție în [18]. Diferența sa față de modelele recurente menționate mai sus este că MIM [18] se aplică diferențelor tranzițiilor de memorie pentru a transforma polinomul care variază în timp într-o constantă, ceea ce face ca componenta deterministă să fie predictibilă. Cu toate acestea, aceste metode [14–18] sunt încă dificil de a efectua predicții pe termen lung, deoarece tranzițiile excesive ale porților ar cauza pierderea reprezentărilor.

beneficii cistanche deserticolaînmemorie

Pe lângă modelele recurente, pentru predicția spațio-temporală sunt folosite și alte modele. O rețea de retrospecție este propusă în [19], care introduce pierderi de retrospecție pentru a împinge cadrele de retrospecție să fie consecvente cu cadrele observate. Pentru a gestiona dezechilibrul în date, un algoritm de curățare a cartierului este dezvoltat în [20]. Un algoritm de pădure aleatoriu extrage caracteristicile optime pentru a efectua sarcina de predicție. Un autoencoder variațional este adoptat pentru a extrage caracteristici dinamice neliniare în [21]. Acest model analizează corelațiile dintre variabile și relațiile dintre eșantioanele istorice și eșantioanele prezente. Un modul cu atenție largă și modulul deep-compozit sunt utilizate în [22] pentru a extrage caracteristicile cheie globale și caracteristicile cheie locale. Cu toate acestea, aceste metode [19–22] depind într-o oarecare măsură de reprezentările locale, care nu pot obține performanțe excelente în sarcinile de predicție. O rețea neuronală artificială [23] a fost propusă pentru a modela proprietățile unice ale datelor spațio-temporale și pentru a obține o capacitate de modelare mai puternică a datelor spațio-temporale. Un sistem de predicție spațiu-temporal [24] a fost dezvoltat pentru a se concentra pe modelarea spațială și reconstrucția completă a semnalului spațio-temporal. Această metodă arată eficiența modelării câmpurilor spațio-temporale coerente. Rețeaua neuronală mixtă a fost propusă pentru a modela modelul dinamic și pentru a învăța reprezentări de aspect bazate pe cadre video date în [25]. Un CNN 3D este utilizat în RNN în [26], care extinde reprezentările în dimensiune temporală și face camemorieunitatea stochează reprezentări mai bune pe termen lung. Cu toate acestea, operațiile convoluționale [24–26] țin cont de dependențe intracadre pe rază scurtă din cauza câmpurilor lor receptive limitate și a lipsei de capabilități explicite de modelare inter-cadre. Rețelele adversare generative [8] reprezintă o altă abordare pentru predicția spațio-temporală. O metodă de autoencoder variațional condiționat a fost propusă în [9] prin producerea de traiectorii umane viitoare condiționate de observațiile anterioare și acțiunile viitoare ale robotului. Metodele de predicție [8,9] urmăresc să genereze cadre mai puțin neclare, dar performanța lor depinde în mod semnificativ de procesul de antrenament instabil.

Un mecanism de auto-atenție este propus în [27], care poate fi aplicat pentru a capta dependențe pe distanță lungă și s-a dovedit a fi eficient în agregarea caracteristicilor proeminente între toate pozițiile spațiale în sarcinile de viziune computerizată [28-30]. Un bloc de atenție dublu este propus în [28], care combină caracteristicile întregului spațiu într-un set compact, apoi selectează și alocă adaptiv caracteristicile fiecărei locații. Pentru a exploata mai eficient informațiile contextuale, o rețea încrucișată [29] a introdus un modul de atenție încrucișată pentru a obține informațiile contextuale ale tuturor pixelilor, ceea ce este util pentru problemele de înțelegere vizuală. În plus, spre deosebire de metodele de fuziune a caracteristicilor multi-scale, este propusă o rețea de atenție dublă [30] pentru a combina caracteristicile locale cu dependențele globale în mod adaptiv. Cu toate acestea, ele nu pot fi utilizate pentru a face față sarcinilor de predicție din cauza lipsei de dependențe spațio-temporale.

Pe scurt, modelele de predicție anterioare prezintă diferite dezavantaje. Spre deosebire de lucrările anterioare, proiectăm o variantă nouă a ConvLSTM [5] pentru a stoca reprezentări de stare și a extinde mecanismul atenției în sarcina de predicție spațio-temporală. Această arhitectură surprinde relații contextuale bogate pentru reprezentări mai bune ale caracteristicilor cu compactitate intra-clasă.

Tabelul 1 prezintă acronimele utilizate în lucrare cu o definiție a conceptului.

3. Rețeaua neuronală DMA

O diagramă de flux a DMANet este prezentată în Figura 1. Reprezentările sunt extrase din DMANet având în vedere cadrele de intrare. Reprezentările indică rezultatele predicției și pot fi folosite pentru a prezice următoarele reprezentări.

În această secțiune, vor fi date detaliile DMANet. În primul rând, o nouă unitate DMLSTM este introdusă în Secțiunea 3.1. Ulterior, în Secțiunea 3.2 este propus un mecanism de dublă atenție, care permite modelului să beneficieze de reprezentările relevante anterioare. În cele din urmă, acestea sunt agregate împreună pentru a construi DMANet pentru predicția spațio-temporală, care este detaliată în Secțiunea 3.3.

3.1.Dual Memory LSTM

Este iluminat de PredRNN plus plus [7], care adaugă mai multe straturi neliniare pentru a crește adâncimea rețelei și pentru a consolida capacitatea de modelare pentru corelații spațiale și dinamica temporală. Cu toate acestea, problema propagării gradientului devine din ce în ce mai dificilă odată cu creșterea adâncimii rețelei, chiar dacă GHU [7] o atenuează într-o măsură limitată. Unele lucrări[6,7,14] nu funcționează bine în extragerea reprezentărilor secvențelor spațio-temporale prin tranziții excesive de poartă, deoarece poate cauza inevitabil pierderea reprezentărilor. Prin urmare, dependențele spațiale pe rază lungă pot fi capturate de straturi de convoluție stivuite. Cu toate acestea, eficacitatea capacității de modelare pentru dinamica spațio-temporală este limitată din cauza tranziției complexe de la laver la strat.

O nouă unitate recurentă numită DMLSTM este dezvoltată pentru a efectua predicția spațio-temporală pentru a depăși limitările menționate mai sus, așa cum se arată în Figura 2. În primul rând, se adaugă o unitate de memorie suplimentară bazată pe ConvLSTM[5]; această unitate este folosită pentru a stoca stări spațiale, ceea ce permite unității să învețe mai multe reprezentări spațio-temporale. Noul mecanism de tranziție este proiectat prin eliminarea structurilor de poartă redundante, cum ar fi porțile de intrare. Diferitele structuri neliniare ar pierde reprezentările interne puternice în predicția la nivel de pixel. Pe de altă parte, operațiile de diferențiere a reprezentărilor au fost aplicate efectiv pentru a captura reprezentările obiectelor în mișcare. Prin urmare, diferențierea poate fi utilizată pentru sarcini de predicție pentru a completa detaliile de reprezentare a obiectelor în mișcare. În unitatea DMLSTM, operația de diferențiere este dezvoltată pentru a obține reprezentări ale mișcării prin diferențierea stărilor ascunse adiacente sau a imaginilor brute, ceea ce face ca unitatea să aibă o capacitate de modelare mai puternică pentru dinamica spațiu-temporală.

3.2. Mecanism dublu de atenție

Predicția spațiu-temporală poate prezice cadre viitoare prin observarea reprezentărilor anterioare. Cu toate acestea, modelul de predicție ar trebui să se concentreze mai mult pe reprezentările istorice care sunt legate de conținutul prezis. Mecanismul de atenție [27] poate capta dependențe pe termen lung între reprezentările locale și globale în unele sarcini practice [32,33]. Mai mult, predicția spațio-temporală este o provocare din cauza dinamicii complexe și a schimbărilor de aspect, care necesită dependențe atât de domeniile temporale, cât și de cele spațiale. Este propusă o variantă nouă a mecanismului de atenție, numită mecanismul de atenție duală. Această arhitectură surprinde interacțiunea spațio-temporală pe termen lung din dimensiunile temporale și, respectiv, spațială, iar apoi reprezentările obținute sunt agregate pentru predicție viitoare.

cistanche de vanzarein memoria

Modulul de atenție dublă este prezentat în Figura 3, incluzând stările ascunse actuale ale marcajului de timp Ht ∈ RH × W × C și cele istorice {H1 . . . Ht−1} ∈ Rn × H × W × C, unde H și W sunt dimensiuni spațiale, C este numărul de canale și n denotă numărul de reprezentări ascunse care sunt concatenate de-a lungul dimensiunii temporale, respectiv

4. Concluzii

Un DMANet a fost propus pentru predicția spațio-temporală în această lucrare. O unitate DML-STM este utilizată pentru extragerea eficientă a reprezentărilor prin valorificarea operațiilor de diferențiere între imaginile consecutive și adoptarea unui mecanism de tranziție a memoriei duale. Un mecanism de atenție dublă este conceput pentru a surprinde dependențele spațio-temporale pe termen lung prin calcularea corelațiilor dintre reprezentările ascunse în prezent și reprezentările ascunse istorice din dimensiunile temporale și, respectiv, spațiale. DMANet combină atât avantajele, iar un astfel de design arhitectural permite modelului cu o putere de modelare mai mare pentru dinamica pe termen scurt și reprezentări contextuale pe termen lung. Rezultatele experimentale demonstrează că metoda noastră are o performanță excelentă în predicția spațio-temporală.

de unde să cumpăr cistanche în memorie

Predicția spațiu-temporală este o cale promițătoare pentru învățarea auto-supravegheată a corelațiilor spațio-temporale bogate. Pentru lucrările viitoare, vom investiga cum să separăm obiectele în mișcare de fundal și să acordăm mai multă atenție obiectelor în mișcare., Vom încerca, de asemenea, să construim un sistem de prezentare a rezistivității aparente pentru a proteja grotele chinezești de apă.

Referințe

1. Yao, Y.; Atkins, E.; Johnson-Roberson, M.; Vasudevan, R.; Du, X. Bitrap: Predicție bidirecțională a traiectoriei pietonilor cu estimarea obiectivului multimodal. Robot IEEE. Autom. Lett. 2021, 2, 1463–1470. [CrossRef]

2. Cântec, Z.; Sui, H.; Li, H. O metodă ierarhică de detectare a obiectelor în imaginile satelitare cu teledetecție optică la scară largă folosind detectarea proeminentei și CNN. Int. J. Remote Sens. 2021, 42, 2827–2847. [CrossRef]

3. Li, Y.; Cai, Y.; Li, J.; Lang, S.; Zhang, X. Rețea unității spațio-temporale pentru detectarea anomaliilor video. IEEE Access 2019, 1, 172425–172432. [CrossRef]

4. Yurtsever, E.; Lambert, J.; Carballo, A.; Takeda, K. Un sondaj de conducere autonomă: practici comune și tehnologii emergente. IEEE Access 2020, 8, 58443–58469. [CrossRef]

5. Shi, X.; Chen, Z.; Wang, H.; Yeung, DY Rețeaua LSTM convoluțională: O abordare de învățare automată pentru prognoza în prezent a precipitațiilor. În Proceedings of the 29th Conference on Neural Information Processing Systems, Montreal, QC, Canada, 7–12 iunie 2015; p. 802–810.

6. Wang, Y.; Li, M.; Wang, J.; Gao, Z.; Yu, P. PredRNN: Rețele neuronale recurente pentru învățarea predictivă folosind LSTM-uri spațiotemporale. În Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Canada, 4–9 decembrie 2017; p. 879–888.

7. Wang, Y.; Gao, Z.; Long, M.; Wang, J.; Yu, P. PredRNN plus plus: Către o rezoluție a dilemei profunde în timp în învățarea predictivă spațio-temporală. În Proceedings of the 35th International Conference on Machine Learning, Stockholm, Suedia, 10-15 aprilie 2019; p. 5123–5132.

8. Goodfellow, IJ; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D. Rețele generative contradictorii. În Proceedings of the 28th Conference on Neural Information Processing Systems, Montreal, QC, Canada, 8–13 decembrie 2014; p. 2672–2680.

9. Ivanovic, B.; Karen, L.; Edward, S.; Pavone, M. Modele generative profunde multimodale pentru predicția traiectoriei: O abordare autocoder variațional condiționat. Robot IEEE. Autom. Lett. 2021, 2, 295–302. [CrossRef]

10. Rumelhart, D.; Hinton, G.; Williams, R. Învățarea reprezentărilor prin erori de propagare inversă. Nature 1986, 1, 533–536. [CrossRef]

11. Hochreiter, S.; Schmidhuber, J. Memoria pe termen lung pe termen scurt. Calculator neuronal. 1997, 8, 1735–1780. [CrossRef]

12. Sutskever, I.; Vinyals, O.; Le, Q. Învățarea secvență la secvență cu rețele neuronale. În Proceedings of the Advances in Neural Information Processing Systems, Montreal, QC, Canada, 8–13 decembrie 2014; p. 3104–3112.

13. Das, M.; Ghosh, S. Un ansamblu de prognoză bazat pe învățare profundă pentru a prezice datele lipsă pentru analiza de teledetecție. IEEE J. Sel. Top. apli. Observarea Pământului. Remote Sens. 2017, 12, 5228–5236. [CrossRef]

14. Oliu, M.; Selva, J.; Escalera, S. Folded rețele neuronale recurente pentru previziuni video viitoare. În Proceedings of the 15th European Conference on Computer Vision, München, Germania, 8-14 decembrie 2018; p. 716–731.

15. Seng, D.; Zhang, Q.; Zhang, X.; Chen, G.; Chen, X. Predicția spațiotemporală a calității aerului pe baza rețelei neuronale LSTM. Alex. ing. J. 2021, 60, 2021–2032. [CrossRef]

16. Abed, A.; Ramin, Q.; Abed, A. Predicția automată a erupțiilor solare din imaginile SDO folosind învățarea profundă. Adv. Spațiu Res. 2021, 67, 2544–2557. [CrossRef]

17. Li, S.; Fang, J.; Xu, H.; Xue, J. Predicția cadrului video prin rețea de mască profundă cu mai multe ramuri. IEEE Trans. Sistem de circuite Video Technol. 2020, 4, 1–12. [CrossRef]

18. Wang, Y.; Zhang, J.; Zhu, H.; Long, M.; Wang, J.; Yu, P. Memorie în memorie: O rețea neuronală predictivă pentru învățarea non-staționarității de ordin superior din dinamica spațiu-temporală. În Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Canada, 16–20 iunie 2020; p. 9146–9154.

19. Chen, X.; Xu, C.; Yang, X.; Yang, X.; Tao, D. Predicție video pe termen lung prin critică și retrospecție. IEEE Trans. Procesul de imagine. 2020, 29, 7090–7103. [CrossRef]

20. Neda, E.; Reza, F. AptaNet ca o abordare de învățare profundă pentru predicția interacțiunii aptamer-proteină. Sci. Re. 2021, 11, 6074–6093.

21. Shen, B.; Ge, Z. Sistem dinamic neliniar ponderat pentru extracția profundă a variabilelor latente dinamice neliniare și aplicații industriale. IEEE Trans. Ind. Informaţi. 2021, 5, 3090–3098. [CrossRef]

22. Zhou, J.; Dai, H.; Wang, H.; Wang, T. Atenție largă și model compozit profund pentru predicția fluxului de trafic în sistemele ciber-fizice de transport. IEEE Trans. Ind. Informaţi. 2021, 17, 3431–3440. [CrossRef]

23. Patil, K.; Deo, M. Predicția la scară de bazin a temperaturii suprafeței mării cu rețele neuronale artificiale. J. Atmos. Ocean. Tehnol. 2018, 7, 1441–1455. [CrossRef]

24. Amato, F.; Guinard, F.; Robert, S.; Kanevski, M. Un nou cadru pentru predicția spațio-temporală a datelor de mediu folosind învățarea profundă. Sci. Rep. 2020, 10, 22243–22254. [CrossRef]

25. Yan, J.; Qin, G.; Zhao, R.; Liang, Y.; Xu, Q. Mixpred: Predicția video dincolo de fluxul optic. IEEE Access 2019, 1, 185654–185665. [CrossRef]

26. Wang, Y.; Jiang, L.; Yang, M.; Li, L.; Long, M.; Li, F. Eidetic 3D LSTM: Un model pentru predicția video și nu numai. În Proceedings of the International Conference on Learning Representations, New Orleans, LA, SUA, 6–9 mai 2019; pp. 1–14.

27. Vaswani, A.; Shazier, N.; Parmar, N.; Uszkoreit, J.; Jones, L. Atenție este tot ce ai nevoie. În Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Canada, 4–9 decembrie 2017; p. 5998–6008.

28. Chen, Y.; Kalantidis, Y.; Li, J.; Feng, J. A2 plase: Rețele duble de atenție. În Proceedings of the 32nd Conference on Neural Information Processing Systems, Montreal, QC, Canada, 2–8 decembrie 2018; p. 352–361.

29. Huang, Z.; Wang, X.; Wei, Y.; Huang, L.; Shi, H. Ccnet: Atenție încrucișată pentru segmentarea semantică. IEEE Trans. Model Anal. Mach. Intelege. 2020, 1, 1–11. [CrossRef]

30. Fu, J.; Liu, J.; Tian, ​​H.; Li, Y. Rețea de atenție duală pentru segmentarea scenei. În Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Canada, 16–20 iunie 2019; p. 3146–3154.

31. Wang, Z.; Bovik, A.; Sheikh, H. Evaluarea calității imaginii: de la vizibilitatea erorilor la similitudinea structurală. IEEE Trans. Procesul de imagine. 2004, 4, 600–612. [CrossRef]

32. Liu, Q.; Lu, S.; Lan, L. Detector de față pentru atenție Yolov3 cu acuratețe și eficiență ridicate. Comp. Syst. Sci. ing. 2021, 37, 283–295.

33. Li, X.; Xu, F.; Xin, L. Atenție dublă fuziune profundă rețele de segmentare semantică a imaginilor de teledetecție prin satelit la scară largă. Int. J. Remote Sens. 2021, 42, 3583–3610. [CrossRef]

34. Srivastava, N.; Mansimov, E.; Salakhutdinov, R. Învățare nesupravegheată a reprezentărilor video folosind LSTM-uri. În Proceedings of the 32nd International Conference on Machine Learning, Lille, Franța, 6–11 iunie 2015; p. 843–852.

35. Geiger, A.; Lenz, P.; Stiller, C.; Urtasun, R. Vision meets robotics: The KITTI dataset. Int. J. Robot. Res. 2013, 32, 1231–1237. [CrossRef]

36. Dollar, P.; Wojek, C.; Schiele, B.; Perona, P. Pedestrian detection: A benchmark. În Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, SUA, 20–25 iunie 2009; p. 304–311.

37. Liu, J.; Jin, B.; Yang, J.; Xu, L. Predicția temperaturii suprafeței mării folosind interpolarea cubică B-spline și mecanismul de atenție spațiotemporal. Senzori de la distanță Lett. 2021, 12, 12478–12487. [CrossRef]