Memoria dinamică pentru a atenua uitarea catastrofală în învățarea continuă cu imagistica medicală

Contact: Audrey Hu Whatsapp/hp: 0086 13880143964 E-mail:audrey.hu@wecistanche.com

Matthias Perkonigg1, Johannes Hofmanninger1, Christian J. Herold1, James A. Brink2, Oleg Pianykh2, Helmut Prosch1 & Georg Langs1✉

Imagistica medicală este o parte centrală a diagnosticului clinic și a ghidului de tratament. Învățarea automată a câștigat din ce în ce mai multă relevanță, deoarece surprinde caracteristicile bolii și răspunsurile la tratament care sunt relevante pentru luarea deciziilor terapeutice. În practica clinică, progresul continuu al tehnologiei de achiziție a imaginilor sau al procedurilor de diagnosticare, diversitatea scanerelor și protocoalele de imagistică în evoluție împiedică utilitatea învățării automate, deoarece acuratețea predicției asupra datelor noi se deteriorează sau modelele devin depășite din cauza acestor schimbări de domeniu. . Propunem o abordare de învățare continuă pentru a face față unor astfel de schimbări de domeniu care apar în momente necunoscute. Adaptăm modelele la variațiile emergente într-un flux continuu de date, contracarând în același timp uitarea catastrofală. O dinamicămemoriepermite repetiția pe un subset de date diverse de antrenament pentru a atenua uitarea, permițând în același timp extinderea modelelor la noi domenii. Tehnica se echilibreazămemorieprin detectarea pseudo-domeniilor, reprezentând grupuri de stil diferite în fluxul de date. Evaluarea a două sarcini diferite, segmentarea cardiacă în imagistica prin rezonanță magnetică și detectarea nodulilor pulmonari în tomografia computerizată, demonstrează un avantaj consistent al metodei.

Cistanche poate îmbunătăți memoria

Algoritmii de învățare profundă (DL) câștigă rapid relevanță în imagistica medicală, permițând segmentarea computațională1,2, clasificarea sau detectarea3 a structurilor anatomice și a anomaliilor4 relevante pentru diagnostic, predicție sau prognostic. În unele cazuri, capacitățile lor le depășesc chiar și pe cele ale experților umani5,6, făcându-le un instrument central în avansarea utilizării datelor imagistice pentru diagnostic și pentru susținerea deciziilor de tratament.

Cu toate acestea, tehnologia imagistică clinică, fluxurile de lucru de diagnosticare și chiar markerii imagistici ai bolilor nu sunt statice. În schimb, sunt supuși unui mediu în continuă evoluție în care algoritmii DL trebuie să se adapteze pentru a rămâne relevanți. În prezent, modelele DL sunt antrenate o singură dată, oferind o performanță impresionantă pe imagini comparabilă cu experiența lor de antrenament. Cu toate acestea, sustenabilitatea lor este limitată, deoarece devin depășite în timp ce tehnologia avansează7. Această incapacitate de a se adapta la date noi care sunt diferite de datele de instruire în unele aspecte (schimbări ale setului de date) împiedică grav utilitatea și adoptarea acestora în practica clinică.

Schimbările setului de date apar atunci când distribuția datelor de antrenament diferă de distribuția datelor la inferența modelului8,9. Un tip de astfel de schimbare, schimbare de domeniu (sau schimbare de achiziție) poate apărea din cauza progresului tehnic în tehnologia scanerelor. În practica clinică și, în consecință, în studiile care implică date imagistice medicale, datele achiziționate provin frecvent de la diferite scanere, generații de scanere, producători sau protocoale de imagistică. Pentru a adapta cu succes modelele de învățare profundă implementate la mediul în schimbare, este crucial să se dezvolte și să avanseze metode care să ia în considerare aceste schimbări de domeniu.

Aici, ne concentrăm pe contabilizarea schimbărilor de domeniu care apar în momente necunoscute într-un flux de date continuu, reflectând practica clinică. Un model DL este antrenat pe un set de imagini achiziționate de un singur scaner (antrenament de bază) și ulterior actualizat continuu la modificările aspectului imaginii care apar într-un flux de date pe măsură ce sunt adăugate scanere noi. În același timp, cunoștințele despre domeniile văzute anterior nu trebuie uitate pe măsură ce noi informații despre domeniu sunt încorporate în model. Figura 1 ilustrează cadrul general al acestei lucrări. Modelul este antrenat pentru convergență pe un set de antrenament de bază de date din domeniul A; ulterior, este expus unui flux de date continuu în care, după un timp, apar date din domeniul B, C și D. Fără a actualiza modelul după antrenamentul de bază (învățare profundă static), acuratețea pe domeniile ulterioare are de suferit, deoarece acestea părăsesc distribuția datelor de antrenament. Vedeți mai jos pentru un exemplu, în care modelul de bază nu a reușit să segmenteze imaginile de la scanerele ulterioare. Metodele de învățare continuă contracarează acest efect.

Accentul învățării continue (denumită și învățarea pe tot parcursul vieții) îl reprezintă tehnicile de învățare automată pentru acumularea capacității de a gestiona noi sarcini (sau, în contextul acestei lucrări, noi domenii) într-un model10,11. Un efect nedorit major contracarat de metodele de învățare continuă este uitarea catastrofală, când actualizarea unui model pentru a învăța o nouă sarcină ar duce la o deteriorare a performanței sarcinilor anterioare12. În mod ideal, învățarea continuă ar putea aduce îmbunătățiri ale performanței la sarcinile anterioare atunci când se antrenează pentru sarcinile ulterioare, un efect de dorit cunoscut sub numele de transfer invers pozitiv rezultat din varietatea crescută de exemple de antrenament la model este expus13.

Vă propunem dinamicămemorie(DM) ca metodă de învățare continuă, pentru a face față apariției de noi surse de date în momente necunoscute într-un flux continuu de imagini medicale (Fig. 1). DM este o metodă de repetiție, care păstrează un subset mic și divers al fluxului de datememoriepentru a atenua uitarea catastrofală. DM diversificămemorieutilizarea unei valori de stil pentru a menține imagini cu o varietate de stiluri observate în fluxul de date continuu. Ca modul opțional, utilizăm un model de pseudodomeniu (PD) pentru a detecta clustere de un stil similar din fluxul continuu. Aceste pseudo-domenii pot fi văzute ca proxy pentru domeniile necunoscute, reale și sunt folosite pentru a echilibramemorieși procesul de instruire (DM-PD). Pentru a demonstra generalizarea metodei noastre, o aplicăm la două sarcini diferite cu modalități diferite de imagistică. În primul rând, efectuăm segmentarea cardiacă în imagistica prin rezonanță magnetică (RMN) și, în al doilea rând, aplicăm abordarea noastră la detectarea nodulilor pulmonari în tomografia computerizată (CT). Arătăm că la ambele sarcini, metoda noastră depășește metodele de bază de învățare continuă. Rețineți că nu ne concentrăm pe dezvoltarea unei noi metode de ultimă generație cu scaner unic pentru oricare dintre sarcini, ci mai degrabă dorim să arătăm cum poate fi aplicată o metodă de învățare continuă pentru a adapta un model la un flux continuu. de date imagistice, inclusiv schimbări de domeniu, fără cunoștințe explicite de domeniu.

supliment cistanche: imbunatateste memoria

Rezultate

Seturi de date

Segmentarea cardiacă. Experimentele au fost efectuate pe date din setul de date de provocare cu mai multe centre, multi-furnizor14. Setul de date a inclus date de la patru furnizori diferiți Siemens, General Electric, Philips și Canon. Am considerat fiecare dintre acești furnizori ca un singur domeniu. Împărțim datele în formare de bază, formare continuă, validare și set de teste la nivel de pacient. Tabelul 1a arată numărul de felii individuale pentru fiecare domeniu din acele seturi de date.

Detectarea nodulilor pulmonari. Pentru detectarea nodulilor pulmonari am folosit date extrase din baza de date LIDC15, cu adnotările furnizate pentru provocarea LUNA16-16. În plus, am folosit setul de date de provocare LNDb17. Pentru toate adnotările nodulilor pulmonari, am construit casete de delimitare în jurul leziunii adnotate și am extras felii 2D cu leziuni. Pentru a demonstra învățarea noastră continuă cu domenii în schimbare, am construit un set de date din cele mai comune trei domenii, în ceea ce privește furnizorul de scaner și nucleul de reconstrucție, în LIDC și ca un al patrulea domeniu, setul de date LNDb. Pentru LIDC, cele mai frecvent utilizate setări, inclusiv leziuni, au fost GE Medical Systems cu algoritm de reconstrucție de joasă frecvență (GE/L, n=527), GE Medical Systems cu algoritm de reconstrucție de înaltă frecvență (GE/H, n {{ 9}}) și Siemens cu nucleu B30f (Siemens, n=130). Setul de date IMDb a folosit mai multe scanere Siemens. Pentru a se potrivi cu definiția nodulilor din baza de date LIDC, am exclus nodulii cu un diametru < 3="" mm,="" rezultând="" un="" total="" de="" 625="" de="" imagini.="" aceste="" imagini="" au="" fost="" împărțite="" în="" formare="" de="" bază,="" antrenament="" continuu,="" validare="" și="" set="" de="" date="" de="" testare="" conform="" tabelului="" 1b="" analog="" experimentului="" de="" segmentare="">

Dinamicmemorieatenuează uitarea catastrofală pentru segmentarea cardiacă. Pentru a evalua capacitatea de dinamicămemoriepentru a obține performanțe bune în timp ce contracarăm uitarea catastrofală, am efectuat segmentarea cardiacă pe felii RMN 2D ca segmentare cu mai multe etichete cu trei etichete: ventricul stâng (LV), ventricul drept (RV) și miocardul ventricular stâng (MYO). Imaginile au fost achiziționate cu scanere de la patru furnizori diferiți, în ordinea apariției lor în fluxul de date: Siemens (A), GE (B), Philips (C) și Canon (D). Ne referim la ele ca Scanner A–D pentru a facilita înțelegerea comenzii. Instruirea de bază a fost efectuată numai pe datele Scanner A; ulterior, modelul a fost antrenat pe un flux de date continuu în care domeniile imaginii s-au schimbat treptat de la scanerul A la D (Fig. 1). Am comparat diferite strategii de învățare continuă: (1) metoda DM, (2) metoda DM cu detecție pseudo-domeniu (DM-PD), (3) o metodă aleatoriememoriestrategie de înlocuire, în care fiecare probă nouă a înlocuit o probă aleasă aleatoriu în prezentmemorie(Random) și (4) o abordare naivă a învățării pe un flux de date fără a contracara uitarea catastrofală (Naive). În plus, am comparat rezultatele cu metodele de învățare continuă de ultimă generație: (5) Consolidarea greutății elastice (EWC)18 și două metode care necesită cunoștințe de domeniu (6) Gradient EpisodicMemorie(GEM)19 și (7) experimentează reluarea cu Maximally Inferred Retrieval (ER-MIR)20. Rețineți că DM și DM-PD funcționează fără cunoștințe de domeniu, reprezentând o presupunere mai realistă în practica clinică. Pentru comparație, am antrenat și două modele de bază: în primul rând, un model comun (JModel) cu toate datele de antrenament care a tratat întregul set de date ca un singur set de date ipotetice statice; și în al doilea rând, modele specifice domeniului (DSM) antrenate într-o schemă de antrenament statică pe fiecare dintre domenii, separat. În cele din urmă, raportăm rezultatele pentru un model de bază static (Base) antrenat pe scanerul A și aplicat scanerelor de la A la D. Toate metodele au folosit aceeași rețea neuronală convoluțională (CNN) pentru segmentare, un FC-ResNet5021.

Fig. 1 Diferite modele de antrenament și strategii de adaptare. 1 DL continuu pentru analiza imaginilor se adaptează la noile proprietăți ale datelor și, în același timp, își păstrează capacitatea de a lucra cu date mai vechi. a Static DL: după antrenament și implementarea unui model DL, tehnologia se schimbă și precizia modelului scade. b O abordare naivă de învățare continuă pentru a rezolva această limitare este de a continua formarea unui model pe un flux de date. Cu toate acestea, acest lucru duce la uitarea proprietăților vechi ale datelor și la o scădere corespunzătoare a performanței acestor date. c Ca abordare de învățare continuă, dinamicămemorierecunoaște noile domenii emergente și eșantionează datele într-un flux continuu în consecință. Modelul ML se adaptează la noile tehnologii, dar rămâne precis pe setul divers de scanere văzute anterior. Acest lucru este important pentru a asigura compatibilitatea anterioară a modelului și pentru a construi un model mai stabil care se adaptează mai rapid la noile scanere. 2 Validarea pe un set de testare separat evaluează performanța modelului DL la sfârșitul perioadei.

Am comparat precizia de segmentare a tuturor abordărilor pe un set de testare separat care conținea date de la toate cele patru scanere după terminarea antrenamentului. În plus, am evaluat în mod specific dacă acuratețea modelului pe un scaner beneficiază de formarea modelului pe alte scanere, evaluând transferul înapoi (BWT) și transferul înainte (FWT)19.

În tabelul 2, abordările sunt comparate în termeni de scor mediu Dice pe LV, RV și MYO pentru unmemoriemărimea M {{0}}. O evaluare a segmentării LV, RV și MYO separat a arătat tendințe similare (a se vedea tabelele suplimentare 1-3). DM și DM-PD au avut performanțe similare și au depășit toate celelalte strategii de învățare continuă pentru care nu sunt necesare informații despre apartenența la domeniu (naiv, aleatoriu și EWC). Pentru imaginile ultimului domeniu (Scaner D), EWC a avut cel mai mare scor mediu de zaruri (0,850 ± {{10}}.003) dar cu prețul unei valori BWT negative ridicate ( − 0,014 ± 0,007), arătând că a avut loc o uitare catastrofală. DM și DM-PD nu au prezentat nicio uitare, așa cum indică valorile BWT neutre de 0,000 și, respectiv, 0,003. GEM și ER-MIR au arătat o performanță similară cu DM-PD, dar au avut nevoie de informații despre apartenența la domeniile probelor individuale, ceea ce nu este fezabil în practica clinică. Comparând o memorie cu o strategie de înlocuire aleatorie cu DM și DM-PD a arătat că metrica de stil utilizată pentru DM a fost eficientă pentru a alege mostre pentru a forma o varietatememorie. Înlocuirea aleatorie a dus la uitarea domeniilor anterioare în timpulcurs de formare continuă (BWT de −0.011), în timp ce DM și DM-PD au păstrat o performanță bună pe toate scanerele.

Pe datele de la Scanner B, pentru care a fost utilizată o dimensiune relativ mică a eșantionului de 720 de imagini pentru antrenament, DM și DM-PD au reușit să obțină performanțe bune fără informații despre apartenența la domeniu. Învățarea cu înlocuire aleatorie, EWC și instruire naivă a dus la o scădere semnificativă a performanței pentru scanerul B. Acest lucru a demonstrat că, prin utilizarea unei metrici de stil bazată pe matrice Gram, DM a fost mai puțin sensibil la numărul de mostre per furnizor de scaner decât alte strategii de învățare continuă. .

Modelul J a fost limita superioară a ceea ce poate realiza antrenamentul, în special pentru domeniile cu puține eșantioane, adică, pentru Scannerul B, diferența de performanță dintre învățarea continuă și antrenamentul ipotetic în lot, accesarea tuturor datelor a fost mare ({{0 }}.763 ± 0.004 vs. 0.798 ± 0.016). Acest lucru s-a datorat faptului că în învățarea continuă, eșantioanele subreprezentate au fost văzute mai rar decât în ​​antrenamentul static. În tabelul suplimentar 4, diferitmemorieAu fost comparate dimensiunile M=〈64, 128, 256, 512, 1024〉 pentru DM și DM-PD. Adăugând mai multememoriea avut ca rezultat o performanță mai bună, dar din cauza diferențelor în dinamica antrenamentului (JModel se antrenează în loturi și, prin urmare, poate vedea mai multe loturi decât în ​​setările de învățare continuă), performanța JModel nu a fost realizabilă. DM cu un mai micmemorieofM {{0}} nu a reușit să surprindă cu acuratețe diversitatea distribuției datelor de antrenament și astfel a dus la uitare (BWT=- 0,005).

la ce se folosește cistanche: îmbunătățirea memoriei

Figura 2 arată cum s-a schimbat DSC-ul mediu în cursul formării continue. Pentru EWC și învățarea continuă naivă, s-a observat uitare catastrofală, iar acuratețea pe domeniile anterioare a scăzut pe măsură ce noi domenii au intrat în formarea modelului. Pentru DM și DM-PD, acuratețea a fost mai stabilă în toate domeniile pe măsură ce formarea continuă a continuat.

Evaluarea calitativă a segmentării semantice din Fig. 3 a arătat rezultate comparabile de performanță pentru diferitele abordări ale învățării continue. Cu toate acestea, în timp ce învățarea continuă naivă a arătat rezultate mai bune pentru Scanner D, DM și DM-PD au avut rezultate bune pe toate scanerele, inclusiv pe domeniile văzute anterior. Comparația cu modelul de bază (antrenat doar pe datele Scanner A) a arătat că avem nevoie de o metodă de învățare continuă pentru a adapta modelul la schimbarea aspectului vizual. Modelul de bază nu a reușit să efectueze o segmentare precisă pentru scanerele B-D, rezultând un număr mare de negative false.

Dinamicmemorieatenuează uitarea catastrofală pentru detectarea nodulilor pulmonari. Detectarea nodulilor pulmonari a fost efectuată ca detecție a casetei de delimitare pe secțiuni CT 2D și măsurată cu precizie medie (AP), așa cum este definită în secțiunea de evaluare. Patru domenii de imagine au fost incluse în fluxul de date: GE cu un algoritm de reconstrucție de joasă frecvență (GE/L); GE cu un algoritm de reconstrucție de înaltă frecvență (GE/H); Siemens; și LNDb (consultați secțiunea „Seturi de date” pentru detalii), în următoarele scanere E–H. Instruirea de bază a fost efectuată pe datele de la Scanner E. Datorită definiției EWC, o comparație directă nu a fost posibilă pentru sarcinile de detectare. DM și DM-PD au fost comparate cu o memorie de înlocuire aleatorie și o abordare naivă de învățare continuă.

În mod analog cu segmentarea, au fost evaluate ca referință două metode de ultimă generație care necesită etichete de domeniu (care nu este cerută de DM și DM-PD), GEM19 și ER-MIR20. Ca modele de bază, au fost comparate un model comun (JModel) și modele specifice domeniului (DSM), iar rezultatele pentru modelul de bază static (Base) au fost evaluate în mod analog experimentului de segmentare. Ca rețea de activități, a fost utilizată R-CNN Faster cu o coloană vertebrală ResNet-5022.

În general, DM-PD și DM au avut rezultate mai bune în ceea ce privește AP decât abordarea naivă, așa cum se observă în Tabelul 3. Ambele au depășit metoda naivă și au contracarat eficient uitarea catastrofală. Pentru toate domeniile extrase din LIDC (Scanere E, F și G), DM a funcționat bine. Cu toate acestea, am observat o scădere a performanței pentru Scanner H pentru toate metodele. Această scădere a fost cauzată de o schimbare a populației în plus față de schimbarea mare a domeniului. În datele LIDC, nodulii pulmonari au avut un diametru mediu de 8,29 mm, în timp ce datele Scanner H (extrase din LNDb) au inclus leziuni mai mici, cu un diametru mediu de 5,99 mm. Prin proiectare, DM nu detectează schimbările populației (adică schimbarea caracteristicilor leziunii, spre deosebire de caracteristicile imagistice) și, prin urmare, nu s-a putut adapta rapid la datele Scanner H. Strategia de înlocuire aleatorie s-a luptat cu domeniile de învățare care au fost prezente mai rar în instruire (Scaner F și G), deoarece au fost înlocuite de-a lungul timpului cu datele Scanerului H, ducând la uitarea acelor scanere. Acest efect a fost mai puțin sever pentru datele scanerului E, deoarece antrenamentul de bază a fost efectuat pe datele acestui scaner. DM și DM-PD au contracarat această uitare folosind o metrică bazată pe stil pentru a diversificamemorieși astfel a păstrat mostre din toate scanerelememorie. DM-PD a avut rezultate mai bune decât DM fără detectarea pseudo-domeniului, demonstrând că echilibrarea procesului de formare a fost un pas important pentru metoda noastră de învățare continuă. DM-PD a arătat cea mai bună performanță în ceea ce privește AP și a depășit abordarea naivă cu aproximativ 0,05 AP pentru scanerele E, F și G. În plus, cea mai bună transferabilitate înapoi și înainte a fost observată pentru DM-PD/128 . Astfel, a fost modelul preferat pentru detectarea nodulilor pulmonari.

Fig. 2 Segmentarea RM cardiacă. Scorul de zaruri (DSC) pe setul de validare în timpul antrenamentului pentru M=128 pentru DM și DM-PD, în comparație cu înlocuirea aleatorie și învățarea continuă naivă. Cronologia din partea de jos reprezintă un flux de date continuu și schimbarea domeniilor din flux. O scădere a DSC pentru scanerul A poate fi observată atunci când scanerul B apare în flux, DM și DM-PD au reușit să se recupereze din această scădere folosindmemorie; b toate metodele sunt stabile în timpul antrenamentului cu Scanner C și c de îndată ce datele scanerului D intră, vedem o creștere rapidă a DSC pentru mostrele de validare a scanerului D. Înlocuirile naive și aleatorii pierd câteva puncte DSC în acea perioadă, în timp ce DM rămâne stabil. Această schimbare semnificativă și rapidă arată că scanerul D este diferit în comparație cu celelalte și nu atât de strâns legat de scanerul B și C.

Tabelul suplimentar 5 arată rezultatele comparării diferitelormemoriedimensiunile M=〈64, 128, 256, 512, 883〉 (883 corespunde stocării tuturor mostrelor din fluxul continuu în memorie). Pentru DM, o dimensiune mai mare a memoriei a fost benefică în comparație cu o dimensiune mai mică a memoriei. Pentru DM-PD, rezultatele au arătat că cu cât este mai micmemorie(M=64 și M=128), cu atât s-a obținut mai mult câștig de performanță prin detectarea pseudo-domeniului (PD) în comparație cu simplul DM. Pentru dimensiuni mai mari de memorie, beneficiul PD a dispărut. Datorită diferențelor în secvența de antrenament, performanța DM cu M=883 a fost diferită de cea a JModel. În timp ce DM/883 a avut performanțe mai bune pe scanerele E și F, JModel a arătat valori AP mai mari pentru scanerele G și H.

În Fig. 4, modificarea performanței de validare în timpul antrenamentului este reprezentată pentru DM și DM-PD cu M=128 în comparație cu înlocuirea aleatoriememorieși învățarea continuă naivă. În timp ce înlocuirea aleatorie și strategia naivă au arătat uitarea, în special pentru Scanner G, DM și DM-PD au menținut performanța ridicată fără uitare catastrofală.

Pentru a analiza în detaliu performanța DM în detectarea nodulilor pulmonari, curbele de precizie de reamintire pentru DM și DM-PD cu M=128 au fost comparate cu învățarea continuă naivă și cu un model de bază antrenat numai pe datele de la primul scaner E ( Fig. 5a). Modelul de bază a avut rezultate mai slabe decât abordările de învățare continuă pentru toate domeniile, chiar și pe datele de testare din domeniul pe care a fost antrenat modelul. Acest lucru a arătat că cunoștințele de la scanerele ulterioare pot îmbunătăți performanța modelului final pe Scanner E. După cum era de așteptat, performanța modelului de bază s-a deteriorat pentru scanerele ulterioare. Curbele de precizie-reamintire ale abordării naive de învățare continuă au arătat îmbunătățiri față de modelul de bază. În comparație cu DM și DM-PD, a prezentat o performanță mai slabă pentru scanerele E–G și o performanță puțin mai bună pentru scanerul H. Aceasta ilustrează modul în care învățarea continuă naivă s-ar putea adapta la noile scanere, dar, spre deosebire de DM și DM-PD, a suferit de uitând, în timp ce actualizați modelul la datele scanerului H.

În Fig. 5b sunt prezentate detecțiile cutiei de delimitare pentru toate cele patru domenii. În general, a avut loc un număr mai mare de fals pozitive pentru abordarea naivă în comparație cu DM și DM-PD. Având în vedere faptul că am efectuat detectarea numai pe felii 2D, DM și DM-PD au arătat o performanță generală bună. Pentru detectarea nodulilor pulmonari, am arătat un beneficiu clar folosind repetiția cu metoda noastră DM în setări de învățare continuă cu schimbări de domeniu necunoscute.

Detectarea pseudo-domeniului menține o stare mai echilibratămemorie.

Pentru detectarea nodulilor pulmonari, am analizat diferențele dintre antrenamentul DM cu modulul pseudo-domeniu față de antrenament fără modulul pseudo-domeniul pentru M=128. În primul rând, am evaluat modul în care probele au intratmemoriela sfârșitul antrenamentului, au fost distribuite în comparație cu întregul corpus de antrenament prin încorporarea matricelor Gram ale tuturor eșantioanelor de antrenament într-un spațiu de încorporare utilizând încorporarea vecinilor stocastici distribuite în t (TSNE)23.

Figura 6a arată o distincție clară între domeniile Scanerului F, Scanerului H și Scanerelor E și G. Scanerele E și G au fost apropiate în funcție de stilul lor datorită nucleului de reconstrucție similar utilizat pentru acele domenii. Markerii din figură indică mostrele dinmemoriela sfârşitul pregătirii continue. Pentru DM-PD, acestea au fost mai egal distribuite pe întregul set de antrenament.

Această observație a fost confirmată de datele prezentate în Fig. 6c, unde am observat o suprareprezentare clară a primului domeniu (Scanner E) în general domeniile ulterioare pentru antrenament numai cu DM, în comparație cu echilibrarea cu pseudo-domenii (DM-PD).

Fig. 3 Exemple calitative pentru segmentarea cardiacă. Rezultatele pentru DM și DM-PD cu M=128 în comparație cu învățarea continuă naivă și aleatoriememorieînlocuire. Etichetat greșit se referă la pixelii care au fost etichetați, dar apartenența la clasă a fost confundată de model. Modelul de bază a fost antrenat într-o abordare de formare statică numai pe datele din Scanner A.

Figura 6b prezintă o analiză a numărului de elemente de domeniu atribuite pseudodomeniilor. Pentru exemplul unui singur antrenament, au fost detectate cinci pseudo-domenii. PD-1 a reprezentat domeniul real al scanerului E. PD-4 și PD-5 au reprezentat mostre de la două scanere, F și G. În PD-2 și PD{{7} }, nu a fost reprezentată nicio distincție clară de domenii. În general, am observat

Fig. 4 Detectarea nodulilor pulmonari. Precizia medie (AP) a fost măsurată pe setul de validare în timpul antrenamentului pentru DM și DM-PD cu M=128, precum și o înlocuire aleatoriememorieși abordarea naivă a învățării continue. Cronologia din partea de jos reprezintă modificările domeniilor din fluxul de date. De îndată ce datele Scanner F au apărut în flux, validarea efectuată pe domeniul Scanner F (și, de asemenea, Scanner G) a crescut pentru toate abordările. b O scădere clară a performanței (AP) a avut loc pentru abordarea de înlocuire naivă și aleatorie pentru Scanerul E, F și G, după câțiva pași de antrenament privind datele Scanerului H, care au marcat o uitare catastrofală. Pentru DM, performanța a scăzut mai întâi ușor, dar a revenit după câțiva pași de antrenament, deoarece probele din memorie sunt folosite pentru antrenament. Performanța DM-PD a rămas stabilă pentru scanerele E, F și G. c La sfârșitul antrenamentului continuu, a fost obținută o performanță mai bună pentru scanerele E, F și G, când a fost utilizată memoria dinamică. Pentru Scanner H, performanța pentru toate cele trei abordări a fost similară. d Performanța pentru Scanner E a fost stabilă pe parcursul întregului proces de formare continuă pentru toate abordările, arătând un antrenament de bază care a fost saturat pentru scanerul E. că utilizarea modulului pseudo-domeniu a fost benefică pentru a menține o memorie echilibrată, care a fost reprezentativă pentru întreg. distribuirea seturilor de antrenament.

recenzii cistanche: îmbunătățirea memoriei

Discuţie

Învățarea automată extinde utilizarea datelor imagistice medicale pentru diagnostic și prognoză. Progresele în învățarea profundă permit detectarea computațională, segmentarea și clasificarea entităților asociate cu boala, informând astfel deciziile individuale de tratament. După prima iterație a DL statice, modelele s-au dovedit a fi eficiente, provocarea este acum de a le face durabile într-un mediu de progrese continue în tehnologia de achiziție a imaginilor, protocoale sau chiar opțiuni de tratament. Aici, arătăm că o abordare care menține o dinamică diversămemoriear putea adapta modelele la tehnologia imagistică în schimbare, deoarece a făcut față schimbărilor de domeniu. Este important, deși modelul a învățat din date noi, a păstrat diversitatea unei repetițiimemorie, pentru a rămâne exacte și de încredere în întregul repertoriu de surse de imagini pe care le-a văzut. În plus, am observat că cunoștințele modelului au fost transferate cu succes peste scanere. Includerea datelor de antrenament de la alte scanere a adus beneficii pentru precizia modelului pe un scaner individual.

Schimbările de domeniu din cauza variabilității scanerului și a efectelor lor dăunătoare asupra algoritmilor de învățare automată (ML) au fost observate în diferite modalități de imagine, cum ar fi tomografia computerizată (CT) și imagistica prin rezonanță magnetică (RMN). Pentru CT, influența scanerelor și a parametrilor de reconstrucție asupra predicțiilor ML, precum și asupra adnotărilor umane, a fost studiată pentru examinările CT toracice. Demonstrând că variabilitatea scanerului are o influență negativă asupra radiomicei24,25 și a altor caracteristici de imagistică26, acest lucru trebuie luat în considerare la proiectarea modelelor ML. În ref. 27, efectul utilizării mai multor scanere RMN asupra algoritmilor ML pentru RMN cerebral a fost evaluat empiric. Pentru a reduce efectul variabilității scanerului în studiile RMN longitudinale, multi-scanere, a fost aplicată armonizarea28,29. Totuși, diferit de munca noastră, acele metode presupun că toate datele sunt disponibile simultan, ceea ce nu este cazul unui model implementat în practica clinică.

Anterior, au fost propuse diferite metode pentru a atenua uitarea catastrofală10,11 în mediile de învățare continuă. Aceste abordări pot fi împărțite în linii mari în trei categorii: metode de repetiție și pseudo-repetiție19,30–33, abordări bazate pe regularizare18,34,35 și metode de izolare a parametrilor36,37. Pentru o revizuire detaliată, consultați refs. 10,11. Majoritatea acestor abordări sunt metode incrementale de învățare a sarcinilor. Aceștia se concentrează pe învățarea progresivă a sarcinilor noi, fără a uita cunoștințele necesare pentru sarcinile anterioare. În ultimul timp, au fost propuse metode care s-au concentrat pe contabilizarea schimbărilor de domenii38–40. Adaptarea domeniului (DA) este un domeniu conex de cercetare care se ocupă de schimbările de domeniu41–43. DA se concentrează pe

Fig. 5 Rezultate cantitative și calitative pentru detectarea nodulilor pulmonari. a Curbele de precizie-rechemare ale modelului final naiv, DM și DM-PD, comparativ cu un model de bază antrenat doar pe datele scanerului E. Zonele umbrite reprezintă intervale de încredere pentru n=5 curse de antrenament independente. b Eșantioane de detectare a nodulilor pulmonari ale modelului final naiv, DM și DM-PD, comparativ cu un model de bază antrenat doar pe datele scanerului E pe toate cele patru domenii. Casetele verzi indică adevăratele pozitive, casetele galbene fals-negative și casetele roșii sunt false pozitive.

adaptarea cunoștințelor învățate pe unul sau mai multe domenii sursă la un domeniu țintă. În imagistica medicală, DA este utilizată pentru a se adapta între diferite modalități de imagistică sau diferite setări de achiziție de imagini44. Presupune acces simultan la domeniul sursă și la domeniul țintă, ceea ce nu este aplicabil unei setări care utilizează un flux de date continuu. În plus, DA necesită cunoașterea unui domeniu sau a unei sarcini de membru pentru fiecare eșantion. Această presupunere nu este realistă în imagistica medicală din lumea reală. Acolo, variabilitatea metadatelor care codifică informațiile de achiziție a imaginii nu se mapează direct la comparabilitatea caracteristicilor imagistice13. Deoarece nu presupunem că avem acces la aceste cunoștințe, aceste metode nu sunt aplicabile pentru învățarea continuă în rutina clinică. Prin urmare, până în prezent, acestea nu au fost adoptate în practică. Un al treilea domeniu conex este învățarea prin transfer45. Aici, un model existent este transferat la o nouă sarcină sau domeniu prin reglarea fină a datelor noi. Singurul scop este un model care să funcționeze bine acolo, indiferent de capacitatea sa de a funcționa bine pe domeniul inițial. În timpul reglajului fin, nu sunt necesare date din domeniul inițial.

Rezultatele noastre arată că capacitatea modelelor statice de a segmenta și detecta este limitată atunci când datele sunt achiziționate cu mașini de achiziție de imagini în afara distribuției de formare inițială. În același timp, abordările naive care se antrenează continuu pe noile scanere uită vechile caracteristici de imagistică, pierzându-și capacitatea de a procesa date cu caracteristicile anterioare de achiziție. Prin includerea continuă de noi date de antrenament, menținând în același timp un set de repetiții divers, memoria dinamică oferă performanțe bune în întregul set de scanere observate. Detectarea pseudo-domeniilor, reprezentând sub-cohorte care prezintă un stil sau caracteristici de imagine similare, generează grupuri de imagini care corespund scanerelor sau grupuri de scanere care au proprietăți de aspect similare. Detectarea și injectarea lor în procesul de antrenament pentru

Fig. 6 Îmbunătățireamemoriediversitate. Comparația compoziției memoriei pentru DM față de DM-PD pentru M=128. un TSNE peste matricele Gram ale setului de antrenament arată o distincție a domeniilor. Markerii arată pozițiile elementelor de memorie la sfârșitul antrenamentului pentru o alergare. DM-PD arată o distribuție mai egală pe întregul set de antrenament. b Cinci pseudo-domenii detectate au fost detectate pentru un singur antrenament de DM-PD; barele arată numărul de elemente de domeniu atribuite pseudodomeniilor. c Cantitatea de elemente de domeniu înmemoriedupa antrenament pentru DM si DM-PD. Barele de eroare reprezintă abaterea standard și media (linia de mijloc), n=5 rulări independente.

DM îmbunătățește și mai mult performanța modelului. Important este că aceste pseudodomenii se pot întinde pe mai multe scanere dacă împărtășesc caracteristici de imagistică. Utilizarea unei metrici bazate pe stil ameliorează nevoia de cunoștințe privind apartenența la domeniu și demonstrează performanțe similare cu metodele de învățare continuă de ultimă generație care utilizează aceste informații.

Un alt beneficiu al abordării, în comparație cu antrenamentul modelelor specifice scanerului, este că performanța modelului pe un anumit scaner beneficiază de obicei de formarea pe alte scanere. Reprezentările de trăsături ale modelului obțin o mai bună generalizare din instruire pe date conexe, dar diferite. Acest lucru duce la procesarea de noi date de scanare care profită din instruirea pe scanere mai vechi (transfer înainte) și invers (transfer înapoi). Rezultatele au fost consecvente în diferite modalități de imagistică (RMN, CT) și sarcini de analiză a imaginii (segmentare, detectare).

Rezultatele segmentării noastre RMN cardiace au dovedit că DM este benefică în comparație cu învățarea continuă naivă, prezentând o uitare mai puțin catastrofală și atingând rezultate comparabile cu modelele antrenate pe un set de antrenament static care a constat din date din toate domeniile. Efecte similare au avut loc în detectarea nodulilor pulmonari în CT, iar rezultatele au arătat că utilizarea pseudo-domeniilor (DM-PD) a condus la mai puține detecții fals pozitive decât dinamica standard.memorie.

ierburi de dragon cistanche de deșert

Abordarea noastră este un pas către proiectarea unei strategii de a învăța pe un flux continuu de date de imagini medicale care pot fi implementate în practica clinică. Cu toate acestea, metoda are mai multe limitări. În primul rând, este nevoie de mai multe cercetări pentru a demonstra că putem proiecta sisteme care să garanteze că nu va exista nicio uitare catastrofală în viitor, atunci când numărul de scanere va crește substanțial. Demonstrarea că performanța modelelor DL ​​nu va scădea cu domeniile viitoare este o provocare. În al doilea rând, DM necesită stocarea unui subset de imagini pentru repetiție în timpul antrenamentului. Deși acest set de repetiții este substanțial mai mic decât întregul set de date, preocupările legate de confidențialitate sau limitările de stocare pot deveni relevante. În cele din urmă, nu luăm în considerare costul adnotării cazurilor, presupunând că există etichete țintă sau casete de delimitare pentru instruire disponibile pentru fiecare eșantion din fluxul de date. În practica clinică, această presupunere nu este valabilă și este necesar un concept de om în buclă7, cum ar fi învățarea activă46, pentru a colecta noi adnotări pentru domenii necunoscute din punct de vedere economic.