Segmentarea instanței semantice a chisturilor renale în imaginile RM: O abordare 3D complet automatizată dezvoltată prin învățarea activă
Mar 18, 2022
Adriana V. Grigore1 et al
Abstract
Totalrinichivolumul (TKV) este principalul biomarker imagistic utilizat pentru a monitoriza progresia bolii și pentru a clasifica pacienții afectați de polichistic autosomal dominant.rinichiboala(ADPKD) pentru studiile clinice. Cu toate acestea, pacienții cu TKV similare pot avea prezentări chistice și fenotipuri drastic diferite. În efortul de a cuantifica aceste diferențe chistice, am dezvoltat primul algoritm de segmentare a chistului semantic 3D pentrurinichiîn imaginile MR. Am reformulat atât sarcina de detectare/localizare a obiectelor, cât și sarcina de segmentare bazată pe instanță într-o sarcină de segmentare semantică. Acest lucru ne-a permis să rezolvăm eficient această problemă unică de imagistică, chiar și pentru pacienții cu mii de chisturi. Pentru a face acest lucru, o rețea neuronală convoluțională (CNN) a fost antrenată pentru a învăța marginile chisturilor și miezurile chisturilor. Imaginile au fost convertite din segmente de chist de exemplu în segmentări semantice de margine-nucleu prin aplicarea unui operator de morfologie de eroziune 3D la versiunile eșantionate în plus ale imaginilor. Chisturile reduse au fost etichetate ca nucleu; zonele erodate au fost dilatate în 2D și etichetate ca margine. Rețeaua a fost instruită pe 3{{10}} imagini MR și validată pe 10 imagini MR utilizând o procedură de validare încrucișată de patru ori. Modelul de ansamblu final a fost testat pe 20 de imagini RM nevăzute în timpul antrenamentului/validării inițiale. Rezultatele setului de testare au fost comparate cu segmentările de la doi cititori. Modelul prezentat a atins o valoare medie R2 de 0,94 pentru numărul de chisturi, 1,00 pentru volumul total al chistului, 0,94 pentru indicele chistic și un coeficient mediu Dice de 0,85. Aceste rezultate demonstrează fezabilitatea efectuării automate a segmentărilor chistului la pacienții cu ADPKD.
Cuvinte cheiePolichistic autozomal dominantrinichiboala· Imagistica prin rezonanță magnetică · Segmentare tridimensională a instanțelor · Volumul chistului · Rețele neuronale convoluționale
Contact:ali.ma@wecistanche.com
Cistanche para que sirve previne bolile de rinichi, faceți clic aici pentru a obține mostra
Introducere
Polichistic autozomal dominantrinichiboala(ADPKD) este o afecțiune genetică cu aproximativ 140,000 persoane diagnosticate în prezent în SUA [1]. Se caracterizează prin dezvoltarea de multiple chisturi înrinichi. Pe măsură ce numărul și dimensiunea chisturilor cresc, acestea interferează curinichicapacitatea de a filtra deșeurile din sânge și adesea duce la boală renală în stadiu terminal [2].
Multe studii au arătat că totalulrinichivolumul (TKV) este un biomarker prognostic util în combinație cu vârsta și rata estimată de filtrare glomerulară pentru utilizare în studiile clinice și pentru a prezice declinul funcției renale [3–5]. Deși TKV este important, există mult mai multe informații structurale care ar putea fi caracterizate. De exemplu, alți biomarkeri derivați din imagine, cum ar fi numărul și dimensiunea chistului, ar oferi informații suplimentare cu privire la starea bolii [6]. Pacienții cu ADPKD cu TKV similare pot prezenta diferiterinichicompoziții de chisturi (de exemplu, puține chisturi mari, multe chisturi mici sau o combinație de chisturi mari și mici). Această informație adăugată este probabil semnificativă din punct de vedere clinic și este în prezent un factor utilizat pentru clasificarea grupurilor imagistice tipice și atipice la pacienții cu ADPKD [7]. Mai mult, Bae et al. [8] a propus recent că excluderea chisturilor exofitice proeminente ar putea îmbunătăți clasificarea pacienților. Această evaluare a chisturilor, totuși, este adesea efectuată manual folosind ecuația elipsoidă pentru a aproxima volumele chistului sau prin metode semi-automatizate dependente de utilizator.
În ultimii câțiva ani, învățarea automată (în special învățarea profundă) a fost implementată cu succes pentru segmentarea imaginilor naturale (adică imaginile realizate cu o cameră RGB) [9–11]. Drept urmare, cercetătorii în analiza imaginilor medicale au tradus și dezvoltat noi tehnologii pentru segmentarea mai multor organe și țesuturi [12]. În ADPKD, metode complet automatizate care utilizează rețele neuronale profunde au fost implementate pentru a segmenta polichisticrinichiîn scanările CT cu și fără îmbunătățirea contrastului atingând un coeficient Dice de {{0}}.86 și, respectiv, 0,92 [13, 14]. Modele complet automatizate au fost implementate și pentru imaginile RM ponderate T2-[15, 16] care arată rezultate precise (Zarul=0.97).
Segmentarea instanțelor, totuși, merge cu un pas mai departe și este capabilă să segmenteze exemple din aceeași clasă (de exemplu, separând fiecare instanță a unei mașini sau celule dintr-o imagine). Masca R-CNN [17] este o metodă utilizată pe scară largă pentru a genera segmentarea instanțelor prin aplicarea unui algoritm de detectare a obiectelor. Majoritatea aplicațiilor Mask R-CNN au fost orientate spre segmentarea imaginilor naturale [18–21] și unele pentru histopatologie și imagini medicale 2D [22–26]. Pentru imaginile 3D, totuși, dimensiunea mai mare a scanărilor poate crește semnificativ cerințele de memorie GPU. Doar câteva studii radiologice au raportat utilizarea Mask R-CNN, pentru segmentarea nodulilor pulmonari în CT toracic [27] și evaluarea hemoragiei în CT capului [28]. Sarcina de segmentare a chistului de instanță, pe de altă parte, reprezintă o provocare mai mare, nu numai din cauza numărului mai mare de instanțe (până la mii de chisturi), ceea ce face ca implementarea sa folosind o abordare de detectare a obiectelor să fie imposibilă, ci și datorită conexiunii puternice. /natura grupată a chisturilor în ADPKD.
Unele studii au implementat abordări de segmentare mai tradiționale pentru a genera segmentări de chisturi de exemplu și semantice pentru imagistica cu ultrasunete și CT [29–32], prin aplicarea metodelor bazate pe intensitate și formă. În imagistica RM, două abordări semi-automatizate au fost implementate pentru a efectuarinichisegmentări de chisturi. Prima abordare a folosit o metodă de grupare k-means, urmată de analiza componentelor conectate pentru a oferi o instanță de segmentare a chistului [33]. A doua abordare a folosit o metodă bazată pe regiune pentru a crea hărți binare de intensitate a semnalului pentru a genera segmentarea semantică a chistului [34]. Cele mai multe dintre aceste abordări se bazează pe informații de intensitate care pot include alte zone cu valori de intensitate similare, cum ar fi pelvisul renal și exclud unele chisturi cu intensități diferite de semnal (de exemplu, chisturi hemoragice). O metodă complet automatizată poate fi capabilă să depășească aceste probleme și să ofere parametri de cuantificare a chistului mai precis, în special pentru cazurile severe în care segmentarea manuală și metodele semi-automatizate nu sunt ușor de realizat. Astfel, în această lucrare, propunem un model de învățare profundă pentru segmentarea chistului în instanță 3D pentru a măsura volumul total al chistului (TCV), precum și numărul de chisturi și indicele chistic.
Materiale și metode
Acest studiu imagistic retrospectiv a fost revizuit și aprobat de Consiliul nostru de revizuire instituțional. Segmentarea manuală 3D a chisturilor individuale în imagini RM de la pacienții cu ADPKD este o sarcină foarte dificilă și consumatoare de timp. Pentru a ușura procesul de creare a unui set de date standard de referință a fost implementat un model inițial. Modelul inițial a fost antrenat pe 15 3imagini D MR, validat pe 5 imagini și testat pe alte 5 imagini. Rezultatele și cadrul modelului inițial au fost apoi utilizate pentru modelul final îmbunătățit.
Model inițial: set de date RMN
Douăzeci și cinci (n= 25) de pacienți cu ADPKD și imagistica RMN disponibilă reprezentativă pentru diferite stadii de dezvoltare a chistului șirinichiextinderea au fost identificate din baza noastră de date PKD Imaging. Numai scanări coronale cu grăsimi saturate ponderate T{{{0}}care nu prezintă artefacte neclare și dobândite cu 3-intensitatea câmpului T (n{= 23) și câmp 1.5-T puterea (n= 2) au fost selectate pentru acest studiu. Pe măsură ce imaginile au fost luate pe o perioadă de câțiva ani, achiziția RM specifică a variat, dar toate au constat în dimensiunea matricei 256 × 256 × Z (cu FOV și Z suficient de mari pentru a acoperi întreaga extindere a rinichilor). Dimensiunea mediană a voxelului imaginii a fost de 1,37 mm (interval de la 0,82 la 1,56 mm) în plan, cu o grosime mediană a secțiunii de 3,0 mm (interval de la 30 la 9,0, mm).
TKV-uri obținute prin aplicarea automatărinichisegmentarea [35] au fost disponibile pentru toate cazurile. Scanările au fost sortate în funcție de TKV și randomizate în seturi de antrenament (n=15), validare (n= 5) și de testare (n= 5), așa cum se arată în Fig. prelevarea de probe pentru a asigura o distribuție similară a mărimii rinichilor între seturi.
Model inițial: Standard de referință
Segmentarea chistului: set de testare
Chisturile au fost urmărite manual de doi cititori instruiți folosind software-ul PKD-GUI (disponibil online la https://github.com/TLKline/InstanceCystSeg) dezvoltat intern. Software-ul permite urmărirea manuală, iar segmentele finale au fost salvate ca fișiere NIFTI comprimate. Cititorii au folosit o singură etichetă pentru a urmări toate chisturile, cu excepția pelvisului renal, a vaselor, a țesutului renal normal și a zonelor de mare intensitate mai mici de 4 voxeli, care nu au putut fi diferențiate de zgomotul imaginii. În plus, cititorii au fost orbiți la informațiile pacientului și la urmele celuilalt cititor.
Instanță Segmentarea chistului: Set de testare
O instanță inițială de segmentare a chistului a fost generată din trasările manuale ale chistului prin aplicarea unui algoritm de bazin hidrografic 3D pe o hartă a distanței euclidiene 3D bazată pe imaginile RMN și de segmentare a chistului (MATLAB, v.R2018b). Algoritmul a atribuit etichete diferite fiecărui chist în ordine crescătoare. Instanța de segmentare a chistului a fost revizuită ulterior de același cititor care a efectuat segmentarea manuală a chistului și a fost corectată atunci când a fost necesar (adică, prin divizarea sau îmbinarea etichetelor) folosind software-ul intern descris anterior.
Model inițial: Preprocesarea datelor
Standard de referință: Seturi de instruire și validare
Pentru a accelera procesul de segmentare a chistului pentru seturile de antrenament și validare, a fost utilizat un algoritm de segmentare semantică a chistului dezvoltat anterior pentru a efectua segmentarea chistului cu o singură etichetă [36]. În continuare, segmentarea rezultată a fost supusă procesului de bazin hidrografic 3D descris în secțiunea anterioară. În cele din urmă, imaginile au fost revizuite de Reader 1.
Înainte de antrenamentul modelului de învățare profundă, măștile de segmentare au fost convertite în segmentări semantice ca marginea chistului și miezul chistului. Marginea a fost obținută prin scăderea măștii de chist cu masca de chist dilatată 3D (folosind un element structurant 6-conectat). Miezul chistului a fost același cu masca de chist. Procesul de conversie a fost efectuat într-un mod chist cu chist (MATLAB, v.R2018b).
Model inițial: Segmentarea chistului de instanță semantică
Model de învățare profundă
Modelul de învățare profundă se bazează pe rețeaua neuronală U-Net [37] folosind module de inițiere similare lucrării anterioare [36]. Intrarea în model constă din 4 imagini:
3 felii consecutive MR și 1rinichimasca de segmentare corespunzătoare imaginii de intrare MR din mijloc. Ieșirea modelului este imaginea margine-nucleu prezisă pentru imaginea de intrare din mijloc (Fig. 2). Pentru prima și ultima secțiune RMN ale unui examen, prima și a treia imagine de intrare au fost matrice zero-padded, respectiv.
Antrenarea modelului
Modelul a fost antrenat pe o unitate de procesare grafică NVidia (model: Tesla P40) folosind biblioteca Keras Python și Python 3.6.1. Numărul de epoci a fost setat la 200 cu o dimensiune a lotului de 6. Evaluarea segmentării a fost evaluată prin funcția de pierdere Jaccard, unde r este segmentarea de referință, p este segmentarea prezisă și N este numărul de voxeli. Optimizatorul Adam a fost folosit cu o rată de învățare=1e−3.
Model inițial: Post-procesare a datelor
Pentru a atribui o etichetă individuală fiecărui chist, a fost aplicat un algoritm de componente conectate cu conectivitate cu 6 voxeli vecini la segmentarea nucleelor la ieșirea modelului de învățare profundă.
Model final: set de date RMN
Treizeci și cinci (n=35) de imagini RM 3D de la pacienți cu ADPKD și imagini ponderate 1.5-T sau 3-TT{2-coronale saturate cu grăsime, reprezentative mai ample la setul de date din modelul inițial au fost adăugate diferite stadii de dezvoltare a chistului și de mărire a rinichilor. Segmentările TKV au fost disponibile pentru toate cazurile. În total, 60 imagini RM cu o dimensiune a matricei de 256 × 256 × Z sau 512 × 512 × Z (cu FOV și Z suficient de mari pentru a acoperi întreaga extindere a rinichilor) au cuprins setul de date final. Dimensiunea mediană a voxelului imaginii a fost de 1,41 mm (interval de la 0,8 la 1,88 mm) în plan, cu o grosime medie a secțiunii de 4,0 mm (interval de la 3,0 la 9,0) mm).
Imaginile au fost sortate pe baza măsurătorilor TKV. Patruzeci de imagini RM (inclusiv cele 25 de imagini din modelul inițial) au fost utilizate pentru antrenament și validare folosind o tehnică de validare încrucișată de patru ori. Restul de 20 de imagini MR au fost folosite pentru testare. Figura 3 prezintă distribuțiile TKV pentru toate seturile.
Model final: Standard de referință
Segmentarea chistului de exemplu a celor 35 de imagini RM nou adăugate a fost generată folosind modelul inițial. Doi cititori independenți au revizuit imaginile de testare (n= 20) și un cititor a revizuit imaginile de instruire/validări (n=15). În cele din urmă, toate cele 60 de măști de segmentare a chistului de instanță și imaginile RM corespunzătoare au fost eșantionate la o dimensiune a matricei de 512 × 512 × 3Z prin utilizarea interpolărilor biliniare și, respectiv, bicubice. O operație de deschidere a fost aplicată fiecărei instanțe de chist pentru a păstra segmentarea exactă a instanței după post-procesare (adică, dilatarea după eroziunea miezului).
Segmentările de instanță au fost convertite în segmente semantice de margine-nucleu, unde miezul a fost rezultatul instanțelor de chist erodate 3D, iar marginea a fost obținută prin adăugarea marginilor interioare 3D și exterioare a chistului 2D. Operațiile morfologice 3D și 2D au fost efectuate utilizând un nucleu de conectivitate 3 × 3 × 3 voxel 6- și, respectiv, un nucleu de conectivitate 3 × 3 voxel 4-.
Model final: Învățare prin ansamblu
Patru modele au fost obținute din seturile de validare încrucișată cu patru ori folosind arhitectura U-Net prezentată în Fig. 2. Cele trei modele cu cele mai bune performanțe pe setul de validare au fost combinate ca model de ansamblu final. Rezultatul a fost generat de votul majoritar al celor trei segmente de margine și de bază. O diagramă a modelului de ansamblu final este prezentată în Fig. 4.
Model final: post-procesare
Din rezultatele modelului inițial, s-a observat că, datorită rezoluției mai scăzute a imaginii pe axa Z, unele miezuri de chisturi au fost conectate la chisturi posterioare/anteriore. Pentru a îmbunătăți conversia de la segmentarea semantică la cea de instanță și știind că chisturile au o formă similară cu o sferă, am calculat mai întâi harta distanței euclidiene 3D pe segmentarea nucleelor. Apoi, algoritmul 3D Watershed a fost aplicat pentru a împărți orice chisturi care ar putea să nu fie separate de segmentarea marginii. În continuare, cu obiectivul de a păstra miezurile de chist compuse în principal din câțiva voxeli care s-ar putea pierde după algoritmul Watershed, a fost aplicat un algoritm de componente conectate cu 6-conectivitate cu cel mai apropiat vecin la diferența dintre harta nucleului prezisă și 3D. Ieșire bazin hidrografic. Etichetele segmentării instanțelor componentelor conectate 3D au fost atribuite începând de la unu plus ultima etichetă din ieșirea 3D Watershed. Apoi, segmentarea instanței componentelor conectate a fost adăugată la segmentarea instanței bazinului hidrografic. În cele din urmă, toate cazurile de chist au fost dilatate în 3D de un element de structurare conectat 3 × 3 × 3 voxel 6-. Ultimul pas de post-procesare a fost eșantionarea imaginii la forma sa originală.
Analize statistice
Modelul inițial și al ansamblului a fost evaluat prin compararea segmentelor de chist instant automate cu segmentele de chist standard de referință 3D. Segmentările instanțelor au fost binarizate pentru compararea voxelului folosind indicele Jaccard, coeficientul Sorensen-Dice, precizia, reamintirea și modificarea volumului relativ absolut. TCV-urile, calculate ca suma tuturor voxelilor segmentați înmulțită cu volumul voxelului, au fost evaluate prin analiza Bland-Altman și regresia liniară. Numărul total de chisturi a fost evaluat folosind regresia liniară. În cele din urmă, indicele chistic, definit ca procent din volumul chistului peste totalrinichivolumul, a fost evaluat printr-o analiză Bland-Altman și regresie liniară. Analiza statistică a fost efectuată utilizând JMP (JMP, versiunea 14) și MedCalc (MedCalc Statistical Software, versiunea 19.1.3).
Rezultate
Model inițial: Set de testare cu 5 cazuri—Segmentarea chistului
Rezultatele TCV-urilor calculate din segmentarea efectuată de Reader 1, Reader 2 și cele obținute automat cu modul inițial (ordonate pe baza TKV crescător) sunt observate în Tabelul 1. Analiza Bland-Altman a dus la o prejudecată și precizie de − 8,9 la sută ±7.0 procente între Reader 1 și Reader 2, 0,9 la sută ±32,2 la sută între Reader 1 și modelul inițial și 9,5 la sută ± 30,8 la sută între Reader 2 și modelul inițial .
Model inițial: Set de testare în 5 cazuri—Analiza numărului de chisturi
Numărul total de chisturi a fost K1, 102, 115, 224; K2, 96, 99, 105; K3, 274, 178, 183; K4, 676, 755, 721; și K5, 279, 177, 145 chisturi, pentru Readers 1, 2 și, respectiv, modelul inițial. Analiza de regresie liniară a dus la R2=0.94 între Reader 1 și Reader 2, R{2=0.82 între Reader 1 și modelul inițial și R{2=0.96 între Reader 2 și modelul initial.
O secțiune reprezentativă din trei cazuri de testare care arată diferențele dintre Reader 1, Reader 2 și modelul inițial este prezentată în Fig. 5. Săgețile galbene indică chisturi care au fost segmentate diferit între cititori sau între cititori și metoda automată. În cele mai multe cazuri, modelul a atribuit o etichetă chisturilor grupate. Săgeata roșie arată o diferență între Reader 1 și Reader 2, unde Reader 1 a exclus, intensitatea strălucitoare este văzută ca parte a pelvisului renal, dar Reader 2 a interpretat zona ca un chist.
Model final: Set de testare cu 20 de cazuri—Segmentarea chistului
Tabelul 3 rezumă valorile de similitudine dintre Reader 1, Reader 2 și modelul final pentru 20-setul de teste de caz. Am observat că valorile de similaritate dintre Reader 1 și Reader 2 arată o concordanță mai mare în comparație cu rezultatele din 5-setul inițial de teste de caz. Acest lucru ar putea fi cauzat de un efect de părtinire, deoarece ambii cititori au pornit de la o segmentare inițială a instanței generată de modelul inițial. În plus, am observat performanțe similare între modelul final și ambii cititori, ținând cont de faptul că setul de testare include o gamă largă de fenotipuri ADPKD.
Analiza Bland-Altman a TCV a dus la o prejudecată și o precizie de 12,5 la sută ± 10,1 la sută între Reader 1 și Reader 2, 10,2 la sută ± 11,2 la sută între Reader 1 și modelul de ansamblu, − 2,3 la sută ± 9,9 la sută între Reader 2 și model de ansamblu și 4,3 la sută ± 9,3 la sută între media Reader 1 cu Reader 2 și modelul de ansamblu. Analiza de regresie liniară a dus la acordul perfect (R2=1.00) între Reader 1 și modelul de ansamblu, Reader 2 și modelul de ansamblu și media cititorului cu modelul de ansamblu. Analiza de regresie între Reader 1 și Reader 2 a arătat o corelație aproape perfectă cu R2=0.98. Figura 6 prezintă diagramele de regresie Bland-Altman și liniară pentru TCV.
Analiza Bland-Altman a indicelui chistic a dus la o prejudecată și o precizie de 12,6% ± 10,5% între Reader 1 și Reader 2, 10,2% ± 11,2% între Reader 1 și modelul de ansamblu, − 2,4% ± 9,8% între Reader 2 și modelul de ansamblu și 4,3 la sută ± 9,4 la sută între media cititorilor și modelul de ansamblu. Cea mai bună corelație a indicelui chisturilor a fost între media ambilor cititori și modelul de ansamblu (R2=0.94). Analiza de regresie liniară a rezultat R2=0.90 între Reader 1 și Reader 2, R{2=0.92 între Reader 1 și modelul de ansamblu, R{2=0.90 între Reader 2 și ansamblu model. Figura 7 prezintă diagramele de regresie Bland-Altman și liniară pentru indicele chistic.
Model final: Set de testare cu 20 de cazuri — Analiza numărului de chisturi
Numărul total de chisturi obținute în urma segmentărilor de chisturi de instanță a fost analizat prin corelație (Fig. 8). Reader 2 și modelul de ansamblu au arătat cea mai puternică corelație cu un R2=0.96, unde modelul a detectat puțin mai multe chisturi decât Reader 2. Comparația dintre Reader 1 și modelul de ansamblu final arată o concordanță bună (R{{6} }.88), unde Reader 2 a identificat mai multe chisturi decât modelul de ansamblu pentru majoritatea cazurilor. Cu toate acestea, numărul mediu de chisturi inter-observatori a arătat o concordanță excelentă cu numărul de chisturi model de ansamblu (R2=0.94) (Fig. 8d). În cele din urmă, comparația dintre Reader 1 și Reader 2 a arătat cel mai scăzut acord cu un R2=0.83, unde Reader 1 a identificat mai multe chisturi decât Reader 2.
O porțiune reprezentativă din trei cazuri de testare este prezentată în Fig. 9. Putem observa că metoda automată oferă o bună segmentare a instanțelor pentru cazurile de ADPKD cu chisturi multiplă (care sunt cele mai provocatoare cazuri pentru algoritm) și rezultatele se uită vizual. la fel cu segmentările de instanță de la cei doi cititori.
În cele din urmă, o comparație între TKV (adică, principalul biomarker imagistic pentru evaluarea ADPKD) și TCV și numărul de chisturi este prezentată în Fig. 10. Analiza de regresie liniară arată că 98% din variația TCV este explicată prin asocierea sa liniară cu TKV; cu toate acestea, doar 53 la sută din variația numărului de chisturi se explică prin asocierea sa liniară cu TKV. Acest lucru oferă dovezi că numărul de chisturi poate oferi informații fenotipice suplimentare dincolo de TKV.
Discuţie
În acest studiu, prezentăm prima abordare de învățare profundă pentru a segmenta mai multe cazuri de chisturi grupate în imagini RM pentru pacienții cu ADPKD. Comparația dintre TCV prezis, numărul de chisturi și indicele chistic cu rezultatele de la doi cititori a arătat că o abordare automată poate produce segmentări precise de chisturi 3D.
Modelele de învățare profundă necesită cantități mari de date pentru a produce cele mai bune rezultate. Lipsa imaginilor adnotate 3D a fost un blocaj major la începutul studiului. Cele 5 imagini segmentate manual din setul de testare inițial au necesitat câteva săptămâni pentru a fi finalizate și au fost foarte laborioase. Cele mai provocatoare imagini sunt cele de la pacienții cu ADPKD avansate/severe, în care chisturile multiple sunt grupate împreună și limitele nu sunt la fel de definite ca atunci când chisturile sunt înconjurate derinichiparenchim. Pentru a depăși acest obstacol, studiul a fost împărțit în două secțiuni pentru a rezolva această problemă prin învățarea activă. Prima parte a studiului a inclus un model inițial antrenat pe un set de date mic. A doua parte a studiului a inclus dezvoltarea modelului final folosind un set de date mai mare, unde standardul de referință a fost inițializat de modelul inițial.
Rezultatele acestui studiu sunt la egalitate cu rezultatele obținute de Bae și colab. [33], unde a propus o metodă semi-automatizată pentru a genera segmentări ale chistului. Prejudecățile TCV raportate folosind segmentarea semi-automatizată în comparație cu un volum bazat pe regiune a fost de -9 la sută cu un R2=0.98 pentru numărul de chisturi. În studiul nostru, distorsiunea TCV între cititori și metoda complet automatizată a fost de 10,2 la sută și, respectiv, -2,3 la sută, cu un R2=0.94 pentru numărul de chisturi. Este de menționat că setul de testare din studiul nostru a inclus cazuri cu TCV mai mare și un număr mai mare de chisturi, iar modelul de ansamblu propus nu necesită nicio intervenție a utilizatorului.
Chisturile din imaginile RM pot fi prezentate cu intensități diferite în funcție de compoziția chistului. Cele mai multe chisturi din ADPKD sunt chisturi simple (adică, nu conțin componente solide) și sunt afișate ca regiuni hiperintense pe imaginile RM ponderate T2-. Chisturile complicate (de exemplu, chisturi proteice, hemoragice, infectate), totuși, sunt adesea văzute ca regiuni hipointense [38]. O altă sursă de diferență în intensitatea chistului este observată în funcție de intensitatea câmpului magnetic al scanerului MR. Scanerele de trei tesla au o putere mai mare a câmpului magnetic și oferă SNR mai mare, astfel încât o calitate mai bună a imaginii și un contrast de chist. Pentru a oferi o segmentare precisă a chistului, este necesară metoda automată
să fie invariant de intensitate. În scopul creșterii generalizării modelului, modelul de ansamblu final a fost antrenat pe imagini achiziționate cu scanere MR 1.5-T și 3-T. Mai mult, am inclus imagini care prezintă chisturi complicate într-o gamă largă de fenotipuri ADPKD și imagini cu rezoluții diferite. În plus, cohorta a inclus cazuri cu TKV-uri variind de la volume apropiate de cele normalerinichi(~ 290 ml) până la cazuri care ajung la aproape 10,000 ml, ceea ce acoperă practic întreaga gamă de televizoare în ADPKD. Două exemple de generalizare îmbunătățită a modelului de ansamblu față de modelul inițial pot fi observate în Fig. 11, unde modelul final a fost capabil să identifice chisturile cu intensități mai mici.
The conversion from instance cyst segmentation to semantic edge-core segmentation for training the model is another key step, particularly for clustered cysts. The semantic edge segmentation for the initial model was generated by applying a dilation morphology operator. This approach was chosen because some cysts are present on only one slice and an erosion approach would not preserve these cysts after the conversion. The dilation method provided a good estimation of the cyst edges on the in-plane view (x and y view) but, due to the lower resolution on the Z dimension, the posterior and anterior cyst edges interfered with adjacent cysts. For the final model, we decided to generate the semantic edge segmentation applying the erosion morphology operator. To preserve all cysts, the MR images and the corresponding instance segmentations were interpolated to a size 512 × 512 × 3Z. Thus, cysts present on only one slice would be interpolated to 2 additional slices. We up-sampled the images with an in-plane matrix size of 256 × 256 to 512 × 512 because the ensemble model requires a consistent input matrix size. To account for the higher class imbalance (core class >>edge class) datorită interpolării, am efectuat o dilatare 2D a marginilor. Conservarea îmbunătățită a TCV și a numărului de chisturi ale abordului de eroziune față de abordul de dilatare poate fi observată în Fig. 12.
Designul modelului final a inclus ansamblul de vot a trei modele diferite. Aceste modele au fost primele trei modele cu cele mai bune performanțe din setul de validare obținut prin metoda de validare încrucișată a patru ori. Modelul de ansamblu cu algoritmul de vot majoritar a fost implementat deoarece ansamblurile de vot se caracterizează prin a fi mai stabile și au performanțe mai bune decât modelele individuale [36]. Rezultatele acordului dintre modelele individuale, modelul de ansamblu și cititori pot fi găsite în secțiunea de materiale suplimentare.
O limitare a imagistică RM este rezoluția scăzută pentru a arăta microchisturile. Volumul mediu de voxel din acest studiu a fost de {{0}}.{0076 ± 0,0034 ml. Cu toate acestea, datorită zgomotului inerent prezent pe imaginile RM (adică zgomotul de sare și piper), am implementat un prag mai mic de dimensiunea chistului de 4 voxeli (diametrul mediu în plan 2,76 ± 0,48 mm) după post-procesare.
Abordările de detectare a obiectelor pentru a efectua segmentarea instanțelor pentru instanțele suprapuse și grupate devin din ce în ce mai populare datorită performanței lor ridicate pe imagini medicale naturale și 2D [18–26]. Cu toate acestea, cerințele mari de memorie GPU fac această abordare imposibil de implementat pentru imaginile 3D cu un număr mare de instanțe. Liu și colab. [27] a implementat un model bazat pe Mask R-CNN pentru segmentarea nodulilor pulmonari pe imagini CT. Deși nodulii pulmonari nu sunt prezenți în aceeași cantitate ca chisturile în ADPKD, Liu et. al folosit o strategie bazată pe patch-uri pentru a ține seama de dimensionalitatea scanărilor CT și de memoria limitată a GPU-ului. Într-un efort de a reduce complexitatea computațională, unii cercetători au folosit metode similare cu teorema celor 4 culori pentru antrenarea algoritmului de învățare profundă pentru a prezice segmentarea instanțelor 2D [39]. Deși această abordare funcționează bine pentru imaginile 2D, nu este clar să știm câte culori ar fi necesare pentru imaginile 3D, în special pentru problema noastră de a identifica automat și de a distinge separat sute până la mii de chisturi. În acest studiu, am folosit o abordare de segmentare a instanțelor semantice, care a funcționat foarte asemănător cu doi cititori experimentați și, deși, am folosit operatori de morfologie pentru a converti imaginile de la segmentarea semantică la semantică și la segmentarea semantică la instanță, am arătat că aceste operații nu au un efect asupra volumului final al chistului și asupra numărului total de chisturi. Dezvoltarea viitoare a strategiilor de segmentare a instanțelor poate reduce necesitatea unor astfel de cerințe mari de memorie și poate duce la implementarea segmentării instanțelor de chist folosind o metodă bazată pe localizarea/detecția obiectelor.
Principala limitare a studiului a fost lipsa unui standard de aur. Numărul exact de chisturi și valorile TCV nu au fost disponibile; astfel, ne-am bazat pe acuratețea a doi cititori de imagini medicale instruiți. O altă limitare a fost dimensiunea mică a cohortei, care ne-a împiedicat să analizăm valoarea clinică a acestor noi biomarkeri imagistici; cu toate acestea, acesta este obiectivul nostru principal pentru lucrările viitoare. În sfârșit, imaginile au fost doar de la instituția noastră achiziționate cu același protocol imagistic. Un set de date mai mare cu mostre de la diferite instituții și furnizori de mașini ar putea ajuta la generalizarea în continuare a modelului de instanță de chist. În plus, această activitate poate fi extinsă prin învățarea activă la alte secvențe RM, cum ar fi imaginile saturate fără grăsimi ponderate T{2-și imaginile cântărite T1-, care pot adăuga noi informații despre morfologia chistului la model. Mai mult, o arhitectură similară ar putea fi aplicată și altor modalități de imagine, cum ar fi scanările CT.
Concluzii
Am dezvoltat o metodă complet automatizată pentru segmentarea instanțelor 3D a chisturilor renale în imagini RM T2 pentru pacienții cu ADPKD cu boală ușoară, moderată și severă. Sunt necesare studii viitoare cu un set de date mai mare pentru a înțelege mai bine modul în care acești biomarkeri suplimentari se leagă de starea bolii și prognosticul pacientului.
Declarații
Conflict de intereseAutorii nu declară interese concurente.
Acces deschisAcest articol este licențiat în baza unei licențe internaționale Creative Commons Atribution 4.0, care permite utilizarea, partajarea, adaptarea, distribuirea și reproducerea în orice mediu sau format, atâta timp cât acordați credit corespunzător autorilor originali. ) și sursa, furnizați un link către licența Creative Commons și indicați dacă s-au făcut modificări. Imaginile sau alte materiale de la terți din acest articol sunt incluse în licența Creative Commons a articolului, cu excepția cazului în care se indică altfel într-o linie de credit a materialului. Dacă materialul nu este inclus în licența Creative Commons a articolului și utilizarea dorită nu este permisă de reglementările legale sau depășește utilizarea permisă, va trebui să obțineți permisiunea direct de la deținătorul drepturilor de autor.
Referințe
1. Willey C, Kamat S, Stellhorn R, Blais J: Analiza datelor la nivel național pentru a determina incidența și prevalența diagnosticată a bolii polichistice de rinichi autosomal dominante în SUA: 2013–2015. Boli de rinichi 5:107-117, 2019
2. Torres VE, Harris PC, Pirson Y: Boală polichistică renală autozomal dominantă. The Lancet 369:1287-1301, 2007
3. Perrone RD, et al.: Volumul total al rinichilor este un biomarker de prognostic al declinului funcției renale și al progresiei către boală renală în stadiu terminal la pacienții cu boală renală polichistică autosomal dominantă. Kidney Int rep 2:442-450, 2017
4. Alam A, și colab.: Volumul total al rinichilor în boala renală polichistică autozomal dominantă: un biomarker al progresiei bolii și al eficacității terapeutice. Am J Kidney Dis 66:564-576, 2015
5. Tangri N, Hougen I, Alam A, Perrone R, McFarlane P, Pei Y: Volumul total al rinichilor ca biomarker al progresiei bolii în boala polichistică renală autosomal dominantă. Can J Kidney Health Dis 4:2054358117693355, 2017
6. Harris PC, et al.: Numărul de chisturi, dar nu și rata creșterii chistice, este asociat cu gena mutantă în boala polichistică renală autosomal dominantă. J Am Soc Nephrol 17:3013-3019, 2006
7. Irazabal MV, și colab.: Clasificarea imagistică a bolii polichistice renale autosomal dominante: un model simplu pentru selectarea pacienților pentru studiile clinice. J Am Soc Nephrol 26:160-172, 2015
8. Bae KT, et al.: Clasificarea extinsă de imagistică a bolii renale polichistice autosomale dominante. J Am Soc Nephrol, 2020
9. Qi CR, Su H, Mo K, Guibas LJ: Pointnet: Deep learning on point sets for 3d classification and segmentation. Proc. Prezentat la Reuniunea anuală CVPR2017
10. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-Rodriguez J: O revizuire a tehnicilor de învățare profundă aplicate la segmentarea semantică. arXiv preprint, 2017
11. Gupta A, Vedaldi A, Zisserman A: Date sintetice pentru localizarea textului în imagini naturale. Proc. Prezentat la Reuniunea anuală CVPR2017
12. Litjens G, et al.: Un sondaj privind învățarea profundă în analiza imaginilor medicale. Med Image Anal 42:60-88, 2017
13. Sharma K, și colab.: Segmentarea automată a rinichilor folosind Deep Learning pentru cuantificarea volumului total al rinichilor în boala polichistică de rinichi autosomal dominantă. Sci Rep 7:2049, 2017
14. Turco D, Valinoti M, Martin EM, Tagliaferri C, Scolari F, Corsi C: Fully automated segmentation of polycystic kidneys from non-contrast computed tomography: A feasibility study and
rezultate preliminare. Acad Radiol 25:850-855, 2018
15. Kline TL, și colab.: Performanța unei rețele neuronale profunde artificiale multi-observatori pentru segmentarea completă automată a rinichilor polichistici. J Digit Imaging 30:442-448, 2017
16. van Gastel MD, Edwards ME, Torres VE, Erickson BJ, Gansevoort RT, Kline TL: Măsurarea automată a volumelor rinichilor și ficatului din imagini MR ale pacienților afectați de boală polichistică renală autosomal dominantă. J Am Soc Nephrol 30:1514-1522, 2019
17. He K, Gkioxari G, Dollár P, Girshick R: Mask r-cnn. Proc. Proceedings of the IEEE International Conference on computer vision
18. Prabhakar G, Kailath B, Natarajan S, Kumar R: Detectarea și clasificarea obstacolelor folosind învățarea profundă pentru urmărire în conducerea autonomă de mare viteză. Proc. Simpozionul 2017 IEEE Regiunea 10 (TENSYMP)
19. Huang Z, Zhong Z, Sun L, Huo Q: Mască R-CNN cu rețea de atenție piramidală pentru detectarea textului scenei. Proc. 2019 IEEE Winter Conference on Applications of Computer Vision (WACV)
20. Yu Y, Zhang K, Yang L, Zhang D: Detectarea fructelor pentru robotul de recoltare de căpșuni într-un mediu non-structural bazat pe Mask-RCNN. Comput Electron Agric 163:104846, 2019
