Performanța algoritmilor de învățare automată pentru prezicerea progresiei spre demență la pacienții clinicii de memorie

Contact: Audrey Hu Whatsapp/hp: 0086 13880143964 E-mail:audrey.hu@wecistanche.com

Charlotte James, Ph.D.; Janice M. Ranson, Ph.D.; Richard Everson, Ph.D.; David J. Llewellyn, PhD

Abstract

IMPORTANȚĂ: algoritmii de învățare automată ar putea fi folosiți ca bază pentru ajutoarele clinice de luare a deciziilor pentru a îmbunătăți practica clinică. OBIECTIV Evaluarea capacității algoritmilor de învățare automată de a prezice incidența demenței în decurs de 2 ani în comparație cu modelele existente și determinarea abordării analitice optime și a numărului de variabile necesare. PROIECTARE, CONFIGURARE ȘI PARTICIPANȚI: Acest studiu de prognostic a folosit date de la o cohortă prospectivă de 15 307 participanți fără demență la momentul inițial pentru a efectua o analiză secundară a factorilor care ar putea fi utilizați pentru a prezice incidența demenței. Participanții au participat la Centrul Național de Coordonare Alzheimermemorieclinici din Statele Unite între 2005 și 2015. Analizele au fost efectuate din martie până în 2 mai021. EXPUNERI: 258 de variabile care acoperă domeniile de măsuri clinice legate de demență și factori de risc. REZULTATE ȘI MĂSURI PRINCIPALE: Rezultatul principal a fost demența incidentă de toate cauzele diagnosticată în decurs de 2 ani de la evaluarea inițială. REZULTATE: Într-un eșantion de 15 307 participanți (vârsta medie [SD], 72,3 [9,8] ani; 9129 [60 la sută] femei și 6178 [4{0 la sută] bărbați) fără demență la momentul inițial, 1568 (10 la sută) au primit un diagnostic de demență în decurs de 2 ani de la evaluarea inițială. În comparație cu 2 modele existente pentru predicția riscului de demență (adică, Factorii de risc cardiovascular, îmbătrânirea și Incidența Scorului de risc de demență și Indicatorul de screening pe scurt pentru demență), algoritmii de învățare automată au fost superiori în prezicerea incidentelor de demență de toate cauzele în decurs de 2 ani. Algoritmul de arbori măriți cu gradient a avut o precizie generală medie (SD) de 92 la sută (1 la sută), o sensibilitate de 0,45 (0,05), o specificitate de 0,97 (0,01) și o zonă sub curba de 0,92 (0,01) folosind toate cele 258. variabile. Analiza de importanță variabilă a arătat că doar 6 variabile erau necesare pentru ca algoritmii de învățare automată să obțină o precizie de 91 la sută și o zonă sub curba de cel puțin 0,89. Algoritmii de învățare automată au identificat, de asemenea, până la 84% dintre participanții care au primit un diagnostic inițial de demență, care a fost ulterior inversat la o deficiență cognitivă ușoară sau nedeteriorată din punct de vedere cognitiv, sugerând un posibil diagnostic greșit. CONCLUZII ȘI RELEVANȚA: Aceste constatări sugerează că algoritmii de învățare automată ar putea prezice cu acuratețe demența incidentă în decurs de 2 ani la pacienții care primesc îngrijire lamemorieclinici folosind doar 6 variabile. Aceste constatări ar putea fi utilizate pentru a informa dezvoltarea și validarea mijloacelor de luare a deciziilor înmemorieclinici.

Introducere

Mulți pacienți evaluați în cadre de specialitate, cum ar fimemorieclinici, nu au demență atunci când merg pentru prima dată.1 Este importantă diferențierea între pacienții care dezvoltă demență într-un interval de timp relevant din punct de vedere clinic și cei care rămân fără demență, deoarece această perspectivă poate fi folosită pentru a acorda prioritate pacienților pentru investigațiile de urmărire. si interventii. Identificarea pacienților cu risc crescut de a dezvolta demență este o provocare pentru medici. O abordare este să se concentreze asupra celor care au deficiență cognitivă ușoară (MCI) atunci când sunt evaluați inițial și să îi invite pe acești pacienți pentru urmărire. Cu toate acestea, acest lucru poate duce la o clasificare greșită considerabilă pentru pacienții care nu sunt vizați pentru urmărire, dar care dezvoltă demență și pacienții care sunt vizați pentru investigații ulterioare, dar nu dezvoltă demență.

Cel maimemoriepacienții clinici cu MCI nu progresează la demență nici după 10 ani, cu o rată anuală de conversie de 9,6 la sută.2 Ajutoarele clinice pentru luarea deciziilor pot îmbunătăți capacitatea clinicienilor de a estima debutul demenței. Ajutoarele clinice existente pentru luarea deciziilor sunt disponibile pentru a estima incidența pe termen mediu și lung a demenței la diferite populații. De exemplu, Scorul de risc pentru factorii de risc cardiovascular, îmbătrânirea și incidența demenței (CAIDE)3 a fost conceput pentru a prezice riscul de a dezvolta demență în 20 de ani pentru persoanele de vârstă mijlocie, iar indicatorul de screening pentru demență pe scurt (BDSI)4 are ca scop identificarea persoanelor în vârstă. pacienții să vizeze screening-ul cognitiv prin determinarea riscului lor de a dezvolta demență în 6 ani. Cu toate acestea, din cunoștințele noastre, nu a fost dezvoltat niciun ajutor clinic pentru luarea deciziilor care să prezică incidența demenței înmemorieclinici pe o perioadă mai scurtă relevantă din punct de vedere clinic. Învățarea automată (ML) permite valorificarea informațiilor din seturi de date mari și complexe. Recent, a fost aplicat pentru diagnosticarea demenței și predicția riscurilor.5-9

Cu toate acestea, aceste modele încorporează adesea informații care nu sunt disponibile în mod obișnuit în practica clinică de rutină, cum ar fi neuroimagini avansate, teste genetice și biomarkeri ai lichidului cefalorahidian, limitând aplicarea clinică la setările de specialitate sau de cercetare. Am investigat dacă tehnicile ML pot fi utilizate pentru a prezice incidența demenței pe o perioadă de 2-an folosindmemoriedatele clinice de la Centrul Național de Coordonare al Alzheimer al SUA (NACC). De asemenea, am examinat setul minim de variabile necesare pentru ca modelele ML să atingă performanța de diagnosticare completă.

Metode

Studiul NACC a primit aprobarea etică din partea consiliului de evaluare instituțional al fiecărui site înainte de a putea contribui cu date, iar toți participanții au furnizat consimțământul informat în scris. Acest studiu de prognostic a fost considerat scutit de aprobarea etică instituțională, deoarece am folosit date de-identificate colectate anterior. Datele utilizate în acest studiu sunt disponibile prin cererea de date către NACC. Acest studiu este raportat în conformitate cu ghidul de raportare Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD). Datele au fost analizate din martie până în mai 2021.

Eșantion de studiu

Am folosit date colectate anterior din Setul Uniform de Date (UDS) NACC.10 UDS conține date prospective de cohortă de la programul Centrului National pentru Îmbătrânire Alzheimer al Institutului Național al Îmbătrânirii Alzheimer pentru cercetarea colaborativă multicentrică privind boala Alzheimer și alte tulburări neurodegenerative.11 Setul nostru de date constă în de date clinice de memorie colectate între septembrie 2005 și februarie 2015 de la 30 de centre pentru boala Alzheimer situate în Statele Unite. Setul de date include caracteristicile sociodemografice ale participanților și coparticipanților, antecedentele familiale, starea funcțională,12 simptome comportamentale (evaluate cu rezultatele chestionarului de inventar neuropsihiatric13), baterie de teste neuropsihologice14 și diagnosticul de demență clinică NACC, atribuit de fiecare Centru al bolii Alzheimer utilizând criteriile de diagnostic clinic publicate. pe baza evaluării clinice standardizate UDS. Detaliile criteriilor de diagnostic adoptate prin protocolul UDS și ghidurile asociate au fost publicate anterior.15

Am folosit versiunile UDS 1 și 2, care includ 32 573 participanți la clinica de memorie cu o evaluare de bază. Deși modelele noastre sunt concepute pentru a prezice incidența demenței în decurs de 2 ani, pentru a ține cont de variația timpului dintre programările de urmărire, am inclus urmărirea care a avut loc în decurs de 29 de luni de la vizita inițială pentru a ne asigura că vizita a fost fie prima, fie prima. a doua programare de urmărire.

Variabila de rezultat

Variabila rezultatului a fost diagnosticul incident de demență de toate cauzele în decurs de 29 de luni (aproximativ 2 ani) de la evaluarea inițială. Aceasta include subtipuri de demență, cum ar fi demența Alzheimer, demența cu corpi Lewy, demența vasculară și alte subtipuri mai rare. Demența Alzheimer a fost diagnosticată conform criteriilor NINCSD-ADRDA16, demența vasculară a fost diagnosticată conform criteriilor NINDS-AIREN17, demența cu corp Lewy (LBD) a fost diagnosticată conform celui de-al treilea raport al criteriilor Consorțiului Dementa cu corpi Lewy18 și demența frontotemporală. a fost diagnosticat după criteriile lui Neary și colegii din 1998.19

Candidați predictori

Am inclus toate variabilele relevante din punct de vedere clinic colectate în timpul vizitei inițiale în versiunile 1 și 2 ale UDS (eTabelul 1 din supliment). Am exclus variabilele cu valori de text liber, cum ar fi numele medicamentelor și variabilele care au fost constante pentru toți participanții, cum ar fi numărul de vizite. Au fost generate patru variabile sintetice pentru a ajuta la evaluarea importanței variabilei (aceste variabile ar trebui să fie clasate jos); 3 dintre aceste variabile au fost permutări ale variabilelor existente (1 variabilă binară, 1 variabilă categorică și 1 variabilă numerică), iar 1 variabilă a fost generată aleatoriu dintr-o distribuție normală. Acest lucru a dus la un total de 258 de variabile.

Variabilele din UDS încorporate în modelele noastre includ caracteristicile demografice ale participanților (15 variabile), caracteristicile demografice ale coparticipanților (7 variabile), antecedentele familiale (3 variabile), istoricul medical (47 variabile), medicamentele (21 variabile), fizice (12 variabile). ) și rezultatele examinărilor neurologice (4 variabile), Unified Parkinson Disease Rating Scale20 (UDPRS) (28 de variabile), Clinical Dementia Rating (CDR) scala21 (8 variabile), starea funcțională (10 variabile), baterie de teste neuropsihologice (50 de variabile) , Scala de depresie geriatrică (17 variabile) și o evaluare clinică a simptomelor (32 de variabile). Dintre aceste variabile, 239 (93 la sută) au lipsit pentru cel puțin 1 participant și toți participanții au lipsit cel puțin o variabilă.

Dezvoltarea modelului

Am implementat 4 algoritmi ML22: regresie logistică (LR), 23 mașină vectorială suport (SVM), 24 pădure aleatoare (RF), 25,26 și arbori cu gradient (XGB)27 (eMetode în supliment). Acești algoritmi îndeplinesc o sarcină de clasificare: ei determină dacă un participant se încadrează în clasa 0 (se estimează că va rămâne fără demență la 29 de luni de la momentul inițial) sau clasa 1 (se prevede că va avea demență incidentă în 29 de luni de la momentul inițial). Clasificarea se bazează pe variabilele înregistrate la prima vizită (de referință) la clinică de memorie. Pentru a implementa algoritmii ML, am folosit biblioteca Python sci-kit-learn (Python Software Foundation),28 cu 5-validare încrucișată (eMethods în Supliment). Valorile lipsă au fost imputate prin eșantionare cu înlocuire cu valorile care nu lipsesc. Toate procesarea și analiza datelor au fost implementate în versiunea Python 3.9, versiunea NumPy 1.19.4 și versiunea sci-kit-learn 0.24.0.

Analize statistice

Evaluarea modelului

Am evaluat performanța tuturor modelelor comparând acuratețea generală, sensibilitatea și specificitatea acestora pentru pragurile de decizie prespecificate în literatură (modele existente) sau un prag de 0.5 (modele ML), care ponderează în mod egal fals-pozitiv. și erori fals-negative. Aria de sub curba caracteristică de funcționare a receptorului (AUC)29 a fost utilizată pentru a rezuma performanța modelului peste toate pragurile posibile și, astfel, ponderile erorilor de clasificare greșită.30 Măsurile de performanță medie și SD-urile au fost obținute prin bootstrapping (eMethods din Supliment).

Comparație cu modelele existente

BDSI și CAIDE sunt modele existente de predicție a riscului de demență care atribuie pacienților un scor reprezentând riscul lor de a dezvolta demență pe perioade de timp mai lungi. Pentru a obține scorurile de risc BDSI și CAIDE, am selectat variabilele din UDS care corespund cel mai mult cu variabilele utilizate anterior (eTabelul 2 din supliment). Performanța modelelor noastre ML a fost comparată cu cea a BDSI și CAIDE pentru estimarea incidenței demenței pe 2-an.

Performanța modelului în subtipurile de demență

Demența poate avea o varietate de cauze, corespunzătoare diferitelor subtipuri de demență. Pentru a evalua capacitatea modelelor ML de a identifica diferite subtipuri de demență, am împărțit cazurile incidente de demență în demență Alzheimer, LBD, demență vasculară și alte subtipuri de demență. Folosind aceste 4 stratificări, am calculat procentul de participanți clasificați corect (rata adevărat-pozitivă) și am comparat curbele ROC pentru fiecare model ML.

Investigarea stabilității diagnosticului

Se știe că diagnosticul clinic al demenței încorporează pacienți care sunt inițial diagnosticați greșit (efectiv, erori fals pozitive și fals negative).31 Definim reversia ca atunci când un participant care a fost diagnosticat cu demență până la 2 ani după prima vizită la clinica de memorie. și ulterior primește un diagnostic de lipsă de demență (fie MCI sau cogniție nedeteriorată) în decurs de 2 ani de la diagnosticul lor de demență. Raționând că aceste reversiuni sunt diagnostice instabile și probabil să fi fost rezultatul unui diagnostic greșit al demenței, am investigat acuratețea clasificării modelelor ML într-un eșantion de participanți cu reversie (eMethods în supliment). Am folosit funcția de distribuție cumulativă (CDF) a scorurilor de clasificare rezultate de fiecare model ML pentru a compara participanții cu reversie cu pacienții care au dezvoltat demență și pacienții care au rămas fără demență.

Rezultate

După excluderea {{0}} participanților cu un diagnostic de demență la momentul inițial, 4557 participanți care nu au avut date de urmărire și 573 participanți care au avut prima urmărire la mai mult de 29 de luni după prima vizită , eșantionul analitic final a conținut 15 307 participanți (vârsta medie [SD], 72,3 [9,8] ani; 9129 [60 la sută ] femei și 6178 [40 la sută ] bărbați). Caracteristicile eșantionului sunt prezentate în Tabelul 1. În 2 ani de la momentul inițial, 1568 de participanți (10 la sută) au primit un diagnostic de demență. Din 1568 de participanți care au primit un diagnostic de demență, 273 (17 la sută) au fost diagnosticați de un singur medic clinician și 1216 (78 la sută) au fost diagnosticați de un grup de consens; pentru 79 de participanți (5 la sută), sursa diagnosticului nu a fost specificată. Măsurile cheie de performanță care evaluează puterea predictivă a fiecărui model sunt prezentate în Tabelul 2. În comparație cu modelele existente, modelele ML au fost superioare în capacitatea lor de a prezice dacă un individ va dezvolta demență în decurs de 2 ani și au depășit modelele existente la toate măsurile. Toate modelele ML au funcționat la fel de bine, XGB având cea mai mare putere atunci când este măsurată prin precizie generală (92 la sută) și AUC (media [SD], 0,92 [0,01]). Curba caracteristică de funcționare a receptorului pentru fiecare model demonstrează asemănarea dintre modelele ML și superioritatea acestora față de cele 2 modele de risc existente (Figura 1).

Performanța modelului în subtipurile de demență

Pentru a evalua performanța modelului ML în diferite subtipuri de demență, am împărțit populația în 4 subtipuri de demență: demență Alzheimer (1285 participanți), LBD (82 participanți), demență vasculară (21 participanți) și alte subtipuri de demență (180 participanți). Modelul LR a fost cel mai bun la identificarea demenței Alzheimer și a altor subtipuri, clasificând corect 589 de participanți (46 la sută) cu demență Alzheimer și 99 de participanți (55 la sută) cu alte subtipuri. Modelul SVM a avut cele mai bune rezultate la participanții cu LBD, clasificând corect 40 de participanți (49 la sută). Toate modelele au clasificat corect 7 participanți (33 la sută) cu demență vasculară. Curbele caracteristice de funcționare ale receptorului demonstrează că toate modelele au funcționat aproximativ la fel de bine pe fiecare subtip (eFigura 1 din supliment).

.

Investigarea numărului minim de variabile

Un potențial dezavantaj al utilizării unei abordări ML este numărul mare de variabile implicate. Pe măsură ce numărul de variabile cerute de un model crește, implementarea într-un cadru clinic devine mai puțin practică și interpretabilitatea modelului este afectată. Pentru a evalua câte variabile necesită fiecare model ML pentru a obține puterea predictivă echivalentă cu ceea ce am găsit folosind toate cele 258 de variabile (Tabelul 2), am evaluat modul în care AUC a variat în funcție de numărul de variabile incluse în modele. Mai exact, am clasat variabilele pentru fiecare model, sortându-le în ordinea descrescătoare a importanței (adică, puterea discriminatorie a fiecărei variabile în funcție de algoritm; eMethods în Supliment). Ulterior am recalificat fiecare model cu un număr tot mai mare de variabile, începând cu cele mai importante. Am constatat că toate modelele au necesitat doar 22 de variabile pentru a obține o performanță de diagnostic care nu se poate distinge din punct de vedere statistic de performanța lor medie optimă (Figura 2; eFigura 2 din supliment). Variabilele sintetice adăugate pentru a asigura validitatea evaluării importanței variabilelor nu au fost în primele 22 de variabile pentru niciun model, reflectând faptul că, după ce a fost atinsă performanța completă a diagnosticului, au existat puține informații pentru a determina cu putere clasamentul variabilei.

Identificarea factorilor cheie de risc

Din cele 22 de variabile cele mai importante pentru fiecare model, doar 5 au fost comune tuturor modelelor (adică, judecata clinică a declinului memoriei, abilităților cognitive, comportamentului, abilitatea de a gestiona treburile sau schimbările motorii și ale mișcării; timpul până la finalizarea testului Trail Making Partea B; CDR: deficiență de orientare; CDR: deficiență de acasă și de hobby; și nivelul de independență). Dintre variabilele rămase, au existat 10 perechi care au avut o corelație mai mare de 0.7, ceea ce indică faptul că erau variabile similare (eTabelul 3 din Supliment). Luând în considerare această corelație prin interschimbarea variabilelor care erau foarte corelate, am constatat că au existat 6 variabile foarte predictive (radicarea clinică a declinului, timpul până la finalizarea testului Trail Making Part B, 3 componente ale CDR [orientare, memorie și casă și hobby-uri). deficiență] și nivelul de independență) care au fost comune tuturor modelelor ML (eTabelul 4 din supliment). Antrenând fiecare model folosind doar aceste variabile, am constatat că pentru LR și XGB nu a existat o scădere semnificativă a performanței de diagnosticare: folosind acest set de bază de 6 variabile, aceste modele au avut o precizie medie (SD) de 91 la sută (0 procente ) pentru LR și 91 la sută (1 procente ) pentru XGB și AUC medie (SD) de 0,89 (0.{01) pentru LR și 0,89 (0,02) pentru XGB (eTabelul 5 din supliment).

Stabilitatea diagnosticului Din 1568 de participanți care au primit un diagnostic de demență în decurs de 2 ani, am identificat 130 (8 la sută ) ca având reversiune, care probabil au fost diagnosticați greșit și, prin urmare, etichetați greșit în scopuri de ML. Am descoperit că, în timp ce reversiunile au fost raportate doar la 0,8% dintre participanți, acestea au reprezentat 92 până la 109 participanți (7% -8%) dintre participanții clasificați greșit, cu o mică variație între modele (Tabelul 3). Modelul RF a avut cea mai mare stabilitate de diagnostic, identificând corect 109 din 130 de participanți cu reversie (84%), clasându-i așa cum se prevede că nu vor avea demență la 2 ani. Pentru a investiga stabilitatea de diagnosticare a modelelor ML, am eliminat participanții cu revenire în timpul antrenamentului (eMethods în supliment). După reantrenarea modelelor fără reversiuni, am constatat că RF a identificat 106 participanți care au experimentat reversiuni (mediană [IQR], 82 la sută [78 la sută -82 la sută]), SVM a identificat 93 de participanți care au experimentat reversiuni (mediana [IQR], 72 la sută [69 la sută -74 la sută ]), și LR și XGB au identificat 92 de participanți care au experimentat reversiuni (mediana [IQR], 71 la sută [68 la sută -75 la sută ]). IQR-urile au fost obținute prin bootstrapping-ul participanților care au experimentat revenire.

Pentru a înțelege diferența dintre participanții clasificați greșit, participanții cu reversiune și participanții care au dezvoltat demență fără reversie, am analizat CDF-urile scorurilor de clasificare obținute din fiecare model ML. Am constatat că scorurile participanților clasificați greșit și participanții specifici cu revenire au fost diferite de participanții care au dezvoltat demență și de cei care nu au dezvoltat (eFigura 3 din supliment). CDF-urile scorurilor de clasificare pentru participanții care nu au dezvoltat demență au scăzut în extrema stângă a fiecărei parcele, indicând faptul că modelele ML au atribuit acestor participanți o probabilitate scăzută de a dezvolta demență. În schimb, pentru participanții care au dezvoltat demență, CDF-urile au căzut în dreapta parcelelor: li s-a atribuit o probabilitate mare de a dezvolta demență. Pentru toate modelele, distribuția scorurilor pentru participanții cu reversie a scăzut la stânga celei pentru participanții care au dezvoltat demență, ceea ce înseamnă că participanții cu reversie au fost evaluați ca având o probabilitate mai mică de a dezvolta demență conform acestor modele.

Discuţie

În acest studiu de prognostic, algoritmii ML au avut o acuratețe prognostică superioară în comparație cu BDSI și CAIDE la prezicerea incidenței demenței în decurs de 2 ani de la prima evaluare clinică a memoriei a unui pacient. Doi dintre algoritmii ML au fost evaluați pentru a obține o acuratețe de 91 la sută și AUC de 0,89 cu doar 6 variabile cheie. Analizele de sensibilitate sugerează că modelele ML ar putea clasifica corect o proporție mare de participanți care au experimentat revenire și care au fost potențial diagnosticați greșit în decurs de 2 ani de la vizita lor inițială. Acest studiu are mai multe puncte forte, inclusiv eșantionul mare de pacienți proveniți din clinici de memorie multiple din Statele Unite, gama largă de tehnici ML utilizate, compararea cu modelele de risc existente și explorarea stabilității diagnosticului și a diagnosticului eronat probabil.

Studiile anterioare privind utilizarea ML pentru prezicerea riscului de demență s-au concentrat pe conversia de la cogniția nedeteriorată la demența Alzheimer sau MCI6,8 sau pe conversia de la MCI la demența Alzheimer.5 Aceste abordări sunt mai puțin utile într-un cadru clinic, deoarece exclud alte tipuri de demență5,6,8 sau pacienți care inițial nu sunt afectați cognitiv.5 Datele utilizate în aceste studii au inclus tomografii cu emisie de pozitroni5,8 și biomarkeri ai lichidului cefalorahidian,8 dintre care nu sunt disponibili în mod obișnuit într-o clinică de memorie. Un studiu realizat de Lin și colab.6 a depășit acest lucru prin utilizarea datelor NACC pentru a găsi un set de 15 variabile clinice neinvazive pentru a evalua riscul de conversie de la cogniția nedeteriorată la MCI într-o perioadă de 4-an. Cu toate acestea, constructul MCI rămâne oarecum controversat32, iar ratele de conversie între MCI și demență sunt adesea scăzute.32,33 Modelele noastre ML completează aceste analize și au avantajul de a încorpora doar 6 variabile cheie pe o scală de timp relevantă clinic și de a prezice rezultatul demenței cu toate cauzele.

Dintre modelele existente investigate în studiul nostru, modelul CAIDE a fost cel mai puțin precis în prezicerea riscului de demență pe o perioadă de 2 ani, ceea ce nu este surprinzător, având în vedere că a fost dezvoltat pentru a prezice riscul de demență pe termen lung la adulții de vârstă mijlocie pe o perioadă mult mai lungă. perioada de urmarire de 20 de ani. BDSI a avut rezultate mai bune decât CAIDE, probabil reflectând faptul că a fost conceput pentru a fi utilizat la adulții în vârstă pe o perioadă mai moderată de urmărire de 6 ani. Cu toate acestea, toate modelele ML au depășit aceste modele existente. Folosind toate variabilele, XGB a fost cea mai puternică abordare ML în prezicerea pacienților care ar putea fi diagnosticați cu demență în decurs de 2 ani, sugerând că modul în care noii arbori de decizie sunt antrenați pentru a corecta erorile ultimelor trei are ca rezultat o performanță marginală. câştig. Cu toate acestea, XGB părea a fi, de asemenea, abordarea cel mai puțin capabilă să identifice participanții care au experimentat reversiunea, adică cei care au fost diagnosticați inițial cu demență în decurs de 2 ani și au avut acel diagnostic inversat în 2 ani de la diagnosticul inițial.

Performanța modelelor ML poate fi redusă considerabil prin datele de antrenament etichetate greșit.34 În mod contraintuitiv, excluderea datelor de antrenament etichetate greșit nu îmbunătățește întotdeauna performanța.35 Pe măsură ce nivelul de zgomot din datele de antrenament crește, valoarea excluderii sau reducerii acelui zgomot scade dacă același zgomot este prezent în datele de validare.36 Astfel, filtrarea datelor de antrenament poate chiar reduce datele de invalidare a performanței, așa cum se găsește în acest studiu. Cu toate acestea, atunci când nivelul de etichetare greșită este mai mic de aproximativ 20% până la 40%, eliminarea datelor etichetate greșit poate îmbunătăți acuratețea datelor de validare, chiar dacă acestea încorporează date greșite. date de validare: chiar și datele standard de criteriu încorporează erori.

Rata de revenire observată (8 la sută) a fost similară cu cea găsită într-un studiu din 2019 bazat pe o populație diferită din SUA.31 În studiul nostru, sa constatat că procentul de fals pozitive variază de la 7 la sută la 19 la sută, în funcție de nivelul cognitiv. evaluarea utilizată. Din cunoștințele noastre, aceasta este prima analiză a potențialei diagnostice greșite în NACC UDS și sugerează că utilizarea ML ca ajutor clinic pentru luarea deciziilor are potențialul de a reduce diagnosticarea greșită a fals pozitive cu până la 84 la sută. Având în vedere că pacienții care suferă de revenire sunt limită din punct de vedere diagnostic, din perspectivă clinică, poate fi de înțeles ca aceștia să fie urmăriți oricum, având în vedere că au existat motive de îngrijorare clinică. Astfel, XGB poate fi cel mai bun model pentru un ajutor clinic pentru luarea deciziilor. Alternativ, o abordare de ansamblu care face predicții secundare despre stabilitatea probabilă a diagnosticului și potențialul de clasificare greșită se poate dovedi și mai utilă.

Limitări

Acest studiu are mai multe limitări. În primul rând, atât CAIDE, cât și BDSI au fost dezvoltate folosind populații diferite față de cea utilizată în acest studiu. Nu toate variabilele utilizate pentru dezvoltarea acestor modele au avut un echivalent exact în UDS care ar fi putut afecta performanța acestora în acest set de date. În al doilea rând, metoda utilizată pentru imputarea datelor poate duce la o eroare de imputare. Mai exact, imputarea înlocuiește toate valorile lipsă cu o valoare numerică, totuși unele valori lipsesc din cauza relației lor cu o altă valoare; prin urmare, faptul că o valoare lipsește este informativ. Cu toate acestea, în timp ce participanții aveau o medie de 14% date lipsă, cele 6 variabile cheie identificate lipseau pentru o medie de 1% dintre participanți. În al treilea rând, deși studiul nostru a folosit un eșantion mare de participanți la clinica de memorie din Statele Unite, făcând rezultatele noastre foarte aplicabile în acest cadru, măsura în care aceste rezultate se vor generaliza la alte populații este necunoscută.

Concluzii

Acest studiu de prognostic a constatat că modelele ML au depășit modelele existente de predicție a riscului de demență și ar putea avea potențialul de a îmbunătăți predicția de demență incidentă timp de 2 ani în clinicile de memorie. Șase factori cheie pentru riscul de demență identificați în acest studiu pot avea potențialul de a îmbunătăți practica clinică în clinicile de memorie dacă sunt încorporați în viitoarele instrumente de asistență clinică de luare a deciziilor.