Performanse algoritama mašinskog učenja za predviđanje progresije demencije kod pacijenata Klinike za pamćenje

Kontakt: Audrey Hu Whatsapp/hp: 0086 13880143964 Email:audrey.hu@wecistanche.com

Charlotte James, Ph.D.; Janice M. Ranson, dr.; Richard Everson, Ph.D.; David J. Llewellyn, PhD

Abstract

VAŽNOST: Algoritmi mašinskog učenja mogu se koristiti kao osnova za pomoć pri donošenju kliničkih odluka za poboljšanje kliničke prakse. CILJ Procijeniti sposobnost algoritama za mašinsko učenje da predvide učestalost demencije u roku od 2 godine u poređenju sa postojećim modelima i odrediti optimalni analitički pristup i broj potrebnih varijabli. DIZAJN, POSTAVKA I UČESNICI: Ova prognostička studija koristila je podatke iz prospektivne grupe od 15 307 učesnika bez demencije na početku kako bi izvršila sekundarnu analizu faktora koji bi se mogli koristiti za predviđanje incidencije demencije. Učesnici su prisustvovali Nacionalnom Alzheimer koordinacionom centrumemorijaklinike širom Sjedinjenih Država između 2005 i 2015. Analize su rađene od marta do 2021. maja. IZLOŽENOST: 258 varijabli koje obuhvataju domene kliničkih mjera i faktora rizika povezanih s demencijom. GLAVNI ISHODI I MJERE: Glavni ishod je incidentna demencija svih uzroka dijagnosticirana unutar 2 godine od osnovne procjene. REZULTATI: Na uzorku od 15 307 učesnika (srednja [SD] starost, 72,3 [9,8] godina; 9129 [60 posto ] žena i 6178 [40 posto ] muškaraca) bez demencija na početku, 1568 (10 posto) je dobilo dijagnozu demencije unutar 2 godine od početne procjene. U poređenju sa 2 postojeća modela za predviđanje rizika od demencije (tj. kardiovaskularni faktori rizika, starenje i incidenca rizika od demencije i kratki indikator skrininga demencije), algoritmi mašinskog učenja bili su superiorniji u predviđanju incidenta demencije svih uzroka u roku od 2 godine. Algoritam drveća pojačanog gradijentom imao je srednju (SD) ukupnu tačnost od 92 posto (1 posto), osjetljivost od 0,45 (0,05), specifičnost od 0,97 (0,01) i površinu ispod krivulje od 0,92 (0,01) koristeći svih 258 varijable. Analiza promenljive važnosti pokazala je da je samo 6 varijabli bilo potrebno da algoritmi mašinskog učenja postignu tačnost od 91 odsto i površinu ispod krive od najmanje 0,89. Algoritmi mašinskog učenja su takođe identifikovali do 84 posto učesnika koji su dobili početnu dijagnozu demencije koja je kasnije preokrenuta u blago kognitivno oštećenje ili kognitivno neoštećeno, što ukazuje na moguću pogrešnu dijagnozu. ZAKLJUČCI I RELEVANTNOST: Ovi nalazi sugeriraju da bi algoritmi mašinskog učenja mogli precizno predvidjeti incidentnu demenciju u roku od 2 godine kod pacijenata koji primaju njegu umemorijaklinike koje koriste samo 6 varijabli. Ovi nalazi bi se mogli koristiti za informiranje o razvoju i validaciji pomagala za donošenje odluka umemorijaklinike.

Uvod

Mnogi pacijenti koji se procjenjuju u specijalističkim ustanovama, kao nprmemorijaklinike, nemaju demenciju kada prvi put dođu.1 Razlikovanje između pacijenata koji razvijaju demenciju unutar klinički relevantnog vremenskog okvira i onih koji ostaju bez demencije je važno, jer se taj uvid može koristiti za određivanje prioriteta pacijenata za naknadna istraživanja i intervencije. Identifikacija pacijenata sa visokim rizikom od razvoja demencije predstavlja izazov za kliničare. Jedan pristup je fokusiranje na one koji imaju blago kognitivno oštećenje (MCI) kada se inicijalno procjenjuju i pozivanje ovih pacijenata na praćenje. Međutim, ovo može rezultirati značajnom pogrešnom klasifikacijom za pacijente koji nisu ciljani za praćenje, ali koji razviju demenciju i pacijente koji su ciljani na daljnja istraživanja, ali ne razviju demenciju.

VećinamemorijaKlinički pacijenti sa MCI ne napreduju u demenciju čak ni nakon 10 godina, sa godišnjom stopom konverzije od 9,6 posto.2 Klinička pomagala za donošenje odluka mogu poboljšati sposobnost kliničara da procijene početak demencije. Postojeća klinička pomagala za donošenje odluka su dostupna za procjenu srednjoročne i dugoročne incidencije demencije u različitim populacijama. Na primjer, ocjena rizika od kardiovaskularnih faktora rizika, starenja i incidencije demencije (CAIDE)3 dizajnirana je za predviđanje rizika od razvoja demencije za 20 godina za ljude srednjih godina, a Brief Dementia Screening Indicator (BDSI)4 ima za cilj da identifikuje starije osobe. pacijentima da se usmjere na kognitivni skrining određivanjem rizika od razvoja demencije za 6 godina. Međutim, prema našim saznanjima, nije razvijeno nijedno kliničko pomagalo za donošenje odluka za predviđanje incidencije demencije umemorijaklinike u kraćem klinički relevantnom periodu. Mašinsko učenje (ML) omogućava korištenje informacija iz velikih i složenih skupova podataka. Nedavno se primjenjuje na dijagnozu demencije i predviđanje rizika.{0}}

Međutim, ovi modeli često uključuju informacije koje obično nisu dostupne u rutinskoj kliničkoj praksi, kao što su napredna neuroimaging, genetsko testiranje i biomarkeri cerebrospinalne tekućine, ograničavajući kliničku primjenu na specijalističke ili istraživačke postavke. Istražili smo mogu li se ML tehnike koristiti za predviđanje incidencije demencije tokom perioda od 2- godine koristećimemorijaklinički podaci iz američkog Nacionalnog koordinacionog centra za Alchajmer (NACC). Također smo ispitali minimalni skup varijabli potrebnih za ML modele kako bi postigli punu dijagnostičku izvedbu.

Metode

NACC studija je dobila etičko odobrenje od institucionalnog odbora za pregled svake lokacije prije nego što je mogla dati podatke, a svi učesnici su dali informirani pismeni pristanak. Smatralo se da je ova prognostička studija izuzeta od institucionalnog etičkog odobrenja jer smo koristili prethodno prikupljene deidentifikovane podatke. Podaci korišteni u ovoj studiji dostupni su NACC-u na zahtjev za podacima. Ova studija je objavljena u skladu sa smjernicama za izvještavanje o Transparentnom izvještavanju o modelu multivarijabilnog predviđanja za individualnu prognozu ili dijagnozu (TRIPOD). Podaci su analizirani od marta do maja 2021.

Study Sample

Koristili smo prethodno prikupljene podatke iz NACC Uniform Data Set (UDS).10 UDS sadrži prospektivne kohortne podatke iz programa Centra za multicentrično zajedničko istraživanje Alchajmerove bolesti i drugih neurodegenerativnih poremećaja američkog Nacionalnog instituta za starenje Alchajmerove bolesti.11 Naš skup podataka se sastoji od podataka iz klinike za pamćenje prikupljenih između septembra 2005. i februara 2015. iz 30 centara za Alchajmerovu bolest koji se nalaze u Sjedinjenim Državama. Skup podataka uključuje sociodemografske karakteristike sudionika i sudionika, porodičnu anamnezu, funkcionalni status,12 simptoma ponašanja (procijenjenih rezultatima Neuropsihijatrijskog inventara upitnika13), bateriju neuropsiholoških testova14 i NACC kliničku dijagnozu demencije, koju dodjeljuje svaki centar za Alchajmerovu bolest koristeći objavljene kliničke dijagnostičke kriterijume zasnovano na standardizovanoj kliničkoj proceni UDS. Detalji dijagnostičkih kriterijuma usvojenih UDS protokolom i povezanim uputstvima već su objavljeni.15

Koristili smo UDS verzije 1 i 2, koje uključuju 32 573 polaznika klinike za pamćenje sa osnovnom procjenom. Iako su naši modeli dizajnirani za predviđanje incidencije demencije u roku od 2 godine, kako bismo uzeli u obzir varijacije u vremenu između naknadnih pregleda, uključili smo praćenje koje se dogodilo u roku od 29 mjeseci od prve posjete kako bismo osigurali da je posjeta bila prva ili drugi naknadni pregled.

Varijabla ishoda

Varijabla ishoda bila je dijagnoza demencije svih uzroka incidenta unutar 29 mjeseci (približno 2 godine) od početne procjene. Ovo uključuje podtipove demencije, kao što je Alchajmerova demencija, demencija sa Lewyjevim telima, vaskularna demencija i drugi rjeđi podtipovi. Alchajmerova demencija je dijagnostikovana prema NINCSD-ADRDA kriterijumima,16 vaskularna demencija je dijagnostikovana prema NINDS-AIREN kriterijumima,17 Demencija Lewyjevog tijela (LBD) dijagnosticirana je prema trećem izvještaju Konzorcijuma demencije sa Lewyjevim tijelima,18 i frontotemporalni dementi dijagnosticiran je prema Nearyjevim i njegovim kolegama kriterijima iz 1998.19

Candidate Predictors

Uključili smo sve klinički relevantne varijable prikupljene tokom inicijalne posjete u verzije 1 i 2 UDS-a (eTabela 1 u Dodatku). Isključili smo varijable sa slobodnim tekstualnim vrijednostima, kao što su nazivi lijekova, i varijable koje su bile konstantne za sve učesnike, kao što je broj posjeta. Četiri sintetičke varijable su generisane da pomognu u proceni važnosti varijable (ove varijable treba da budu nisko rangirane); 3 od ovih varijabli bile su permutacije postojećih varijabli (1 binarna, 1 kategorička i 1 numerička varijabla), a 1 varijabla je nasumično generirana iz normalne distribucije. To je rezultiralo sa ukupno 258 varijabli.

Varijable iz UDS-a ugrađene u naše modele uključuju demografske karakteristike učesnika (15 varijabli), demografske karakteristike učesnika (7 varijabli), porodičnu anamnezu (3 varijable), anamnezu (47 varijable), lijekove (21 varijabla), fizičke (12 varijabli) ) i rezultati neuroloških (4 varijable) pregleda, Jedinstvena skala za ocjenu Parkinsonove bolesti20 (UDPRS) (28 varijabli), skala kliničke demencije (CDR)21 (8 varijabli), funkcionalni status (10 varijabli), baterija za neuropsihološki test (50 varijabli) , skala gerijatrijske depresije (17 varijabli) i klinička procjena simptoma (32 varijable). Od ovih varijabli, 239 (93 posto) je nedostajalo za najmanje 1 učesnika, a svim učesnicima je nedostajala najmanje 1 varijabla.

Razvoj modela

Implementirali smo 4 ML algoritma22: logističku regresiju (LR),23 mašinu vektora podrške (SVM),24 slučajnu šumu (RF),25,26 i stabla pojačana gradijentom (XGB)27 (eMetode u dodatku). Ovi algoritmi izvode zadatak klasifikacije: određuju da li učesnik spada u klasu 0 (predviđa se da će ostati bez demencije 29 mjeseci od početne vrijednosti) ili klasu 1 (predviđa se da će doživjeti incidentnu demenciju unutar 29 mjeseci od početnog stanja). Klasifikacija se zasniva na varijablama snimljenim prilikom njihove prve (osnovne) posjete klinici za pamćenje. Za implementaciju ML algoritama, koristili smo Python sci-kit-learn biblioteku (Python Software Foundation),28 sa 5-fold unakrsnom provjerom (eMetode u Dodatku). Vrijednosti koje nedostaju imputirane su uzorkovanjem sa zamjenom vrijednosti koje nedostaju. Sva obrada i analiza podataka implementirani su u Python verziji 3.9, NumPy verziji 1.19.4 i verziji sci-kit-learn 0.24.0.

Statistička analiza

Model Evaluation

Procijenili smo performanse svih modela upoređujući njihovu ukupnu tačnost, osjetljivost i specifičnost za pragove odluke unaprijed specificirane u literaturi (postojeći modeli) ili prag od 0.5 (ML modeli), koji jednako teži lažno pozitivnim i lažno negativnih grešaka. Područje ispod krive radne karakteristike prijemnika (AUC)29 korišteno je za sumiranje performansi modela preko svih mogućih pragova i na taj način ponderiranja grešaka pri pogrešnoj klasifikaciji.30 Mjere srednjih performansi i SD-ovi su dobijeni putem pokretanja (eMetode u Dodatku).

Poređenje sa postojećim modelima

BDSI i CAIDE su postojeći modeli predviđanja rizika od demencije koji pacijentima dodjeljuju bodove koji predstavljaju njihov rizik od razvoja demencije tokom dužih vremenskih perioda. Da bismo izveli BDSI i CAIDE bodove rizika, odabrali smo varijable iz UDS-a koje najbliže odgovaraju varijablama koje smo prethodno koristili (eTabela 2 u Dodatku). Performanse naših ML modela upoređene su sa performansama BDSI i CAIDE za predviđanje 2-godišnje incidencije demencije.

Performanse modela u svim podtipovima demencije

Demencija može imati različite uzroke, koji odgovaraju različitim podtipovima demencije. Da bismo procijenili sposobnost ML modela da identifikuju različite podtipove demencije, podijelili smo slučajeve incidentne demencije na Alchajmerovu demenciju, LBD, vaskularnu demenciju i druge podtipove demencije. Koristeći ove 4 stratifikacije, izračunali smo postotak ispravno klasifikovanih učesnika (stvarno pozitivna stopa) i uporedili ROC krive za svaki model ML.

Ispitivanje dijagnostičke stabilnosti

Poznato je da klinička dijagnoza demencije uključuje pacijente kojima je inicijalno postavljena pogrešna dijagnoza (efikasno i lažno pozitivne i lažno negativne greške).31 Definiramo reverziju kao kada je ispitanik kojem je dijagnosticirana demencija do 2 godine nakon njihove prve posjete klinici za pamćenje i nakon toga dobiju dijagnozu da nema demencije (bilo MCI ili neoštećene kognicije) u roku od 2 godine od njihove dijagnoze demencije. Uzimajući u obzir da su ove reverzije nestabilne dijagnoze i da su vjerovatno bile rezultat pogrešne dijagnoze demencije, istražili smo tačnost klasifikacije modela ML na uzorku učesnika sa reverzijom (eMetode u Dodatku). Koristili smo kumulativnu funkciju distribucije (CDF) rezultata klasifikacije svakog modela ML da bismo uporedili učesnike sa reverzijom sa pacijentima koji su razvili demenciju i pacijentima koji su ostali bez demencije.

Rezultati

Nakon isključivanja {{0}} učesnika s dijagnozom demencije na početku, 4557 polaznika koji nisu imali nikakve podatke o praćenju i 573 polaznika koji su imali prvi pregled više od 29 mjeseci nakon prve posjete , konačni analitički uzorak sadržavao je 15 307 učesnika (srednja [SD] starost, 72,3 [9,8] godina; 9129 [60 procenata ] žena i 6178 [40 procenata ] muškaraca). Karakteristike uzorka prikazane su u Tabeli 1. U roku od 2 godine od početne vrijednosti, 1568 učesnika (10 posto) dobilo je dijagnozu demencije. Od 1568 učesnika koji su dobili dijagnozu demencije, 273 (17 procenata) je dijagnostikovan od strane jednog kliničara, a 1216 (78 procenata) je dijagnostikovan od strane konsenzus panela; za 79 učesnika (5 posto), izvor dijagnoze nije preciziran. Ključne mjere učinka koje procjenjuju prediktivnu moć svakog modela date su u Tabeli 2. U poređenju sa postojećim modelima, ML modeli su bili superiorniji u svojoj sposobnosti da predvide da li će pojedinac razviti demenciju u roku od 2 godine, i nadmašili su postojeće modele po svim mjerama. Svi ML modeli su se ponašali slično dobro, pri čemu je XGB imao najveću snagu kada se mjeri ukupnom preciznošću (92 posto) i AUC (srednja vrijednost [SD], 0,92 [0,01]). Kriva radne karakteristike prijemnika za svaki model pokazuje sličnost između ML modela i njihovu superiornost u poređenju sa 2 postojeća modela rizika (Slika 1).

Performanse modela u svim podtipovima demencije

Da bismo procijenili performanse ML modela u različitim podtipovima demencije, podijelili smo populaciju u 4 podtipa demencije: Alchajmerova demencija (1285 učesnika), LBD (82 učesnika), vaskularna demencija (21 učesnik) i drugi podtipovi demencije (180 učesnika). LR model je bio najbolji u identifikaciji Alchajmerove demencije i drugih podtipova, tačno klasifikujući 589 učesnika (46 procenata) sa Alchajmerovom demencijom i 99 učesnika (55 procenata) sa drugim podtipovima. SVM model se najbolje pokazao kod učesnika sa LBD, pravilno klasifikujući 40 učesnika (49 procenata). Svi modeli su ispravno klasifikovali 7 učesnika (33 odsto) sa vaskularnom demencijom. Krive radnih karakteristika prijemnika pokazuju da su svi modeli imali približno podjednako dobar učinak na svakom podtipu (eSlika 1 u Dodatku).

.

Istraživanje minimalnog broja varijabli

Jedan potencijalni nedostatak korištenja ML pristupa je veliki broj uključenih varijabli. Kako se broj varijabli potrebnih modelu povećava, implementacija u kliničkom okruženju postaje manje praktična i interpretabilnost modela je narušena. Da bismo procijenili koliko je varijabli potrebno svakom modelu ML-a da postigne ekvivalentnu prediktivnu moć onoj koju smo pronašli koristeći svih 258 varijabli (Tabela 2), procijenili smo kako je AUC varirao s brojem varijabli uključenih u modele. Konkretno, rangirali smo varijable za svaki model sortirajući ih po opadajućem redoslijedu važnosti (tj. diskriminatorna moć svake varijable prema algoritmu; eMetode u dodatku). Svaki model smo naknadno obučili sa sve većim brojem varijabli, počevši od najvažnijih. Otkrili smo da su svi modeli zahtijevali samo 22 varijable da bi postigli dijagnostičke performanse koje se statistički ne razlikuju od njihovih optimalnih srednjih performansi (Slika 2; eSlika 2 u Dodatku). Sintetičke varijable dodane kako bi se osigurala valjanost procjene važnosti varijable nisu bile u top 22 varijable za bilo koji model, što odražava činjenicu da nakon što je postignuta potpuna dijagnostička performansa, bilo je malo informacija koje bi snažno odredile rangiranje varijable.

Identifikacija ključnih faktora rizika

Od 22 najvažnije varijable za svaki model, samo 5 je bilo zajedničko za sve modele (tj. klinička procjena opadanja pamćenja, kognitivnih sposobnosti, ponašanja, sposobnosti upravljanja poslovima ili promjena motora i pokreta; vrijeme za završetak testa pravljenja traga Dio B; CDR: oštećenje orijentacije; CDR: oštećenje kuće i hobija i nivo nezavisnosti). Od preostalih varijabli, postojao je 10 par koji je imao korelaciju veću od 0.7, što ukazuje da su slične varijable (eTabela 3 u Dodatku). Uzimajući u obzir ovu korelaciju razmjenom varijabli koje su bile u visokoj korelaciji, otkrili smo da postoji 6 visoko prediktivnih varijabli (klinička procjena opadanja, vrijeme za završetak testa pravljenja staze, dio B, 3 komponente CDR-a [orijentacija, pamćenje, dom i hobiji oštećenje], i nivo nezavisnosti) koji su bili zajednički za sve modele pranja novca (eTabela 4 u Dodatku). Obučavajući svaki model koristeći samo ove varijable, otkrili smo da za LR i XGB nije došlo do značajnog smanjenja dijagnostičkih performansi: korištenjem ovog osnovnog skupa od 6 varijabli, ovi modeli su imali srednju (SD) tačnost od 91 posto (0 procenat ) za LR i 91 procenat (1 procenat ) za XGB i srednji (SD) AUC od 0,89 (0.01) za LR i 0,89 (0,02) za XGB (eTabela 5 u Dodatku).

Dijagnostička stabilnost Od 1568 učesnika koji su dobili dijagnozu demencije u roku od 2 godine, identifikovali smo 130 (8 procenata) onih koji imaju reverziju koji su vjerovatno u početku bili pogrešno dijagnosticirani i stoga pogrešno označeni za ML svrhe. Otkrili smo da, iako su povratne informacije prijavljene samo kod 0,8 posto učesnika, one su činile 92 do 109 učesnika (7 posto -8 posto) pogrešno klasifikovanih učesnika, uz malu količinu varijacija između modela (Tabela 3). RF model je imao najveću dijagnostičku stabilnost, ispravno identificirajući 109 od 130 učesnika sa reverzijom (84 posto) tako što ih je klasifikovao kao predviđeno da će biti bez demencije nakon 2 godine. Da bismo istražili dijagnostičku stabilnost modela ML, uklonili smo učesnike sa reverzijom tokom treninga (eMetode u Dodatku). Nakon ponovne obuke modela bez reverzija, otkrili smo da je RF identifikovao 106 učesnika koji su doživjeli reverzije (medijan [IQR], 82 posto [78 posto -82 posto ]), SVM je identificirao 93 učesnika koji su doživjeli reverzije (medijan [IQR], 72 posto [69 posto -74 posto ]), i LR i XGB su identificirali 92 učesnika koji su iskusili reverzije (medijan [IQR], 71 posto [68 posto -75 posto ]). IQR-ovi su dobijeni polaznicima pokretanja sistema koji su doživjeli reverziju.

Da bismo razumjeli razliku između pogrešno klasifikovanih učesnika, učesnika sa reverzijom i učesnika koji su razvili demenciju bez reverzije, analizirali smo CDF-ove klasifikacijskih rezultata dobijenih iz svakog modela ML. Otkrili smo da se rezultati pogrešno klasifikovanih učesnika i specifičnih učesnika sa reverzijom razlikuju od učesnika koji su razvili demenciju i onih koji nisu (eSlika 3 u Dodatku). CDF-ovi klasifikacijskih rezultata za učesnike koji nisu razvili demenciju padali su krajnje lijevo od svake grafike, što ukazuje da su ML modeli dodijelili ovim učesnicima nisku vjerovatnoću razvoja demencije. Suprotno tome, za učesnike koji su razvili demenciju, CDF-ovi su padali desno od grafikona: pripisana im je velika vjerovatnoća razvoja demencije. Za sve modele, distribucija rezultata za učesnike sa reverzijom pala je levo od one za učesnike koji su razvili demenciju, što znači da su učesnici sa reverzijom procenjeni da imaju manju verovatnoću razvoja demencije prema ovim modelima.

Diskusija

U ovoj prognostičkoj studiji, ML algoritmi su imali superiornu prognostičku tačnost u poređenju sa BDSI i CAIDE u predviđanju incidencije demencije u roku od 2 godine od pacijentove prve kliničke procene memorije. Procijenjeno je da dva ML algoritma postižu tačnost od 91 posto i AUC od 0,89 sa samo 6 ključnih varijabli. Analize osjetljivosti sugeriraju da bi ML modeli mogli ispravno klasificirati visok udio učesnika koji su doživjeli reverziju, a koji su potencijalno bili pogrešno dijagnosticirani unutar 2 godine od njihove prve posjete. Ova studija ima nekoliko prednosti, uključujući veliki uzorak pacijenata izvedenih iz više klinika za pamćenje širom Sjedinjenih Država, širok spektar korištenih tehnika ML-a, usporedbu s postojećim modelima rizika i istraživanje dijagnostičke stabilnosti i vjerovatne pogrešne dijagnoze.

Prethodne studije o upotrebi ML-a za predviđanje rizika od demencije bile su fokusirane na konverziju iz neoštećene kognicije u Alchajmerovu demenciju ili MCI,6,8 ili konverziju iz MCI u Alchajmerovu demenciju.5 Ovi pristupi su manje korisni u kliničkom okruženju, jer isključuju druge vrste demencije5,6,8 ili pacijenti koji su inicijalno kognitivno neoštećeni.5 Podaci korišteni u ovim studijama uključivali su skeniranje pozitronske emisione tomografije,5,8 i biomarkere cerebrospinalne tekućine,8 od kojih obično nisu dostupni u okruženju klinike za pamćenje. Studija koju su sproveli Lin i saradnici 6 je ovo prevazišla korištenjem NACC podataka za pronalaženje skupa od 15 neinvazivnih kliničkih varijabli za procjenu rizika od konverzije neoštećene kognicije u MCI u periodu od 4- godine. Međutim, konstrukcija MCI ostaje donekle kontroverzna,32, a stope konverzije između MCI i demencije su često niske.32,33 Naši modeli ML dopunjuju ove analize i imaju prednost što uključuju samo 6 ključnih varijabli u klinički relevantnom vremenskom okviru i predviđaju ishod demencije svih uzroka.

Od postojećih modela istraživanih u našoj studiji, CAIDE model je bio najmanje tačan u predviđanju rizika od demencije tokom 2 godine, što nije iznenađujuće, s obzirom na to da je razvijen za predviđanje dugoročnog rizika od demencije kod odraslih osoba srednjih godina tokom mnogo dužeg perioda. period praćenja od 20 godina. BDSI je bio bolji od CAIDE, što vjerovatno odražava da je dizajniran za upotrebu kod starijih osoba tokom umjerenijeg perioda praćenja od 6 godina. Međutim, svi ML modeli su nadmašili ove postojeće modele. Koristeći sve varijable, XGB je bio najmoćniji pristup ML u predviđanju pacijenata za koje je vjerovatno da će biti dijagnosticirana demencija u roku od 2 godine, sugerirajući da način na koji se nova stabla odlučivanja obučavaju da isprave greške posljednje tri rezultira marginalnim performansama. dobitak. Međutim, činilo se da je XGB pristup najmanje u stanju da identifikuje učesnike koji su doživjeli reverziju, tj. one kojima je demencija prvobitno dijagnosticirana u roku od 2 godine i kojima je ta dijagnoza poništena unutar 2 godine od inicijalne dijagnoze.

Performanse ML modela mogu se znatno smanjiti pogrešno označenim podacima o obuci.34 Kontraintuitivno, isključivanje pogrešno označenih podataka o obuci ne poboljšava uvijek performanse.35 Kako se nivo buke u podacima o obuci povećava, vrijednost isključivanja ili smanjenja te buke opada ako isti šum je prisutan u validacijskim podacima.36 Stoga, filtriranje podataka o obuci može čak smanjiti podatke o nevalidaciji performansi, kao što je pronađeno u ovoj studiji. Međutim, kada je nivo pogrešnog označavanja manji od otprilike 20 do 40 posto, uklanjanje pogrešno označenih podataka može poboljšati tačnost validacijskih podataka, čak i ako to uključuje pogrešno označene podatke.35,37,38 Ovo ilustruje važnost istraživanja dijagnostičke stabilnosti u obuci i validacijski podaci: čak i standardni kriterijski podaci uključuju greške.

Uočena stopa reverzije (8 posto) bila je slična onoj koja je pronađena u studiji iz 2019. zasnovanoj na različitoj populaciji SAD-a.31 U našoj studiji je utvrđeno da postotak lažno pozitivnih varira od 7 posto do 19 posto, ovisno o kognitivnom korištena procjena. Prema našim saznanjima, ovo je prva analiza potencijalne pogrešne dijagnoze u NACC UDS i sugerira da korištenje ML-a kao kliničke pomoći u donošenju odluka ima potencijal da smanji pogrešnu dijagnozu lažno pozitivnih do 84 posto. S obzirom na to da su pacijenti koji dožive reverziju granični u dijagnostičkom smislu, iz kliničke perspektive, može biti razumno da ih se ipak prati, s obzirom na to da postoje razlozi za kliničku zabrinutost. Stoga, XGB može biti najbolji model za pomoć pri donošenju kliničkih odluka. Alternativno, pristup ansambla koji daje sekundarna predviđanja o vjerovatnoj dijagnostičkoj stabilnosti i potencijalu za pogrešnu klasifikaciju može se pokazati još korisnijim.

Ograničenja

Ova studija ima nekoliko ograničenja. Prvo, i CAIDE i BDSI su razvijeni koristeći različite populacije od one korištene u ovoj studiji. Nisu sve varijable korištene za razvoj ovih modela imale tačan ekvivalent u UDS-u što je moglo utjecati na njihov učinak u ovom skupu podataka. Drugo, metoda koja se koristi za imputaciju podataka može dovesti do greške u imputaciji. Konkretno, imputacija zamjenjuje sve nedostajuće vrijednosti numeričkom vrijednošću, ali neke vrijednosti nedostaju zbog njihovog odnosa s drugom vrijednošću; stoga, činjenica da nedostaje vrijednost je informativna. Međutim, dok su učesnici imali u prosjeku 14 posto podataka koji nedostaju, 6 identificiranih ključnih varijabli nedostajalo je u prosjeku od 1 posto učesnika. Treće, iako je naša studija koristila veliki uzorak polaznika klinike za pamćenje u Sjedinjenim Državama, što naše rezultate čini visoko primjenjivim na ovu postavku, nije poznata mjera u kojoj će se ovi rezultati generalizirati na druge populacije.

Zaključci

Ova prognostička studija je otkrila da su ML modeli nadmašili postojeće modele predviđanja rizika od demencije i da mogu imati potencijal da poboljšaju predviđanje incidentne demencije tokom 2 godine u klinikama za pamćenje. Šest ključnih faktora za rizik od demencije identifikovanih u ovoj studiji može imati potencijal da poboljša kliničku praksu u klinikama za pamćenje ako se ugradi u buduća pomagala za donošenje kliničkih odluka.