Machine learning voorspelt beter dan statische modellen

Multiple sclerose is een ziekte met een grillig verloop. Om toch accurate voorspellingen te kunnen doen zijn goede modellen nodig. Met behulp van grote dataregistraties worden verschillende modellen ontwikkeld. Peeters presenteerde tijdens ECTRIMS 2019 de resultaten van Bayesiaanse ‘machine learning’ in het voorspellen van het ziekteverloop. De resultaten daarvan zijn superieur aan modellen die de voorgeschiedenis van de patiënt minder laten meewegen.

Achtergrond

Voor een arts is intuïtie belangrijk. Deze wordt gevoed door alle kennis die hij of zij heeft over een patiënt. Toch blijft het lastig om de juiste behandeling aan de juiste patiënt op het juiste moment voor te schrijven. De onderzoekers in deze studie proberen modellen te creëren die ondersteuning kunnen bieden van hoge kwaliteit bij het maken van keuzes in de behandeling. De modellen dienen het intuïtieve proces van de arts te repliceren en dus moeten deze ook zo veel mogelijk rekening houden met de voorgeschiedenis van de patiënt.

Typische ‘real world’ data, zoals deze in databases is te vinden, bevat onder meer gegevens over leeftijd bij aanvang van symptomen, leeftijd bij database entry, zwangerschappen en de gekregen behandelingen met daarbij de bijwerkingen. Dergelijke factoren kunnen informatie bevatten die van belang zijn om een goede voorspelling van het ziekteverloop te doen. De uitdaging is om op basis van observaties die veelal sporadisch zijn en datatypen die gemengd van aard zijn, toch een robuuste voorspelling te kunnen doen. Wanneer echter gebruik wordt gemaakt van voorgeprogrammeerde algoritmes, zal ontegenzeggelijk informatieverlies plaatsvinden. Derhalve hebben de onderzoekers gebruik gemaakt van Bayesiaanse ‘machine learning’, middels ‘Bayesian Probabilistic Matrix Factorisation’ (BPMF).

Het model

Bij BPMF wordt gebruik gemaakt van een uitgebreide bibliotheek met typische ziekteverlopen. Het ziekteverloop van een individuele patiënt wordt daarin gemodelleerd als een lineaire combinatie van typische verlopen. Door de Bayesiaanse sampling is de techniek ongevoelig voor uitschieters en worden resultaten voorzien van betrouwbaarheidsintervallen, waardoor deze gemakkelijker te interpreteren zijn door de arts als eindgebruiker.

In de huidige studie werd met verschillende modellen onderzocht in hoeverre zij de invaliditeitsprogressie van individuele patiënten konden voorspellen over een periode van 2 jaar (t=2). Drie modellen werden vergeleken. Allereerst het statische model, waarbij variabelen bestonden uit geslacht, leeftijd bij aanvang en EDSS-score op tijdstip t=0. Het tweede model bevatte naast de statische variabelen ook extra gegevens als maximale en minimale EDSS-waarden in de periode t=-3 tot t=0. Ten slotte, het BPMF-model, waarbij naast de statische parameters het hele EDSS-verloop in de periode t=-3 tot t=0 werd meegenomen.

Om het model te testen werden gegevens gebruikt uit de MSBase dataregistratie. Patiënten werden geïncludeerd als ten minste 6 EDSS-bepalingen beschikbaar waren van de periode t=-3 tot t=0 en ten minste 1 EDSS-bepaling uit de periode tussen t=1 en t=3. In totaal werden 9.594 patiënten geïncludeerd met gemiddeld 9,18 EDSS-bepalingen. De gemiddelde EDSS-score bij aanvang was 2,36 en 71% was vrouw.

Het resultaat van de studie is dat met het BPMF-model betere voorspellingen werden gedaan. In de ROC-grafiek, met daarin de sensitiviteit en specificiteit, is de ‘area under the curve’ (AUC) een samenvattende uitkomstmaat voor de kwaliteit van de voorspelling, waarbij waardes dichter bij 1 duiden op een betere voorspelling. Het BPMF-model liet een AUC zien van 0,79. Dat is 10 punten hoger dan de prestatie van het statische model dat een AUC kende van 0,69. Het dynamische model vertoonde een intermediaire AUC van 0,75.

Conclusie

De resultaten in deze studie bevestigen dat de longitudinale informatie die geïncludeerd wordt in het BPMF-model de accuratesse verbeterd van prognostische modellen bij MS. Om bruikbare modellen te krijgen voor de praktijk is de informatie over de voorgeschiedenis van de patiënt dus essentieel. De volgende stap van de onderzoekers is om ook de effecten van de verschillende behandelingen te kunnen modelleren.

Referentie

De Brouwer E, Peeters L, Becker t, et al. Introducing machine learning for full MS patient trajectories improves predictions for disability score progression. Gepresenteerd tijdens ECTRIMS 2019; abstract 171.