Abbiamo appena assistito a una nuova ondata di allarmismo suscitato intorno alle scelte di salute pubblica durante la recente pandemia. “Covid, la scoperta: lockdown ha invecchiato il cervello degli adolescenti” – questo è il tenore dei titoli che hanno invaso i giornali. Come correttamente ha fatto osservare già Roberta Villa, questa volta i ricercatori non sono innocenti: il tutto, infatti, nasce da un articolo scientifico pubblicato sulla prestigiosa rivista PNAS, il cui titolo è in sé stesso una versione magari un po’ più formale delle stesse frasi acchiappa-click che hanno poi invaso la stampa. Vediamo di fare chiarezza.
Gli autori dello studio affermano di aver trovato un assottigliamento accelerato dello spessore corticale nel cervello di adolescenti sottoposti a lockdown durante il periodo pandemico, particolarmente per quanto riguarda le ragazze. Siccome l’assottigliamento corticale è uno dei marcatori di invecchiamento cerebrale, se ne dedurrebbe che il lockdown avrebbe provocato un danno da invecchiamento nel cervello degli adolescenti.
Per cominciare, è facile osservare come la correlazione (non causalità!) che gli autori riportano è insufficientemente stabilita dai dati dello studio. Per esempio, non ci sono informazioni dettagliate sugli individui campionati, a parte il fatto che sono stati raccolti in momenti diversi durante la pandemia; la pandemia però è stata trascorsa in molti modi, e solo per limitati periodi in lockdown, e molte altre cose potrebbero essere accadute ai soggetti considerati in quel periodo. Per esempio, i soggetti potrebbero essere stati infettati da SARS-CoV-2, che come è noto può provocare proprio anomalie cerebrali permanenti rilevabili mediante MRI. A parte infezione e COVID-19, ci sono molti fattori che non sono modellati o documentati nell’articolo e che potrebbero largamente spiegare questi risultati, senza che nulla specificamente leghi i dati morfologici riportati al lockdown.
Più seri sono tuttavia i problemi di campionamento e metodologici. Cominciamo dai primi. Sebbene si utilizzi un database di scansioni cerebrali di ampiezza che appare sufficiente, con 160 analisi condotte prima della pandemia e 130 dopo di essa, non si seguono gli stessi soggetti nel tempo, per misurare direttamente la dinamica di modifica morfologica della corteccia.
Invece, si usano i due set, pre-pandemico e post-pandemico, suddividendoli in sottoinsiemi per addestrare un modello predittivo, per convalidarlo, e quindi per effettuare il test e misurare l’effetto poi riportato. Questo comporta che nel test finale si effettuano misure in due gruppi separati, consistenti in 29 maschi e 25 femmine, divisi inoltre ciascuno in tre fasce di età – il che porta a gruppi molto piccoli per effettuare le misure e trarre conclusioni (ad esempio solo 10 maschi e 8 femmine di 16 anni). La robustezza statistica del risultato finale, da cui gli autori derivano il proprio titolo, è dunque pesantemente minata dal fatto che la procedura adottata porta all’utilizzo di campioni molto piccoli, che una qualunque analisi di confidenza è in grado di mostrare insufficiente.
Oltre alle dimensioni troppo piccole dei campioni utilizzati, vi sono poi dei grossi problemi con la procedura utilizzata. Preliminarmente, va tenuto conto che lo studio non misura l’assottigliamento corticale individuale dei soggetti coinvolti in base a un’analisi delle scansioni cerebrali pre- e post-pandemia, ma invece utilizza un modello per stimare nel tempo l’assottigliamento corticale “normale” e, rispetto a quello, valutare eventuali accelerazioni. Ciò rende i loro risultati sensibili a qualsiasi limitazione del modello e del modo in cui esso è costruito.
Per cominciare, dalla lettura del lavoro pare di capire che l’intervallo di età dei soggetti arruolati è diverso per il campione usato ai fini di creare il modello pre-Covid rispetto a quello nel campione post-Covid. Inoltre, non si considera che ci sono differenze fra i sessi correlate allo sviluppo puberale, con le femmine che mostrano una maturazione più precoce (assottigliamento) dello spessore corticale dovuta alla pubertà, il che, ovviamente, rende ancor più significativo il disallineamento fra le classi di età usate per ricavare il modello di sviluppo normale” e per misurare gli effetti della pandemia.
Anche se gli effetti sin qui enunciati non creassero distorsioni troppo forti del modello, vi è un difetto nella sua costruzione che credo sia invece capitale. Per come sono scelti i soggetti che vanno a costituire il campione utilizzato per addestrare e quello per convalidare il modello di sviluppo cerebrale “normale” negli adolescenti, non vi è nessuna garanzia che i due set di dati siano indipendenti – piuttosto sembrerebbe il contrario. Per il tipo di algoritmi utilizzati, è noto che se il set di dati di convalida non è veramente indipendente da quello di addestramento, i risultati di convalida esagerano le prestazioni del modello – nello specifico esagerano la bontà della correlazione fra invecchiamento e parametro morfologico misurato.
Ricapitoliamo: lo studio appena pubblicato su PNAS, che tanti titoli ha generato e sta continuando a generare, ha un campione di dimensioni troppo piccole che rende la confidenza statistica molto bassa, campione peraltro insufficientemente caratterizzato per poter attribuire al lockdown qualunque osservabile, e ha gravi difetti di costruzione nel modello di invecchiamento cerebrale che pretende di applicare per identificare distinzioni fra soggetti post-pandemici e soggetti pre-pandemici.
Come sempre, nell’attuale impresa scientifica, ogni pubblicazione è solo l’inizio della discussione scientifica, e prima che un’asserita dimostrazione possa essere considerata valida bisogna andare nei dettagli di uno studio, o aspettare che la comunità scientifica faccia il suo lavoro; in questo caso, non credo che vi saranno molti dubbi circa la bassa qualità di quanto pubblicato da una pur prestigiosa rivista.