Al giorno d'oggi si accede molto facilmente attraverso i media online ad un ampio spettro di informazioni in merito a varie patologie. La maggior parte delle persone legge tali informazioni con consapevolezza ed occhio critico, verificando le fonti (come, ad esempio, i documenti scientifici). Tuttavia, giudicare la qualità di questi documenti rimane piuttosto difficile.
I risultati ottenuti da studi clinici controllati randomizzati e studi clinici reali rappresentano lo standard di riferimento per prendere decisioni a livello terapeutico. Soprattutto nel caso di disturbi e patologie ancora poco studiate o per le quali i dati sui potenziali trattamenti sono limitati, ad esempio il caso Long COVID, sia i pazienti che gli operatori sanitari si affidano alle ricerche in corso e alle pubblicazioni recenti. Tuttavia, gli studi scientifici possono differire per gli standard richiesti nei processi di pubblicazione, rischiando di confondere chi non ha familiarità con i meccanismi di revisione delle pubblicazioni scientifiche. Inoltre, una particolare impaginazione può far apparire scientificamente accurate informazioni non ancora validate che una volta riprese dai media, possono essere rapidamente diffuse ad un vasto pubblico senza alcun controllo sulla qualità.
È quindi importante che tutti apprendano come valutare le pubblicazioni scientifiche, l’affidabilità di uno studio o meno e come distinguere risultati validati da affermazioni audaci non supportate da dati. Ecco un elenco di criteri da poter utilizzare per esaminare l’attendibilità di uno studio e quali dati cercare in una pubblicazione sui risultati di una sperimentazione clinica.
Non tutti i dati scientifici sono ugualmente attendibili. A volte può essere legittimo "giudicare il libro dalla copertina".
Per valutare se l'articolo di ricerca che state per leggere soddisfa i criteri di qualità standard, ci sono alcune cose che potete controllare anche PRIMA di leggere l'articolo:
- L'articolo è stato pubblicato su una rivista peer-reviewed (revisione da parte di esperti)?
Le riviste scientifiche con elevato impact factor utilizzano un processo di revisione paritaria (peer-review) per garantire la qualità delle loro pubblicazioni. Prima di essere pubblicato, un articolo viene sottoposto alla revisione da parte di diversi esperti del settore, che valutano la qualità del manoscritto. Questa procedura viene effettuata in “doppio cieco” (né il revisore né l’autore dell’articolo conosce l’altra parte in causa) o almeno in singolo cieco (l'autore non sa chi abbia effettuato la revisione). Gli esperti possono richiedere ulteriori dati per convalidare dei risultati presentati o di modificare il testo un manoscritto se non sufficientemente chiaro. Nel solo caso in cui tutti i revisori concordino sulla rilevanza di contenuti, l'articolo viene accettato e pubblicato. Le riviste che non richiedono un processo di revisione sono generalmente meno affidabili e possono contenere dati non validati.
- È un preprint?
Oltre a presentare un lavoro a una rivista peer-reviewed, è possibile pubblicare i manoscritti su una piattaforma di preprint. In tal caso, i dati presentati non sono stati esaminati da altri esperti. Un articolo che venga rifiutato da riviste rinomate per mancanza di qualità può comunque essere pubblicato come preprint.
- Quanti autori sono coinvolti?
Uno studio clinico comporta molto lavoro e spesso sono coinvolte diverse istituzioni. Quando un articolo ha solo uno o due autori, si tratta più probabilmente di un'opinione, di un riassunto di dati recenti (revisione della letteratura) o di un riassunto e confronto di dati recenti (revisione e metanalisi). Quest'ultima può fornire utili informazioni sul confronto tra i diversi trattamenti disponibili sul mercato.
- Dove e quando è stato condotto lo studio?
Lo studio è aggiornato? Gli standard per gli studi clinici sono in continua evoluzione e uno studio più vecchio potrebbe non essere più all'altezza degli attuali standard di qualità. L'origine, l'etnia e i fattori ambientali possono avere un forte impatto sull'efficacia di alcuni trattamenti. Le caratteristiche dei partecipanti allo studio devono essere paragonabili a quelle dei vostri pazienti per poter trarre delle conclusioni.
- Lo studio in questione è registrato su clinicaltrials.gov o su un registro nazionale?
Uno studio è registrato in un registro nazionale o internazionale, solo se soddisfa determinati criteri di qualità.
- Ci sono conflitti di interesse tra i ricercatori?
Come è stato finanziato lo studio? Gli autori collaborano con qualcuno che potrebbe beneficiare finanziariamente dei risultati dello studio presentato? Gli studi clinici sono molto costosi e quindi dipendono dal supporto finanziario delle aziende farmaceutiche. Per evitare ogni possibile sfruttamento e garantire una completa obiettività, la comunicazione nell'industria farmaceutica è altamente regolamentata dalle autorità nazionali e internazionali.
Come è strutturato lo studio e in che modo il metodo scelto riflette la pratica clinica quotidiana?
Se lo studio che state esaminando vi sembra affidabile in base ai criteri sopra citati, potete passare alla valutazione del suo contenuto. Ecco cosa considerare quando si analizza il disegno dello studio:
- Quanti pazienti sono stati coinvolti?
Uno studio che include poche persone non consente di trarre conclusioni per un ampio numero di pazienti. Solitamente il numero di persone incluse dipende dalla quantità di casi affetti dalla patologia oggetto della ricerca.
- Che tipo di pazienti sono stati coinvolti?
Per trarre conclusioni, la popolazione di pazienti deve essere paragonabile ai vostri pazienti.
- I pazienti sono stati randomizzati?
Se in uno studio vengono confrontati due o più trattamenti, è importante sapere se i trattamenti sono stati assegnati in modo casuale. In caso contrario, potrebbe esserci un bias di selezione.
- Lo studio è stato condotto in cieco?
Quando si confrontano due o più trattamenti, è importante sapere se i partecipanti ed eventualmente i ricercatori erano a conoscenza del trattamento ricevuto o somministrato (open label) oppure no (singolo o doppio cieco).
- Qual è stata la durata dello studio?
Il periodo di studio deve essere sufficientemente lungo per valutare potenziali problemi di sicurezza e per garantire un beneficio nel tempo.
- Per gli studi che confrontano trattamenti diversi: Il comparatore scelto è adeguato e le caratteristiche dei pazienti dei due gruppi sono confrontabili?
Soprattutto in assenza di trattamenti efficaci per determinate patologie, potrebbe essere necessario confrontare un nuovo trattamento con quello attualmente in uso piuttosto che con il placebo. È necessario considerare le caratteristiche dei pazienti nei gruppi di confronto. Idealmente, sono simili, altrimenti potrebbe essere necessario un aggiustamento statistico dei risultati in base alle caratteristiche di base.
Lo studio ha un'ipotesi chiara e i metodi utilizzati sono adatti a valutare questa ipotesi?
I metodi utilizzati in uno studio sono fondamentali per valutare i risultati presentati. Se il metodo è poco chiaro, distorto o errata, i risultati ottenuti possono non essere attendibili.
- L'ipotesi è chiara?
Gli autori devono indicare il risultato atteso dallo studio.
- Il metodo applicato allo studio è adatto a valutare l'ipotesi?
I risultati possono supportare l'ipotesi solo se i metodi sono ben scelti.
- Chi ha definito gli metodi?
È un buon segno se gli metodi sono stati definiti da un comitato di esperti indipendenti.
- Quali risultati sono stati definiti?
I risultati delle misure devono essere definiti e spiegati affinichè possano sostenere o confutare l'ipotesi.
I risultati supportano l'ipotesi?
I risultati devono essere presentati in modo oggettivo e la discussione deve spiegare perché questi risultati sono in grado di supportare l'ipotesi citata.
- I risultati permettono di trarre le conclusioni presentate?
A volte si traggono conclusioni da dati ambigui. La differenza tra causalità e correlazione deve essere chiara.
- Tutti i risultati sono inclusi nell'analisi e nella discussione?
Se alcuni risultati non compaiono nella discussione, è un indizio del fatto che i risultati sono diversi da quelli attesi. Inoltre, se viene analizzata solo una parte dei pazienti arruolati nello studio, è probabile che altri siano stati esclusi perché non soddisfacevano i risultati previsti o che in molti abbiano abbandonato lo studio (per esempio a causa di elevata tossicità o scarsa efficacia del trattamento).
- I risultati possono essere generalizzati alla pratica clinica?
Questo dipende molto dalla popolazione di pazienti. Se i pazienti dovessero soddisfare molti criteri ben precisi al fine di ottenere i risultati desiderati, il trattamento potrebbe non essere applicabile alla pratica clinica.
- I risultati sono presentati in modo oggettivo?
I risultati devono essere presentati senza alcuna valutazione. Se i risultati non sono presentati in modo oggettivo, è plausibile una possibile bias da parte degli autori.
- La discussione indica se gli esiti prestabiliti sono stati raggiunti?
All'inizio di uno studio devono essere definiti l'ipotesi e il risultato atteso. La discussione ni una pubblicazione scientifica dovrebbe poi includere un’argomentazione sul raggiungimento degli esiti ottenuti, se l'ipotesi è dunque corretta e infine se lo studio è positivo o meno.
- I ricercatori indicano nella discussione le possibili limitazioni dello studio?
Se la discussione include una sezione sui limiti dello studio, è segno che i ricercatori sono consapevoli dei potenziali difetti e presentano i risultati in modo oggettivo, invitando il lettore a valutare i risultati.
I risultati dello studio sono statisticamente significativi?
Poiché gli studi clinici trattano solitamente una grande quantità di dati relativi a singoli pazienti, è indispensabile un'analisi statistica dei risultati ottenuti. La statistica può essere difficile da capire, ma ci sono alcuni semplici elementi da controllare:
- Quali metodi statistici sono stati utilizzati?
Anche per coloro che non hanno familiarità con i metodi statistici, è comunque consigliabile verificare l’eventuale esecuzione di un'analisi statistica. Gli operatori sanitari dovrebbero investire del tempo per apprendere i metodi statistici standard e l’accezione significatività statistica.
- Che cosa significano i rapporti di probabilità e gli intervalli di confidenza?
I rapporti di probabilità (odds ratio) sono spesso utilizzati nelle analisi sulla sicurezza di un trattamento in termini di effetti collaterali, e consentono il confronto tra diversi trattamenti. Un rapporto di probabilità pari a 1 significa che un determinato effetto collaterale si è manifestato ugualmente in entrambi i gruppi. Un rapporto di probabilità inferiore o superiore a 1 indica che l'effetto collaterale si è verificato rispettivamente con minore o maggior frequenzanel gruppo di trattamento valutato rispetto al gruppo di confronto (ad esempio, il placebo). Un intervallo di confidenza contiene il 95% dei risultati. Se l'intervallo di confidenza è molto ampio, i risultati variano molto da paziente a paziente. In termini di efficacia del farmaco, ciò potrebbe comportare che i pazienti possano riscontrare grande o perfino nessun beneficio in seguito a trattamento farmacologico.
- È stata dimostrata la significatività statistica?
Nella discussione dovrebbe essere indicato se sia stata raggiunta la significatività statistica. I trattamenti con un rischio molto basso di effetti collaterali potrebbero essere comunque presi in considerazione nella pratica anche se non è stata raggiunta la significatività statistica, qualora i ricercatori possano dimostrare che i benefici superano molto probabilmente i rischi e che non vi sarebbe alcun danno in caso di inefficacia del trattamento.
Altea Long COVID si impegna a rendere la ricerca in corso accessibile a tutti. Ci auguriamo che questa guida vi aiuti a valutare più facilmente il contenuto degli studi scientifici e vi invitiamo a discutere le nuove pubblicazioni con altri pazienti e operatori sanitari della nostra comunità.
