Debata v Česku je i obětí vědeckých omylů

A o joaniditech

Debata v Česku je i obětí vědeckých omylů.

Jako argument na téma nefunkčnosti a zbytečnosti opatření se například šíří studie A Bendavida, JP Ioannidise et al. “Assessing mandatory stay‐at‐home and business closure effects on the spread of COVID‐19”. Metodika výzkumu obsahuje zjevné chyby. Některé lze popsat i laicky - studie například předpokládá, že se opatření projeví na počtu prokázaných nakažených okamžitě. S nulovým zpožděním. To zjevně neodpovídá skutečnosti: opatření mohou způsobit redukci přenosu infekce, ale od okamžiku infekce lidem nějakou dobu trvá než se u nich rozvinou symptomy, a většinou ještě delší dobu než se dostanou na testy. Tato doba se dá sledovat i modelovat, a v různých zemích je běžně 7-14 dní. Tedy je úplně běžné, že po zavedení opatření prokázané případy rostou klidně dalších 14 dní - stačí se podívat na Česko na podzim. Pokud tuto prodlevu zanedbáte, uvidíte dost zvláštní obrázek: vláda zavede opatření, ale případy poté rychle rostou.

Problematické statistické metody vedou k nepravděpodobným výsledkům v rozporu se zbytkem literatury, kde například ve Španělsku kombinace nařízení práce z domova, uzavření škol a zákazu cestování mezi regiony měla statisticky významně zrychlit šíření COVID (!), kdežto v Íránu má zhruba stejná kombinace intervencí statisticky významný efekt srovnatelné velikosti s opačným znaménkem. Studie neobsahuje v podstatě žádné analýzy robustnosti nebo senzitivity, takže část výsledků může být zcela náhodně daná volbou modelu. Článek se také zdá konstruovaný kolem teze “více restriktivní opatření jsou zbytečná”, ale rozdělení opatření na “více omezující” (např. zavření obchodů) a “méně omezující” (např. zavření škol) je zcela arbitrární. (Perličkou české diskuse je, že část lidí, která touto studií argumentuje proti opatřením, zjevně netuší co autoři označili za více a co za méně restriktivní.)

Můj odhad je, že v této verzi by článek velmi pravděpodobně neprošel běžným recenzním řízením v časopise kde se recenzenti věnují modelování epidemií. A také asi neprošel - studie byla publikována v časopise sice impaktovaném, ale pro výzkumu tohoto typu neobvyklém, totiž European Journal of Clinical Investigation, kde byl John P. A. Ioannidis v letech 2010 až 2019 hlavním editorem.

V každém případě pokud někoho zajímá toto téma, je k dispozici řada lepších článků.

Podívejme se na širší kontext.

Obecně si myslím, že jedna z věcí kolem COVID, které se časem dostanou do učebnic, je právě příběh profesora Ioannidise. Do COVIDu měl naprosto zářnou reputaci, založenou z velké části na vyvracení chybných výzkumů v medicíně, a meta-vědecké analýze výzkumu. Bohužel, v březnu 2020 si, zdá se, vytvořil silný názor na to, že lockdowny jsou zlo, a vede k nim kolosální omyl většiny výzkumu na toto téma. To samo o sobě byla v nějakou chvíli legitimní hypotéza, kterou ovšem bylo třeba podpořit zvlášť pečlivým a dobře zpracovaným výzkumem. Místo tak kvalitního výzkumu jaký řada lidí čekala přišel standfordský tým se studií s velmi špatnou statistikou a naopak přehnanou medializací, čímž si do té doby skvělou reputaci dost zásadně zničil. (Ve Wired dojem popsali takto: the Santa Clara study compromised Ioannidis' previously excellent reputation and meant that future generations of scientists may remember him as "the fringe scientist who pumped up a bad study that supported a crazy right-wing conspiracy theory in the middle of a massive health crisis.")  

Onou “bad study” zmíněnou není ta výše zmíněná studie výzkumu opatření, ale jiná, neblaze proslulá “Stanfordská studii seroprevalence". 

Preprint obsahoval třeba tenhle kus statistického zpracování:

1. Z 3330 vzorků máte 50 pozitivních

2. Provedeme "post-stratifikaci": například protože ve skupině lidí, kteří se přihlásili na test, bylo méně hispánců než v populaci, počet případů v hispánské části vzorku převážíme. Takto vyrobíme z 50 např. 93 pozitivních

3. Následně provádíme korekci na senzitivitu a specificitu. K počtu falešně pozitivních máte data výrobce: z prokazatelně negativních 371 pre-COVID vzorků jich test správně poznal 369 a 2 byly falešně pozitivní = 99.46%. Provedete si i vlastní pokus, kde ze 30 negativních vzorků najdete 30 negativních, a pracujete proto i s bodovým 100% citlivosti (!).

Po dvou stranách tohoto cvičení dospějete k odhadu, že prevalence COVID mohla být i 4.16%. S tvrzením, že výsledek naznačuje, že počet infikovaných byl 50-85x větší než počet potvrzených případů, jako seniorní autoři následně vyrazíte do zpravodajských televizí a pořadů na Fox News a podobně. COVID není tak nebezpečný, reakce je přehnaná. (Fox News si poslechněte pro srovnání)

Já nevím u kolika z vás výše popsaný kus statistiky vyvolá nějakou reakci, ale když jsme to s kolegy na jaře četli, naše reakce byla poměrně prudká. Máme matematiku i statistiku rádi a co v tom preprintu děje není v pořádku. Číslo s kterým autoři šli do médií v podstatě nesouvisí s experimentálními daty a stejná serologická data byste mohli získat i pokud by v dané skupině neměl COVID vůbec nikdo.

Zdvořile řečeno, citoval bych statistika Andrew Gelmana:

“Myslím si, že autoři výše uvedeného článku nám všem dluží omluvu Mrháme čas a úsilí diskusí o článku, jehož hlavním “sales point” jsou nějaká čísla, která jsou v podstatě výsledkem chyb ve statistice.

Myslím to s omluvou vážně. Každý dělá chyby. Nemyslím si, že se autoři musí omlouvat proto, že to zpackalii. Myslím, že by se měli mluvit, protože těmhle chybám se šlo vyhnout. Jedná se o druh zpackání, ke kterému dojde, pokud chcete vzbudit pozornost s vzrušujícím výsledkem a příliš pečlivě nehledíte na to, co jste mohli udělali špatně.”

Kritika byla drtivá a zřejmě i tým autorů musel tušit, že s čím jdou na veřejnost není bez problémů - dva seniorní autoři taktéž ze Stanfordu, kteří se na studii podíleli zkoumáním parametrů oněch testů, pod preprintem odmítli být podepsaní.

Celkem si myslím, že by to bylo dobré téma pro nějakou reportáž. Reakce většiny akademické komunity byla velmi negativní, část laiků si ovšem tuto kritiku vysvětlila tak, že nejde o chyby, ale Ioannidisovy disentní názory jsou umlčovány. Nebo jako odpůrce lockdownů je cílem útoku ze strany “vědeckého establishmentu”. V US prostředí se vše zpolitizovalo podle osy demokrati-republikání, a tak dále.

Přesuňme se do Česka. Zde si stanfordský kolektiv autorů obou zmíněných studií našel hlasitou skupinu příznivců, které pracovně říkám “joanidité”.

Typickými “credem” joaniditů je

1. Obhajovat nízké odhady mortality (IFR) COVID s odkazy na serologické studie

2. Útočit na jakékoli jiné odhady mortality s tím, že jde o statistické chyby

3. Zpochybňovat efekt protiepidemických opatření

4. Útočit na mainstreamové epidemické modelování a běžnou laboratorní diagnostiku

5. Požadovat extrémně rigorózní statistické důkazy zjevných tvrzení, pokud podporují protiepidemická opatření.

Myslím, že na jaře 2020 bylo možné část faktických názorů na smrtnost a účinek opatření považovat za sadu celkem legitimních hypotéz, odrážejících nejistotu v poznání.

V únoru 2021 jde o sadu většinou vyvrácených hypotéz, jejíž obhajoba se podle mě od základů vědy čím dál víc vzdaluje. Jedním ze základů vědy je schopnost hypotézy odmítat.

Přestože od “joaniditů” najdete celé přednášky o tom jak je epidemické modelování špatně, rozhoduje se podle nesmyslných dat, testy mají neznámé parametry, nepořádají se randomizované studie a tak podobně, tato kritika je selektivní. Sice někdy ukazuje skutečné problémy vědeckých studií, ale uprostřed této kritické pozornosti je nápadná slepá skvrna. Věda, která vede ke “správným” závěrům, je přijatá nekriticky, bez ohledu na kvalitu výzkumu.

Bude zajímavé sledovat, jak moc se joaniditům podaří zasáhnout do debaty v Česku.

Zatím se zdá, že vytvoří jakési “vědecké křídlo” organizací typu Zdravé fórum, požadujících zrušení co nejvíce protiepidemických opatření, odmítnutí testování a nakažení populace. Taktikou působení na veřejnost a politiky je částečně snaha o rozklad důvěry v mainstreamové vědecké názory. K tomu bohužel vůbec nebude potřeba prokázat zastávané teze v odborné debatě nebo mít lepší odborné argumenty, ale bude stačit s pomocí autority dané akademickou funkcí obecně snížit důvěru v běžnou vědu - pokud veřejnost a politici přijme rétoriku typu “pro každý názor najdete studii”, “vůbec nemáme data”, “modely jsou špatně a nelze podle nich rozhodovat”, “vůbec se to nezkoumá” a “experti se neshodnou”, bude útok na kolektivní epistemologii úspěšný. Pdhaduji že výsledkem bude politické rozhodování založené na dojmech a náladách veřejnosti ještě více než dosud. 

Co říci závěrem? Pokud jste například byli loni dost naštvaní z toho, jak ÚZIS tají data a monopolizuje si epidemické predikce založené na netransparentních modelech, nenechte se zmást heuristikou, že kdo kritizuje ÚZIS, nejspíš má pravdu.