GMK k "metaanalýze účinnosti lockdownů"

Gideon Meyerowitz-Katz rozebírá v médiích populární "výsledek" o mizivé účinnosti lockdownů.

Tvzení z textu “J. Herby, L. Jonung a S. H. Hanke: A LITERATURE REVIEW AND META-ANALYSIS OF THE EFFECTS OF LOCKDOWNS ON COVID-19 MORTALITY” se bohužel nejspíš budou jako argument opakovaně objevovat i v české debatě o pandemii. Víc dojmů na téma české debaty napíšu v separátním článku, nicméně mi přišlo dobré mít snadno odkazovatelné vyvětlení v češtině, proč je Herbyho analýza v podstatě úplně nesmyslná. Dost podrobně ji rozebral epidemiolog Gideon Meyerowitz-Katz, takže s jeho svolením jeho twitterový komentář prostě překládám.

Zmiňovaný článek vzbudil dost pozornosti tvrzením, že lockdowny  byly zbytečné (pochází z něj tvrzení o 0,2% účinku lockdownů). Desítky lidí se mě ptaly co si o této metaanalýze myslím, takže tady je odpověď:

Podle mého názoru se jedná o velmi slabý přehled, který toho ve skutečnosti moc neukazuje, pokud vůbec něco.

Článek je systematickým přehledem provedeným třemi uznávanými ekonomy, kteří už od března 2020 rovněž vystupují radikálně proti lockdownům. Najdete jej zde.

Jak už poznamenali jiní, jedná se o "working paper", což v podstatě znamená, že text není recenzovaný a odráží pouze názory tří jmenovaných autorů (a ne např. Univerzity Johnse Hopkinse, poznámka J.K.)

První problém se samotnou metaanalýzou je velmi základní - zahrnutí/vyloučení jednotlivých studií.

Žádné z kritérií mi nedává smysl 

Například jsou vyloučeny všechny práce s modelovanými kontrafaktuálními scénáři. Vzhledem k tomu, že se jedná o nejčastěji používanou metodu při hodnocení dopadu infekčních onemocnění, vede to v praxi k vyloučení většiny epidemiologického výzkumu z přehledu

Autoři tvrdí, že zahrnují pouze studie využívající přístup "difference in difference", ale podle jiných ekonomů, no… není to pravda.

Zařazené studie tedy rozhodně nejsou reprezentativní pro celek výzkumu efektu lockdownů - a to ani vzdáleně. Mnoho z nejrobustnějších prací o dopadu opatření je pomocí zvolených kritérií předem vyloučeno. 

Důsledky této volby můžeme vidět v hlavní tabulce výsledků. Odtud pochází odhad efektu lockdownů 0,2 %, který jste možná někde viděli.

Jak metaanalýza je tohle úplně marné.

Proč?

No, podívejme se na studie zde

• Bjørnskov = oxfordský index přísnosti opatření (OxCGRT) korelovaný s hrubým počtem hlášených úmrtí na covid

• Shiva/Molana = oxfordský index přísnosti opatření (OxCGRT) korelovaný s hrubým počtem hlášených na covid

• Stockenhuber = atd, chápete podstatu.

Jedinými rozdíly v těchto studích jsou zahrnuté země, načasování, korekce na confounding a korekce na různá zpoždění. Také se mírně liší modelování.

Pozoruhodné je, že studií, která nápadně chybí, je práce Hale a kol., což je skupina, která použitý oxfordský index přísnosti opatření (OxCGRT)  vytvořila a na jejichž datech jsou všechny zahrnuté články založené (!). Haleovi a kol vyšlo přitom vyšlo masivní snížení úmrtnosti v důsledku lockdownů.

Pokud máte 7 prací, které používají stejný dataset a různě s nimi manipulují, opravdu nemá smysl vypočítat průměr vážený tím, jak která práce uvedla směrodatnou odchylku a označit to za výsledek systematické recenze. Je to prostě bizarní. Ale ve skutečnosti je to ještě podivnější. Když se podíváte na model, výsledek vychází téměř kompletně z jedné konkrétní práce, která uvedla malou směrodatnou odchylku, Chisadza et al.

Ale Chisadza a kol. zjistili že lockdowny měly efekt. Autoři onoho článku se dokonce veřejně distancovali od způsobu použití jejich dat v “metaanalýze“, a obvinili autory metaanalýzy, že při psaní článku měli předem daný závěr.

Pokud se podíváte pozorněji, zdá se, že podobné problémy jsou u poměrně velkého množství zahrnutých výzkumů. Například v tabulce 5 je velká část souhrnného modelu založena na tomto článku...

 ...jejíž vedoucí autor se ohradil, že jejich regresní odhady ve skutečnosti nelze takto interpretovat.

Jiná zařazená práce zjistila, že významná omezení byla účinná, ale je zařazena do tohoto přehledu jako odhad 13,1% zvýšení počtu úmrtí. Výpočet použitý k odvození údaje v metaanalýze je dosti neprůhledný.

To vše dohromady vede k velmi podivnému přehledovému článku. 

-Autoři vylučují mnoho nejprůkaznějších studií, včetně těch, které jsou v první řadě základem jejich metaanalýzy. 

- Pak vezmou řadu prací, z nichž většina zjistila, že restriktivní NPI mají přínos pro úmrtnost, a z regresních koeficientů odvodí nějaký matematický odhad, který ukazuje na menší přínos, než naznačují tyto práce. 

-Neexistuje žádné skutečné hodnocení potenciálu zkreslení v zahrnutých výzkumech (přehled používá pouze tyto 4 opravdu bizarní "dimenze kvality", které... nebudu komentovat).

To vše dohromady znamená, že konkrétní čísla uvedená v přehledu jsou do značné míry neinterpretovatelná. Hodnocení "kvality" je nesmyslné a výsledná čísla nejsou ve skutečnosti správná. 

Ve skutečnosti je dopad "lockdownů" velmi těžké posoudit, už jen proto, že v první řadě nemáme žádnou dobrou definici "lockdownů". Autoři tohoto přehledu definují "lockdown" jako doslova jakoukoli uloženou povinnost nebo zákaz.

Takto však jejich analýza ve skutečnosti rozhodně nepostupuje. Ve většině případů se zdá, že autoři vzali za praktickou definici "lockdownu" odhady pro opatření “zákaz vycházení” (to je v literatuře docela běžné). 

A upřímně řečeno, souhlasil bych s tím, že důkazy o mezním přínosu zákazu vycházení, když už jste zavedli desítky jiných omezení a všecho je zavřené, jsou pravděpodobně dost slabé. Jedna ze zahrnutých studií, Spiegel et al, to ukazuje docela dobře

Jak již bylo řečeno, pokud ale za "lockdown" považujeme jakékoliv nucené omezení, je pravda taková, že prakticky všechny výzkumy ukazují (krátkodobou) redukci úmrtnosti pro alespoň některá omezení

To ve skutečnosti vyšlo i autorům metaalýzy - podle tabulky ze závěru práce vyšlo, že efekt mělo povinné nošení respirátorů, uzavření podniků, uzavření hranic/karanténa a uzavření škol. Některé z těchto efektů byly velmi vysoké!

Podle mě, pokud definujeme "lockdown" jako “dodatečný efekt zákazu vycházení v situaci s mnoha dalšíma omezeníma", bylo by pravděpodobně fér na základě této práce tvrdit, že přínos může být poměrně malý.

To se ve skutečnosti ukázalo již dříve a je to docela rozumné stanovisko založené na důkazech! Údaj -0,2 % je sice bezvýznamný, ale obecně vzato tahle teze není nějak divoká. Pokud však definujeme "lockdown" jako "jakékoli povinné omezení proti COVID-19", tento článek ve skutečnosti ukazuje spíš pravý opak toho co říká - totiž, že mnoho povinných omezení velmi účinných při kontrole onemocnění bylo. (S velkou výhradou, že není jasné, co vůbec ukazuje - odhady v článku pravděpodobně nejsou příliš užitečné a konkrétní čísla budou pravděpodobně dost mimo.)

Jako drobný dodatek bych také poznamenal, že osobně souhlasím s tím, že mnoho lidí původně podcenilo dopad dobrovolné změny chování na úmrtnost na COVID-19 - pravděpodobně není od věci argumentovat, že lockdowny nebyly tak účinné, jak jsme si původně mysleli.  Vlastně je to docela fascinujícím způsobem vidět na novém výzkumu Sharma et al. Understanding the effectiveness of government interventions against the resurgence of COVID-19 in Europe v Nature Communications, který ukázal, že dopady restrikcí ve druhé vlně byly rozhodně jiné než v první vlně. (Na tomto výzkumu jsem se podílel, poznámka J.K.)

Pozor ale - srovnání s dobrovolnou změnou chování platí obousměrně - je také dost pravděpodobné, že lockdowny neměly tak velký negativní dopad, jak většina lidí navrhuje, protože některé změny chování byly dobrovolné!