Jak jste si možná všimli, možná nevšimli, na sociálních sítích i částečně i v klasických médiích na mě osobně a mojí práci útočí aktivisté platformy “Zdravé fórum”. Přijde mi, že míra okopávání kotníků a fabulací překračuje hranici, kdy je lepší k tomu něco napsat, než to ignorovat - takže tady převážně pro referenci. Je to dlouhé a spíše neveselé..
V tuhle chvíli nebudu podrobně reagovat na roztodivné “ad hominem”, ale vysvětlil bych, jak chápu odbornou část polemiky a proč nemám nijak zvlášť chuť v ní pokračovat . Na konci pak píšu pár osobních dojmů z interakce s touto “platformou”.
I.
Struktura sporu/nedorozumění mezi mnou a několika aktivisty ZF, kteří se profesně zabývají statistikou a matematikou, z mého pohledu vypadá zhruba takhle:
1. Modely toho typu, který nám vyšel v Science[1], mohou trpět docela pochopitelným problémem - pokud jediné členy, kterými model může vysvětlit data, jsou efekty opatření, hrozí, že model v tom případě připíše úplně všechny změny v datech opatřením. Řekněme tomu "problém P", a jde o problém už “korelační analýzy”, ne o kauzalitu.
Podle mě taková volba modelu není šťastná. Ale, neděláme ji!
Aktivista “Zdravého fóra” doktor Tomáš Fürst a statistici Jakub Dostál a Ondřej Vencálek ovšem v médiích i esejistické kritice začali tvrdit, že model přesně tohle dělá. Například:
"Studie má totiž jednu zásadní vadu – autoři předpokládají, že jakákoliv změna dynamiky šíření nemoci je způsobena vládními opatřeními."[2]
Autoři modelu toto ovšem nepředpokládají! Dokonce na několik stran rozebírají, jak zajistit, že se toto neděje.
Až zpětně mi došlo, jak k takovému omylu mohlo dojít. V "hlavním textu" článku je zjednodušený diagram modelu, který část členů neobsahuje; model je ve skutečnosti podrobně specifikován v Apendixu, kde se i tenhle problém obsáhle diskutuje.
K nedorozumění tedy asi došlo tak, že autoři kritiky si přečetli jen "hlavní text", ale nikoli Appendix, kde je model podrobně popsaný. Takové možnosti nasvědčuje i věta
"Jediná rovnice, která se v textu vyskytuje, prozrazuje, že základní reprodukční číslo R0,c je považováno na konstantu, která závisí jen na tom, kterou zemi sledujeme, ale nikoliv na čase. Základní reprodukční číslo je v každém dni vynásobeno konstantami vyjadřujícími efekt jednotlivých v ten den platných vládních opatření"
Rovnic v textu jsou desítky, ale jsou právě v těch přílohách, které jsou delší než hlavní text článku. (To není nějaký úskok jak model schovat - je běžnou praxí v mnoha oborech, že se většina explicitní matematiky napíše do přílohy.)
Opakovaně se bráním tvrzení, že model má tento ”problém P”. Kdyby skutečně tento problém model měl, tak souhlasím, že je to poměrně důležitá kritika. Pokud si ovšem kdokoli kvalifikovaný přečte celou technickou část textu, musí ovšem souhlasit, že tohle není ten případ - ty členy v těch rovnicích prostě jsou, nelze o tom vést spor.
Možnost nedorozumění tohoto typu mě původně bohužel vůbec nenapadla - protože mě nenapadlo, že by se někdo pustil do ostré mediální kritiky článku, u kterého matematickou část textu vůbec nečetl. Od té doby jsem “prior” na to, co je možné v debatách o covidu značně rozšířil.
Nicméně, z různých náznaků se zdá, že časem se tohle vyjasnilo; sice nikdo ze ZF ani statistických kritiků nic takového přímo neřekl, ale v průběhu polemiky se zdá došlo k jistému posunu v tom, co kdo tvrdí.
Místo opakování dokazatelně mylného tvrzení, že výsledky modelu jsou dané “problémem P”, se objevilo jiné tvrzení, totiž, že v článku dochází k záměně korelace a kauzality.
V angličtině se tomuto diskusnímu kroku říká “moving the goalposts” - posunutí branky. (Můžete si ověřit, že v původní kritice není o problému kauzality žádná zmínka).
Kauzalita
2. V otázce korelace/kauzality… aktivisté “Zdravého fóra” především postavili tzv. “hadrového panáka”, se kterým pak udatně bojují. Pro rétorický efekt se tomu “hadrovému panákovi” říká Kulveit, což je asi pro široké publikum působivé - zvlášť pro lidi, kteří nečetli ani původní článek[1], ani kritiku[2], ani odbornou reakci na ní[3].
Já se dost zdráhám k této části sporu něco psát, protože snadno hrozí, že odpověď bude dez-interpretována tak, že skutečně zastávám totéž, co ten hadrový panák.
Naštěstí, nezávisle náš v tomto směru článek zhodnotil Jaroslav Borovička. Přečtěte si jeho rozbor: [4]
V odborné rovině: půl stránky o kauzalitě v článku není, protože by šlo o dost generický text, který by šel bez velkých změn připojit ke každému modelu tohoto typu. Jak moc kauzálně popsané výsledky interpretovat je částečně otázkou uživatele modelu, který musí zohlednit další znalosti o kauzální struktuře problému, způsobu rozhodování vlád na jaře, možných dalších vlivů na COVID kromě opatření a tak dále.
3) Důvodem pro mě postupně klesající chuti k diskusi s mnoha aktivisty Zdravého fóra, bez ohledu na jejich odbornou erudici, je, že významnou motivací polemik se nezdá být otázka “jak je to doopravdy?”. Ale naopak se zdá být přesvědčení o tom, že odpovědi již znají ve formě "občanského názoru". Pokud vyjdete z takového východiska, tak pokud nějaký výzkum neslouží předem daným závěrům, musí být špatně. A naopak - pokud nějaký výzkum má ten správný závěr, zdá se být celkem jedno, jak je proveden. “Správným závěrem”, kterým je třeba to, že protiepidemická opatření je třeba zrušit spíše dřív a co nejvíc. Z toho plyne zájem, aby ve výzkumech nevycházela jako účinná. Populaci je vhodné promořit - smrtnost viru by pro to měla být co nejmenší. A tak podobně.
Naprosto různá měřítka aktivistů na výzkum “se správným závěrem” a se “špatným závěrem” se dají snadno ukázat:
Například, spolupracovník ZF a docent statistiky Arnošt Komárek usuzuje, že z našeho modelu, který vychází z “přirozeného experimentu” který s protiepidemickýma opatřeníma na jaře podnikla Evropa - a ani z mnoha jiných podobných modelů z dat z jiných zemí - “v žádném případě nelze usuzovat na kauzalitu” (cituji).
V tom samém textu doc. Komárek zároveň píše
“Naopak tam, kde byl v nějaké míře přirozenou formou simulován „experiment“ mající za cíl srovnat efektivitu dvou druhu léčby (Švédsko vs. zbytek Evropy, Florida vs. Kalifornie, dvě oblasti v Dánsku) a kde tedy lze usuzovat i na ˇ kauzality se ukazuje, že efekt (minimálne některých) „vládních“ opatření na vývoj epidemie je přinejmenším sporný”
Zaujatost v hodnocení je tu poměrně zjevná. Pokud by byl doc. Komárek v striktním zpochybnění kauzálních interpretací stejně přísný vždy, musel by asi napsal, že z porovnání “Švédsko vs. Evropa” v žádném případě nelze usuzovat na kauzalitu. Například rozdíl Švédska v postupu co do opatření i vývoj epidemie může mít nějakou společnou třetí příčinu - například vysokou důvěru ve stát a vysoku míru dobrovolného dodržování opatření formulovaných jako doporučení. Přirozený experiment poskytuje pokud něco, tak spíš Švédsko a zbytek skandinávských zemí. A naopak by rozhodně protestoval proti tomu, aby podobné chybné argumenty Švédskem měly jakýkoliv vliv na rozhodování politiků, kteří nemusí chápat, že příklad Švédska nedokazuje z pohledu statistika opravdu vůbec nic.
Podobně: skupina statistiků, jejímiž členy jsou zmiňovaní doktoři Vencálek a Fürst sice pravidelně a ostře napadá běžné epidemické modely, ale pochvalně cituje napříkad článek prof. Ioannidise et.al. o efektech opatření. Článek Bendavida, Ioannidise a kol. je metodicky asi vůbec nejslabší publikovaný pokus o analýzu efektu intervencí, má skoro všechny problémy ostatních analýz a navíc třeba zjevnou chybu, kde předpokládá, že opatření se projeví na potvrzených případech s nulovým zpožděním (!). Má ovšem při ledabylém čtení zhruba ten správný ideologicky správný závěr, který aktivisté chtějí slyšet - takže nad problémy s metodikou lze zavřít oči.
Tolik k věcné rovině. Odborná diskuse s tímto typem aktivismu bohužel nemá většinou charakter hledání toho, co je skutečně nejblíž pravdě, ale z mojí strany spíš snahy obhájit běžný výzkum před zaslepeností.
Zdůrazňuji, že si naprosto nemyslím, že by například doc. Komárek nebo doktoři Vencálek a Fürst neznali základy statistiky.
II.
K osobní rovině... následující je původem osobní poznámka na osobním facebookovém profilu, tak to tak berte.
Útok skupiny aktivistů typu ZF jsou poměrně protivný.
Na “lidovém křídle” příznivců a fanoušků ZF vás spousta lidí vulgárně uráží, šíří o vás různé konspirační bláboly (“kolik asi dostal zaplaceno že to říká?”), framuje jako někoho kdo výzkum upravuje podle toho co se hodí vládě, je “příznivcem lockdownů” a tak podobně.
Na opačném konci spektra akademičnosti stojí třeba již zmíněný docent Komárek, aktivista ZF, který v akademickém(?) textu s uvedenou afiliací zároveň vyvrací zmíněného “hadrového panáka”, zároveň ukazuje na nějaké reálné problémy interpretací jiných modelů úplně jiných lidí se kterýma nemám nic společného, a zároveň stihne přidat i ad hominem komentář typu “Jan Kulveit, který dle mého názoru naprosto netuší, jaký je rozdíl mezi kauzalitou a korelací”. To celé podepřeno odkazem na autoritu autora, kde doc. Komárek neváhá podpořit svůj dvoustránkový komentář ke komentáři na blogu šestiřádkovým výčtem vlastních akademických úspěchů se zakončením že “dosáhl H-indexu 20”.
Takovouto “akademickou” kritikou “nabíjí” dalšímu členovi ZF, celebritnímu matematikovi Karlu Janečkovi.
Janeček spojuje oba póly a přidává dosah celebrity sociálních médií. Na jednu stranu jeho texty obsahují věty typu “Vyplatí se strašit.“ - “Zneužití vědy” - “Covid jako posel změn” - “Právě nyní stojíme na křižovatce dějin.” - “Teď nám hrozí diktatura ve jménu vědy, diktatura ve jménu ochrany zdraví.” - ”Již před šesti lety jsem řekl, že v roce 2021 přijde test lidské civilizace.” - “Přijměme smrt jako součást života a budeme schopni žít hlubší životy bez strachu.”. Na druhou stranu se zašťiťuje matematikou a obsahuje i citace odborné literatury (k Janečkově práci s citacemi ovšem doporučuji blog prof. Chýly https://blog.aktualne.cz/blogy/jiri-chyla.php?itemid=39323).
Nároky na polemiku má ale Karel Janeček jiné - vyžaduje striktně odbornou odpověď, bez emocí a konfliktní rétoriky. V této dialektické jednotě protikladů mi dokonce napsal i “otevřený dopis fyzikovi Janu Kulveitovi”, kde se “žádá o věcnou diskusi prostřednictvím férových argumentů bez podpásovek” ... který sestává z velké části z ad hominem a podpásovek. (Dopis mi mimochodem neposlal - text ale obsahem stejně odpovídá spíš dopisu Karla Janečka fanouškům Karla Janečka.) Zároveň v komentářích Janeček přidává náznaky temného vlivu, kde se například svých fanoušků ptá “Náš "matematik z Oxfordu" Jan Kulveit má zase teď ráno před rozhodováním sněmovny článek na seznam.cz. Náhoda?“ (Pro jistotu… o rozhovor SZ požádaly dva týdny předem a datum rozhovoru bylo dané tím kdy měl čas Jiří Kubík a já zároveň…)
Když už expert Zdravého Fóra docent Komárek vysvětlil, že podle jeho názoru naprosto nechápu rozdíl mezi korelací a kauzalitou, expert na kauzalitu Janeček téma dál rozvíjí “Pan Kulveit zřejmě nechápe rozdíl mezi kauzalitou a korelací, podobně jako asi většina lidí nerozumí rozdílu mezi (ne)korelací a (ne)závislostí. Je to pochopitelné, protože lze očekávat, že pro modelování ve fyzice, kde data obvykle pocházejí z (kontrolovaných) experimentů, velké rozdíly mezi kauzalitou a korelací nejsou.”
Takže Karel Janeček burcuje lid před “diktaturou ve jménu vědy”, prorokuje “test civilizace”, náš výzkum cituje v odstavci o “zneužití vědy”, v komentářích píše třeba že “mě rozcupe” (mě, ne moje úvahy). Když na tento etalon kredibilní důstojné komunikace reaguji poznámkou, že se zde Karel Janeček posunul od matematiky někam jinam, jde o podpásový osobní útok.
Možná mám trochu přísná měřítka, ale když si představím, že by takhle vypadala komunikace v době necovidové, tak mi to přijde docela bizarní.
Úplně také nevím jak na “hybridní způsob debaty” příznivců a spolupracovníků ZF rozkročený od ezoterie po statistiku nějak přiměřeně reagovat. Pokud bych se snažil efektivně odpovědět na osobní útoky, nebude to neosobní; reakce na zvolání o zneužití vědy a hrozící diktatura hygieny nebude odborná, načež mě pak zase třeba někdo napadne, že nepíšu dost akademicky, a že jsem osobní a mám i nějaké emoce.
Pokud jsme naopak na kritiku našeho článku reagovali čistě odborně, tak pro řadu laiků to není úplně čtivé a rozhodně to nemá takový dosah jako původní nepravdivé ale šokující kritiky o “školácké chybě”. Nějaký kritik mě pak zase napadne, že nepíšu pro lidi, kdežto různí lidoví hlastelé umí vše vyjádřit tak hezky lidsky. Covidový spolubojovník pana Janečka, zpěvák a příznivce bojových sportů pan Landa pak třeba zas nějaký text o “zneužívání vědy” nasdílí, a nějaký jeho fanoušek-příznivce bojových sportů mi pak zas třeba napíše, že si ho nemám přát potkat na ulici.
Osobní závěr?
Zhruba řečeno můj výsledný dojem je, že podobnému stylu házení bahna je celkem těžké se nějak úplně vyhnout. Naštěstí s trochou zahraničního odstupu, s tím, že netoužím po popularitě, nemířím do politiky atd, si to snad můžu dovolit. Úplně nevím jestli má stejný luxus řada jiných lidí v jiných situacích.
I tak je fakt, že si o mě desítky tisíc lidí, které neznám myslí různé nehezké věci v důsledků pomluv, polopravd a manipulací ne úplně příjemný.
S trochou nadhledu možná hlavním neblahým efektem může být, že když se z diskuse vytvoří tento typ jedovaté bažiny, řadu rozumných lidí to odradí se ke COVID veřejně vyjadřovat, protože o podobného zacházení fakt nestojí a konflikty jsou pro ně potenciálně příliš drahé.
Chápu, že z pohledu většiny členů Zdravého fóra (obývajících něco bližšího “realitě B”) vedou boj za vznešené ideály svobody, proti diktatuře, za děti ve škole, rozhodování na základě dat, proti nebezpečí testování, a podobně.
Přesto bych měl takový návrh - milí členové a spolupracovníci ZF, pokud toto čtete, i když se mnou nemusíte věcně souhlasit, navrhoval bych i v takovém případě ubrat na agresivitě, ad hominem a šíření nepravd o názorových oponentech a jejich práci.
Nevím, jestli vždy doceňujete, že internet nezapomíná, vše veřejně napsané je uložené a dohledatelné trvale. A zatímco mýlit se je normální, v pořádku, a pokud někdo mylný názor hají věcně a korektně, nemělo by to jeho reputaci uškodit, házení bahna a osobní útoky v pořádku nejsou, a poškodíte tak v první řadě sami sebe.
V druhé řadě bych radil zvláštní obezřetnost, pokud zaštiťujete svoje osobní averze a osobní názory jmény odborných společností nebo institucí. Jak říká Andrew Gelman, “reputační inference funguje oběma směry”; nevhodným vystupováním pod hlavičkou institucí poškozujete jejich pověst.
Prošel jsem teď zběžně Supplementary Materials k článku v Science a musím se přiznat, že můj první dojem byl, že "problém P" tam je. Rovnice (A.1) říká
R_t,c = R_0,c * Π_i exp(-α_i,c x_i,t,c)
kde x_i,t,c je přepínač platnosti opatření (0 nebo 1) a je to jediná explicitně časově závislá veličina. To skutečně vypadá tak, že změna dynamiky je explicitně umožněna jen vlivem zapínání a vypínání opatření. Trochu mi dělá problém to srovnat s větou "[p]okud si ovšem kdokoli kvalifikovaný přečte celou technickou část textu, musí ovšem souhlasit, že tohle není ten případ - ty členy v těch rovnicích prostě jsou, nelze o tom vést spor" z článku zde (které rozumím tak, že v rovnicích jsou explicitně členy popisující nepozorované vlivy). Samozřejmě možná něco přehlížím a četl jsem to jen narychlo - můžete mě prosím navést na rovnici explicitně parametrizující nepozorované faktory, pokud je taková?
Jestli tomu rozumím správně, tak vaše validace proti "problému P" je diskutována v část B.3 přílohy, kde je zjištěno, že spočtené efekty opatření jsou stabilní vůči vyloučení některých jiných z opatření z úvahy (tj. "zkusme to spočíst znovu předstírajíce, že nevíme o tom, že byly povinné roušky, a podívejme se, jak se nám pohnou výsledky účinnosti zavření obchodů"). Jelikož se ukazuje, že výsledky jsou docela stabilní, dá se čekat, že budou stabilní i vůči jiným nepozorovaným faktorům.
To je samozřejmě dobrý argument a asi to nejlepší, co lze v této věci čistě statisticky udělat, ale je to argument dost subtilní a kritikové ho mohli přehlédnout nebo považovat za nerelevantní.
odkaz na model v Science máte špatně, odkaz na článek prof. Chýly vede přes FB.