Ke kritikám Indexu rizika z VŠE

(Následující je soukromý názor, nikoli odpověď autorů indexu)

K Indexu rizika se v médiích objevily dvě kritiky z VŠE

I.

Analýza  Ing. Tomáše Karela, Ph.D., z agentury MODE research. Formálně mi přijde, že je to trochu zvláštní útvar - tisková zpráva obsahuje tvrzení typu “nevhodná interpretace jeho vývoje v čase může mít, s ohledem na vlastnosti vyplývající z konstrukce indexu, dlouhodobé a závažné ekonomické dopady“ nebo “odborníci z VŠE v analýze poukazují na vysokou míru závislosti mezi počtem provedených testů a hodnotou indexu rizika”. Tvrzení z tiskové zprávy, hojně publikovaná médii, má dokládat přiložená analýza. Odkazovaný pdf soubor ovšem samotnou kvantitativní analýzu neobsahuje - cituji “podklad nepřináší ucelenou a systematickou analýzu indexu rizika, pouze komentuje jeho vybrané a potenciálně problematické vlastnosti” a “text obsahuje výhradně závěry, míra analytického detailu je omezena na nutné minimum”. 

Osobně bych za nutné minimum údajně kvantitativní odborné analýzy považoval uvést podklady, podle kterých by kdokoli takovou analýzu mohl replikovat, ale pravděpodobně se v tom s autory neshodnu.

Nezbývá než ze závěrů odhadnout, v čem klíčová část analýzy spočívá. Podstatná se jeví informace na předposlení straně:

“pro formální potvrzení této vlastnosti a kvantifikaci skutečných dopadů na index rizika byla provedena simulace 1000 různých potenciálních scénářů vývoje počtu provedených testů v období od 24. 11. 2020 do 10. 1. 2021. Pro každou simulaci byla zjištěna míra závislosti mezi počtem provedených testů (průměr za posledních 7 dní - z důvodu eliminace výkyvů v rámci týdne) a hodnotami indexu rizika během simulovaného období (byl předpokládán fixní podíl pozitivních testů, který byl nastaven na poslední hodnotu sedmidenního průměru platného dne 24. 11., tj. 22,6 %.).1 Velikost korelace napříč simulacemi dosáhla mediánovou hodnotu 0,51 s 90% intervalem (0,31 až 0,75).”

Problém je, že předpoklad, že podíl pozitivních testů ku všem testům nezávisí na počtu provedných testů a je možné jej zafixovat na hodnotě  22,6 % je zjevně mylný.

Názorně: představme si, že by ČR příští týden radikálně změnila testovací strategii a otestovala milion náhodně vybraných osob. Našlo by se tak 226 tisíc COVID pozitivních? Samozřejmě nikoli, a lze to vyloučit pohledem na asi libovolný epidemiologický model, včetně nejjednoduššího SIR.

Jak testování skutečně funguje a proč na počtu testů pozitivita závisí se dá mechanicky vysvětlit i na jednoduchém příkladě pro ilustraci: představme si, že máme čtyři kohorty testovaných.

• A. Lidé testovaní z klinických důvodů, s poměrně jasnými příznaky

• B. Jejich rodinní příslušníci

• C. Vzdálenější kontakty pozitivních případů z A dosažené trasováním.

• D. Náhodný vzorek populace.

Je zjevné, že pozitivity vzorků A ≥ B ≥ C ≥ D. Testování asi skoro ve všech zemích je nastavené tak, že pokud je počet testů velmi omezený, testuje se z klinických důvodů kohorta A. S rostoucí dostupností testů roste podíl dalších kohort. Země, které mají testů hodně, testují kohorty s čím dál menší “výtěžností”, až po náhodné vzorky populace, což způsobuje jak nárůst absolutního počtu nalezených pozitivních osob, tak pokles pozitivity.

Index rizika je konstruován tak, že na základně pozitivity se snaží tento efekt částečně kompenzovat.

Další uvedená kritika je spíše kvalitativní. Např. se kritizuje … “sporné může být rovněž rozhodnutí kombinovat dohromady stavové (1., 2. a 4. Indikátor) a růstové veličiny (3. indikátor).”  a “je otázkou, nakolik dává smysl kombinovat tyto informace do jednoho souhrnného indexu a jakou vypovídající hodnotu výsledný indikátor má.“

Jak vysvětluje technická zpráva k indexu, index je vlastně estimátorem počtu vážných případů v budoucnu, pokud by nedošlo ke změně situace. Že při odhadu budoucího stavu dává smysl spojit jak současný stav, tak trend, se běžně nepovažuje za sporné.

Ilustroval bych tento princip na příkladu ze světa financí: pokud mě zajímá, kolik bude stav mého účtu v budoucnu, získám toto číslo jako součin současného stavu a “růstové proměnné” dané úroky. Tedy např. “stavová proměnná” 1000Kč spojená s “růstovou veličinou úrok 5%” se násobením spojuje ve výsledek 1050Kč.

Dalším předmětem kritiky je fakt, že index je konstruovaný na základě diskretizace vstupních proměnných předem danou tabulkou (navíc původně koncipovanou pro index s body 0..40, který byl pouze mechanicky přeškálován na 0..100).

Diskretizace má zjevné výhody i nevýhody. Výhodou je zmenšení frekvence krátkodobých oscilací - při jasném epidemickém trendu index postupně překročí hranice “binů” i ve více kategoriích, kdy při každém překročení o několik bodů vzroste. Větší počet intervalů pro diskretizaci by způsobil častější změny indexu, které by ovšem vzhledem k “šumu” v původním signálu nenesly nutně víc užitečné informace pro uživatele. Celá otázka, jak volit “schodovité” přechody, je zhruba ekvivalentní otázce, zda a jak uvádět čísla zaokrouhlená. To je doufám snadno pochopitelné: zaokrouhlení na 1 desetinné místo např. znamená vznik schodovité funkce, která např. hodnotu 0.9497 zobrazuje na 0.9 a blízkou hodnotu 0.951 na 1.

Obecně se dá říci, že různé způsoby zaokrouhlování mají různé výhody a nevýhody. Osobně bych z hlediska špatné interpretace veřejností považoval za výrazně nevhodnější uvádět čísla “nezaokrouhlená” vůbec, protože by to nutně vedlo k sledování a interpretaci změn, která jsou převážně šum (Představte si titulky: zatímco včera index vzrostl o bod, dnes o 0.6 bodu klesl!)

Dobrou otázkou v tomto směru je “jak moc zaokrouhlovat”, což lze dobře analyzovat - stačí vytvořit simulaci s variabilním počtem diskretizačních binů, a sledovat, jak se výsledný index chová. Námětem pro případnou úpravu indexu v lednu by mohla být změna počtu binů odůvodněná takovou analýzou. Obávám se však, že takové kritiky a analýze směřující k vylepšení se index rizika dočká spíše od svých spoluautorů. 

2. Druhou, virálně se dobře šířící kritikou je text prof. Klause. V tomto případě se zdá hlavním zdrojem nedorozumění nejspíše nepochopení, že součet logaritmů je logaritmem součinu.

Zhruba řečeno, budoucí velikost epidemie můžeme odhadnout:

budoucí skutečná velikost = současné případy * odhad jak velkou část nevidíme * kolikrát vyroste

Po zlogaritmování

log(budoucí velikost) = log(potvrzené případy) + log(růst) + log(odhad jak moc nevidíme)

I když se tedy prof. Klausovi jeví, že “veličina PES (Protiepidemický systém)” (!) “není jedním číslem, ale součtem několika arbitrárně vybraných ukazatelů”, ve skutečnosti jde o logaritmus odhadu dobře definované veličiny, vyjádřený jako součet logaritmů parametrů, které do odhadu vstupují.

I z této kritiky lze abstrahovat užitečnou otázku - totiž jak moc do budoucna orientovaný má podobný index být, a jak moc zohledňovat fakt, že velkou část epidemie nevidíme. Nejde o otázky nové, zase lze odkázat na technickou zprávu ke konstrukci indexu, kde se oba problémy diskutují.