In die jare wat ek as mede-redakteur gedien het (vir Die Amerikaanse Tydskrif vir Epidemiologie), het ek die hele spektrum van "eweknie-resensies" gesien - van noukeurige, deurdagte kritiek waarvan die outeurs klaarblyklik etlike ure in die taak belê het, tot sketsagtige resensies wat sorgeloosheid en onbevoegdheid weerspieël het. Ek het vriendelike resensies deur bewonderaars van die outeurs en vyandige resensies deur hul vyande gelees. (Dit is nie moeilik om uit die toon af te lei nie.) In die praktyk van wetenskap tree mense steeds soos mense op.
Sake het vererger tydens die pandemie. Studies wat die Covid-entstowwe geprys het, is vinnig as "eweknie-geëvalueer" gesertifiseer, terwyl kritiese, na-publikasie eweknie-evaluering ... onderdrukGevolglik het ons nou 'n historiese versameling van gepubliseerde swak wetenskap. Dit kan nie uitgewis word nie, maar dit is tyd om die rekord te begin regstel.
Biomediese joernale is nie die platform nie. Eerstens, daar is geen formele afdeling vir oop portuuroorsigte van artikels wat lank gelede gepubliseer is nie. Tweedens, redakteurs het geen belangstelling om leuens wat in hul joernale gepubliseer is, bloot te lê nie. Derdens, die sensuur die masjien is steeds in plek. Tot dusver kon ek dit slegs breek keer, en dit was nie maklik nie.
So, hoe kan ons probeer om die rekord reg te stel, en waar?
Laat ek 'n voorstel maak aan my kollegas in epidemiologie, biostatistiek en verwante metodologiese velde wat hul kritiese denke tydens die pandemie behou het. Kies een of meer artikels oor die Covid-entstowwe en dien jou portuuroorsig in by BruinsteenjoernaalAs dit interessant en goed geskryf is, is daar 'n goeie kans dat dit geplaas sal word. Ek raai aan om keurig te kies: vind daardie eweknie-geëvalueerde artikels wat jou die meeste geïrriteer het, óf omdat hulle suiwer was. nonsens of omdat die korrekte afleiding was opvallend andersEn as jy kort kritiek op Twitter (nou X) of deeglike resensies op ander platforms geplaas het, brei dit uit, hersien dit en dien dit in by Brownstone. Miskien kan ons stadig maar seker 'n inventaris van kritiese resensies skep en sodoende 'n mate van vertroue in die wetenskaplike metode en in biomediese wetenskap herstel.
Hier is 'n voorbeeld.
'n Oorsig en 'n Herontleding van 'n Studie in Ontario, Kanada
Gepubliseer in die British Medical Journal in Augustus 2021, die papier het die doeltreffendheid van die mRNA-entstowwe vroeg in 2021 gerapporteer, kort na hul magtiging.
Hierdie navorsing was tipies van entstofstudies van daardie tyd. Doeltreffendheid is in 'n "regte wêreld"-omgewing beraam; naamlik 'n waarnemingsstudie tydens 'n inentingsveldtog. Die studietydperk (middel Desember 2020 tot middel April 2021) het die piek van 'n Covid-wintergolf vroeg in Januarie ingesluit. Ons sal later 'n sterk vooroordeel bespreek wat verwarring deur agtergrondinfeksierisiko genoem word.
Die ontwerp was 'n variasie van die gevallestudie, die toets-negatiewe ontwerp. Geskikte proefpersone het 'n PCR-toets ondergaan weens Covid-agtige simptome. Gevalle het positief getoets; kontroles het negatief getoets. Soos gewoonlik is kansverhoudings bereken, en effektiwiteit is bereken as 1 minus die kansverhouding (uitgedruk in persentasie). Die steekproefgrootte was groot: 53 270 gevalle en 270 763 kontroles.
Bron: deel van figuur 1 in die artikel
Die outeurs het die volgende belangrike resultate gerapporteer (my kursivering):
"Die effektiwiteit van die entstof teen simptomatiese infeksie wat ≥14 dae na een dosis waargeneem is, was 60% (95%-vertrouensinterval 57% tot 64%), wat toegeneem het van 48% (41% tot 54%) na 14–20 dae na een dosis tot 71% (63% tot 78%) na 35–41 dae. Die effektiwiteit van die entstof wat ≥7 dae na twee dosisse waargeneem is, was 91% (89% tot 93%)."
Soos byna elke studie van effektiwiteit, het die outeurs vroeë gebeure verwerp. Soos verduidelik elders, hierdie praktyk stel 'n vooroordeel bekend wat onsterflike tyd, of gevalletellingvenstervooroordeelDit verberg nie net moontlike vroeë skadelike effekte nie, maar dit lei ook effektief tot oorskatting van doeltreffendheid. RFK, Jr. het in nie-tegniese terme na hierdie vooroordeel verwys (sien video clip).
Die korrekte benadering is eenvoudig. Ons moet die doeltreffendheid skat vanaf die toediening van die eerste dosis tot latere tydpunte (opgeboude immuniteit). My tabel hieronder toon die studiedata en die resultate van die nuwe analise. Elke ry toon die berekening van effektiwiteit teen die aangeduide dag.
Die effektiwiteit was negatief teen die einde van die eerste twee weke na die eerste dosis en het ongeveer 30% bereik voor 'n tweede dosis, nie 70% nie. Dit het slegs ongeveer 50% bereik teen die tyd van volle immuniteit, nie 90% nie. Alhoewel my ramings onaangepas is, eTabel 2 (aanvullende materiaal) dui aan dat aanpassing die outeurs se ramings skaars verander het.
My resultate is egter steeds bevooroordeeld deur wat ek vroeër "verwarrend deur agtergrondinfeksierisiko" genoem het.
Die onderstaande figuur is geneem van die webwerf van Openbare Gesondheid OntarioDie swart lyn toon die 7-dae rollende gemiddelde van nuwe gevalle. Ek het rooi lyne bygevoeg wat die studieperiode wys, verdeel in twee intervalle. Ek het ook ramings bygevoeg van die aantal ingeënte mense in elke interval.
Die eerste interval, wat die piek van die wintergolf bevat het, was 'n tydperk van stadige begin van die inentingsveldtog. In daardie tyd was die verspreiding van inentingsstatus skeefgetrek na nie-inenting, wat beteken dat nie-inentingstatus het saamgeval met 'n hoë waarskynlikheid om besmet te raakIn teenstelling hiermee was die agtergrondinfeksiekoers laer in 'n groot deel van die tweede periode, toe etlike miljoene mense die eerste dosis ontvang het. Eers teen middel Maart het die aantal nuwe gevalle die stippellyn oorskry. Kortom, die omgekeerde verband tussen inenting en infeksie is erg verwar deur tydtendense in die risiko van 'n infeksie. Selfs 'n placebo-inspuiting sou effektief gelyk het.
Ek kan nie die vooroordeel verwyder nie, en dit is sterk. Die ware effektiwiteit, indien enige, is baie kleiner as die ramings wat ek bereken het na die verwydering van die onsterflike tydvooroordeel. Of dit 10% oor ses weke of 20% is, maak geen verskil nie. Dis nie 'n entstof nie.
Die outeurs het 'n ander gevallegroep gebruik: hospitalisasie of dood. Hierdie data is nie net onderhewig aan die vorige vooroordele nie, maar ook aan die vooroordeel vir gesonde ingeëntesEk kan egter nie 'n regstelling bied nie. Die meeste van die data vir gevalle is onderdruk weens klein getalle, en die kontrolegroep was verkeerd. Hulle het "dieselfde kontrolegroep as vir die eerste primêre uitkomsanalise gebruik (d.w.s. individue met simptome wat negatief getoets het vir SARS-CoV-2)." Dit is 'n skending van 'n basiese beginsel van die toets-negatiewe ontwerp. Kontroles moes gehospitaliseer of oorlede mense gewees het wat negatief getoets het.
Die volgende sin weerspieël 'n misverstand van die regressiemodel wat hulle pas. Hulle skryf: "Ons het meerveranderlike logistiese regressiemodelle gebruik om die kansverhouding te skat, en vergelyk die kanse op inenting (my kursivering) tussen toets-positiewe gevalle en toets-negatiewe kontroles (met ongeënte mense as verwysingsgroep). Die afhanklike veranderlike was geval-kontrole-status (logaritmiese kans om 'n geval te wees). Tegnies word die kans om 'n geval te wees (teenoor 'n kontrole) vergelyk, nie die kans op inenting nie.
Vreemd genoeg, die geplaasde aanvullende materiaal dra steeds die opskrif “VERTROULIK — NIE VIR VERSPREIDING NIE, 5 AUG 2021.” Slegs in die Covid-era kan jy sulke slordigheid vind. Ons sien hier bevooroordeelde (onverskillige) hantering van 'n koerant wat die narratief gedien het.
Ek sal my resensie afsluit met 'n gunstelingonderwerp van my: onsinnige resultate.
Die figuur hieronder toon ramings van effektiwiteit, soos deur die outeurs bereken. Die pyl wys na 'n resultaat wat geen sin maak nie. Ons verwag geen inkrementele voordeel van die tweede dosis binne 6 dae na die inspuiting nie, maar die effektiwiteit het toegeneem en amper die skatting vir die daaropvolgende interval (7+ dae) bereik. As die skatting vir 0–6 dae duidelik bevooroordeeld is, waarom sou ons die volgende een vertrou?
Bron: Figuur 2 in die artikel
Epiloog
Soos ek aan die begin geskryf het, moet ons probeer om die historiese rekord reg te stel. Dis 'n lang pad vorentoe, maar soos die spreekwoord sê: "'n Reis van 'n duisend myl begin met 'n enkele stap." Ek doen veral 'n beroep op top-gegradeerde metodoloë wat swak studies uitmekaar geskeur en wankelrige metodes gekritiseer het. Die meeste van hulle het dwarsdeur die pandemie stilgebly, waarskynlik uit vrees vir die gevolge van die uitdaging van die "veilige en effektiewe" narratief.
Kom ons begin vreeslose resensies lees van studies wat die merkwaardige doeltreffendheid van Covid-entstowwe gerapporteer het, wat vals geblyk het te wees. Daar is geen tekort aan probleme om op te spoor, uit te lig en, indien moontlik, met werklike data of simulasies reg te stel nie:
As ons nie hierdie werk doen nie, sal ons aanhou lees valse, doeltreffendheidsgebaseerde ramings van lewens wat gered is. Was dit naby aan 2.5 miljoen, soos sommige beweer het, of onopspoorbaar in mortaliteitstatistieke, of moontlik omtrent nulEn sal ons ooit antwoorde kry van relevante proewe?
Heruitgegee vanaf Medium
-
Dr. Eyal Shahar is 'n emeritus professor in openbare gesondheid in epidemiologie en biostatistiek. Sy navorsing fokus op epidemiologie en metodologie. In onlangse jare het dr. Shahar ook beduidende bydraes tot navorsingsmetodologie gelewer, veral op die gebied van oorsaaklike diagramme en vooroordele.
Kyk na alle plasings
