Bestaat er een onderzoek/studie/enquête/… die heeft geprobeerd te schatten hoeveel samenvattingen medische onderzoekers lezen bij de voorbereiding van een klinische systematische review?
Zelfs als dit slechts een gedeeltelijk antwoord zal zijn, kan het helpen om “het proces van het maken van systematische reviews beter te begrijpen”, zoals in de opmerkingen wordt gesteld.
Een voor de hand liggend antwoord is hier te geven: alle samenvattingen moeten worden gelezen, zodra de papers “positief” uitvallen binnen de (her)zoekstrategie voor de literatuur. Ze moeten immers worden beoordeeld op in- of uitsluiting.
Als de oorspronkelijke vraag bedoeld is om te vragen naar het gemiddelde aantal daadwerkelijk gebruikte studies, dus een hard aantal geïncludeerde papers in de review, dan is het antwoord heel anders:
Uit Terri Pigott: Advances in Meta-Analysis, Springer, 2012:
Een andere veelgestelde vraag is: Hoeveel studies heb ik nodig om een meta-analyse uit te voeren? Hoewel mijn collega’s en ik vaak “twee” hebben geantwoord Valentine et al. 2010 ), ligt het meer volledige antwoord in het begrijpen van de kracht van de statistische tests in meta-analyses. Ik ga er in dit boek van uit dat de power van tests in meta-analyses, net als de power van elke andere statistische test, a priori moet worden berekend, met behulp van aannames over de grootte van een belangrijk effect in een bepaalde context, en de typische steekproefgroottes die in een bepaald veld worden gebruikt. Ook hier geldt dat een grondige inhoudelijke kennis van de onderzoeksliteratuur voor een beoordelaar van cruciaal belang is om redelijke veronderstellingen te kunnen maken over de parameters die nodig zijn voor de power.
Het hangt er dus van af hoe goed een gebied of een onderzoeksvraag bestudeerd en onderzocht is om de gereviewde papers uit te selecteren. Zeer modieuze onderwerpen waaraan controverse is verbonden zullen honderden of duizenden hebben om uit te kiezen, niche-belangen, onrendabele onderwerpen misschien maar een paar. Om een statistiek te vragen over al deze gebieden van klinische systematische reviews is heel goed mogelijk. Maar een van de problemen in verband met meta-analyses is het zogenaamde garbage-in-garbage-out probleem: een dergelijke onderneming - om niet alleen te “schatten hoeveel paper abstracts medische onderzoekers lezen bij het opstellen van een klinische systematische review?” maar zelfs om dat aantal precies te berekenen - loopt het gevaar nietszeggende cijfers op te leveren, die alleen nuttig zijn voor journalisten of politici.
Eén artikel met zo'n meta-meta-analyse vermeldt wel zo'n aantal, zoals gevraagd in de vraag voor het deelgebied van de psychologie: 51 (range 5-81). (doi: 10.1080/0027317100368018 [ A Meta-Meta-Analysis: Empirical Review of Statistical Power, Type I Error Rates, Effect Sizes, and Model Selection of Meta-Analyses Published in Psychology. (https://www.ncbi.nlm.nih.gov/pubmed/26760285)) Maar het belicht ook heel mooi de problemen die inherent zijn aan zo'n aanpak:
- Effect Sizes and Heterogeneity in Meta-Analysis
- Model Choice: Fixed-effects models were used with much greater frequency than random- effects models, often without openly stating that such a model was being used. Anderzijds werden in de loop van de tijd steeds vaker modellen met een willekeurig effect gebruikt. Toekomstige studies zouden meer routinematig random-effectmodellen moeten toepassen, gezien hun grotere validiteit vanuit een inferentiestandpunt.
Ten slotte is het belangrijk te bedenken dat het gebruik van random-effectmodellen in de meeste gevallen de power voor significantietests zal verlagen (d.w.z. wanneer de variantie tussen de studies groter is dan nul).
Meer in het algemeen zouden we kunnen waken voor blind vertrouwen in reviews of meta-analyses in het algemeen. Momenteel streeft de geneeskunde ernaar haar kennis weer op te bouwen op een op bewijsmateriaal gebaseerd fundament, wat natuurlijk zeer welkom is. Maar bij het nastreven van dit doel met een al te zelfverzekerde concentratie op kwantitatieve gegevens en wiskundige modellen kan een kind in de badkuip zich wel eens bezeren. Het benoemen, gebruiken of gewoon geloven in een of andere “gouden standaard” (of op verschillende manieren zelfs platina) zal te veel aan de ene kant van het extreme zijn. Dat wordt als volgt afgebeeld:
Het grootste probleem met dat plaatje is dat “het filter” nogal slecht gedefinieerd is en dat regelmatig studies met een hogere statistische power of grotere significantie worden uitgekozen om te worden opgenomen. Hoewel dit op het eerste gezicht logisch klinkt, is dit in principe in strijd met filosofische principes, zoals Carnap’s Principe van Totaal Bewijs “. Deze mechanistische redenering introduceert dan ook zijn eigen reeks systematische vooroordelen.
Om een aantal van deze bekende gevaren, valkuilen en tekortkomingen aan te pakken is de PRISMA verklaring een initiatief om op zijn minst de benaderingen te standaardiseren en de gekozen procedure voor dit soort analyses transparant te documenteren.
Meer epistemologische problemen worden samengevat in Stegenga: "Is meta-analyse de platina standaard voor bewijs?” (2011):
[…] meta-analyses slagen er niet in om intersubjectieve beoordelingen van hypothesen adequaat in te dammen. Dit komt doordat de talrijke beslissingen die moeten worden genomen bij het ontwerpen en uitvoeren van een meta-analyse een persoonlijk oordeel en persoonlijke deskundigheid vereisen, waardoor persoonlijke vooroordelen en eigenaardigheden van beoordelaars de uitkomst van de meta-analyse kunnen beïnvloeden. Het falen van Objectiviteit verklaart op zijn minst gedeeltelijk het falen van Constraint: dat wil zeggen, de subjectiviteit die vereist is voor meta-analyse verklaart hoe meerdere meta-analyses van hetzelfde primaire bewijsmateriaal tot tegenstrijdige conclusies kunnen komen met betrekking tot dezelfde hypothese. […] Mijn bespreking van de vele specifieke beslissingen die moeten worden genomen bij het uitvoeren van een meta-analyse suggereert echter dat dergelijke verbeteringen slechts tot op zekere hoogte kunnen gaan.
Voor ten minste enkele van deze beslissingen is de keuze tussen de beschikbare opties volledig arbitrair; de diverse voorstellen om de transparantie van de rapportage van meta-analyses te verbeteren zijn in principe niet in staat om tussen deze arbitraire keuzes te onderscheiden. Meer in het algemeen, dit weerwoord van de verdedigers van de meta-analyse - dat we de techniek niet helemaal moeten weggooien - overschat de kracht van de conclusie waarvoor ik heb gepleit, die niet is dat meta-analyse in het algemeen een slechte methode is om bewijsmateriaal samen te voegen, maar eerder dat meta-analyse niet moet worden beschouwd als het beste soort bewijsmateriaal voor de beoordeling van causale hypothesen in de geneeskunde en de sociale wetenschappen. Ik heb niet betoogd dat meta-analyse geen overtuigend bewijs kan leveren, maar veeleer, in tegenstelling tot de standaard opvatting, heb ik betoogd dat meta-analyse niet de platina standaard van bewijs is.
