Systeemblind rekenwonder bedenkt handig nieuw gereedschap voor professioneel onhandigen

"De p-waarde om" wetenschappelijke hypotheses "te toetsen wordt vaak niet begrepen."

https://www.nrc.nl/nieuws/2024/02/11/verkeerd-begrip-van-statistiek-leidt-tot-foute-wetenschap-de-p-waarde-is-dood-leve-de-e-waarde-a4189494

En "een nieuwe techniek [rond de zgn. e-waarde, niet te verwarren met de constante van het natuurlijke logaritme] moet dat verbeteren", althans volgens Rianne de Heide van de VU en haar kopijschrijvers bij NRC...

Die verbetering is, aldus De Heide, nodig vanwege "'.. de replicatiecrisis..'" waarbij "'In zowel medische als.. sociale wetenschap..'" - kortgezegd - bergen onderzoek bij herhaling regelmatig geen effecten vinden waar die eerder wel leken aangetoond..

Volgens professor Rianne komt zoiets doordat "'Er.. allerlei haken en ogen [zitten] aan.. gebruiken van.. p-waarde als manier om.. hypothese te toetsen...'" waarvan "'... wetenschappers niet precies [zouden] begrijpen hoe.. [het] werkt.'".

De nieuwe techniek, zo laat Nikki Westestijn van NRC zich hier tenminste op de mouw spelden, heeft nauwelijks interpretatiemoeilijkheidsgraad en kan daarom, als we de onderzoeker wier carrière misschien toch enigszins afhankelijk is van de ontvangst van haar nieuwe gereedschap, replicatiecrises in de kiem smoren...

Keihard professioneel ironisch incentievenblind natuurlijk, aangezien:

1) Je er dan kennelijk vanuitgaat dat vinden van effecten waar die eigenlijk niet bestaan enkel een functie van onkunde is en niet van systeemeigenschappen waarmee bijvoorbeeld carrièreperspectief beter vaart bij spraakmakende publicaties* - ook wanneer je die achteraf niet repliceren kunt..

En 2) je dan blijkbaar negeert dat zulke onkunde duidelijk onderdeel is van een fundamenteler probleem waaraan uitbreiding van de statistische 'toolkit' allicht niks veranderen gaat:

Algemene incompetentie - de aanname van De Heide, waar ik i.i.g. qua relatieve relevantie zo m'n twijfels bij heb - in toepassing van ons basaalste gereedschap, suggereert mijns inziens namelijk dat het pincipe van hypothesetesten zelf wellicht ook te moeilijk** is voor veel van onze vermeend knapste koppen...

En in medicijnonderzoek - waar meestal, dichotoom, wel (nulhypothese H0 verwerpen) of niet (H0 niet verwerpen) effect van een behandeling gevonden kan worden voor een doorgaans symptomatisch afgebakende aandoening aan het menselijk lichaam - is onkunde in dat proces hooguit een onhandigheid die, naast glanzende loopbanen en weggegooid geld, een hoop extra werk plus patiënten die uiteindelijk blij gemaakt blijken met spreekwoordelijke dode vogeltjes oplevert..

Ter vakgebieden zoals psychologie en sociale wetenschap, kijken we echter zelden naar simpelweg dichotome hypothesestellingen, maar eerder naar een, extern - vanuit een bepaald politiek, sociaal-economisch raamwerk - geïncentiveerde, conceptuele invulling van hypotheses die eigenlijk bestaan binnen spanningsvelden van o.a. deels nog gewoonweg onvermoede alternatieve mogelijkheden***...

En daar zijn beloftes van statistische methoden om gevolgen van - dan ongetwijfeld bredere - onkundigheid te omzeilen, zeker waar de uitkomsten van onderzoek - zoals volgens bewering van de 'verkoper' met dit nieuwe e-waardespeelgoed het geval is - met elkaar mogen worden vermenigvuldigd teneinde cumulatief onderzoeksresultaat te berekenen (iets dat mij vanzelfsprekende opmaat lijkt tot volledige automatisering van gedragswetenschapsprocessen), volgens mij tevens ronduit gevaarlijke belofte van voortdurende conceptuele - ideologische - tunnelvisie. 

* Diederik Stapel is vanzelfsprekend ons aller nationale voorbeeld van hoever sommigen daarvoor wensen te gaan. Die boomtop lijkt echter normaliter uiteindelijk stukken minder ongastvrij voor wie - bewust of onbewust - een fractie van de Diederik's 'onderzoekersvrijheid' - annex becijferde fantasie van absolute verzinsels - toepast om 'eventueel' nodige zetjes tot carrièreaanzwengeling te bewerkstelligen

** Tenzij werkelijke bekwaming in zaken als goed gebruik van de p-waarde, subjecten en instituten gewoon teveel kosten en/of moeite vergt om te bewerkstelligen; hetzelfde probleem met een andere oorzaak.

*** Zie over hoe belabberd het soms is gesteld met onderzoekersbegrip qua dergelijke - conceptuelere - zaken bijvoorbeeld: https://www.linkedin.com/posts/daan-van-rijswijk-s-analyse-en-opinie-4a838040_twee-condorkuikens-geboren-uit-onbevruchte-activity-6861271425018408960-RW-E of: https://www.linkedin.com/posts/daan-van-rijswijk-s-analyse-en-opinie-4a838040_association-between-screen-time-for-young-activity-7030528817500704768-BYts

Reacties

Populaire posts van deze blog

Ha Jimmy! Wat fijn dat je dat je toch weer zelfstandig poseren kunt na die bijna fatale smak van laatst...

Wauw!!

Live verslag uit Smurfenland