Återkallande av en journalartikel gör inte sina resultat felaktiga

Anonim

Den amerikanska medicinska föreningen drog nyligen sex papper med författare av matförbrukning och psykologforskare, Brian Wansink, i tre av sina tidskrifter. Dessa studier inkluderar två som visar att stora skålstorlekar uppmuntrar oss att äta mer, och att handla när hungrig leder oss till att köpa mer kalori-täta livsmedel.

En produktiv akademisk forskare, Wansink har gett många tankeväckande idéer om matkonsumtionens psykologi genom mer än 500 publikationer som kollektivt citerats mer än 25 000 gånger.

Hans forskning har visat att folk kommer att äta mycket mer från en bottenlös soppskål; de kommer att äta mer från större portioner, även om det är gammal popcorn eller mat som serveras i en mörk restaurang; och de kommer att äta mindre om en del är gjord för att bli större med hjälp av visuella illusioner.

Retractions är ett permanent medel med vilka tidskrifter som strävar efter att bevara den vetenskapliga litteraturens integritet. De utfärdas vanligtvis för någon form av missförhållanden, men det betyder inte nödvändigtvis att resultaten är falska.


Läs mer: Använd din illusion: hur du lurar dig själv och andra till att äta mindre


Är inlämnade studier falska?

Ett antal utmaningar har gjorts mot mer än 50 av Wansinks publikationer. För närvarande har 15 korrigeringar publicerats och 13 återkallelser har gjorts.

Återkallelserna följer en rad anklagelser om oegentligheter, inklusive autoplagiarism (kopierar ditt eget arbete), datahantering och dataprofilering. Men inget av detta betyder att Wansinks resultat är helt missgynnade.

American Medical Association gjorde sina återkallelser baserat på Cornell University (Wansinks arbetsgivare) som inte kunde tillhandahålla en självständig utvärdering som svar på ett uttryck för oro över Wansinks studier som utfärdades i maj.

Frånvaron av bevis visar inte att hans resultat är falska.

Vetenskapen förlitar sig mycket mer på huruvida resultaten är repeterbara än retraktioner. Och många av Wansinks resultat - inklusive några som har dragits in - har replikerats.

Två av de senaste insamlade studierna visar att vuxna och barn äter mer från större skålar utgör en del av en större litteratur och har citerats nästan 300 gånger respektive 40 gånger.

Flera recensioner av den vetenskapliga litteraturen avslöjar att andra har replikerat resultaten från Wansink och kollegor om hur plattan eller skålen påverkar konsumtionen.

I en meta-analys som jag författat med andra visar de kombinerade studierna på detta område att fördubbling av plåtstorlek ökar förbrukningen med 40% i genomsnitt. Även om detta bara är fallet om människor serverar mat på själva plattan. (Disclosure: denna meta-analys publicerades i en journalutgåva för vilken Wansink var en av redaktörerna).

Replikering är viktigare än retraktionen

Problemet med att reproducera fynd i vetenskap är en mycket större fråga än retractions. Retraktioner lockar uppmärksamhet, men är relativt små; replikation lockar inte uppmärksamhet, och är kritiskt viktigt.

Replikationskrisen mot samhällsvetenskap, hälsa och medicin tyder på att 50% eller mer av publicerade resultat kanske inte kan repeteras.

I samhällsvetenskap replikerade ett lag 100 studier publicerade i tre höga tidskrifter. Resultaten visade att endast 36% av replikationerna hittade statistiskt signifikanta resultat och medelvärdet för de observerade effekterna var hälften av det som ses i de ursprungliga studierna.

Wansink har publicerat mer än 500 artiklar. Om 250 av dem visar sig vara falska i den meningen att resultaten inte kan replikeras, är han i nivå med social och medicinsk vetenskap i allmänhet.

Återkallandet av tretton av Wansinks artiklar - varav några har blivit replikerade av andra - är en blip som får mycket mer uppmärksamhet än den förtjänar.


Läs mer: Vetenskapen "reproducerbarhetskris" - och vad kan man göra om det


Den höga frekvensen för replikationsfel uppstår delvis, från den bana statistiska metoden som används för att analysera forskningsdata. I huvudsak söker forskare statistiskt signifikanta resultat. Statistisk betydelse definieras typiskt som när sannolikheten (p-värdet) för de observerade data som antas att det inte fanns någon effekt är mindre än 5%.

Tidskrifter och akademiker vill publicera nya, statistiskt signifikanta resultat. De tenderar att ignorera studier med nollresultat, sätta dem i en fillådor.

Replikationer som är framgångsrika lägger inte till något nytt, och replikeringar som misslyckas (inte statistiskt signifikanta) är ointressanta för utgivare, om än kritiskt viktiga för vetenskapen.

Ett relaterat problem är att akademiker kan mudda genom data och körsbär plockar statistiskt signifikanta resultat, en övning som kallas p-hacking.


Läs mer: En orsak till att så många vetenskapliga studier kan vara fel


Misstaget av tidskrifter och akademiker genom deras obsessiva fokus på statistiskt signifikanta resultat är utbredd. Om Wansink skiljer sig från andra, är det i hans avväpnad ärlighet att man tillåter data-muddring i en bloggpost från 2016 som lockade intensiv granskning från sina kamrater.

Vetenskapen gör misstag och missteg. Förskotten uppnås genom nya idéer och upprepad testning.

Retraktioner kan vara viktiga signaler av minskat förtroende för ett funktionssätt, men de visar inte att det är felaktigt. Detta kräver replikering.


Läs mer: Åh, osäkerheten: hur hanterar vi?


Vetenskap ger inte säkerhet. Krav på absolut säkerhet som gjorts av auktoritativa siffror är förmodligen falska.

Som Tim van der Zee, en av Wansinks ledande motståndare säger på sin hemsida "Jag har fel mestadels." Utmaningen för forskare är att tro på detta.