XII. korszak · 32
Nyílt tudomány, replikáció és a pszichológia mai módszertani fordulata
Hogyan próbálja a pszichológia átláthatóbbá és megbízhatóbbá tenni saját kutatási gyakorlatát?
nyílt tudományreplikációmódszertanátláthatóság
Az eredményt is ellenőrizni kell
Nyílt tudomány, replikáció és a pszichológia mai módszertani fordulata
Nagy kérdés: Honnan tudjuk, hogy egy látványos eredmény megbízható, és nem a kutatási döntések vagy a publikálás torzításának következménye?
Történeti hely: a módszer válik kutatási tárggyá
A 2010-es évektől a pszichológia önellenőrzésében hangsúlyosabbá váltak a nagy replikációs együttműködések és a nyílt kutatási gyakorlatok. A probléma korábbi: kis minták, szelektív közlés és rugalmas elemzési döntések mellett a szakirodalom túl biztos képet mutathat. Brian Nosek és az Open Science Collaboration meghatározó szereplői a fordulatnak. Nem új emberképet kínálnak, hanem az állítások ellenőrizhetőségét erősítik.
Három külön ellenőrzési kérdés
Reprodukálhatóság: ugyanazokból az adatokból, azonos elemzéssel előáll-e az eredmény? Replikáció: új adatokkal, megfelelően megismételt vizsgálatban hasonló következtetésre jutunk-e? Robusztusság: megmarad-e a következtetés más, szakmailag indokolt elemzési döntések mellett? A terminológia tudományterületenként eltérhet; itt ezt a különbségtételt használjuk.
A replikáció eredményét a hatás nagysága, bizonytalansága, a mérés és a vizsgálati feltételek együtt alapján értékeljük. Egy nem szignifikáns ismétlés önmagában nem bizonyítja, hogy nincs hatás; egy sikeres ismétlés sem teszi minden helyzetre érvényessé.
Daryl Bem: történeti vitaindító példa
Bem (2011) időben megfordított feladatokban olyan eredményeket közölt, amelyeket későbbi események korábbi válaszokra gyakorolt hatásaként értelmezett. Egy felidézési feladatban például a gyakorlás a felidézés után történt. A közlemény ráirányította a figyelmet arra, milyen bizonyítékot engednek át a megszokott módszerek.
Ritchie, Wiseman és French (2012) e felidézési hatást három új vizsgálatban próbálta megismételni, de nem talált hozzá támogatást. Ez konkrét állítás tesztje, nem személyes minősítés. A történetet nem az előrelátás bizonyítékaként, hanem az ellenőrzés szükségességének példájaként kezeljük.
Hogyan lesz túl szép egy eredmény?
Fogalmak, módszerek és korlátok
Rugalmas döntések és publikációs torzítás
Simmons, Nelson és Simonsohn (2011) szimulációkkal és demonstrációkkal mutatta be, hogy az adatgyűjtési és elemzési lehetőségek eredményfüggő válogatása növelheti a hamis pozitív találatok arányát. Ilyen lehet az adatfelvétel ismételt ellenőrzés utáni leállítása vagy sok kimenetből csak a szignifikáns közlése.
p-hacking: elemzési döntések alakítása a kívánt szignifikancia eléréséhez, megfelelő korrekció és átláthatóság nélkül. HARKing: eredményismeretben kialakított hipotézis előzetes jóslatként bemutatva. Publikációs torzítás: a megjelenés esélye az eredménytől függ; a nem szignifikáns leletek könnyebben eltűnhetnek. A feltáró elemzés legitim, ha annak nevezzük.
A 2015-ös replikációs projekt
Az Open Science Collaboration három folyóiratban, 2008-ban közölt 100 vizsgálatot ismételt meg új adatokkal. Összevetették többek között a hatásméreteket és a statisztikai szignifikanciát. Az ismétlések 36%-a lett szignifikáns; a hatások átlagosan kisebbek voltak az eredetieknél.
Ez nem jelenti, hogy „a pszichológia 64%-a hamis”. A kiválasztott vizsgálatok nem az egész tudomány reprezentatív mintája, és a szignifikancia csak egy értékelési szempont. A projekt az adott kutatási gyakorlatok ellenőrzésére adott erős indokot.
Statisztikai erő, hatás és bizonytalanság
Erő = 1 – β: egy meghatározott valódi hatás mellett annak valószínűsége, hogy a választott próba elutasítja a nullhipotézist. Függ a hatásmérettől, mintanagyságtól, zajtól, elrendezéstől és szignifikanciaszinttől. Nem egy eredmény igazságának valószínűsége (Lakens, 2022).
Saját példa: tíz tanulási módszert hasonlítasz össze, de csak a legjobban sikerült különbséget mutatod meg. Az olvasó nem látja a többi próbálkozást. A p < 0,05 önmagában nem bizonyít nagy vagy fontos hatást, és nem jelenti, hogy a hipotézis 95%-os valószínűséggel igaz.
Átláthatóbb kutatás, pontosabb következtetés
Fogalmak, módszerek és korlátok
Mit változtat a nyílt tudomány?
Preregisztráció: a hipotézisek és a vizsgálati/elemzési terv időbélyegzett rögzítése az eredmények ismerete előtt. Az eltérések megengedettek, de jelölendők; különválik a megerősítő és feltáró elemzés (Nosek és mtsai, 2018). Nyílt adatok, kód és anyagok: segítik az ellenőrzést, amennyiben az adatvédelem és a hozzájárulás ezt megengedi. A megosztás önmagában nem javítja ki a hibás mérést.
Metaanalízis: összehasonlítható kutatások hatásbecsléseinek statisztikai összegzése. A sok tanulmány nem automatikus garancia: a torzítások, a függő adatok és a vizsgálatok különbségei számítanak. A nyílt gyakorlat eszköz, nem minőségi pecsét. Előzetes terv mellett is lehet gyenge elmélet vagy rossz operacionalizálás.
Négy tengely, kapcsolatok és vizsgaválasz
Általános: kísérletek és mérés. Személyiség: kérdőívek, érvényesség. Fejlődés: követés és lemorzsolódás. Társas: kontextus és általánosítás. A teljes sorozat módszertani ellenőrzőpontja; kapcsolódik a 30. téma mintakritikájához és a 33. integrációhoz. Ne keverd össze! Replikáció ≠ azonos adatok újrafuttatása; nem szignifikáns ≠ biztosan nulla; nyílt ≠ automatikusan helyes.
Rövid összefoglalás: a módszertani fordulat a kutatói döntések, a közlési torzítás és az ismételhetőség vizsgálatát állítja előtérbe. Bem vitatott eredményei, a rugalmas elemzések demonstrációi és a replikációs projekt megmutatták az ellenőrzés szükségességét. A preregisztráció, a hozzáférhető anyagok és a megfelelő kutatási tervezés pontosabb következtetéseket segíthetnek.
Felhasznált szakirodalom
- Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100 (3), 407-425. https://doi.org/10.1037/a0021524
- Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8 (1), Article 33267. https://doi.org/10.1525/collabra.33267
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115 (11), 2600-2606. https://doi.org/10.1073/pnas.1708274114
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349 (6251), Article aac4716. https://doi.org/10.1126/science.aac4716
- Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s “retroactive facilitation of recall” effect. PLOS ONE, 7 (3), Article e33423. https://doi.org/10.1371/journal.pone.0033423
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22 (11), 1359-1366. https://doi.org/10.1177/0956797611417632