Kezdőlap Pszichológia dióhéjban 32. tananyag

XII. korszak · 32

Nyílt tudomány, replikáció és a pszichológia mai módszertani fordulata

Hogyan próbálja a pszichológia átláthatóbbá és megbízhatóbbá tenni saját kutatási gyakorlatát?

Jegyzet32
Meghatározó gondolkodókBrian Nosek, Daryl Bem, Richard Klein, Harold Pashler
Kulcsfogalmak

nyílt tudományreplikációmódszertanátláthatóság

Olvasási formaTeljes tananyag · többhasábos jegyzet
01

Az eredményt is ellenőrizni kell

Nyílt tudomány, replikáció és a pszichológia mai módszertani fordulata

Nagy kérdés: Honnan tudjuk, hogy egy látványos eredmény megbízható, és nem a kutatási döntések vagy a publikálás torzításának következménye?

02

Történeti hely: a módszer válik kutatási tárggyá

A 2010-es évektől a pszichológia önellenőrzésében hangsúlyosabbá váltak a nagy replikációs együttműködések és a nyílt kutatási gyakorlatok. A probléma korábbi: kis minták, szelektív közlés és rugalmas elemzési döntések mellett a szakirodalom túl biztos képet mutathat. Brian Nosek és az Open Science Collaboration meghatározó szereplői a fordulatnak. Nem új emberképet kínálnak, hanem az állítások ellenőrizhetőségét erősítik.

03

Három külön ellenőrzési kérdés

Reprodukálhatóság: ugyanazokból az adatokból, azonos elemzéssel előáll-e az eredmény? Replikáció: új adatokkal, megfelelően megismételt vizsgálatban hasonló következtetésre jutunk-e? Robusztusság: megmarad-e a következtetés más, szakmailag indokolt elemzési döntések mellett? A terminológia tudományterületenként eltérhet; itt ezt a különbségtételt használjuk.

A replikáció eredményét a hatás nagysága, bizonytalansága, a mérés és a vizsgálati feltételek együtt alapján értékeljük. Egy nem szignifikáns ismétlés önmagában nem bizonyítja, hogy nincs hatás; egy sikeres ismétlés sem teszi minden helyzetre érvényessé.

04

Daryl Bem: történeti vitaindító példa

Bem (2011) időben megfordított feladatokban olyan eredményeket közölt, amelyeket későbbi események korábbi válaszokra gyakorolt hatásaként értelmezett. Egy felidézési feladatban például a gyakorlás a felidézés után történt. A közlemény ráirányította a figyelmet arra, milyen bizonyítékot engednek át a megszokott módszerek.

Ritchie, Wiseman és French (2012) e felidézési hatást három új vizsgálatban próbálta megismételni, de nem talált hozzá támogatást. Ez konkrét állítás tesztje, nem személyes minősítés. A történetet nem az előrelátás bizonyítékaként, hanem az ellenőrzés szükségességének példájaként kezeljük.


05

Hogyan lesz túl szép egy eredmény?

Fogalmak, módszerek és korlátok

06

Rugalmas döntések és publikációs torzítás

Simmons, Nelson és Simonsohn (2011) szimulációkkal és demonstrációkkal mutatta be, hogy az adatgyűjtési és elemzési lehetőségek eredményfüggő válogatása növelheti a hamis pozitív találatok arányát. Ilyen lehet az adatfelvétel ismételt ellenőrzés utáni leállítása vagy sok kimenetből csak a szignifikáns közlése.

p-hacking: elemzési döntések alakítása a kívánt szignifikancia eléréséhez, megfelelő korrekció és átláthatóság nélkül. HARKing: eredményismeretben kialakított hipotézis előzetes jóslatként bemutatva. Publikációs torzítás: a megjelenés esélye az eredménytől függ; a nem szignifikáns leletek könnyebben eltűnhetnek. A feltáró elemzés legitim, ha annak nevezzük.

07

A 2015-ös replikációs projekt

Az Open Science Collaboration három folyóiratban, 2008-ban közölt 100 vizsgálatot ismételt meg új adatokkal. Összevetették többek között a hatásméreteket és a statisztikai szignifikanciát. Az ismétlések 36%-a lett szignifikáns; a hatások átlagosan kisebbek voltak az eredetieknél.

Ez nem jelenti, hogy „a pszichológia 64%-a hamis”. A kiválasztott vizsgálatok nem az egész tudomány reprezentatív mintája, és a szignifikancia csak egy értékelési szempont. A projekt az adott kutatási gyakorlatok ellenőrzésére adott erős indokot.

08

Statisztikai erő, hatás és bizonytalanság

Erő = 1 – β: egy meghatározott valódi hatás mellett annak valószínűsége, hogy a választott próba elutasítja a nullhipotézist. Függ a hatásmérettől, mintanagyságtól, zajtól, elrendezéstől és szignifikanciaszinttől. Nem egy eredmény igazságának valószínűsége (Lakens, 2022).

Saját példa: tíz tanulási módszert hasonlítasz össze, de csak a legjobban sikerült különbséget mutatod meg. Az olvasó nem látja a többi próbálkozást. A p < 0,05 önmagában nem bizonyít nagy vagy fontos hatást, és nem jelenti, hogy a hipotézis 95%-os valószínűséggel igaz.


09

Átláthatóbb kutatás, pontosabb következtetés

Fogalmak, módszerek és korlátok

10

Mit változtat a nyílt tudomány?

Preregisztráció: a hipotézisek és a vizsgálati/elemzési terv időbélyegzett rögzítése az eredmények ismerete előtt. Az eltérések megengedettek, de jelölendők; különválik a megerősítő és feltáró elemzés (Nosek és mtsai, 2018). Nyílt adatok, kód és anyagok: segítik az ellenőrzést, amennyiben az adatvédelem és a hozzájárulás ezt megengedi. A megosztás önmagában nem javítja ki a hibás mérést.

Metaanalízis: összehasonlítható kutatások hatásbecsléseinek statisztikai összegzése. A sok tanulmány nem automatikus garancia: a torzítások, a függő adatok és a vizsgálatok különbségei számítanak. A nyílt gyakorlat eszköz, nem minőségi pecsét. Előzetes terv mellett is lehet gyenge elmélet vagy rossz operacionalizálás.

11

Négy tengely, kapcsolatok és vizsgaválasz

Általános: kísérletek és mérés. Személyiség: kérdőívek, érvényesség. Fejlődés: követés és lemorzsolódás. Társas: kontextus és általánosítás. A teljes sorozat módszertani ellenőrzőpontja; kapcsolódik a 30. téma mintakritikájához és a 33. integrációhoz. Ne keverd össze! Replikáció ≠ azonos adatok újrafuttatása; nem szignifikáns ≠ biztosan nulla; nyílt ≠ automatikusan helyes.

Rövid összefoglalás: a módszertani fordulat a kutatói döntések, a közlési torzítás és az ismételhetőség vizsgálatát állítja előtérbe. Bem vitatott eredményei, a rugalmas elemzések demonstrációi és a replikációs projekt megmutatták az ellenőrzés szükségességét. A preregisztráció, a hozzáférhető anyagok és a megfelelő kutatási tervezés pontosabb következtetéseket segíthetnek.

12

Felhasznált szakirodalom

  • Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100 (3), 407-425. https://doi.org/10.1037/a0021524
  • Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8 (1), Article 33267. https://doi.org/10.1525/collabra.33267
  • Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115 (11), 2600-2606. https://doi.org/10.1073/pnas.1708274114
  • Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349 (6251), Article aac4716. https://doi.org/10.1126/science.aac4716
  • Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s “retroactive facilitation of recall” effect. PLOS ONE, 7 (3), Article e33423. https://doi.org/10.1371/journal.pone.0033423
  • Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22 (11), 1359-1366. https://doi.org/10.1177/0956797611417632