Co to znaczy, że wyniki przeprowadzonych przez psychologów badań naukowych poddawane są analizie statystycznej?
Abstrakt
Autor artykułu, odwołując się do współczesnego stanu świadomości (awareness) metodologicznej psychologów oraz własnego wieloletniego doświadczenia badawczego i edukacyjnego, i inspirowany takimi pracami, jak: Cohen (1990-2006, 1994/2006) i Wilkinson & Task Force on Statistical Inference (1999), podejmuje węzłowe problemy stosowania metod analizy statystycznej danych pochodzących z badań psychologicznych. Zwraca też uwagę na możliwe źródła nadużyć oraz optymalne rozwiązania, których przyjęcie przez badaczy będzie minimalizowało wariancję błędu (error variance) i przyczyni się do znaczącego obniżenia kreowanych artefaktów. Celem artykułu jest też zwrócenie uwagi na możliwe źródła naukowych nadużyć (scientific misconduct). Autor skupił się na następujących zagadnieniach: standardowym ujęciu procesu badawczego, pojęciu istotności, miejscu analizy statystycznej danych (data) w procesie badawczym, konieczności replikacji wyników badań naukowych, opozycji: NHST vs confidence interval, ważności ustalania w badaniach psychologicznych effect size oraz celowości prowadzenia multivariate analysis.
Bibliografia
Ajdukiewicz, K. (1965). Logika pragmatyczna. Warszawa: PWN.
Ajdukiewicz, K. (1983). Zagadnienia i kierunki filozofii. Teoria poznania. Metafizyka. Warszawa: Czytelnik.
APA, American Psychological Association (20014). Publication manual of the American Psychological Association. Washington, DC: Author.
APA, American Psychological Association (20105). Publication manual of the American Psychological Association. Washington, DC: Author.
Arystoteles (1983). Metafizyka. Warszawa: PWN.
Bedyńska, S., Brzezicka, A. (red.) (2007). Statystyczny drogowskaz. Praktyczny poradnik analizy danych w naukach społecznych na przykładach z psychologii. Warszawa: Wydawnictwo Szkoły Wyższej Psychologii Społecznej „Academica”.
Brzeziński, J. (1976). Budowa prototeorii idealizacyjnych. W: L. Nowak (red.), Teoria a rzeczywistość (s. 135-162). Warszawa–Poznań: PWN, Poznańskie Studia z Filozofii Nauki, t. 1.
Brzeziński, J. (1982). Protoidealizacyjny model procesu badawczego. Próba konkretyzacji. Studia Pedagogiczne, 44, 59-80.
Brzeziński, J. (1983). Ocena efektu eksperymentalnego w układach eksperymentalnych analizy wariancji. Przegląd Psychologiczny, 25, 1, 155-165.
Brzeziński, J. (2008). Badania eksperymentalne w psychologii i pedagogice. Warszawa: Wydawnictwo Naukowe Scholar.
Brzeziński, J. (2010). Czy psychologia znajduje się na metodologicznym rozdrożu? W: J. Grad, J. Sójka, A. Zaporowski (red.), Nauka – kultura – społeczeństwo. Księga jubileuszowa dedykowana Profesor Krystynie Zamiarze (s. 155-192). Poznań: Wydawnictwo Naukowe UAM.
Brzeziński, J. (20115). Metodologia badań psychologicznych. Warszawa: Wydawnictwo Naukowe PWN.
Brzeziński, J. (2012). Jakich kompetencji badawczych oczekujemy od psychologa? W: H. J. Grzegołowska-Klarkowska (red.), Agresja, socjalizacja, edukacja. Refleksje i inspiracje (s. 393-419). Warszawa: Wydawnictwo Akademii Pedagogiki Specjalnej.
Brzeziński, J., Maruszewski, T. (1978). Metoda badania zgodności profilów psychometrycznych. Przegląd Psychologiczny, 11, 3, 569-587.
Brzeziński, J., Stachowski, R. (19842). Zastosowanie analizy wariancji w eksperymentalnych badaniach psychologicznych. Warszawa: PWN.
Brzeziński, J., Zakrzewska, M. (2010). Metodologia. Podstawy metodologiczne i statystyczne prowadzenia badań naukowych w psychologii. W: J. Strelau, D. Doliński (red.), Psychologia akademicka. Podręcznik (wyd. 2 poprawione, t. 1, s. 175-302). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
Buczkowski, P., Nowak, L. (1979). Idealizacja a istotność. Studium przypadku: Marksowska teoria klas społecznych. W: A. Klawiter, L. Nowak (red.), Odkrycie, abstrakcja, prawda, empiria, historia a idealizacja (s. 59-86). Warszawa–Poznań: PWN.
Cohen, J. (1969). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum (wyd. II – 1988).
Cohen, J. (1990/2006). O tym, czego się nauczyłem (jak dotąd). W: J. Brzeziński, J. Siuta (red.), Metodologiczne i statystyczne problemy psychologii (s. 75-99). Poznań: Zysk i S-ka Wydawnictwo.
Cohen, J. (1994/2006). Ziemia jest okrągła (p<0,05). W: J. Brzeziński, J. Siuta (red.), Metodologiczne i statystyczne problemy psychologii (s. 100-118). Poznań: Zysk i S-ka Wydawnictwo.
Cohen, J., Cohen, P., West, S. G., Aiken, L. S. (2003). Applied multiple regression/correlation analysis for he behavioral sciences. Mahwah, NJ: Erlbaum.
Cronbach, L. J., Rajaratnam, L., Nanda, H., Gleser, G. C. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. New York, NY: J. Wiley.
Cumming, G., Finch, S. (2005). Inference by eye. Confidence intervals and how to read pictures of data. American Psychologist, 60, 170-180.
Dancey, C. P., Reidy, J. R. (20115). Statistics without maths for psychology. Edinburgh: Pearson.
Daniel, L. G. (1998). Statistical significance testing: A historical overview of misuse and misinterpretation with implications for the editorial policies of educational journals. Research in the Schools, 5, 23-32.
Dodd, D. H., Schultz, R. F. (1973). Computational procedures for estimating magnitude of effect for some analysis of variance designs. Psychological Bulletin, 79, 391-395.
Durlak, J. A. (2009). How to select, calculate, and interpret effect sizes. Journal of Pediatric Psychology, 34, 917-928.
Egiert, R. (2000). Parafrazy idealizacyjne. Poznań: Wyd. Fundacji Humaniora.
Ferguson, G. A., Takane, Y. (20033). Analiza statystyczna w psychologii i pedagogice. Warszawa: Wydawnictwo Naukowe PWN.
Field, A. (20093). Discovering statistics using SPSS. Thousand Oaks, CA: Sage.
Fisher, R. A. (19607). The design of experiment. Edinburgh, Scotland: Oliver & Boyd.
Francuz, P., Mackiewicz, R. (2005). Liczby nie wiedzą, skąd pochodzą. Przewodnik po metodologii i statystyce nie tylko dla psychologów. Lublin: Wydawnictwo KUL.
Fritz, C. O., Morris, P. E., Richler, J. J. (2011). Effect size estimates: Current use, calculations, and interpretation. Journal of Experimental Psychology: General, (Aug.) 8, 1-17.
Gaul, M. (1990). Idealizacyjne modele poznania naukowego w psychologii. Warszawa–Poznań: PWN.
Grissom, R. J., Kim, J. J. (2005). Effect sizes for research: A broad practical approach. Mahwah, NJ: Erlbaum.
Gulliksen, H. (1950). Theory of mental tests. New York: J. Wiley.
Hambleton, R. K., Swaminathan, H., Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park, CA: Sage.
Harlow, L. L., Mulaik, S. A., Steiger, J. H. (1997). What if there were no significance tests? Mahwah, NJ: Erlbaum.
Hays, W. L. (19732). Statistics for the social sciences. New York: Holt, Rinehart & Winston.
Hedges, L. W., Olkin, I. (1985). Statistical methods for meta-analysis. New York: Academic Press.
Hoaglin, D. C., Mosteller, E., Tukey, J. W. (2000). Understanding robust and exploratory data analysis. New York: Wiley.
Hornowska, E. (1989). Operacjonalizacja wielkości psychologicznych. Założenia – struktura – konsekwencje. Wrocław: Ossolineum.
Huberty, C. J. (2002). A history of effect size indices. Educational and Psychological Measurement, 62, 227-240.
Hulin, Ch. L., Drasgow, F., Parson, C. K. (1983/2006). Wprowadzenie do teorii odpowiedzi na pozycje testu. W: J. Brzeziński (red.), Trafność i rzetelność testów psychologicznych. Wybór tekstów (s. 213-271). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
Hunter, J. E., Schmidt, F. L. (1990). Methods of meta-analysis: Correcting error and bias in research findings. Newbury Park, CA: Sage.
Jacob, F. (1973). Historia i dziedziczność. Warszawa: Państwowy Instytut Wydawniczy.
JARS, APA Publications and Communications Board Working Group on Journal Article Reporting Standards (2008). American Psychologist, 63, 839-851.
King, B. M., Minium, E. W. (2009). Statystyka w psychologii i pedagogice. Warszawa: Wydawnictwo Naukowe PWN.
Kirk, R. E. (19953). Experimental design: Procedures for the behavioral sciences. Belmont, CA: Brooks.
Kirk, R. E. (1996). Practical significance: A concept whose time has come. Educational and Psychological Measurement, 56, 746-759.
Kirk, R. E. (2001). Promoting good statistical practice: Some suggestions. Educational and Psychological Measurement, 61, 213-218.
Klebaniuk, J. (2011). Profesor Stapel na dopingu. O upiększaniu psychologii społecznej. Racjonalista, z dnia 14 listopada 2011 r.; http://www.racjonalista.pl/kk.php/s,7532 (6 stycznia 2012).
Kleka, P. (2011). Statystyczne kryteria przydatności raportu z badań do metaanalizy. W: J. Brzeziński (red.), Metodologia badań społecznych. Wybór tekstów (s. 99-114). Poznań: Zysk i S-ka Wydawnictwo.
Kline, R. B. (2004). Beyond significance testing. Reforming data analysis methods in behavioral research. Washington, DC: American Psychological Association.
Konarski, R. (2009). Modele równań strukturalnych. Teoria i praktyka. Warszawa: Wydawnictwo Naukowe PWN.
Kowalik, S. (19882). Diagnostyczne i kliniczne właściwości Skal Inteligencji: W-B I/II, WAIS, WAIS-R. W: J. Brzeziński, E. Hornowska (red.), Skala Inteligencji WAIS-R Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w diagnostyce psychologicznej (s. 386-462). Warszawa: PWN.
Krajewski, W. (19982). Prawa nauki. Przegląd zagadnień metodologicznych i filozoficznych. Warszawa: Książka i Wiedza.
Lehmann, E. L. (1968). Testowanie hipotez statystycznych. Warszawa: PWN.
Lichtenberger, E. O., Kauffman, A. S. (2009). Essentials of WAIS-IV assessment. New York: J. Wiley.
Loftus, G. R. (1996). Psychology will be a much better science when we change the way we analyze data. Current Directions in Psychological Science, 5, 161-171.
Loftus, G. R. (20023). Analysis, interpretation, and visual presentation of experimental data. W: H. Pashler, J. Wixted (red.), Stevens’ handbook of experimental psychology, t. 4: Methodology in experimental psychology (s. 339-390). New York: Wiley.
Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Erlbaum.
Lord, F. M., Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley.
Maxwell, S. E. (2004). The persistence of underpowered studies in psychological research: Causes, consequences, and remedies. Psychological Methods, 9, 147-163.
Morrison, D. F. (1990). Wielowymiarowa analiza statystyczna. Warszawa: Państwowe Wydawnictwo Naukowe.
Neuliep, J. W. (red.) (1991). Replication research in the social sciences. Newbury Park, CA: Sage.
Nowak, L. (1980). The structure of idealization. Towards a systematic interpretation of the marxian idea of science. Dordrecht: D. Reidel.
Nowakowa, I., Nowak L. (2000). Idealization X: The richness of idealization. Amsterdam-Atlanta, GA: Rodopi, Poznań Studies in the Philosophy of the Sciences and the Humanities, t. 69.
Pedhazur, E. J. (19973). Multiple regression in behavioral research. Explanation and research. Fort Worth, TX: Harcourt Brace College Publishers.
Rapaport, D. (1945). Diagnostic psychological testing (t. 1). Chicago: Yearbook Publ.
Reichenbach, H. (1938/1989). Trzy zadania epistemologii. Studia Filozoficzne, 7-8, 205-212 (polskie tłumacz. § 1: “The three tasks of epistemology”, w: Experience and Prediction, Chicago: University of Chicago Press).
Rosenthal, R. (1991). Replication in behavioral research. W: J. W. Neuliep (red.), Replication research in behavioral sciences (s. 1-30). Newbury Park, CA: Sage.
Rosenthal, R. (1996). Nauka a etyka w przeprowadzaniu badań psychologicznych oraz analizowaniu i przedstawianiu ich wyników. Czasopismo Psychologiczne, 2, 37-46.
Rosenthal, R., Rosnow, R. L. (2009). Artifacts in behavioral research. New York: Oxford University Press.
Rosenthal, R., Rosnow, R. L., Rubin, (2000). Contrasts and effect sizes in behavioral research: A correlational approach. Cambridge, UK: Cambridge University Press.
Rosnow, R. L., Rosenthal, R. (2003). Effect sizes for experimenting psychologists. Canadian Journal of Experimental Psychology, 57, 221-237.
Rosnow, R. L., Rosenthal, R. (2009). Effect sizes. Why, when, and how to use them. Zeitschrift für Psychologie/Journal of Psychology, 217, 6-14.
Schmidt, F. L. (1995). Co naprawdę oznaczają dane? Wyniki badawcze, metaanaliza i wiedza kumulatywna w psychologii. Czasopismo Psychologiczne, 1, 19-31.
Schwarzer, G. (2007). Meta: Meta-Analysis. R package version 0.8-2; http://cran.hu.rproject.org/ doc/packages/meta.pdf (5 stycznia 2012).
Siegel, S., Castellan, N. J. (19882). Nonparametric statistics for the behavioral sciences. New York: McGraw-Hill.
Skinner, B. F. (1950). Are theories of learning necessary? Psychological Review, 57, 193-216.
Sosnowski, T. (2004). Analiza kontrastów: między eksploracją a testowaniem hipotez. Przegląd Psychologiczny, 47, 4, 367-378.
Sosnowski, T. (red.) (2010). Zaawansowane metody statystyczne. Psychologia Społeczna, 5, 2-3, numer specjalny.
Stachowski, R., Brzeziński, J. (1982). Analiza wariancji wyników eksperymentalnego badania zmian monotonicznych wymuszonych w zachowaniu pojedynczej osoby badanej. Przegląd Psychologiczny, 24,1, 159-171.
Stawiszyński, T. (2011). Diederik Stapel. Kanciarze z tytułami naukowymi; http://nauka.news week.pl/diederik-stapel--kanciarze-z-tytulami-naukowymi,84437,1,1.html (5 stycznia 2012).
Sterling, T. D. (1970). Publication decisions and their possible effects on inferences drawn from tests of significance – or vice versa. W: R. E. Henkel, D. E. Morrison (red.), The significance test controversy (s. 295-300). London: Butterworths.
Stevens, J. P. (20024). Applied multivariate statistics for the social sciences. Mahwah, NJ: Erlbaum.
Sun, S., Pan, W., Wang, L. L. (2010). A comprehensive review of effect size reporting and interpreting practices in academic journals in education and psychology. Journal of Educational Psychology, 102, 989-1004.
Tabachnick, B. G., Fidell, L. S. (2001). Using multivariate statistics. Boston, MA: Allyn and Bacon.
Tatsuoka, M. (1993). Effect size. W: G. Keren, Ch. Lewis (red.), A handbook for data analysis in the behavioral sciences. Methodological issues (s. 461-479). Hillsdale, NJ: Erlbaum.
Teigen, K. H. (1994). Yerkes-Dodson: A law for all seasons. Theory & Psychology, 4, 525-547.
Thompson, B. (2004). Exploratory and confirmatory factor analysis. Understanding concepts and applications. Washington, DC: American Psychological Association.
Thompson, B. (2007). Effect sizes, confidence intervals, and confidence intervals for effect sizes. Psychology in the Schools, 45, 423-432.
Tukey, J. B. (1977). Exploratory data analysis. Reading, MA: Addison-Wesley.
Vaughan, G. M., Corballis, M. C. (1969). Beyond tests of significance: Estimating strength of effects in selected ANOVA design. Psychological Bulletin, 72, 204-213.
Weinfurt, K. W. (1998). Multivariate analysis of variance. W: L. G. Grimm, P. R. Arnold (red.), Reading and understanding multivariate statistics (s. 245-276). Washington, DC: American Psychological Association.
Wicherts, J. M. (2011). Psychology must learn a lesson from fraud case; http://www.nature.com/ news/psychology-must-learn-a-lesson-from-fraud-case-1.9513#auth-1 (5 stycznia 2012).
Wieczorkowska, G., Wierzbiński, J. (20114). Statystyka: od teorii do praktyki. Warszawa: Wydawnictwo Naukowe Scholar.
Wilkinson, L., Task Force on Statistical Inference (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54, 594-604.
Winer, B. J., Brown, D. R., Michels, K. M. (19913). Statistical principles in experimental design. New York: McGraw-Hill.
Wojciszke, B. (2006). Systematycznie Modyfikowane Replikacje: logika programu badań empirycznych w psychologii. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów. Warszawa: Wydawnictwo Naukowe PWN.
Wojciszke, B. (2011). Systematycznie Modyfikowane Autoreplikacje: logika programu badań empirycznych w psychologii. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (s. 44-68). Warszawa: Wydawnictwo Naukowe PWN.
Yerkes, R. M., Dodson, J. D. (1908). The relation of strength of stimulus to rapidity of habit-formation. Journal of Comparative Neurology and Psychology, 18, 459-482; też: http://psychclassics.yorku.ca/Yerkes/Law/ (6 stycznia 2012).
Zakrzewska, M. (2000). Trzy różne ilorazy inteligencji: interpretacja polskiej wersji Skali Inteligencji dla Dorosłych [WAIS-R(PL)]. Czasopismo Psychologiczne, 6, 159-169.
Zimmerman, I. L., Woo-Sam, J. M. (1973). Clinical interpretation of the Wechsler Adult Intelligence Scale. New York: Grune & Stratton.
Copyright (c) 2012 Roczniki Psychologiczne
Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Użycie niekomercyjne – Bez utworów zależnych 4.0 Międzynarodowe.