‘PISA effects’ on Norwegian education. A critical realist perspective

Abstract

<p>The objective of the thesis is to examine, from a critical realist perspective and by using Margaret Archer’s conceptual framework, possible effects that the Programme for International Student Assessment (PISA) test has on the Norwegian education system and on school personnel. The intention has been to reconceptualise the notion of ‘PISA effects’ both at the systemic (macro) and individual (micro) level. <p>The thesis is based on a total of five cases (art. I = 1, art. II = 1, art. III = 3) that represent entities at different levels: the national education system (the macro-level); an individual mathematics teacher (the micro-level); and school leaders (micro-level). Two of the articles employ qualitative methodology (art. I and art. III), while article II employs both a qualitative and quantitative methodology, i.e., method triangulation. The data consist of relevant policy documents and secondary literature (art. I), and semi-structured interviews (art. II, art. III) with a mathematics teacher (n=1) and three school leaders (n=3), the former in combination with a Likert scale measuring modes of reflexivity. <p>My investigation of educational reforms and other state interventions for two decades, since the beginning of the 1990s, before and after the PISA–shock (art. I) indicated that basic system characteristics, internal structures, and processes in the system, were maintained. Contrary to what some previous research has claimed, the PISA shock did not fundamentally change the Norwegian educational system. This analysis employs Archer’s definition of educational systems, centralized and decentralized, her specification of internal structures and processes in state educational systems, and her model of morphogenetic cycles. <p>The four micro-level case studies presented in article II and III, employ Archer’s concepts reflexivity and reflexive modes, which can explain differences among school personnel (teachers and school leaders) in how they react to the PISA test. The use of reflexivity and reflexive modes as analytical concepts enables the alignment of teaching staffs’ personal concerns and values with their reactions to the PISA test and shows how agents mediate the effects of external systemic structures. <p>Picking up on Xavier Pons quest for a new theoretical framework for the study of PISA effects, which could establish it as a ‘normal science’, I argue that critical realism and Archer’s conceptual framework satisfies his basic requirements, i.e., ontological realism, epistemic relativism, and judgemental rationality.

<p>Målet med oppgaven er å undersøke, fra et kritisk realistisk perspektiv og ved å bruke Margaret Archers konseptuelle rammeverk, mulige effekter som PISA-testen har på det norske utdanningssystemet og på skolepersonell. Hensikten har vært å rekonseptualisere forestillinger om ‘PISA-effekter’ både på systemisk (makro) og individuelt (mikro) nivå. <p>Arbeidet er basert på totalt fem case-studier (art. I = 1, art. II = 1, art. III = 3) som representerer enheter på ulike nivåer: det nasjonale utdanningssystemet (makronivået), en individuell matematikk lærer (mikronivå) og tre skoleledere (mikronivå). To av artiklene benytter kvalitativ metodikk (art. I og art. III), og artikkel II benytter både en kvalitativ og kvantitativ metode, dvs. metodetriangulering. Dataene består av relevante policydokumenter og sekundærlitteratur (art. I) og semistrukturerte intervjuer (art. II, art. III) med en matematikklærer (n=1) og tre skoleledere (n=3). Førstnevnte i kombinasjon med en Likert-skala som måler refleksivitetsmoduser. <p>Min undersøkelse av utdanningsreformer og andre nasjonale tiltak i skolen i løpet av to ti-år, fra begynnelsen av 1990-årene, det vil si før og etter PISA-sjokket (art. I), viser at de grunnleggende egenskapene ved utdanningssystemet, forble de samme, til tross for PISA-begrunnede tiltak. Analysen anvender Archers definisjon av utdanningssystemer, sentraliserte og desentraliserte, begreper knyttet til interne strukturer og prosesser og dessuten hennes modell for morfogenetiske sykluser. <p>De fire case-studiene fra mikro-nivået (matematikklærer og skoleledere) i artikkel II og III anvender Archers begreper om refleksivitet og refleksive moduser, som er egnet til å forklare hvorfor enkeltpersoner har ulike reaksjoner, selv om de befinner seg i den samme strukturelle konteksten og hvordan disse reaksjonene henger sammen med personenes personlige verdioppfatninger og anliggender. <p>Jeg hevder at ønsket om et nytt teoretisk rammeverk for studiet av PISA effekter, fremsatt av Xavier Pons, som kan etablere feltet som en ‘normalvitenskap’, innfris av kritisk realisme og Archers konseptuelle rammeverk som baserer seg på prinsippene ontologisk realisme, epistemologisk relativisme og vurderingsrasjonalitet.