Searching for a framework to analyze critical thinking and rational argumentation in online educational discussions

Abstract

Teachers set up online discussion boards to promote student interaction thereby enhancing students’ ability to think critically and present rational arguments. Researchers seek to investigate how participation in online discussions affects students learning and how the facilitation of educational discussion influences student participation in such discussions. To do this, researchers have suggested several frameworks and coding schemes to analyze such discussions. In this thesis, I evaluate and discuss two such frameworks and their coding schemes designed to analyze online discussions.

One of my main claims is that the framework that has dominated the research field – the Community of Inquiry framework and its associated Cognitive Presence construct – fails when analyzing and assessing students’ critical thinking and rational argumentation in online discussions. The Community of Inquiry- framework builds on the idea that progress through different discussion phases towards a solution phase is a good indicator of critical thinking. The proponents of the framework base this on John Dewey’s idea that human thoughts are responses to problems or obstacles, and thus thinking is a way to handle – occurring problems. I claim that even though Dewey’s naturalistic and pragmatic approach to thinking provides an interesting perspective on thinking, progress through phases is a weak indicator of the quality of thinking. Discussion and collaborative thinking may contain a high level of critical thinking and rational argumentation without reaching a solution. Similarly, discussion and collaborative thinking may reach a solution even if the thinking lacks a critical nerve, and the arguments are weak.

Another acknowledged framework for analyzing critical thinking and rational argumentation in online discussions that I discuss builds on Toulmin’s argument model. This model focuses on arguments’ microstructure and emphasizes how discussants back their claims and limit subsequent extensions. Applied as a coding scheme on discussion posts, this model uses the occurrence of backed claims and claims that are sufficiently limited as indicators of high quality argumentation. Yet there are problems related to this approach to analyze and score discussions.

In my discussion of these two frameworks to analyze critical thinking and rational argumentation in online educational discussions, I focus on 1) What philosophical ideas form the basis for the frameworks? How are these ideas operationalized into a coding scheme with observable indicators? 2) Do the discussed frameworks adequately operationalize critical thinking, rational argumentation, and collaborative knowledge building? Focusing on adequacy, I discuss whether a coding scheme and its observable indicators make it possible to draw valid inferences about a theoretical construct.

Three articles and an extended abstract comprise the thesis. Study 1 is a discussion of the Cognitive Presence construct in the Community of Inquiry framework. In Study 2, I use the categories arguments’ microstructure (based on Toulmin’s argument model) and argumentations macro-structure to analyze transcripts from online discussions in an introductory philosophy course. The aim is twofold: first, to understand how students construct arguments, and second, to discuss the adequacy of categories of arguments’ micro- and macro-structure as a means of analyzing discussions. Study 3 gives an overview of how researchers use frameworks based on Toulmin’s argument model to analyze online educational discussions. Further, the study discusses the adequacy of such frameworks. In the extended abstract, I situate the research in a broader context; account for methodological approaches to this kind of theoretical inquiry; and discuss implications, responses to the work, and limitations of the study.

Undervisere tar i bruk diskusjonsforum for å fremme kommunikasjon mellom studenter og dermed styrke studentenes evne til å tenke kritisk og presentere rasjonelle argumenter. Forskere forsøker å finne ut hvordan deltakelse i nettbaserte diskusjoner påvirker studentenes læring og hvordan underviseres tilrettelegging påvirker studentenes deltakelse i nettbaserte undervisningsdiskusjoner. For å gjøre dette har forskere utviklet en rekke rammeverk og kodingsskjema for å analysere slike diskusjoner. Formålet med denne avhandlinga er å evaluere og diskutere to rammeverk som er utviklet for å analysere nettdiskusjoner, og deres kodingsskjema.

En av mine hovedkonklusjoner er at rammeverket som har dominert forskingsfeltet, det såkalte Community of Inquriy-rammeverket, og konstruktet Cognitive Presence fra dette rammeverket, mislykkes i å analysere og vurdere studentenes kritiske tenkning og rasjonelle argumentasjon i nettdiskusjoner. Community of Inquiry-rammeverket bygger på ideen at progresjon gjennom ulike faser av en diskusjon mot en løsning, er en god indikator for kritisk tenkning. Forskerne som etablerte rammeverket baserer dette på Deweys ide om at menneskelig tenkning er responser på problemer eller hindringer, og at tenkning dermed kan forstås som en respons på – og dermed vår måte å løse eller håndtere – problemer vi støter på. Jeg argumenterer for at selv om Deweys naturalistiske og pragmatiske redegjørelse for tenkning er et interessant perspektiv, så er progresjon gjennom ulike faser en dårlig indikator for kvalitet på tenkning. Diskusjoner og tenkning i fellesskap kan holde høyt nivå når det gjelder kritisk tenkning og rasjonell argumentasjon, og likevel ikke føre til en løsning. Tilsvarende kan diskusjoner og tenkning i fellesskap føre til en løsning selv om tenkning er ukritisk og argumentene er svake.

Et annet anerkjent rammeverk for å analysere kritisk tenkning og rasjonell argumentasjon i nettdiskusjoner, bygger på Toulmins argumentmodell. Jeg diskuterer dette også dette rammeverket i avhandlinga. Denne modellen belyser argumenters mikrostruktur, med vekt på hvordan diskusjonsdeltakere begrunner, og angir begrensninger for, sine påstander. Når denne modellen danner grunnlaget for et kodingsskjema, er det forekomst av begrunnede påstander, og forekomst av argumenters begrensning, som fungerer som indikatorer for kvalitet på tenkning og argumentasjon. Det er problemer også med denne måten å analysere og vurdere diskusjoner.

I min diskusjon av disse to rammeverkene som er utviklet for å analysere kritisk tenkning og rasjonell argumentasjon nettbaserte undervisningsdiskusjoner reiser jeg følende spørsmål: 1) Hva slags filosofisk ide danner grunnlaget for rammeverkene? Hvordan er disse ideene operasjonalisert i kodingsskjema med observerbare indikatorer? 2) Operasjonaliserer disse rammeverkene kritisk tenkning, rasjonell argumentasjon og kollektiv kunnskapsutvikling på en adekvat måte? Ved å fokusere på om rammeverk og indikatorer er adekvate, diskuterer jeg om disse forskningsverktøyene danner grunnlag for å tekke valide slutninger

Avhandlinga består av tre artikler og kappe. Artikkel 1 er en diskusjon av Cognitive Presence-konstruktet fra Community of Inquiry-rammeverket. I artikkel 2 analyserer jeg utskrifter fra nettdiskusjoner i et innføringskurs i filosofi ved hjelp av kategorier fra argumenters mikrostruktur (basert på Toulmins argumentmodell) og makrostruktur i argumentasjon. Formålet med denne analysen er todelt: For det første, å kartlegge hvordan studenter konstruerte argumenter, og for det andre, å diskutere hvor adekvate kategoriene argumenters mikrostruktur og makrostruktur i argumentasjon er som verktøy for å analysere slike diskusjoner. I artikkel 3 gir jeg en oversikt over hvordan forskere har brukt Toulmins argumentmodell i analyser av nettbaserte undervisningsdiskusjoner. Deretter diskuterer jeg hvor adekvate rammeverk basert på denne modellen er for analyser av nettdiskusjoner. I kappa lokaliserer jeg denne forskninga i en breiere kontekst og gjør rede for metodologiske spørsmål knyttet til denne typen teoretiske undersøkelser. Videre diskuterer jeg implikasjoner, respons på arbeidet og begrensinger i avhandlinga.