Om metode: Bruk av inter-observatør enighet og inter-rater reliabilitet i NTA, og forslag til utvidelse av repertoaret i atferdsanalytiske studier

Abstract

For at atferdsanalytiske studier skal inkluderes i evidensbasene må forskningsdesign og de tilhørende statistiske analyser være av god kvalitet. En kvalitetsindikator innen psykologiforskning er bruk og rapportering av enighet mellom observatørene under datainnsamling og analyser. Denne artikkelen beskriver omfanget av artikler i Norsk Tidsskrift for Atferdsanalyse som har metodedel, som oppgir å ha målt enighet mellom observatører, og som oppgir hvordan forfatterne har målt denne enigheten. Resultatene viser at de aller fleste artiklene med metodedel oppgir grad av enighet i form av prosentvis enighet. Vi gir en oversikt over og redegjør for ytterligere strategier for å måle observatørenighet og argumenterer for at atferdsanalytikere bør benytte seg av mer robuste statistiske mål for enighet mellom observatører.

Social validity has since long been a central area of evaluation and can be seen as a part of the applied dimension in applied behavior analysis. Social validity has to do with what the patient people in the patient’s environment think about the intervention. Social validity is a subjective state of affairs with subsequent measurement issues. A recent literature review of studies published in the flagship Journal of Applied Behavior Analysis showed that only 12% of the studies included evaluation of social validity. The purpose of the current study vas to examine how studies within applied behavior analysis published in the Norwegian Journal of Behavior Analysis (NJBA) have dealt with social validity. We have inspected all studies characterized as applied behavior analysis and behavior analysis in practice published in NJBA from 2006 to 2020 (k = 66) and searched for “social validity”. The results show that only 3% of the studies had measured social validity explicitly while 17% have mentioned social validity as an area of evaluation. The remaining 80% have not measured or mentioned social validity. Very few studies in NJBA includes explicit and systematic measures of social validity. There is a need to change the practice so that evaluations of social validity are included in the same way as evaluations of effect and goal achievement.