Eksperimentet anses for at være den højeste standard inden for kvantitativ forskning, fordi eksperimenter i princippet gør det muligt for forskeren at bestemme det kausale forhold mellem to eller flere variabler. I det perfekte eksperiment har forskeren kontrol over alle variabler, således at den effekt, der måles, med sikkerhed kan tilskrives den eksperimentelle manipulation. Det er desværre langt fra altid tilfældet, at eksperimenter har kontrol over alle variabler. Derfor er det ikke altid muligt at fastslå kausalitet ud fra et eksperiment. Særligt i eksperimenter med mennesker, fx i psykologi, er det snarere reglen end undtagelsen, at eksperimentelle resultater følges af fortolkning, fordi det eksperimentelle design ikke kan udelukke alternative forklaringer. Derved mister eksperimentet noget af sin status som metodisk ideal.
Før du vælger at benytte eksperimentet til at undersøge et emne, bør du gøre dig en række overvejelser. Eksperimenter er ofte tidskrævende og passer derfor ikke på mindre forløb med dataindsamling (fx 5 ECTS kurser). Det er ikke alle spørgsmål, som kan besvares eksperimentelt. Hvis du er interesseret i en detaljeret beskrivelse af et komplekst fænomen, kan du overveje om en kvalitativ metode passer bedre til dig. Ønsker du at beskrive sammenhængen mellem mange forskellige i en bestemt befolkningsgruppe (fx køn, alder, indkomst, holdninger, forestillinger, adfærd osv.), passer et spørgeskemaundersøgelse bedre til dit behov. Er du til gengæld interesseret i at undersøge en specifik kausal hypotese om forholdet mellem to variabler, så kan den eksperimentelle metode være ideel. De fleste eksperimenter er designet til at teste en eksperimentel hypotese. I sin enkleste form betyder en eksperimentel hypotese, at manipulationen af en bestemt variabel (den uafhængige variabel) forventes at forårsage en ændring på en anden variabel (den afhængige variabel). Du skal altså forudsige, hvordan dine forsøgsdeltagere reagerer (effekt), når du udsætter dem for en bestemt situation.
For at undersøge en hypotese eksperimentelt skal du dels sørge for, at den eksperimentelle manipulation er den eneste årsag til den målte effekt (intern validitet), og dels sørge for at den manipulation, som forsøgsdeltagerne udsættes for, svarer til det fænomen ude i virkeligheden, som eksperimentet undersøger (ekstern validitet). Høj intern validitet kræver, at du kan udelukke alle tænkelige forklaringer på den målte effekt på nær den forklaring, som eksperimentet forsøger at teste ved hjælp af den eksperimentelle manipulation. Høj ekstern validitet kræver at eksperimentets tilstande afspejler det fænomen, som du er interesseret i (økologisk validitet), og at deltagerne i forsøget repræsenterer den befolkningsgruppe, som du gerne vil sige noget om.
Der findes mange potentielle fejlkilder, som gør det svært at sikre intern og ekstern validitet. Heldigvis er det som regel muligt at undgå fejlkilder ved hjælp af simple løsninger i det eksperimentelle design.
Typiske fejlkilder
Demand characteristics: Detaljer i eksperimentet, som afslører eksperimentets formål, kaldes for demand characteristics. Hvis forsøgsdeltagerne kan regne ud, hvad eksperimentet går ud på, kan deres reaktion på eksperimentets manipulation skyldes, at de forsøger at reagere i overensstemmelse med eksperimentets hypoteser (good subject-effekt). Det kan være umuligt at skelne effekten af demand characteristics fra den reelle effekt af en eksperimentel manipulation. Der findes flere løsninger på denne problematik. Nogle eksperimenter bruger manipulationer, der ligger uden for forsøgsdeltagernes bevidsthed, så deltagerne ikke oplever at blive manipuleret med (implicit priming). Andre eksperimenter afkræver en hurtig reaktion fra deltagerne, så de ikke kan nå at tænke over, hvordan de skal reagere på eksperimentets stimuli.
Rækkefølgeeffekter: Hvis forsøgsdeltageren udsættes for mere end én tilstand i et eksperiment (within-subjects design), kan der forekomme såkaldte rækkefølgeeffekter, hvor forsøgsdeltagerne svarer anderledes på tilstand 2 alene fordi de lige har været udsat for tilstand 1. Denne effekt kan være umulig at skelne fra effekten af den eksperimentelle manipulation. En almindelig løsning er, at lade halvdelen af forsøgsdeltagerne modtage tilstand 1 før tilstand 2, imens den resterende halvdel modtager tilstand 2 før tilstand 1 (balanceret rækkefølge). På den måde udlignes effekten af en bestemt rækkefølge.
Sampling bias: I de fleste eksperimenter fordeles forsøgsdeltagerne i forskellige grupper, som kun udsættes for én tilstand (between-subjects design). Dette udelukker naturligvis rækkefølgeeffekter. Til gengæld kan der opstå andre fejlkilder, fordi fordelingen af deltagere ud i to grupper ofte giver tilfældige skævheder, fx i køns- og aldersfordelingen (Se sample og sampling). Hvis man vil sikre sig, at to forsøgsgrupper er ens på centrale variabler, fx køn, alder, uddannelse mv, kan man matche den ene gruppe med den anden, således at de to grupper ligner hinanden på de variabler, som man mistænker for at have indflydelse på eksperimentets forventede effekt (matched groups).
Det er svært at opnå fuldstændig kontrol over alle variabler i et eksperiment uden at ødelægge eksperimentets eksterne validitet. For meget eksperimentel kontrol kan hurtigt gøre eksperimentet kunstigt for deltagerne dvs. at det fænomen, som måles på, ikke længere svarer til det fænomen uden for laboratoriet, som du gerne vil undersøge (økologisk validitet). Omvendt vil for megen fokus på økologisk validitet ofte begrænse muligheden for at kontrollere mulige fejlkilder. Du vil derfor ofte stå over for et trade-off, som i sidste ende afhænger af det specifikke forskningsspørgsmål, som du ønsker besvaret (fokus på kausalitet vs. autenticitet). Der findes forskellige typer eksperimenter, som prioriterer kausalitet og autenticitet forskelligt.
Det ægte eksperiment refererer til et eksperiment, hvor der opnås fuld kontrol over alle variabler. Alle variabler holdes lige på tværs af eksperimentets tilstande på nær den uafhængige variabel og den afhængige variabel, således at enhver effekt målt på den afhængige variabel må skyldes manipulationen af den uafhængige variabel. Det ægte eksperiment anvender randomisering for at undgå systematiske fejlkilder, fx randomisering af forsøgsdeltagerne og tilstandenes rækkefølge. I studier af mennesker kan den høje grad af eksperimentel kontrol i det ægte eksperiment ofte skabe en kunstig situation for forsøgsdeltagerne, hvilket kan skade eksperimentets økologisk validitet.
Quasi-eksperimenter refererer til eksperimenter, som ikke har fuld kontrol over alle variabler. Særligt i studiet af kulturelle forskelle kan det fx være svært at opnå fuld kontrol som i det ægte eksperiment. Det er for eksempel umuligt at undersøge om muslimsk tro og kristen tro får et menneske til at opføre sig forskelligt på en bestemt variabel, fordi man ikke kan randomisere de samme deltagere ud i henholdsvis en muslimsk tilstand og en kristen tilstand. Eksperimentet må nødvendigvis benytte sig af henholdsvis muslimske og kristne forsøgsdeltagere. Et quasi-eksperiment benytter derfor ofte forsøgsdeltagere fra forskellige befolkningsgrupper. En ulempe i quasi-eksperimentet er, at forskeren ikke kan vide om observerede forskelle skyldes den eksperimentelle manipulation eller forsøgsdeltagernes forskellighed, fx deltagernes opvækst, personlighedstræk, eller baggrundsviden.
Felt-eksperimenter refererer til eksperimenter, som udføres uden for laboratoriet. Disse eksperimenter har typisk en højere grad af økologisk validitet, men en lavere intern validitet, fordi eksperimenter i felten er sværere at kontrollere, dvs. at holde situationen helt ens på tværs af tilstande og forsøgsdeltagere. Felt-eksperimenter anvendes ofte af psykologer, som ønsker at indhente målinger fra forsøgsdeltagere med anden kulturel baggrund end den vestlige (WEIRD population).
Det naturlige eksperiment refererer til eksperimenter, hvor forskeren måler på et naturligt forekommende fænomen, i stedet for en bevidst eksperimentel manipulation. I modsætning til andre felteksperimenter, findes der ingen eksperimentel manipulation i det naturlige eksperiment, hvilket skader eksperimentets interne validitet. Til gengæld kan forskeren måle direkte på det fænomen, som hun eller han interesserer sig for. Det naturlige eksperiment anvendes ofte af antropologer, som typisk prioriterer muligheden for at indhente objektive mål på autentiske handlinger og praksisser (økologisk validitet) over muligheden for at bestemme den nøjagtige kausalitet i mellem bestemte variabler.
En stor del af arbejdet med eksperimenter ligger før selve målingerne. Der skal søges om etisk godkendelse, rekrutteres forsøgsdeltagere, bookes lokaler, afprøves udstyr, og der skal udarbejdes en protokol, som beskriver eksperimentets procedurer, så indsamlingen foregår på nøjagtig samme måde for hver forsøgsdeltager. Nogle forskere præregistrerer deres hypoteser (præregistrering), så de kan bevise, at de ikke har ændret deres hypoteser undervejs eller efter dataindsamlingen.
Når først eksperimentet er klart er det til gengæld relativt nemt at udføre. Under selve eksperimentet er det afgørende, at forsøgsdeltagerne bliver behandlet ens med undtagelse af den eksperimentelle manipulation. Det kræver meget nøjagtige instruktioner og standardiserede stimuli. For at undgå, at du kommer til at farve resultaterne i retning af dine egne hypoteser, er det optimalt, hvis selve eksperimentet udføres af forskningsassistenter, som ikke kender til eksperimentets hypotese (double-blind).
Etik: Før eksperimentet udføres skal deltagerne informeres om forsøgets overordnede formål. Du behøver ikke at afsløre den konkrete hypotese, men deltagerne skal have information nok til at vurdere, om han eller hun har lyst til at medvirke, fx hvis der indgår personlige spørgsmål eller hvis deltagerne udsættes for udfordrende manipulationer så som smerte eller pinlige situationer. Forsøgsdeltagerne skal altid have mulighed for at trække sig fra eksperimentet uden konsekvenser (fx stadig få deltagerkompensation, hvis det er blevet dem lovet). Efter eksperimentet skal deltagerne debriefes om eksperimentets konkrete hypoteser og sande formål (særligt hvis eksperimentet bruger misinformation eller bedrag). Endelig skal deltagerne anonymiseres hurtigst muligt, således at deres identitet ikke kan kædes sammen med deltagelse i og adfærd under eksperimentet.
Når dataindsamlingen er afsluttet, skal du undersøge om din hypotese kan understøttes eller om den må afvises. Eksperimentelle observationer bliver oftest behandlet ved hjælp af software til statistiske analyser, fx open source platformen ’R’ (https://www.r-project.org/). Selve hypotesen undersøges ved hjælp at statistiske tests, som giver en vurdering af sandsynligheden for, at de målte effekter skyldes den eksperimentelle manipulation eller tilfældig støj. Statistiske tests fortæller ofte om den eksperimentelle manipulation skaber en større ændring i deltagernes adfærd end den naturlige variation, der altid findes, fordi forsøgsdeltagere reagerer forskelligt på et eksperiment.
Hvis eksperimentet måler på to forskellige grupper (between-subjects), vil man ofte foretage en analyse, der undersøger om målingerne i den ene gruppe adskiller sig fra den anden. Lidt forsimplet undersøger man om forskellen mellem de to grupper er større end den forskel, som findes inden for de enkelte gruppers deltagere. Hvis eksperimentet måler på forskellige tilstande inden for samme individ (within subjects) vil man undersøge om eksperimentets forskellige tilstande påvirker individets adfærd markant forskelligt. Her kan man se, om den eksperimentelle manipulation skaber større variation end forsøgsdeltagerens naturlige variation, uafhængigt af hvilken tilstand de udsættes for.
Eksperimentelle rapporter er ofte meget korte, og de er meget ens på tværs af discipliner. Der gives en kort introduktion til problemstilling og hypoteser. Derefter en gennemgang af metode og procedurer, herunder manipulation og rekruttering af forsøgsdeltagere. Derefter et afsnit om dataanalyse, som beskriver hvordan observationerne behandles statistisk, fx hvilke analyser der benyttes til at undersøge eksperimentets hypoteser. Herefter rapporteres selve resultaterne, hvor de målte effekter formidles, fx via grafer og tabeller. Endelig en diskussion, hvor resultaterne diskuteres i lyset af andre studier samt en konklusion. Denne struktur kaldes nogle gang for IMRAD (Introduction, Methods, Results, and Discussion). Sproget er generelt kortfattet og nøjagtigt, fx uden brug af synonymer. Idealet er, at andre laboratorier skal kunne replicere eksperimentet ud fra metodeafsnittet.
Desværre har det vist sig, at mange eksperimenter ikke kan repliceres på trods af standardiserede eksperimentelle procedurer og transparente rapporter. Man taler i dag om en replikationskrise i videnskaberne, som delvist skyldes at eksperimenter ofte kun bliver publiceret, hvis de viser en effekt af eksperimentets manipulation. Der ligger sandsynligvis tusindvis af rapporter rundt omkring i laboratorier, som aldrig bliver publiceret, fordi de ingen væsentlige effekter fandt. Dette kaldes også ’the file drawer problem’. I dag er det heldigvis nemt at publicere sine egne resultater, selv hvis man ingenting finder (Open Science).
Coolican, H. (2017). Research methods and statistics in psychology. Hodder Education.
