Før du vælger surveyen til at undersøge et emne, bør du gøre dig en række overvejelser. Spørgeskemaundersøgelser kan gennemføres hurtigt, men de kan give meget begrænsede indsigter. Hvis du gerne vil opnå en grundig beskrivelse af en sammenhæng, fx sammenhængen mellem bøn og livskvalitet i en snæver gruppe af troende, vil du med fordel kunne vælge interview, hvor du kan spørge ind til mange flere detaljer. Hvis du gerne vil undersøge om to variabler, fx bøn og livskvalitet, er kausalt forbundne, vil et almindelig spørgeskema heller ikke kunne hjælpe dig. En sikker kausalitetsbestemmelse kan principielt kun lade sig gøre via eksperimenter.  Med spørgeskemaet kan du til gengæld påvise sammenhænge (korrelationer) i mellem variabler, dvs. undersøge om variationen på én variabel (fx køn) er associeret med variationen på anden variabel (fx indkomst), og du kan undersøge om sammenhængen mellem to variabler er under indflydelse af andre bagvedliggende faktorer (fx antal måneder på barselsorlov).     

For at kunne drage konklusioner på baggrund af et spørgeskema, er det afgørende, at du dels sikrer dig, at spørgsmålene formuleres på en måde, så alle respondenter forstår dem ens og efter din hensigt (intern validitet), og dels sørger for at respondenterne (sample) repræsenterer den befolkningsgruppe (population), som din undersøgelse forsøger at sige noget om (ekstern validitet). Der findes mange almindelige fejlkilder i spørgeskemaundersøgelser.

Typiske fejlkilder

Tilfældige sammenhænge: Et spørgeskema med mange spørgsmål vil næsten altid vise sammenhænge i mellem nogen af spørgsmålene. Nogle gange skyldes disse sammenhænge tilfældigheder. Der findes for eksempel en sammenhæng i USA mellem produktionen af mozzarellaost og antallet af doktorgrader i ingernørvidenskab. Disse er næppe forbundet på nogen meningsfuld måde, men korrelationen illustrerer det faktum, at hvis man laver nok sammenligninger, vil man uundgåeligt finde tilfældige sammenhænge. En almindelig løsning på denne problematik er at øge kravet til sammenhængens styrke i en statistisk test (effektstørrelse), før de rapporteres og diskuteres i en artikel eller opgave.

Skjulte variabler: Sammenhængen mellem variabler kan også skyldes bagvedliggende faktorer. Hvis et spørgeskema viser, at ældre mennesker, der går i kirke, er gladere end andre, betyder det ikke nødvendigvis, at der er nogen meningsfuld sammenhæng mellem kirkegang og glæde. Sammenhængen kan skyldes en bagvedliggende variabel, fx helbred, således at helbred både forudsiger, om man kan gå i kirke, og om man er glad. En løsning er at inkludere detaljerede baggrundsdata (hvis de er tilgængelige), så de kan indgå i dine analyser.

Sampling bias: Det kan være fristende at benytte sine facebookkontakter, hvis der hurtigt skal indhentes mange besvarelser, men det er som regel en dårlig idé. Typisk bruges spørgeskemaer til at sige noget om en bestemt befolkningsgruppe, som kun sjældent matcher dine facebookkontakter. Det er afgørende, at det sample, du undersøger, repræsenterer den befolkningsgruppe, du er interesseret i. En løsning er at trække et tilfældigt sample  fra en liste over denne befolkningsgruppe, som du gerne vil undersøge (se sampling).

Social desirability: En af de mest problematiske fejlkilder i spørgeskemaer er den stærke tilbøjelighed i mennesker til at ville fremstå som attraktive personer. Det kaldes social desirability-effekten. I spørgsmål om intime forhold, fx gode og dårlige vaner, seksuel orientering, politisk ståsted, religiøsitet, vil respondenten ofte fremstille sig selv på en socialt attraktiv måde, fx som en der ryger mindre og dyrker mere fitness end i virkeligheden. Det betyder, at besvarelserne ikke reflekterer det faktiske forhold, men snarere et ønske fra respondentens side. Der findes spørgsmål, der forsøger at afsløre individets tilbøjelighed til at sætte sig selv i et positivt lys, som kan bruges til at kontrollere for social desirability-effekten.

Dårlige formuleringer og svarmuligheder: Tvetydige og uforståelige spørgsmål, fx spørgsmål, der spørger om mere end en ting, og spørgsmål, der bruger fagsprog som respondenterne ikke forstår, forringer spørgeskemaundersøgelsens validitet. Det er en god ide at afprøve sine spørgsmål på en mindre gruppe, som du kan interviewe om forståelsen, så du kan vurdere om spørgsmålene forstås efter hensigten. Det er ligeledes et problem, hvis svarmulighederne i et spørgeskema ikke dækker alle mulige svar fra respondenten, fx i spørgsmål om køn, hvor nogle mennesker føler sig utilpasse ved en simpel opdeling af mand og kvinde. En løsning kan være at inkludere svarmuligheder for dem, som ikke passer i de øvrige kategorier, fx ’andet’, ’ved ikke’, ’hverken eller’.

Tværsnitstudier: Det mest udbredte surveydesign undersøger dets hypoteser på tværs af en befolkningsgruppe ved at give et spørgeskema til et repræsentativt udsnit af gruppen (sample). Dette kaldes et tværsnitsstudie. Her er målet at analysere forskelle og ligheder i mellem forskellige respondenter, fx hvilke holdninger har fattige over for rige, mænd over for kvinder, højt uddannede over for ufaglærte osv.

Longitudinelle studier: Nogle studier er interesserede i en befolkningsgruppes udvikling over tid og måler derfor på den samme gruppe på forskellige tidspunkter. Dette kaldes et longitudinelt studie. Målet kan her være at måle forandringer i befolkningens holdninger og præferencer over tid, fx holdningen til homoseksuelle. World Value Survey, European Values Study eller Den Danske Værdiundersøgelse er eksempler på befolkningsundersøgelser, som indhenter longitudinelle data. Et longitudinelt studie kan enten benytte sig af forskellige samples, som hører til den samme befolkningsgruppe (kohorte-studie), eller det samme panel af deltagere, som undersøges over tid (panel-studie).

Dagbogsstudier: Det er også muligt at følge et individs adfærd og holdninger over tid ved at stille den samme respondent de samme spørgsmål med jævne mellemrum. Denne metode kaldes nogle gange for dagbogstudier. I praksis vil dagbogsstudier ofte være baseret på onlineteknologier, hvor respondenten modtager det samme sæt spørgsmål dagligt, månedligt, eller årligt. Denne tilgang giver en bedre mulighed for at bestemme det kausale forhold mellem to variabler lige som et eksperiment, fordi forskeren kan undersøge om ændringer på ét spørgsmål forudsiger efterfølgende ændringer på et andet spørgsmål. Dog mangler denne type undersøgelser eksperimentel kontrol over andre variabler, hvilket udelukker en sikker kausalitetsbestemmelse.

Skalastudier: Endelig kan spørgeskemaer bruges til at give en personlig score baseret på mængden af en bestemt holdning eller egenskab i et individ (både i tværsnits- og longitudinelle studier). Målet er her at kvantificere en teoretisk konstruktion, fx personlighedstræk. Sådanne spørgeskemaer kaldes for skalaer. En skala er bygget op af spørgsmål, der rammer forskellige aspekter eller dimensioner, som tilsammen fortæller noget om en bestemt teoretisk konstruktion, fx 'religiøsitet'. En skala giver den enkelte respondent en bestemt score, som kan bruges til at vurdere respondentens placering i forhold til et befolkningsgennemsnit. Nogle surveys består af en serie af skalaer, som korreleres med hinanden (korrelation). Man kan også opbygge nye skalaer på baggrund af spørgsmål, der i udgangspunktet ikke har været tænkt som skalaer.

I almindelige tværsnitsstudier er det afgørende, at det udsnit af befolkningen, som bruges som stikprøve (sample), repræsenterer befolkningsgruppen (populationen). Ofte anvendes tilfældig udvælgelse af respondenter (sampling) for at sikre repræsentativiteten. Dette kan gøres ved, at forskeren tilfældigt udtrækker et antal respondenter fra en liste (sampling frame) med hele befolkningsgruppen .

Der findes mange udfordringer, som kan forhindre et repræsentativt sample. En lav svarprocent kan eksempelvis være problematisk, hvis der er en systematik i de manglende besvarelser. Hvis en forsker ønsker at undersøge stress-niveauet i en population og tilfældigt udtrækker et antal respondenter (sample) fra en sampling frame, vil der være risiko for, at de mest stressede individer ikke besvarer spørgeskemaet. Det kan forskeren imidlertid ikke se i de indsamlede data, fordi informationer om disse respondenter helt mangler.

Der findes forskellige indsamlingsstrategier, som kan påvirke undersøgelsens kvalitet på forskellige måder, fx besøgsinterview, telefoninterview, selvadministrerede spørgeskemaer, gruppeenquete, og  online spørgeskemaer (indsamlingsstrategier). Besøgsinterview giver typisk en højere intern validitet, fordi intervieweren kan forklare misforståelser og sikre respondentens engagement, men det øger også risikoen for at folk fremstiller sig selv i et mere attraktivt lys (social desirability). Ved online spørgeskemaer er følelsen af anonymitet større og respondenterne kan derfor svare mere ærligt. Til gengæld kan det være svært at sikre respondenternes engagement.

Når spørgeskemabesvarelserne er indsamlede, skal de analyseres. Generelt er analysen nem at gå til ved hjælp af statistiske software programmer (fx  open source-platformen 'R', https://www.r-project.org/), som hurtigt kan give overblik over respondenternes besvarelser og vise sammenhænge i mellem forskellige besvarelser. Her er der flere forskellige tilgange, som afhænger af den type spørgsmål, som indgår i spørgeskemaet (datasættet).

Hvis spørgeskemaet indeholder talværdier, fx alder, antal årlige besøg i folkekirken, eller graden af enighed i politiske holdninger fra Dansk Folkeparti (på en skala fra 0-5) (Likert skala), kan man undersøge respondenternes gennemsnitlige besvarelser for at se, om niveauer på et tal forudsiger andre variabler i spørgeskemaet, fx køn, alder, indkomst osv.

Hvis spørgeskemaet indeholder spørgsmål, som kategoriserer respondenterne i forskellige kategorier, fx nationalitet, geografi, køn, politisk identitet, tro, kan man tælle, hvordan respondenterne i forskellige kategorier fordeler sig i forhold til andre kategorier, fx om mænd og kvinder stemmer mere eller mindre på forskellige politiske partier.

Hvis spørgeskemaet indeholder spørgsmål med åbne svarmuligheder, hvor respondenten frit kan skrive sit svar som tekst, kræver det en indholdsanalyse, hvor du må læse besvarelserne og kode de informationer, som fortæller noget om det spørgsmål, du er interesseret i.  En indholdsanalyse af spørgeskema besvarelser minder om indholdsanalysen af interviews, og tager lang tid at behandle. Derfor er det ikke normalt en god ide at bruge denne type spørgsmål i undersøgelser med mange respondenter.

Surveyrapporter er ofte korte, men indeholder mange tabeller. Der gives en kort introduktion til problemstilling og hypoteser. Derefter en gennemgang af metode og procedurer, herunder sampling strategi og spørgeskemaindhold. Derefter et afsnit om dataanalyse, som beskriver hvordan observationerne behandles statistisk, fx hvilke analyser der benyttes til at undersøge undersøgelsens hypoteser. Herefter rapporteres selve resultaterne, hvor de målte effekter formidles, fx via grafer og tabeller. Endelig en diskussion, hvor resultaterne diskuteres i lyset af andre studier, samt en konklusion. Denne struktur kaldes nogle gang for IMRAD (Introduction, Methods, Results, and Discussion).

Generelt er fokus i surveyrapporter på beskrivelses af en befolkningsgruppes forestillinger, præferencer, holdninger osv. Snarere end kausale forklaringer. Dette hænger sammen med det faktum, at surveys oftest beskæftiger sig med korrelationer snarere en eksperimentelle manipulationer.

Andersen, L. B., Hansen, K. M., & Klemmensen, R. (Eds.). (2010). Metoder i statskundskab. Rosinante & Co.

Bryman, A. (2016). Social research methods. Oxford university press.