For at undgå subjektive bias i analysen af kvalitative data, kan man benytte mere end en person til at kode det indsamlede datamateriale. Formålet er at undersøge, om der er en fælles forståelse af det samme materiale, fx transskriberede interviews eller videooptagelser. Inter-rater reliabiliteten viser således graden af enighed blandt to eller flere ”ratere”(observatører eller kodere). Man kan skelne mellem hhv. intercoder reliabilitet og interobserver reliabilitet.

Intercoder reliabilitet: Her lader man flere personer kode det samme data for at sikre en ensartet kodning. Dette er særligt vigtigt ved kodningen af åbne spørgsmål, hvor forståelsen kan være meget forskellig.

Interobserver reliabilitet: Er gældende ved observationsstudier, hvor fortolkningen af data er meget afhængige af det enkelte subjekt. Man skal her overveje, i hvor høj grad en eller flere observatører er enige om kategoriseringen af den observerede adfærd.