Brukertesting av ny tidsbruksundersøkelse: Dokumentasjonsrapport 2023

Abstract

Statistisk sentralbyrå (SSB) har kartlagt nordmenns tidsbruk siden 1971. Tidsbruksundersøkelsen er en av SSBs mest komplekse personundersøkelser, og har tradisjonelt blitt samlet inn ved hjelp av papirdagbøker og besøksintervju. For Tidsbruksundersøkelsen 2022 ble det besluttet å legge undersøkelsen om til en selvadministrert elektronisk datainnsamlingsløsning tilpasset mobil (app). Både for å redusere oppgavebyrde og motvirke synkende svarprosenter. Dessuten for å møte forventinger om en digital løsning og for å redusere kostnader. For å ivareta hensynet til de som skal svare på undersøkelsen, planla SSB en omfattende testserie i flere runder med iterativ testing og evaluering, som denne rapporten beskriver. Ved oppstart av arbeidet med utvikling av nytt datainnsamlingsinstrument, var vi opptatt av mulighetene og begrensningene det elektroniske formatet en webapplikasjon (webapp) gir. Våre observasjoner tyder på at det kan fungere godt, og at de fleste i yrkesaktiv alder i Norge både foretrekker og behersker formatet. Mange er erfarne brukere og forstår det digitale språket med touch screen, skrålling, sveiping ol, men ikke alle er komfortable med eller utnytter det. Vi ser at eldre respondenter vegrer seg for bruk og ser ut til å støte på tekniske problem oftere enn yngre. I hvilken grad en elektronisk datainnsamlingsløsning ekskluderer grupper, overvåkes under datainnsamlingen og vil rapporteres i etterkant av spørreundersøkelsen. Fra brukertestene har vi sett at svaroppgaven med å svare, mer enn det digitale formatet, er en utfordring å formidle både gjennom rekrutteringsintervjuet og i appen. I utviklingen av appen har vi spesielt slitt med utformingen av spørsmålene om tidsbruk i den elektroniske dagboken, og da først og fremst rekkefølge og sammenheng mellom delspørsmålene. Testpersonene vurderer krav til rapportering i hele 10 minutter som et tydelig signal på at kortere aktiviteter enn dette ikke skal tas med. Det gjør at de ikke tar med aktiviteter av kortere varighet og rapporterer mindre detaljert enn ønskelig. Vi har også sett at appen ikke kommuniserer godt nok at alle tidsintervall i referanseperioden skal fylles ut, ikke bare når man «gjør noe». Flertallet har med seg mobiltelefonen hele tiden. Til tross for dette, registrerer ikke respondentene sin tidsbruk så ofte som vi hadde håpet. At det går lang tid mellom tidsbruk og føring kan påvirke hukommelsen og gi mindre detaljert føring. Mindre hyppig føring sammen med rekkefølgen av tidsbruksspørsmålene og intervall lengde er avgjørende for hvor detaljert respondentene fører, og dermed datakvaliteten som er grunnlaget for SSBs tidsbruksstatistikk. Vår erfaring er at rekruttering ved hjelp av intervjuere har stor betydning. De har fått en mer sentral rolle i å veilede og støtte respondentene under gjennomføringen, enn hva som har vært vanlig ved telefon- og webundersøkelser. Intervjuerne forklarer respondentene hva oppgaven er, hvordan de skal logge seg på og motiverer deltakerne underveis til å fullføre undersøkelsen. De har også vært en viktig garantist for at det er trygt å åpne lenken med undersøkelsen fra SSB. I målgruppen for Tidsbruksundersøkelsen 2022 er også mindreårige fra 9-17 år. Å utvikle ett innsamlingsinstrument som også er egnet for de yngste har vært utfordrende. Det er flere av spørsmålene barna ikke kan svare på selv. Når det gjelder tidsbruk har vi erfart fra testene at barna vet best selv, men at foresatte ofte rapporterer for dem, og de gjør det mer sjablongmessig og påvirket av hva som er sosialt akseptert tidsbruk. Foreldrene fører for sine barn, ikke bare fordi instrumentet er krevende i seg selv, men også fordi barna rekrutteres gjennom foresatte, og lenken til undersøkelsen går til foresattes mobil. Ved bruk av kvalitative utviklingsmetoder har SSB fått verdifull innsikt og kritisk dybdekunnskap om hvordan den nye Tidsbruksundersøkelsen fungerer i møte med respondentene. Flere kilder og vinkler er aktivt trukket inn i arbeidet for å ha et bredest mulig grunnlag for analysene. Utfordringer som løses for en bestemt subgruppe, har også bidratt til å lette oppgavebyrden for andre i utvalget.