Evaluating multilateral price indices in a dynamic item universe

Abstract

Statistics Norway has a long history of using scanner data in the Consumer Price Index (CPI). The early research – in Norway as well as internationally – was focused on supermarket data which consists largely of stable items. The attention has since gradually shifted towards the parts of consumption market that are characterized by high item churn, where the methodology initially introduced for supermarket data is no longer adequate. Several National Statistical Institutes (NSIs) including Statistics Norway have been researching on a more generic scanner data methodology. The overall goal is to implement an approach that incorporates expenditure shares at the most detailed level without suffering from chain drift, and that works well across different commodity groups including those with high item churn. A variety of methods and index formulas are currently being tested and implemented for CPIs in different parts of the world. We propose a systematic approach to the investigation process, which has recently been developed at Statistics Norway. This consists mainly of two parts: a Total Effect Framework (TEF), and a set of generic diagnostics. The TEF is defined by the necessary choices required and the elements that affect these choices and we review, synthesize and develop a set of generic diagnostics. Most indices employed in such diagnostics are not genuine candidates for real production, but they are designed and introduced to generate useful empirical evidences, on which a plausible final choice of index method can be based. We shall illustrate the generic diagnostics using scanner datasets mainly from the markets of sport equipment which have high item churn. To this end we summarize our own experiences and put forward some preliminary conclusions of a generic scanner data price index methodology.

Statistisk sentralbyrå (SSB) har lang historie med å bruke strekkodedata i konsumprisindeksen (KPI). Fram til i dag har beregningsmetoder som har vært i bruk i offisiell statistikk hovedsakelig fokusert på varer med lang levetid slik som de fleste varer i dagligvarebransjen. SSB har en klar strategi om å øke bruken av transaksjonsdata i KPI, og det er dermed viktig å kunne bruke strekkodedata også for andre varegrupper av mer dynamisk art der utskiftningshastigheten er mye høyere og der dagens beregningsmetoder ikke nødvendigvis er egnet. Internasjonalt har det i løpet av de senere årene vært presentert flere metoder som kan brukes i et dynamisk vareunivers. Mange statistikkbyråer inkludert SSB har derfor testet ut bruk av multilaterale metoder basert på strekkodedata. Multilaterale metoder bryter med mer tradisjonell KPI metodikk ved at man ikke kun sammenligner to tidsperioder, men legger mer enn to perioder til grunn for prisindeksberegningene. Hovedmålet er å implementere beregningsmetoder som fungerer på tvers av ulike varegrupper, inkluderer vektinformasjon på detaljert nivå samt fanger opp nye varer så tidlig som mulig.

For å komme fram til den mest egnede metoden for en norsk KPI er det etablerert et rammeverk som systematisk går i gjennom de valg som må tas ved hjelp av flere definerte generiske tester. Flere av disse testene er ikke nødvendigvis kandidater for faktisk indeksproduksjon, men de kan likevel gi oss nyttige empiriske bevis hva gjelder følgende tre valg: 1) indeks base 2) referanseunivers – bilateral vs. multilateal indeks og 3) produktdefinering og etablering av homogene produkter.

Vi skiller mellom tre ulike typer dynamiske varer: a) nye sammenlignbare varer som det er naturlig å erstatte utgåtte varer med, b) helt nye varer som ikke kan sammenlignes med allerede eksisterende eller utgående varer, og c) sesongvarer som ikke er tilgjengelige i deler av året. Vi illustrerer dette arbeidet ved å blant annet bruke strekkodedata fra det norske sportsmarkedet som karakteriseres av varer med høy utskiftningshastighet.

Dette arbeidet konkluderer ikke endelig på beregningsmetode, men bidrar med empiriske funn som er viktige i videre arbeid for å kunne konkludere når det gjelder den mest egnede beregningsmetoden.