Data i överflöd är ingen bra ingång till webbanalys

De flesta av oss har ett statistikverktyg, serverloggar, formulärsvar och exporter ur system som vi knappt minns varför vi började med. Antagandet att det någonstans i dessa data finns insikter håller inte. Mängden data säger ingenting om huruvida vi kan besvara de frågor vår verksamhet behöver få svar på eller skulle ha nytta av.

Den data vi råkar ha är till stor del ett resultat av standardinställningar i verktyg och av vad någon leverantör tyckte var lämpligt att slå på vid installationen. Mer sällan har någon prövat om den svarar mot något vi behöver veta. Sätter vi oss ner för att analysera det vi har blir resultatet en beskrivning av trafiken. Vi ser vilka sidor som besökts mest och vilka som har hög avvisningsfrekvens, vi kan följa hur besöken varierar över veckan och bryta ner det på utrustning eller geografi. Vad det betyder för verksamheten är något oklart.

Frågan bestämmer vilken data vi behöver samla på oss

Arbetet börjar i verksamheten. Vad försöker vi uppnå, och hur skulle vi märka om det gick åt rätt håll? Det kräver kunskap om verksamheten snarare än om webbanalys, vilket gör att det inte går att lägga ut på en konsult eller ett verktyg. Den som arbetar med en tjänst varje dag bär på kunskap som behöver komma fram innan vi bestämmer vad som ska mätas.

När vi har en fråga blir behovet av data konkret. Gäller frågan hur många som avbryter en ansökan halvvägs vet vi att vi behöver mäta stegen i formuläret och kunna följa en påbörjad ansökan över flera sidvisningar. Gäller frågan varför de avbryter behöver vi något helt annat, eftersom det svaret inte finns i besöksstatistiken. Frågan pekar ut vilken data vi behöver och vilka datakällor vi kan lämna därhän, vilket i sin tur gör det enklare att prioritera arbetet med mätningen.

Det finns några kännetecken på en verksamhetsfråga:

• Någon namngiven person i verksamheten väntar på svaret.
• Svaret påverkar hur vi prioriterar vårt arbete.
• En tydlig förändring i mätvärdet skulle leda till ett beslut.
• Frågan hänger ihop med den nytta verksamheten ska skapa.

En användbar kontroll är att fråga sig vad vi skulle göra annorlunda beroende på svaret. Kan ingen redogöra för det är frågan inte färdigformulerad, och då finns det ingen anledning att börja leta i datan.

Saknas det sista kännetecknet hamnar vi i mätvärden som ser bra ut i en presentation utan att betyda något. Antalet sidvisningar stiger, någon nickar, och ingen kan förklara vad det innebär för dem vi finns till för. Mål behöver vara definierade i förväg och gå att uttrycka som den nytta verksamheten ska skapa. Utan den kopplingen blir uppföljningen en tävling i siffror som ingen bär ansvar för, samtidigt som de frågor verksamheten har, eller borde ställa, står obesvarade.

När den data vi har inte räcker

Ibland visar det sig att en högst rimlig fråga inte går att besvara med det vi samlar in idag. Det är ett bra läge, även om det inte känns så, eftersom vi nu vet var mätningen har ett hål.

Då står vi inför ett vägval. Antingen ordnar vi fram den data som krävs, eller så konstaterar vi att en eventuell insikt inte är värd besväret. Det senare är ett fullt rimligt beslut. Att komplettera mätningen kostar tid i utveckling, ställer krav på dokumentation och ökar mängden uppgifter vi ansvarar för. Skulle svaret bara bekräfta något vi ändå tänkt göra kan vi avstå. Skulle svaret däremot påverka hur en tjänst utformas för tusentals användare ser kalkylen annorlunda ut, och då är arbetet med att utöka mätningen väl använd tid.

Väljer vi att gå vidare handlar det om att utveckla mätningen så att den passar den verksamhet vi har. Det kan betyda att vi registrerar händelser för de steg där användarna fastnar, eller att vi ser till att felsidor loggas i stället för att användarna försvinner ut ur statistiken. Det kan lika gärna betyda att vi lämnar de kvantitativa metoderna och frågar användarna direkt. Enkäter och användningstester besvarar frågor om varför som ingen mängd beteendedata kommer i närheten av, och i de flesta fall behöver vi båda sortens metoder för att förstå vad som händer.

För den som arbetat en tid med analys är det här självklarheter. Analysen är något vi underhåller, prövar mot nya frågor och anpassar efter hur verksamheten förändras. Ändå är det steget som oftast uteblir, kanske för att det kräver att någon i verksamheten tar ansvar för mätningen, snarare än att den hanteras som en teknisk detalj i publiceringssystemet.

Utforskande analys har fortfarande en plats

Den data vi redan har saknar inte värde. De vanliga besöksuppgifterna i ett verktyg som Matomo, alltså sidvisningar, hänvisande sidor, teknisk utrustning och grova geografiska uppgifter, fyller en funktion i den utforskande delen av arbetet. Vi tittar på hur användningen ser ut, upptäcker ett mönster vi inte väntade oss och formulerar en hypotes utifrån det. Ett segment som växer snabbt kan vara början på en bra fråga.

Skillnaden ligger i vad vi använder uppgifterna till. Utforskande analys får väcka frågor. Beslut behöver underlag som samlats in för ändamålet, med en metod vi kan redogöra för och en kvalitet vi vet något om.

Hamstra inte data!

Det finns också en gräns att dra mot att samla in data för att den kanske kommer till användning längre fram. Sådan hamstring har ett pris. Data ska lagras, skyddas, gallras och redovisas, och uppgifter om användare som vi aldrig kommer att analysera ger oss kostnader och risker i dataskyddsarbetet utan att bidra med något i gengäld. Dataminimering brukar framställas som en begränsning från lagstiftaren. Den fungerar också som arbetsmetod, för när insamlingen utgår från en fråga blir det tydligt vad vi behöver och vad vi kan låta bli.

Detsamma gäller när vi låter ett verktyg med språkmodell tolka våra data åt oss. Det kommer inte att förstå vår verksamhet bättre än vi själva gör, eller kunna servera oss insikter, bara för att det får tillgång till fler tabeller med data.

Vad vi gör när verktyget redan är igång

Har vi ett analysverktyg som rullat i några år och en samling data som ingen beställt behöver ingenting rivas upp. Ett rimligt första steg är att lägga rapporterna åt sidan och i stället skriva ner de frågor verksamheten har. Fem eller sex frågor räcker gott till att börja med, och de behöver komma från dem som ansvarar för tjänsten snarare än från oss som arbetar med mätningen. Det är också där arbetet tar tid, eftersom frågorna sällan finns nedskrivna någonstans utan behöver formuleras i samtal med människor som har annat för sig. Kanske finns en effektkartläggning dessa personer varit delaktiga i som kan friska upp minnet?

Sedan går vi igenom frågorna en i taget och prövar om dagens insamling kan besvara dem på ett meningsfullt sätt. Några går att besvara direkt, ibland med uppgifter vi haft liggande utan att veta om det. Resten hamnar i högen där mätningen behöver utvecklas, och den högen är vår arbetsplan för det kommande året.

Kvar blir en mängd data som ingen fråga efterfrågar. Standardmätningen i verktyget kan vi låta stå, eftersom den är billig att underhålla och användbar när vi utforskar. Insamling som kostar pengar, kräver särskilda avtal eller innebär att vi lagrar uppgifter om enskilda personer får däremot motivera sin plats. Kan ingen förklara vilken fråga den besvarar är det ett bra tillfälle att stänga av den.

När prioriteringen väl är gjord finns det mer att ta itu med. Närmast till hands ligger att bli trygg i kvaliteten på den data vi tänkt använda framöver. Den basmätning vi ska kunna förlita oss på! Vi behöver veta vad som räknas som ett besök hos oss, hur mycket av trafiken som kommer från människor kontra maskiner, och om våra adresser går att läsa i en rapport. Den dagen någon ifrågasätter en slutsats vill vi kunna redogöra för hur uppgifterna samlades in.

Därefter blir det ett arbete som pågår över tid. Mätbarheten utvecklas ett flöde i taget, och det görs med fördel när flödet ändå står i teamets fokus av andra skäl, som när en tjänst ska göras om eller när innehållet ses över. Då är kunskapen om syftet färsk hos dem som deltar, och kostnaden för att lägga till mätning blir låg jämfört med att komma tillbaka ett halvår senare och försöka minnas vad tanken var.

Ordningen mellan fråga och data

Den vanliga ordningen är att vi skaffar ett verktyg, samlar in data och sedan undrar vad vi ska ha den till. Den omvända ordningen ger mindre data och mer nytta. Vi börjar med vad verksamheten behöver veta och tar därefter ställning till vilken data som krävs för att besvara det, vilket också gör det möjligt att motivera insamlingen för dem som berörs av den.

Att det inte sker oftare beror sällan på ointresse. Att formulera vad verksamheten ska uppnå är en svårare diskussion än att välja verktyg, den kräver att flera personer är överens, och den har inget givet datum då den är klar.