Definiera framgång på en webbplats och jobba med mätbara mål

Varför mäter vi?

Det här med mätbarhet och utvärdering av webbplatser är skitsvårt, åtminstone tycker jag det. Det enkla är alla fina verktyg och tjänster vi kan skaffa. Men frågan är vilken skillnad de verktygen gör, egentligen.

På min arbetsplats har vi verkligen utforskat möjligheterna kring diverse verktyg. Vi har nog en av landets största installationer av webbstatistikverktyget Matomo för kvantitativ utvärdering, runt 2004 började vi med detta fast med ett verktyg kallat AWstats. Vi har en omfattande sökanalysmöjlighet sedan många år för att inspektera de miljontals sökfrågorna som årligen görs mot vår sökmiljö. För cirka ett år sedan höjde vi ribban ett steg till med vår sökanalys och skaffade ett system kallat Kibana.

Bland kvalitativa metoder har vi ett enkätsystem sedan länge, men som inte tycks användas vid webbkommunikation av någon anledning. Istället gör vi och många med oss insatser med hjälp av Web Service Awards batteri av enkätfrågor.

Vi har Pingdom och New Relic för ITs chans att följa upp hur bra tekniken bakom webbplatserna fungerar. Jag själv brukar göra ganska omfattande undersökningar kring användbarhet och prestanda med Googles verktyg Pagespeed och mobilvänlighetstest.

Det jag frågar mig är vad det är vi tittar på i alla dessa fina verktyg, eller vad tusan vi letar efter.

Var uppstår värdet? Vem vet…

Ok, men vad är då problemet kan man undra? Jag skulle påstå att det är hyggligt grundläggande, nämligen att vi inte rakryggat kan peka på en användares session på en webbplats och säga att den var lyckosam. Att värde uppstod, eller ens påstå att vi hjälpte till med något.

Vissa kan nog resonera sig fram till något som liknar ett mål. Men bevisbördan ligger på oss att övertyga de som inte har samma insikt i detaljer som vi webbnördar.

Det är inte bara där jag jobbar, eller har jobbat, där man under lång tid lyckats ducka för frågan om vilket värde webbplatsen har. Inom offentlig sektor kan man säkert i många fall hänvisa till serviceskyldighet, en proaktiv syn på informationsplikt eller liknande. Men med det resonemanget finns egentligen ingen begränsning i vad som borde finnas på en extern webbplats. Så för att kunna prioritera, för att uppfylla de viktigaste plikterna först behöver man likt förbaskat rangordna några konkreta och mätbara mål. Så man vet att det viktigaste jobbet blir gjort, att det används, samt att det revideras löpande.

Ja, det är svårare för de som inte bedriver handel på sin webbplats att bevisa vilket värde som uppstår. Men med tanke på att många organisationer börjat ha haft sina webbplatser i 20 år kanske jag inte är orättvis när jag tycker att branschen behöver mogna och vi som jobbar aktivt i den behöver börja fokusera på vad som är viktigt - och kunna bevisa att vi gör bra saker.

Försöker vi bevisa att vi inte misslyckats?

Google Pagespeed - kan man nöja sig med att vara bättre än ett ganska eländigt genomsnitt?

Vad är tillräckligt bra inom användbarhet?

Apropå bevisbörda, ett sätt att förenkla sin vardag är att jämföra sig med alla andra. Kalla det för konkurrensanalys om du vill. Med tanke på alla varianter av mätmetoder, verktyg och liknande finns det alltid något just vår webbplats kan vara bland de bästa. Men då är det nog oss själva vi försöker övertyga om vår egen förträfflighet.

Prestanda = Marcus snuttefilt inom webbanalys

Jag gör gärna kvalitetstest för att utvärdera vilken potential en webbplats har till att vara hjälpsam. Det finns nämligen enligt all forskning jag läst en märklig samstämmighet kring två aspekter kring digital kommunikation. Nämligen att om webbplatsen är för långsam spelar innehållet ytterst liten roll, samt att om det är för svårt att använda den eller navigera den så når man inte ens fram.

Detta har Google tagit fasta på i det test de kallar Pagespeed. Jag har kollat nästan 600 webbplatser inom offentlig sektor och trots att svensk offentlig sektor är duktigare än stora svenska eller amerikanska företag är resultatet ändå nedslående. Nog borde vi ha fullt betyg på användbarhet? Visst borde vi placera länkar med lagom avstånd att man inte råkar klicka på fel länk? För inte är väl estetik viktigare än att det, som skattebetalarna både finansierat och förväntas använda, går att använda utan bekymmer? Offentlig sektor har normalt sett inte ens konkurrens, så en medborgare erbjuds sällan alternativ att byta till.

Inte heller bör en användare tvingas vänta längre än nödvändigt. Forskning har sedan 1960-talet gång på gång kommit fram till att en människas möjlighet att behålla fokus på en uppgift är ganska begränsad. Exakt hur lätt man har är förstås individuellt, men i boken “Designing for the Mind in Mind” nämns att spannet är mellan 6 och som mest 30 sekunder för en normalfungerande person. Det handlar inte om tillgänglighet för någon liten eller marginaliserad grupp, 6-30 sekunder gäller majoriteten av de du känner.

Med andra ord börjar vi redan vid 6 sekunders laddningstid exkludera vad som anses vara normalfungerande individer. Tänk då på att de flesta så kallade responsiva webbplatser med en icke-optimal mobil uppkoppling ganska ofta tar minst 10-20 sekunder att ladda. Det rimmar illa med en digital serviceplikt, eller hur. Inte heller gynnar det dig som säljer grejer på din webbplats.

Är vår datakvalitet bra nog för att vi ska kunna vara en datadriven organisation?

Hur är kvaliteten på den data vi samlar in? Förhoppningsvis god, men duger det att anta att den är bra? Och vågar man ta beslut baserat på dessa data eller statistik innan man undersökt saken? Du har nog räknat ut att jag har en stor dos skepsis till all form av insamling och kanske är det nyttigt att vara pessimist i dessa sammanhang.

Jag kan medge att när jag utvärderar min egen arbetsgivares datainsamling är det alltid någon brist någonstans. Ibland är det bara misstag, ibland är det någon som avsiktligen saboterat för oss. Jag förstår att de flesta är trötta på det amerikanska presidentvalet och Donald Trump, men Trump-anhängare lyckades förpesta mångas statistik i Google Analytics. Har du kollat ifall din webbplats blev påverkad av detta eller alla annan form av spökstatistik? Det kanske man borde, i alla fall om man menar allvar med sin webbanalys.

Har även du spam från amerikanska presidentvalet i din webbplats "statistik"?

…och så har vi innehållsblockering

Ett annat utbrett problem är hur många som i sin webbläsare blockerar de skript vi använder för att samla in data om deras besök. Du som aldrig prövat en innehållsblockerare kan testa Ghostery på dator, eller Firefox Focus på en mobil pryl. Om inte annat för att märka vilka av dina knep som inte längre fungerar för alla när du loggar användare, skyfflar runt dem i din omvandlingskanal och i din optimeringsiver vill hålla koll på hur långt ner på sidor de skrollat. Alldeles för ofta blir det nämligen tvärstopp för såna som mig, vi som använder dessa verktyg för att försöka göra webben till en drägligare tillvaro. Om du inte utvärderat de största innehållsblockerarna kan du nog - hör och häpna - kanske optimera din webbplats ytterligare genom en mer följsam upplevelse för de som blockerar något men ändå vill ha med just dig att göra.

Börjar man syna sina välfungerande system i sömmarna är det allt för vanligt att man hittar brister i hur de samlar in sin data, även när det verkar fungera som det borde. Säkert en gång i kvartalet kommer jag själv på arbetsgivarens Matomo-plattform med att inte fungera på en eller flera av det hundratal webbplatser vi har. Då ska man komma ihåg att jag inte ens är en direkt flitig användare av våra egna webbplatser, så frågan är hur illa ställt det är. Innan vi drar långtgående beslut baserat på Matomo-data kanske vi måste skaffa ett verktyg för att övervaka webbplatsstatistikens funktion?

Så kanske är inte historisk data något att hänga i granen, eller ens värdiga att fatta några viktiga beslut kring. Åtminstone inte innan vi vet hur bra eller dåliga de är. På något sätt tappar vi jämförbarhet över tid när vi har en skiftande kvalitet på vår data.

Börja arbeta metodisk med webbanalys

Men om man nu ska börja reda i denna oreda, vad gör man då? Det är lite vad jag skrev om i boken om webbanalys, men en kortare version kommer även nedan.

Kanske måste vi bryta ihop och komma igen. Börja om på nytt. Om man gör det så handlar det om fyra ganska logiska delmoment, lite beroende på hur man vill dela upp arbetet.

Följande delmoment finns när man jobbar metodiskt med webbanalys.

Moment 1: Verksamhetsmål som klarar “än sen”-testet

Först behöver man ha glasklart för sig varför man har en webbplats, exakt med vad den ska vara hjälpsam, och för vem.

Vad är ett bra mål? Visst vore det enklare om vi alla kunde räkna pengar och hålla på med försäljning på webben. Men troligen finns det även bland de som bedriver handel på sin webbplats behov att jobba med andra typer av mål än de strikt ekonomiska. Jag tror att vi alla har anledning att börja formulera icke-ekonomiska mål och gärna samverka kring dem för att hjälpa andra som pysslar med webben - den kulturen är värd att behålla.

Hur sätter vi upp ett mätbart verksamhetsmål för att skriva nyheter till webbplatsen? Är många sidvisningar ett bra mått? Spelar det någon roll vem “läsaren” är? Hur ska en lyckosam e-tjänst se ut? Och när har den betalat sig?

Hur pitchar du webbplatsens värde för högsta chefen?

Det här är komplicerade saker att besvara. Inte minst om du får en ynka minut att pitcha det för direktören. Vi behöver helt enkelt göra en hemläxa för att inte ha en undfallande blick när vi väl får chansen, för att inte bara stå där, nervöst harkla oss, svamla och skrapa med foten i gruset!

Det finns några frågor vi måste kunna svara på för att bli tagna på allvar när vi börjar fokusera på ett mätbart mål. Bland annat:

1. Varför spelar det där mätvärdet roll för verksamheten vi bedriver? Du måste kunna besvara alla rimliga ifrågasättanden, “Än sen?!”-testet helt enkelt.
2. Hur vet du att att det där resultatet är sant/korrekt? Har du gjort hemläxan kring datakvalitet eller är du bekväm med att anta att den är god nog?

Här sållas många diffusa ting bort. Exempelvis blir det svårt att argumentera varför det är bra att ha många besökare, eller att det finns ett egenvärde i att många kommer tillbaka till webbplatsen, eller att nyheterna nog är värdefulla för de har många sidvisningar.

Vanity metrics - siffror vars främsta nytta är god magkänsla

Vill man försöka sätta punkt för den typen av diskussioner kan det vara värt att relatera till den högst naturliga önskan vi har om att hitta mening med det vi gör. Vi letar ofta bevis för att det vi (redan) gör är bra. Någon webbanalytiker valde att kalla dessa typer av mätvärden för “vanity metrics” då de ofta tilltalar vår fåfänga eller ger oss god magkänsla.

Jag bör nog poängtera att jag inte tycker man ska ignorera dessa mätvärden, den kan vara användbara för att förklara hur något används, men det är långsökt att se dem som mål värda att sträva mot. De är ett väldigt klent substitut för riktiga mål som kan bevisa någon form av värde.

Moment 2: Metoder, gräva runt, bygga rapporter och invänta sin datas insamling

Även i detta skede är det klokt att ställa sig några kritiska frågor, kanske följande:

1. Vad är det som kan orsaka en förändrad prestation för ett mål och hur får vi reda på det?
2. Skulle nyttan/skadan uppstått även om vi inte gjort något alls?

Det är säkert repetition för somliga och brutalt uppvaknande för andra, men vi behöver fråga oss om vi kan skapa eller ens påverka värdet av att ha en webbplats.

Varning för statistiksnack

De som jobbar med statistik och analys kallar detta för orsakssamband och korrelation. Korrelation kanske är ett nytt begrepp för dig. Det handlar om att det finns ett statistiskt samband mellan två saker, att två olika saker ser ut att ha en gemensam orsak eller att de tycks påverka varandra. Enkelt förklarat är att både orsak och korrelationen är extremt stark mellan en lysknapp och den lampa som ska tändas, åtminstone om allt fungerar.
Du som vill nörda ner dig i ämnet kan läsa boken “Why” av Samantha Kleinberg, samt komma ihåg att orsakssamband ofta också kallas för kausalitet i diverse mer nördiga sammanhang.

Ett exempel jag gillar för att illustrera att detta inte är så självklart är att det finns en mycket tydlig korrelation mellan skilsmässor i delstaten Maine och försäljningen av smör. Jag tror att de flesta inser att de två sakerna troligen inte har med varandra att göra. Ändå finns korrelationen där. Man kan med 95-procentig säkerhet förutspå smörförsäljningen om man har skilsmässostatistiken. Detta handlar om korrelation, men att lyckas bevisa ett orsakssamband kräver mer än bara en korrelation.

En god vän som jobbar med statistik och att beräkna sannolikhet poängterade under en somrig promenad för mig att om man har tillräckligt många datakällor kommer man hitta statistiska samband ganska ofta. Det går att hitta saker som ser ut att höra ihop bara man letar länge nog. Med andra ord behöver man vara vaksam.

"If you torture the data long enough, it will confess."
– Ronald Coase

Så ja, detta är inte helt skitenkelt. Det behöver tas på allvar. Det är ett sätt att utvärdera effekten om man kan utesluta att nyttan/värdet skulle ha uppstått även om man lät bli att göra något.

Jag tror att det är viktigt att börja med något som är enkelt, något där man har kontroll och insikt i hur allt hänger samman. Jag misstänker att det är enklare att utvärdera en webbshop, e-tjänster och liknande, jämfört med hur man bevisar värde i publicerade PDF-dokument, informationsgrafik eller nyheter.

Moment 3: Analysera insamlad data

Sen behöver man ju analysera den data man samlat in. I analys ingår fler arbetsuppgifter än att titta på ett sammanställt genomsnittsvärde och tro att man nått insikt.

Snarare behöver vi utforska den information vi samlat in, och återigen ställa oss ett gäng hygienfrågor:

1. Hur verkar kvaliteten vara?
2. Fick vi in tillräckligt mycket data för att kunna dra några slutsatser?
3. Måste vi köra samma test en gång till för att bli riktigt säkra?

Rapportering handlar inte om att kräkas en massa data på folk

Kommer man fram till att underlaget ser bra ut kan man gå vidare och putsa på hur man rapporterar eller presenterar fynden för intressenter inom verksamheten. Det är nu vi ska akta oss för “data puke” som Avinash kallar det, alltså att vräka ur oss en massa siffror. Det är oftast ganska intetsägande för de som inte tagit fram dem, inte heller är de kanske så självförklarande för de som inte jobbar med analys eller är experter på hur webben fungerar.

En ytterligare anledning till att siffror, åtminstone i form av specifika värden, är helt kass hänger ihop med att den du berättar det för nog inte har något att jämföra med. Istället för att konstatera att ni fått in 42 nya kunder per dag via webbplatsen är det nog mer meningsfullt att berätta om sådana värden i form av hur trenden ser ut. Ser trenden bra ut och med vad jämför du då?

Istället för att vräka ur dig en massa siffror är det bättre att hänga upp det hela på något du berättar, att du fokuserar på insikten. Tänk storytelling! Människor är extremt dåliga på att agera baserat på data eller siffror, istället är det klokt att fokusera på insikten och att berätta den som en historia. Människor har enklare att ta in och förmedla en historia vidare till andra.

Det här momentet handlar mycket om hur man lyckas bli en datadriven verksamhet! Det är väl det webbanalys går ut på. Att använda insikterna vi samlat in för att göra något bättre!

Moment 4: Förbättra det som är värd ansträngningen och börja om

Sista momentet handlar om att utföra förbättringar baserat på de fynd som gjorts. Saker du tänker på nu är bland annat:

1. Vad ska åtgärdas och hur verifierar vi att åtgärden bar frukt?
2. Vilka iakttagelser hamnar på önskelistan?

Förutom att man ska förbättra det som man tror är försvarbart är det i detta skede man skriver dagbok om hur man skulle vilja förbättra sina metoder och rutiner om man kör motsvarande test igen.

Utöver kortvariga tester, likt kampanjer och andra punktinsatser, finns förstås mål man har under en längre tid. Då detta inte är ett projekt eller något man någonsin blir klar med är det bara att börja om på nytt. Nu får du chansen att utvärdera verksamhetsmålens mätbarhet, hur de mäts, rapporteras och följer upp om förbättringarna faktiskt gjorde något till det bättre.

Ännu mer om webbanalys och mätbarhet på webben

Om du inte fått nog av webbanalys ännu kanske jag kan få dig intresserad av en bok. 266 sidor om webbanalys, verktyg, drivkrafter, metoder, exempel på mål och mycket mer finns i Webbanalys - förstå och förbättra användarens upplevelse