Det finns lite förenklat två huvudsakliga typer av metoder för tester på webben. Syntetiska tester och Real User Monitoring, förkortat RUM. Vi behöver båda!
Avsnitt:
- Syntetiskt och RUM, kvalitativt och kvantitativt? Hjälp!
- Vad är egentligen skillnaden mellan syntetiska tester och RUM
- När syntetiska tester är den rätta vägen
- Real User Monitoring och dess roll i din kvalitetssäkring
- Matomo och praktisk implementation av RUM för hastighet
- Alla metoderna har sin plats i kvalitetsarbetet
- Verktyg och tjänster för olika typer av prestandamätning
På senare år har syntetiska mätetal placerats lite i skamvrån, samtidigt som RUM-tester lyfts fram som den rätta vägen framåt. Verkligheten är dock aldrig fullt så enkel som man kan önska, och inte heller här.
Syntetiskt och RUM, kvalitativt och kvantitativt? Hjälp!
Ett syntetiskt test är som namnet anger just syntetiskt. Det är konstgjort, artificiellt och onaturligt. Förkortningen RUM är också tydligt i sitt namn. Det handlar om monitorering av verkliga användare. Inget artificiellt eller onaturligt där inte.
En annan populär uppdelning inom webbanalysen är om metoden är kvantitativ eller kvalitativ. Det finns vissa likheter och släktskap. Kvantitativ metod är att utvärdera siffror, deras storheter, jämföra med något, avvikelser mot något annat eller se förändring i en trend. En kvalitativ metod är mer som RUM, den är nära människan det handlar om. En kvalitativ metod innebär att du samlar in och analyserar icke-numerisk data för att förstå varför användare beter sig som de gör. Grovt förenklat är det så här: Kvantitativ = statistik, kvalitativ = anekdot.
Blanda alltid metoder!
Jag har i viss utsträckning varit en praktiserande webbanalytiker i över 20 år vid det här laget. Det jag hunnit lära mig är att alltid blanda metoder för att vrida och vända på det här jag ska analysera. Det är en extremt bra tumregel att tillämpa i vardagen och bara den senaste veckan har det synsättet spetsat till analysen mer än en gång.
När du kommer på ett mätvärde eller metod är det nyttigt att försöka klassificera var den landar bland extremerna i syntetiskt/RUM-skalan eller kvantitativt/kvalitativt-skalan.
Ibland är det skitenkelt! Före något lanserats har du inte RUM-data, men du borde ha agerat efter bästa förmåga på dina syntetiska data eftersom du proaktivt borde vilja förstå vad som är på väg att ”drabba” de användare som RUM-tester kommer att utvärdera.
Att enbart testa syntetiskt kommer missa nyanserna av hur upplevelsen är hos den verkliga målgruppen när det gäller. Att enbart köra RUM-tester innebär att dina verkliga användare blir dina krockdockor. I bästa fall överlever alla dina krockdockor den upplevelsen!
Som nästan alltid har inte heller syntetiska och RUM-tester en klockren gräns mellan sig. Det är snarare en skala där olika testmetoder placerar sig någonstans mellan de två extremerna. Ifall vi avgränsar det till webbprestanda handlar det om att utvärdera kvaliteten på hur webbplatser är byggda. Det är viktigt att förstå när och hur vi ska använda respektive metod på ett ansvarsfullt sätt.
Vad är egentligen skillnaden mellan syntetiska tester och RUM
Real User Monitoring är en passiv övervakningsteknik som registrerar användarinteraktion på en webbplats eller applikation. Att övervaka faktisk användarinteraktion är viktig för att avgöra om användare får snabb service utan fel, och om inte, vilken del av processen som brister.
Jag tror att anledningen till att RUM-tester är så omtalade är att det faktiskt finns en levande användare bakom siffrorna. De är helt enkelt så användarcentrerade som det går att komma, till skillnad från de extremt syntetiska alternativen. När vi pratar om RUM-tester inkluderar det i bästa fall ”syntetiska” värden, som webbplatsens laddtid hos en verklig användare, kraschade sidvisningar, brutna länkar och felsidor.
RUM-tester är alltså mer kopplade till riktiga användares upplevelse av något, men här behöver vi vara försiktiga med våra antaganden. Även om de bygger på data från verkliga användare, är RUM-tester ofta av kvantitativ natur och speglar inte nödvändigtvis en faktisk användares subjektiva upplevelse. Om vi verkligen ville fånga den subjektiva upplevelsen skulle det snarare handla om undersökningar med metoder som liknar enkäter eller intervjuer.
Syntetiska tester representerar andra extremen av skalan. Ett typiskt exempel är det hastighetsvärde som Googles PageSpeed Insights uppger. Det finns ingen användare som faktiskt hade precis den upplevelsen. Istället är det en maskin som rapporterar vad den instruerats att bedöma utifrån vissa tekniska mätpunkter från en sidvisning. Detta är den mest tänkbara syntetiska formen av testning.
Simulera verkliga användningsfall
Mellan dessa extremer finns en gråzon där många tester befinner sig. Till exempel de tester vi gör med verktyg som Sitespeed.io, där vi startar en riktig webbläsare och sätter hastighetsbegränsning till 4G-uppkoppling, vilket liknar många mobilanvändares vardag. Vi simulerar situationen en användare befinner sig i, men det finns ingen faktisk användare närvarande under testet. Ingen människa drabbades under testet.
När syntetiska tester är den rätta vägen
Syntetiska tester fyller en viktig funktion, särskilt för nyskapat innehåll eller som ett sätt att säkerställa god kvalitet innan publicering. Har du innehåll på din webbplats som ännu inte haft tillräckligt med besökare kan du inte veta hur deras upplevelse kommer att bli. Helst vill du bespara dem besväret och att du får en signal innan ett problem drabbar riktiga användare.
Detta är inte bara praktiskt utan också etiskt rimligt. Genom att proaktivt testa kvaliteten värnar vi användarnas tid och undviker frustration. Syntetiska tester fungerar som en markör för om något inte är tillräckligt bra eller tillräckligt tydligt för att fungera för de personer som du vänder dig till.
Exempel på syntetiska tester inkluderar W3C:s valideringstester för HTML och CSS, Googles PageSpeed Insights, analys av artikellängder och läsbarhetsindex som LIX eller Flesch-Kincaid läsbarhetstest. Det sistnämnda utvecklades ursprungligen för amerikanska flottan 1975 för att bedöma svårighetsgraden i tekniska manualer och används idag för att säkerställa att olika dokument är skrivna på en förståelig nivå.
Anledningen till att dessa betraktas som syntetiska handlar om att de inte återger en faktisk användares upplevelse. Att en webbplats har ett tveksamt resultat kring läsbarhet enligt Flesch-Kincaid betyder inte att en enda besökare faktiskt tyckt att texten varit för avancerad. Det är algoritmiska bedömningar som kan indikera potentiella problem, men de ersätter inte verkliga användningstester.
Real User Monitoring och dess roll i din kvalitetssäkring
RUM-tester blir mest värdefullt när du har en stor mängd besökare på din webbplats och lyckas samla in uppgifter om deras upplevelser. En viktig aspekt att tänka på är att själva datainsamlingen inte får försämra användarupplevelsen, exempelvis genom att göra webbplatsen långsammare eller sämre.
Chrome User Experience Report, förkortat CrUX, representerar ett mellanting mellan traditionell RUM och syntetiska tester. CrUX samlar in prestandadata från verkliga Chrome-användares sessioner på våra webbplatser och resultaten används av Google för att påverka sökrelevans. Men det är viktigt att förstå dess begränsningar. CrUX-data samlas endast från Chrome-sessioner, vilket betyder att Safari-, Firefox- och Edge-användare inte inkluderas. Detta kan representera 70-80 procent av trafiken för vissa webbplatser. Det är särskilt tveksamt på vissa mobilwebbar där många använder Safari. Som sagt tidigare, mixa dina metoder!
Dessutom samlas CrUX-data endast från Chrome-användare som aktiverat användningsstatistik, synkroniserat sin webbläsarhistorik och inte använder en synkroniseringslösenfras. Data filtreras också bort för webbplatser som inte uppfyller specifika kriterier för minst 80 procent av sin trafik.
Matomo och praktisk implementation av RUM för hastighet
Webbanalysverktyg som Matomo visar hur RUM-data kan implementeras praktiskt. Ifall du går till rapporten Beteende → Prestanda får du övergripande statistik om användarnas faktiska situation när det gäller hastighet. Det här ingår i grundutförandet av analysverktyget Matomo.

I tidsgrafen högst upp får du se utvecklingen över tid för den totala laddtiden så du kan identifiera avvikelser. Det finns en översikt som summerar de genomsnittliga värdena för respektive mått och längst ner kan du sortera fram hur måtten är för enskilda sidor.
Du kan alltså hålla koll på hur dina viktigaste sidor presterar i besökarnas webbläsare. Inte nog med det, du kan bygga segment för att identifiera hur prestandan är exempelvis för betald trafik genom att kampanjkällan ska vara Google Ads, etc. Det är synd att spendera hela budgeten på en annonsplattform ifall webbplatsens prestanda sänker konverteringsgraden. Bara för att ta ett exempel på insikt man kan få av kvantitativ RUM-testning som i Matomo.
Segmenterar du på olika hastigheter besökare upplevt kan du jämföra engagemang, som händelser per session, för de olika segmenten och kanske hitta rimliga åtgärder att vidta. Hastighet som mätetal spelar en viktig roll för sökmotoroptimering eftersom Google använder dem som rankningsfaktorer.
Matomo har också värmekartor som ett premiumtillägg. Värmekartor är en kvalitativ metod, men med tillräckligt mycket trafik och segmentering på olika hastigheter blir även det lite av en mixad metod.
Fördelen med denna typ av övervakning är att den ger kontinuerlig feedback om hur verkliga användare agerar på webbplatsen. Du kan konfigurera automatiska varningar som meddelar dig när prestationen på ett övergripande plan försämras avsevärt, vilket sparar tid genom att du slipper kontrollera det manuellt.
Alla metoderna har sin plats i kvalitetsarbetet
Det viktiga är att förstå begränsningarna för varje metod och vad de används bäst för, så att vi inte missar värdefulla insikter.
- Syntetiska data är relativt rena och detaljerade, men täcker inte in hela spektrumet av användarupplevelser. Använd dem för att vägleda design- och utvecklingsprocessen och för att upptäcka potentiella regressioner och viktiga förbättringar.
- CrUX-data är fältdata som är viktig för sökmotoroptimering, men det representerar en mycket specifik delmängd av din trafik från en enda webbläsare utan möjlighet att koppla ihop affärs- och användarmätetal. Använd den för konkurrensjämförelser baserat på verkliga användare och för att hålla koll på hur Google ser din webbplats ur ett sökperspektiv.
- RUM-data är omfattande fältdata som täcker hela spektrumet av användarupplevelser. Som sådan bör den vara din primära sanningskälla för hur du presterar. Använd den för att se hur din webbplats fungerar i verkligheten.
Genom att kombinera alla metoder får du en helhetsbild av din webbplats. Syntetiska tester hjälper dig att förebygga problem innan de når användarna. RUM-data visar hur verkliga användare faktiskt upplever din webbplats. CrUX-data ger dig insikt i hur sökmotorer bedömer din webbplats jämfört med andra.
Det handlar inte om att välja en metod framför en annan, utan om att använda rätt verktyg för rätt syfte och vid rätt tidpunkt. Genom systematisk kvalitetssäkring med alla tillgängliga metoder kan vi bygga bättre webbplatser som tjänar både användare och affärsmål på ett bra sätt.
Verktyg och tjänster för olika typer av prestandamätning
Syntetiska testverktyg
- Sitespeed.io - Öppen källkod för omfattande prestandatester
- Google PageSpeed Insights - Gratis analys av sidprestanda
- WebPageTest - Detaljerade prestandatester från olika platser på klotet
- W3C Markup Validator - Validering av HTML och CSS
- GTmetrix - Kombinerar flera testverktyg för prestandaanalys
Real User Monitoring-leverantörer
- Matomo - Öppet alternativ till Google Analytics
- New Relic - Realtidsinsikter för mjukvara
- Dynatrace - Data Center RUM med DCRUM-teknik
- Splunk AppDynamics - Browser Real User Monitoring (BRUM)
- Akamai mPulse - Realtidsövervakning av användarupplevelser
- Pingdom - Real User Monitoring och syntetiska tester
Chrome User Experience Report (CrUX) och relaterade verktyg
- Google Search Console - Core Web Vitals-rapporter för din webbplats
- Chrome User Experience Report - Googles officiella dataset för användarupplevelser
- PageSpeed Insights - Inkluderar både CrUX-data och syntetiska tester
Ytterligare resurser
- Flesch-Kincaid Readability Tests - Information om läsbarhetstester
- Web Performance Working Group - W3C:s arbetsgrupp för webbprestanda
- MDN Web Performance Guide - Omfattande guide för webbprestanda
Webperf

