Webperf
Den extra trafiken kunde ha känts uppmuntrande. Istället öppnade jag besökarloggen i Matomo, eftersom ingenting väsentligt hade förändrats som kunde förklara avvikelserna. Ganska snart syntes skumma grejer, som att många av besökarna kom från länder som annars nästan aldrig syns i statistiken och att de var orimligt intresserade av ett fåtal sidor.
Matomo har nyligen beskrivit precis det här mönstret i en genomgång av robottrafik och falska besök. Deras bild känns igen. En trafiktopp utan motsvarande rörelse i något som betyder något, ett engagemang som faller igenom golvet och en geografisk spridning som inte stämmer med den målgrupp vi vet att vi brukar ha.
Robotar har alltid varit en del av webben och de flesta av dem gör nytta. Sökmotorer behöver kravla våra sajter och övervakningstjänster behöver kontrollera att webbplatsen svarar på tilltal. Det som har förändrats något de senaste åren är hur svårt det blivit att skilja den automatiserade trafiken från riktiga människor.
Fingeravtrycket fanns i rådata
När jag tittade närmare på de aktuella dagarna framträdde ett mönster. Besöken hade nästan alltid exakt en sidvisning, en besökstid nära noll sekunder och en avvisningsfrekvens över nittio procent. Det uppgavs att de kom från Google, eller var så kallad direkttrafik, och de återkom till samma handfull sidor om och om igen. Webbläsaren var Chrome på skrivbordslinux med en skärmupplösning på exakt 1920x1080, vilket råkar vara standardläget för Chrome när den körs i headless-läge av ett automatiseringsverktyg.
Var och en av signalerna säger inte så mycket var för sig. Riktiga människor surfar via VPN, sitter på företagsnät och en del använder tro det eller ej faktiskt Linux. Geografi bevisar heller ingenting, eftersom en IP-adress bara berättar var i infrastrukturen trafiken råkar komma ut och geolokalisering baserat på IP-adress är kroniskt missvisande. Det är när flera signaler pekar åt samma håll samtidigt som vi har något att gå på. Att i det läget spärra ett helt land eller en hel internetleverantör är frestande, men risken är att vi kastar ut riktiga besökare tillsammans med skräpet.
Undersökningen var möjlig därför att rådata fanns kvar och gick att inspektera med alla dimensioner i behåll. Jag kunde segmentera fram kombinationen upplösning, operativsystem och webbläsare och sedan jämföra hur stor den andelen varit innan toppen. Den låg långt under en procent. Då visste jag ungefär vad ett filter skulle kosta i bortfall av verkliga besökare baserat på hur trafiken brukar se ut bortom avvikelserna.
Det här är klassikern i webbanalys. Gräv i avvikelserna. Gruppera olika dimensioner och inspektera hur de grupperna förändrats över tid i relation till annat.
Datakvalitet är hela beslutsunderlaget
I min bok Webbanalys (2016) skrev jag att om våra data är undermåliga är det nära på meningslöst att dra slutsatser av dem. Robottrafiken illustrerar varför. Konverteringsgraden faller inte för att vi blivit sämre utan för att det vi fått in i toppen av vår konverteringstratt svällt av besök som aldrig kunde konvertera. Andelen direkttrafik växer när ursprunget inte går att fastställa. En redaktion som tittar på vilka sidor som fått mest uppmärksamhet kan mycket väl råka bestämma sig för att producera mer av det som lockade robotar.
Därför hör en löpande datarevision till webbanalytikerns yrke snarare än till sådant vi ska hinna med någon annan gång
. Vi behöver veta hur våra data samlas in, kunna verifiera att modellen stämmer med verkligheten och föra anteckningar om vad vi ändrar och när. Vederhäftighet är ett gammaldags ord, men det är fortfarande det vi lämnar ifrån oss tillsammans med de rapporter kollegor och kunder ska ha nytta av.
Öppen källkod gör det möjligt att åtgärda
Matomos egna skydd mot skräptrafik hanterar mycket, men just den här vågen slank igenom så som jag konfigurerat verktyget. Blockeringslistorna för molnleverantörer träffar inte robotar som går ut via vanliga hushållsabonnemang och små webbhotell, och detektionen av automatiserade webbläsare bygger till stor del på att webbläsaren avslöjar sig själv, vilket den här sortens upplägg ibland aktivt försöker undvika.
Eftersom Matomo är öppen källkod behövde det inte stanna där. Under semestern byggde jag ett litet tillägg som hakar i vid själva spårningsförfrågan och släpper igenom allt utom det som matchar hela det här suspekta fingeravtrycket. Delar av arbetet gjorde jag tillsammans med Claude Code, vilket framför allt kortade vägen från idé till något körbart. Avvägningarna och testerna gjorde jag förstås själv.
Tillägget är publicerat under GPL med dokumentation och en fristående testsvit, så att du som vill kan granska logiken ifall du funderar på att återanvända tillägget.
Uteslutningen sker vid insamlingen. Inget sparas och ingen historik ändras av tillägget i sig. Det ligger nära dataminimering som princip, att vi helt enkelt inte samlar in sådant vi vet att vi inte vill ha.
Rådighet innebär också ett ansvar
Tillägget utesluter även de riktiga människor som råkar sitta på skrivbordslinux, i Chrome, på exakt 1920x1080 och som kommer via Google eller direkt. På Webperf.se är det en försumbar andel. Det är ändå en avvägning som var och en behöver göra på sina egna data, och den bör vara mätt innan filtret aktiveras.
Redan insamlade robotbesök försvinner inte heller av sig själva. De behöver rensas ur rådata, och rapporterna behöver ogiltigförklaras och byggas om, annars fortsätter befintliga rapporter att visa gamla siffror. Det är fullt genomförbart, men ett moment där en säkerhetskopia först är en billig försäkring.
På längre sikt kommer robotarna att förändras och då slutar kanske det här fingeravtrycket att stämma. Ett filter som ingen ser över blir förr eller senare fel, antingen genom att missa det nya eller genom att utesluta besökare som borde ha räknats. Parametrarna går därför att konfigurera, och dokumentationen beskriver hur vi kontrollerar vad som faktiskt utesluts.
De flesta kommer förstås aldrig att behöva bygga ett eget tillägg. Möjligheten finns ändå kvar den dagen det behövs, och när verktyget går att inspektera och förändra blir datakvalitet något vi förvaltar snarare än något vi hoppas på. Nästa gång utvecklingen ser något oväntad ut vet vi var vi ska titta. Kanske är det något liknande som inträffat, vilket är vad Ockhams rakkniv skulle föreslå.
