InledningOm du inte vill läsa igenom en massa text utan bara är nyfiken på det enda som är riktigt viktigt så rullar du bara ner till slutet av sidan (eller klickar här).Informationen på denna webbsida är till för dig som vill veta varför du aldrig ska lita på läsarundersökningar. Jag rekommenderar speciellt att läsa det exempel med en webbenkät avseende bredband, som jag tagit upp längre ner på sidan. Generellt om undersökningar, t.ex. vid val av regeringAtt man kommer så nära sanningen som man gör när man statistiskt undersöker vad det svenska folket röstar på i samband med val av regering beror på tre saker (förutom den långa och exceptionellt stora erfarenheten av denna undersökning, samt att det är flera företag - Temo, Sifo, Gallup, Dermoskop, etc. - som gör samma undersökning under samma period):
Skillnader i mätmetoder och statistiska manipulationer gör dock att resultaten kan variera med ibland över tre procent. Det blir ganska fel när Temo kommer fram till att ett parti har 10 procent av rösterna när Sifo samtidigt kommer fram till att samma parti har 13 procent av rösterna. Men både Sifo och Temo kan ändå ha rätt eftersom de ligger inom den statistiska felmarginalen. Man kan fråga sig hur intressanta dessa undersökningar är när alla förändringar under valen faller inom felmarginalen. Antal svar för att uppnå statistisk säkerhetPå min huvudsida om bredband har jag skrivit att det behövs 1 000 svar för att uppnå en viss statistisk säkerhet. Detta stämmer inte helt. Jag kunde bara inte formulera mig kort nog där (varför jag i stället klargör allt lite bättre på denna sida).Jag kan nämna att 1 000 svar är det minsta antalet svar som behövs för att kunna representera Sveriges befolkning. Med så många svar kan man nämligen med hjälp av sannolikhetsteorin beräkna felmarginalen. För att t.ex. veta vad kunderna till en viss internetleverantör tycker om något speciellt måste en viss procentandel av leverantörens kunder svara (motsvarande 1 000 stycken för Sveriges befolkning). Ju högre procentandel som svarar desto säkrare blir resultatet. Statistiska Centralbyrån har ett så stort urval som 10 000 personer. Om motsvarande säkerhet ska uppnås vid en undersökning av Telias tjänster måste 1 250 av Telias kunder svara. I marknadsundersökningar intervjuas oftast några hundra upp till tusen personer. Ibland kan det vara färre, ibland betydligt fler. Det kan räcka med så lite som 200 intervjuer om andra villkor är uppfyllda, dvs om det är ett sannolikhetsurval, om det är en bra intervjufråga, etc. Ju fler som svarar (dvs ju högre procentandel) desto mindre felmarginaler! FuskTvå grundläggande förutsättningar för att man ska kunna lita på en enkät som gjorts på Internet är att man måste logga in för att besvara en undersökning och att säkerheten sedan är tillfredsställande hög för att de som loggar in inte ska kunna komma runt spärrarna så att man svarar mer än en gång per undersökning.Om dessa spärrar är bra nog är inget som vem som helst kan bedöma, och redan där finns det ett visst osäkerhetsmoment. Sedan är ett krav att man bara kan registrera sig en gång (dvs med angivande av personnummer, som sedan alltid kontrolleras innan röstning kan ske). Med undantag av ett fåtal större undersökningsföretag så kan en och samma person registrera sig oändligt många gånger (och därmed ge ge hur många svar som helst). Att man måste logga in eliminerar alltså en del risk för "fusk". Dock långt ifrån allt. Du vet t.ex. inte hur många av de som röstat som arbetar på det företag vars produkt de röstat på. Du vet heller inte hur många av de röstande som är familj, släkt, vänner, etc., som kanske dessutom på ett eller annat sätt blivit ombedda att rösta i en viss riktning för att därmed uppnå ett positivare resultat. När det handlar om ekonomisk vinning är sannolikheten betydligt större för fusk! Dels bland de som svarar, men det är även möjligt att de som ansvarar för undersökningen av olika skäl manipulerar resultatet. UrvalAllt baseras på urvalsmetoden, dvs urvalet av de svarandes på en undersökning, som sedan ska representera hela den specifika målgruppen. Detta är den mest grundläggande biten i en statistisk undersökning. Man kan inte nog betona hur viktigt det är att en undersökning bygger på ett korrekt urval av intervjupersoner. För en marknadsundersökare är vem som ska intervjuas den näst viktigaste frågan efter vad man ska fråga om. Det är alltså den här processen man brukar kalla urval.Slumpvalsmetoden är en av två metoder som normalt används av undersökare. Den går ut på att man drar namn och adresser från en namnlista, t.ex. ett mantalsregister, postens adressförteckning eller telefonkatalogen. Ett vanligt (och inte så dyrt) urval av svarspersoner kan göras utifrån telefonkatalogen. Ett sådant urval blir dock inte så tillförlitligt som från befolkningsregistret (dvs det urval som t.ex. normalt gäller för statistik i samband med val av regering). Hur många undersökningar har du sett på Internet där det inte finns någon form av urval överhuvudtaget? Det är de som av olika anledningar, under en viss period, kommer till aktuell webbsida som röstar. Dessutom bara en mindre del av dessa. Det blir på detta sätt aldrig ett representativt urval. Personer som svarar på en webbfråga är vanligtvis intresserade av frågeställningen. Detta intresse kan innebära att de vill uttrycka ett starkt positivt eller negativt engagemang i frågan; de som är likgiltiga inför frågan gör sig troligen inte besvär att ge uttryck för sin åsikt. När man låter urvalet bestå av personer som själva tar initiativ till att svara på enstaka webb-frågor eller webb-enkäter, representerar svaren enbart de svarandes åsikter. Man kan inte dra några slutsatser till en större grupp av personer. Även om många personer, kanske 5 000, svarar på en webb-fråga under en dag, kan man ändå inte med någon säkerhet uttala sig om vad andra personer skulle tycka, eftersom det inte finns något slumpmässigt urval. När man gör ett statistiskt korrekt urval, vet man från den statistiska teorin hur alla tänkbara urval kan variera och även vad som kan förväntas hända "i genomsnitt". Det är denna kunskap som gör det möjligt att dra slutsatser från ett enda, faktiskt urval om 1000 personer till den population som man dragit urvalet från. Ju större urvalet är, desto mindre blir den statistiska felmarginalen. Om man vill öka precisionen i undersökningen till det dubbla måste man fyrdubbla antalet intervjuade. Hur utformar man ett bra frågeformulär?I marknadsundersökningar handlar det oftast om att man ställer frågor till de personer som kommit med i urvalet. Frågorna är därmed grunden för den information man får fram i undersökningarna. Om undersökningen ska ge en rättvisande bild av de förhållanden man vill undersöka måste man ställa bra frågor! Frågorna sammanställs lämpligen av eller i samråd med minst en person som är insatt inom det aktuella området som undersökningen avser (särskilt viktigt i samband med områden som är av mer avancerad natur, t.ex. bredband).En bra fråga ska vara lätt för alla intervjuade att förstå. Frågan samt de ord och begrepp som ingår måste tolkas och förstås på samma sätt av alla intervjuade. Man kan bara fråga om en sak i taget. Svarsalternativen måste vara klart formulerade och täcka alla möjliga reaktioner/svar på frågan. Det är viktigt att undvika formuleringar som kan verka ledande eller som ger sig in på alltför personliga förhållanden. Frågorna ska vara så korta och okomplicerade som möjligt. Frågor som ställer alltför höga krav på att den intervjuade ska minnas vad som hänt en tid tillbaka ska undvikas. Det finns dessutom många mänskliga beteenden som sker mer eller mindre "automatiskt", och detta måste tas hänsyn till. En noggrann genomgång och en tydlig analys som leder fram till ett antal klart definierade frågeställningar är avgörande för att undersökningen ska bli bra. Det handlar om att man i förväg noga tänker igenom vilka frågor man vill att undersökningen ska ge svar på och att man utifrån dessa frågeställningar lägger upp undersökningen så att den ger svar på dessa frågor. Frågorna måste vara begripliga och ett frågeformulär ska vara klart och tydligt, oomtvistligt och tillämpbart på alla som svarar.
Om det behövs så måste man hjälpa den intervjuade att minnas. Ett kort och enkelt exempel; "Hur ofta använder du dig av Internet?". Undersökaren kan hjälpa fram ett svar genom att ge olika tidsalternativ som stöd för minnet: - oftare än två gånger i veckan - två till fem gånger i veckan - mindre än fem gånger i veckan Ledande frågor måste undvikas. Det är ett av de viktigaste kraven på ett bra frågeformulär. En ledande fråga kan locka intervjupersonen att svara fel (ofta det svar som intervjuaren helst vill ha). Frågeformulären ska vara lätta att fylla i. Här följer några olika typer av frågeställningar.
Den som utformar ett frågeformulär måste vara noga med att följa några enkla regler:
Information som bör angesOm du ser en undersökning på någon webbsida ska du direkt kunna få svar på följande frågor:
Vad kan generera statistisk osäkerhet?Jag sammanställer här kortfattat några exempel på vad som kan ge felaktiga resultat när leverantörer av bredband och deras tjänster utvärderas genom läsarundersökningar.
Ett konkret exempelJag kommer här att ta upp ett verkligt exempel från en aktuell läsarundersökning där olika leverantörer av bredband bedömts med hjälp av endast fyra korta frågor om pris, hastighet, stabilitet och service (och med en skala från 1-10 för varje fråga).
Hur resultatet såg ut just när jag skrev detta kan beskådas genom att klicka här! Om vi tittar närmare på de frågor som gäller för den undersökning jag här har som exempel så består den av fyra frågor enligt följande;Fråga 1.
Service
Här ger du betyg på servicen på din bredbandsleverantör.
Hur du upplever kundtjänst via telefon, mail eller information om driftstörningar via hemsidan.
Min kommentar (#1):
Fråga 2.
Pris
Hur upplever du prisbilden i relation till vad du får ut för tjänsten. Bäst betyder att du får mycket för pengarna och sämst betyder att du får lite för pengarna.
Min kommentar (#2): Förutom vad jag skrivit i min kommentar #1 så är det för denna fråga särskilt viktigt att understryka att detta inte under några omständigheter är något som gemene man är kapabel att avgöra. Det är t.o.m. oerhört svårt för mig, som kan mer än de flesta inom detta område. Detta är en typisk fråga som absolut inte ska lämnas ut till kreti och pleti att bedöma (i alla fall inte i denna form). Frågan är dessutom mycket ospecifik. Prisbilden i relation till vad jag får ut för tjänsten? Vad menas med detta? Jämfört med vad? Jämfört med andra leverantörer? De som inte har något att jämföra med då? De som har något att jämföra med, vad jämför de med? Sedan får man väl förutsätta att har man frivilligt valt en leverantör och en tjänst så har man gjort det för att man av olika anledningar tycker att priset är åtminstone acceptabelt och att leverantören erbjuder just det som man vill ha. Frågan tar ingen hänsyn till alla de som inte vet vilka alternativ som finns och vad de innebär. Fråga 3.
Hastighet
Hastighetsbedömningen är högst inviduell och frågan bör ställas hur nöjd är du med hastigheten när du laddar hem program, tittar på hemsidor eller spelar spel. Om du känner till vad pingtider är så får du även bedömma dom här
Min kommentar (#3): Förutom vad jag nämnt under min kommentar #1 och #2 så kan man särskilt understryka att frågan är högst individuell, precis som det står. Resultatet av denna fråga kan alltså inte bli annat än helt ointressant. Frågan är så långt från konkret som den kan vara, och det blir bara en personlig bedömning baserat på egentligen ingenting. Vissa förstår kanske inte frågan. Andra vet inte hur man ska bedöma eller testa hastigheten, etc. Det finns inte ens följdfrågor eller tillhörande frågor om den svarandes kunskaper inom detta, där svaren på dessa frågor används för att ge ett någorlunda intressant resultat. Resultatet blir aldrig bättre än frågorna som ställs. En dåligt ställd fråga ger ett mångdubbelt dåligt resultat i en statistisk undersökning. Fråga 4.
Stabilitet
Under stabilitet bedömmer du hur stabil din Bredbandsuppkoppling är. Dvs. hur ofta det är problem och du inte kan surfa. Du bedömmer även hur snabbt fel blir åtgärdare här (och inte under service).
Min kommentar (#4): Förutom vad jag nämnt under min kommentar #1, #2 och #3 så kan man särskilt understryka att detta är en fråga som är speciellt beroende av hur mycket man använder sig av sin bredbandsuppkoppling. Denna fråga om användningsfrekvensen finns inte ens med i enkäten. Vad definieras sedan som problem? För låg hastighet (var går i så fall gränserna för att det ska anses som otillräcklig hastighet)? Om förbindelsen går upp och ner under en kort period? Etc. Man har också gjort ett av de allvarligaste fel som överhuvudtaget går att göra, dvs mer än en fråga har bakats in i samma fråga. BostreamFör den som känner till lite om bredbandsbolagen så är det inte utan att man blir lite konfunderad när man ser att Bostream med tjänsten Xstream ligger som fjärde bästa alternativ med 6,89 poäng. Bostream skulle alltså vara bland de bästa när det gäller pris, hastighet, stabilitet och service.
Om vi dock för resonemangets skull utgår från att kunderna verkligen skulle vara så nöjda som undersökningen ger intryck av så ska man veta att de som svarat generellt sett inte är experter, och de har aldrig eller nästan aldrig något (jämförbart) att jämföra med. Hur ska man då kunna göra en utvärdering? Det blir så statistiskt felaktigt som det i princip är möjligt när frågor ställs på detta sätt. VattenfallJag ställer mig också undrandes till att Vattenfalls "ADSL Max" landat på tredje plats med 7,55 poäng. Inte för att jag vill säga något negativt om just Vattenfall (som tycks vara ett av de bättre alternativen, vad jag kan se), men man kan undra hur många relaterade till Vattenfall som svarat här. Vattenfall är ett inte så litet företag och man kan nog tänka sig att en del av de här anställda varit inne och röstat högt på sitt eget företags produkt.Detta är möjligt eftersom undersökningen ej baserats på något urval av svarspersoner! Ett mindre företag med färre anställda har inte denna möjlighet och därför kan det vara svårare för mindre företag att komma högre upp i undersökningar av denna typ. SpraySpray ligger i skrivandes stund på 6:e plats med 6,7 poäng (jag vill minnas att Spray tidigare t.o.m. legat på 1-3:e plats). Hur detta är möjligt är för mig fullständigt ofattbart (Spray är verkligen inte ett alternativ jag skulle vilja rekommendera för någon), men det är också ett av de tydligare tecknen på att undersökningar av denna typ kan bli väldigt missvisande, där frågor ej ställts på rätt sätt, där man inte tar hänsyn till alla parametrar och där resultatet inte tolkas på rätt sätt.Om fler röstat (och fler alternativ hade varit med) så skulle Spray aldrig kunnat komma så högt. TyfonTyfon är också en leverantör som är närmast att definiera som katastrofalt dålig i vissa avseenden. Så dålig att de borde varnas alldeles särskilt för. Detta framgår dock inte av resultatet i undersökningen, där Tyfon Svenska AB "ADSL Standard" på något märkligt sätt hamnat så högt som på sjunde plats med 6,63 poäng.TiscaliTiscali Basic har hamnat på 10:e plats med 5,55 poäng. Ytterligare ett exempel på hur osannolikt det är att resultatet skulle kunna användas för att hitta en bra leverantör med tillhörande tjänst. Tiscali hör enligt min bedömning till de bredbandsleverantörer som inte är att rekommendera, men oavsett vilket är det tveklöst väldigt många leverantörers tjänster som förtjänar en avsevärt högre placering än Tiscalis. Dessa tjänster är dock inte ens med i undersökningen.OBS 1 !
Tänk dig följande hypotetiska situation. |
|
Dåligt Bäst |
OBS 6 !
resultat baserat på endast fyra enkla frågor
Endast fyra frågor har ställts i enkäten.
Utifrån detta har en simpel helhetsbedömning gjorts av leverantören samt dess
tjänst. I detta fall och under rådande omständigheter skulle - om något -
resultatet presenterats så som frågorna ställts. Dvs ett resultat för stabilitet, ett resultat för hastighet, etc. Naturligtvis skulle också resultaten ha presenterats i en jämförelsetabell, så att man kunde jämföra resultaten för t.ex. stabilitet mellan de olika tjänsterna/leverantörerna.
OBS 7 !
ej uppdaterad information
Informationen om de olika tjänsterna som utvärderats är inte uppdaterad, och det ligger kvar gammal information. Bostreams tjänster finns t.ex. inte längre, utan har övergått i Bredbandsbolagets tjänster.
Bostream - som idag inte finns kvar varken i form av tjänster eller som bolag - ska naturligtvis inte ens finnas med i listan över "Bästa ADSL".Det är bara att förvirra läsarna ännu mer och tillför ingen intressant information för någon.
OBS 8 !
jämförelse mellan äpplen och päron
I samband med att den aktuella sajten presenterar läsarundersökningen om de "bästa" ADSL-leverantörerna finns det också en lista över "Billigaste ADSL". Precis som så många andra sajter görs här generalfelet att jämföra äpplen med päron. Man jämför priset för abonnemang med olika hastigheter och olika ingående komponenter. Dessutom är dessa "Billigaste ADSL"
det sämsta du kan få i kvalitet, vilket inte alls framgår.
OBS 9 !
För en liten leverantör av bredband med 300 kunder har i den aktuella undersökningen 200 av dessa avgivit sina röster. Det är inte svårt att förstå att det är något lurigt med detta. Speciellt med tanke på att landets största operatör, Telia, inte ens finns med i listan. Eftersom det krävs 10 röster för att komma med i undersökningen har alltså inte 10 personer med Telia som leverantör röstat. Högst osannolikt, eller hur ?!?!För den leverantör som ligger högst upp i listan, Bjäre Kraft, har full poäng på ett maximalt osannolikt sätt uppnåtts för var och en av de fyra kategorierna; service, pris, prestanda och kvalitet. Vem som helst förstår att resultatet är manipulerat. Det blir lite roligt av att trots att alla gett full poäng på allt så har tjänsten bara kommit upp i 8,46 poäng totalt när poängen räknats ihop.
På samma sätt har en annan tjänst/leverantör fått mycket höga enskilda poäng, men när den sedan presenteras i listan över de bästa ADSL-alternativen så hamnar denna tjänst/leverantör en bra bit efter andra som har betydligt lägre enskilda poäng (t.ex. Spray, varför man kan misstänka att Spray av någon anledning blivit manuellt uppflyttad i listan och försedd med en högre poäng totalt).
En annan punkt som tyder på att resultatet inte representerar verkligheten är att trots att det hävdas att röstningen skett per bredbands-tjänst så finns inte två tjänster från samma leverantör med i listan. Med tanke på att många leverantörer erbjuder ett antal olika tjänster (hastigheter) borde det vara logiskt att mer en en tjänst för någon leverantör skulle komma med i listan (speciellt med tanke på att även en fråga på själva leverantören finns med bland de fyra frågorna).
Undersökningen påstås som sagt vara per tjänst och inte per leverantör. Detta motsägs av att minst en av de fyra frågorna är en leverantörsfråga, nämligen service. Det blir också väldigt förvirrande när leverantören får ganska varierande poäng beroende på vilken av leverantörens tjänster som läsarna röstat på (vilket för övrigt inte ens beaktas i resultatet).
Det är synnerligen svårt att ta undersökningar av denna typ på allvar, men tyvärr är det nog väldigt många som inte mer noga analyserar dylika undersökningar, utan bara blint tror att man kan utgå från dessa i sina val. Jag kan bara hoppas att jag med denna sida bidragit till att göra webbanvändarna mera medvetna och mindre godtrogna, så att besluten i framtiden baseras på verkliga fakta i stället för de falska och manipulerade undersökningar som finns i ett utbrett antal på Internet.
VIKTIGT !
Undersökningar av den typ som jag tagit upp här blir extremt missvisande och jag vill varna för dessa i allra högsta grad. De kan vara lite småkul att läsa (i stil med horoskop), men om man inte klargör förutsättningarna för läsarna så lurar man dem mer än hjälper dem. Personligen tycker jag att enkla läsarundersökningar har ett visst berättigande och de får gärna finnas kvar, men då måste man samtidigt tydligt, mycket, mycket tydligt, klargöra förutsättningarna.Av motsvarande anledningar som jag tagit upp på denna sida kan man i sitt val av leverantör naturligtvis inte utgå från enskilda kommentarer om leverantörer i olika forum och diskussionsplatser på Internet, såtillvida detta inte är konkreta fakta som kan underbyggas som sådana.
Jag tycker själv det är rätt kul med statistik, men det är mest för att jag till dags dato inte sett en enda statistisk undersökning som jag inte snabbt kan plocka sönder och i detalj påvisa felaktigheterna som gör att resultatet av undersökningen ej går att lita på.
En korrekt undersökning
Jag kommer framöver på min huvudsida om bredband att ställa frågor på ett sådant sätt att resultatet blir rättvisande och relevant. Dock med det mycket viktiga undantaget att urvalsmetoden inte blir korrekt. Jag saknar tyvärr verktygen för att genomföra en mer avancerad undersökning , men om många svarar på mina framtida frågor kan jag utlova att resultatet kommer att bli så värdefullt som det är möjligt (med de resurser jag har att tillgå) för de som sedan vill nyttja resultaten för att välja leverantör!OBS! Om någon är beredd att hjälpa till att skapa en miljö för en mer avancerad undersökning av leverantörernas tjänster, hör av dig till mig, så står jag för utformningen av frågorna.
Summa summarum
Jag anser det vara av yttersta vikt att de som väljer sitt bredband baserar sitt val på fakta samt rätta kriterier med utgångspunkt från en själv, och inte baserat på förledande undersökningar.
LÅT DIG INTE LURAS !
Tipsa en vän
Senaste inlägg