Hogyan mérjünk UX-et? Látszólag nehéz kérdés, még ha részleteiben könnyű is rá válaszolni. Valójában szinte soha nem UX-et kell mérni, hanem valamilyen üzleti cél teljesülését, de ez a legritkább esetben jelenti pusztán az elégedettségi skálák elemzését. Hogy miért is hiba az elégedettségi skálához kötni kifizetéseket? Nos, az egyszerű…
Az elégedett fejlesztők
Egy meg nem nevezendő nagyvállalatban, ahol dolgoztam sok-sok éve, a frontend fejlesztők bónusza az NPS (net promoter score) elégedettség kérdőív pontszámaihoz volt kötve: a webes app időről-időre feldobott egy skálát 0-tól 10-ig, ahol be kellett jelölni – rövidre vágva -, az elégedettségünket a termékkel.
Több se kellett a fejlesztőknek: előbb a szabadidejüket, majd később már a munkaidejüket áldozták rá, hogy folyamatosan 8 -9 csillagos értékelést adjanak saját munkájukra (hogy ne legyen gyanús), majd az egyik legalább egy napot szánt ennek automatizálására – természetesen a cég pénzén.
Hogy megkapták-e a bónuszt azt nem tudom (sok fejlesztő sok robotja ügyfélt győz), de hogy az alkalmazás store csillagokból és a hasonló egykérdéses kérdőívekből kiindulni értelme nincs sok, az biztos.
A magyar appkultúra csillagai
Hányszor hallottam pedig akár még a MÁV folyosóin a vonatinfó idejében, hogy ilyen meg olyan csillagok vannak az appon: sajnos nehéz volt megkülönböztetni azt, aki azért csillagozta, mert késett a vonat (jogos, de az appal nem lesz jobb), azért, mert nem lehetett benne jegyet venni (szintén jogos, erre még visszatérünk, de akkor még nem volt rá megoldás), vagy mert egy olyan problémát talált, ami az app működésében keletkezett, azaz valóban, valaki hibázott.
Persze az összes menedzsment könyv elmondja neked, hogy “csak azt menedzseled, amit mérsz is”, és egy magát néha monopol helyzetben gondoló cégnél elsőre nehéz volt az ügyfélelégedettségen túl bármiféle értékelést találni, így érthető – a teljes kép ugyanakkor ennél nagyobb.
Menjünk tovább a vonatinfó szándékosan szélsőséges példáján (az app már évek óta nem létezik, egy állami, tájékoztató jellegű alkalmazás, ha így tetszik, állatorvosi lónak pont jó lesz 🙂
Háttér: a felhasználói élmény számokban
A felhasználói élménynek rengeteg aspektusa van, de én most ketté fogom bontani: hasznosságra és használhatóságra.
A rendszer hasznossága az az, hogy mennyire segíti a felhasználót céljai elérésében szükségletei kielégítése által – ezt a közgazdaságtudományban leginkább “elsüllyedt költségekkel” mérjük, röviden: ha az app nem lenne, mennyibe kerülne funkcionálisan azonos életvitel elérése a felhasználónak, avagy mennyit lenne hajlandó fizetni érte, vagy mennyibe kerülne ez másoknak.
A használhatóság egy hármas paraméter: adott feladatra, adott felhasználó számára adott helyzetben a rendszer használata mennyire hatékony, hatásos, és milyen elégedettséggel jár. De hogy mi a feladat? Hát mikor mi…
Az elégedettség valójában összeköti a kettőt: a felhasználó elégedett, ha a termék olyan, amilyennek várja – azt meg, hogy milyennek várja, azt befolyásolja, mit képzel bele, és amúgy neki mi a célja, valamint, hogy egyáltalán mit tekint terméknek.
Itt látszik a vonatinfó hibája: az utas számára a vonatinfó, ami elsősorban a műszaki személyzetet szolgálta ki eredetileg gyorsan, a saját telefonjukról elérhető pályainformációkkal, a teljes MÁV felületének volt tekintve, azaz rögtön felelőssé lehetett tenni a késésért, és hovatovább zseb-eticketnek (az elvirának a hőn utált jegyvásárlós “része”) tekintette, hisz az ő célja az volt, hogy jegyet vegyen, nem az, hogy a pálya helyzetéről tájékozódjon, és nem értette, ha “az interneten” lehet, akkor a mobilappban miért nem.
Mennyire volt használható jegyvásárlásra a vonatinfó? Természetesen semennyire, nem volt ilyen funkciója, erre a feladatra nem készítették fel. Az össz elégedettséget mégis ez befolyásolta leginkább.
Ha nem az elégedettség, akkor mi?
Mint említettem, a használhatóságnak 3 paramétere van, és eddig csak a “szubjektív” elégedettséggel foglalkoztunk – ez az, hajtja az alkalmazásboltok csillagait vélt vagy valós célok elérése reményében.
Sokkal objektívebben mérhető a hatékonyság és a hatásosság.
A hatékonyság az az erőfeszítés, amibe egy feladat elvégzése kerül – bár ezt a BME Ergonómia és Pszichológia tanszéken sokszor próbáljuk színesebbé tenni, tagadhatatlan, az egyik faktora ennek az idő – és a gyakorlatban a legtöbbször csak ezt mérjük.
Azaz egy rendszer hatékonysága egy adott feladatra (leegyszerűsítve) az az idő, amibe az adott feladat elvégzése kerül.
A hatásosság az “akadálypálya faktor”: hányszor ütközik a felhasználó ellenállásba? Rendszerint hibaüzenetek számával hozzák összefüggésbe, de ahogy a hatékonysággal, ezzel is brutálisak leszünk. Egy akadállyal ugyanis 3 dolog történhet:
- Egy idő után megoldjuk
- Belebukunk
- Leverjük a lécet
Ha egy idő után megoldjuk, ez látszani fog az időfaktoron – ha belebukunk, ez viszont a konverzión fog látszani.
Ha leverjük a lécet, az a minőségen fog látszani – hisz nem sikerült teljesen megoldani valamit „a jó lesz az úgyis” előbb-utóbb megjelenik utaspanaszként, hogy .
Ha sorozatosan belebukunk valamibe, elmegy a kedvünk az egésztől – ez a retención (az ügyfélmegtartáson) fog látszani.
Közgazdaságilag a hatékonyság az az ár, amibe a rendszer használata került (ezt az időt a munkaidőben az illető munkabérével, szabadidőben ennek felével szokás szorozni), a hatásosság pedig (amikor nem játszik bele az időbe) az elmaradt haszon, azaz a levert léc, vagy a befejezetlen folyamat, esetleg az okozott kár költsége.
Ámíthatnánk magunkat azzal, hogy a jó UX miatt a használati idő pozitívan töltött, de ez csak akkor igaz, ha megkapom, amit akarok, azaz miután a hatékonyság és a hatásosság már elég jó – és a utility appokat mint a vonatinfó nem a játék kedvéért használják.
A használhatóság objektiv mérőszámainak használata
Ahogy fentebb láttuk, vannak mérhető értékeink: ilyen az idő (képernyőnként, vagy teljes folyamatra vetítve), a vissza gomb használata, a hibaüzenetek száma, vagy éppen a retenció.
A baj csak az, hogy ezek relatív mértékegységek: azaz az előző terméket is mérni kell vele! Ez nem könnyű.
Amit viszont mérhetünk az tipikusan képernyőnként, folyamatonként érthető csak, pl., hogy
- melyik képernyőn hagyja abba a felhasználó a használatot (ha ez nem egy célképernyő, akkor elkedvetlenítettük)
- melyik képernyőről megy vissza (szintén)
- melyik képernyőn mennyi időt tölt (főleg a navigációs képernyők az érdekesek, ott a minél rövidebb, célképernyőn gyakran a minél hosszabb a kérdés)
- mennyi a “rage scroll” – amikor az ember idegesen fel-le huzogatja az ujját egy képernyőn
- ha belekezdett egy egyirányú folyamatba, mennyi ideig tart, hányan hagyják abba és hol
Ezek viszont látványosan részletszámok. Mit kezdjünk velük?
Fordítsuk vissza: az appban töltött idő egy költség, és ha nem a reklámokból élünk (facebook!), akkor ez negatív. Ha meg tudjuk mérni, hány folyamat sikeres, az jó, hisz ez az arányszám lesz a hatásosság az adott folyamatra nézve. Az ismételt használat is érdekes: mekkora a megtartóerő?
Sokmindent kipróbálunk, hogy aztán soha többé ne használjuk, rendszerint azért, mert a vele járó vesződséget (használhatóság) nem tartjuk arányosnak a hasznosságával.
Mondhatjuk, a folyamat “konvertál”, illetve munkaszoftvernél “időt vesz el”, a részszámok pedig megmutathatják nekünk az okokat.
De gyakran – ahogy a vonatinfónál is – nincs egyértelmű sikeresség: ha hamar becsukja az információs képernyőt, akkor csak rápillantott, vagy nem azt látta, amit keresett? Sajnos ilyenkor kénytelenek leszünk más számokhoz fordulni, azaz: a külső hatást mérni.
Az app használhat(atatlan)ságának külső jelei
Gyakran nem az appot szeretnénk mérni, hanem a hatásait. Na de milyen hatása volt mondjuk egy vonatinfónak, ami egy tiszta utastájékoztató rendszer?
Hát pl. az elmaradt ügyfélszolgálati hívások, vagy az utolsó pillanatban felszállók (ezzel késést okozó), esetleg a vonatot lekésők száma. Ha van utasszámlálásunk, biztos, hogy befolyásolja ezeket, de a MÁV esetén a jegyvisszaváltások száma is azonnal megugrana. Bérletesek esetén is biztos, hogy előbb-utóbb a kommunikációs felületek (a jegyvizsgálótól a facebook oldalon át a telefonszámokig) meglátszik – és egy információs rendszer haszna valójában itt van, hogy ezek terhelése csökken.
Ha van jegyvásárlás, vagy bármilyen üzleti tevékenység, a hatásvizsgálat sokkal egyszerűbbé válik, hiszen az app “hasznossága” az, hogy nem kell bemenni a pénztárba, nem kell bejelentkezgetni, regisztrálni. Ezt látjuk aztán sok helyen:
Csatornamix: ha egy app / weboldal változás hatására megváltozik az egyes csatornáink forgalma, méghozzá nem a vágyott irányba, sejthető, hogy baj van.
Csatornaváltás mérése: ha az ügyfélszolgálaton valaki azt mondta, “próbálta az appot / weboldalt használni, de”, akkor biztos baj van!
A konkurenciák mérése: ha azt látjuk, hogy a konkurens szolgáltatások forgalma az ő viselkedésük változása nélkül változik, akkor is baj van. Ha egy vonalon sokat késik a vonat, várható, hogy az emberek előbb-utóbb átszállnak autóba, és ez akár a szomszédos utak forgalom számlálásán, akár az autómegosztók számaiban meglátszik.
Ezek a külső számok egyfelől az app szervezeti hasznossága: mennyi időt (és kőkeményen munkabért) spórolt meg? Másfelől annak a jelei, a használat, az adott használhatóság mellett mennyire éri meg a felhasználónak, hajlandó-e az időt beleölni az app megismerésébe, használatába, visszatér-e? Harmadrészt csökkenthetik a belépési költségeket, így új felhasználókat kapcsolhatnak be: a könnyen használható GPS például rendkívül sok új taxist hozott, de nyilván a várost fejből fújó szakit nem érdekelték.
Akkor az értékeléseket felejtsük el?
Magyarország a kis számok hazája: ezer felhasználónál, szokásos értékelési kedvvel számolva kevesebb, mint 10 értékelésed lesz. Statisztikailag kvantitatív módszerekkel kezdeni ezzel bármit önámítás.
De lehet kezdeni velük valamit – kvalitatív módszerekkel!
Az értékeléseket leginkább osztályozni kell. Néhány osztályozási rendszer, amit érdemes figyelembe venni:
- Pozitív vagy negatív? Mennyire? (Sentiment analysis)
- Milyen speciális igénye lehetett a felhasználónak? (Gondoljunk az akadálymentesítésre is!)
- Milyen kontextusban történt a használat?
- Mi volt a felhasználó célja? Melyik feladatot próbálta végrehajtani?
- Sikeres volt a feladat végrehajtása?
- Volt-e rejtett hiba, azaz sikeresnek vélt, de valójában tévedésen alapuló végrehajtás?
- Ha történt hiba, mennyibe került ez a felhasználónak? Mennyibe a szervezetnek?
- Mennyibe került a felhasználónak a használat?
- Ha a rendszer nem lett volna, mennyibe került volna elérni ugyanezt?
- A termék / szolgáltatás mely részét érinti az értékelés?
Természetesen nem kell mindenre egyszerre lőni: ha már odáig eljutunk, hogy az elégedettséget használati helyzetekre (célokra, kontextusra, célközönségekre) tudjuk osztani, már valószinűleg jók vagyunk, ahogy az is fontos, hogy be tudjuk lőni, a termék mely aspektusait kell javítanunk, hogy jobban megfeleljünk a célközönség igényeinek.
Annak ugyanis van értelme, hogy azt nézzük, aki a vonatinfót arra próbálta használni, amire szánták (utastájékoztatásra) az mennyire elégedett, hányan vannak hozzájuk képest, akik a jegyvásárlást keresik, és a szolgáltatással elégedetlenkedők pontosan melyik részét panaszolják a szolgáltatásnak.
Az össz számnak viszont vajmi kevés köze van ahhoz, mennyire hasznos vagy haszontalan a programunk a teljes közönségünkben, hisz torz: akiknek csak bizonyos funkciója kell, lehet nagyon elégedett, de lehet egy hangos kisebbség is.
Zárszó: mindig fordítsuk le közgázra
Ami egy privát cégben könnyű, az látszólag nehéz az állami szférában. Szerencsére a világban (így pl. a közlekedésben is) ma már egyre fontosabbak a széndioxid kvóták és hasonló, nem pénzügyi értékek, az EU ezt számon is kéri (Non-Financial Reporting Directives), ahogy az ügyfélszolgálat leterheltsége, vagy épp a felhasználónak okozott stressz is számszerűsíthető, de belső célok is meghatározhatóak.
Én azt gondolom, minden utas, amit egy villanymozdony vitt el, az áramellátás széndioxid kibocsátásával közlekedett, még az autómegosztóban is felelős lenne az autó ötödéért – a közösségi közlekedés pedig ezeket az autókat tartja a várostól távol. Hogy ez mennyit ér, az jó kérdés, de bizonyára számszerűsíthető.
Hogy mikor jött ebben jól a vonatinfó? Ki tudtam tölteni a késésből fakadó időt, akár úgy, hogy még el se indultam. A késés ugyanis elveszett idő, de csak ha nem tudok helyette csinálni semmit. Át tudtam szervezni az átszállást – egy elvétett transzfernél kevés drágább dolog létezik. Nem voltam ideges, ha tudtam, hol a vonat, legalábbis nem annyira, mint lettem volna a folyamatosan nyúló táblát látva csak: ha elindult Hegyeshalomból a járat, tudtam, hogy a késést okozó határellenőrzésnek vége, most már tényleg Győrben lesz fél órán belül. Ennek árát talán egy szem xanax árával lehetne illusztrálni, de hát – sok kicsi sokra megy, nem?:)
