Most napi rendszerességgel zajlanak mind a MÁV-Start jegykiadó automata projektjének, mind a PocketGuide tesztjei. Ez azt jelenti, hogy minden egyes nap behívunk valakit, akivel egy hagyományos, prototípus alapú usability tesztet végzünk.
Reggel a tervezőcsapat feedbacket kap az eddigi munkáról. Utána megbeszéljük, ki, milyen jelenségeket vett észre, együtt kitaláljuk a lehetséges megoldási irányokat, majd a nap további része ezek kidolgozásával telik. Másnap kezdődik minden előlről.
Úgy is vehetjük, ez egy napi szintű tervezői sprint.
Mi ennek az előnye?
Előnye a rengeteg iteráció: gondold meg: míg régen az első változat, amit utas látott a MÁV automatáiból, már éles gépen futott; addig a mostani a 10. változat kb, és az utasok előbb látják, mint a fejlesztők – ha nem is nagy számban.
A rendszeresség némileg megszokottá teszi a kutatást, mint a vízcsapot: mersz rá hagyatkozni, egyszerűen ez egy olyan dolog, ami minden nap van, nem dédelgeted 25 évig magadban a megoldásokat, hisz holnap délre lehet feedbacked a legfrisebb ötletedről.
Nyilván fontos szempont, nem egy irodában, zárt ajtók mögött van kitalálva A Megoldás. Bár a tipikus használatot tudjuk (ehhez van elég megelőző kutatásunk), azért egy-egy alany tud újat mondani, rávilágítani a statisztikában látott számok mögötti okokra.
Mi a hátránya?
Nyilván nem minden hibát tudunk egyetlen nap kijavítani. Bizonyos jelenségek több napba telnek mire beismerjük: igen, ez hiba, minden alanynál előfordul. Ennek kiküszöbölésére vannak duplaalanyos napok (ill. lehetnek kihagyott napok is). Van olyan hiba is, ami valójában nem hiba, esetleg csak pont annál az alanynál fordul elő.
A dokumentáció is hiányos. Mire megírnád a doksit, már lehet, nem is azok vannak a prototípusban, elég nehéz visszakövetni.
Ezt úgy próbáljuk kiküszöbölni, hogy heti szinten készül egy részletesebb analízis, ami tartalmazza az egész heti észrevételeket is. Ennek az a célja, hogy a kis hibák – pl. feliratcsere – se maradjanak kijavítatlanok, legyen egy katalógus, ami alapján haladunk.
Hátránya még, hogy bizonyos szempontból nem fokozatos: a kvalitatív eredmények nincsenek kvantitatívan alátámasztva. Míg sokszor ez egy valamelyest logikus kockázat – amit a későbbiekben még kezelünk – máshol ez veszélyforrás.
Természetesen sok időt emészt fel: mindennel együtt – szervezés, telefonálás, ottlét, összegzés – egy munkanapot biztos elvisz hetente. Sokszorosan megtérül!
Nyilván van költségvonzata:
(Szervezésre fordított idő + tesztidő költsége + incentíva) * tesztalany + tervezés
Mi kell hozzá?
Az elsődleges titka: a recruitment. Mind a PocketGuide, mind a MÁV-Start tesztalanyait online űrlapokkal toborozzuk.
Az űrlapok facebook-csoportokban vannak publikálva. Hagyományosan a toborzás apróhirdetés-oldalakon zajlik, mi most egy szűkebb kört céloztunk meg, némileg demonstrációs jelleggel is.
A PocketGuide-é egy kísérleti, szelekciós űrlap: szigorú célközönség-definíciónak kell megfelelni ahhoz, hogy a menedzsment komolyan vegye a teszteredményt, aki nem felel meg a kritériumoknak, annak – némi vigaszdíj keretében – megköszönjük az űrlap kitöltését, de nem hívjuk be.
Sajnos a technológia még nem tökéletes. Hiába tudod a célközönségnek nem megfelelő embereknek már az űrlapon közölni, hogy nem feleltek meg, ezeket utána kézzel kell kibogarásznod, az eredménytáblában semmi jele nincs annak, valaki megfelelt-e vagy sem.
Mind a PocketGuide, mind a MÁV jutalmazza az alanyait: ez a költségvetés része. A piaci ár jelenleg 1-2 ezer forint: ez függ az időtartamtól, a projekttől, stb. Míg a kosárlabdában a szövetség közös ügy volt, addig egy magáncégtől ezt ne várja el senki.
A jelentkezés után időpontot egyeztetünk, rendszerint telefonon. Van egy naptár, ami azt jelzi nekünk, melyik nap, mikor, kivel tesztelünk.
Maga a teszt hagyományos usability teszt vagy user interview, mikor mire van szükség.
A feladatokról és kérdésekről
A napi teszthez tartozik egy „test queue”, azon tesztfeladatok és kapcsolódó prototípusok listája, amely az adott alkalommal tesztelhető. Ezek prioritásba vannak rendezve. Van, hogy egy tesztfeladatot minden alany megkap, van, hogy 2-3 alany után lezártnak tekintjük a kérdést.
A függetlenül feltöltött tesztelési sor előnye, hogy ettől még a tervezői munka zökkenőmentesen haladhat: ha egy prototípus nem lesz kész időre, max az előző kap dupla tesztlehetőséget.
Nyilván a fejlesztői munka is független a tesztelőitől: ők a teszteléssel többszörösen validált, kidolgozott terveket veszik át. A napi rendszeresség lehetővé teszi, hogy akár a sprint végi belső release felhasználói tesztje lefusson – hisz azt azért minden tervező tudja, a kiadott tényleges szoftver és a tervek mindig különböznek…
Ennyi elég user researchnek?
Nagyon nem. A MÁV esetén a napi teszt egy többlépcsős folyamat egyik állomása, a Pocket esetén egy több lábon álló kutatási stratégia része.
Mindkét esetben jelentős mértékű field research előzte meg a tesztfeladatok összeállítását. Ennek részei interjúk, de főleg megfigyelések valós környezetben.
Mindkét esetben kiegészítik kvantitatív kutatások is: részletes számadatokkal rendelkezünk a felhasználók tényleges viselkedéséről.
Természetesen nem ötletszerűek a teszteredmények magyarázatai sem: a jelenségek helyes értelmezéséhez komoly kognitív pszichológiai szakismeret szükséges – sokszor a felismerésükhöz is.
Hogyan lehet ezt bevezetni?
Mind a PocketGuide, mind a MÁV-Start esetében először sporadikus, de szabványos tesztek voltak, majd bevezetésre került a tesztnap fogalma.
A MÁV-Start esetén ráadásul RITE-tesztnapot tartottunk: minden órában bejött egy tesztalany, az alanyok között pedig próbáltunk változtatni. Ebből fejlődött ki ott a napi tesztelés a tervezőcsapat kérésére, mivel a picivel lassabb tempó átgondoltabb tervezést tesz lehetővé.
A PocketGuidenál régebben is voltak hetek, amikor Dorottya egész nap terepen volt, délelőtt jött be csak az irodába az új prototípusokért, ott ezt a „hagyományt” újítja fel az új rendszer.
Hogy csatlakozhatok a tesztekhez?
A legfontosabb, hogy a MÁV tesztjeihez csatlakozz, a PocketGuide ezen a héten már biztos nem tud több alanyt fogadni – de a következő hetekben is lesz tesztelés!
A tesztelést a MÁV esetében Molnár Dorottya vezeti, a PocketGuide teszteket jelenleg én viszem.
