9.1 Opzet en uitvoering van de tekst

 

De test is uitgevoerd op zaterdag 27 december in sporthal Rozenburcht tijdens de pilot Pupillen Futsal. De tests konden daar allemaal uitgevoerd worden, omdat de doelgroep (verenigingen) daar daadwerkelijk aanwezig was. Hierdoor kon je goede inzichten verkrijgen in wat de doelgroep wel en niet fijn vond.

 

De tests zijn uitgevoerd met verschillende mensen. Zo hebben 5 trainers, 5 ouders en ook nog 5 teammanagers getest of het MVP zo is zoals ze het uiteindelijk willen zien. In totaal zijn er dus 15 mensen geweest die het MVP hebben getest, deze hebben allemaal alle onderdelen getest.

 

Mijn rol tijdens de tests:

 

Op Zaterdag 27 December voerde ik de tests uit. Ik stelde mij eerst netjes voor aan de persoon die de tests uit wilde voeren en vertelde ik waar ik de afgelopen tijd mee bezig ben geweest. Toen dit voor die persoon duidelijk was gaf ik hem het MVP en liet ik hem/haar door middel van een usability test de tests uitvoeren. Ik observeerde hun gedrag (waar klikken ze, waar twijfelen ze, waar lopen ze vast). Ik stelde vervolgvragen via bijvoorbeeld de scamper methode: “Wat mis je?”, “Wat zou je anders willen zien?”, “Wat zou je weglaten?” Ik noteerde de nodige feedback en keek per test wat het vaakste terugkwam.

 

Elke deelnemer kreeg dezelfde (of bijna dezelfde) taken. Daardoor kon ik de resultaten met elkaar vergelijken. Dingen die ik aan de deelnemers vroeg waren:

 

  1. Kies je rol (trainer/ ouder/ teammanager).
  2. Vind informatie: “Wat is Pupillen Futsal en hoe werkt de pilot?”
  3. Vind planning/inschrijving: “Waar zie je wat je moet doen om mee te doen?”
  4. Bekijk vrijwilligersrollen: “Welke rol past bij jou en hoeveel tijd kost het?”
  5. Bekijk communicatie: “Zou je pushmeldingen aanzetten? Waarom wel/niet?”

 

In het vorig hoofdstuk heb ik testkaarten opgesteld gebaseerd op opgestelde hypotheses, zodat ik goed duidelijk had wat ik nou precies wilde testen, en wat het resultaat daarbij moet zijn. (Bijlage 50 t/m 53)

 

 

9.2 Resultaten per onderdeel (wat werkte wél/ niet)

 

9.2.1 Rolfiltering

 

Bij rolfiltering wilde we testen of trainers, ouders en teammanagers die bij het openen van het prototype hun rol selecteren, de informatie als overzichtelijker ervaren dan bij niet-rolgerichte communicatie.

 

Wat werkte goed?

De deelnemers begrepen direct dat ze een functie moesten kiezen aangezien dat het eerste scherm is waar je in komt. Na deze functiekeuze vonden deelnemers de informatie duidelijker omdat ze “alleen kregen wat voor hen relevant was”. Trainer en teammanagers vonden het bijvoorbeeld erg handig dat alleen zij een team konden inschrijven maar ouders vonden het fijn om direct de informatie van het toernooi te zien (waar is het, wat gaat het kosten, hoelang gaat het duren). Zo zagen ze de informatie bij hun functie als relevant.

 

De functie gaf rust en overzicht: deelnemers gaven aan dat dit overzichtelijker was dan alle e-mails die tot nu toe waren gestuurd, omdat je onbelangrijke informatie overslaat en alleen informatie leest wat voor jou bestemt. Deze informatie blijft dan ook beter hangen.

 

Trainers/ teammanagers waren vooral positief omdat zij vaak veel info krijgen en snel willen zien: Welke stappen kunnen wij ondernemen om ons in te schrijven? Of bijvoorbeeld om hoeveel spelers gaat het en voor welke leeftijd. Op deze punten liepen zo voorheen wel is vast maar is nu duidelijker gaven ze aan.

 

Wat werkte niet?

Drie deelnemers twijfelden bij de rolkeuze. Een ouder die ook teammanager is wist dan ook niet meteen wat die moest kiezen. Daarom zei die dat de optie dat ze meerdere rollen hebben een handige is om toe te voegen. Ook zijn de vrijwilligers vaak 1 van de ouders van de kinderen. Twee ouders die ook vrijwilligers zijn gaven daarom aan dat je beter vrijwilliger/ouder ervan kan maken. Zo krijgen de ouders ook direct alle berichten en informatie voor vrijwilligers taken, wat stimulerend kan werken en de deelnemers zien de informatie van vrijwilligerstaken niet als irrelevant. Deze kan je dus gewoon samenvoegen.

 

Verbetering (aanpassing aan prototype)

Een duidelijke optie toegevoegd: “Ik heb meerdere rollen” en rollen samenvoegen (vrijwilliger/ouder)

 

 

KPI’s (invullen)

  • % deelnemers dat rol zelfstandig kiest zonder uitleg: 75% (12 van de 15)
  • Relevantie-score info (cijfer 1–10): 7,5
  • % dat zich opnieuw via de app zou aanmelden: 60% (9 van de 15)

 

 

 

9.2.2 Vrijwilligersrollen:

 

 

Bij de vrijwilligersrollen wilden we testen of trainers, ouders en teammanagers na het bekijken van de vrijwilligersrollen in het prototype beter begrijpen wat er van hen verwacht wordt en of dit de drempel om een vrijwilligersrol op zich te nemen verlaagt.

 

 

Wat werkte goed?

De meeste deelnemers vonden dat de uitleg van de vrijwilligersrollen zo duidelijker was dan hoe dit voorheen werd gecommuniceerd, de persoonlijke belletjes werd niet door iedereen als prettig ervaren. Het aangeven van de taken per rol en daarbij laten zien hoelang dat duurt per rol werd als prettig ervaren. Deelnemers gaven aan dat zij hierdoor beter konden inschatten of een rol bij hen paste en of ze het waard vonden om voor deze rol bijvoorbeeld naar een sporthal te rijden.

 

Ouders vonden het fijn dat ze konden zien dat vrijwilligersrollen vaak klein en overzichtelijk zijn. Dit zorgde ervoor dat sommige ouders aangaven dat het “eigenlijk wel meevalt”. Trainers en teammanagers gaven aan dat zij het fijn vonden dat zij dan niet meer diegene zijn die alle informatie over vrijwilligersrollen moesten delen en opzoek moesten naar vrijwilligers maar dat taken nu duidelijk onderling verdeeld kunnen worden.

Daarnaast gaven een aantal deelnemers aan dat de presentatie van de vrijwilligersrollen hen hielp bij het intern bespreken binnen de vereniging, omdat zij nu duidelijk konden laten zien en vertellen wat er nodig was om deel te kunnen nemen aan Pupillen Futsal.

 

Wat werkte niet?

Een aantal deelnemers gaf aan dat niet altijd duidelijk was welke vrijwilligersrollen echt noodzakelijk zijn en welke optioneel. De taken werden nu verteld in een filmpje alleen wisten ze niet welke het belangrijkste waren.

 

Verbetering (aanpassing aan prototype)

  • Onderscheid aanbrengen tussen verplichte en optionele vrijwilligersrollen

 

KPI’s

  • % deelnemers dat vrijwilligersrollen als duidelijk ervaart: 70% (11 van de 15)
  • % deelnemers dat bereid is een vrijwilligersrol te overwegen: 53% (8 van de 15)
  • Gemiddelde duidelijkheidsscore (1–10): 7,2

 

9.3.3 Pushmeldingen:

 

Bij pushmeldingen wilden wij testen of belangrijke updates beter worden opgemerkt wanneer ze als pushmelding worden aangeboden met alleen relevante informatie voor ingestelde functie.

 

Wat werkte goed?

De meerderheid van de deelnemers gaf aan dat pushmeldingen sneller worden gezien dan e-mails. De teammanagers en trainers gaven aan dat zij e-mails vaak missen of te laat openen, of zelfs helemaal niet ontvangen terwijl pushmeldingen direct opvallen en ook direct bij hen terecht komen dus.

Deelnemers vonden het prettig dat meldingen kort en duidelijk waren en erin stond wat er van hen verwacht werd, zoals een herinnering voor inschrijving of bekendmaking van speelschema. Ook werd aangegeven dat rolgerichte meldingen (alleen relevante updates) fijn zijn omdat je dan direct weet waar je aan toe bent.

 

Wat werkte niet?

Het was niet voor iedereen meteen duidelijk waar en hoe je pushmeldingen kunt instellen. Bij het beginscherm van instellen functie kan je ook meteen pushmeldingen inschakelen, maar omdat mensen gefocust zijn op instellen van hun functie zagen ze het instellen pushmeldingen wel eens over het hoofd.

 

 

 

Verbetering (aanpassing aan prototype)

  • Duidelijk emoji op het beginscherm toevoegen zodat het niet over het hoofd gezien kan worden

 

KPI’s:

  • % deelnemers dat pushmeldingen zou aanzetten: 73% (11 van de 15)
  • % deelnemers dat meldingen effectiever vindt dan e-mail: 80% (12 van de 15)
  • % deelnemers dat aangeeft meldingen ook daadwerkelijk te openen: 67% (10 van de 15)

 

9.3.4 Bereidheid tot deelname

 

Bij dit onderdeel wilden we testen of trainers, ouders en teammanagers na het gebruik van het prototype deelname aan Pupillen Futsal als realistischer en haalbaarder ervaren dan vóór gebruik.

 

Wat werkte goed?

Na het gebruik van het prototype gaven meerdere deelnemers aan dat zij het makkelijker te begrepen vinden wat pupillen futsal nou precies inhoudt omdat alle informatie die je nodig hebt daar te vinden is. Vooral de combinatie van centrale informatie, rolfiltering en duidelijke vrijwilligersrollen zorgde ervoor dat deelnemers aangaven dat de informatie overzichtelijker is. Wat lijd tot dat sommige drempels worden weggenomen waardoor deelname realiseerbaarder voelt.

Verschillende trainers en teammanagers gaven aan dat zij alles nu makkelijker konden bespreken binnen de vereniging. Wanneer mensen bijvoorbeeld informatie nodig hebben kan die gewoon een simpele screenshot sturen, wat up to date is, I.P.V. terugzoeken in de mailbox. Ouders gaven aan dat zij het zo ook fijner vinden. Nu kunnen zij zelf steeds de informatie zoeken i.p.v. dat ze het steeds via de trainer/teammanager moeten navragen, zo voorkom je ook misverstanden wat af en toe nog wel is gebeurd gaf een ouder aan. Twee trainers en twee teammanagers gaven ook nog aan dat de inbreng van de vrijwilligersrollen etc een positieve ontwikkeling is en denkt dat het daarom voor vee teams veel makkelijker te realiseren is. Door de onzekerheid van vrijwilligers en omdat ouders niet precies wisten bij wat ze moesten helpen was het voor hen vaak lastig om zo’n nieuw concept als pupillen futsal uit te leggen. Nu kunnen zij zelf direct zien wat hen te wachten staat waardoor ze verwachten dat er meer clubs zijn die zich geen aanmelden.

 

 

Wat werkte niet?

Drie deelnemers gaven aan dat de vereniging niet zo groot is en nog steeds met een groot vrijwilligerstekort kampt (ouders van de teams helpen bij bijna niks) en daarom blijft deelname lastig, ondanks de verbeterde communicatie, overzichtelijkheid en duidelijk in taken. Dit laat zien dat communicatie kan helpen, maar niet alle organisatorische problemen kan oplossen. Ook gaven deelnemers aan dat een duidelijke call to action (voor inschrijving) kan helpen.

 

KPI’s

  • % deelnemers dat deelname realistischer vindt na gebruik: 60% (9 van de 15)
  • Gemiddelde haalbaarheidsscore vóór vs. na gebruik: 6,0 naar een 7,2 (voor ze gingen testen was de gemiddelde score een 6)
  • % deelnemers waarbij benoemde drempels afnamen: 53% (8 van de 15)

 

Eindproduct (Bijlage 52)

Maak jouw eigen website met JouwWeb