H8 - Testopzet maken (LLO business development)

8.1 Testplan:

Voor het ontwikkelde prototype wordt een testplan gemaakt om het prototype te valideren onder de doelgroep. Dit testplan wordt uitgevoerd door middel van een usability test, met de build measure – learn methoden. Met dit testplan wordt vastgesteld hoe het prototype getest gaat worden, bij wie, met welk doel en hoe het effect gemeten wordt. Het prototype wordt aan de hand van concrete feedback steeds verbeterd. Met het testplan wil ik erachter komen hoe het gebruiksgemak wordt ervaren. Voordat het prototype getest wordt onder de doelgroep, is die eerst gevalideerd bij collega’s eerder in het onderzoek. Dit voorkomt onduidelijkheden in de testopzet en vergroot het draagvlak voor de uitvoering.

 

Het testplan wordt uitgevoerd op Zaterdag 27 December bij de doelgroep in sporthal Rozenburcht. Op deze dag zijn er verschillende verenigingen aanwezig omdat deze meedoen aan de pilot Pupillen Futsal. Hierdoor zijn alle betrokkenen, die nodig zijn om het prototype te testen, aanwezig. Zo kan ik hier nuttige feedback uit ophalen voor de ontwikkeling van het prototype en het zo te ontwikkelen dat het zo inspeelt op de behoeften van de doelgroep, zodat het straks ook echt zo gebruikt kan worden. Ik wil nadrukkelijk testen bij de trainers, ouders & teammanagers van de verenigingen. Dit zijn de mensen die straks het meest te maken gaan krijgen met de nieuwe functionaliteiten, omdat zij uiteindelijk degene zijn die bepalen of hun kind meedoet. Hun feedback is dus het meest waardevol voor mij om erachter te komen of ze de nieuwe functionaliteiten ook daadwerkelijk als een waardevolle toevoeging zien. Zij kunnen mij concreet laten zien welke functies ze dus echt waardevol vinden en het eventueel zo te verbeteren dat het direct impact maakt.

 

 

Wat wordt er precies getest?

 

In deze testfase wordt gekeken of het prototype daadwerkelijk de problemen oplost die in het eerdere onderzoek zijn vastgesteld. Er wordt minder gekeken naar de technische werking, maar op gebruik, begrijpelijkheid en effect op gedrag van verenigingen en vrijwilligers. Dit wordt getest door middel van een usabillaty test, door gebruikers de app te geven en ze hem zelf te laten gebruiken. Ik stel in de tussentijd vragen via de scamper methode, die eerder ook al zijn gebruikt bij collega’s om nieuwe ideeën te genereren en luister goed wat voor feedback ze geven en schrijf de belangrijkste punten op, om tot een uiteindelijk product te komen. Om achter de belangrijkste dingen te komen worden er hypotheses opgesteld.

 

 

Rolfiltering:

Als eerste wordt er getest of de rolgerichte filtering binnen het prototype werkt zoals bedoeld. Gebruikers krijgen bij het openen van de app de mogelijkheid om te filteren op rol. Daarna wordt er getest of de juiste informatie per rol erin staat waarop wordt geselecteerd. Dit onderdeel wordt getest omdat uit het onderzoek naar voren kwam dat irrelevante informatie (per rol) niet wordt gelezen en daardoor ook de vervolgberichten worden overgeslagen. Door te testen of gebruikers de informatie als overzichtelijk en belangrijk ervaren, kan worden vastgesteld of deze filter daadwerkelijk zorgt voor minder informatie overload en het de juiste personen binnen de vereniging bereikt.

 

 

Vrijwilligersrollen:

Ook wordt gekeken hoe gebruikers de presentatie van vrijwilligersrollen ervaren. Hierbij wordt gekeken of de taken, tijdsinvestering en verwachtingen per rol duidelijk zijn en of ze de invulling van taken, over de wedstrijd dagen, makkelijk en overzichtelijk vinden. Dit is een belangrijk testonderdeel omdat uit eerder onderzoek bleek dat onduidelijkheid over vrijwilligers een grote drempel kan zijn om deel te nemen aan Pupillen Futsal. Door te testen of gebruikers beter begrijpen wat er van hen wordt verwacht, en dan ook eerder vrijwilligers rollen op zich zal nemen kan worden bepaald of deze drempel daadwerkelijk wordt verlaagd en deze toevoeging nut heeft.

 

Pushmeldingen:

Verder wordt getest of pushmeldingen aan zouden worden gezet door de gebruikers en ook effectiever zijn dan de huidige e-mailcommunicatie. Gebruikers ontvangen in het prototype meldingen over inschrijving, planning en vrijwilligersrollen. Dit wordt getest omdat eerder onderzoek liet zien dat een groot deel van de e-mails niet werd gelezen, of terecht kwamen bij de verkeerde contactpersonen binnen de vereniging. Door te meten of gebruikers pushmeldingen aan willen zetten en ook zullen lezen, kan worden vastgesteld of deze toevoeging impact heeft op het gedrag van de gebruikers.

 

Eindresultaat:

Tot slot wordt getest of het prototype bijdraagt aan een hogere bereidheid om deel te nemen aan Pupillen Futsal. Na gebruik van het prototype wordt gebruikers gevraagd of de nieuwe ontwikkelen positief worden ervaren en of zij daardoor ook weer eerder zouden deelname realistischer en haalbaarder zijn. Dit testonderdeel is erg belangrijk omdat het uiteindelijke doel van de ontwikkelingen zijn om meer verenigingen en teams te laten deelnemen, zonder dat de KNVB moet opschalen in het personeel en de verenigingen hierbij zo goed mogelijk te ondersteunen.

 

Door al deze functies te testen, wordt inzicht verkregen in de mate waarin het prototype de vastgestelde problemen rondom gebrekkige communicatie, informatie-overload en vrijwilligersdrempels vermindert. Met deze feedback kan het prototype zo verder worden ontwikkeld om het maximale resultaat eruit te halen.

 

 

 

8.2 Hypotheses testplan:

 

Om te toetsen of het minimum viable product daadwerkelijk helpt het probleem op te lossen zijn 4 hypotheses opgesteld. Deze hypotheses zijn zo geformuleerd dat het direct aansluit om te toetsen of daarmee het reframed problem opgelost kan worden. De focus ligt daarom niet op technische werking, maar op gebruik, gemak, overzichtelijkheid en effect op gedrag.

Ze richten zich op de onderdelen die volgens het onderzoek het meeste impact hebben, namelijk overzicht, relevantie van informatie, duidelijkheid over vrijwilligersrollen en zichtbaarheid van communicatie. Dit zijn ook de onderdelen waar voor verenigingen de grootste drempel ligt om wel of niet deel te nemen.

 

Met deze hypotheses wordt onderzocht of het MVP daadwerkelijk zorgt voor minder informatie-overload, meer overzichtelijkheid en een lagere organisatorische drempel voor verenigingen zelf. Het doel is om vast te stellen of verenigingen het aanbod beter, duidelijker en beter georganiseerd vinden en daardoor eerder bereid zijn om deel te nemen.

 

 

Hypothese 1: Rolfiltering (Bijlage 48)

Hypothese: Wij geloven dat trainers, ouders en teammanagers die bij het openen van het prototype hun rol selecteren, de informatie als relevanter en overzichtelijker ervaren dan bij niet-rolgerichte communicatie.

 

KPI’s / metrics

  • Relevantiescore per rol (beoordeling van getoonde informatie)
  • Aantal opmerkingen over irrelevante informatie
  • Intentie om de app opnieuw te gebruiken

 

Succescriteria

  • Minimaal 75% van de informatie wordt als relevant beoordeeld
  • Gemiddelde relevantiescore hoger dan een 7
  • Minimaal 20% van de gebruikers geeft aan de app opnieuw te willen gebruiken

 

Hypothese 2: Vrijwilligersrollen (Bijlage 49)

Hypothese: Wij geloven dat de bereidheid om een vrijwilligersrol op zich te nemen toeneemt wanneer taken, tijdsinvestering en verwachtingen duidelijk worden uitgelegd binnen het prototype.

 

KPI’s / metrics

  • Percentage gebruikers dat taken als duidelijk beoordeelt
  • Percentage gebruikers dat aangeeft bereid te zijn te helpen
  • Inschatting van tijdsinvestering (begrip van rol)

 

Succescriteria

  • Minimaal 70% vindt de uitleg van rollen duidelijk
  • 50% of meer geeft aan bereid te zijn een rol op zich te nemen
  • Minimaal 25% geeft aan de app te willen gebruiken voor aanmelding

 

Hypothese 3: Pushmeldingen (Bijlage 50)

Hypothese: Wij geloven dat belangrijke updates beter worden opgemerkt wanneer deze via pushmeldingen worden aangeboden met alleen rolrelevante informatie, dan via e-mailcommunicatie.

 

KPI’s / metrics

  • Percentage gebruikers dat aangeeft meldingen te openen
  • Percentage gebruikers dat meldingen wil ontvangen
  • Percentage gebruikers dat actie onderneemt na het lezen

 

Succescriteria

  • Minimaal 80% opent de melding
  • Minimaal 70% wil meldingen blijven ontvangen
  • Minimaal 50% onderneemt actie na het lezen van de melding

 

Hypothese 4: Bereidheid tot deelname (Bijlage 51)

Hypothese: Wij geloven dat trainers, ouders en teammanagers na het gebruik van het prototype deelname aan Pupillen Futsal als realistischer en haalbaarder ervaren dan vóór gebruik van het prototype.

 

KPI’s/ metrics

  • Verschil in bereidheid tot deelname vóór en na gebruik van het prototype
  • Beoordeling van haalbaarheid van deelname (rapportcijfer)
  • Aantal benoemde drempels vóór en na gebruik

 

Succescriteria

  • Minimaal 60% van de gebruikers geeft aan dat deelname realistischer aanvoelt na gebruik
  • Gemiddelde haalbaarheidsscore stijgt met minimaal 1 punt
  • Het aantal benoemde drempels neemt af bij minimaal 50% van de gebruikers