Evaluatie tweede testen bij GTSM

De eerste test van de applicatie maakte gebruik van Kinect, en liet studenten van 16 jaar een aangepaste les fysica volgen in verband met het onderwerp zwaartepunt. Voor deze tweede test krijgt een andere klas studenten van dezelfde leeftijd dezelfde les, ook gebruik makende van de applicatie. Hier is het input device echter een tablet in plaats van Kinect.

Tablet als input

Vermits de applicatie geschreven is in Java, en de meeste tablets standaard geen Java applicaties kunnen uitvoeren, is er gekozen om de applicatie te laten uitvoeren op een laptop, welke het beeld toont op groot scherm via een projector. De tablet stuurt dan data in verband met gebaren door naar de applicatie om zo de applicatie van op afstand te besturen. Hiervoor zijn een aantal applicaties bekeken. Ten eerste zijn applicaties bekeken die gemaakt zijn om een computer vanop afstand te besturen, onder deze categorie vallen applicaties als Teamviewer, SplashTop remote desktop, LogMeIn. Deze applicaties dupliceren het scherm van de pc, en sturen informatie door ivm de gestures die de ipad ontvangt om zo de pc te besturen. Verder zijn applicaties getest die het scherm van de pc uitbreiden, en toelaten de computer te bedienen hiermee. onder deze categorie vallen applicaties als Splashtop XDisplay. Al deze applicaties waren in staat om de applicatie weer te geven tijdens het uitvoeren. Deze applicaties waren echter ofwel niet in staat om informatie in verband met gestures door te sturen voor gebruik in de java applicatie, ofwel enkel in staat om informatie door te sturen voor gestures met één vinger. Geen enkele van deze applicaties liet het uitvoeren van multitouch gestures toe in de Java applicatie. Ten slotte is de applicatie TuioPad getest. Deze applicatie stuurt gestures door via het TUIO protocol, en laat op die manier het besturen van de applicatie toe. Het enige nadeel van deze applicatie is het niet weergeven van de applicatie op het scherm van de ipad.

Testen

De manier waarop de testen uitgevoerd zijn is dezelfde als bij het uitvoeren van de eerste testen bij GTSM. Hierom zal ik in deze post enkel het gebruik van de applicatie met de ipad bespreken.

• De studenten hadden een zeer korte tijd nodig om het besturen van de applicatie gewoon te raken. Dit zorgde dat na een periode van 10-15 seconden met de applicatie gewerkt te hebben, de studenten zelden nog een actie verkeerd uitgevoerd werd.
• Eenmaal de studenten doorhadden hoe een object te roteren of herschalen (na een 4-tal pogingen), lukte dit zonder problemen bij andere objecten. Dit in tegenstelling met het gebruik van de kinect, waar dit moeilijk bleef voor de gebruikers
• Het toevoegen van objecten met behulp van de knoppen ging vrij vlot, hoewel de eerste gebruiker, wanneer hij gevraagd werd om een vierkant op het scherm te zetten, eerst gewoon een vierkant tekende en niet de knoppen gebruikte. Af en toe werden echter wel nog een verkeerd object getekend doordat de vinger net iets te veel naar links of rechts stond bij het starten van de gesture.
• In tegenstelling tot het gebruik van de kinect had deze applicatie geen problemen met dingen die in de hoeken geplaatst staan, hierdoor ging het verwijderen van objecten, of het gebruiken van de slider voor het hoger/lager zetten van zwaartekracht zonder problemen.
• Wanneer er een actie uitgevoerd wordt die een hoge nauwkeurigheid vereist, waren er wat problemen door lichte ruis aanwezig bij het gebruik van de ipad. Dit zorgde dat wanneer objecten voorzichtig versleept moesten worden, de objecten niet altijd deden wat de gebruiker wenste.

Na het uitvoeren van de testen werd er aan de studenten ook gevraagd om een SUS questionnaire in te vullen in over de applicatie. De scores hieronder zijn de antwoorden van 8 studenten die de applicatie gebruikt hebben tijdens de les.

Wanneer deze scores bekeken worden zijn de vragen die het slechtste scoren vraag 6 en vraag 9. Dit geeft aan dat er nog verbeteringen mogelijk zijn om de gebruikers vermits gebruikers wat onzeker zijn bij het gebruik van de applicatie. Verder hebben de gebruikers het gevoel dat er wat inconsistentie in de applicatie zit.
Wanneer hiervoor een SUS score berekend wordt, geeft dit een score van 79. Dit is een veel betere score dan wanneer de kinect gebruikt werd als input device. om een vergelijking te geven zijn beide scores aangeduid op de SUS schaal hieronder.

Feedback

Tijdens de les gebruik makende van de applicatie leken de studenten enthousiast om de applicatie te gebruiken. Vermits er echter wordt omgegaan met studenten moet er opgelet worden dat de studenten niet te veel met de applicatie zelf omgaan en nog steeds de aandacht houden bij het doel van de les. In dit opzicht stelde de leerkracht voor om een soort pauze knop in te voeren zodat de applicatie tijdelijk uitgezet kan worden wanneer er bepaalde dingen uitgelegd worden die niet gebruik maken van de applicatie. Behalve deze opmerking was de leerkracht echter enthousiast over het gebruik van de applicatie tijdens de les, en vond hij dat het gebruik van dit soort toepassing zeker een educatieve waarde had. Dit soort toepassingen is echter wel enkel nuttig wanneer een onderwerp besproken wordt dat goed gevisualiseerd kan worden, hierom zijn niet alle onderwerpen even geschikt.