Leap Motion

Leap motion is sensor gespecialiseerd in het volgen van de positie van de handen van de gebruiker en is ontwikkeld voor interactie met een computer op basis van handgebaren. Deze post zal kort de Leap motion bespreken, en hoe deze gebruikt kan worden binnen de reeds ontwikkelde applicatie.

De leap motion sensor is een klein rechthoekig apparaat dat op het bureau van de gebruiker geplaatst wordt op de plaats van het toetsenbord, of net voor het toetsenbord. De sensor detecteert dan de positie van de handen van de persoon wanneer deze zijn handen boven de sensor houdt.

De sensor kan tot 2 handen volgen, en de positie van de vingers hiervan bepalen. Het detecteert elke vinger appart wanneer deze elkaar niet raken, en detecteert ook welke vingers al dan niet gestrekt zijn.

Voor het gebruik van de Leap motion in mijn thesis is een applicatie vereist die toelaat de ontwikkelde applicatie te bedienen met de Leap Motion. Hiervoor zijn een aantal mogelijkheden. Ten eerste is er een applicatie beschikbaar voor windows en mac die toelaat de computer te besturen met de Leap Motion. Verder zijn er ook een paar TUIO converters die de positie van de vingers doorsturen via het TUIO Protocol.

Windows Touchless

Windows touchless is een applicatie die gratis beschikbaar is in de airspace store (de winkel voor Leap motion applicaties). Deze applicatie laat toe om de computer de besturen met de leap motion. Hiervoor zijn een aantal handgebaren beschikbaar. Verder biedt het de mogelijkheid voor eenvoudige tracking, of geavanceerde tracking. eenvoudige tracking toont steeds slechts 1 vinger per hand die gevolgd wordt. Geavanceerde tracking volgt alle vingers van de hand van de gebruiker.
De applicatie kan de positie van de applicatie gebruiken wanneer geavanceerde tracking gebruikt wordt. Hierbij worden dan de posities van alle vingers van de gebruiker weergegeven en kan de gebruiker alle vingers gebruiken voor het gebruiken van de applicatie.

TUIO Converter

Een aantal TUIO converters zijn beschikbaar voor de leap motion. Tijdens het testen van de mogelijkheden van de leap motion zijn hiervoor 2 converters getest geweest, namelijk LeapServer en mmtt_leap. Beide applicaties volgen de positie van de handen van de gebruiker, en sturen deze informatie door via het TUIO protocol. Deze applicaties zijn echter ontwikkeld tijdens de testfase van de Leap motion, voordat er volledige ondersteuning was voor het bedienen van een computer gebruik makende van Leap motion. Hierdoor zijn de TUIO converters niet meer up-to-date met huidige software van Leap motion. Dit had tot gevolg dat beide converters problemen vertoonde bij het correct tracken van de vingers van de gebruiker. Hierom zal de Windows Touchless applicatie gebruikt worden voor de implementatie.

Advertisements

huidige status

reeds uitgevoerd werk:

  • literatuurstudie
  • interactiemogelijkheden kinect bestudeerd
  • systeem gebouwd voor interactie mbv kinect
  • nauwkeurigheidstesten kinect uitgevoerd
  • applicatie gemaakt voor kinect en Ipad
  • applicatie getest met kinect en Ipad en resultaten vergeleken

nog uit te voeren werk

  • nauwkeurigheidstesten met Ipad om ook te vergelijken met kinect
  • thesistext schrijven

vergelijking kinect en ipad

Na de testen die uitgevoerd zijn gebruik makende van de Kinect en de Ipad is gebleken dat het gebruik van een Ipad zorgt voor een hogere SUS score vergeleken met de Kinect. Hieronder zal ik bespreken waarom dit voorkomt en hoe dit eventueel verbeterd zou kunnen worden.

Een eerste probleem met het gebruik van kinect met hand tracking voor de interactie is de nauwkeurigheid van het tracken en het uitvoeren van acties. Een eerste vorm van onnauwkeurigheid doet zich voor bij de camera en het tracken van de handen. Dit zorgt dat er (lichte) ruis zit op de markers die gezien wordt door de applicatie, ook al houdt de gebruiker zijn handen stil.
Een tweede vorm van onnauwkeurigheid doet zich voor bij de het gebruik van handgebaren in de lucht voor het uitvoeren van acties vergeleken met acties op een touch pad. Dit werd ook bevestigd in een studie van Wolfgang Hürst & Casper van Wezel waar onder andere gestures in de lucht vergeleken worden met gestures gebruik makende van een touch screen.

Een tweede probleem dat voorgekomen is in het gebruikte systeem voor het tracken van handen gebruik makende van de kinect is de moeilijkheid van het tracken van de handen van de gebruiker om acties uit te voeren op objecten die aan de rand van het scherm gelegen zijn. Dit is gebleken uit zowel de nauwkeurigheidstesten als de testen van de uiteindelijke applicatie.

mogelijke oplossingen

Een oplossing voor de ruis die zich voordoet bij het tracken van de handen in het huidige systeem kan door ofwel, de software, ofwel de hardware, ofwel beide te verbeteren. Vermits momenteel de xbox kinect gebruikt wordt zou een verbetering hierop de windows kinect, of windows kinect 2.0 zijn. De software die gebruikt wordt voor het tracken van gestures kan ook verbeterd worden. Momenteel wordt een eenvoudige afstandsfilter gebruikt waarbij alles binnen een bepaalde zone wordt aanzien als een doelwit dat getrackt wordt. Mogelijk kunnen ruis filters op de data gebruikt worden om de ruis van de input te verminderen. Verder kunnen meer geavanceerde technieken gebruikt worden voor het tracken van handen die zorgen voor een grotere nauwkeurigheid van de tracking, en voor een grotere flexibiliteid op basis van mogelijke gestures. Een aantal voorbeelden zijn bijvoorbeeld de FORTH hand tracking software of de SoftKinetic IISU Middleware. Hiervoor is echter ook een verbetering van de hardware nodig vermits deze software de xbox kinect niet ondersteunt.

Om het tweede probleem op te lossen is een betere calibratie nodig van de gebruikte ruimte door de gebruiker. Momenteel wordt het volledige veld van de camera gebruikt zodat een hand links onder in het gezichtsveld van de camera overeenkomt met een pointer links onder op het scherm. Dit kan verbeterd worden door een bepaalde zone rond de gebruiker te gebruiken in plaats van het volledige gezichtsveld.
Verder kan de tracking ook verbeterd worden door de de filter die de camera gebruikt te verbeteren van een simpele afstandsfilter naar een actief vlak, of een actieve zone in de 3d ruimte rond de gebruiker waarbij dan nog steeds alles wat buiten deze zone komt getrackt wordt. Deze verbetering werd ook al voorgesteld door de ontwikkelaar van de TUIO kinect software, maar is niet geïmplementeerd geweest.

Evaluatie tweede testen bij GTSM

De eerste test van de applicatie maakte gebruik van Kinect, en liet studenten van 16 jaar een aangepaste les fysica volgen in verband met het onderwerp zwaartepunt. Voor deze tweede test krijgt een andere klas studenten van dezelfde leeftijd dezelfde les, ook gebruik makende van de applicatie. Hier is het input device echter een tablet in plaats van Kinect.

Tablet als input

Vermits de applicatie geschreven is in Java, en de meeste tablets standaard geen Java applicaties kunnen uitvoeren, is er gekozen om de applicatie te laten uitvoeren op een laptop, welke het beeld toont op groot scherm via een projector. De tablet stuurt dan data in verband met gebaren door naar de applicatie om zo de applicatie van op afstand te besturen. Hiervoor zijn een aantal applicaties bekeken. Ten eerste zijn applicaties bekeken die gemaakt zijn om een computer vanop afstand te besturen, onder deze categorie vallen applicaties als Teamviewer, SplashTop remote desktop, LogMeIn. Deze applicaties dupliceren het scherm van de pc, en sturen informatie door ivm de gestures die de ipad ontvangt om zo de pc te besturen. Verder zijn applicaties getest die het scherm van de pc uitbreiden, en toelaten de computer te bedienen hiermee. onder deze categorie vallen applicaties als Splashtop XDisplay. Al deze applicaties waren in staat om de applicatie weer te geven tijdens het uitvoeren. Deze applicaties waren echter ofwel niet in staat om informatie in verband met gestures door te sturen voor gebruik in de java applicatie, ofwel enkel in staat om informatie door te sturen voor gestures met één vinger. Geen enkele van deze applicaties liet het uitvoeren van multitouch gestures toe in de Java applicatie. Ten slotte is de applicatie TuioPad getest. Deze applicatie stuurt gestures door via het TUIO protocol, en laat op die manier het besturen van de applicatie toe. Het enige nadeel van deze applicatie is het niet weergeven van de applicatie op het scherm van de ipad.

Testen

De manier waarop de testen uitgevoerd zijn is dezelfde als bij het uitvoeren van de eerste testen bij GTSM. Hierom zal ik in deze post enkel het gebruik van de applicatie met de ipad bespreken.

  • De studenten hadden een zeer korte tijd nodig om het besturen van de applicatie gewoon te raken. Dit zorgde dat na een periode van 10-15 seconden met de applicatie gewerkt te hebben, de studenten zelden nog een actie verkeerd uitgevoerd werd.
  • Eenmaal de studenten doorhadden hoe een object te roteren of herschalen (na een 4-tal pogingen), lukte dit zonder problemen bij andere objecten. Dit in tegenstelling met het gebruik van de kinect, waar dit moeilijk bleef voor de gebruikers
  • Het toevoegen van objecten met behulp van de knoppen ging vrij vlot, hoewel de eerste gebruiker, wanneer hij gevraagd werd om een vierkant op het scherm te zetten, eerst gewoon een vierkant tekende en niet de knoppen gebruikte. Af en toe werden echter wel nog een verkeerd object getekend doordat de vinger net iets te veel naar links of rechts stond bij het starten van de gesture.
  • In tegenstelling tot het gebruik van de kinect had deze applicatie geen problemen met dingen die in de hoeken geplaatst staan, hierdoor ging het verwijderen van objecten, of het gebruiken van de slider voor het hoger/lager zetten van zwaartekracht zonder problemen.
  • Wanneer er een actie uitgevoerd wordt die een hoge nauwkeurigheid vereist, waren er wat problemen door lichte ruis aanwezig bij het gebruik van de ipad. Dit zorgde dat wanneer objecten voorzichtig versleept moesten worden, de objecten niet altijd deden wat de gebruiker wenste.

Na het uitvoeren van de testen werd er aan de studenten ook gevraagd om een SUS questionnaire in te vullen in over de applicatie. De scores hieronder zijn de antwoorden van 8 studenten die de applicatie gebruikt hebben tijdens de les.

SUS Score tweede test (enkel studenten)

Wanneer deze scores bekeken worden zijn de vragen die het slechtste scoren vraag 6 en vraag 9. Dit geeft aan dat er nog verbeteringen mogelijk zijn om de gebruikers vermits gebruikers wat onzeker zijn bij het gebruik van de applicatie. Verder hebben de gebruikers het gevoel dat er wat inconsistentie in de applicatie zit.
Wanneer hiervoor een SUS score berekend wordt, geeft dit een score van 79. Dit is een veel betere score dan wanneer de kinect gebruikt werd als input device. om een vergelijking te geven zijn beide scores aangeduid op de SUS schaal hieronder.

SUS Score tweede test

Feedback

Tijdens de les gebruik makende van de applicatie leken de studenten enthousiast om de applicatie te gebruiken. Vermits er echter wordt omgegaan met studenten moet er opgelet worden dat de studenten niet te veel met de applicatie zelf omgaan en nog steeds de aandacht houden bij het doel van de les. In dit opzicht stelde de leerkracht voor om een soort pauze knop in te voeren zodat de applicatie tijdelijk uitgezet kan worden wanneer er bepaalde dingen uitgelegd worden die niet gebruik maken van de applicatie. Behalve deze opmerking was de leerkracht echter enthousiast over het gebruik van de applicatie tijdens de les, en vond hij dat het gebruik van dit soort toepassing zeker een educatieve waarde had. Dit soort toepassingen is echter wel enkel nuttig wanneer een onderwerp besproken wordt dat goed gevisualiseerd kan worden, hierom zijn niet alle onderwerpen even geschikt.

future plan.

Voor de huidige implementatie van de applicatie wordt een interface gebruikt op basis van de Kinect, en is al een evaluatie gemaakt door target users de applicatie te laten gebruiken en de usability te testen.

Om verder een goed beeld te krijgen van de usability van de interface zal ik deze vergelijken met andere interfaces die veel gebruikt worden. Ten eerste zal de applicatie aangepast worden om te gebruiken met een touch pad, zoals veel gebruikt wordt bij laptops. Hierna zal de applicatie aangepast worden voor gebruik op een tablet. Het grote verschil hierbij is de beschikbaarheid van visuele feedback. Bij de tabled is de interface direct gelegen boven het scherm waarop de informatie weergegeven wordt, wat bij een touch pad niet zo is.

De testen gaan bestaan uit een aantal taken voor de gebruiker om uit te voeren. Deze taken zijn dezelfde voor de verschillende interfaces. Tijdens de test wordt er geobserveerd ofdat er moeilijkheden zijn, en zal er worden gekeken ofdat deze ook voorkomen bij de andere interfaces. Tenslotte zal de gebruikers gevraagd worden hun bevindingen te geven en een SUS questionnaire in te vullen. De scores van deze SUS questionnaire kunnen dan nadien vergeleken worden tussen de verschillende interfaces.

Het doel van deze testen is het vaststellen van data in verband met de usability van de verschillende interfaces bij het gebruik van de geschreven applicatie om zo conclusies te trekken over de usability van de kinect als interface bij het gebruik van de applicatie. Hoewel dit geen conclusies kan geven over alle applicaties die met de kinect gemaakt kunnen worden, kan het wel informatie geven over de interface voor gebruik in applicaties met gelijkaardige gestures.