TraKERS (Tracking using Kinect and Extracting Robust Skeletons) est une interface basée sur la détection de gestures / positions du squelette envoyé par le SDK Microsoft (1.0) de Kinect.

Auteur : Alexandre BASTIEN.

I) TraKERS - Eléments requis :

Les spécifications de Microsoft font état des éléments matériels et logiciels requis afin de pouvoir utiliser le SDK :

Besoins matériels :

    Capteur Kinect.

    Processeur32-bit (x86) ou 64-bit (x64).

    Dual-core 2.66-GHz ou plus rapide.

    Bus USB 2.0 dédié.

    2 GB RAM.

Besoins logiciels :

    Microsoft® Visual Studio® 2010 Express ou une autre édition de Visual Studio 2010 (si vous souhaitez développer).

    Windows 7.

    NET Framework 4.0.

Vous les trouverez ici si vous le souhaitez : http://www.microsoft.com/en-us/kinectforwindows/develop/release-notes.aspx

La version 4.0 du Framework est présente dans l'installation de TraKERS.

Néanmoins, par soucis de taille de l'installeur, il vous sera nécessaire d'installer le SDK 1.0 de Microsoft ici :

http://www.microsoft.com/en-us/kinectforwindows/develop/overview.aspx

II) TraKERS - Structure :

TraKERS v1.0 est composé de deux modules, le Middleware (utilisant la Kinect afin de détecter des gestes et de suivre la position des mains et le Front (développé en Processing), permettant de récupérer les messages OSC du Middleware. Pour plus d'informations sur le Front, veuillez consulter la documentation située dans le dossier Front Processing.

Afin de permettre au Middleware d'envoyer des messages au Front, un client TUIO a été installé dans le Front et un serveur TUIO dans le Middleware.

Le middleware dispose d'une interface de debug permettant de connaître en temps réel la position de l'utilisateur à la Kinect. Ces fonctionnalités seront vues plus avant dans la partie Utilisation.

Les sources des modules sont fournies lors de l'installation, n'hésitez pas à les consulter si besoin est.

III) TraKERS - Utilisation :

Vous pouvez démarrer le Middleware ou bien le Front dans l'ordre que vous voulez.

Lorsque le Middleware est démarré, la Kinect ne s'allume pas encore. Il faut pour cela appuyer sur le bouton ON en bas de la fenêtre de debug. Le capteur (situé le plus à gauche sur la Kinect) va alors s'allumer en rouge, signe que vous serez détecté si vous entrez dans son champ.

Lorsque le bouton a été appuyé, il devient un bouton OFF, et permet d'éteindre la Kinect. Il est à noter que le fait de fermer la fenêtre ou de quitter via le menu éteignent également le capteur de la Kinect, avant de quitter.

(Plus de détails sur la Kinect : http://fr.wikipedia.org/wiki/Kinect).

Lorsque vous êtes détectés, le squelette de la personne la plus proche s'affiche. Les rectangles sur la droite indiquent la proximité de l'utilisateur par rapport à la Kinect, lorsque l'utilisateur est à moins de 1m, le rectangle du haut est rouge ; entre 1m et 2m, le second est orange ; entre 2m et 3m, le troisième est jaune et au delà de 3m, le dernier rectangle est blanc.

Il existe une zone de détection des mains, située par défaut entre 1m et 1,5m de la Kinect mais configurable. En dehors de cette zone, les mains sont toujours détectées, mais aucun signal n'est envoyé via le serveur TUIO. Il y a deux rectangles en haut de cette fenêtre, permettant d'indiquer si une main est entrée dans ce champ (main gauche/droite dans le champ se traduit par la coloration du rectangle gauche/droit en bleu, et par l'affichage en pixels des coordonnées de la main (sauf pour la profondeur, qui est en mètres).

Il est possible de paramétrer des éléments du Middleware, comme la délimitation du champ pour les mains, le host et le port pour le serveur et l'intervalle de temps minimum qui sépare deux détections de gestes.

Si des erreurs surviennent durant le fonctionnement du Middleware, ceux-ci seront affichés en bas de la fenêtre. Lorsqu'un geste est détecté, une couleur est affichée en bas de la fenêtre, au niveau des exceptions. Pour des raisons de lisibilité au niveau de la détection, la couleur restera affichée tant que la main gauche sera dans le champ. Autrement, la couleur apparaîtra, puis disparaîtra.

A) Position des mains :

Lorsqu'au moins une main entre dans le champ, ses/leurs coordonnées sont envoyées par le serveur au front. Si le front n'est pas lancé, il n'y aura pas d'erreur.

B) Détection de gestes :

Pour l'instant, plusieurs gestes peuvent être détectés :

    SWIPE - Désigne un mouvement de claque horizontal, partant de la droite vers la gauche avec la main droite (et inversement pour la gauche). Durant le geste, la main ne doit pas descendre sous la hanche ni aller au dessus de la tête. Il lui faut une certaine longueur de parcours et elle ne doit aller que vers la gauche pour la main droite et vers la droite pour la main gauche. Le swipe peut donc être pour l'instant gauche ou droit.

    Lorsque ce geste est détecté, le bas de la fenêtre se colore en rouge si le swipe est vers la gauche.

    Lorsque ce geste est détecté, le bas de la fenêtre se colore en violet si le swipe est vers la droite.

    PUSH/PULL - Mouvement de poussée/traction rectiligne dirigé vers la kinect à partir de l'emplacement actuel de la main effectuant le geste.

    Lorsque ce geste est détecté, le bas de la fenêtre se colore en blanc s'il s'agit d'un push.

    Lorsque ce geste est détecté, le bas de la fenêtre se colore en noir s'il s'agit d'un pull.

    En développement :

        JUMP - Action de sauter vers le haut.

IV) Mention(s) importante(s) pour le debug :

Il semblerait que l'implémentation actuelle de TUIO dans ce projet ne gère pas le multi-client.

Par conséquent, le premier client Processing à se connecter au Middleware est le seul à recevoir des messages.

Si vous expérimentez des difficultés ou souhaitez me soumettre une requête, voici mon adresse : alexandre.bastien@iri.centrepompidou.fr