trakers: comparison middleware/src/Tracking/KinectMain.cs

equal deleted inserted replaced

-:11234537653b
+:92f19af39024
 /*
-* Projet : KINECT PROJECTS
+* Projet : TraKERS
 * Module : MIDDLEWARE
 * Sous-Module : Tracking
 * Classe : KinectMain
 *
 * Auteur : alexandre.bastien@iri.centrepompidou.fr
 using Trakers.Communication;
 using System.IO;
 using Trakers.Tracking.Gestures;
 using Trakers.Tracking.Events;
 using System.Configuration;
-using Kinect.Toolbox;
+using System.Resources;
+using System.Reflection;
 namespace Trakers.Tracking
 {
 //Il s'agit des fonctions permettant d'appeler les fonctions des événements Main droite/gauche entre/quitte le champ.
 public delegate void LeftHandTrackedHandler(object o, LeftHandTrackedEventArgs e);
 public delegate void RightHandTrackedHandler(object o, RightHandTrackedEventArgs e);
 public delegate void LeftHandQuitHandler(object o, LeftHandQuitEventArgs e);
 public delegate void RightHandQuitHandler(object o, RightHandQuitEventArgs e);
-//Il s'agit des fonctions permettant d'appeler les fonctions des événements Swipe left/right/up/down.
+//Il s'agit de la fonction permettant d'appeler les fonctions des événements Swipe left/right/up/down.
 public delegate void SwipeHandler(object o, SwipeEventArgs e);
+//Il s'agit de la fonction permettant d'appeler les fonctions des événements Push/Pull.
+public delegate void PushHandler(object o, PushEventArgs e);
+//Il s'agit de la fonction permettant d'appeler les fonctions des événements Jump.
+public delegate void JumpHandler(object o, JumpEventArgs e);
 public class KinectMain
 {
+//Gestionnaire de ressources.
+private ResourceManager rm;
 //Fenêtre de debug.
 private Debug.DebugWindow debug;
 //Squelettes (Il y en a 6 par défaut).
 private Skeleton[] skeletons;
 //Caméra infrarouge (sensor) de la Kinect.
 private KinectSensor kinectSensor;
-//Détecteur de gestes.
+//Détecteur de swipes.
 private SwipeDetector swipeDetector;
+//Détecteur de pushes.
+private PushDetector pushDetector;
+//Détecteur de jumps.
+private JumpDetector jumpDetector;
 //Distances min/max délimitant le champ de recherche.
 private float minDistHands;
 private float maxDistHands;
+//Temps de rafraichissement pour le timer (Détection de gesture dans le serveur TUIO).
+private int timerElapsing;
 //Serveur TUIO pour la connexion du Middleware vers le Front Atelier.
 private Server server;
 //Les événements des mains pour la recherche.
 public static event LeftHandTrackedHandler LeftHandTrackedEvent;
 public static event RightHandTrackedHandler RightHandTrackedEvent;
 public static event LeftHandQuitHandler LeftHandQuitEvent;
 public static event RightHandQuitHandler RightHandQuitEvent;
-//Les événements swipe.
+//L'événement swipe.
 public static event SwipeHandler SwipeEvent;
+//L'événement push.
+public static event PushHandler PushEvent;
+//L'événement jump.
+public static event JumpHandler JumpEvent;
 //Voici les ID des noeuds d'un squelette.
-private int hipCenterID = 0, spineID = 1, shoulderCenterID = 2, headID = 3;
+public int hipCenterID = 0, spineID = 1, shoulderCenterID = 2, headID = 3;
-private int shoulderLeftID = 4, elbowLeftID = 5, wristLeftID = 6, handLeftID = 7;
+public int shoulderLeftID = 4, elbowLeftID = 5, wristLeftID = 6, handLeftID = 7;
-private int shoulderRightID = 8, elbowRightID = 9, wristRightID = 10, handRightID = 11;
+public int shoulderRightID = 8, elbowRightID = 9, wristRightID = 10, handRightID = 11;
-private int hipLeftID = 12, kneeLeftID = 13, ankleLeftID = 14, footLeftID = 15;
+public int hipLeftID = 12, kneeLeftID = 13, ankleLeftID = 14, footLeftID = 15;
-private int hipRightID = 16, kneeRightID = 17, ankleRightID = 18, footRightID = 19;
+public int hipRightID = 16, kneeRightID = 17, ankleRightID = 18, footRightID = 19;
+private string connexionHost;
+private int connexionPort;
 /*
 *  Initialisation de la classe principale.
 *  Affiche l'écran de debug dans lequel on voit la distance à la Kinect,
 *  les mains détectées et le squelette de l'utilisateur.
 */
 public KinectMain()
 {
+//Si on n'a pas fait appel au gestionnaire de ressources avant, on le fait là.
+if(rm == null)
+rm = new ResourceManager("Trakers.Properties.resources", Assembly.GetExecutingAssembly());
 //On crée la fenêtre de debug.
 debug = new Debug.DebugWindow(this);
-//On crée le détecteur de gestes.
+//On crée les détecteurs de gestes.
-swipeDetector = new SwipeDetector();
+swipeDetector = new SwipeDetector(debug);
+pushDetector = new PushDetector(debug);
+jumpDetector = new JumpDetector(debug);
 //On tente de charger les paramètres du fichier params.ini.
 //Si on n'y arrive pas, on affiche une erreur et on charge les paramètres par défaut.
 if (!loadParameters())
 {
-debug.ExceptionLbl.Content = "Impossible de charger les paramètres. Paramètres par défaut.";
+debug.ExceptionLbl.Content = rm.GetString("loadParametersFail");
 //Distances de détection des mains par défaut pour la recherche (ici de 1m à 2m de la Kinect).
 minDistHands = (float)1.0;
 maxDistHands = (float)1.5;
-}
+connexionHost = "127.0.0.1";
-else if (maxDistHands <= 0 || minDistHands <= 0 || maxDistHands > 4 || minDistHands > 4 || minDistHands >= maxDistHands)
+connexionPort = 80;
-{
+timerElapsing = 1000;
-debug.ExceptionLbl.Content = "Paramètres incorrects. Paramètres par défaut.";
-//Distances de détection des mains par défaut pour la recherche (ici de 1m à 2m de la Kinect).
-minDistHands = (float)1.0;
-maxDistHands = (float)1.5;
 }
 //On affiche la fenêtre de debug.
 try
 {
 debug.ShowDialog();
 }
 catch(Exception){}
+}
+/*
+*  Initialisation de la classe principale avec comme argument le gestionnaire de ressources.
+*/
+public KinectMain(ResourceManager _rm) : this()
+{
+rm = _rm;
 }
 /*
 *  Initialisation du sensor de la Kinect.
 */
 kinectSensor.SkeletonStream.Enable();
 //Quand le Middleware reçoit des trames de la Kinect, on va dans cette fonction.
 kinectSensor.AllFramesReady += new EventHandler<AllFramesReadyEventArgs>(AllFramesReady);
+//On applique des paramètres d'ajustement pour le squelette.
+TransformSmoothParameters parameters = new TransformSmoothParameters();
+parameters.Smoothing = 0.2f;
+parameters.Correction = 0.8f;
+parameters.Prediction = 0.0f;
+parameters.JitterRadius = 0.5f;
+parameters.MaxDeviationRadius = 0.5f;
+kinectSensor.SkeletonStream.Enable(parameters);
 //On démarre la Kinect.
 kinectSensor.Start();
 debug.ExceptionLbl.Content = "";
 }
 catch (System.Exception)
 {
-debug.ExceptionLbl.Content = "Kinect non connectée.";
+debug.ExceptionLbl.Content = rm.GetString("KinectNotConnected");
 }
 //Pour les événements main gauche/droite entre dans/quitte le champ, on a 4 listeners.
 //Fonction appelée lorsque la main gauche entre dans le champ de recherche.
 LeftHandTrackedListener leftHandTrackedListener = new LeftHandTrackedListener();
 //Fonction appelée lorsque la main droite quitte le champ de recherche.
 RightHandQuitListener rightHandQuitListener = new RightHandQuitListener();
 RightHandQuitEvent += new RightHandQuitHandler(rightHandQuitListener.ShowOnScreen);
-//Fonction appelée lorsque l'utilisateur effectue un swipe right.
+//Fonction appelée lorsque l'utilisateur effectue un Swipe right/left/up/down.
-SwipeEventListener swipeListener = new SwipeEventListener();
+SwipeListener swipeListener = new SwipeListener();
 SwipeEvent += new SwipeHandler(swipeListener.ShowOnScreen);
+//Fonction appelée lorsque l'utilisateur effectue un Push/Pull.
+PushListener pushListener = new PushListener();
+PushEvent += new PushHandler(pushListener.ShowOnScreen);
+//Fonction appelée lorsque l'utilisateur effectue un Jump.
+JumpListener jumpListener = new JumpListener();
+JumpEvent += new JumpHandler(jumpListener.ShowOnScreen);
 //On connecte le serveur à l'adresse locale sur le port 80.
-server = new Server("127.0.0.1", 80);
+server = new Server(connexionHost, connexionPort, timerElapsing);
 }
 /*
 *  Fermeture du sensor de la Kinect.
 */
 //server = null;
 debug.ExceptionLbl.Content = "";
 }
 catch (System.Exception)
 {
-debug.ExceptionLbl.Content = "Kinect non connectée.";
+debug.ExceptionLbl.Content = rm.GetString("KinectNotConnected");
 }
 }
 /*
 *  Récupère le premier squelette.
 */
-Skeleton GetFirstSkeleton(AllFramesReadyEventArgs e)
+Skeleton GetFirstSkeleton(object sender, AllFramesReadyEventArgs e)
 {
 using (SkeletonFrame skeletonFrameData = e.OpenSkeletonFrame())
 {
 if (skeletonFrameData == null)
 return null;
 }
 /*
 *  Récupère le squelette le plus proche.
 */
-Skeleton GetNearestSkeleton(AllFramesReadyEventArgs e)
+Skeleton GetNearestSkeleton(object sender, AllFramesReadyEventArgs e)
 {
 using (SkeletonFrame skeletonFrameData = e.OpenSkeletonFrame())
 {
 if (skeletonFrameData == null)
 return null;
 //On met à jour la vidéo de debug.
 debug.RefreshVideo(e);
 //On récupère le premier squelette tracké.
 //Skeleton first = GetFirstSkeleton(e);
 //On récupère le plus proche squelette tracké.
-Skeleton first = GetNearestSkeleton(e);
+Skeleton first = GetNearestSkeleton(sender, e);
 //Si celui-ci n’est pas nul
 if (first == null)
 return;
 //Si ce squelette est tracké (donc suivi et reconnu par la camera)
 if (first.TrackingState == SkeletonTrackingState.Tracked)
 {
 //Ensemble des noeuds du squelette.
 Joint hipCenter = getJoint(first, hipCenterID), spine = getJoint(first, spineID), shoulderCenter = getJoint(first, shoulderCenterID), head = getJoint(first, headID);
 Joint shoulderRight = getJoint(first, shoulderRightID), elbowRight = getJoint(first, elbowRightID), wristRight = getJoint(first, wristRightID), handRight = getJoint(first, handRightID);
 Joint hipLeft = getJoint(first, hipLeftID), kneeLeft = getJoint(first, kneeLeftID), ankleLeft = getJoint(first, ankleLeftID), footLeft = getJoint(first, footLeftID);
 Joint hipRight = getJoint(first, hipRightID), kneeRight = getJoint(first, kneeRightID), ankleRight = getJoint(first, ankleRightID), footRight = getJoint(first, footRightID);
 //On construit l'historique des postures.
-/*List<Joint> joints = new List<Joint>();
+List<Joint> joints = new List<Joint>();
 joints.Clear();
-joints.Add(footRight);
+joints.Insert(hipCenterID, hipCenter);
-joints.Add(ankleRight);
+joints.Insert(spineID, spine);
-joints.Add(kneeRight);
+joints.Insert(shoulderCenterID, shoulderCenter);
-joints.Add(hipRight);
+joints.Insert(headID, head);
-joints.Add(footLeft);
+joints.Insert(shoulderLeftID, shoulderLeft);
-joints.Add(ankleLeft);
+joints.Insert(elbowLeftID, elbowLeft);
-joints.Add(kneeLeft);
+joints.Insert(wristLeftID, wristLeft);
-joints.Add(hipLeft);
+joints.Insert(handLeftID, handLeft);
-joints.Add(handRight);
+joints.Insert(shoulderRightID, shoulderRight);
-joints.Add(wristRight);
+joints.Insert(elbowRightID, elbowRight);
-joints.Add(elbowRight);
+joints.Insert(wristRightID, wristRight);
-joints.Add(shoulderRight);
+joints.Insert(handRightID, handRight);
-joints.Add(handLeft);
+joints.Insert(hipLeftID, hipLeft);
-joints.Add(wristLeft);
+joints.Insert(kneeLeftID, kneeLeft);
-joints.Add(elbowLeft);
+joints.Insert(ankleLeftID, ankleLeft);
-joints.Add(shoulderLeft);
+joints.Insert(footLeftID, footLeft);
-joints.Add(head);
+joints.Insert(hipRightID, hipRight);
-joints.Add(shoulderCenter);
+joints.Insert(kneeRightID, kneeRight);
-joints.Add(spine);
+joints.Insert(ankleRightID, ankleRight);
-joints.Add(hipCenter);
+joints.Insert(footRightID, footRight);
-swipeDetector.UpdateSkeletonHistory(joints);*/
+GestureDetector.UpdateSkeletonHistory(joints);
-SkeletonDisplayManager sdm = new SkeletonDisplayManager(kinectSensor, debug.DebugCanvas);
-//sdm.Draw();
 //On obtient sa distance à la Kinect.
 float distance = first.Position.Z;
 //On affiche la distance dans le debug.
 debug.showDistance(distance);
 {
 SwipeEventArgs swipeEvent = new SwipeEventArgs(debug, server, SwipeDetector.Direction.LEFT);
 OnSwipeEvent(swipeEvent);
 }
+//Si l'utilisateur effectue un swipe right.
+if (swipeDetector.CheckForSwipeRight())
+{
+SwipeEventArgs swipeEvent = new SwipeEventArgs(debug, server, SwipeDetector.Direction.RIGHT);
+OnSwipeEvent(swipeEvent);
+}
+//Enum sur la main qui effectue le geste.
+PushDetector.Hand handPush;
+//Si l'utilisateur effectue un push.
+if ((handPush = pushDetector.CheckForPush()) != PushDetector.Hand.NONE)
+{
+PushEventArgs pushEvent = new PushEventArgs(debug, server, PushDetector.Direction.PUSH, handPush);
+OnPushEvent(pushEvent);
+}
+//Si l'utilisateur effectue un pull.
+if ((handPush = pushDetector.CheckForPull()) != PushDetector.Hand.NONE)
+{
+PushEventArgs pushEvent = new PushEventArgs(debug, server, PushDetector.Direction.PULL, handPush);
+OnPushEvent(pushEvent);
+}
+//Si l'utilisateur effectue un saut.
+/*if (jumpDetector.CheckForJump())
+{
+JumpEventArgs jumpEvent = new JumpEventArgs(debug, server);
+OnJumpEvent(jumpEvent);
+}*/
 //Dessine le squelette dans le debug.
-//debug.drawJoints(first.Joints, first);
+debug.drawJoints(first.Joints, first);
-//debug.showSkeleton(hipCenter, spine, shoulderCenter, head, shoulderLeft, elbowLeft, wristLeft, handLeft, shoulderRight, elbowRight, wristRight, handRight, hipLeft, kneeLeft, ankleLeft, footLeft, hipRight, kneeRight, ankleRight, footRight);
+debug.showSkeleton(hipCenter, spine, shoulderCenter, head, shoulderLeft, elbowLeft, wristLeft, handLeft, shoulderRight, elbowRight, wristRight, handRight, hipLeft, kneeLeft, ankleLeft, footLeft, hipRight, kneeRight, ankleRight, footRight);
 }
 }
 /*
 *  Change l'échelle des coordonnées d'un noeud pour qu'en X et Y il corresponde à la résolution et en Z à la distance à la Kinect.
 if (SwipeEvent != null)
 SwipeEvent(new object(), e);
 }
 /*
-*  Initialise l'événement et fait appel aux fonctions du listener quand l'utilisateur effectue un swipe up.
+*  Initialise l'événement et fait appel aux fonctions du listener quand l'utilisateur effectue un push.
 */
-/*public static void OnSwipeUpEvent(SwipeUpEventArgs e)
+public static void OnPushEvent(PushEventArgs e)
 {
-if (SwipeUpEvent != null)
+if (PushEvent != null)
-SwipeUpEvent(new object(), e);
+PushEvent(new object(), e);
-}*/
+}
 /*
-*  Initialise l'événement et fait appel aux fonctions du listener quand l'utilisateur effectue un swipe down.
+*  Initialise l'événement et fait appel aux fonctions du listener quand l'utilisateur effectue un saut.
 */
-/*public static void OnSwipeDownEvent(SwipeDownEventArgs e)
+public static void OnJumpEvent(JumpEventArgs e)
 {
-if (SwipeDownEvent != null)
+if (JumpEvent != null)
-SwipeDownEvent(new object(), e);
+JumpEvent(new object(), e);
-}*/
+}
 /*
 *  Méthode de chargement des paramètres (position du champ de recherche...).
 */
 public bool loadParameters()
 {
 try
 {
-minDistHands = float.Parse(ConfigurationManager.AppSettings["searchMinDistance"]);
+minDistHands = (float)double.Parse(ConfigurationManager.AppSettings["searchMinDistance"]);
-maxDistHands = float.Parse(ConfigurationManager.AppSettings["searchMaxDistance"]);
+maxDistHands = (float)double.Parse(ConfigurationManager.AppSettings["searchMaxDistance"]);
+connexionHost = ConfigurationManager.AppSettings["connexionHost"];
+connexionPort = int.Parse(ConfigurationManager.AppSettings["connexionPort"]);
+hipCenterID = int.Parse(ConfigurationManager.AppSettings["hipCenterID"]);
+spineID = int.Parse(ConfigurationManager.AppSettings["spineID"]);
+shoulderCenterID = int.Parse(ConfigurationManager.AppSettings["shoulderCenterID"]);
+headID = int.Parse(ConfigurationManager.AppSettings["headID"]);
+shoulderLeftID = int.Parse(ConfigurationManager.AppSettings["shoulderLeftID"]);
+elbowLeftID = int.Parse(ConfigurationManager.AppSettings["elbowLeftID"]);
+wristLeftID = int.Parse(ConfigurationManager.AppSettings["wristLeftID"]);
+handLeftID = int.Parse(ConfigurationManager.AppSettings["handLeftID"]);
+shoulderRightID = int.Parse(ConfigurationManager.AppSettings["shoulderRightID"]);
+elbowRightID = int.Parse(ConfigurationManager.AppSettings["elbowRightID"]);
+wristRightID = int.Parse(ConfigurationManager.AppSettings["wristRightID"]);
+handRightID = int.Parse(ConfigurationManager.AppSettings["handRightID"]);
+hipLeftID = int.Parse(ConfigurationManager.AppSettings["hipLeftID"]);
+kneeLeftID = int.Parse(ConfigurationManager.AppSettings["kneeLeftID"]);
+ankleLeftID = int.Parse(ConfigurationManager.AppSettings["ankleLeftID"]);
+footLeftID = int.Parse(ConfigurationManager.AppSettings["footLeftID"]);
+hipRightID = int.Parse(ConfigurationManager.AppSettings["hipRightID"]);
+kneeRightID = int.Parse(ConfigurationManager.AppSettings["kneeRightID"]);
+ankleRightID = int.Parse(ConfigurationManager.AppSettings["ankleRightID"]);
+footRightID = int.Parse(ConfigurationManager.AppSettings["footRightID"]);
+timerElapsing = int.Parse(ConfigurationManager.AppSettings["timerElapsing"]);
 }
 catch (Exception)
 {
 return false;
 }
+if (maxDistHands <= 0 || minDistHands <= 0 || maxDistHands > 4 || minDistHands > 4 || minDistHands >= maxDistHands)
+{
+debug.ExceptionLbl.Content = rm.GetString("loadParametersIncorrect");
+return false;
+}
 return true;
 }
 }
 }

changeset 3	92f19af39024
parent 0	6fefd4afe506
child 5	d40f84d77db4