Die Problematik der Gestenerkennung ist nicht trivial. Beim Gestenentwurf müssen alle Einschränkungen und Unsicherheiten berücksichtigt werden, die bei der Eingabebilderfassung durch verschiedenen Geräte auftreten können. Die Methodik für den Gestenentwurf muss mehrere Anforderungen erfüllen: Natürlichkeit, Einprägsamkeit und einfachen Komfort. Komfort ist das wichtigste Kriterium für Anwendungen die durch Gesten gesteuert werden. Die nichtexistierende Standardisierung ist in jedem neuen Gebiet, also auch im Bereich der Gestensteuerung einer der Hauptprobleme für einen Anpassungsprozess. Wenn wir zufällig zehn Leute auswählen und sie bitten, eine Geste zu machen und die Musik startet, es ist sehr wahrscheinlich, das mindestens 5 verschiedenen Gesten vorgeschlagen werden. Das ist der Grund warum jeder Hersteller einen anderen Satz von Gesten verwendet. In der Praxis es ist schwierig , weil der Benutzer neue Gesten für jedes neue System lernen muss. Die Existenz von mindestens einem Standardsatz von Gesten könnte den Prozess der Gewöhnung auf Gestensteuerung in der Routinepraxis deutlich beschleunigen. Heute sind bereits Fernsehgeräte mit Gestensteuerung im Einsatz. Sie basiert auf der Bilderfassung mit einer 2D-Kamera. Sie ermöglichen eine einfache Menü-Steuerung des Fernsehers.
Trotz ihrer Mängel hat die Einführung von Gestensteuerung erzieherische Wirkung auf den Menschen, die sich allmählich an diese Art der Steuerung gewöhnen.
Die aktuellen Sätze von Gesten basieren auf Eingabegeräten (Tastatur, Maus, ...) die am Computer verwenden werden. Gesten versuchen im Grunde die vorhandenen Eingabegeräte zu ersetzen. Das Ziel des Gestenentwurfs war von Anfang an, unabhängig von den existierenden Benutzerschnittstellen, so nah wie möglich zu einem natürlichen freihändigen Betrieb zu gelangen, als ob die Gesten die einzige Möglichkeit zur Steuerung eines Gerätes wären.