La cuestión del reconocimiento de gestos no es trivial. Todas las limitaciones e inexactitudes que se producen al grabar imágenes utilizando diversos dispositivos tienen que ser tenidas en cuenta durante el proceso de diseño de gestos para el control de una aplicación o sistema. La metodología para el diseño de gestos tiene que cumplir varios requisitos: naturalidad, fácil de recordar y comodidad. La comodidad es el criterio más importante para la aplicación controlada por gestos.
Como en cualquier campo nuevo, también en el control por gestos, uno de los principales problemas en el proceso de adaptación es la estandarización existente. Cuando a diez personas al azar se les pide que hagan un gesto para iniciar la música, es muy probable que se propongan al menos 5 gestos diferentes. Por lo tanto, no es posible establecer un conjunto de gestos sólido que se adapte a todo el mundo. Esta es la razón por la cual todo fabricante que ofrezca el control por gestos utiliza un conjunto diferente de los gestos. Es difícil para un uso práctico, ya que el usuario tiene que aprender nuevos gestos para cualquier sistema nuevo. La existencia de al menos un conjunto estándar de gestos para controlar funciones básicas podría acelerar significativamente que los usuarios comenzaran a utilizar gestos de control así como su puesta en práctica. Hoy en día, se ofrecen algunos gestos de control para aparatos de televisión que se basan en la detección de una imagen vía una cámara 2D. Esto permite una fácil navegación a través del menú del televisor. A pesar de sus imperfecciones, el efecto educativo sobre las personas que poco a poco se están acostumbrando a este tipo de control es beneficioso.
Los conjuntos actuales de gestos se basan en dispositivos periféricos de entrada utilizados con los ordenadores. Básicamente tratan de quitar el dispositivo, pero mantienen los mismos patrones de uso. Con el fin de acercarse a una operación basada en gestos naturales (sin contacto) el concepto tiene que cambiar para que los conjuntos de gestos sean diseñados desde cero, como si no hubiera periféricos a excepción de sensores.