En las primeras investigaciones sobre el reconocimiento de gestos, el diseño de algoritmos se basó en la entrada RGB (Red Green Blue) de una cámara. Este enfoque aporta algunas ventajas, las cuales, sin embargo, se ven compensadas por desventajas. La imagen RGB se compone de canales de color existiendo muchos factores que influyen negativamente en la calidad de la imagen RGB.
El cambio de iluminación puede influir radicalmente en la calidad de la imagen. Un cambio en las condiciones de iluminación en una habitación cambia absolutamente el brillo y el contraste de la imagen. Esto hace que el reconocimiento mediante una imagen RGB sea incierto [2].
En últimos años, los investigadores empezaron a utilizar imágenes de profundidad para su procesado. Se trata de una imagen bidimensional que contiene información adicional - profundidad. La mayoría de los sensores de profundidad se basan en la emisión infrarroja (IR) (ejemplo del sensor Kinect en la Fig. 4.2). El sensor devuelve datos que representan la distancia de cada píxel en la imagen al sensor. Las distancias obtenidas se pueden transformar simplemente en una representación en escala de grises, de este modo, los datos de profundidad se representan como secuencia de vídeo en escala de grises. La obtención de datos de profundidad no requiere de condiciones especiales.
Las cámaras de profundidad ofrecen más ventajas frente a las RGB. La principal ventaja es que la cámara de profundidad hace uso de luz infrarroja y en la banda de infrarrojos no hay tanto ruido. Por tanto, el sensor de infrarrojos no es tan sensible a perturbaciones como el sensor RGB [2].
La distancia de cada píxel al sensor se define en milímetros.
Si queremos convertir una imágen de profundidad en una imagen en escala de grises lo que necesitamos saber son las distancias mínima y máxima posibles.
donde, d es la distance real del pixel, dmin es la mínima distancia posible al sensor y dmax es la máxima distancia posible al sensor [2].
Para ayudar con la adquisición de datos de imagen, se procesan algunos elementos adicionales, como una pulsera luminosa, anillo o bola pequeña especial en la mano.