ORDENADORES


Se emplean dos ordenadores portátiles Mac Os, necesarios para distribuir el proceso de captura y proyección de imágenes. Ambos ordenadores están conectados por red Ethernet. El primero de ellos tiene instalado el software de tracking vídeo P4Visión; recibe la imagen de la cámara y extrae la información relativa al movimiento. El segundo ordenador tiene instalado el software p4vj, el cuál recibe la información relativa al movimiento, la analiza y la asocia con las diferentes visuales.



PROYECCIÓN


Utilizamos un proyector Mitsubishi Electric XD250-U, el cuál permite una proyección frontal de 180 pulgadas (366 cm de ancho y 274 cm de alto) a una distancia de 7 metros de la pantalla, contraste 2000:1 y 2.700 ANSI Lumen.



TRACKING VÍDEO


La base tecnológica de este proyecto reside en la detección y captura del movimiento de los artistas mediante la tecnología del tracking video, el tratamiento informático de la información recibida a partir de la captura y la posterior transformación a soporte visual a tiempo real; de modo que las proyecciones sean generadas y alteradas en función del movimiento del cuerpo de los artistas y de la música tocada en directo.



“tracking” vendría a significar “rastreo” o “seguimiento”.

partiendo de ahí, “tracking vídeo” consistiría en localizar el movimiento de una persona u objeto, a lo largo del tiempo, mediante una cámara de vídeo; es decir, rastrear y seguir su movimiento.



Lo que nos interesa del tracking vídeo es extraer la información que se deriva de este proceso de rastreo del movimiento para digitalizarla y asignarle funciones de acción – reacción. Es decir, en función del movimiento de la persona u objeto (acción), determinamos mediante programación informática el movimiento (reacción) de las visuales proyectadas.



CAPTURA


Para obtener la información relativa al movimiento del cuerpo en el escenario deberemos emplear algún dispositivo que medie entre el artista y el equipo informático. Se trataría de diferentes tipos de sensores que detecten la posición y/o movimientos del cuerpo sobre el escenario, y transmitan dicha información al ordenador.


Existen sensores corporales que miden diferentes matices del movimiento como la aceleración, el ritmo cardíaco, la electricidad corporal, la posición, etc., pero que sin embargo requieren estar situados sobre el propio cuerpo del artista; o bien sensores ambientales, en forma de videocámaras o monitores infrarrojos.


Para TicTacTictic nos decantamos por los sensores ambientales, concretamente por la cámara de vídeo, porque consideramos que de este modo todo el escenario es sensible al movimiento y el usuario está libre de llevar sobre su cuerpo cualquier aparato sensor que pueda limitar o entorpecer su movimiento. Mediante la cámara podemos detectar la posición del usuario, sus movimientos, qué parte del cuerpo está moviendo, a qué velocidad, en qué dirección, etc.; información que recibe en tiempo real el software de tracking vídeo p4vision mediante conexión USB entre la cámara y el ordenador.


Para extraer la información relativa al movimiento, el software de tracking video funciona mediante comparación por sustracción de fondo: se captura el fondo del escenario sin la presencia del actor (podríamos decir que el software memoriza esa imagen, en la que no se da ningún movimiento sino que solamente hay un fondo estático) y posteriormente cuando el actor se introduce en el escenario, el software extrae la información del movimiento (detecta su posición exacta así como sus desplazamientos sobre el fondo) comparando las diferencias entre la primera imagen memorizada y la imagen que está recibiendo a tiempo real, que únicamente difiere de esa primera imagen en la silueta del actor que se desplaza sobre el fondo estático.


Por este motivo, en el tracking vídeo es imprescindible que las condiciones de luz sean controlables y no varíen durante el mismo, porque en este caso las condiciones de la imagen de fondo que ha sido memorizada y con la cuál se realiza la comparación cambiarían y el programa no podría detectar la silueta del actor con exactitud.


Posteriormente, la información relativa a la posición y movimientos del actor sobre el escenario puede ser tratada de diferentes modos mediante programación, para que altere directamente y en tiempo real las proyecciones de vídeo.






Así, a grandes rasgos, mediante programación informática asignamos diferentes algoritmos a los datos extraídos referentes al movimiento del artista mediante los cuáles se especifica qué queremos obtener; el ejemplo más sencillo sería programar un objeto que se mueve junto al actor, de modo que siempre y cuando el actor se desplace dentro del área proyectable (la pantalla), el objeto proyectado se desplazará junto al actor.


A partir de ahí, a la posición, la silueta y los desplazamientos que realiza el actor sobre el escenario, se pueden asignar infinitas reacciones de las visuales proyectadas, como por ejemplo que cuando los movimientos del personaje sean más o menos enérgicos, las visuales varíen en intensidad o tamaño . . .



SOFTWARE


Se utilizan P4Vision y P4Vj, desarrollados por Lot Amorós. P4Vision es un software de tracking video que permite extraer la información relativa al movimiento y se comunica por vía OSC con P4Vj, software que nos sirve como mezcladora de vídeos y control sobre las diferentes visuales como aumento o disminución del zoom, opacidad, mezcla de hasta tres canales al mismo tiempo, tracking de sonido, entre otros.

 

TECNOLOGÍA EMPLEADA

LA CAPTURA DE IMAGEN


Utilizamos la cámara Play Station Eye. Es compatible con processing, por lo que puede ser detectada por el software P4Vision, y se conecta por USB al ordenador, por lo que prescindimos de la capturadora de vídeo.



LA LUZ


Esta cámara presenta un filtro IR que bloquea la luz infrarroja y sólo deja pasar la luz visible, esto es lo opuesto a lo que necesitamos.  Deberemos extraer el filtro que lleva y sustituirlo por un filtro que deje pasar solamente la luz infrarroja y bloquee la luz visible. De este modo, si iluminamos al personaje con luz infrarroja podremos detectar su movimiento sin que interfiera la luz visible emitida por el proyector sobre la zona de captura de la cámara. Para ello, filtraremos los focos con gelatinas RGB puros que bloqueen la salida de luz visible, dejando pasar únicamente luz infrarroja. Así, sobre el personaje rebota luz infrarroja que es detectada por la cámara, aunque las condiciones de iluminación de luz visible sean muy bajas.

Peauproductions nos ofrece instrucciones para extraer el filtro que bloquea los infrarrojos y colocar un filtro que bloquee la luz visible.

CONCEPTOConcepto.htmlConcepto.htmlshapeimage_3_link_0
REFERENTESReferentes.htmlReferentes.htmlshapeimage_4_link_0
TECNOLOGÍAshapeimage_5_link_0
volverinvestigacion.htmlinvestigacion.htmlshapeimage_6_link_0