PFC Alberto Corrales García - ARBOT

The end!!

2008-09-24T02:35:00.000-07:00

Hola a todos,

Una vez realizada presentación del proyecto el tribunal decidió que el trabajo realizado se merecía la máxima puntuación: ¡¡¡Matrícula de Honor!!!.

La verdad es que he trabajado duro en el proyecto, pero también tengo que reconocer que he pasado muy buenos momentos y que he aprendido muchísimo.

Además, como ya redactaba en la memoria del proyecto, me gustaría agradecer en este último post a toda la gente que en cierta medida ha contribuido, de una manera o de otra, a que todo esto haya sido posible:

En primer lugar me gustaría agradecer a toda mi familia y en especial a mis padres por su apoyo incondicional en todo momento.

También quería agradecer a mis tutores José Pascual y Arturo por haber confiado en mí para realizar un proyecto de estas características y por el tiempo que me han dedicado dentro de sus apretadas agendas.

A todos los amigos que he hecho durante mi estancia en Albacete por todos los buenos momentos que hemos pasado juntos y por ser tan geniales.

A mis compañeros del club .Net por lo bien que lo he pasado con ellos aprendiendo y trasteando con las nuevas tecnologías.

A la gran mayoría de los profesores/as que he tenido, por la formación que me han dado y sobre todo por hacer que si ya me gustaba la informática cuando empecé la carrera, hoy en día sea una de mis pasiones.

Y en especial a ti, Bego, por los cuatro años maravillosos que hemos compartido.

Casos de Estudio

2008-09-09T08:00:00.001-07:00

Buenas,

una vez finalizado el desarrollo se han propuesto una serie de casos de uso a fin de mostar el funcionamiento y verificar el cumplimiento de los objetivos. Aquí se comentan de manera resumida:

MODO 1: NAVEGACIÓN MEDIANTE ODOMETRÍA

Se pretende que el robot navegue sobre una ruta predefinida haciendo uso del odómetro para ilustrar el la situación de la que se parte. En el vídeo se puede observar cómo el robot acaba chocándose con la puerta, mientras que según la información odométrica debería estar saliendo por la puerta.

MODO 2: OBTENCIÓN DE DATOS DE LAS MARCAS

Situando una marca en diferentes posiciones (a 1, 2, 3 y 4 metros) y diferentes ángulos en cada posición (0º, 15º, 30º, 45º, 60º, y 75º) se han llevado a cabo los siguientes estudios:

• Error en la estimación con respecto a la distancia:

Como se observa en la figura siguiente el error en la estimación de la posición pierde precisión de forma casi exponencial, por tanto interesa realizar calibraciones de la posición sólo cuando la marca se encuentre en una distancia relativamente pequeña.

• Error en la estimación del ángulo

A la vista de los resultados de la siguiente figura se aprecia que la estimación del ángulo en ocasiones acumula un error importante, sobre todo en distancias más lejanas. También se observa que a partir de un metro de distancia, no es posible reconocer la marca cuando se orienta a 75º debido a que su inclinación es demasiado grande. En conclusión, calibrar el giro del robot mediante la inclinación de la marca es en ocasiones peligroso, ya que si se comete un error, por pequeño que sea, y posteriormente se avanza una distancia significativa, el robot se irá alejando cada vez más de la trayectoria que debía seguir.

• Tamaño de las marcas visuales

En la gráfica siguiente se puede apreciar que existe una relación prácticamente lineal. Analizando los resultados, se observa que con 53mm el campo de acción es muy limitado, mientras que con 106mm se obtiene un rango de uso de casi 4 metros, lo cuál será suficiente para este tipo de aplicación, teniendo en cuenta que la información a distancias grandes comente un error mayor, y por tanto se desprecia. En caso de necesitar un rango de acción mayor se recurrirá a marcas de 160mm de ancho.

MODO 3: NAVEGACIÓN USANDO CALIBRACIÓN MEDIANTE MARCAS

Sobre el mapa que se muestra a continuación realizado con la herramienta Mapper3Basic se ha definido una ruta donde el robot debe usar la información de las marcas para calibrarse en determinados momentos.

En el vídeo se observa cómo apoyando la navegación con marcas el robot puede navegar por entornos muy restingidos con gran precisión, completando la ruta propuesta en este caso de estudio.En determinados momentos del vídeo se realiza zoom sobre el mapa para observar la diferencia entre la posición calibrada y la odométrica.

MODO 4: NAVEGACIÓN SOBRE UNA RUTA DEFINIDA POR MARCAS

En este vídeo se muestra cómo colocando determinadas marcas por el entorno se puede transmitir cierta semántica al robot, en este caso le indican el orden que debe seguir. Cuando alcanza una marca se aprecia cómo realiza la búsqueda del la siguiente marca hasta alcanzar el final de la ruta.

MODO 5: NAVEGACIÓN REACTIVA AL MOVIMIENTO DE UNA MARCA

En este caso se observa cómo el robot sigue una marca mediante el movimiento de la cámara, rotaciones y translacioines.

MODO 6: CONTROL MANUAL

En este modo de funcionamiento se observa cómo el robot responde a los comandos que le envía un teleoperador remoto.

Esto es todo por ahora,

espero que os haya gustado!

Diseño de la aplicación

2008-08-22T03:17:00.000-07:00

Buenas,

a fin de que el lector obtenga una idea mental del funcionamiento de ARBOT añadiré algunos diagramas.

La aplicación esta compuesta por un cliente (la interfaz de usuario) y un servidor (ejecuta los modos de funcionamiento sobre el robot), como se muestra en el dagrama de despliegue.

Entre ellos intercambian los siguientes mensajes:

En el diseño del diagrama de clases se utiliza la técnica de especialización, de forma que conforme se va bajando en la jerarquía se van definiendo clases abstractas más específicas hasta la implementación de cada modo de forma concreta. Esta propiedad, aparte de dar una visión clara de la clasificación de cada uno de los modos de funcionamiento dentro de la jerarquía, permite extender las clases de forma sencilla, lo que facilita implementar futuros modos. Por otro lado también permite una mayor reutilización del código, ya que se evita tener métodos repetidos en varias clases. A continuación se muestra el diagrama desarrollado:

Esto es todo por ahora,

saludos!!

Estado del arte: posibilidades de la realidad aumentada

2008-08-21T08:25:00.000-07:00

Buenas,

al documentarme sobre el estado del arte para la memoria me he topado con proyectos alucinantes que usan realidad aumentada. Puesto que no estaban en relación con el tema del proyecto (videovigilancia y robots) no los incluí en la memoria, pero como me llamaron la atención no podía evitar mencionarlos por aquí. Seguro que agradan la vista a los interesados en el tema:

Eye Of Judgement: juego de rol para playstation, donde a partir de unas cartas generan todo un escenario de batalla con criaturas en 3D aumentando la realidad.

Camspace: proyecto que a partir de diferentes objetos recrea toda serie de dispositivos para jugar a cualquier juego (vídeo muy recomendado).

PARIS (Personal Augmented Reality Immersive System): proyecto en el que generan todo un sistema de realidad virtual a partir de ralidad aumentada para implantes de prótesis:

Augmented Reality and Information Visualization: un sistema de visualización de gráficos estadísticos en 3D con realidad aumentada:

Living Augmented Reality: todo el interior de una habitación generado con realidad aumentada:

Neon Racer: juego de naves sobre una pantalla-tablero:

Genesis: proyecto donde se genera un escenario aumentado haciendo uso de un proyector y marcas visuales. El argumento es un juego que emula ser "Dios" y construir un mundo.

ARlego: guia de autoayuda para el montaje de diferentes prototipos con el Lego Mindstorm mediante realidad aumentada.

Y como estas, hay muchísimas aplicaciones vistosas hechas con realidad aumentada. En mi opinión, hoy por hoy la mayoría de proyectos son de investigación, pero solo es cuestión de tiempo que esta tecnología se empleé en el uso cotidiano de determinadas tareas, ya que como habréis visto, tiene infinidad de posibilidades. El primer campo sin duda será el mundo de los videojuegos por ser el más comercial, pero para mí lo más impactante son las nuevas formas de interacción persona-ordenador que se pueden plantear a partir de proyectos como Camspace.

Saludos y espero que os haya gustado.

Ha nacido ARBOT!!!

2008-08-06T11:48:00.000-07:00

Salvo pequeños detalles, ya se puede dar por concluida la implementación de este proyecto que he bautizado como ARBOT (Augmented Reality roBOT).

En esta última versión, se han añadido las siguientes características:

En el cliente:

- Loading y pintado de mapas, actualizando sobre éste la posición del robot en tiempo real y la posición según el odómetro para observar visualmente la desviación que corrige el uso de calibración por marcas visuales.

- Añadidos dos botones de ZoomIn y ZoomOut para agrandar el mapa.

- Añadida una sección de estadísticas, donde se muestra: nº frames que se han observado, nº frames usados para recalibrar, distancia (en mm) que se ha recalibrado, rotación (en grados) que ha recalibrado. (Actualmente en esta parte calculo esta información en el cliente, pero tengo que cambiarlo al servidor y enviarla dentro de los paquetes de información, pues hay frames que el servidor procesa pero no llegan al cliente, ya que tiene una tasa de frames más baja para no saturar la red.)

En cuanto al servidor, se han probado las estrategias el uso de marcas para navegar sobre mapas daba diversos problemas inexplicables, y tras darle vueltas y vueltas he dado con solución: "en cambiar las ArActions (GoTo(x,y)) por comandos a bajo nivel(move(), setVel, setHeading()...) para tener un mayor control y conocimiento de los comandos que se le están mandando al robot en todo momento" y ahora funciona correctamente.

En mi opinión esta quedando bastante chulo, en cuanto pueda subo unas capturas y algunos vídeos para que lo podáis ver y opinar.

Como comentaba, salvo pequeños detalles, en breve empezaré con la memoria cerrando el ciclo de implementación, pero eso no significa que vaya a olvidar el blog, si no que realizaré artículos con información interesante o curiosa que me vaya encontrando en la redacción de la memoria, ya que la idea de hacer este blog tiene como objetivos:

-Que mis tutores (u otros interesados) puedan hacer un mejor seguimiento de los avances.
-Compartir el conocimiento adquirido con el mundo.
-Que esta información quede inmortalizada por si en el futuro pudiera ayudar a otros proyectos sobre la materia, ya que son varios los que me han escrito preguntando dudas, o comentandome que les ha encantado la iniciativa y la aplicarán a proyectos futuros.

Por cierto, os podeis suscribir a las RSS si estais interesados ;)

Saludos!!

Video en el cliente

2008-08-01T13:06:00.000-07:00

Ya tengo el vídeo en la parte del cliente.

Tras hacer pruebas, como cabía de esperar la tasa de frames por segundo es reducida pero aceptable, pues el limitado procesador del robot tiene que realizar a la vez las tareas de manejar el robot, procesar cada frame por Artoolkit plus y comprir cada frame en jpeg para enviarlo. Aun así, se obtiene mayor tasa que las que se obtienen con programas como VCN para conexión remota.

En cuanto a la calidad de imagen, es bastante aceptable, los frames se envian al 60% de su calidad original con una resolución de 640x480 (abajo una muestra de un frame) en escala de grises para minimizar el coste del flip vertical que hay que realizarles y el procesamiento del artoolkit plus. El usar compresión por frames independientes permite obetener un video de calidad, que no se degrada con el movimiento o con los cambios de escena como pasa con formatos de videoconferencia.

Por otro lado, se han añadido 3 radio button para que el cliente pueda elegir el tamaño de frame.

Diseñando la Aplicación Cliente

2008-07-30T10:13:00.000-07:00

Buenas,

puesto que en la parte servidora (el corazón de la aplicación) ya estan implementados los 6 modos de funcionamiento, ahora toca diseñar una aplicación cliente que se conecte y lance el modo seleccionado o en caso del control manual pueda enviar los comandos.

Para esto, estoy planteando una aplicación MFC basada en un cuadro de dialogo que contiene el control. Un boceto de la interfaz de usuario sería algo similar a esto:

Aunque a primera vista parecía sencillo, aparte de tener que casi aprender MFC en unos dos dias, la cosa se pudo bastante fea al toparme con el término de "functores". Los functores son plantillas de punteros a funciones (que ya suena a chungo) que se han inventado la gente de Aria y que básicamente sirven para llamar a la función que apuntan en determinados momentos. En este caso servirá para manejar las respuestas del servidor a las peticiones del cliente.

Otro problema fue, la actualización de los componentes del dialogo cuando escribe el método de callback (la llamada del functor), ya que este es invocado por un hilo (el cliente, que se ejecuta de manera asíncrona, y este no puede usar la función UpdateData(bool), que actualiza los componentes con sus variables asignadas, y en este caso se usaría para, por ejemplo, actualizar la información del log con la información que recive de los mensajes. Para esto en vez de usar UpdateData hay que usar "SetWindowText" que escribe directamente sobre el componente y no da problemas con el Threading.

Por último, comentar que he diseñado un icono para aplicación que representa al robot y una marca del Artoolkit

Conversaciones Cliente-Servidor

2008-07-27T23:55:00.000-07:00

Buenas,

puesto que se pretente hacer una arquitectura cliente-servidor para iniciar los modos de funcionamiento, obtener los datos y la imagen que el robot captura o para poder controlarlo en el modo manual, nos hace falta definir un protocolo de mensajes para que puedan conversar entre el cliente y el servidor. Para este proposito he definido el siguiente formato de tramas de mensajes que intercambian:

Client-Server Communication

Init robot (TCP):

Client request:

SMS_INIT

Server response confirmation:

SMS_INIT

SMS_ACK

"Server state: INIT"

Server response error:

SMS_INIT

SMS_CRITICAL_ERROR

"server can't init due to call has failed"

Exe Mode N (TCP):

Client request:

SMS_EXE_MODE_N

Server response confirmation:

SMS_EXE_MODE_N

SMS_ACK

“(Server State): Running mode N”

MapaData(*)

(*) Only in modes 1, 2 and 3

Server response error:

SMS_EXE_MODE_N

SMS_CRITICAL_ERROR

1)"server can't run strategy due to the state wasn't ST_INIT"

2) "server can't run strategy due to init function failed"

Robot and Camera commands (only on mode 6) (UDP):

Client request:

Cancel active mode (TCP):

Client request:

SMS_CANCEL

Server response confirmation:

SMS_CANCEL

SMS_ACK

"Stopped mode N"

Server response error:

SMS_CANCEL

SMS_WARNING

"Couldn't stop mode due to it wasn's running"

Get data without image (UDP):

Client request:

SMS_RETURN_TEXT

Server response:

SMS_RETURN_TEXT	*GoalReached ()**	PosRobotX	PosRobotY	RobotTh
idMark	posMarkX	posMarkY	MarkTh	UseMarkInfo (**)
“date and time”

(*) Some modes finished when reach one goal: 0 or 1

(**) 0 or 1 if use or not the position estimation.

Get data with image (UDP):

Client request:

SMS_RETURN_IMAGE

Server response:

SMS_RETURN_IMAGE	*GoalReached ()**	PosRobotX	PosRobotY	RobotTh
idMark	posMarkX	posMarkY	MarkTh	UseMarkInfo (**)
“date and time”	ImageData

(*) Some modes finished when reach one goal: 0 or 1

(**) 0 or 1 if use or not the position estimation.

Saludos!!

Modos de funcionamiento implementados

2008-07-24T03:49:00.000-07:00

Una vez con los datos que nos proporcionan las marcas se han implementado los siguientes modos de funcionamiento:

1) Seguimiento de una ruta planificada sobre un mapa sin asistencia de marcas
2) Seguimiento de una ruta planificada sobre un mapa recogiendo información aportada por las marcas del entorno.
3) Seguimiento de una ruta planificada sobre un mapa usando la información que considera de utilidad de la información aportada por las marcas del entorno.
4) Seguimiento de una ruta que es establecida solo por marcas visuales, sin el uso de mapas.
5) Seguimiento de una marca en movimiento.

Por otro lado también tengo pensado (si me diera tiempo) hacer un modo manual, donde un usuario controla remotamente el robot y la cámara.

Ahora la aplicacion esta corriendo directamente sobre el robot, pero se intentara implementar una aplicacion cliente que inicie el servicio haciendo uso de la librería ArNetworking, escoja el modo que quiere ejecutar y pueda ver la imagen que el robot esta capturando. Este ultimo punto puede crear un cuello de botella en el procesamiento al tener que comprimir la imagen y enviarla en tiempo real.

Hasta pronto!

Obteniendo la posicion mediante marcas

2008-07-16T06:23:00.000-07:00

Buenas,

tras probar el caso anterior, en la negación sin marcas se observa que la odometria comente ciertos errores de medición.

Ahora, se plantea un caso de estudio, donde el robot va navegando normalmente y cuando se encuentra una marca calcula su posición en el mapa con respecto la posición global de la marca en el mapa. Aparte, cada vez que detecta una marca muestra la información por pantalla y añade una entrada en un log con la siguiente información:

-Fecha y hora en que se ha encontrado la marca
-Posición del robot en el mapa que se estima mediante el odómetro y el giroscopio.
-Posición del robot en el mapa que estima mediante la información que le aporta la marca.

Con esto, aparte de poder depurar de forma visual en tiempo de ejecución, se proporciona un log que se puede consultar a posteriori para hacer comparaciones. En la siguiente figura se puede observar lo comentado anteriormente.

Para la prueba se ha situado la marca a un metro del robot y el error aproximado según se observa en las entradas del log es de unos 30-50 milímetros como máximo Lo cual parece un resultado positivo para trabajar en futuros modos de funcionamiento que usen esta información para tomar determinadas decisiones.

Como comentario, cabe anotar que se ha sustituido el uso de jpegLib por OpenCV [1], ya que tiene una mayor funcionalidad y en nuestro caso nos permitirá operaciones como:
-Añadir información al frame(como texto o formas básicas)
-Realizar diferentes transformaciones (lo que se ha usado para realizarle un flip vertical a la imagen, pues la capturadora la proporciona invertida)
-Guardar un frame en diferentes formas (aparte del jpeg).
-Mostrar la imagen en una ventana de forma sencilla.

[1] http://sourceforge.net/projects/opencvlibrary/

Moviendo a Don Pioneer 3AT

2008-07-14T04:24:00.001-07:00

Buenas,

una vez asentadas las bases del funcionamiento de Artoolkit, Aria, etc... me dispongo a implementar un caso de estudio para comprobar la funcionalidad que podría tener el uso de marcas para conseguir un posicionamiento del robot más robusto y fiable.

Para este objetivo he creado un mapa de la segunda planta del I3A con la herramienta Mapper3Basic [1].

Primeramente se intentó hacer una implementación de un algoritmo de navegación híbrida que se componía de un algoritmo de planificación global basado en rejillas (que divide el mapa en casillas y calcula la mínima distancia de un origen a un destino) para calcular por qué puertas debía pasar y un algoritmo de navegación local (en concreto se usó el algoritmo Vector Field Histograms [2]) para esquivar obstáculos inesperados que se pudieran presentar durante la navegación.

Tras la implementación del algoritmo se probó que la navegación local es impracticable debido a las fluctuaciones de los sonares (quizá con la herramienta del láser se obtendría mayor precisión y sería aplicable).

A la vista de esto, como el desarrollo de un algoritmo de navegación no es parte del objetivo del proyecto (aunque si me hubiera gustado que funcionara, aunque fuera por probar alguna cosa más) se ha opatado por definir una ruta preestablecida en el mapa (como se puede ver en la siguiente figura) para empezar observar el error de odometría cometido y probar diferentes estategias en las cuales las marcas podrían aportar cierta semántica al entorno para mejorar el posicionamiento en la navegación.

[1] http://robots.mobilerobots.com/Mapper3Basic/
[2] http://www-personal.umich.edu/~johannb/vff&vfh.htm

Jugando con las coordenadas de ARToolkitPlus

2008-07-02T02:40:00.000-07:00

Una vez puesto en marcha Artoolkit Plus, presenta dos ejemplos muy básicos.

En el caso de detectar una sola marca te devuelve una matriz de transformación que representa la posición de la marca con respecto a la cámara. La salida del programa es la siguiente:

ARToolKitPlus: CamSize 320 , 240
ARToolKitPlus: Dist.Factor 159.00 139.00 -84.90 0.98


Found marker 100  (confidence 100%)

Pose-Matrix:
0.28  0.58  -0.77  0.00
  0.96  -0.20  0.20  0.00
  -0.04  -0.79  -0.61  0.00
6.29  -3.43  265.68  1.00

Esta matriz representa la orientación mediante una matriz 3x3 (macada en negrita) y la dustancia x, y, z (marcadas en rojo).

La duda que se plantea es cómo pasar de una matriz 3x3 a tres ángulos de rotación (uno por eje).

Teniendo en cuenta que la matriz de transformación esta basada en la matriz de OpenGl, la matriz de rotación se obtiene de la multiplicación de la multiplicación de las tres las matrices de rotación:

Realizando las siguientes simplificaciones: cx=Cos(x), cy=Cos(y), cz=Cos(z), stx=Sin(x), sty=Sin(y), stz=Sin(z), y multiplicando las tres rotaciones nos que daría la siguiente matriz:

[R] =

rotate about z (last rotation)

cz	-sz	0
sz	cz	0
0	0	1

* (

rotate about y (second rotation)

cy	0	sy
0	1	0
-sy	0	cy

rotate about x (first rotation)

1	0	0
0	cx	-sx
0	sx	cx

)

[R] =

cy * cz	sxsycz-cx*sz	cxsycz+sx*sz
cy * sz	sxsysz +cx*cz	cxsysz-sx*cz
-sy	sx*cy	cx*cy

De donde es fácil ver que:

Ang x = atan(r[2][1]/r[2][2])
Ang y = asin(-r[2][0])
Ang z = atan(r[0][0]/r[0][1])

De estas operaciones se observa que se puede producir "Gimbal Lock" si se divide por algún seno o coseno que tenga valor 0. Como para este caso solo hace falta saber el giro del eje Y, y se obtiene de asin(-sy) solo puede valer 0 en -90 o +90 grados, lo que no se da nunca porque con esa inclinación la cámara no ve la marca. En cualquier caso, si se diera esta problema puede consultarse el siguiente enlace para resolverlo [1].

Por otro lado también comentar que si queremos la posición de la cámara respecto a la marca, se llamará a la función arUtilMatInv de artoolkit ya que artoolkit plus no incluye esta función.

Por ahora es todo.

[1] http:/www.j3d.org/matrix_faq/matrfaq_latest.html#Q37

Probando ARToolKitPlus

2008-06-23T09:14:00.000-07:00

Aunque hasta ahora he trabajado con ARTK, me comentaron el otro día que existe una variante, el ArtoolkitPlus [1], que minimiza la necesidad de procesamiento (lo cual es bastante interesante para el limitado procesador del robot). Pero esta versión de la libreria se encuentra con los siguientes grandes problemas:

Carece practicamente de DOCUMENTACIÓN. En teoría y según ellos la documentación de ARTK debería ser suficiente, pero se supone que previamente has debido trabajar con esta.

Apenas hay ejemplos solo incluye dos que son muy simples.

ARTK+ no dispone de librerias de acceso a camaras (ARTK si dispone de ellas). Si queremos utilzar esta funcionalidad en ARTK+ debemos fabricarnos nuestras propias librerias de acceso.

Por último los creadores de ARTK+ han dejado su desarrollo paralizado su desarrollo y lo han dejado de lado. Actualmente estan trabajando en un nuevo proyeto que realizaría estas funcionalidades de una forma más optimizada. Su nombre es STUDIERSTUBE TRACKER. Pero también aqui tenemos otro problema, puesto que este proyecto no se distribuye bajo el mismo tipo de licencia que los anteriores y si deseas obtenerlo debes ponerte en contacto con su creador y solicitarselo.

Por tanto ante estos problemas, según se vea la experiencia con esta librería se hará uso de ella o no.

[1] http://studierstube.icg.tu-graz.ac.at/handheld_ar/artoolkitplus.php

Diseñando la implementación

2008-06-13T09:25:00.000-07:00

Buenas,

ya despues de todos los exámenes superados con éxito :D, retomo el desarrollo del proyecto y ahora ya toca ir trabajando la implementación.

Como buen analista, el primer paso consta en analizar el problema y esbozar un diagrama que refleje el funcionamineto. Para eso he diseñado el siguiente diagrama de clases, que aunque es un prototipo muy temprano, da una idea de la estructura y el funcionamiendo del proyecto:

El fucionamiento un poco por encima sería el siguiente:

-El servidor (o clase principal) se crea un objeto contexto con la información que le pasa el cliente al establecer la conexión.
-Posteriormente se crea un objeto de "control robot" al que le pasa como parametro el objeto "contexto" (ya que lo van a modificar) y que contiene dos objetos: "control camara" y "control Movimiento".
-Se crea un objeto "Estimacion Posición mediante Artoolkit" que es la parte que accede a la capturadora de vídeo para tomar un fotograma y calcular su posición respecto al fotograma, aparte de poder devolver vídeo frame a frame.
-Todos los objetos creados son pasados como parámetros a un objeto "Strategy" según el tipo de estrategia que decida utilizar el usuario y estas pueden ser:

1) Contol manual del robot y la cámara,
2) Funcionamiento autónomo buscando las marcas cercanas a la ruta para calibrarse
3) Funcionamiento autónomo sin buscar las marcas pero teniéndolas en cuenta si se encuentra con alguna de forma casual.

De momento voy a ver como empiezo a implementar todo esto porque son muchas cosas y ya iré comentando como va la cosa.

Saludos!!

Ya tengo las fuentes de vídeo

2008-04-15T19:02:00.000-07:00

Tras mucho cacharrear, he conseguido sacar el vídeo frame a frame en formato JPEG, tanto para la imagen real, como para la aumentada. Para esta última he utilizado la función de OpenGl "glReadPixels" [1], la cual captura lo último que se ha pintado OpenGl y lo almacena en un buffer, que posteriormente comprimo a JPEG. Aunque para el proyecto no es el objetivo insertar gráficos aumentados en la imagen pienso que esto podría ser de utilidad para futuros proyectos.

Para la compresión de JPEG he usado la librería libjpeg [2], bastante extendida en el tema.

A continuación se muestra una captura del mismo instante de la imagen real y la aumentada

Imagen real:

Imagen aumentada:

El próximo objetivo será estudiar las apliaciones cliente-servidor y realizar el envío de imágenes entre ambas.

[1] http://www.rootr.net/man/man/glReadPixels/3G
[2] http://en.wikipedia.org/wiki/Libjpeg

Modelando el problema

2008-04-14T10:22:00.000-07:00

Buenas,

tras una reunión con mis tutores de proyecto (Arturo y José Pascual), hemos planteado el problema según el siguiente diagrama, donde se propone el desarrollo como un módulo independiente, cuyas entradas y salidas serán:
-Entradas: inicialización del módulo y diferentes comandos con el objetivo de parametrizar la salida.
-Salida: datos de la posición del robot, salida de vídeo real o salida de vídeo aumentado.

Por este tipo de arquitectura, a priori se plantean los siguientes problemas:
-Hacer una apliación clienteso-servidor
-y lo que será mas problemático, comprimir el vídeo en tiempo real y enviarlo.
Para esta última tarea adelanto que trataré de abordarla usando el estandar JPEG. La compliación vendrá si no es capaz de realizar una compresión en tiempo real frame a frame, aunque según parece el cliente-servidor de vídeo que proporciona MobileRobots [1] comprime en tiempo real en JPEG.

En cualquier caso, ya iré contando los progresos.

[1] Aplicacion cliente-servidor de vídeo: http://robots.mobilerobots.com/SAV/

Por fin tengo la imagen!

2008-04-07T03:44:00.000-07:00

Algunos compañeros mios tienen el dicho de que "cuando un tonto sigue un camino, el camino acaba pero el tonto sigue". Pero en este caso, aunque parecía que no se podría utilizar la cámara en el proyecto al no ser compatible con DirectShow y este cámino parecia descartardo, indagando en la SDK grauita y limitada que proporcionan los fabricantes de la capturadora, encontré la forma de pasar el buffer que contiene la imagen directamente al artoolkit haciendo uso de los adorables punteros de c++ que suelen dar muchos dolores de cabeza, pero en ocasiones te sacan de muchos lios, como es el caso. La importancia de este hecho radica en que al estar trabajando directamente con la capturadora del robot, en teoría toda cámara conectada a ella trabajaría con Artoolkit, lo cual le da gran flexibilidad a la hora de cambiar la cámara del robot.

Así pues en este punto, las siguentes tareas a realizar son:
- Calibrar la cámara para un mejor uso de artoolkit.
- Manejar el movimiento Pan&Tild y zoom de la cámara.
- Hallar la ditancia y posición del robot basándose en la posición con que vé la marca.
- Empezar a mover el robot sobre un mapa (del I3A a ser posible).
- Integrar y estructurar todo en un proyecto

Dicho esto...manos a la obra!

Primeros problemillas

2008-02-29T00:31:00.000-08:00

Hola a todos, como siempre que se intenta integrar HW y SW han surgido los primeros problemas, pues como cada uno viene de su padre y su madre es dificil que trabajen en armonia. En este caso, el problema fue al intentar probar Artoolkit con la cámara PTZ canon vc-c50i :
Que la verdad, es una cámara muy completa, pues tiene Pan & Tild, un zoom increible, visión nocturna, resolución enorme... pero en realidad ella no tiene la culpa, pues esta conectada a una capturadora de video Sensoray 311 que no ofrece soporte para DirectShow y por tanto no funciona con Artoolkit.
Otra prosibilidad podría haber sido que la capturadora guardara vídeo .AVI y pasárselo a Artoolkit como entrada, pero según me comentan los fabricantes de Sensoray 311 solo captura video sin comprimir y para el limitado procesador del P3AT sería demasiado tener que comprimir vídeo y realizar el procesamiendo del Artoolkit en tiempo real, por tanto esta opción por el momento queda descartada.
Así que en este punto, como solución se plantea usar otro tipo de cámara como una webcam USB que suelen dar menos problemas al usar estas librerias.

Hasta aqui el primero de mis problemas y seguramente no será el último,

saludos!

Augmented Reality Aracnophobia Therapy

2008-02-25T09:34:00.000-08:00

Hola a todos de nuevo,

ya adentrándome un poco en el mundo Artoolkit he realizado un trabajo para ponerlo en funcionamiento y hacer algunas pruebas. Primero, para quien le interese haré una breve descripción sobre "qué es Artoolkit" y "cómo se instala" (si ya lo conoce puede saltar este paso).

¿Qué es Artoolkit?
ArToolKit es un conjunto de librerías para C/C++ que sirven para la creación de aplicaciones de realidad aumentada. Para ello proporciona una serie de funciones para la captura de vídeo y para la búsqueda de ciertos patrones, en las imágenes capturadas, mediante técnicas de visión por computador. También proporciona una serie de ejemplos y utilidades de gran ayuda al programador que quiera realizar este tipo de aplicaciones.

Instalación y puesta en marcha de Artoolkit
A continuación se detalla cómo se ha realizado la instalación y puesta en marcha de Artoolkit en su última versión (2.72.1) bajo Windows XP usando el entorno Visual Studio .NET 2003 en C++.

Prerequisitos:
- Entorno de desarrollo: donde se ha usado .NET 2003 pero también es posible usar Microsoft Visual Studio 6
- DSVideoLib-0.0.8b-win32: librería usada para controlar la comunicación con el driver de la cámara.
- GLUT: con el kit estas librerías deberían estar en los siguientes directorios si no existieran ya:

glut32.dll en c:\widows\system32
glut.dll en C:\widows\system
glut.h en (*)\Include\gl\
glut32.lib en (*)\Lib\

- DirectX Runtime: librerías de DirectX en su versión 9.0b o posterior
- Entrada de vídeo: en este caso mediante una cámara web (hay que apreciar que para el correcto funcionamiento si se tiene otra fuente de vídeo, como pudiera ser una capturadora de televisión, es necesario deshabilitarla).
- OpenVRML-0.14.3-win32: para trabajar con VRML como será el caso.
*Nota: para nuestro caso (*) se corresponde con la ruta “C:\Archivos de programa\Microsoft Visual Studio .NET 2003\Vc7\PlatformSDK”

Instalación:
Para poner en marcha Artoolkit, se recomienda seguir los siguientes pasos, aunque algunos en esta última versión ya vienen configurados dentro del directorio de Artoolkit:

1. Descomprimir ARToolKit.zip en cualquier directorio, siempre y cuando el directorio que contenga todo se llame ARToolKit.
2. Descomprimir DSVideoLib zip dentro {ARToolKit}. Asegurarse de que este directorio se llama "DSVL".
3. Copiar los archivos DSVL.dll y DSVLd.dll desde {ARToolKit}\DSVL\bin dentro de {ARToolKit}\bin.
4. Instalar GLUT DLL dentro de la carpeta de Windows System32, y la librería y cabeceras dentro de las carpetas de la plataforma VS SDK .
5. Ejercutar el script {ARToolKit}\Configure.win32.bat para crear include/AR/config.h.
6. Abrir ARToolKit.sln (VS.NET) o ARToolkit.dsw (VS6).
7. Ejecutar Artoolkit.
8. La libreria de renderizado de VRML y el ejemplo son opcionales pero para nuestro caso necesarios:
9. Descomprimir OpenVRML zip dentro de {ARToolKit}.
10. Copiar js32.dll desde {ARToolKit}\OpenVRML\bin dentro de {ARToolKit}\bin.
11. Habilitar libARvrml y simpleVRML projects en el controlador de configuración del VS.

Caso de estudio
En nuestro caso pretendemos que cuando la cámara detecte determinados patrones, superponga modelos VRML de arácnidos, dando lugar a una realidad aumentada que mezcle el entorno real con estos modelos virtuales añadidos.
Para esto vamos a trabajar sobre el ejemplo “simpleVRML.vcproj” ubicado en “ARToolKit\examples\simpleVRML”.
Para que funcione correctamente en dicho directorio necesitamos tener las carpetas “Data” (que contiene datos de configuración, patronest, etc) y “Wrl” (que contiene los archivos VRML y los datos de configuración de estos). Estos directorios se encuentran {Artoolkit}/bin/.
Una vez hecho esto, iniciamos Visual Studio .Net 2003 y abrimos un nuevo proyecto, donde uscaremos en la siguiente ruta ARToolKit\examples\simpleVRML\ simpleVRML.vcproj
Al ejecutar el proyecto debe aparecer una ventana que nos deja personalizar los parámetros de la cámara y posteriormente la imagen capturada por la cámara. Ahora cuando detecte algún patrón de los configurados mostrará añadirá información a la imagen capturada con la imagen virtual. En el siguiente ejemplo se aprecia cómo en un entorno real introduce una abeja volando cuando detecta el patrón “hiro”, que básicamente consiste en un modelo VRML.

Con todo esto ya sólo faltaría encontrar unos modelos de arañas para nuestro caso de estudio y modificar los archivos de configuración para que los muestre de acuerdo con los patrones que asociemos a cada uno.
Para esto, primero modificamos el en ARToolKit\examples\simpleVRML\Data\ el archivo object_data_vrml con el notepad de la siguiente manera:

#the number of patterns to be recognized
3

#pattern 1
VRML Wrl/spider1.dat
Data/patt.kanji
80.0 0.0 0.0

#pattern 2 VRML
Wrl/spider2.dat
Data/patt.hiro
80.0 0.0 0.0

#pattern 3
VRML Wrl/spider3.dat
Data/patt.sample1
80.0 0.0 0.0

Y también habría que modificar los archivos .dat con el archivo .wrl que carga y las transformaciones que le realizará. Por ejemplo para el ejemplo 1 (spider1.dat) sería:

spider1.wrl 0.0 0.0 50.0
# Translation 0.0 0.0 0.0 0.0
# Rotation 5 5 5
# Scale

En total se han realizado tres casos, una araña estática (para ponerla en la pared o una mano), otra con movimiento de translación (para que se mueva por el suelo) y otra que cuelga de un hilo y sube o baja (para ponerla en una pared).

Resultados:

Para los tres casos desarrollados estos son los resultados visuales:
Para el ejemplo 1 (araña estática):

Para el ejemplo 2 (araña en movimiento)

Como puede observarse en este ejemplo se ha creado un polígono que oculta el patrón, este método podría ser usado para ocultar las marcas con la textura de la zona donde se pone la
marca, así incrementaría la sensación de realidad.
Para el Ejemplo 3 (que sube y baja sobre su hilo):
Observaciones:
Todo este desarrollo podría aplicar en cámara web sobre la cabeza del usuario que realice las funciones descritas de realidad aumentada y un visiocasco de realidad virtual para incrementar la sensación de realidad que percibe el usuario. Algo parecido a como se muestra en la figura siguiente.

Y de momento esto es todo, espero que os haya gustado e incluso os pueda ser de utilidad.

saludos,
Alberto.

Robotic + Augmented Reality = My project!

2007-11-11T03:21:00.001-08:00

Muy buenas!!

Puesto que este año voy a trabajar mucho en mi PFC y creo que voy a aprender un montón he decidido dedicarle un blog exclusivo. Trabajaré en el preciso campo de la robótica, y en este caso, haciendo uso de la realidad aumentada.

En concreto voy a trabajar con el robot Pioneer 3AT usado para video vigilancia, con el que hasta ahora, se ha conseguido hacer navegar de forma autónoma, pero con la pega de descalibrarse con mucha facilidad, lo que tira abajo todo el trabajo realizado. Para evitar esto, mediente un sistema de marcas usado en Realidad Aumentada, el robot podrá complentar la información real con la aumentada (mediante marcas), mejorando su calibración.

Aunque es probable que tenga que usar C++ a pelo por la limitada potencia del robot, intenaré meterle la plataforma .NET aunque sea con calzador!! [:D]. De todas formas por aqui iré contando mis progresos, problemas y comederos de cabeza que vayan surguiendo.

La verdad esque los temas de realidad aumentada estan mu chulos, por tanto para quien no le haya quedado muy claro que es o tenga curiosidad aqui le dejo un vídeo de ejemplo, aunque en YouTube hay muchos.

Por último, queria mencionar a mis tutores de proyecto José Pascual Molina Massó que aparte de un gran profesor es una gran persona y un apasionado del mundillo de la tecnología y Arturo García Jimenez que, aunque aún no he tenido la oportunidad de conocerlo tanto a partir de ahora vamos a pasar intensas jornadas de trabajo, dudas, quebraderos de cabeza (por lo que ya le pido disculpas de antemano xD).

1 saludo!