Difference between revisions of "HectorQ-RV-proy2"

From robotica.unileon.es
Jump to: navigation, search
m
 
(23 intermediate revisions by 2 users not shown)
Line 1: Line 1:
 
* '''Project Name:''' RovioCWarpProject
 
* '''Project Name:''' RovioCWarpProject
 +
* '''Authors:'''  Héctor Quintián Pardo and Francisco J. Lera
 +
* '''Academic Year:''' 2009-2010
 +
* '''Degree:''' Graduate
 +
* '''Tags:''' Rovio, wrap
 +
* '''Technologies:''' c, opencv
 +
* '''Status:''' Developing
 +
* '''Source License:''' [http://www.gnu.org/licenses/gpl-3.0-standalone.html GPLv3]
 +
 +
 +
=Fases del proyecto=
 +
 +
==Inmersión en el manejo de Rovio y OpenCV==
 +
 +
En esta fase, simplemente se ha utilizado la documentación adjunta del Rovio, para conocer su manejo y saber así las posibilidades que ofrecía el Rovio para este proyecto, como pueden ser adquisición de imágenes, teleoperación, información de sensores...
 +
 +
En cuanto al manejo de OpenCV, en mi caso ya había trabajado previamente con él, sin embargo me documenté acerca de entre otras una función para el reconocimiento de caras en imágenes, con objeto de usarlo en el proyecto así como para extrapolarlo al reconocimiento de otros objetos, como puede ser el reconocimiento de otro Rovio para su seguimiento. Básicamente se ha utilizado la documentación presente en Willowgarage, "Learning OpenCV"[http://www.amazon.com/Learning-OpenCV-Computer-Vision-Library/dp/0596516134] y se han consultado distintos artículos referentes al reconocimiento facial, y en concreto al método de Viola and John, simplemente para la comprensión de su funcionamiento, ya que este método viene ya implementado en OpenCv.
 +
 +
==Configuración con el Rovio==
 +
 +
El Rovio ha sido configurado para la comunicación con el ordenador a través de router, siguiendo los pasos indicados en la documentación para la configuración del Rovio. También existe la posibilidad de una comunicación directa con el Rovio a través de Wifi.
 +
Aunque el proyecto se ha realizado sobre sistema operativo LINUX, la configuración del Rovio se tuvo que hacer en Windows.
 +
 +
[[Image:Rovio-Router.jpeg]]
 +
 +
==Obtención de imágenes==
 +
 +
El proceso que se ha utilizado para tener "visión" con el Rovio ha sido el de solicitar imágenes e ir mostrándolas de forma secuencial, pudiéndose hacer a una velocidad de 12 frames/seg.
 +
 +
Existe también la posibilidad de obtener vídeo del Rovio, sin embargo el formato en que es entregado el vídeo, no es soportado por OpenCv, de modo que se optó por la primera alternativa.
 +
 +
Para obtener imágenes del Rovio lo normal es escribir en la línea del navegador la siguiente instrucción:
 +
    192.168.1.100/Jpeg/CamImg.jpg              Donde 192.168.1.100 es la dirección IP asignada al Rovio por el router.
 +
 +
COMUNICACIÓN MEDIANTE SOCKETS
 +
 +
La comunicación con el Rovio se realiza mediante peticiones CGI, utilizando el protocolo HTTP, para realizar el negociado y controlar el flujo de comunicación, se puede utilizar el comando CURL que funciona como un navegador y es él el que realiza el negociado y controla el flujo, el problema que plantea es que tiene dependencias de librerías externas, por lo que dependería de que estas estuviesen instaladas en el equipo.
 +
 +
Por ello en este proyecto se ha optado por utilizar sockets. Con los sockets somos nosotros quienes realizamos el negociado y controlamos el flujo de comunicación y de esta forma el programa realizado sería portable a cualquier equipo, ya que no tendría dependencias de librerías extrenas. Mediante sockets, se envía en una petición CGI con el siguiente formato, recibiendo a continuación los datos que componen la imagen:
 +
    "GET /Jpeg/CamImg.jpg HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n\r\n",HOST
 +
 +
Una vez que se han almacenado los datos que componen la imagen, tendríamos 2 posibilidades:
 +
- Guardar los datos en formato IplImage, como una imagen, y luego cargar dicha imagen con OpenCV.
 +
- Realizar una conversión directa de los datos.
 +
 +
La conversión directa requiere implementar una función para la conversión de los datos, pero el tiempo que se tarda en obtener la imagen es menor que en el primer caso. Debido a que necesitamos la mayor rapidez posible para tener tiempo real, se ha utilizado la segunda opción.
 +
 +
<wikiflv width="640" height="400" logo="true">/videos/VideoRovio.flv</wikiflv>
 +
 +
==Movimiento==
 +
 +
Una vez que ya disponemos de imágenes, se ha procedido a la realización de una función para el manejo del Rovio, todos los desplazamientos posibles así como el movimiento de cabeza y la recepción de información de los distintos sensores.
 +
 +
El proceso es similar al de obtención de una imagen, ya que también es necesario enviar una petición CGI con la siguiente estructura:
 +
 +
    "GET /rev.cgi?Cmd=nav&action=18&drive=d_value&speed=s_value\r\nHost: %s\r\nConnection: close\r\n\r\n"
 +
 +
    donde:
 +
    d_value puede tomar valores entre 0 y 18 dependiendo de la acción que se quiera que realice el Rovio.
 +
    s_value puede tomar valores entre 0 y 10, siendo 0 la máxima velocidad y 10 la mínima.
 +
 +
==Teleoperación del Rovio==
 +
 +
Una vez que ya podemos enviar instrucciones de desplazamiento al Rovio, lo que se ha hecho es un sistema de teleoperado del Rovio mediante teclado, para ello a cada una de las teclas se le ha asignado una acción, tal y como se recoge en el API creada, al mismo tiempo que se muestra la "visión" del Rovio en tiempo real.
 +
 +
 +
<wikiflv width="640" height="400" logo="true">/videos/Teleoperator.flv</wikiflv>
 +
 +
==Principales funciones implementadas==
 +
 +
Una vez que ya disponemos de las herramientas básicas para el manejo del Rovio, lo que se ha hecho es implementarlo en funciones, de manera que de forma sencilla puedan ser llamadas, y estas devuelvan los datos necesarios, o realicen las acciones pertinentes, siendo el proceso de envío y recepción de información transparente para quien que utilice dicha función. Las principales funciones implementadas son:
 +
 +
ENLACE AL API
 +
 +
''"rovioAccion"''
 +
 +
Con esta función se podrán enviar órdenes de cualquier tipo para desplazamiento del Rovio, así como recibir imágenes. Para ello sólo habrá que llamar a la función pasándole un parámetro, que según la tabla presente en el API creada, indicará la acción a realizar. De este modo, todo el proceso de comunicación usando sockets y la conversión de datos en imágenes, es transparente para quien use la función.
 +
 +
 +
''"teclas"''
 +
 +
Se le pasa como parámetro la tecla pulsada y en función de ella envía al Rovio distintas órdenes de movimiento a través de la función '''rovioAccion''', la correspondencia entre el teclado y las distintas órdenes de movimiento está disponible en el API del proyecto.
 +
 +
 +
''"turn_degrees"''
 +
 +
Permite enviar un ángulo de giro determinado al Rovio, con ciertas salvedades debidas a la precisión del Rovio. Para más detalle consultar el API.
 +
 +
 +
''"rovio_head_up"''
 +
 +
Permite levantar la cabeza del Rovio un pequeño ángulo, de modo que se puedan tener posiciones intermedias de las que trae el Rovio por defecto.
 +
 +
 +
''"rovio_head_down"''
 +
 +
Permite bajar la cabeza del Rovio un pequeño ángulo, de modo que se puedan tener posiciones intermedias de las que trae el Rovio por defecto.
 +
 +
 +
''"blue_lights"''
 +
 +
Enciende o apaga las luces azules de la parte superior del Rovio con la combinación que se desee, es decir, 1, 2, 3, ... luces de forma individual. Para ello se necesita enviar un parámetro en forma de número hexadecimal. Los valores de dicho parámetro se encuentran en el API.
  
−
* '''Authors:'''  Héctor Quintián Pardo and Francisco J. Lera
 
  
−
* '''Academic Year:''' 2009-2010
+
''"detect_and_draw"''
  
−
* '''Degree:''' Graduate
+
Detecta las caras que se encuentren delante del Rovio, enmarcándolas con un cuadro rojo, y devolviendo el centroide de la cara más próxima al Rovio para que si se desea pueda hacerse un seguimiento de la misma mediante la función "tracking".
  
−
* '''SVN Repository:''' http://robotica.unileon.es/svn/Projects/PFC/Rovio/RovioCWrapProject
 
  
−
* '''Tags:''' Rovio, wrap
+
''"centroide_pelota"''
  
−
* '''Technology:''' c, opencv
+
Obtiene el centroide de una pelota de muestra de color naranja, cuyos valores de RGB cumplan la siguiente condición:
  
−
* '''State:''' Developing
+
(r>150)&&(g<90)&&(b<65)
  
−
* '''Source License:''' [http://www.gnu.org/licenses/gpl-3.0-standalone.html GPLv3]
+
Estos valores sólo podrán ser modificados en el propio código de la función.
  
−
* '''Document License:'''
 
  
−
----
+
''"tracking"''
  
−
----
+
Realiza el seguimiento de las coordenadas que se le pasan como parámetro, las cuáles las interpreta como el centroide del objeto que se quiere seguir. El procedimiento que sigue la función (con el movimiento del Rovio) es el de realizar pequeños movimientos para conseguir centrar las coordenadas del centroide en una "ventana" entorno al centro de la imagen, almacenando la dirección que sigue la pelota (derecha o izquierda), por diferencia entre las posiciones de dos imágenes consecutivas. De este modo en el momento en que se pierda la posición del objeto se sabrá la dirección que llevaba, haciendo que el Rovio inicialmente gire pocos grados (para evitar que oscile entorno al objeto) y en caso de continuar sin detectar el objeto, gire a mayor velocidad. Para más detalle consultar el API.
  
−
== FASES DEL PROYECTO ==
 
−
1. INMERSION EN EL MANEJO DEL ROVIO Y OPENCV
 
−
    En esta fase, simplemente se ha utilizado la documentación adjunta del Rovio, para conocer su manejo y saber así las posibilidades que ofrecía el Rovio para este proyecto, como pueden ser adquisición de imagenes, teleoperación, información de sensores...
 
  
−
    En cuanto al manejo de OpenCV, en mi caso ya había trabajado previamente con él, sin embargo me documente acerca de entre otras una función para el reconocimiento de caras en imagenes, con objeto de usarlo en el proyecto así como para extrapolarlo al reconocimiento de otros objetos, como puede ser el reconocimiento de otro Rovio para seguimiento. Basicamente se ha utilizado la documentación presente en Willowgarage, "Learningm OpenCV" y se han consultado distintos articulos referentes al reconocimiento facial, y en concretro al método de Viola and John, simplemente para la comprensión de su funcionamiento, ya que este metodo viene ya implementado en OpenCv
+
<wikiflv width="640" height="400" logo="true">/videos/Tracking.flv</wikiflv>

Latest revision as of 10:51, 25 June 2014

  • Project Name: RovioCWarpProject
  • Authors: Héctor Quintián Pardo and Francisco J. Lera
  • Academic Year: 2009-2010
  • Degree: Graduate
  • Tags: Rovio, wrap
  • Technologies: c, opencv
  • Status: Developing
  • Source License: GPLv3


Fases del proyecto

Inmersión en el manejo de Rovio y OpenCV

En esta fase, simplemente se ha utilizado la documentación adjunta del Rovio, para conocer su manejo y saber así las posibilidades que ofrecía el Rovio para este proyecto, como pueden ser adquisición de imágenes, teleoperación, información de sensores...

En cuanto al manejo de OpenCV, en mi caso ya había trabajado previamente con él, sin embargo me documenté acerca de entre otras una función para el reconocimiento de caras en imágenes, con objeto de usarlo en el proyecto así como para extrapolarlo al reconocimiento de otros objetos, como puede ser el reconocimiento de otro Rovio para su seguimiento. Básicamente se ha utilizado la documentación presente en Willowgarage, "Learning OpenCV"[1] y se han consultado distintos artículos referentes al reconocimiento facial, y en concreto al método de Viola and John, simplemente para la comprensión de su funcionamiento, ya que este método viene ya implementado en OpenCv.

Configuración con el Rovio

El Rovio ha sido configurado para la comunicación con el ordenador a través de router, siguiendo los pasos indicados en la documentación para la configuración del Rovio. También existe la posibilidad de una comunicación directa con el Rovio a través de Wifi. Aunque el proyecto se ha realizado sobre sistema operativo LINUX, la configuración del Rovio se tuvo que hacer en Windows.

Rovio-Router.jpeg

Obtención de imágenes

El proceso que se ha utilizado para tener "visión" con el Rovio ha sido el de solicitar imágenes e ir mostrándolas de forma secuencial, pudiéndose hacer a una velocidad de 12 frames/seg.

Existe también la posibilidad de obtener vídeo del Rovio, sin embargo el formato en que es entregado el vídeo, no es soportado por OpenCv, de modo que se optó por la primera alternativa.

Para obtener imágenes del Rovio lo normal es escribir en la línea del navegador la siguiente instrucción: 

   192.168.1.100/Jpeg/CamImg.jpg              Donde 192.168.1.100 es la dirección IP asignada al Rovio por el router.

COMUNICACIÓN MEDIANTE SOCKETS

La comunicación con el Rovio se realiza mediante peticiones CGI, utilizando el protocolo HTTP, para realizar el negociado y controlar el flujo de comunicación, se puede utilizar el comando CURL que funciona como un navegador y es él el que realiza el negociado y controla el flujo, el problema que plantea es que tiene dependencias de librerías externas, por lo que dependería de que estas estuviesen instaladas en el equipo.

Por ello en este proyecto se ha optado por utilizar sockets. Con los sockets somos nosotros quienes realizamos el negociado y controlamos el flujo de comunicación y de esta forma el programa realizado sería portable a cualquier equipo, ya que no tendría dependencias de librerías extrenas. Mediante sockets, se envía en una petición CGI con el siguiente formato, recibiendo a continuación los datos que componen la imagen: 

   "GET /Jpeg/CamImg.jpg HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n\r\n",HOST

Una vez que se han almacenado los datos que componen la imagen, tendríamos 2 posibilidades: - Guardar los datos en formato IplImage, como una imagen, y luego cargar dicha imagen con OpenCV. - Realizar una conversión directa de los datos.

La conversión directa requiere implementar una función para la conversión de los datos, pero el tiempo que se tarda en obtener la imagen es menor que en el primer caso. Debido a que necesitamos la mayor rapidez posible para tener tiempo real, se ha utilizado la segunda opción.

<wikiflv width="640" height="400" logo="true">/videos/VideoRovio.flv</wikiflv>

Movimiento

Una vez que ya disponemos de imágenes, se ha procedido a la realización de una función para el manejo del Rovio, todos los desplazamientos posibles así como el movimiento de cabeza y la recepción de información de los distintos sensores.

El proceso es similar al de obtención de una imagen, ya que también es necesario enviar una petición CGI con la siguiente estructura: 

   "GET /rev.cgi?Cmd=nav&action=18&drive=d_value&speed=s_value\r\nHost: %s\r\nConnection: close\r\n\r\n"

   donde:
   d_value puede tomar valores entre 0 y 18 dependiendo de la acción que se quiera que realice el Rovio.
   s_value puede tomar valores entre 0 y 10, siendo 0 la máxima velocidad y 10 la mínima.

Teleoperación del Rovio

Una vez que ya podemos enviar instrucciones de desplazamiento al Rovio, lo que se ha hecho es un sistema de teleoperado del Rovio mediante teclado, para ello a cada una de las teclas se le ha asignado una acción, tal y como se recoge en el API creada, al mismo tiempo que se muestra la "visión" del Rovio en tiempo real.


<wikiflv width="640" height="400" logo="true">/videos/Teleoperator.flv</wikiflv>

Principales funciones implementadas

Una vez que ya disponemos de las herramientas básicas para el manejo del Rovio, lo que se ha hecho es implementarlo en funciones, de manera que de forma sencilla puedan ser llamadas, y estas devuelvan los datos necesarios, o realicen las acciones pertinentes, siendo el proceso de envío y recepción de información transparente para quien que utilice dicha función. Las principales funciones implementadas son:

ENLACE AL API

"rovioAccion"

Con esta función se podrán enviar órdenes de cualquier tipo para desplazamiento del Rovio, así como recibir imágenes. Para ello sólo habrá que llamar a la función pasándole un parámetro, que según la tabla presente en el API creada, indicará la acción a realizar. De este modo, todo el proceso de comunicación usando sockets y la conversión de datos en imágenes, es transparente para quien use la función.


"teclas"

Se le pasa como parámetro la tecla pulsada y en función de ella envía al Rovio distintas órdenes de movimiento a través de la función rovioAccion, la correspondencia entre el teclado y las distintas órdenes de movimiento está disponible en el API del proyecto.


"turn_degrees"

Permite enviar un ángulo de giro determinado al Rovio, con ciertas salvedades debidas a la precisión del Rovio. Para más detalle consultar el API.


"rovio_head_up"

Permite levantar la cabeza del Rovio un pequeño ángulo, de modo que se puedan tener posiciones intermedias de las que trae el Rovio por defecto.


"rovio_head_down"

Permite bajar la cabeza del Rovio un pequeño ángulo, de modo que se puedan tener posiciones intermedias de las que trae el Rovio por defecto.


"blue_lights"

Enciende o apaga las luces azules de la parte superior del Rovio con la combinación que se desee, es decir, 1, 2, 3, ... luces de forma individual. Para ello se necesita enviar un parámetro en forma de número hexadecimal. Los valores de dicho parámetro se encuentran en el API.


"detect_and_draw"

Detecta las caras que se encuentren delante del Rovio, enmarcándolas con un cuadro rojo, y devolviendo el centroide de la cara más próxima al Rovio para que si se desea pueda hacerse un seguimiento de la misma mediante la función "tracking".


"centroide_pelota"

Obtiene el centroide de una pelota de muestra de color naranja, cuyos valores de RGB cumplan la siguiente condición: 

(r>150)&&(g<90)&&(b<65)

Estos valores sólo podrán ser modificados en el propio código de la función.


"tracking"

Realiza el seguimiento de las coordenadas que se le pasan como parámetro, las cuáles las interpreta como el centroide del objeto que se quiere seguir. El procedimiento que sigue la función (con el movimiento del Rovio) es el de realizar pequeños movimientos para conseguir centrar las coordenadas del centroide en una "ventana" entorno al centro de la imagen, almacenando la dirección que sigue la pelota (derecha o izquierda), por diferencia entre las posiciones de dos imágenes consecutivas. De este modo en el momento en que se pierda la posición del objeto se sabrá la dirección que llevaba, haciendo que el Rovio inicialmente gire pocos grados (para evitar que oscile entorno al objeto) y en caso de continuar sin detectar el objeto, gire a mayor velocidad. Para más detalle consultar el API.


<wikiflv width="640" height="400" logo="true">/videos/Tracking.flv</wikiflv>

Retrieved from "https://robotica.unileon.es/index.php?title=HectorQ-RV-proy2&oldid=3989"