robotica.unileon.es - User contributions [en]

Aitana-TFM-Android-MYRA

2014-10-25T21:21:56Z

AitanaAlo: /* Test 2 */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* [http://opencv.org/ OpenCV]
* [https://www.opengl.org/ OpenGL]
* [http://www.uco.es/investiga/grupos/ava/node/26 Aruco]

=== Herramientas de teleasistencia ===

* [http://www.ipcom.at/telefonie/qjsimple/ QjSimple]
* [http://www.pjsip.org/ pjSIP]

=== Otras herramientas y lenguajes de programación ===

* [http://www.cplusplus.com/ C++]
* [http://qt-project.org/ Qt]
* [http://git-scm.com/ GiT]
* [http://www.cmake.org/ cmake]
* [http://www.gnu.org/software/make/ make]

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot.

<center><videoflash>UOA8cxKjiDM#t=13</videoflash></center>

Aitana-TFM-Android-MYRA

2014-10-25T21:21:10Z

AitanaAlo: /* Test 2 */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* [http://opencv.org/ OpenCV]
* [https://www.opengl.org/ OpenGL]
* [http://www.uco.es/investiga/grupos/ava/node/26 Aruco]

=== Herramientas de teleasistencia ===

* [http://www.ipcom.at/telefonie/qjsimple/ QjSimple]
* [http://www.pjsip.org/ pjSIP]

=== Otras herramientas y lenguajes de programación ===

* [http://www.cplusplus.com/ C++]
* [http://qt-project.org/ Qt]
* [http://git-scm.com/ GiT]
* [http://www.cmake.org/ cmake]
* [http://www.gnu.org/software/make/ make]

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

<center><videoflash>UOA8cxKjiDM#t=13</videoflash></center>

{| style="border: solid 0px white; width: 50%" align="center"
||
----
|}
[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T14:05:59Z

AitanaAlo: /* Otras herramientas y lenguajes de programación */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* [http://opencv.org/ OpenCV]
* [https://www.opengl.org/ OpenGL]
* [http://www.uco.es/investiga/grupos/ava/node/26 Aruco]

=== Herramientas de teleasistencia ===

* [http://www.ipcom.at/telefonie/qjsimple/ QjSimple]
* [http://www.pjsip.org/ pjSIP]

=== Otras herramientas y lenguajes de programación ===

* [http://www.cplusplus.com/ C++]
* [http://qt-project.org/ Qt]
* [http://git-scm.com/ GiT]
* [http://www.cmake.org/ cmake]
* [http://www.gnu.org/software/make/ make]

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T14:03:47Z

AitanaAlo: /* Herramientas de teleasistencia */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* [http://opencv.org/ OpenCV]
* [https://www.opengl.org/ OpenGL]
* [http://www.uco.es/investiga/grupos/ava/node/26 Aruco]

=== Herramientas de teleasistencia ===

* [http://www.ipcom.at/telefonie/qjsimple/ QjSimple]
* [http://www.pjsip.org/ pjSIP]

=== Otras herramientas y lenguajes de programación ===

* C++
* [http://qt-project.org/ Qt]
* [http://git-scm.com/ GiT]
* cmake
* make

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T14:02:55Z

AitanaAlo: /* Otras herramientas y lenguajes de programación */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* [http://opencv.org/ OpenCV]
* [https://www.opengl.org/ OpenGL]
* [http://www.uco.es/investiga/grupos/ava/node/26 Aruco]

=== Herramientas de teleasistencia ===

* QjSimple
* pjSIP

=== Otras herramientas y lenguajes de programación ===

* C++
* [http://qt-project.org/ Qt]
* [http://git-scm.com/ GiT]
* cmake
* make

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T14:02:25Z

AitanaAlo: /* Otras herramientas y lenguajes de programación */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* [http://opencv.org/ OpenCV]
* [https://www.opengl.org/ OpenGL]
* [http://www.uco.es/investiga/grupos/ava/node/26 Aruco]

=== Herramientas de teleasistencia ===

* QjSimple
* pjSIP

=== Otras herramientas y lenguajes de programación ===

* C++
* Qt
* [http://git-scm.com/ GiT]
* cmake
* make

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:58:17Z

AitanaAlo: /* Herramientas de Visión Artificial y RA */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* [http://opencv.org/ OpenCV]
* [https://www.opengl.org/ OpenGL]
* [http://www.uco.es/investiga/grupos/ava/node/26 Aruco]

=== Herramientas de teleasistencia ===

* QjSimple
* pjSIP

=== Otras herramientas y lenguajes de programación ===

* C++
* Qt
* GiT
* cmake
* make

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:57:17Z

AitanaAlo: /* Herramientas de control */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* [http://www.ros.org/ ROS] (Robot Operating System)

=== Herramientas de Visión Artificial y RA ===

* OpenCV
* OpenGL
* Aruco

=== Herramientas de teleasistencia ===

* QjSimple
* pjSIP

=== Otras herramientas y lenguajes de programación ===

* C++
* Qt
* GiT
* cmake
* make

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:56:23Z

AitanaAlo: /* Otras herramientas y lenguajes de programación */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* ROS

=== Herramientas de Visión Artificial y RA ===

* OpenCV
* OpenGL
* Aruco

=== Herramientas de teleasistencia ===

* QjSimple
* pjSIP

=== Otras herramientas y lenguajes de programación ===

* C++
* Qt
* GiT
* cmake
* make

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:56:16Z

AitanaAlo: /* Lenguajes y bibliotecas utilizadas */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

Para el desarrollo de la aplicación se han utilizado varias tecnologías, lenguajes y herramientas, así como un conjunto de aplicaciones con licencia GPLv3 previamente desarrolladas por otros usuarios y profesionales en la materia. Las veremos clasificadas en herramientas de control, herramientas de visión artificial y RA, herramientas para el desarrollo de la teleasistencia y otras herramientas utilizadas para llevar a cabo el desarrollo del software.

=== Herramientas de control ===

* ROS

=== Herramientas de Visión Artificial y RA ===

* OpenCV
* OpenGL
* Aruco

=== Herramientas de teleasistencia ===

* QjSimple
* pjSIP

=== Otras herramientas y lenguajes de programación ===

* C++
* Qt
* GiT
* cmake
* make

*

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:40:13Z

AitanaAlo: /* Entornos de desarrollo integrados (IDE's) */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

=== Qtcreator===

[http://qt-project.org/wiki/category:tools::qtcreator '''Qt Creator'''] es un IDE multiplataforma adaptado a las necesidades de los desarrolladores de Qt.

Qt Creator proporciona entre otras las siguientes características que ayudan a desarrollar código:

* Editor de código con soporte C + +, QML y ECMAscript.
* Herramientas rápidas de navegación de código.
* Resaltado de sintaxis y autocompletado de código.
* Comprobación de código estático.
* Soporte para la refactorización del código fuente.
* Ayuda contextual.
* Incluye herramientas para el desarrollo de interfaces de usuario. Lo que permite construir rápidamente y poder visualizar como van a quedar las diferentes ventanas, imágenes, botones...

=== Android Studio ===

[https://developer.android.com/sdk/installing/studio.html '''Android Studio'''] es un IDE multiplataforma para desarrollar aplicaciones android.

Incluye el '''SDK de Android''' que es el que proporciona las bibliotecas y las herramientas de desarrollo necesarias para crear, probar y depurar aplicaciones para android.

El sistema de construcción de Android Studio se basa en un plugin de Android para '''Gradle'''. Gradle es un conjunto de herramientas de construcción avanzada que gestiona las dependencias y le permite definir una lógica de construcción para las aplicaciones personalizada.

== Lenguajes y bibliotecas utilizadas ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:36:58Z

AitanaAlo: /* Plataformas de Desarrollo */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

== Lenguajes y bibliotecas utilizadas ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:32:11Z

AitanaAlo: /* Tecnologías utilizadas */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

En esta sección solo se van a enunciar las plataformas, lenguajes y bibliotecas utilizadas para el desarrollo del presente proyecto, sin pretender entrar en una explicación de las mismas.

== Plataformas de Desarrollo ==

Se trata de un proyecto de integración de tres plataformas:

*Plataforma Linux, sistema operativo basado en Unix, en concreto la distribución [http://www.ubuntu.com/ Ubuntu 12.04](tanto la versión de 32 como la de 64 bits).
*Plataforma Android, [http://www.android.com/about/jelly-bean/ versión 4.2.2 Jelly Bean].
*ROS, versión [http://wiki.ros.org/hydro hydro].

== Entornos de desarrollo integrados (IDE's) ==

== Lenguajes y bibliotecas utilizadas ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:27:01Z

AitanaAlo:

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Tecnologías utilizadas =

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:25:08Z

AitanaAlo: /* Propuesta */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 700px | Diagrama SysML de Propuesta MYRABot.]]

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:24:57Z

AitanaAlo: /* Propuesta */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 600px | Diagrama SysML de Propuesta MYRABot.]]

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:24:44Z

AitanaAlo: /* Propuesta */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

Tras la presentación de estos componentes, revisar el estado del arte y ver evaluar cual sería la mejor aproximación, creemos
que la arquitectura que será necesaria desarrollar para que la solución continue siendo útil es la que se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es.png figura].

[[File:DiagramaSysMLMyrabot_es.png| center | 500px | Diagrama SysML de Propuesta MYRABot.]]

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

File:DiagramaSysMLMyrabot es.png

2014-10-13T13:23:40Z

AitanaAlo:

Aitana-TFM-Android-MYRA

2014-10-13T13:22:09Z

AitanaAlo: /* Fase I */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:21:53Z

AitanaAlo: /* Software MYRA */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center| border|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:21:08Z

AitanaAlo: /* Software MYRA */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura].

[[File:MYRAFase2b.jpg|center| border| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center| border|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:20:19Z

AitanaAlo: /* Fase I */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [Solución Actual MYRABot figura].

[[File:MYRAFase2b.jpg|center| border| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center| border|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:19:44Z

AitanaAlo: /* Software MYRA */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [Solución Actual MYRABot figura].

[[File:MYRAFase2b.jpg|center| border| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura]).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:19:12Z

AitanaAlo: /* Arquitectura */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project platforma MYRABot] sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver [http://robotica.unileon.es/mediawiki/index.php/Projects#MYRA_project figura]). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido.
* Bajo coste.
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

En cuanto a hardware se tienen dos elementos muy diferenciamos, por un lado la plataforma robótica cuyos componentes hardware son los siguientes:

*iRobot Roomba 520, Arduino Mega, y la estructura de madera.
*Dinamixel Arm (5x12a) para la manipulación de móviles de pequeños objetos rígidos.
*Notebook (procesador Atom), la pantalla se ha situado en la parte superior del robot
*Kinect para la navegación.
*Asus Xtion for 3D object recognition.

Por otro lado, el dispositivo móvil, que puede tratarse de una table o smartphone con sistema operativo Android y que cuente con una cámara.

== Software ==

El software de la arquitectura se clasifica en:

* ROS (robot control)
* MYRA (C/C++, ArUCo, Qt, openCV)

=== Software MYRA ===

El software MYRA (Mayores y Realidad Aumentada, realidad aumentada y ancianos), es un sistema asistencial que mediante realidad aumentada ayuda al mayor en distintas labores de asistencia, como por ejemplo en el control de la medicación. Esto se aplica en dos contextos diferentes:

*Ayudar a las personas mayores en su hogar en el día a día. Consiste en un sistema de control para la medicación diaria que un del anciano. Las tecnologías que se han utilizado en esta parte son las siguientes: C++, Qt, OpenCV y ArUco, que es una librería de Realidad Aumentada basada en OpenCV.
*Un sistema de teleasistencia genérico.

A alto nivel la solución actual de la propuesta realiza unas tareas bien definidas como se puede ver en la [Solución Actual MYRABot figura].

[[File:MYRAFase2b.jpg|center| border| 500px| Solución Actual MYRABot]]

El paradigma de desarrollo que se aplica en el software MYRA es el '''Modelo Vista Controlador (MVC)''', que consiste en separar los datos de una aplicación (Modelo), la interfaz de usuario (Vista) y la lógica de negocios (controlador) en tres componentes distintos que se relacionarán para al final tener como resultado nuestra aplicación.

[[File:MVC.png|thumb|Modelo Vista Controlador]]

*Modelo que abarca el software necesario para conectarse a otras bibliotecas que MYRA necesita, como por ejemplo: OpenCV, ArUco, bibliotecas pjproject y ROS. Estas bibliotecas proporcionan el reconocimiento de imágenes, realidad aumentada y los servicios de VoIP, respectivamente. ROS proporciona el control del robot.
*Vista, es el encargado de construir la interfaz e interactuar con los usuarios, además mostrará la información al usuario en la pantalla del robot.
*Controlador está compuesto por los subsistemas que procesan los datos y generar la información que necesitan los niveles más altos de la aplicación.

Además tratándose de una integración con Android, utilizaremos Android UI framework que está basado en el patrón de diseño MVC ( ver [http://robotica.unileon.es/mediawiki/index.php/File:AndroidMVC.png figura).

[[File:AndroidMVC.png|thumb|Modelo Vista Controlador en Android]]

== Propuesta ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

File:AndroidMVC.png

2014-10-13T13:18:47Z

AitanaAlo:

File:MVC.png

2014-10-13T13:17:15Z

AitanaAlo:

Aitana-TFM-Android-MYRA

2014-10-13T13:05:50Z

AitanaAlo: /* MYRABot */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la platforma MYRABot sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver figura \ref{fig:myrabot}). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido
* Bajo coste
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

== Software ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:05:23Z

AitanaAlo: /* MYRABot */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la platforma MYRABot sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver figura \ref{fig:myrabot}). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido
* Bajo coste
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|600px| border| Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

== Software ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:05:07Z

AitanaAlo: /* Arquitectura */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la platforma MYRABot sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

El '''robot MYRABot''' es un robot de bajo coste de asistencia en el hogar (ver figura \ref{fig:myrabot}). Esta especialmente dedicado a la asistencia de personas mayores. Dicho robot tiene las siguientes características:

* Construido con técnicas de prototipado rápido
* Bajo coste
* Adecuado para realizar tareas básicas y desplazarse en el hogar.

Aunque vamos a presentar ambos componentes, hardware y software, nos centraremos en la parte de software que es en lo que vamos a trabajar en el proyecto e incluiremos un nuevo bloque con despliegue sobre la plataforma Android (Figura \ref{fig:DiagramaSysMLMyrabot_es}).

La [http://robotica.unileon.es/mediawiki/index.php/File:DiagramaSysMLMyrabot_es1.png figura] representa la arquitectura MYRA mediante el lenguaje de modelado SysML. Se muestran los componentes hardware y software del robot y las relaciones entre ellos.

[[File:DiagramaSysMLMyrabot_es1.png|center|Diagrama SysML de primer prototipo MYRABot.]]

== Hardware ==

== Software ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

File:DiagramaSysMLMyrabot es1.png

2014-10-13T13:04:56Z

AitanaAlo:

Aitana-TFM-Android-MYRA

2014-10-13T13:00:53Z

AitanaAlo: /* Arquitectura */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la platforma MYRABot sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 200px |Fotografía del robot MYRABot.]]

== MYRABot ==

== Hardware ==

== Software ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:00:40Z

AitanaAlo: /* Arquitectura */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la platforma MYRABot sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png| thumb| 300px |Fotografía del robot MYRABot.]]

== MYRABot ==

== Hardware ==

== Software ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

Aitana-TFM-Android-MYRA

2014-10-13T13:00:23Z

AitanaAlo: /* Arquitectura */

* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013 - September 2014
* '''Degree:''' Master
* '''Tags:''' android, MYRA, ROS, ArUco, Realidad Aumentada
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Introducción=

Desde hace varios años este grupo está trabajando en plataformas de asistencia. El grupo ha diseñado un robot
llamado MYRABot con la finalidad de ayudar a la gente mayor utilizando para ello Realidad Aumentada. Este robot es controlado con el software ROS
(Robot Operating System) y cuenta con su propio software: MYRA. Este último, es el objetivo de nuestro proyecto.

Este proyecto esta basado en la integración del software MYRA con ROS y una plataforma móvil con Android.

¿Por qué realizar este proyecto? Es decir, ¿Es necesario adaptar la solución de escritorio MYRA para móvil?
Sin lugar a dudas, las aplicaciones para dispositivos móviles tienen varias ventajas. La principal es que con ellos puedes llevar tu
aplicación de realidad aumentada a cualquier parte, o si surge que en la zona geográfica en que estás hay disponible alguna aplicación concreta de
esa zona podrías usarla, puesto que dispondrías del hardware necesario. Esto es muy útil cuando se trata, por ejemplo, de aplicaciones que son
fuentes de información acerca de algo que necesitamos saber o hacia lo que sentimos curiosidad.

Otra ventaja viene dada por la accesibilidad a los dispositivos móviles ya que actualmente la mayor parte del mundo ya dispone de ellos
y son utilizados diariamente en multitud de tareas. Elegimos la plataforma Android
porque cuenta con mayor número de usuarios, según [http://www.gartner.com/newsroom/id/2482816 Gartner] un 74.4% de los dispositivos móviles adquiridos durante el
año 2013 contaban con este sistema operativo.

Por lo tanto, este proyecto va a describir el trabajo realizado para añadir funcionalidades al software MYRA en su versión de escritorio, para
su despliegue en móviles. Para ello tendremos que replantear la arquitectura propuesta actualmente en la solución para montar todo lo necesario y poder lanzar en paralelo instancias de la aplicación MYRA.

Para conseguir la integración hemos analizado soluciones relacionadas en varios entornos: Android y PC de escritorio.

Durante el desarrollo se han realizado mejoras en paralelo como un interface de configuración, un interface de debug y otro para visualizacion de mensajes de ROS en MYRA.

A nivel de software hemos refactorizado código e integrado la librería de RA Aruco con ROS mediante un paquete proporcionado por PAL Robotics.
Reciprocamente la solución móvil integrará una versión ligera de control de la medicación de la misma forma que hace MYRA de escritorio.

Como resultado hemos obtenido, por un lado nuevas funcionalidades en el software de escritorio MYRA y una aplicación Android que cuenta con
un sistema de teleoperación para el robot y con un sistema de realidad aumentada basado en el reconocimiento de marcadores y haciendo uso de
la libreria de Aruco, todo ello integrado con el software de control ROS.

==Objetivos==

Los objetivos principales de este proyecto son los siguientes:

* Actualizar el interface MYRA para integrarlo con ROS.

* Añadir a la solución MYRA una ventana de configuración y otra de debug.

* Actualizar el entorno para que MYRA pueda ser lanzado desde la plataforma Android.

== Planificacion inicial ==

Primero hemos identificamos las necesidades del proyecto, por un lado que que la RA de la que hace uso el software MYRA funcionara en dispositivos Android, porque son más asequibles y fáciles de manejar por personas mayores que los tradicionales ordenadores y por otro lado, integrar el software con ROS para que haya un control sobre el robot.

Después de una etapa de estudio intensivo en la materia, incluyendo el estudio del trabajo anterior
realizado en el grupo de robótica, se paso a la búsqueda de posibles soluciones para realizar el proyecto y por último al desarrollo del mismo en las siguientes fases:

La primera se centra en la integración de ROS, ArUco y Android, mediante una aplicación Android.

En la segunda, se realizarán modificaciones sobre el software actual MYRA, para permitir nuevas funcionalidades, se realizarán los siguientes cambios:

* Añadir interface para una configuración rápida de MYRA con ROS.

* Crear interface para visualización de logs.

Después de este ultimo, se decidió añadir al primer entregable teleoperación para que así fuera más uniforme la el software de escritorio y el de android.

= Arquitectura =

A lo largo de este apartado revisaremos la platforma MYRABot sobre la que se ha realizado este trabajo.
Además presentaremos las decisiones tomadas para modificar su arquitectura actual para adaptarla a
un entorno de trabajo con plataformas móviles.
[[File:myrabot.png|border| 300px |Fotografía del robot MYRABot.]]

== MYRABot ==

== Hardware ==

== Software ==

= Desarrollo =

A lo largo de este apartado se detallan las fases en que se han desarrollado finalmente en el proyecto.

== Fase I ==

En la primera fase, se realizó la integración de ROS, ArUco y Android. El modelo que deseamos obtener es el que se aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_faseI.png figura], en donde el anciano a través de la cámara de su dispositivo android envía imágenes al robot ( en este caso un PC), mediante la conexión wifi y a su vez recibe de manera inmediata mediante un marcador que medicina le toca tomar en ese momento. Veamos en los siguientes apartados los pasos necesarios para conseguir esta integración.
[[File:diagrama_faseI.png|center|Diagrama resumen de la primera fase.]]

Los pasos necesarios para conseguir esta integración son:

* Despliegue del sistema base
* Conexión entre sistemas
* Validación de comunicaciones entre sistemas
* Integrar solución de realidad aumentada
* Validación de funcionamiento en todos los sistemas

Los desarrollamos a continuación.

===Despliegue del sistema base===

En esta fase tendremos que lanzar los cimientos del sistema de control. '''Roscore''' es un conjunto de nodos y programas que son pre-requisitos de un sistema basado en ROS. Se debe ejecutar roscore para que los nodos ROS para comunicarse. Por tanto, esto es lo primero que debemos hacer en la máquina que tengamos instalado ROS ( en nuestro caso versión hydro). Para iniciarlo se hace con el comando roscore.

En nuestro caso, podremos prescindir de ejecutar este comando porque si utilizamos '''roslaunch''', que más adelante explicaremos inicia automáticamente ''roscore'' si no se esta ejecutando ya.

Roscore inicia los siguientes recursos:

* Maestro o master
* Servidor de parámetros
* Un nodo de registro: ''\rosout''

Debemos también modificar las siguientes variables del entorno ROS:
<syntaxhighlight>
export ROS_MASTER_URI=http://localhost:11311
</syntaxhighlight>
<syntaxhighlight>
export ROS_HOSTNAME=localhost
</syntaxhighlight>

En el lugar de ''localhost'' irá la IP del equipo donde se ejecuta el ''roscore''.

===Conexión entre sistemas===

Para realizar la aplicación de Android que se conectará con el master de ROS, nos hemos ayudado de '''\android\core''', que esta basado en el cliente '''rosjava'''. En la [http://robotica.unileon.es/mediawiki/index.php/File:Packages-dependencies.png figura] se ven las dependencias que existen entre los diferentes paquetes oficiales de ROS para java.
[[File:packages-dependencies.png|thumb|Diagrama de dependencias rosjava-android]]

Para el desarrollo de la aplicación se ha utilizado Android Studio y se ha ejecutado sobre varios dispositivos android. Una vez instalada la aplicación en el dispositivo y ejecutado el roscore o roslaunch. Se ejecutará la aplicación android y nos aparecerá la siguiente pantalla ([http://robotica.unileon.es/mediawiki/index.php/File:Screenshot_conexion.png Ver figura] ) dónde debemos introducir la IP del equipo donde se ejecuta el roscore para que se realice la conexión y pueda así comunicarse el nodo del dispositivo android con los demás nodos del sistema.

[[File:screenshot_conexion.png|400px|center|Captura de pantalla de la aplicación de Android]]

===Validación de comunicaciones entre sistemas===

Una vez establecida la conexión el nodo android que se encarga de publicar las imágenes ''/ros_camera_preview_view'' empezará a publicar bajo el topic ''/camera/image/compressed''.

Después vamos a necesitar que el nodo que se va a encargar del procesamiento de la imagen y de la realidad aumentada, el nodo ''aruco_android'', se suscriba a las imágenes publicadas por el nodo ''/ros_camera_preview_view''.

El paquete '''image_transport''', se usa siempre que se trata de publicar y suscribirse a imágenes, este proporciona un soporte transparente para transportar las imágenes comprimidas.

Android publica las imágenes en formato ''compressed'', pero el nodo ''aruco_android'' necesita que estas estén en formato ''raw'' (es el tipo de transporte por defecto). Por eso deberemos republicar las imágenes cambiando el tipo de transporte. La sintaxis para hacer esto es la siguiente:

<syntaxhighlight>
republish in_transport in:=<in_base_topic> [out_transport] out:=<out_base_topic>
</syntaxhighlight>

En nuestro caso haremos:
<syntaxhighlight>
cd /opt/ros/hydro/lib/image_transport
./republish compressed in:=/camera/image raw out:=/camera/image_test
</syntaxhighlight>

Y con esto obtendremos la imagen en el formato por defecto ''raw'' nombrada con el topic ''/camera/image_test'' que será la imagen a la que se suscriba el nodo de RA. En la [http://robotica.unileon.es/mediawiki/index.php/File:Republish.png figura] se ve como se realiza la publicación, republicación y suscripción.

[[File:republish.png|center|Publicación, republicación y suscripción de imágenes.]]

===Integrar solución de realidad aumentada===

PAL Robotics propone una [https://github.com/pal-robotics/aruco_ros solución o paquete de integración de la libreria ArUco con ROS]. Se ha trabajado, sobre ese paquete modificando algunas de las funciones de ArUco y se ha añadido un lanzador ''android.launch'' para poder ejecutar dicho paquete con los parámetros correspondientes al dispositivo móvil.

Los lanzadores .launch son archivos ROS de configuración escritos en XML en los que se especifican los nodos a lanzar, los argumentos de entrada a éstos y los parámetros necesarios para crear una aplicación completa. Como todo archivo XML, se compone de una serie de etiquetas que tienen una serie de opciones a rellenar.

Este será el archivo que ejecutaremos con el roslaunch:

<syntaxhighlight>
roslaunch aruco_ros android.launch
</syntaxhighlight>

Al ejecutarlo, se creara el nodo ''aruco_android'' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Aruco_android.png figura]), el cual se suscribe al topic ''/camera/image_test'', realiza todo el procesado de las imágenes y pinta sobre ellas reconociendo los marcadores de RA, su código, está imagen es la que posteriormente publica con diferentes formatos con el topic ''/aruco_android/result'' y ''/aruco_android/result/compressed''.

[[File:Aruco_android.png|center|800px|Diagrama de suscripciones y publicaciones del nodo aruco_android]]

===Validación de funcionamiento en todos los sistemas===

Es el topic ''/aruco_android/result/compressed'' al que se suscribirá el nodo de android ''/ros_image_view'' que se encargará de mostrar en la pantalla del dispositivo el resultado después de aplicar la RA como se muestra en la siguiente [http://robotica.unileon.es/mediawiki/index.php/File:tablet.jpg figura].

[[File:tablet.jpg|thumb|Aplicación Android reconociendo los marcadores de RA]]

El modelo resultante incluyendo los topics de publicación del robot y del dispositivo móvil se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_topics.png figura].

[[File:diagrama_topics.png|center|500px|Diagrama resumen de la primera fase con topics.]]

== Fase II ==

Comprende las nuevas funcionalidades del software de escritorio y la teleoperación del robot.

=== Funcionalidades software MYRA ===

En este primer paso, se ha realizado una modificación del software de escritorio MYRA, añadiéndole nuevas funcionalidades. Esta modificación consiste en una actualización de la interfaz de usuario, añadiendo por un lado una ventana de configuración y por otra parte, una ventana de debug y debug topic.

*La ventana de '''configuración''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]), nos da la opción de seleccionar la url del máster al que queremos conectarnos y la IP del equipo que se va a conectar. Por defecto, suponemos que el máster y el equipo que se conecta son el propio que ejecuta la aplicación MYRA, por eso los parámetros por defecto son ''http://localhost:11311/'' y la IP ''localhost''.

[[File:capturaMYRA1.png|thumb|Captura de la ventana de configuración de MYRA]]

*La ventana de '''MYRA''', donde no se ha hecho ninguna modificación. Esta es la parte que se encarga de la visualización de la RA para indicar que medicina le toca al anciano. Un ejemplo de su funcionamiento se aprecia en la [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura].

[[File:capturaMYRA3.png|thumb|Captura de la ventana de medicación de MYRA]]

*La ventana de '''Teleop''', desde donde se puede teleoperar el robot y a la que se ha añadido la posibilidad de cambiar el topic de visualización desde la ventana de configuración. En este ejemplo por ejemplo (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA4.png figura]) se está visualizando el topic ''/aruco_android/result''.

[[File:capturaMYRA4.png|thumb|Captura de la ventana de teleoperación de MYRA]]

*La ventana de '''debug''' (Ver [http://robotica.unileon.es/mediawiki/index.php/File:CapturaMYRA2.png figura]) muestra los logs generados por la aplicación indicando su nivel entre cinco posibles: debug, info, warning, error, fatal. Además da la opción de filtrar los registros según dicho nivel, es decir si indicamos que queremos un nivel de log de warning por ejemplo, nos apareceran aquellos mensajes cuyo nivel sea warning, error o fatal.

[[File:capturaMYRA2.png|thumb|Captura de la ventana de debug de MYRA]]

=== Teleoperación ===

En la aplicación android, se ha decidido añadir un sistema de teleoperación, que va a permitir al usuario de la aplicación controlar los desplazamientos del robot. La idea de como permite mediante el dispositivo móvil teleoperar el robot se muestra en la [http://robotica.unileon.es/mediawiki/index.php/File:Diagrama_simple2.png figura].

[[File:diagrama_simple2.png|center|550px|Diagrama conceptual de la teleoperación del robot.]]

De esta forma, quedaría más uniforme el software, puesto que la aplicación contaría con la ventana de conexión y la ventana de teleoperación y realidad aumentada en una misma pantalla.

Para realizar esta teleoperación, se utilizara el nodo ''android/virtual_joystick'' que se subscribe al topic ''/odom'', que contiene datos odométricos, una estimación de la posición y velocidad de un robot en el espacio y publica en el topic ''/cmd_vel'' las velocidades del robot.

La apariencia visual de la aplicación con el joystick o palanca de control se ve en la [http://robotica.unileon.es/mediawiki/index.php/File:Joystick_screen.png figura].

[[File:joystick_screen.png | thumb| Imagen del joystick de la aplicación Android.]]

En la [http://robotica.unileon.es/mediawiki/index.php/File:Nodos_teleop.png figura] se ve el nodo ''android/virtual_joystick'' y todas sus relaciones con el robot.

[[File:nodos_teleop.png|center|700px|Gráfico de ROS de la teleoperación del robot.]]

= Experimentación =

En este capítulo vamos a ver el resultado final obtenido. Para ello mostraremos un diagrama total de ROS, donde se ven todos los nodos conectados entre sí y unas figuras dónde se ve la aplicación funcionando.

[[File:rosgraph.png|center|800px|Gráfico de ROS de la plataforma completa funcionando.]]

Toda la la fase experimental se ha realizado en el aula utilizando los dispositivos reales, es decir, pastilleros y plataforma robótica.

Para hacer las pruebas se va a utilizar el pastillero de medicación que aparece en la [http://robotica.unileon.es/mediawiki/index.php/File:Pastillero.png figura].

[[File:pastillero.png|thumb|Imagen del pastillero para las pruebas.]]

Los experimentos se han realizado en dos etapas:

*En el test 1 hemos validado experimentalmente el funcionamiento con todas las cámaras que despliega el sistema (dispositivo móvil y PC + cámara integrada o cámara USB) el funcionamiento del sistema de realidad aumentada. En este test hemos realizado pruebas de regresión para comprobar que el sistema anterior seguía funcionando.

*En el test 2 hemos realizado pruebas con el robot para validar que el sistema de conexión, debug y teleoperación es funcional con la plataforma robótica.

== Test 1 ==

En esta primera fase, teníamos que comprobar el correcto funcionamiento de la RA y su despliegue sobre android. Primero se hicieron pruebas de la integración de Aruco y ROS utilizando la webcam del PC. Una vez que eso estaba verificado, se paso a la comprobación del envió de imágenes y recepción en el dispositivo Android a través de ROS. Y por último, ya comprobado eso sólo quedo la validación de la RA aplicada a la medicación en el dispositivo móvil.

[[File:pruebafase1.png|center|Fotografías tomadas durante la primera fase de prueba.]]

== Test 2 ==

En esta fase se han hecho pruebas de conexión con diferentes plataformas ROS en PC y con el propio robot. Se comprobó que el sistemas de mensajes de registro estuviera funcionando correctamente de acuerdo al nivel introducido por el usuario. Y por último, se hicieron pruebas de la teleoperación del robot, sobre un simulador de turtlebot y sobre el propio robot (Ver [http://robotica.unileon.es/mediawiki/index.php/File:Teleoperacion.jpg figura]).

[[File:teleoperacion.jpg|center|700px|Fotografías tomadas durante la teleoperación del robot.]]

File:Myrabot.png

2014-10-13T12:58:50Z

AitanaAlo:

Aitana-TFM-kinect-ROS05

2014-10-10T21:09:52Z

AitanaAlo:

* '''Project Name:''' Human tracking and recognition OpenNI tracker
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013
* '''Degree:''' Master
* '''Tags:''' ROS, kinect, ROS, tracking
* '''Technologies:''' ROS, opennni
* '''Status:''' Finished

=Instalación=

Lo primero que vamos a decir es como configurar el entorno para poder trabajar con la librería skeleton tracking, para ello vamos a trabajar con ROS, la versión fuerte, para instalarlo:

<syntaxhighlight>sudo apt-get install ros-fuerte-desktop-full</syntaxhighlight>

Después de eso, para poder trabajar con la kinect, debemos instalar los drivers de openni, recordar que estamos trabajando con la versión fuerte de ros:

<syntaxhighlight>sudo apt-get install ros-fuerte-openni-camera ros-fuerte-openni-launch</syntaxhighlight>

La librería skeleton tracking, que es la que vamos a utilizar se encuentra en el paquete NITE, que puedes encontrar en el siguiente enlace: [http://www.openni.org/openni-sdk/openni-sdk-history-2/], debemos descargarnos la versión 1.5, ya que a partir de la versión 2.0 da problemas de compatibilidad y no conseguiremos hacer funcionar la librería skeleton tracking.

Una vez descargado lo descomprimimos y ejecutamos el fichero ''install.sh''.

<syntaxhighlight>sudo ./install.sh</syntaxhighlight>

Debemos obtener lo siguiente:

<syntaxhighlight>Installing NITE
***************

Copying shared libraries... OK
Copying includes... OK
Installing java bindings... OK
Installing module 'Features_1_3_0'...
Registering module 'libXnVFeatures_1_3_0.so'... OK
Installing module 'Features_1_3_1'...
Registering module 'libXnVFeatures_1_3_1.so'... OK
Installing module 'Features_1_4_1'...
Registering module 'libXnVFeatures_1_4_1.so'... OK
Installing module 'Features_1_4_2'...
Registering module 'libXnVFeatures_1_4_2.so'... OK
Installing module 'Features_1_5_2'...
Registering module 'libXnVFeatures_1_5_2.so'... OK
Copying XnVSceneServer... OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_3_0.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_3_1.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_4_1.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_4_2.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_5_2.so'...OK
Adding license.. OK

*** DONE ***
</syntaxhighlight>

Por último, solo nos falta instalar el paquete en cuestión ''openni_tracker ''.

<syntaxhighlight>sudo apt-get install ros-fuerte-openni-tracker</syntaxhighlight>

=Ejecutando Skeleton Tracking=

Debemos abrir 3 terminales diferentes:

* En el primero, ejecutaremos ROS, para ello escribimos en linea de comandos:
<syntaxhighlight>roscore</syntaxhighlight>
y nos debe aparecer algo como esto:
<syntaxhighlight>... logging to /home/aitana/.ros/log/f3ff128e-5c2a-11e3-8ee4-0c6076187d47/roslaunch-aitana-laptop-3492.log
Checking log directory for disk usage. This may take awhile.
Press Ctrl-C to interrupt
Done checking log file disk usage. Usage is <1GB.

started roslaunch server http://aitana-laptop:60613/
ros_comm version 1.8.11

SUMMARY
========

PARAMETERS
* /rosdistro
* /rosversion

NODES

auto-starting new master
process[master]: started with pid [3508]
ROS_MASTER_URI=http://aitana-laptop:11311/

setting /run_id to f3ff128e-5c2a-11e3-8ee4-0c6076187d47
process[rosout-1]: started with pid [3521]
started core service [/rosout]
</syntaxhighlight>

Lo dejamos corriendo en segundo plano.
* En el segundo terminal, debemos lanzar los drivers openni para la kinect

<syntaxhighlight>roslaunch openni_launch openni.launch</syntaxhighlight>

Y una vez más, nos debe aparecer algo como lo que se muestra a continuación:

<syntaxhighlight>... logging to /home/aitana/.ros/log/f3ff128e-5c2a-11e3-8ee4-0c6076187d47/roslaunch-aitana-laptop-3614.log
Checking log directory for disk usage. This may take awhile.
Press Ctrl-C to interrupt
Done checking log file disk usage. Usage is <1GB.

started roslaunch server http://aitana-laptop:58367/

SUMMARY
========

PARAMETERS
* /camera/depth/rectify_depth/interpolation
* /camera/depth_registered/rectify_depth/interpolation
* /camera/disparity_depth/max_range
* /camera/disparity_depth/min_range
* /camera/disparity_depth_registered/max_range
* /camera/disparity_depth_registered/min_range
* /camera/driver/depth_camera_info_url
* /camera/driver/depth_frame_id
* /camera/driver/depth_registration
* /camera/driver/device_id
* /camera/driver/rgb_camera_info_url
* /camera/driver/rgb_frame_id
* /rosdistro
* /rosversion

NODES
/camera/depth/
metric (nodelet/nodelet)
metric_rect (nodelet/nodelet)
points (nodelet/nodelet)
rectify_depth (nodelet/nodelet)
/camera/rgb/
debayer (nodelet/nodelet)
rectify_color (nodelet/nodelet)
rectify_mono (nodelet/nodelet)
/
camera_base_link (tf/static_transform_publisher)
camera_base_link1 (tf/static_transform_publisher)
camera_base_link2 (tf/static_transform_publisher)
camera_base_link3 (tf/static_transform_publisher)
camera_nodelet_manager (nodelet/nodelet)
/camera/
disparity_depth (nodelet/nodelet)
disparity_depth_registered (nodelet/nodelet)
driver (nodelet/nodelet)
points_xyzrgb_depth_rgb (nodelet/nodelet)
register_depth_rgb (nodelet/nodelet)
/camera/ir/
rectify_ir (nodelet/nodelet)
/camera/depth_registered/
metric (nodelet/nodelet)
metric_rect (nodelet/nodelet)
rectify_depth (nodelet/nodelet)

ROS_MASTER_URI=http://localhost:11311

core service [/rosout] found
process[camera_nodelet_manager-1]: started with pid [3634]
process[camera/driver-2]: started with pid [3635]
process[camera/rgb/debayer-3]: started with pid [3636]
process[camera/rgb/rectify_mono-4]: started with pid [3637]
process[camera/rgb/rectify_color-5]: started with pid [3677]
process[camera/ir/rectify_ir-6]: started with pid [3700]
process[camera/depth/rectify_depth-7]: started with pid [3726]
process[camera/depth/metric_rect-8]: started with pid [3754]
process[camera/depth/metric-9]: started with pid [3793]
process[camera/depth/points-10]: started with pid [3830]
process[camera/register_depth_rgb-11]: started with pid [3868]
process[camera/depth_registered/rectify_depth-12]: started with pid [3913]
process[camera/depth_registered/metric_rect-13]: started with pid [3953]
process[camera/depth_registered/metric-14]: started with pid [4002]
process[camera/points_xyzrgb_depth_rgb-15]: started with pid [4055]
process[camera/disparity_depth-16]: started with pid [4106]
process[camera/disparity_depth_registered-17]: started with pid [4151]
process[camera_base_link-18]: started with pid [4281]
process[camera_base_link1-19]: started with pid [4344]
process[camera_base_link2-20]: started with pid [4396]
process[camera_base_link3-21]: started with pid [4434]
[ INFO] [1386082671.833888617]: Initializing nodelet with 2 worker threads.
[ERROR] [1386082676.174882681]: Tried to advertise a service that is already advertised in this node [/camera/depth_registered/image_rect_raw/compressedDepth/set_parameters]
[ERROR] [1386082676.193015430]: Tried to advertise a service that is already advertised in this node [/camera/depth_registered/image_rect_raw/compressed/set_parameters]
[ERROR] [1386082676.216452698]: Tried to advertise a service that is already advertised in this node [/camera/depth_registered/image_rect_raw/theora/set_parameters]
[ INFO] [1386082676.733259757]: No devices connected.... waiting for devices to be connected
</syntaxhighlight>

Y que no cunda en pánico, que el error es normal.

* Por último, abrimos un nuevo terminal y en este ejecutamos por fin:
<syntaxhighlight>rosrun openni_tracker openni_tracker</syntaxhighlight>

Una vez que se está ejecutando, nos pondremos enfrente de la kinect en pose PSI [[File:PsiPose.gif|thumb|left|Pose PSI]], de esta forma nos aparecerán los siguientes mensajes:
<syntaxhighlight>New User 1
Pose Psi detected for user 1
Calibration started for user 1
Calibration complete, start tracking user 1
Lost User 1</syntaxhighlight>

Lo primero que hace es detectar que hay una persona, a continuación, detecta que tiene la posición PSI y entonces comienza la calibración, si nos apartamos de la cámara entonces mostrará el mensaje que indica que ha perdido al usuario.

=Visualización=

Lo primero para ver la imagen real que ve la kinect utilizamos:
<syntaxhighlight>rosrun image_view image_view image:=/camera/rgb/image_color</syntaxhighlight>

Para visualizar la ejecución del openni_tracker utilizaremos Rviz. Rviz es una herramienta de visualización 3D para ROS. Ahora que hemos logrado detectar y calibrar personas, ¿Cómo podemos ver lo que está viendo la cámara kinect? para ello usaremos Rviz. Para ponerlo en marcha abriremos un cuarto terminal y teclearemos:
<syntaxhighlight>rosrun rviz rviz</syntaxhighlight>

y se abrirá la aplicación, tendremos que configurarlo: Añadir TF y desde la opción fixed frame podrás elegir que parte del cuerpo visionar. Las diferentes transformaciones \tf se pueden ver en el enlace [http://wiki.ros.org/openni_tracker] En las siguientes capturas se puede ver el resultado:
[[File:CapRviz2.png| 520px|left|]]
[[File:CapRviz1.png| 520px|right|]]

Aitana-TFM-kinect-ROS05

2014-10-10T21:08:46Z

AitanaAlo:

* '''Project Name:''' Human tracking and recognition OpenNI tracker
* '''Authors:''' Aitana Alonso Nogueira
* '''Dates:''' September 2013
* '''Degree:''' Master
* '''Tags:''' ROS, kinect, ROS, tracking
* '''Technologies:''' ROS, C++, Android, ArUco
* '''Status:''' Finished

=Instalación=

Lo primero que vamos a decir es como configurar el entorno para poder trabajar con la librería skeleton tracking, para ello vamos a trabajar con ROS, la versión fuerte, para instalarlo:

<syntaxhighlight>sudo apt-get install ros-fuerte-desktop-full</syntaxhighlight>

Después de eso, para poder trabajar con la kinect, debemos instalar los drivers de openni, recordar que estamos trabajando con la versión fuerte de ros:

<syntaxhighlight>sudo apt-get install ros-fuerte-openni-camera ros-fuerte-openni-launch</syntaxhighlight>

La librería skeleton tracking, que es la que vamos a utilizar se encuentra en el paquete NITE, que puedes encontrar en el siguiente enlace: [http://www.openni.org/openni-sdk/openni-sdk-history-2/], debemos descargarnos la versión 1.5, ya que a partir de la versión 2.0 da problemas de compatibilidad y no conseguiremos hacer funcionar la librería skeleton tracking.

Una vez descargado lo descomprimimos y ejecutamos el fichero ''install.sh''.

<syntaxhighlight>sudo ./install.sh</syntaxhighlight>

Debemos obtener lo siguiente:

<syntaxhighlight>Installing NITE
***************

Copying shared libraries... OK
Copying includes... OK
Installing java bindings... OK
Installing module 'Features_1_3_0'...
Registering module 'libXnVFeatures_1_3_0.so'... OK
Installing module 'Features_1_3_1'...
Registering module 'libXnVFeatures_1_3_1.so'... OK
Installing module 'Features_1_4_1'...
Registering module 'libXnVFeatures_1_4_1.so'... OK
Installing module 'Features_1_4_2'...
Registering module 'libXnVFeatures_1_4_2.so'... OK
Installing module 'Features_1_5_2'...
Registering module 'libXnVFeatures_1_5_2.so'... OK
Copying XnVSceneServer... OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_3_0.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_3_1.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_4_1.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_4_2.so'...OK
Installing module 'Features_1_5_2'
registering module 'libXnVHandGenerator_1_5_2.so'...OK
Adding license.. OK

*** DONE ***
</syntaxhighlight>

Por último, solo nos falta instalar el paquete en cuestión ''openni_tracker ''.

<syntaxhighlight>sudo apt-get install ros-fuerte-openni-tracker</syntaxhighlight>

=Ejecutando Skeleton Tracking=

Debemos abrir 3 terminales diferentes:

* En el primero, ejecutaremos ROS, para ello escribimos en linea de comandos:
<syntaxhighlight>roscore</syntaxhighlight>
y nos debe aparecer algo como esto:
<syntaxhighlight>... logging to /home/aitana/.ros/log/f3ff128e-5c2a-11e3-8ee4-0c6076187d47/roslaunch-aitana-laptop-3492.log
Checking log directory for disk usage. This may take awhile.
Press Ctrl-C to interrupt
Done checking log file disk usage. Usage is <1GB.

started roslaunch server http://aitana-laptop:60613/
ros_comm version 1.8.11

SUMMARY
========

PARAMETERS
* /rosdistro
* /rosversion

NODES

auto-starting new master
process[master]: started with pid [3508]
ROS_MASTER_URI=http://aitana-laptop:11311/

setting /run_id to f3ff128e-5c2a-11e3-8ee4-0c6076187d47
process[rosout-1]: started with pid [3521]
started core service [/rosout]
</syntaxhighlight>

Lo dejamos corriendo en segundo plano.
* En el segundo terminal, debemos lanzar los drivers openni para la kinect

<syntaxhighlight>roslaunch openni_launch openni.launch</syntaxhighlight>

Y una vez más, nos debe aparecer algo como lo que se muestra a continuación:

<syntaxhighlight>... logging to /home/aitana/.ros/log/f3ff128e-5c2a-11e3-8ee4-0c6076187d47/roslaunch-aitana-laptop-3614.log
Checking log directory for disk usage. This may take awhile.
Press Ctrl-C to interrupt
Done checking log file disk usage. Usage is <1GB.

started roslaunch server http://aitana-laptop:58367/

SUMMARY
========

PARAMETERS
* /camera/depth/rectify_depth/interpolation
* /camera/depth_registered/rectify_depth/interpolation
* /camera/disparity_depth/max_range
* /camera/disparity_depth/min_range
* /camera/disparity_depth_registered/max_range
* /camera/disparity_depth_registered/min_range
* /camera/driver/depth_camera_info_url
* /camera/driver/depth_frame_id
* /camera/driver/depth_registration
* /camera/driver/device_id
* /camera/driver/rgb_camera_info_url
* /camera/driver/rgb_frame_id
* /rosdistro
* /rosversion

NODES
/camera/depth/
metric (nodelet/nodelet)
metric_rect (nodelet/nodelet)
points (nodelet/nodelet)
rectify_depth (nodelet/nodelet)
/camera/rgb/
debayer (nodelet/nodelet)
rectify_color (nodelet/nodelet)
rectify_mono (nodelet/nodelet)
/
camera_base_link (tf/static_transform_publisher)
camera_base_link1 (tf/static_transform_publisher)
camera_base_link2 (tf/static_transform_publisher)
camera_base_link3 (tf/static_transform_publisher)
camera_nodelet_manager (nodelet/nodelet)
/camera/
disparity_depth (nodelet/nodelet)
disparity_depth_registered (nodelet/nodelet)
driver (nodelet/nodelet)
points_xyzrgb_depth_rgb (nodelet/nodelet)
register_depth_rgb (nodelet/nodelet)
/camera/ir/
rectify_ir (nodelet/nodelet)
/camera/depth_registered/
metric (nodelet/nodelet)
metric_rect (nodelet/nodelet)
rectify_depth (nodelet/nodelet)

ROS_MASTER_URI=http://localhost:11311

core service [/rosout] found
process[camera_nodelet_manager-1]: started with pid [3634]
process[camera/driver-2]: started with pid [3635]
process[camera/rgb/debayer-3]: started with pid [3636]
process[camera/rgb/rectify_mono-4]: started with pid [3637]
process[camera/rgb/rectify_color-5]: started with pid [3677]
process[camera/ir/rectify_ir-6]: started with pid [3700]
process[camera/depth/rectify_depth-7]: started with pid [3726]
process[camera/depth/metric_rect-8]: started with pid [3754]
process[camera/depth/metric-9]: started with pid [3793]
process[camera/depth/points-10]: started with pid [3830]
process[camera/register_depth_rgb-11]: started with pid [3868]
process[camera/depth_registered/rectify_depth-12]: started with pid [3913]
process[camera/depth_registered/metric_rect-13]: started with pid [3953]
process[camera/depth_registered/metric-14]: started with pid [4002]
process[camera/points_xyzrgb_depth_rgb-15]: started with pid [4055]
process[camera/disparity_depth-16]: started with pid [4106]
process[camera/disparity_depth_registered-17]: started with pid [4151]
process[camera_base_link-18]: started with pid [4281]
process[camera_base_link1-19]: started with pid [4344]
process[camera_base_link2-20]: started with pid [4396]
process[camera_base_link3-21]: started with pid [4434]
[ INFO] [1386082671.833888617]: Initializing nodelet with 2 worker threads.
[ERROR] [1386082676.174882681]: Tried to advertise a service that is already advertised in this node [/camera/depth_registered/image_rect_raw/compressedDepth/set_parameters]
[ERROR] [1386082676.193015430]: Tried to advertise a service that is already advertised in this node [/camera/depth_registered/image_rect_raw/compressed/set_parameters]
[ERROR] [1386082676.216452698]: Tried to advertise a service that is already advertised in this node [/camera/depth_registered/image_rect_raw/theora/set_parameters]
[ INFO] [1386082676.733259757]: No devices connected.... waiting for devices to be connected
</syntaxhighlight>

Y que no cunda en pánico, que el error es normal.

* Por último, abrimos un nuevo terminal y en este ejecutamos por fin:
<syntaxhighlight>rosrun openni_tracker openni_tracker</syntaxhighlight>

Una vez que se está ejecutando, nos pondremos enfrente de la kinect en pose PSI [[File:PsiPose.gif|thumb|left|Pose PSI]], de esta forma nos aparecerán los siguientes mensajes:
<syntaxhighlight>New User 1
Pose Psi detected for user 1
Calibration started for user 1
Calibration complete, start tracking user 1
Lost User 1</syntaxhighlight>

Lo primero que hace es detectar que hay una persona, a continuación, detecta que tiene la posición PSI y entonces comienza la calibración, si nos apartamos de la cámara entonces mostrará el mensaje que indica que ha perdido al usuario.

=Visualización=

Lo primero para ver la imagen real que ve la kinect utilizamos:
<syntaxhighlight>rosrun image_view image_view image:=/camera/rgb/image_color</syntaxhighlight>

Para visualizar la ejecución del openni_tracker utilizaremos Rviz. Rviz es una herramienta de visualización 3D para ROS. Ahora que hemos logrado detectar y calibrar personas, ¿Cómo podemos ver lo que está viendo la cámara kinect? para ello usaremos Rviz. Para ponerlo en marcha abriremos un cuarto terminal y teclearemos:
<syntaxhighlight>rosrun rviz rviz</syntaxhighlight>

y se abrirá la aplicación, tendremos que configurarlo: Añadir TF y desde la opción fixed frame podrás elegir que parte del cuerpo visionar. Las diferentes transformaciones \tf se pueden ver en el enlace [http://wiki.ros.org/openni_tracker] En las siguientes capturas se puede ver el resultado:
[[File:CapRviz2.png| 520px|left|]]
[[File:CapRviz1.png| 520px|right|]]

Aitana-TFM-Android-MYRA

2014-10-10T21:04:59Z

AitanaAlo: Created page with "* '''Project Name:''' Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android * '''Authors:''' Aitana Alonso Nogueira * '''Dates:''' September ..."

People

2014-10-10T21:04:11Z

AitanaAlo: /* 2013-2014 */

=Current members=

The robotics group of the University of León is currently made up by:

'''Faculty'''
# [http://robotica.unileon.es/~vmo Vicente Matellán Olivera] (head of the group)
# Camino Fernández Llamas
# [[Miguel-A-Conde | Miguel Ángel Conde]]
# Juan Felipe García Sierra

'''PhD students'''
# [[Francisco-phd|Francisco Javier Rodríguez Lera]] (Augmented Reality in Assistance Environments) (2009 - )
# Gonzalo Esteban (Haptic interaction) (October 2011 - )
# [[User:Victorm | Víctor Rodríguez]] ([[PhD-3D-Object-Tracking|3D object recognition and tracking]]) (October 2011 - )
# [[User:Fernando | Fernando Casado García]] ([[Mobile manipulation]]) (September 2013 - )

'''Undergrad students'''
* Summer research residence
# Rubén Rodríguez Fernández ([[Ruben-RV-ROS01|Turtlebot Navigation]]) (July 2013 - )

=Past members=

==2013-2014==

* Master students
# Aitana Alonso Nogueira ([[Aitana-TFM-kinect-ROS05|Human tracking and recognition]]) ([[Aitana-TFM-Android-MYRA|Evolución de la Solución de Asistencia MYRA para su Despliegue en Platformas Android]])(September 2013 - September 2014)
* Summer research residence (undergrad)
# Jose Álvaro Fernández Álvarez ([[Alvaro-RV-HAPTICROS01|Haptics and ROS]]) (July - September 2013)

==2012-2013==
* PhD students
# Fernando García Diaz-Calvo (Autonomous behavior generation in mobile robots) (October 2012 - discontinued)
* Master students
# Carlos Rodríguez Hernández ([[Carlos-TFM-MYRABot01|MYRA Robot: Hardware Update]]) (January - September 2013)
* Undergrad students
# David Llamas ([[David-PFC-ROS3|AR in ROS]])
# Julia Pérez del Río ([[JuliaP-PFC-Modular01|Modular robotics]])

==2011-2012==
* Master students
# Isidoro Gayo Vélez ([[Isidoro-TFM-Rovio02|Using rovio for tele-surveillance]]) (January 2011 - discontinued)
# Álvaro Botas ([[AlvaroB-TFM-ROS01 |AR Drone]]) (November 2011 - July 2012)
# [[User:Fernando | Fernando Casado García]] ([[Fernando-TFM-ROS02|Controlling Turtlebot with ROS]]) (January 2012 - July 2012)
* Undergrad students
# Jesús Balsa Comerón ([[JesusB-PFC-Nao01|Nao Control]]) (March 2011 - discontinued)

==2010-2011==
* PhD students
# Juan Felipe García Sierra ([https://buleria.unileon.es/handle/10612/815 Aportaciones a la computación de atención visual y aplicación al control de un robot humanoide])
* Master students
# Pablo Lobato Criado ([[PabloL-Rovio04|Navigation with ROS and Rovio]])
# Víctor Manuel González Mateos ([[VictorM-TFM-Rovio03|Navigation with Rovio]])
# Julio San Román (Augmented reality on turtlebot) (March 2010 - discontinued)
# [[User:Victorm | Víctor Rodríguez]] ([[TFM-Nao-Goalkeeper|Implementing a RoboCup goalie with Nao using BICA]]) (October 2010 - July 2011)
* Undergrad students
# Elena Ortega ([[ElenaO-RV-proy1|NaoQI and BICA]]) (November 2010 - September 2011)
# Álvaro Botas ([[AlvaroB-PFC-Drone02|AR Drone]]) (November 2010 - September 2011)
* Other
# Mario Castro de Lera from the Robotics course of the Master in Cybernetics ([[MarioCL-Drone01|AR Drone]])
# Ángel Rojo Román from the subject of Sistemas informáticos (Computer Systems) ([[AngelR-PFC-Drone01|AR Drone]]) (November 2010 - September 2011)

==2009-2010==
* Master students
# Julio San Román ([[JulioSR-TFM-Rovio01|Augmented reality for teleoperation of a Rovio robot]])
# Víctor Fidalgo ([[VictorFV-TFM-Cenital|Ball tracking with overhead camera]])
* Undergrad students
# Pablo Flecha
# David Martínez Martínez ([[DMartinez-PFC-Nao|Teleoperation of Nao robot]])
# Hector Quintian and Alba Rodríguez from Artificial Intelligence, Industrial Engineering (2nd cycle) ([[HAQR-IA-Rovio|Teleoperation of Rovio robot]]) (2009 - 2010, 2nd semester)
* Summer research residence (undergrad)
# Elena Ortega ([[ElenaO-RV-proy1|NaoQI and BICA]]) (July - September 2010)
# Hector Quintián ([[HectorQ-RV-proy2|Teleoperation of Rovio robot]]) (July - September 2010)

=Visitors=
* PhD students
# [http://homepage.univie.ac.at/andrea.ravignani/ Andrea Ravignani] from the University of Wien, Austria ([[Comparative-Cognition|Comparative Cognition]]) (October - December 2012)
* Master students
# [http://neithan.weebly.com/ Jesús Martínez Gómez] from the University of Castilla la Mancha (2008 - 2009)
# [https://www.linkedin.com/pub/t%C3%A2nia-carrera/72/164/1a3 Tânia Carrera] from Bragança, Portugal ([[ Tania-TFM-ROS04|Kinect with ROS and PCL]]) (February - June 2013)
* Undergrad students
# [http://souzamarcelo.weebly.com Marcelo de Souza] from Santa Catarina State University, [http://www.udesc.br UDESC]/CEAVI, Brasil ([[Marcelo-TurtleBot|Navigation Algorithms for Turtlebot]]) (October 2012 - February 2013)

Aitana-TFM-kinect-ROS05

2014-10-09T21:16:04Z

AitanaAlo: /* Test 2 */

Aitana-TFM-kinect-ROS05

2014-10-09T21:15:43Z

AitanaAlo: /* Test 2 */

Aitana-TFM-kinect-ROS05

2014-10-09T21:13:27Z

AitanaAlo: /* Test 1 */

File:Pruebafase1.png

2014-10-09T21:13:18Z

AitanaAlo:

Aitana-TFM-kinect-ROS05

2014-10-09T20:57:26Z

AitanaAlo: /* Teleoperación */

Aitana-TFM-kinect-ROS05

2014-10-09T20:56:59Z

AitanaAlo: /* Teleoperación */

Aitana-TFM-kinect-ROS05

2014-10-09T20:55:12Z

AitanaAlo: /* Experimentación */

Aitana-TFM-kinect-ROS05

2014-10-09T20:53:50Z

AitanaAlo: /* Experimentación */

File:Pastillero.png

2014-10-09T20:53:22Z

AitanaAlo:

File:Rosgraph.png

2014-10-09T20:52:56Z

AitanaAlo:

Aitana-TFM-kinect-ROS05

2014-10-09T20:48:57Z

AitanaAlo: /* Experimentación */

Aitana-TFM-kinect-ROS05

2014-10-09T20:47:27Z

AitanaAlo: /* Funcionalidades software MYRA */