Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 21 LAZARUS, los ojos del atleta con discapacidad visual LAZARUS, the eyes of the athlete with visual impairments Diego Rojas Hernández Universidad Latina de Costa Rica. Heredia diegorojas.ct@gmail.com Freed Castillo Moya Universidad Latina de Costa Rica. Heredia freed.castillo@ulatina.cr Recibido 22/abr/2019 Aprobado 20/may/2019 Resumen- El proyecto consiste en brindar al deportista en atletismo, quien posee algún grado de discapacidad visual, poder recorrer el circuito de la pista sin asistencia de otra persona vidente, como se acostumbra para este tipo de población deportiva, mediante el desarrollo de un dispositivo electrónico portátil de visión artificial, que le permite al atleta con discapacidad visual poder correr dentro de su carril. El equipo procesa la ubicación de las líneas del carril del corredor, calcula su centro y genera un punto de referencia dinámico que se ajusta constantemente, desde el cual a partir del punto de referencia mide la distancia entre él y las líneas indicando al corredor si se mueve hacia uno de los lados del carril, la ubicación le es comunicado al atleta mediante unos micro-vibradores ubicados en una faja alrededor del torso, uno a cada lado. La prueba realizada ha demostrado un funcionamiento esperado, marcando correctamente el paso central, pero se requiere un proceso de entrenamiento algo difícil para el corredor, esto debido al lograr interpretar la intensidad de cuando girar y en que magnitud hacia el lado indicado por el equipo. Que aparte de esto a nivel psicológico demuestra un gran impacto a nivel emocional para el individuo, ya que permite la independencia, autonomía y reconocimiento propio, donde el logro va dirigido a nivel personal, demostrando la autorrealización personal que es la deseada en todo ser humano, como según lo explica el autor Maslow (Quintero Angarita ) en su teoría de las necesidades. Por consiguiente, a esto, después de varias pruebas, se ha logrado conseguir que las personas que lo utilicen logren caminar, a un paso lento sin salirse del carril y sin ninguna ayuda de terceros, en una media del 80% de los intentos. El dispositivo le indicara mediante un par de micro vibradores; si debe de ajustar su dirección en DERECHA - IZQUIERDA, o bien, mantener la dirección actual (CENTRO). Donde a partir de esto, se logra observar el funcionamiento de la personal a nivel intelectual, ubicándose en la parte de la plasticidad cerebral o Neuroplasticidad que
Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 22 debe de realizar el sujeto para que el equipo logre su objetivo, que es el que la persona pueda realizarlo por sus propios medios, cambiando su modalidad anterior. Siendo la plasticidad cerebral o Neuroplasticidad, como lo explica MARÍA Virginia Garcés-Vieira y Juan Camilo Suárez-Escudero (GARCÉS-VIEIRA & SUÁREZ-ESCUDERO, 2014) “Se define de manera global como toda respuesta cerebral que se origina frente a cambios internos o externos y obedece a modificaciones re organizacionales en percepción y cognición”. (p. 121) Palabras Claves: Atleta, Atletismo, Cámara, Ciego, con discapacidad visual, deporte, Opencv, Python, visión artificial, plasticidad cerebral. Abstract Context: The project consists of providing athletes in athletics, who have some degree of visual disability, to travel the circuit of the track without the assistance of another sighted person, as is customary for this type of sports population, through the development of a portable electronic device of artificial vision, which allows the visually impaired athlete to run inside their lane. The team processes the location of the lane lines of the corridor, calculates its center and generates a dynamic reference point that is constantly adjusted, from which, starting from the reference point, it measures the distance between it and the lines, indicating to the runner if moves to one side of the lane, the location is communicated to the athlete by means of micro-vibrators located in a band around the torso, one on each side. The test has shown an expected performance, correctly marking the central step, but it requires a training process somewhat difficult for the runner, this due to the interpretation of the intensity of when to turn and in what magnitude to the side indicated by the team. That apart from this at a psychological level demonstrates a great emotional impact for the individual, since it allows independence, autonomy and self-recognition, where the achievement is directed at a personal level, demonstrating the personal self-realization that is desired in every human being, as explained by the author Maslow (Quintero, J (sf)) in his theory of needs. Therefore, after several tests, it has been possible to get people who use it to walk, at a slow pace without leaving the lane and without any help from third parties, in an average of 80% of the attempts. The device will indicate by means of a pair of micro vibrators; if you must adjust your address in RIGHT - LEFT, or keep the current address (CENTER). Where from this, it is possible to observe the functioning of the staff at the intellectual level, placing itself in the part of the brain plasticity or Neuroplasticity that the subject must perform so that the team achieves its objective, which is that the person can perform it by its own means, changing its previous modality. Being cerebral plasticity or Neuroplasticity, as explained by Garcés and Suarez (2014) "It is globally defined as any brain response that originates from internal or external changes and obeys to organizational changes in perception and cognition." (p.121). Keywords: Athlete, Athletics, Camera, Blind, visually impaired, sport, Opencv, Python, artificial vision, cerebral plasticity. I. INTRODUCCIÓN ¿Alguna vez has corrido con los ojos cerrados?, Eso es lo que cientos de deportistas en atletismo con discapacidad visual hacen en sus prácticas y competencias. A nivel nacional es una práctica activa para varios deportistas que tienen diversos grados de discapacidad visual, para los casos más fuertes o cercanos a una ceguera total, los atletas requieren de la asistencia de una persona que brinde ayuda esta será su guía
Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 23 (corredor lazarillo) a lo largo de la pista, guiándolo mediante un anillo elástico que sujeta con una mano cada corredor. Ilustración 1. Competencia atletismo no vidente, asistido mediante un segundo corredor Fuente. P.Canto, M.Sanches (CANTÓ & SÁNCHEZ, 2016) Este tipo de competencias internacionales son gestionados por el Comité Paralímpico Internacional, la cual es una organización sin fines de lucro, fundada en Alemania el 22 septiembre 1989 (The International Paralympic Committee (IPC), 2018) quien regula y gestiona los juegos paraolímpicos cada 4 años donde se ejecutan más de 500 eventos entre las disciplinas para los para deportistas. El dispositivo de visión artificial ha venido creciendo en los últimos años su aplicación en procesos de industriales para la validación de características de productos como sistemas de control de calidad, que permiten analizar mediante imágenes que pueden aparecer en posiciones aleatorias para el análisis e identificar la forma del objeto a reconocer. También es posible como lo indica (Sobrado Malpartida , 2003)unificar este proceso de visión artificial con unidades robóticas como brazos para retirar las tareas objetos que contienen defectos o no cumplen con cierta calidad esperado. A nivel de interacción humana los desarrollos en visión artificial han venido con avances significativos, con conexiones neuronales , mediante cirugía que permite la que la persona con discapacidad visual pueda ver a un nivel básico; el grupo de Neuroingeniería Biomédica de la Universidad Miguel Hernández (UMH) (2017), ha venido trabajando en este tipo de proyectos, el cual consiste en: “La tecnología que están configurando se compone de una gafa con una cámara encargada de captar el campo visual y de enviar toda esa información a una diminuta matriz de micro electrodos instalada en el córtex occipital. Allí se procesaría la información y se generaría, en el cerebro del individuo, una imagen pixelada como si tratara de los gráficos de una videoconsola antigua”. Estos sistemas avanzados de visión artificial, aún se encuentran en estado de investigación y no se encuentran al alcance del público. La investigación consiste en el presentar un dispositivo de visión artificial, portátil, de bajo costo económico, que le permite al atleta con discapacidad visual poder correr dentro de su carril en una pista de atletismo estandarizada. El hecho de poder obtener el correr de manera independiente logra crear diversas emociones en el corredor, como lo son: autonomía, fortalecimiento de confianza y realización personal; logrando destacar un aporte tanto a nivel innovador para este tipo de población, así como a nivel personal o bien emocional en el sujeto, siendo esto un aporte positivo para el ser humano, ya que permitirá la autorrealización esperada y deseada, rompiendo paradigmas o etiquetas que giran en torno a esta discapacidad. II. MATERIALES Y MÉTODOS O METODOLOGÍA El desarrollo de la investigación se formula bajo una investigación de diseño cuasi-experimental, descriptiva y cuantitativa. Se realizaron diversas configuraciones de hardware y software que permiten que el atleta con discapacidad visual logre recorrer un carril en una pista de atletismo marcado bajo las normativas del Comité Paralímpico Internacional,
Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 24 El código se desarrolló bajo el lenguaje de programación PYHTON 3.0 que corre sobre una plataforma electrónica UPCORE ® de Intel Corporation con las siguientes características modelo: x5-Z8350 CPU,16GB eMMC, 2GB RAM, modelo RE-UPC-CHT01-A10-0216 , instalado en una memoria SD HC10 de 32Gb, conectado con una cámara WEB HD Intel modelo EP-DCOV2735-F36, la cual trabaja con el sensor OV2735, alimentado con un batería recargable de litio externa de 20000 mA con un voltaje de salida en 5VDC; con el apoyo de la librería OPENCV para la creación de algoritmos informáticos que permiten la visión artificial y el aprendizaje de máquina (machine learning) (Arevalo, González-Jiménez, & Ambrosio, 2004); todo bajo el sistema operativo UBUNTU MATE 16.04, con el kernel 4.4.2-up.core instalado. Adicionalmente se ubica un ARDUINO NANO, comunicado mediante puerto USB 2.0, como interfase de salida para las GPIOs de los actuadores que actúan como micro vibradores que se ubican en torso del corredor. Los soportes estructurales fueron realizados en impresión 3D, cuyos diseños se realizaron bajo software libre FREECAD 0.17, e impresos utilizando CURA 15.04 en filamento PLA 1.75mm con una densidad de 30% y espesor de paredes a 0.5mm en una impresora marca PrintBot Simple®. Se imprimieron soportes y cajas protectoras para la cámara, y el UPCORE, adaptado a facilitar su montaje el arnés comercial de compatible con GOPRO® como se parecía en la ilustración 2 Ilustración 2. Diseño de la caja protectora para la cámara EP-DCOV2735-F36 USB, en formato STL para impresión en plástico PLA Fuente. Propia La ubicación del dispositivo se diseñó para ser lo menos invasivo e incómodo para el atleta, por lo que se eligió el uso de arnés comercial, el cual con los soportes 3D se acomoda al frente a nivel del pecho del corredor, todos los demás componentes son apoyados sobre el mismo arnés. Ilustración 3.Dispositivo LAZARUS, montado sobre arnés Fuente. Propia La siguiente tabla resumen los dispositivos y equipos utilizados en el proyecto: Tabla 1. Resumen del Hardware utilizado en el proyecto Equipo Modelo Descripción Microcomputador UPCORE ® RE-UPCCHT01-A100216 x5-Z8350 CPU,16GB eMMC, 2GB RAM Cámara USB 2.0 UP HD Camara EP-DCOV2735- F36 UVC cámara con sensor OV2735 Microcontrolador Arduino Arduino NANO Arduino NANO, ATmega328 4 puertos digitales de entrada/salida,
Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 25 8 puertos análogos, una memoria de 16 KB, 1 KB de SRAM y 512 bytes de EPROM. Su ClockSpeed es 16 MHz Micro-vibrador RIC-F1020 11500 RPM, 80mA, 3 VDC 33 ohms 10mmx 2mm La Fuente. Propia Funcionamiento: El programa inicia con la captura de video en bajo formato MP4 desde la cámara en tiempo discreto, en una frecuencia de 24 cuadros por segundo, donde cada cuadro se le aplica un filtro gaussiano para la eliminación de ruido en la imagen, mediante el uso del comando cv2.GaussianBlur () de la librería OPENCV, con los parámetros sigmaX = 5, sigmaY=5, borderTypes=0. Con esto se logra una imagen más definida especialmente en los bordes donde existe contraste de color dentro de las imágenes. Posteriormente se convierte la imagen al formato HSV, que fragmenta en pixeles RGB individuales por cada color primario presentes en la imagen, eso se realizó con el comando cv2.cvtColor(frame, cv2.COLOR_BGR2HSV), para facilitar la detección de un rango de color para ubicar las marcas de Cinta Reflectiva 3M® Amarilla 983-71, colocadas en las líneas del carril en la pista, que se seleccionó el color amarillo con el fin de resaltar los puntos sobre las líneas del carril de la pista de atletismo; , recortadas en forma rectangular en un tamaño de 10 cm x 25 cm; por lo que a nivel de código se calibra la detección por color usando OPENCV, con los siguientes límites: léase [R,G,B], inferior [18, 94, 140] superior [48, 255, 255] ; los valores fueron obtenidos de manera experimental, probando bajo diferentes condiciones de iluminación cual rango se logra obtener la mejor identificación del color deseado; con estos rangos se ejecuta una máscara con respecto a estos límites mask = cv2.inRange(hsv, low_yellow, up_yellow); comando que permite la identificación claramente de las marcas, (Nieto.M. (2010) en tiempo discreto, y se filtra la imagen para resaltar las áreas dentro del rango anteriormente identificado; esto con el fin de facilitar la detección de formas de cada una de las marcas ubicadas en las líneas del carril en la pista; realizándolo mediante el comando cv2.findContours de la librería OPENCV; (Arévalo, V., González, J., & Ambrosio, G. (2004), sobre esta forma reconocida por el comando anterior se ejecuta un cálculo de centroide aplicando cv2.moments(mask), sobre la máscara filtrada por color y borde; con cada etiquetas identificadas de las cuales se generan una matrix de coordinadas para marca amarilla, con respecto al centro de cada una y con las marcas presentes se calcula el centroide entre las marcas, el cual corresponde con el aproximado del centro real del carril. Que se ajusta de manera continua entre cada cuadro del video. Una vez calculado el centro del carril la coordenada en el eje x se almacena en una variable “x”, con la cual posteriormente se compara continuamente si la nueva medición es superior o inferior a un rango determinado en la programación, en este caso, un rango desde x-50 hasta x+50 x-50 <centro < x+50 siendo x = centro inicialmente registrado, cuando el corredor esta estático y ubicado en el centro del carril, previo a correr; dato que la programación almacena en una variable
Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 26 flotante, tomando la distancia que mide en pixeles entre las líneas detectadas. Si x > centro+50, se le indica que el corredor debe de ajustar ligeramente hacia la izquierda su ruta, probando que el micro-vibrador izquierdo vibre, a una frecuencia baja cuando es poco la separación y que se incrementa entre más lejos se separa del centro inicial “x”; por el contrario, x > centro-50, se le indica que el corredor debe de ajustar ligeramente hacia la derecha su ruta, indicándole al corredor de igual forma que con el micro-vibrador izquierdo. Si la medición de la variable “x” se mantiene dentro del rango asignado, ambos micro-vibrador s permanecen apagados, indicándole al corredor que se encuentra alineado en el carril y puede proceder en esa dirección. Resultados y discusión Se realizaron diversas pruebas con 6 voluntarios, con los ojos vendados para que utilizaran el equipo y que verificaran el funcionamiento, bajo una prueba corta de 15 metros lineales; con el resultado de lograr caminar el trayecto. Ilustración 4. Dispositivo Lazarus ubicado al frente de la persona, con la cámara ajustada. Fuente. Propia Esto se logró con el cálculo de centro de la pista con los comandos del OPENCV explicados anteriormente, indicando que se ubica dentro del rango, que es considerado como centro del carril de atletismo; como se ve en la ilustración 5, este calculado con las marcas que se encuentran presentes en ese instante en la pista (en este caso 4 marcas) Ilustración 5. Captura de video, la posición del corredor se encuentre dentro del rango aceptable por lo tanto indica CENTRO y ninguno de los microvibradores se activa. Fuente. Propia Cuando el centroide calculado en la pista excede el rango, hacia uno del lado esta marca en pantalla y el microvibrador la dirección que debe de ubicarse el corredor, como se visualiza en ilustración 6, aparece la indicación IZQUIERDA. Ilustración 6. Captura de video, el punto de visión de la cámara se ubica muy a la IZQUIERDA del centro del carril, por que aparece la indicación y el micro vibrador IZQUIERDO inicia a vibrar, indicando que requiere un ajuste hacia esa dirección. Fuente. Propia Las pruebas realizadas con voluntarios, demostró que el sistema le permite ajustar su dirección adecuada para permitir mantener el centro del carril de competencia, por el momento esto se ha logrado en bajas velocidades, como es el caminar, se notó que se requiere un presente un entrenamiento
Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 27 previo por parte del usuario para su utilización adecuada, para relacionar la frecuencia y tiempo de vibración de los micro-vibradores con la cantidad o ángulo de giro con respecto al centro del carril. Los sujetos de prueba han logrado reducir el margen de error ha a partir de la octava prueba. Ilustración 7. Dispositivo Lazarus, presentado en el Intel Innovation Challenge 2018. Fuente Propia III. CONCLUSIONES La plataforma logra cumplir el objetivo de permitir a un atleta con discapacidad visual poder, por el momento, caminar de manera autónoma sobre un carril de una pista de atletismo, en un 70-80% de forma correcta, manteniendo la ubicación en el carril al cual se le han colocado marcas reflectoras como se indica anteriormente, con un entrenamiento previo por parte del atleta para comprender su funcionamiento e intensidad de giro, gracias a la neuroplasticidad. El sistema requiere de algunas mejoras en el hardware, especialmente con la necesidad de reducir su tamaño y peso, mediante la unificación utilizados bajo una misma tarjeta electrónica, esto se logra al eliminar secciones de las placas que se son requeridas una vez que se cargan los códigos usados, por ejemplo trasladando el código a una placa FPGA; esta reducción de tamaño lograra interferir lo menos posible en el rendimiento deportivo del atleta. Los efectos de la iluminación existente sobre la pista y el ángulo de la cámara vrs pista, han presentado algunas fallas en algunas marcas por el brillo sobre la marca amarilla, lo que influye en la detección adecuada de los bordes de la marca; por lo que se requiere el trabajo en el ajuste automático del brillo. Los siguientes pasos que se planifican en la investigación en curso es la mejora de la detección del color sobre la pista, esto con la intención de poder llegar a eliminar de forma total las marcas amarillas e trabajar por la detección promediada de bordes de las líneas de la pista; y así posteriormente generar un sistema de coordenadas cartesianas sobre la ubicación de las líneas blancas. La investigación es una contribución de las aplicaciones que se pueden realizar a bajo costo de la implementación de los sistemas de visión artificial, controlados mediante software de licenciamiento Open Software, el principio de funcionamiento expuesto abre la posibilidad de ajustarlo a otras estructuras como las aceras públicas que son construidas con una línea texturizada al centro, regularmente en color amarillo. Agradecimientos Ing. José Núñez | Ing. Oscar Delgado Jiménez | Kimberly Ramírez Valerio (Bachiller en Psicología) Innovation Center de Componentes Intel S.A.| Escuela eléctrica y mecánica Universidad Latina de Costa Rica IV. REFERENCIAS Arevalo, V., González-Jiménez, J., & Ambrosio, G. (2004). La Librería de Visión Artificial OpenCV. Aplicación a la Docencia e Investigación. Base Informática, 61-66. Obtenido de https://www.researchgate.net/publication/236668252_La_Libreri-a_de_Vision_Artificial_OpenCV_Aplicacion_a_la_Docencia_e_Investigacion_in_spanish
Revista de la Facultad de Ingenierías y Tecnologías de la Información y Comunicación. Año 3, Volumen 2, Número 6, Julio – Diciembre 2019 Tecnología Vital Julio – Diciembre 2019 28 CANTÓ, P., & SÁNCHEZ, M. (7 de setiembre de 2016). Cómo compiten guías e invidentes en los diferentes deportes paralímpicos. Obtenido de https://verne.elpais.com/verne/2016/09/06/articulo/1473170113_556149.html GARCÉS-VIEIRA, M., & SUÁREZ-ESCUDERO, J. (2014). Neuroplasticidad: aspectos bioquímicos y neurofisiológicos. CES Med, 119-132. Obtenido de http://www.scielo.org.co/pdf/cesm/v28n1/v28n1a10.pdf Quintero Angarita , J. (s.f.). TEORÍA DE LAS NECESIDADES DE MASLOW. Obtenido de https://eva.udelar.edu.uy/pluginfile.php/607233/mod_folder/content/0/Teor%C3%ADa%20de%20Maslow.pdf Sobrado Malpartida , E. (2003). Sistema de Visión Artificial para el Reconocimiento y Manipulación de Objetos Utilizando un Brazo Robot. Obtenido de http://tesis.pucp.edu.pe/repositorio/bitstream/handle/20.500.12404/68/SOBRADO_EDDIE_VISION_ARTIFICIAL_BRAZO_ROBOT.pdf?sequence=2&isAllowed=y