La necesidad

Frecuentemente, resulta muy costoso y arriesgado adquirir imágenes para entrenar un modelo personalizado durante las operaciones de recuperación ante desastres o de búsqueda y rescate. La implementación de modelos de visión personalizada con IA en los dispositivos periféricos era muy difícil sin recursos de procesamiento avanzados.

La idea

AirSim nos permite crear una versión en 3D del entorno real para procesar el modelo de visión personalizado. Un dron simulado toma fotografías, y el servicio de Custom Vision entrena un modelo personalizado para encontrar objetos o personas en las imágenes.

La solución

En una prueba, un dron dirigible tomó fotos de animales de peluche en una cancha de fútbol simulada. Luego, el servicio de Custom Vision entrenó un modelo para identificar cada animal, y el dron envió una alerta cada vez que encontró un animal.

Detalles técnicos de AirSim: Drones

Para este escenario de búsqueda y rescate, creamos un entorno en 3D en AirSim para simular la cancha de fútbol en las instalaciones de Microsoft y colocamos animales de peluche en la cancha.

Luego, creamos un script en Python para dirigir el dron por el entorno simulado y tomar muchas imágenes de los animales. A continuación, suministramos las imágenes al servicio de Custom Vision y entrenamos un modelo para identificar cada tipo de animal en la cancha.

A partir de esto exportamos el modelo entrenado al formato TensorFlow y lo empaquetamos en contenedores Docker.

Estos contenedores luego se implementaron en Azure IoT Edge y se subieron a un dron con una placa personalizada y una GPU Nvidia.

El dron, finalmente, puede volar y enviar una alerta a Azure IoT Hub cada vez que identifica un animal.

Se trata de un excelente demostración de cómo una IA personalizada en tiempo real puede ejecutarse en dispositivos periféricos como un dron.

Recursos:

Proyectos relacionados con AirSim Drones

Explora los proyectos con sistemas autónomos

Explora las posibilidades de la IA

Inicia tus propias innovaciones en IA con los recursos de aprendizaje y las soluciones de desarrollo de IA de Microsoft.