A necessidade

Geralmente é dispendioso e arriscado coletar imagens para treinar um modelo personalizado durante a recuperação de desastres ou operações de busca e salvamento. A implantação de modelos de custom vision AI em dispositivos da borda (edge) seria um desafio sem recursos avançados de processamento.

A ideia

O AirSim nos permite criar uma versão 3D do ambiente real para processar o modelo de custom vision. Um drone simulado tira fotos e, em seguida, o serviço de custom vision treina um modelo personalizado para encontrar objetos ou pessoas nas imagens.

A solução

Em um teste, um drone pilotado tirou fotos de bichos de pelúcia em um campo de futebol simulado. Em seguida, o serviço de custom vision treinou um modelo para identificar cada bicho. Conforme o drone os encontrava, era enviado um alerta.

Detalhes técnicos do AirSim - Drones

Para este cenário de busca e salvamento, criamos um ambiente gerado em 3D no AirSim para simular o campo de futebol no campus da Microsoft e colocamos bichos de pelúcia nesse campo.

Em seguida, criamos um script do Python para pilotar o drone no ambiente simulado e tirar várias fotos dos bichos. Depois, enviamos as imagens para o serviço de custom vision e treinamos um modelo para identificar cada tipo de bicho no campo.

A partir daí, exportamos o modelo treinado para o formato TensorFlow e o enviamos para contêineres do Docker.

Esses contêineres foram implantados no Azure IoT Edge e, em seguida, enviados para um drone com uma placa personalizada e uma GPU NVIDIA.

O drone então é capaz de voar e enviar um alerta para o Hub IoT do Azure toda vez que identificar um bicho com êxito.

Esta é uma ótima demonstração de como a AI personalizada em tempo real pode ser executada em dispositivos de borda (edge), como um drone.

Recursos:

Projetos relacionados ao AirSim Drones

Navegue por projetos de sistemas autônomos

Explore as possibilidades da IA

Concretize a inteligência artificial em seus negócios hoje mesmo.