Die Notwendigkeit

Es ist oft kostspielig und riskant, Bildmaterial zu sammeln, um ein kundenspezifisches Modell während eines Katastrophenfalls oder bei Such- und Rettungseinsätzen zu trainieren. Der Einsatz von KI-Modellen mit benutzerdefinierter Bildverarbeitung auf Edge-Geräten war ohne fortschrittliche Verarbeitungsressourcen eine Herausforderung.

Die Idee

AirSim ermöglicht es uns, eine 3D-Version der Umgebung zu erstellen, um das benutzerdefinierte Ansichtsmodell zu verarbeiten. Eine Drohnensimulaton nimmt Bilder auf, und der Custom Vision-Dienst trainiert ein benutzerdefiniertes Modell für die Suche nach Objekten oder Personen in den Bildern.

Die Lösung

Bei einem Test nahm eine gesteuerte Drohne Bilder von Plüschtieren auf einem simulierten Fußballfeld auf. Der Custom Vision-Dienst trainierte dann ein Modell, um die einzelnen Tiere zu identifizieren, und die Drohne löste einen Alarm aus, sobald sie ein Tier entdeckte.

Technische Details zu AirSim – Drohnen

Für dieses Such- und Rettungsszenario haben wir eine 3D-generierte Umgebung in AirSim erstellt, um das Fußballfeld auf dem Microsoft-Campus zu simulieren, und Plüschtiere auf dem Spielfeld platziert.

Wir erstellten dann ein Python-Skript, um die Drohne in der simulierten Umgebung herumzufliegen und viele Bilder von den Tieren aufzunehmen. Anschließend übermittelten wir die Bilder an den Custom Vision-Dienst und trainierten ein Modell, um jedes Tier auf dem Feld zu identifizieren.

Von dort exportierten wir das trainierte Modell im TensorFlow-Format und gaben es an die Docker-Container weiter.

Diese Container wurden dann an Azure IoT Edge übergeben und dann an eine Drohne mit einer Eigenbauplatine und einer Nvidia-GPU weitergeleitet.

Die Drohne ist dann in der Lage, umherzufliegen und jedes Mal, wenn sie erfolgreich ein Tier identifiziert, eine Warnung an den Azure IoT Hub zu senden.

Dies ist ein ausgezeichnetes Beispiel dafür, wie benutzerdefinierte Echtzeit-KI auf Edge-Geräten, wie z. B. einer Drohne, ausgeführt werden kann.

Ressourcen:

Projekte im Umfeld von AirSim Drones

Mehr Projekte zu autonomen Systemen

Entdecken Sie die Möglichkeiten von KI

Starten Sie Ihre eigenen KI-Innovationen mit Schulungsressourcen und Entwicklungslösungen von Microsoft AI.