AI Lab-Projekte
Informieren Sie sich über bahnbrechende KI-Innovationen mit Praxisübungen, Codequellen und Tiefenanalysen.
Sketch2Code
Sketch2Code verwendet Künstliche Intelligenz, um handgefertigte Zeichnungen in funktionierende HTML-Prototypen umzuwandeln. Die Designer tauschen ihre Ideen auf einem Whiteboard aus und Änderungen werden sofort im Browser angezeigt.
Sketch2Code testen
Die Notwendigkeit
Der kreative Designprozess beginnt mit einer Zusammenarbeit am Whiteboard, bei der Designer ihre Ideen austauschen. Sobald ein Design vorliegt, wird es üblicherweise manuell in einen funktionierenden HTML-Prototypen übersetzt. Dies kostet Zeit und verzögert den Designprozess.
Die Idee
Mithilfe von Computer Vision können wir ein System aufbauen, das versteht, was ein Designer auf einem Whiteboard gezeichnet hat und das Ergebnis dann in HTML-Code übersetzt. Beispielsweise können wir HTML-Code direkt aus einem handgezeichneten Bild generieren.
Die Lösung
Der Custom Vision-Dienst trainiert Modelle zur Erkennung von HTML-Objekten und verwendet dann die Texterkennung, um handschriftlichen Text im Design zu extrahieren. Durch die Kombination von Objekt und Text können wir HTML-Code-Schnipsel aus verschiedenen Designelementen erzeugen.
Dynamisches Design mit Sketch2Code
Designer können gemeinsam an einem Whiteboard arbeiten und zeichnen – dann den resultierenden Code ansehen, um ihre neuen Webseiten-Ideen sofort zu testen.
Technische Details zu Sketch2Code
Computer Vision Service
Computer Vision ist eine Disziplin innerhalb der künstlichen Intelligenz, die einer Anwendung ermöglicht, zu sehen und zu verstehen, was sie sieht. Mithilfe von Microsoft Cognitive Services können wir Computer Vision mit Millionen von Bildern trainieren und die Objekterkennung für eine breite Palette von Objekttypen ermöglichen.
Also haben wir das Modell so trainiert, dass es handgefertigte Webdesign-Elemente wie ein Textfeld oder eine Schaltfläche erkennt. Wir verwenden die Texterkennungsfunktionalität des Computer Vision Service, um handgeschriebenen Text aus dem Entwurf zu extrahieren. Indem wir das Designelement und den extrahierten Inhalt kombinieren, können wir HTML-Schnipsel aus den verschiedenen Elementen im Design erzeugen. Wir können dann aus der Position der identifizierten Elemente auf das Layout des Entwurfs schließen und den endgültigen HTML-Code generieren.
Sketch2Code-Architektur
Die Custom Vision- und Computer Vision-APIs sind Teil der Azure Cognitive Services und werden zur Objekterkennung, optischen Zeichenerkennung, inklusive Handschrifterkennung, verwendet. Die von der Azure Cloud-Plattform zurückgegebenen Objekte helfen bei der Identifizierung des Layouts. Die Layouts werden an die MVC-Webanwendung Sketch2Code übertragen, um HTML-Code zu generieren.
Pix2Story
Die Pix2Story-Lösung verwendet Natural Language Processing (NLP) für Geschichten. Die KI scannt ein Bild, wendet einen Schriftstil an und generiert eine Geschichte – ein Beweis dafür, wie KI die Kreativität fördern kann.
Snip Insights
Die Lösung Snip Insights ermöglicht es Nutzern, intelligente Informationen in einem Schnappschuss oder Screenshot zu finden. Die KI-Dienste wandeln ein erfasstes Bild in übersetzten Text um, wobei der Bildinhalt automatisch erkannt und mit Tags versehen wird.
Microsoft Math
Die Lösung Microsoft Math verwendet optische Zeichenerkennung (Optical Character Recognition, OCR) für Handschriften, um eine mathematische Gleichung aus dem Foto der Notizen von Schülern zu extrahieren. Das Problem wird dann standardisiert, klassifiziert, gelöst und mit den Lösungsschritten und ähnlichen Problemen zurückgeschickt.
Entdecken Sie die Möglichkeiten der KI
Lassen Sie KI noch heute für Ihr Unternehmen arbeiten.
Entwickeln Sie innovative KI-Lösungen
Erfahren Sie mehr über Azure KI – ein Portfolio von KI-Diensten für Entwicklung und Datenwissenschaft. Profitieren Sie von jahrzehntelanger Spitzenforschung, verantwortungsvollen KI-Praktiken und der Flexibilität, die Azure KI bietet, um Ihre eigenen KI-Lösungen zu entwickeln und bereitzustellen.
