Die Notwendigkeit

Die Herausforderung für eine Suchanfrage besteht darin, Milliarden von Einträgen zu indizieren und relevante Ergebnisse so schnell wie möglich zu finden. Die meisten Suchanfragen basieren auf einem umgekehrten Index, der sowohl Stichwortmatching als auch Technik und Infrastruktur nutzt.

Die Idee

Die Suche mit der Verwendung von Vektoren verbessern. Deep Learning-Modelle stellen Daten als Vektoren dar, wobei der Abstand zwischen den Vektoren Ähnlichkeiten widerspiegelt. Approximate-Nearest-Neighbor(ANN)-Algorithmen suchen nach Milliarden von Vektoren und liefern Ergebnisse in Millisekunden.

Die Lösung

Vector Search kann in vielen Anwendungen eingesetzt werden, z. B. bei der Suche nach Text, Multimedia, Bildern, Empfehlungen usw. Der Code kann in Ihre eigenen Anwendungen integriert werden, damit Sie Deep-Learning-Informationen in großem Umfang nutzen können.

Technische Details zu Bing Vector Search

Vector Search verwendet Deep-Learning-Modelle, um Datensätze in aussagekräftige Vektordarstellungen zu kodieren, wobei der Abstand zwischen den Vektoren die Ähnlichkeiten zwischen den Elementen darstellt. Dann verwenden wir ANN-Suchalgorithmen (Approximate Nearest Neighbor, ANN), um Vektorindizes zu erstellen, mit denen wir Milliarden von Vektoren durchsuchen können, um in nur wenigen Millisekunden die Ergebnisse mit der größten Übereinstimmung zu erhalten.

Diagramm der Architektur herunterladen

Vector Search kann für eine Vielzahl von Anwendungen eingesetzt werden, wie z. B. Webtext-Suche, Multimedia- oder Bilder-Suche, Empfehlungen usw. Als Beispiel haben wir Vector Search für eine Anwendung zur Suche von ähnlichen Bildern in mehreren Bilddatenbanken verwendet: hier für Tiere, Katzen und Hunde. Zuerst verwendeten wir ein mit PyTorch vortrainiertes Deep-Learning-Modell, um Open-Source-Datensätze (wie Stanford Dogs, Oxford Flowers usw.) in Vektoren zu kodieren. Anschließend verwendeten wir den SPTAG-Algorithmus (Space Partition Tree and Graph, SPTAG), um einen ungefähren ANN-Vektorindex (Approximate Nearest Neighbor, ANN) unter Verwendung von ausgewogenen k-means-Bäumen und Nearest-Neighborhood-Graphen zu generieren. Wenn eine Bild-Eingabe eintrifft, verwendet unsere Anwendung zunächst das PyTorch-Modell, um das Bild in einen Vektor umzuwandeln. Der Abfragevektor wird dann vom SPTAG-Algorithmus verwendet, um in wenigen Millisekunden die damit am besten übereinstimmenden Vektoren zu finden. Die zurückgegebenen Vektoren entsprechen den Bildern und werden als „am besten übereinstimmende“ Ergebnisse zurückgegeben.

Diese Suche nach ähnlichen Bildern ist nur eine der vielen möglichen Einsatzzwecke der Vektorsuche in Ihren aktuellen Anwendungen. Probieren Sie es aus. Integrieren Sie Vector Search in Ihre eigenen Anwendungen, um Deep-Learning-Erkenntnisse in großem Maßstab zu nutzen.

Ressourcen:

Projekte im Umfeld von Vector Search

Mehr Projekte für Business-Szenarien

Entdecken Sie die Möglichkeiten von KI

Starten Sie Ihre eigenen KI-Innovationen mit Schulungsressourcen und Entwicklungslösungen von Microsoft AI.