Lösungsmöglichkeiten
Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.
Diese Lösung stellt einen visuellen Assistenten dar, der reichhaltige Informationen liefert, die auf dem Inhalt eines Bildes basieren.
Aufbau
Laden Sie eine Visio-Datei dieser Architektur herunter.
Datenfluss
- Benutzer interagieren mit einem Bot über eine mobile App oder eine Web-App.
- Der Bot verwendet Language Understanding Intelligence Service (LUIS), der in die Anwendung integriert ist, um den Benutzerabsichts- und Unterhaltungskontext zu identifizieren.
- Der Bot übergibt eine visuelle Kontexteingabe, z. B. ein Bild, an die API der visuellen Bing-Suche.
- Der Bot ruft Informationen aus der API der Bing-Entitätssuche über Personen, Orte, Kunstwerke, Denkmäler und Objekte ab, die im Zusammenhang mit dem Bild stehen.
- Der Bot ruft Informationen aus Barcodes ab.
- Optional erhält der Bot weitere Informationen über Barcodes oder Abfragen, die auf die Domäne des Benutzers beschränkt sind, indem er die API der benutzerdefinierten Bing-Suche verwendet.
- Der visuelle Assistent zeigt dem Benutzer Informationen über verwandte Produkte, Reiseziele, Berühmtheiten, Orte, Denkmäler und Kunstwerke an.
Komponenten
- Azure App Service: Ist ein vollständig verwalteter Dienst auf HTTP-Basis zum Hosten von Web-Apps, REST-APIs und mobilen Back-Ends.
- Azure Bot Service bietet eine Umgebung für die Entwicklung intelligenter, unternehmensspezifischer Bots, die Kundenerfahrungen erweitern. Die integrierte Umgebung bietet auch eine Möglichkeit, die Kontrolle über Ihre Daten zu erhalten.
- Die API der benutzerdefinierten Bing-Suche bietet eine Möglichkeit, benutzerdefinierte Suchoberflächen mit dem leistungsstarken Bewertungs- und globalen Suchindex von Bing zu erstellen.
- Die API der Bing-Entitätssuche bietet Suchfunktionen, die relevante Entitäten identifizieren, z. B. bekannte Personen, Orte, Filme, TV-Shows, Videospiele, Bücher und Unternehmen.
- Die API der visuellen Bing-Suche gibt Daten zurück, die sich auf ein bestimmtes Bild beziehen, z. B. ähnliche Bilder, Einkaufsquellen für den Kauf des Gegenstands in dem Bild und Webseiten, die das Bild enthalten.
- Die API der Bing-Websuche stellt Suchergebnisse bereit, nachdem Sie einen einzelnen API-Aufruf ausstellen. Die Ergebnisse kompilieren relevante Informationen aus Milliarden von Webseiten, Bildern, Videos und Nachrichten.
- Azure Cognitive Service für Language ist Bestandteil von Azure Cognitive Services, die zahlreiche Dienste für die Verarbeitung natürlicher Sprache bieten.
- Conversational Language Understanding ist ein Feature von Cognitive Service für Language. Dieser cloudbasierte API-Dienst bietet Intelligence-Funktionen für Machine Learning zum Erstellen von Unterhaltungs-Apps. Sie können LUIS verwenden, um die Bedeutung einer Unterhaltung vorherzusagen sowie zum Extrahieren relevanter, detaillierter Informationen.
Szenariodetails
Diese Lösung stellt einen visuellen Assistenten dar, der reichhaltige Informationen liefert, die auf dem Inhalt eines Bildes basieren. Die Funktionen des Assistenten umfassen das Lesen von Visitenkarten, die Entschlüsselung von Barcodes und erkennen bekannter Personen, Orte, Objekte, Kunstwerke und Denkmäler.
Mögliche Anwendungsfälle
Organisationen können diese Lösung verwenden, um Folgendes bereitzustellen:
- Terminplanung.
- Auftrags- und Sendungsverfolgung in den Bereichen Fertigung, Automobil und Transport.
- Barcodekäufe im Einzelhandel.
- Zahlungsverarbeitung in Finanzen und Einzelhandel.
- Abonnementverlängerungen im Einzelhandel.
- Die Identifizierung bekannter Menschen, Orte, Objekte, Kunst und Denkmäler, in den Bildungs-, Medien- und Unterhaltungsindustrien.
Nächste Schritte
Wenn Sie eine App entwerfen möchten, die den Kontext erkennt, der für Sie wichtig ist, finden Sie Informationen dazu unter Schnellstart: Erstellen eines Objekterkennungsprojekts mit der Custom Vision Clientbibliothek.
Informationen zu den von Bing bereitgestellten Suchfunktionen finden Sie in der Bing-Familie der Such-APIs.
Informationen zum Erstellen von LUIS in Ihren Bot finden Sie unter Hinzufügen natürlicher Sprachverständnis zu Ihrem Bot.
Weitere Informationen zur Funktion von LUIS finden Sie unter Erstellen eines Sprachmodells mit Conversational Language Understanding.
Informationen zum Erstellen mit Bot Service finden Sie unter Erstellen eines Bots mit dem Language Service und Azure Bot Service.
Informationen zum Erstellen eines Bots, der QnA Maker und Bot Service enthält, finden Sie unter Erstellen von Unterhaltungs-KI-Lösungen.
Für ein besseres Verständnis, wie LUIS, Bot Service und der API der visuellen Bing-Suche funktioniert, lesen Sie die Informationen unter Prüfung AI-900: Microsoft Azure KI Fundamentals.
Informationen zu kognitiven Diensten finden Sie unter Microsoft Certified: Azure Technische Fachkraft für KI Associate.
Weitere Informationen zu den Komponenten in dieser Lösung finden Sie in den folgenden Ressourcen: