Édition

Assistant visuel

Azure App Service
Azure AI Bot Service
Azure AI services

Idées de solution

Cet article présente une idée de solution. Si vous souhaitez nous voir développer le contenu avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, faites-le-nous savoir avec les Commentaires de GitHub.

Cette solution présente un assistant visuel qui fournit des informations enrichies basées sur le contenu d’une image.

Architecture

Architecture diagram that shows the flow of data between a browser and a bot, and between the bot and search services.

Téléchargez un fichier Visio de cette architecture.

Flux de données

  1. Les utilisateurs interagissent avec un bot via une application mobile ou une application web.
  2. Le bot utilise Language Understanding Intelligence Service (LUIS), qui est intégré à l’application, pour déterminer l’intention de l’utilisateur et le contexte conversationnel.
  3. Le bot transmet le contexte visuel (une image, par exemple) à l’API Recherche visuelle Bing.
  4. Le bot récupère des informations à partir de l’API Recherche d’entités Bing sur les personnes, les lieux, les œuvres d’art, les monuments et les objets liés à l’image.
  5. Le bot récupère des informations à partir de codes-barres.
  6. Le bot peut obtenir plus d’informations sur les codes-barres ou les requêtes limités au domaine de l’utilisateur à l’aide de l’API Recherche personnalisée Bing.
  7. L’Assistant visuel présente à l’utilisateur les informations sur les produits, destinations, célébrités, lieux, monuments et œuvres d’art connexes.

Composants

  • Azure App Service est un service HTTP complètement managé pour l’hébergement d’applications web, d’API REST et de back-ends mobiles.
  • Azure Bot Service offre un environnement pour développer des bots intelligents et de qualité entreprise qui enrichissent les expériences client. L'environnement intégré permet également de garder le contrôle de vos données.
  • L’API Recherche personnalisée Bing permet de créer des expériences de recherche personnalisées avec le classement puissant de Bing et l’index de recherche à l’échelle globale.
  • L’API Recherche d’entités Bing offre des fonctionnalités de recherche qui identifient des entités pertinentes, telles que des personnes connues, des lieux, des films, des émissions de télévision, des jeux vidéo, des livres et des entreprises.
  • L’API Recherche visuelle Bing renvoie des données liées à une image spécifique, telles que des images similaires, des sources d’achat de l’élément dans l’image et des pages web incluant l’image.
  • L’API Recherche web Bing fournit des résultats de recherche après émission d’un appel d’API unique. Les résultats compilent des informations pertinentes à partir de milliards de pages web, d’images, de vidéos et d’actualités.
  • Azure Cognitive Service for Language fait partie d’Azure Cognitive Services qui offre de nombreux services de traitement en langage naturel.
  • La compréhension du langage courant est une fonctionnalité de Cognitive Service for Language. Ce service d’API basé sur le cloud offre des fonctionnalités d’intelligence de Machine Learning afin de créer des applications conversationnelles. Vous pouvez utiliser LUIS pour prédire la signification d’une conversation et extraire des informations pertinentes et détaillées.

Détails du scénario

Cette solution présente un assistant visuel qui fournit des informations enrichies basées sur le contenu d’une image. Les fonctionnalités de l’assistant incluent la lecture des cartes de visite, le déchiffrement des codes-barres et la reconnaissance des personnes connues, des lieux, des objets, des œuvres d’art et des monuments.

Cas d’usage potentiels

Les organisations peuvent utiliser cette solution aux fins suivantes :

  • Planification des rendez-vous.
  • Suivi des commandes et des livraisons pour les applications des secteurs de la fabrication, de l’automobile et du transport.
  • Achats de codes-barres dans la vente au détail.
  • Traitement des paiements dans les secteurs de la finance et de la vente au détail.
  • Renouvellements des abonnements dans le secteur de la vente au détail.
  • Identification des personnes connues, des lieux, des objets, des œuvres d’art et des monuments dans les secteurs de l’éducation, des médias et du divertissement.

Étapes suivantes