Oplossingsideeën
Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.
Deze oplossing biedt een visuele assistent die uitgebreide informatie biedt die is gebaseerd op de inhoud van een afbeelding.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
- Gebruikers communiceren met een bot via een mobiele app of een web-app.
- De bot maakt gebruik van Luis (Language Understanding Intelligence Service), die is ingebouwd in de toepassing, om de gebruikersintentie en gesprekscontext te identificeren.
- De bot geeft visuele context, zoals een afbeelding, door aan de Bing Visual Search-API.
- De bot haalt informatie op uit de Bing Entiteiten zoeken-API over personen, plaatsen, kunstwerken, monumenten en objecten die zijn gerelateerd aan de afbeelding.
- De bot haalt informatie op uit streepjescodes.
- Optioneel krijgt de bot meer informatie over streepjescodes of query's die zijn beperkt tot het domein van de gebruiker met behulp van de Bing Custom Search-API.
- De visuele assistent presenteert de gebruiker met de informatie over gerelateerde producten, bestemmingen, beroemdheden, plaatsen, monumenten en kunstwerken.
Onderdeel
- Azure-app Service is een volledig beheerde HTTP-service voor het hosten van web-apps, REST API's en mobiele back-ends.
- Azure Bot Service biedt een omgeving voor het ontwikkelen van intelligente, hoogwaardige bots die de klantervaring verrijken. De geïntegreerde omgeving biedt ook een manier om de controle over uw gegevens te behouden.
- De Bing Custom Search-API biedt een manier om aangepaste zoekervaringen te maken met de krachtige classificatie en zoekindex op wereldwijde schaal van Bing.
- De Bing Entiteiten zoeken-API biedt zoekmogelijkheden waarmee relevante entiteiten worden geïdentificeerd, zoals bekende personen, plaatsen, films, tv-programma's, videogames, boeken en bedrijven.
- De Bing Visual Search-API retourneert gegevens die zijn gerelateerd aan een bepaalde afbeelding, zoals vergelijkbare afbeeldingen, winkelbronnen voor het kopen van het item in de afbeelding en webpagina's die de afbeelding bevatten.
- De Bing Webzoekopdrachten-API biedt zoekresultaten nadat u één API-aanroep hebt uitgevoerd. De resultaten verzamelen relevante informatie van miljarden webpagina's, afbeeldingen, video's en nieuws.
- Azure Cognitive Service for Language maakt deel uit van Azure Cognitive Services die veel natuurlijke taalverwerkingsservices biedt.
- Conversationele taalkennis is een functie van Cognitive Service for Language. Deze cloudgebaseerde API-service biedt machine learning intelligence-mogelijkheden voor het bouwen van gespreks-apps. U kunt LUIS gebruiken om de betekenis van een gesprek te voorspellen en relevante, gedetailleerde informatie op te halen.
Scenariodetails
Deze oplossing biedt een visuele assistent die uitgebreide informatie biedt die is gebaseerd op de inhoud van een afbeelding. De mogelijkheden van de assistent zijn onder andere het lezen van visitekaartjes, het ontcijferen van streepjescodes en het herkennen van bekende personen, plaatsen, objecten, kunstwerken en monumenten.
Potentiële gebruikscases
Organisaties kunnen deze oplossing gebruiken om het volgende te bieden:
- Afspraakplanning.
- Bestel- en leveringstracering in productie-, automobiel- en transporttoepassingen.
- Streepjescodeaankopen in de detailhandel.
- Betalingsverwerking in financiën en detailhandel.
- Abonnementsverlengingen in de detailhandel.
- De identificatie van bekende mensen, plaatsen, objecten, kunst en monumenten, in de onderwijs-, media- en entertainmentindustrie.
Volgende stappen
Zie Quickstart: Een objectdetectieproject maken met de Custom Vision-clientbibliotheek om een app te ontwerpen die context detecteert die voor u belangrijk is.
Als u de zoekmogelijkheden wilt verkennen die Bing biedt, raadpleegt u de Bing-zoek-API's.
Zie Natuurlijke taalkennis toevoegen aan uw bot om LUIS in te bouwen in uw bot.
Zie Een taalmodel maken met Conversational Language Understanding voor meer informatie over hoe LUIS werkt.
Zie Conversationele AI-oplossingen maken om een bot te maken die QnA Maker en Bot Service bevat.
Zie Examen AI-900: Microsoft Azure AI Fundamentals voor meer inzicht in LUIS, Bot Service en de Bing Visual Search-API.
Als u uw kennis over Cognitive Services wilt certificeren, raadpleegt u Microsoft Certified: Azure AI-engineer Associate.
Zie de volgende bronnen voor meer informatie over de onderdelen in deze oplossing: