IoT-apparaten beheren met een spraakassistent-app

Azure AI Bot Service
Azure IoT Hub
Azure AI services
Azure AI Speech

Oplossingsideeën

Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.

In dit oplossingsidee wordt beschreven hoe u spraakgespreksinterfaces maakt met IoT-apparaten (Internet of Things). U kunt Azure Speech Service, Language Understanding Service (LUIS) en Azure Bot Framework combineren om natuurlijke, menselijke interfaces te maken die IoT-apparaten beheren via Azure IoT Hub.

Potentiële gebruikscases

  • Beheer apparaten die toegankelijk zijn via internet, zoals televisies en koelkasten, via spraakopdracht.
  • Gebruik spraak en natuurlijke taal om problemen met ioT-verbonden apparaten te melden.

Architectuur

Diagram showing the architecture of a voice assistant app.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. Via een spraakapparaat vraagt de gebruiker de spraakassistent-app om de verlichting van het buitenhuis in te schakelen.

  2. De app maakt verbinding met het Direct Line Speech Bot Service-kanaal met behulp van de Azure Speech SDK. Wanneer trefwoordherkenning bepaalde trefwoorden bevestigt, transcribeert Direct Line Speech de spraak naar tekst en verzendt de tekst naar de Bot Service-app die wordt gehost op Azure-app Service.

  3. De Bot Service maakt verbinding met de LUIS-service (Language Understanding). LUIS bepaalt de intentie van de aanvraag van de gebruiker, TurnOnLight.

  4. LUIS retourneert de intentie naar de Bot Service.

  5. Als de apparaten zijn verbonden met Azure IoT Hub, stuurt Bot Service de aanvraag door via Azure IoT Hub om de buitenlichten in te schakelen. Bot Service gebruikt de IoT Hub-API om de opdracht naar de apparaten te verzenden met behulp van directe methoden, het bijwerken van de gewenste eigenschap van de apparaatdubbel of het verzenden van een cloud naar apparaatbericht.

    Als de apparaten zijn verbonden met een IoT-installatie van derden, maakt Bot Service verbinding via de API van derden om een opdracht naar de apparaten te verzenden.

  6. De Bot Service retourneert de resultaten van de opdracht aan de gebruiker door een antwoord te genereren. De tekst-naar-spraak-service verandert het antwoord in audio en geeft het weer door aan de spraakassistent-app met Direct Line Speech.

  7. Application Insights verzamelt runtimetelemetrie voor botprestaties en gebruiksontwikkeling.

Onderdeel

  • Bot Service biedt een geïntegreerde omgeving voor botontwikkeling.
  • Speech Service biedt toonaangevende spraakmogelijkheden, zoals spraak-naar-tekst, tekst-naar-spraak, spraakomzetting en sprekerherkenning.
  • Language Understanding Service (LUIS) past aangepaste machine learning-intelligentie toe op conversationele, natuurlijke taaltekst om betekenis te voorspellen en relevante informatie op te halen.
  • IoT Hub is een centrale cloudberichthub voor bidirectionele communicatie tussen IoT-toepassingen en -apparaten.
  • Application Insights is een functie van Azure Monitor die uitbreidbaar beheer en bewaking van toepassingsprestaties biedt voor live web-apps.

Inzenders

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

Volgende stappen