Lösningsidéer
Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub-feedback.
Den här lösningsidén beskriver hur du skapar röstsamtalsgränssnitt med IoT-enheter (Internet-of-things). Du kan kombinera Azure Speech Service, Language Understanding Service (LUIS) och Azure Bot Framework för att skapa naturliga, människoliknande gränssnitt som styr IoT-enheter via Azure IoT Hub.
Potentiella användningsfall
- Kontrollera internettillgängliga hemenheter som TV-apparater och kylskåp med röstkommando.
- Använd röst och naturligt språk för att rapportera problem med IoT-anslutna enheter.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
Via en röstenhet ber användaren röstassistentappen att slå på de yttre husbelysningarna.
Appen ansluter till Direct Line Speech Bot Service-kanalen med hjälp av Azure Speech SDK. När nyckelordsigenkänning bekräftar vissa nyckelord transkriberar Direct Line Speech tal till text och skickar texten till Bot Service-appen som finns i Azure App Service.
Bot Service ansluter till tjänsten Language Understanding (LUIS). LUIS avgör avsikten med användarens begäran, TurnOnLight.
LUIS returnerar avsikten till bottjänsten.
Om enheterna är anslutna till Azure IoT Hub vidarebefordrar Bot Service begäran via Azure IoT Hub för att aktivera de yttre lamporna. Bot Service använder IoT Hub-API :et för att skicka kommandot till enheterna med hjälp av direkta metoder, uppdatera enhetstvillingens önskade egenskap eller skicka ett moln till enhetsmeddelande.
Om enheterna är anslutna till en IoT-installation från tredje part ansluter Bot Service via API från tredje part för att skicka ett kommando till enheterna.
Bot Service returnerar resultatet av kommandot till användaren genom att generera ett svar. Text-till-tal-tjänsten omvandlar svaret till ljud och skickar tillbaka det till röstassistentappen med Direct Line Speech.
Application Insights samlar in runtime-telemetri för robotprestanda och användningsutveckling.
Komponenter
- Bot Service tillhandahåller en integrerad miljö för robotutveckling.
- Speech Service erbjuder branschledande talfunktioner som tal till text, text till tal, talöversättning och talarigenkänning.
- Language Understanding Service (LUIS) tillämpar anpassad maskininlärningsinformation på konversationstext med naturligt språk för att förutsäga innebörd och hämta relevant information.
- IoT Hub är en central molnmeddelandehubb för dubbelriktad kommunikation mellan IoT-program och enheter.
- Application Insights är en funktion i Azure Monitor som tillhandahåller utökningsbar hantering och övervakning av programprestanda för webbappar i realtid.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudförfattare:
- Kevin Hilscher | Principal Product Manager, Azure IoT
Nästa steg
- Dokumentation om röstassistenter
- Snabbstart: Skapa ett anpassat nyckelord
- Skapa en robot
- Självstudie: Röstaktivera din robot med hjälp av Speech SDK
- Lägga till förståelse för naturligt språk (LUIS) i en robot
- Skapa en LUIS-app
- Lägga till en avsikt och träna en LUIS-app
- Utvecklarguide för Azure Iot Hub