Modifica

Controllare i dispositivi IoT con un'app assistente vocale

Servizio di Azure AI Bot
Hub IoT Azure
Servizi di intelligenza artificiale di Azure
Voce di Azure AI

Idee per le soluzioni

Questo articolo è un'idea di soluzione. Per espandere il contenuto con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o indicazioni sui prezzi, inviare commenti e suggerimenti su GitHub.

Questa idea di soluzione descrive come creare interfacce di conversazione vocale con dispositivi IoT (Internet delle cose). È possibile combinare il servizio Voce di Azure, il servizio Language Understanding (LUIS) e Azure Bot Framework per creare interfacce naturali e simili a quella umana che controllano i dispositivi IoT tramite hub IoT di Azure.

Potenziali casi d'uso

  • Controllare i dispositivi domestici accessibili da Internet, ad esempio televisori e frigoriferi tramite comando vocale.
  • Usare la voce e il linguaggio naturale per segnalare problemi con i dispositivi connessi a IoT.

Architecture

Diagram showing the architecture of a voice assistant app.

Scaricare un file di Visio di questa architettura.

Flusso di dati

  1. Tramite un dispositivo vocale, l'utente chiede all'app assistente vocale di attivare le luci interne esterne.

  2. L'app si connette al canale servizio Bot Direct Line Speech usando Azure Speech SDK. Quando il riconoscimento delle parole chiave conferma determinate parole chiave, Direct Line Speech trascrive la voce in testo e invia il testo all'app servizio Bot ospitata nel servizio app Azure.

  3. Il servizio Bot si connette al servizio Language Understanding (LUIS). LUIS determina la finalità della richiesta dell'utente, TurnOnLight.

  4. LUIS restituisce la finalità al servizio Bot.

  5. Se i dispositivi sono connessi a hub IoT di Azure, servizio Bot inoltra la richiesta tramite hub IoT di Azure per accendere le luci esterne. servizio Bot usa l'API hub IoT per inviare il comando ai dispositivi usando metodi diretti, aggiornando la proprietà desiderata del dispositivo gemello o inviando un messaggio cloud al dispositivo.

    Se i dispositivi sono connessi a un'installazione IoT di terze parti, servizio Bot si connette tramite l'API di terze parti per inviare un comando ai dispositivi.

  6. Il servizio Bot restituisce i risultati del comando all'utente generando una risposta. Il servizio di sintesi vocale trasforma la risposta in audio e la passa all'app assistente vocale con Direct Line Speech.

  7. Application Insights raccoglie i dati di telemetria di runtime per lo sviluppo di prestazioni e utilizzo dei bot.

Componenti

  • servizio Bot fornisce un ambiente integrato per lo sviluppo di bot.
  • Il servizio voce offre funzionalità vocali leader del settore, ad esempio riconoscimento vocale, sintesi vocale, traduzione vocale e riconoscimento vocale.
  • Language Understanding Service (LUIS) applica intelligenza di Machine Learning personalizzata al testo del linguaggio naturale per prevedere il significato ed estrarre informazioni pertinenti.
  • hub IoT è un hub di messaggi cloud centrale per le comunicazioni bidirezionali tra applicazioni E dispositivi IoT.
  • Application Insights è una funzionalità di Monitoraggio di Azure che fornisce la gestione estendibile delle prestazioni delle applicazioni e il monitoraggio per le app Web attive.

Contributori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

Passaggi successivi