使用語音助理應用程式控制 IoT 裝置

Azure AI Bot Service
Azure IoT 中樞
Azure AI 服務
Azure AI 語音

解決方案構想

本文是解決方案概念。 如果您想要使用詳細資訊來擴充內容,例如潛在的使用案例、替代服務、實作考慮或定價指引,請提供 GitHub 意見反應 讓我們知道。

此解決方案概念描述如何使用物聯網 (IoT) 裝置建立語音交談介面。 您可以結合 Azure 語音服務、 Language Understanding Service (LUIS) 和 Azure Bot Framework 來建立自然、類似人為的介面,以透過Azure IoT 中樞控制 IoT 裝置。

潛在的使用案例

  • 透過語音命令控制可存取網際網路的家用設備,例如電視和冰箱。
  • 使用語音和自然語言來回報 IoT 連線裝置的問題。

架構

Diagram showing the architecture of a voice assistant app.

下載此架構的 Visio 檔案

資料流程

  1. 使用者透過語音裝置要求語音助理應用程式開啟外部房屋燈。

  2. 應用程式會使用 Azure 語音 SDK 連線到 Direct Line Speech Bot Service 通道。 當關鍵字辨識 確認特定關鍵字時 ,Direct Line Speech 會將語音轉譯 為文字 ,並將文字傳送至裝載于 Azure App 服務 上的 Bot Service 應用程式。

  3. Bot 服務會連線到 Language Understanding (LUIS) 服務。 LUIS 決定使用者要求 TurnOnLight 的意圖。

  4. LUIS 會將意圖傳回至 Bot Service。

  5. 如果裝置連線到Azure IoT 中樞,Bot Service 會透過Azure IoT 中樞轉接要求,以開啟外部燈。 Bot Service 會使用 IoT 中樞 API ,使用 直接方法 、更新 裝置對應項所需的屬性 ,或將雲端傳送至裝置訊息 ,將命令傳送 至裝置。

    如果裝置連線到協力廠商 IoT 安裝,Bot Service 會透過協力廠商 API 連線,以將命令傳送至裝置。

  6. Bot Service 會藉由產生回應,將命令的結果傳回給使用者。 文字到語音 轉換服務會將 回應轉換成音訊,並使用 Direct Line Speech 將其傳回語音助理應用程式。

  7. Application Insights 會收集執行時間遙測,以進行 Bot 效能和使用方式開發。

元件

  • Bot Service 為 Bot 開發提供整合式環境。
  • 語音服務 提供領先業界的語音功能,例如語音轉換文字、文字轉換語音、語音翻譯和說話者辨識。
  • Language Understanding Service (LUIS) 會將自訂機器學習智慧套用至交談式、自然語言文字,以預測意義並提取相關資訊。
  • IoT 中樞是 IoT 應用程式和裝置之間雙向通訊的中央雲端訊息中樞。
  • Application Insights 是 Azure 監視器 一項功能,可為即時 Web 應用程式提供可延伸的應用程式效能管理和監視。

投稿人

本文由 Microsoft 維護。 原始投稿人如下。

主體作者:

下一步