Ide solusi
Artikel ini adalah ide solusi. Jika Anda ingin kami memperluas konten dengan informasi lebih lanjut, seperti potensi kasus penggunaan, layanan alternatif, pertimbangan implementasi, atau panduan harga, beri tahu kami dengan memberikan umpan balik GitHub.
Ide solusi ini menjelaskan cara membuat antarmuka percakapan suara dengan perangkat internet-of-things (IoT). Anda dapat menggabungkan Azure Speech Service, Language Understanding Service (LUIS), dan Azure Bot Framework untuk membuat antarmuka alami seperti manusia yang mengontrol perangkat IoT melalui Azure IoT Hub.
Kemungkinan kasus penggunaan
- Mengontrol perangkat rumah yang dapat diakses internet seperti televisi dan kulkas berdasarkan perintah suara.
- Gunakan bahasa suara dan alami untuk melaporkan masalah dengan perangkat yang terhubung dengan IoT.
Arsitektur
Unduh file Visio arsitektur ini.
Aliran data
Melalui perangkat suara, pengguna meminta aplikasi asisten suara untuk menyalakan lampu rumah eksterior.
Aplikasi ini terhubung ke saluran Direct Line Speech Bot Service dengan menggunakan Azure Speech SDK. Saat pengenalan kata kunci mengonfirmasi kata kunci tertentu, Direct Line Speech mentranskripsikan ucapan ke teks dan mengirim teks ke aplikasi Bot Service yang dihosting di Azure App Service.
Bot Service tersambung ke layanan Pemahaman Bahasa (LUIS). LUIS menentukan niat permintaan pengguna, TurnOnLight.
LUIS mengembalikan niat ke Bot Service.
Jika perangkat tersambung ke Azure IoT Hub, Bot Service menyampaikan permintaan melalui Azure IoT Hub untuk menyalakan lampu eksterior. Bot Service menggunakan IoT Hub API untuk mengirim perintah ke perangkat dengan menggunakan metode langsung, memperbarui properti yang diinginkan kembar perangkat, atau mengirim cloud ke pesan perangkat.
Jika perangkat terhubung ke penginstalan IoT pihak ketiga, Bot Service terhubung melalui API pihak ketiga untuk mengirim perintah ke perangkat.
Bot Service mengembalikan hasil perintah kepada pengguna dengan menghasilkan respons. Layanan teks ke ucapan mengubah respons menjadi audio dan meneruskannya kembali ke aplikasi asisten suara dengan Direct Line Speech.
Application Insights mengumpulkan telemetri runtime untuk performa bot dan pengembangan penggunaan.
Komponen
- Bot Service menyediakan lingkungan terintegrasi untuk pengembangan bot.
- Layanan Ucapan menawarkan kemampuan ucapan terkemuka di industri seperti ucapan ke teks, teks ke ucapan, terjemahan ucapan, dan pengenalan pembicara.
- Language Understanding Service (LUIS) menerapkan kecerdasan pembelajaran mesin kustom untuk percakapan, teks bahasa alami untuk memprediksi arti dan mengeluarkan informasi yang relevan.
- IoT Hub adalah hub pesan cloud pusat untuk komunikasi dua arah antara aplikasi dan perangkat IoT.
- Application Insights adalah fitur Azure Monitor yang menyediakan manajemen dan pemantauan performa aplikasi yang dapat diperluas untuk aplikasi web langsung.
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- Kevin Hilscher | Manajer Produk Utama, Azure IoT
Langkah berikutnya
- Dokumentasi asisten suara
- Mulai cepat: Membuat kata kunci kustom
- Membuat bot
- Tutorial: Mengaktifkan suara bot Anda menggunakan Speech SDK
- Menambahkan pemahaman bahasa alami (LUIS) ke bot
- Membuat aplikasi LUIS
- Menambahkan niat dan melatih aplikasi LUIS
- Panduan pengembang Azure Iot Hub