Ide solusi
Artikel ini adalah ide solusi. Jika Anda ingin kami memperluas konten dengan informasi lebih lanjut, seperti potensi kasus penggunaan, layanan alternatif, pertimbangan implementasi, atau panduan harga, beri tahu kami dengan memberikan umpan balik GitHub.
Solusi ini menyajikan asisten visual yang menyediakan informasi kaya yang didasarkan pada konten gambar.
Arsitektur
Unduh file Visio arsitektur ini.
Aliran data
- Pengguna berinteraksi dengan bot melalui aplikasi seluler atau aplikasi web.
- Bot menggunakan Language Understanding Intelligence Service (LUIS), yang dibangun ke dalam aplikasi, untuk mengidentifikasi niat pengguna dan konteks percakapan.
- Bot melewati konteks visual, seperti gambar, ke Bing Visual Search API.
- Bot mengambil informasi dari Bing Entity Search API tentang orang, tempat, karya seni, monumen, dan objek yang terkait dengan gambar.
- Bot mengambil informasi dari kode batang.
- Secara opsional, bot mendapatkan informasi lebih lanjut tentang kode batang atau kueri yang terbatas pada domain pengguna dengan menggunakan Bing Custom Search API.
- Asisten visual menyajikan informasi tentang produk, tujuan, selebriti, tempat, monumen, dan karya seni terkait kepada pengguna.
Komponen
- Azure App Service adalah layanan berbasis HTTP yang dikelola sepenuhnya untuk menghosting aplikasi web, REST API, dan backend seluler.
- Azure Bot Service menawarkan lingkungan untuk mengembangkan bot cerdas tingkat perusahaan yang memperkaya pengalaman pelanggan. Lingkungan terintegrasi juga menyediakan cara untuk mempertahankan kontrol data Anda.
- Bing Custom Search API menyediakan cara untuk membuat pengalaman pencarian yang disesuaikan dengan peringkat kuat Bing dan indeks pencarian skala global.
- Bing Entity Search API menawarkan kemampuan pencarian yang mengidentifikasi entitas yang relevan, seperti orang, tempat, film, acara TV, permainan video, buku, dan bisnis terkenal.
- Bing Visual Search API mengembalikan data yang terkait dengan gambar tertentu, seperti gambar serupa, sumber belanja untuk membeli item dalam gambar, dan halaman web yang menyertakan gambar.
- Bing Web Search API menyediakan hasil pencarian setelah Anda mengeluarkan satu panggilan API. Hasilnya mengkompilasi informasi yang relevan dari miliaran halaman web, gambar, video, dan berita.
- Azure Cognitive Service for Language adalah bagian dari Azure Cognitive Services yang menawarkan banyak layanan pemrosesan bahasa alami.
- Pemahaman bahasa percakapan adalah fitur Cognitive Service for Language. Layanan API berbasis cloud ini menawarkan kemampuan kecerdasan pembelajaran mesin untuk membangun aplikasi percakapan. Anda dapat menggunakan LUIS untuk memprediksi arti percakapan dan menarik informasi yang relevan dan terperinci.
Detail skenario
Solusi ini menyajikan asisten visual yang menyediakan informasi kaya yang didasarkan pada konten gambar. Kemampuan asisten termasuk membaca kartu nama, menguraikan kode batang, dan mengenali orang, tempat, objek, karya seni, dan monumen terkenal.
Kemungkinan kasus penggunaan
Organisasi dapat menggunakan solusi ini untuk menyediakan:
- Penjadwalan janji temu.
- Pelacakan pesanan dan pengiriman dalam aplikasi manufaktur, otomotif, dan transportasi.
- Pembelian kode batang di ritel.
- Pemrosesan pembayaran di keuangan dan ritel.
- Perpanjangan langganan di ritel.
- Identifikasi orang, tempat, objek, seni, dan monumen terkenal, dalam industri pendidikan, media, dan hiburan.
Langkah berikutnya
Untuk merancang aplikasi yang mendeteksi konteks yang penting bagi Anda, lihat Mulai Cepat: Membuat proyek deteksi objek dengan pustaka klien Custom Vision.
Untuk menjelajahi kemampuan pencarian yang disediakan Bing, lihat Keluarga Bing dari API pencarian.
Untuk membangun LUIS ke dalam bot Anda, lihat Menambahkan pemahaman bahasa alami ke bot Anda.
Untuk menjelajahi modul Pelajari tentang cara kerja LUIS, lihat Membuat model bahasa dengan Luis Percakapan.
Untuk mempelajari cara membuat dengan Bot Service, lihat Membangun bot dengan Layanan Bahasa dan Azure Bot Service.
Untuk membuat bot yang menggabungkan QnA Maker dan Bot Service, lihat Membuat solusi AI percakapan.
Untuk memantapkan pemahaman Anda tentang LUIS, Bot Service, dan Bing Visual Search API, lihat Ujian AI-900: Dasar-Dasar Microsoft Azure AI.
Untuk mensertifikasi pengetahuan Anda tentang Cognitive Services, lihat Microsoft Certified: Azure AI Engineer Associate.
Untuk mempelajari selengkapnya tentang komponen dalam solusi ini, lihat sumber daya ini: