Düzenle

Derin öğrenme kullanarak NLP ile içerik etiketleri önerin

Azure Container Registry
Azure AI Arama
Azure Kubernetes Service (AKS)
Azure Machine Learning

Çözüm fikirleri

Bu makale bir çözüm fikridir. İçeriği olası kullanım örnekleri, alternatif hizmetler, uygulama konuları veya fiyatlandırma yönergeleri gibi daha fazla bilgiyle genişletmemizi isterseniz GitHub geri bildirimi sağlayarak bize bildirin.

Bu makalede, derin öğrenme ve doğal dil işlemeyi (NLP) siteye özgü arama terimlerindeki verilerle birleştirerek web sitesi içerik etiketleme doğruluğunu geliştirmek için Microsoft AI'yi nasıl kullanabileceğiniz açıklanmaktadır.

Mimari

Mimari diyagramı: Web siteleri için içerik etiketleri önermeye yardımcı olmak için Azure Machine Learning'i kullanmaya genel bakış.

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

  1. Veriler, özgün kaynağına bağlı olarak çeşitli biçimlerde depolanır. Veriler Azure Data Lake Depolama içinde veya Azure Synapse veya Azure SQL Veritabanı'da tablo biçiminde dosya olarak depolanabilir.

  2. Azure Machine Learning (ML), verileri ön işleme, model eğitimi ve işlem sonrası için NLP işlem hattına almak üzere bu tür kaynaklara bağlanabilir ve bu kaynaklardan okuyabilir.

  3. NLP ön işleme, metin genelleştirme amacıyla verileri kullanmaya yönelik birkaç adım içerir. Metin cümlelere bölününce, lemmatizasyon veya kök oluşturma gibi NLP teknikleri dilin genel bir biçimde belirteç haline getirilmesini sağlar.

  4. NLP modelleri önceden eğitilmiş olarak kullanılabilir olduğundan, aktarım öğrenmesi yaklaşımı dile özgü eklemeleri indirmenizi ve BERT çeşitlemeleri gibi çok sınıflı metin sınıflandırması için endüstri standardı bir model kullanmanızı önerir.

  5. NLP işlem sonrası, model ölçümlerini izlemek için modelin Azure ML'deki bir model kaydında depolanmasını önerir. Ayrıca metinler, iş hedeflerine göre belirlendik şekilde tanımlanan belirli iş kurallarıyla birlikte işlenebilir. Microsoft, bir dil modelinin adil bir şekilde eğitilmesini sağlayan yanlı dili algılamak için etik yapay zeka araçlarının kullanılmasını önerir.

  6. Model, Azure Container Registry'de depolanan görüntülerden kapsayıcıların dağıtıldığı Kubernetes tarafından yönetilen bir küme çalıştırılırken Azure Kubernetes Service aracılığıyla dağıtılabilir. Uç noktalar bir ön uç uygulaması için kullanılabilir hale getirilebilir. Model, Azure Kubernetes Service aracılığıyla gerçek zamanlı uç noktalar olarak dağıtılabilir.

  7. Model sonuçları dosya veya tablo biçiminde bir depolama seçeneğine yazılabilir, ardından Azure Bilişsel Arama tarafından düzgün dizinlenebilir. Model toplu çıkarım olarak çalışır ve sonuçları ilgili veri deposunda depolar.

Bileşenler

Senaryo ayrıntıları

Sosyal siteler, forumlar ve metin yoğunluklu diğer Soru-Cevap hizmetleri, iyi dizin oluşturma ve kullanıcı arama olanağı sağlayan içerik etiketlemeye büyük ölçüde dayanır. Ancak genellikle içerik etiketleme kullanıcıların takdirine bırakılır. Kullanıcılar, sık aranan terimlerin listelerine veya site yapısı hakkında ayrıntılı bilgilere sahip olmadığından, içeriği sık sık yanlış etiketlemektedir. Yanlış etiketlenmiş içeriği daha sonra ihtiyaç duyulduğunda bulmak zordur veya imkansızdır.

Olası kullanım örnekleri

İçerik etiketleme için derin öğrenme ile doğal dil işlemeyi (NLP) kullanarak, içerik genelinde etiket oluşturmak için ölçeklenebilir bir çözüm etkinleştirirsiniz. Kullanıcılar anahtar sözcüklere göre içerik ararken, bu çok sınıflı sınıflandırma işlemi etiketsiz içeriği, metnin önemli bölümlerinde arama yapmanızı sağlayacak etiketlerle zenginleştirir ve bu da bilgi alma işlemlerini geliştirir. Yeni gelen içerik, NLP çıkarımı çalıştırılarak uygun şekilde etiketlenir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

  • Louis Li | Kıdemli Müşteri Mühendisi

Sonraki adımlar

Ürün belgelerine bakın:

Şu Microsoft Learn modüllerini deneyin:

Aşağıdaki ilgili mimari makalelere bakın: