Sugerowanie tagów zawartości przy użyciu nlp przy użyciu uczenia głębokiego

W tym artykule opisano, jak za pomocą sztucznej inteligencji firmy Microsoft poprawić dokładność tagowania zawartości witryny internetowej przez połączenie uczenia głębokiego i przetwarzania języka naturalnego (NLP) z danymi na terminach wyszukiwania specyficznych dla witryny.

Architektura

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

1. Dane są przechowywane w różnych formatach, w zależności od oryginalnego źródła. Dane mogą być przechowywane jako pliki w usłudze Azure Data Lake Storage lub w formie tabelarycznej w usłudze Azure Synapse lub Usłudze Azure SQL Database.

2. Usługa Azure Machine Edukacja (ML) może łączyć się z takimi źródłami i odczytywać je, aby pozyskiwać dane do potoku NLP w celu wstępnego przetwarzania, trenowania modelu i przetwarzania końcowego.

3. Przetwarzanie wstępne nlp obejmuje kilka kroków do korzystania z danych w celu uogólnienia tekstu. Gdy tekst zostanie podzielony na zdania, techniki NLP, takie jak lemmatization lub stemming, umożliwiają tokenizację języka w postaci ogólnej.

4. Ponieważ modele NLP są już dostępne wstępnie wytrenowane, podejście do uczenia transferowego zaleca pobranie osadzania specyficznych dla języka i użycie modelu standardu branżowego w celu klasyfikacji tekstu wieloklasowej, takiej jak odmiany BERT.

5. Przetwarzanie końcowe nlp zaleca przechowywanie modelu w rejestrze modelu w usłudze Azure ML w celu śledzenia metryk modelu. Ponadto tekst można przetwarzać po przetworzeniu z określonymi regułami biznesowymi, które są deterministyczne, na podstawie celów biznesowych. Firma Microsoft zaleca używanie etycznych narzędzi sztucznej inteligencji do wykrywania stronniczego języka, co zapewnia sprawiedliwe trenowanie modelu językowego.

6. Model można wdrożyć za pomocą usługi Azure Kubernetes Service, uruchamiając klaster zarządzany przez platformę Kubernetes, w którym kontenery są wdrażane z obrazów przechowywanych w usłudze Azure Container Registry. Punkty końcowe można udostępnić aplikacji frontonu. Model można wdrożyć za pośrednictwem usługi Azure Kubernetes Service jako punktów końcowych czasu rzeczywistego.

7. Wyniki modelu można zapisywać w opcji magazynu w formacie pliku lub tabelarycznym, a następnie prawidłowo indeksowane przez usługę Azure Cognitive Search. Model będzie działać jako wnioskowanie wsadowe i przechowywać wyniki w odpowiednim magazynie danych.

Składniki

• Data Lake Storage na potrzeby analizy danych big data
• Azure Machine Learning
• Azure Cognitive Search
• Azure Container Registry
• Azure Kubernetes Service (AKS)

Szczegóły scenariusza

Witryny społecznościowe, fora i inne usługi z dużą liczbą tekstu polegają na tagowaniu zawartości, co umożliwia dobre indeksowanie i wyszukiwanie użytkowników. Często jednak tagowanie zawartości jest pozostawione według uznania użytkowników. Ponieważ użytkownicy nie mają list często wyszukiwanych terminów ani głębokiego zrozumienia struktury witryny, często błędnie etykietują zawartość. Nieprawidłowa zawartość jest trudna lub niemożliwa do znalezienia, gdy będzie potrzebna później.

Potencjalne przypadki użycia

Korzystając z przetwarzania języka naturalnego (NLP) z uczeniem głębokim na potrzeby tagowania zawartości, można włączyć skalowalne rozwiązanie do tworzenia tagów w całej zawartości. Gdy użytkownicy wyszukują zawartość według słów kluczowych, ten wieloklasowy proces klasyfikacji wzbogaca zawartość bez tagów za pomocą etykiet, które pozwolą wyszukiwać znaczną część tekstu, co poprawia procesy pobierania informacji. Nowa zawartość przychodząca zostanie odpowiednio oznaczona przez uruchomienie wnioskowania NLP.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

• Louis Li | Starszy inżynier klienta

Następne kroki

Zapoznaj się z dokumentacją produktu:

• Wprowadzenie do usługi Azure Data Lake Storage Gen2
• Azure Machine Learning
• Dokumentacja usługi Azure Cognitive Search
• Dowiedz się więcej o usłudze Azure Container Registry
• Azure Kubernetes Service

Wypróbuj następujące moduły platformy Microsoft Learn:

• Wprowadzenie do przetwarzania języka naturalnego za pomocą biblioteki PyTorch
• Trenowanie i ocenianie modeli uczenia głębokiego
• Implementowanie wyszukiwania wiedzy za pomocą usługi Azure Cognitive Search

Powiązane zasoby

Zapoznaj się z następującymi powiązanymi artykułami dotyczącymi architektury:

• Technologia przetwarzania języka naturalnego
• Tworzenie jeziora delta w celu obsługi zapytań ad hoc w trybie wolnym i rezerwacji podróży online
• Wykonywanie zapytań względem usługi Data Lake lub lakehouse przy użyciu usługi Azure Synapse bezserwerowych
• Struktura operacji uczenia maszynowego (MLOps) w celu skalowania cyklu życia uczenia maszynowego za pomocą usługi Azure Machine Edukacja
• Wprowadzenie do konserwacji predykcyjnej w produkcji
• Rozwiązanie do konserwacji predykcyjnej