Content Safety w Foundry Control Plane

Modele bezpieczeństwa zawartości zostały specjalnie wytrenowane i przetestowane w następujących językach: angielski, niemiecki, hiszpański, japoński, francuski, włoski, portugalski i chiński. Usługa może również działać w innych językach, ale jakość może się różnić. We wszystkich przypadkach należy wykonać własne testy, aby upewnić się, że sprawdza się w Twoich rozwiązaniach.

Kategorie niestandardowe obecnie działają dobrze tylko w języku angielskim. Możesz używać innych języków z własnym zestawem danych, ale jakość może się różnić.

Niektóre funkcje usługi Bezpieczeństwo zawartości platformy są dostępne tylko w niektórych regionach. Zobacz funkcje dostępne w każdym regionie.

System monitoruje cztery kategorie krzywdzenia: nienawiść, seksualność, przemoc i samookaleczenie.

Tak, możesz dostosować progi ważności dla każdego filtru kategorii krzywdzenia.

Tak, możesz używać interfejsu API kategorii niestandardowych usługi Bezpieczeństwo zawartości do tworzenia własnych filtrów zawartości. Podając przykłady, można wytrenować filtr w celu wykrywania i blokowania niepożądanej zawartości specyficznej dla zdefiniowanych kategorii niestandardowych.

Tarcze poleceń zwiększają bezpieczeństwo systemów generatywnej sztucznej inteligencji, chroniąc przed atakami polegającymi na wstrzykiwaniu poleceń:

• Bezpośrednie ataki za pomocą poleceń (wykonywanie jailbreak): Użytkownicy próbują manipulować systemem sztucznej inteligencji i pomijać protokoły bezpieczeństwa, tworząc polecenia, które próbują zmienić reguły systemowe lub oszukać model do wykonywania ograniczonych akcji.
• Ataki pośrednie: Zawartość innych firm, taka jak dokumenty lub wiadomości e-mail, zawiera ukryte instrukcje dotyczące wykorzystania systemu sztucznej inteligencji, takie jak osadzone polecenia, które sztuczna inteligencja może w sposób nieświadomy wykonywać.

Ugruntowane wykrywanie identyfikuje i poprawia nieugruntowane dane wyjściowe modeli generatywnej sztucznej inteligencji, zapewniając, że są one oparte na dostarczonych materiałach źródłowych. Pomaga to zapobiec generowaniu informacji sfabrykowanych lub fałszywych. Przy użyciu niestandardowego modelu językowego ugruntowane wykrywanie ocenia oświadczenia względem danych źródłowych i ogranicza halucynacje sztucznej inteligencji.

Wykrywanie materiałów chronionych dla tekstu identyfikuje i blokuje wyświetlanie znanych treści tekstowych, takich jak teksty, artykuły, przepisy i wybrana zawartość sieci Web, w danych wyjściowych generowanych przez sztuczną inteligencję.

Wykrywanie materiałów chronionych dla kodu wykrywa dane wyjściowe znanego kodu i chroni przed nimi. Sprawdza, czy w repozytoriach GitHub są dopasowania względem publicznego kodu źródłowego. Ponadto kod odwołujący się do funkcji obsługiwanej przez narzędzie GitHub Copilot umożliwia deweloperom lokalizowanie repozytoriów na potrzeby poznawania i odnajdywania odpowiedniego kodu.

System filtrowania zawartości w usłudze Azure OpenAI jest obsługiwany przez usługę Bezpieczeństwo zawartości. Jest on przeznaczony do wykrywania i zapobiegania przekazywaniu szkodliwej zawartości zarówno w podpowiedziach danych wejściowych, jak i uzupełnieniach danych wyjściowych. Działa ona razem z podstawowymi modelami, w tym GPT i DALL-E.