Atölye Kontrol Düzleminde İçerik Güvenliği

İçerik Güvenliği modelleri aşağıdaki dillerde özel olarak eğitilmiş ve test edilmiştir: İngilizce, Almanca, İspanyolca, Japonca, Fransızca, İtalyanca, Portekizce ve Çince. Hizmet diğer dillerde de kullanılabilir ancak kalitede farklılık olabilir. Her durumda, uygulamanızda işe yaradığından emin olmak için kendi testlerinizi yapmanız gerekir.

Özel kategoriler şu anda yalnızca İngilizcede sorunsuz çalışıyor. Diğer dilleri kendi veri kümenizle kullanabilirsiniz ancak kalitede farklılık olabilir.

Bazı İçerik Güvenliği özellikleri yalnızca belirli bölgelerde kullanılabilir. Her bölgede kullanıma sunulan özellikleri görüntüleyin.

Sistem dört zarar kategorisini izler: nefret, cinsellik, şiddet ve kendi kendine zarar verme.

Evet, her zarar kategorisi filtresi için önem düzeyi eşikleri ayarlayabilirsiniz.

Evet, kendi içerik filtrelerinizi oluşturmak için İçerik Güvenliği özel kategoriler API’sini kullanabilirsiniz. Örnekler sağlayarak, filtreyi tanımladığınız özel kategorilere göre istenmeyen içeriği algılamak ve engellemek üzere eğitebilirsiniz.

İstem kalkanları, istem ekleme saldırılarına karşı koruma sağlayarak üretici AI sistemlerinin güvenliğini iyileştirir:

• Doğrudan istem saldırıları (jailbreak girişimleri): Kullanıcılar sistem kurallarını değiştirmeyi veya modeli kısıtlanmış eylemleri yürütmesi için kandırmayı deneyen istemler oluşturarak yapay zeka sistemini yönlendirmeye ve güvenlik protokollerini atlamaya çalışır.
• Dolaylı saldırılar: Belgeler veya e-postalar gibi üçüncü taraf içerikleri, yapay zekanın bilmeden yürütebileceği gömülü komutlar gibi yapay zeka sisteminin açıklarından yararlanmayı amaçlayan gizli yönergeler içerir.

Temellendirme algılama işlevi, üretici AI modellerinin temelsiz çıktılarını belirleyip düzeltir ve bu çıktıların sağlanan kaynak malzemelere dayandığından emin olur. Bu, uydurma veya yanlış bilgilerin üretilmesini engellemeye yardımcı olur. Özel bir dil modelinin kullanıldığını temellendirme algılama işlevi, talepleri kaynak verilere göre değerlendirir ve yapay zeka halüsinasyonlarını azaltır.

Metinlere yönelik korumalı malzeme algılama özelliği şarkı sözleri, makaleler, yemek tarifleri ve seçili web içeriği gibi bilinen metin içeriklerini belirler ve bunların yapay zeka tarafından oluşturulan çıktılarda görünmesini engeller.

Kod için kullanılan korumalı malzeme algılama özelliği bilinen kod çıktılarını algılar ve engeller. GitHub depolarındaki halka açık kaynak koduyla eşleşmeleri denetler. Ek olarak, GitHub Copilot ile güçlendirilmiş kod başvurusu işlevi, geliştiricilerin ilgili kodu araştırması ve keşfetmesi için depoları bulmasına olanak tanır.

Azure OpenAI hizmetindeki içerik filtreleme sistemi İçerik Güvenliği ile güçlendirilmiştir. Hem giriş istemlerinde hem de çıkış tamamlamalarında zararlı içerik çıkışlarını algılamak ve engellemek üzere tasarlanmıştır. GPT ve DALL-E gibi temel modellerle birlikte çalışır.