Segurança de conteúdo do IA do Azure

Os modelos de Content Safety foram especificamente treinados e testados nos seguintes idiomas: Inglês, alemão, espanhol, japonês, francês, italiano, português e chinês. O serviço pode funcionar em outros idiomas também, mas a qualidade pode variar. Em todos os casos, você deve realizar seus próprios testes para garantir que funciona para sua aplicação.

Atualmente, as categorias personalizadas funcionam bem apenas em inglês. Você pode usar outros idiomas com seu próprio conjunto de dados, mas a qualidade pode variar.

Alguns recursos de Segurança de Conteúdo de IA do Azure só estão disponíveis em determinadas regiões. Veja os recursos disponíveis em cada região.

O sistema monitora em quatro categorias de danos: ódio, sexual, violência e automutilação.

Sim, você pode ajustar os limites de gravidade para cada filtro de categoria de dano.

Sim, você pode usar a API de categorias personalizadas do Azure AI Content Safety para criar seus próprios filtros de conteúdo. Ao fornecer exemplos, você pode treinar o filtro para detectar e bloquear conteúdo indesejado específico para suas categorias personalizadas definidas.

Solicitações de proteção aumentam a segurança de sistemas de IA generativa, defendendo contra ataques de injeção de solicitação:

 

• Ataques diretos de solicitação (jailbreaks): Usuários tentam manipular o sistema de IA e contornar os protocolos de segurança criando solicitações que tentam alterar as regras do sistema ou enganar o modelo para executar ações restritas.
• Ataques indiretos: Conteúdo de terceiros, como documentos ou emails, contém instruções ocultas para explorar o sistema de IA, como comandos incorporados que a IA pode executar sem saber.

A detecção de fundamentação identifica e corrige os resultados sem fundamentação dos modelos de IA generativa, garantindo que eles sejam baseados nos materiais de origem fornecidos. Isso ajuda a prevenir a geração de informações fabricadas ou falsas. Usando um modelo de linguagem personalizado, a detecção de fundamentação avalia as afirmações em relação aos dados de origem e mitiga as alucinações da IA.

A detecção de material protegido para texto identifica e bloqueia conteúdos textuais conhecidos, como letras de músicas, artigos, receitas e conteúdos selecionados da web, de aparecerem nas saídas geradas pela IA.

A detecção de material protegido para código detecta e impede a saída de código conhecido. Ela verifica correspondências com código fonte público em repositórios do GitHub. Além disso, a capacidade de referência de código alimentada pelo GitHub Copilot permite que os desenvolvedores localizem repositórios para explorar e descobrir código relevante.

O sistema de filtragem de conteúdo dentro do Serviço OpenAI do Azure é alimentado pela Segurança de Conteúdo da IA do Azure. Ele é projetado para detectar e prevenir a saída de conteúdo prejudicial tanto em solicitações de entrada quanto em respostas geradas. Ele funciona junto aos modelos principais, incluindo o GPT e o DALL-E.