Segurança de Conteúdo no Foundry Control Plane

Os modelos de Segurança de Conteúdo foram especificamente preparados e testados nos seguintes idiomas: inglês, alemão, espanhol, japonês, francês, italiano, português e chinês. O serviço também pode funcionar noutros idiomas, mas a qualidade pode variar. Em todos os casos, deve fazer os seus próprios testes para garantir que funciona para a sua aplicação.

Atualmente, as categorias personalizadas funcionam bem apenas em inglês. Pode utilizar outros idiomas com o seu próprio conjunto de dados, mas a qualidade pode variar.

Algumas funcionalidades da Segurança de Conteúdo só estão disponíveis em determinadas regiões. Veja as funcionalidades disponíveis em cada região.

O sistema monitoriza em quatro categorias de danos: ódio, teor sexual, violência e autoflagelação.

Sim, pode ajustar os limiares de gravidade para cada filtro de categoria de dano.

Sim, pode utilizar a API de categorias personalizadas da Segurança de Conteúdo para criar os seus próprios filtros de conteúdo. Ao fornecer exemplos, pode preparar o filtro para detetar e bloquear conteúdo indesejável específico das categorias personalizadas definidas por si.

Os escudos de pedidos melhoram a segurança dos sistemas de IA generativa ao defenderem contra ataques de injeção de pedidos:

• Ataques de pedidos diretos (jailbreaks): Os utilizadores tentam manipular o sistema de IA e contornar protocolos de segurança ao criar pedidos que tentam alterar as regras do sistema ou levar o modelo a executar ações restritas.
• Ataques indiretos: Conteúdo de terceiros, como documentos ou e-mails, contêm instruções ocultas para explorar o sistema de IA, como comandos incorporados que uma IA pode executar involuntariamente.

A deteção de verdade identifica e corrige as saídas sem fundamento dos modelos de IA generativa, garantindo que se baseiam nos materiais de origem fornecidos. Isto ajuda a impedir a geração de informações inventadas ou falsas. Ao utilizar um modelo de linguagem personalizado, a deteção de verdade avalia as afirmações em relação aos dados de origem e mitiga as alucinações de IA.

A deteção de material protegido para texto identifica e bloqueia conteúdo de texto conhecido, como letras, artigos, receitas e conteúdo Web selecionado, para não aparecer em saídas geradas por IA.

A deteção de material protegido para código deteta e impede a saída de código conhecido. Verifica se há correspondências com o código fonte público em repositórios do GitHub. Além disso, a capacidade de referência de código possibilitada pelo GitHub Copilot permite aos programadores localizar repositórios para explorar e descobrir código relevante.

O sistema de filtragem de conteúdo no Azure OpenAI conta com tecnologia da Segurança de Conteúdo. Foi concebido para detetar e impedir a saída de conteúdo prejudicial em pedidos de entrada e conclusões de saída. Funciona juntamente com modelos principais, incluindo GPT e DALL-E.