Content Safety en Foundry Control Plane

Los modelos de Seguridad del contenido se han formado y probado específicamente en los siguientes idiomas: inglés, alemán, español, japonés, francés, italiano, portugués y chino. El servicio puede funcionar también en otros idiomas, pero la calidad puede variar. En todos los casos, debe realizar sus propias pruebas para asegurarse de que funciona para su aplicación.

Actualmente, las categorías personalizadas solo funcionan bien en inglés. Puede usar otros lenguajes con su propio conjunto de datos, pero la calidad puede variar.

Algunas características de Content Safety solo están disponibles en determinadas regiones. Consulte las funciones disponibles en cada región.

El sistema supervisa cuatro categorías de daños: odio, sexual, violencia y autolesiones.

Sí, puede ajustar los umbrales de gravedad para cada filtro de categoría de daño.

Sí, puede usar la API de categorías personalizadas de Content Safety para crear sus propios filtros de contenido. Proporcionando ejemplos, puede entrenar al filtro para que detecte y bloquee contenidos no deseados específicos de las categorías personalizadas que haya definido.

Los escudos de inyección mejoran la seguridad de los sistemas de IA generativa defendiéndolos de los ataques de inyección:

• Ataques rápidos directos (liberaciones): Los usuarios intentan manipular el sistema de IA y eludir los protocolos de seguridad creando mensajes que intentan alterar las reglas del sistema o engañar al modelo para que ejecute acciones restringidas.
• Ataques indirectos: El contenido de terceros, como documentos o correos electrónicos, contiene instrucciones ocultas para explotar el sistema de IA, como comandos incrustados que una IA podría ejecutar sin saberlo.

La detección de fundamentos identifica y corrige los resultados no fundamentados de los modelos generativos de IA, garantizando que se basan en los materiales de origen proporcionados. Esto ayuda a prevenir la generación de información fabricada o falsa. Mediante un modelo lingüístico personalizado, la detección de fundamentos evalúa las afirmaciones con respecto a los datos de origen y mitiga las alucinaciones de la IA.

La detección de material protegido para texto identifica y bloquea contenidos de texto conocidos, como letras de canciones, artículos, recetas y contenidos web seleccionados, para que no aparezcan en los resultados generados por la IA.

La detección de material protegido para código detecta e impide la salida de código conocido. Comprueba las coincidencias con el código fuente público en los repositorios de GitHub. Además, la capacidad de hacer referencia al código de GitHub Copilot permite a los desarrolladores localizar repositorios para explorar y descubrir código relevante.

El sistema de filtrado de contenido dentro de Azure OpenAl cuenta con tecnología de Content Safety. Está diseñado para detectar y evitar la salida de contenido perjudicial tanto en los mensajes de entrada como en las finalizaciones de salida. Funciona junto con los modelos principales, incluidos GPT y DALL-E.