Безопасность содержимого ИИ Azure

Модели безопасности контента специально обучены и протестированы на следующих языках: английский, немецкий, испанский, японский, французский, итальянский, португальский и китайский. Служба может работать и на других языках, но качество может отличаться. В любом случае вам следует провести собственное тестирование и убедиться, что это подходит для вашего приложения.

Сейчас настраиваемые категории работают только на английском языке. Вы можете использовать другие языки с собственным набором данных, но качество может отличаться.

Некоторые функции Безопасности содержимого ИИ Azure доступны только в определенных регионах. Ознакомьтесь с функциями, доступными в каждом регионе.

Система отслеживает четыре вредоносных категории: ненависть, сексуальность, насилие и членовредительство.

Да, вы можете настроить пороговые значения серьезности для каждого фильтра вредоносной категории.

Да, вы можете использовать API настраиваемых категорий Безопасности содержимого ИИ Azure для создания собственных фильтров контента. Предоставляя примеры, вы можете обучить фильтр обнаруживать и блокировать нежелательный контент, относящийся к определенным настраиваемым категориям.

Экраны запросов повышают безопасность систем генеративного ИИ, защищая от атак с использованием внедрения запросов:

 

• Атаки с прямыми запросами (взлом): Пользователи пытаются манипулировать системой ИИ и обходить протоколы безопасности, создавая запросы, которые пытаются изменить правила системы или обмануть модель, заставив ее выполнять запрещенные действия.
• Косвенные атаки: Сторонний контент, такой как документы или электронные письма, содержит скрытые инструкции по использованию системы ИИ, например, встроенные команды, которые ИИ может выполнять неосознанно.

Функция обнаружения заземления выявляет и исправляет необоснованные результаты генеративных моделей ИИ, гарантируя, что они основаны на предоставленных исходных материалах. Это помогает предотвратить создание сфабрикованной или ложной информации. Используя настраиваемую языковую модель, функция обнаружения обоснованности сравнивает утверждения с исходными данными и смягчает галлюцинации ИИ.

Функция обнаружения защищенного материала для текста идентифицирует и блокирует появление известного текстового контента, например текстов песен, статей, рецептов и выбранного веб-контента, в результатах, генерируемых ИИ.

Обнаружение защищенного материала для кода обнаруживает и предотвращает вывод известного кода. Эта функция проверяет совпадения с общедоступным исходным кодом в репозиториях GitHub. Кроме того, возможность ссылки на код, реализованная в GitHub Copilot, позволяет разработчикам находить репозитории для изучения и обнаружения соответствующего кода.

Система фильтрации содержимого в Azure OpenAI работает на базе Безопасности содержимого ИИ Azure. Это предназначено для обнаружения и предотвращения вывода вредоносного содержимого в запросах входных данных и в результатах завершения вывода. Это работает вместе с основными моделями, включая GPT и DALL-E.