Foundry Control Plane의 Content Safety

콘텐츠 보안 모델을 학습하고 테스트하는 데 특별히 사용된 언어는: 영어, 독일어, 스페인어, 일본어, 프랑스어, 이탈리아어, 포르투갈어, 중국어입니다. 이 서비스는 다른 언어로도 작동할 수 있지만 품질은 다를 수 있습니다. 모든 경우에 애플리케이션에 적합한지 확인하기 위해 자체 테스트를 수행해야 합니다.

사용자 지정 범주는 현재 영어를 사용하는 경우에만 잘 작동합니다. 사용자 자체 데이터 세트에 다른 언어를 사용할 수 있지만 품질은 다를 수 있습니다.

일부 Content Safety 기능은 특정 지역에만 제공됩니다. 각 지역에서 사용할 수 있는 기능을 확인하세요.

시스템은 4가지 유해 범주, 즉 혐오적, 성적, 폭력적, 자해적 내용을 모니터링합니다.

예. 각 유해 범주 필터에 대한 심각도 임계값을 조정할 수 있습니다.

예. Content Safety 사용자 지정 범주 API를 사용하여 고유한 콘텐츠 필터를 만들 수 있습니다. 예시를 제공하면 정의된 사용자 지정 범주와 관련된 원치 않는 콘텐츠를 감지하고 차단하도록 필터를 학습시킬 수 있습니다.

프롬프트 보호는 프롬프트 삽입 공격으로부터 방어하여 생성형 AI 시스템의 보안을 강화합니다.

• 직접 프롬프트 공격(탈옥): 사용자가 시스템 규칙 변경을 시도하거나 모델을 속여 제한된 작업을 실행하도록 유도하는 프롬프트를 만들어 AI 시스템을 조작하고 안전 프로토콜을 우회하려고 합니다.
• 간접 공격: 문서나 이메일과 같은 제3자 콘텐츠에 AI가 무의식적으로 실행할 수 있는 포함 명령 등 AI 시스템을 악용하기 위한 숨겨진 지침이 포함되어 있습니다.

근거성 감지는 생성형 AI 모델의 근거 없는 출력을 식별하고 수정하여 제공된 원본 자료를 기반으로 하도록 합니다. 이렇게 하면 조작된 정보나 거짓 정보가 생성되지 않도록 방지할 수 있습니다. 근거성 감지는 사용자 지정 언어 모델을 사용하여 원본 데이터에 대한 권리를 평가하고 AI 할루시네이션을 완화합니다.

텍스트에 대한 보호자료감지는 가사, 기사, 조리법, 선택한 웹 콘텐츠 등 알려진 텍스트 콘텐츠를 식별하고 AI 생성 출력에 표시되지 않도록 차단합니다.

코드에 대한 보호자료감지는 알려진 코드의 출력을 감지하고 방지합니다. GitHub 리포지토리의 공개 소스 코드와 대조하여 일치하는지 확인합니다. 또한 GitHub Copilot에서 제공하는 코드 참조 기능을 통해 개발자는 리포지토리를 찾아 관련 코드를 탐색 및 검색할 수 있습니다.

Azure OpenAI 내부의 콘텐츠 필터링 시스템은 Content Safety에 의해 지원됩니다. 입력 프롬프트와 출력 결과 모두에서 유해한 콘텐츠의 출력을 감지하고 방지하도록 설계되었습니다. GPT 및 DALL-E를 비롯한 핵심 모델과 함께 작동합니다.