근거 검색

근거 검색 API는 LLM(대규모 언어 모델)의 텍스트 응답이 사용자가 제공한 원본 자료에 기반을 두고 있는지 여부를 검색합니다. 근거 없음은 LLM이 원본 자료에 있던 것과는 달리 사실이 아니거나 부정확한 정보를 생성하는 경우를 나타냅니다.

주요 용어

• RAG(검색 증강 생성): RAG는 LLM 지식을 다른 데이터로 보강하는 기술입니다. LLM은 광범위한 토픽에 대해 추론을 진행할 수 있지만 해당 지식은 학습되었을 당시에 사용 가능했던 퍼블릭 데이터로 제한됩니다. 프라이빗 데이터 또는 모델’중단 날짜 이후에 도입된 데이터에 대해 추론할 수 있는 AI 애플리케이션을 빌드하려면 해당 특정 정보를 모델에 제공해야 합니다. 적절한 정보를 가져와서 모델 프롬프트에 삽입하는 프로세스를 RAG(검색 증상 생성)라고 합니다. 자세한 내용은 RAG(검색 증강 생성)을 참조하세요.

• LLM의 근거 및 근거 없음: 모델 출력이 제공된 정보를 기준으로 하거나 신뢰할 수 있는 원본을 정확하게 반영하는 정도를’나타냅니다. 근거가 있는 응답은 지정된 정보를 밀접하게 따름으로써 추측이나 조작을 피합니다. 근거 측정에서 원본 정보는 매우 중요하며 근거 원본 역할을 합니다.

근거 검색 기능

• 도메인 선택: 사용자는 설정된 도메인을 선택하여 필드의 특정 요구 사항에 맞는 맞춤형 검색을 보장할 수 있습니다. 현재 사용 가능한 도메인은 MEDICAL 및 GENERIC입니다.
• 작업 사양: 이 기능을 사용하면 작업 유형에 따라 조정 가능한 설정을 사용하여 QnA(질문 및 답변) 및 요약과 같이 수행 중인 작업을 선택할 수 있습니다.
• 속도 및 해석력: 속도와 결과 해석력을 절충하는 두 가지 모드가 있습니다.
  • 비추론 모드: 온라인 애플리케이션에 쉽게 포함할 수 있는 빠른 검색 기능을 제공합니다.
  • 추론 모드: 더 잘 이해하고 문제를 완화하기 위해 검색된 근거 없는 세그먼트에 대한 자세한 설명을 제공합니다.

사용 사례

근거 검색은 생성된 요약 또는 답변이 정확하고 신뢰할 수 있도록 텍스트 기반 요약 및 QnA 작업을 지원합니다. 다음은 각 사용 사례의 몇 가지 예입니다.

요약 작업:

• 의료 요약: 의료 뉴스 기사의 컨텍스트에서, 근거 검색을 사용하여 요약에 조작되거나 오해의 소지가 있는 정보가 포함되지 않도록 함으로써 독자가 정확하고 신뢰할 수 있는 의료 정보를 얻을 수 있도록 보장할 수 있습니다.
• 학술 논문 요약: 모델이 학술 논문 또는 연구 문서의 요약을 생성하는 경우 이 기능을 사용하면 거짓 주장을 도입하지 않고 요약된 콘텐츠가 주요 결과 및 기여도를 정확하게 나타내는 데 도움이 될 수 있습니다.

QnA 작업:

• 고객 지원 챗봇: 고객 지원 서비스에서 이 기능을 사용하여 AI 챗봇에서 제공하는 답변의 유효성을 검사하여 고객이 제품 또는 서비스에 대해 질문할 때 정확하고 신뢰할 수 있는 정보를 받도록 할 수 있습니다.
• 의료 QnA: 의료 QnA의 경우 이 기능은 AI 시스템에서 의료 전문가 및 환자에게 제공하는 의료 답변 및 조언의 정확성을 확인하여 의료 오류의 위험을 줄이는 데 도움이 됩니다.
• 교육 QnA: 교육 설정에서 이 기능을 QnA 작업에 적용하여 학술 질문 또는 테스트 준비 쿼리에 대한 답변이 실제로 정확한지 확인하여 학습 프로세스를 지원할 수 있습니다.

제한 사항

언어 가용성

현재 근거 검색 API는 영어 콘텐츠를 지원합니다. API는 영어가 아닌 콘텐츠의 제출을 제한하지 않지만 다른 언어 콘텐츠 분석에서 동일한 수준의 품질과 정확도를 보장할 수는 없습니다. API에서 가장 신뢰할 수 있고 정확한 결과를 얻으려면 사용자가 주로 영어로 콘텐츠를 제출하는 것이 좋습니다.

텍스트 길이 제한 사항

근거 원본의 최대 문자 제한은 API 호출당 55,000자이며, 텍스트 및 쿼리의 경우 API 호출당 7,500자입니다. 입력(텍스트 또는 근거 원본)이 이러한 문자 제한 사항을 초과하면 오류가 발생합니다.

지역

이 API를 사용하려면 지원되는 지역에서 Azure AI 콘텐츠 보안 리소스를 만들어야 합니다. 현재는 다음 Azure 지역에서 사용할 수 있습니다.

• 미국 동부 2
• 미국 동부
• 미국 서부
• 스웨덴 중부

TPS 제한 사항

더 높은 요금이 필요한 경우 문의하여 요청하세요.

다음 단계

빠른 시작에 따라 Azure AI 콘텐츠 보안을 사용하여 근거를 검색합니다.