QnA Maker의 기술 자료 테스트

QnA Maker 기술 자료를 테스트하는 작업은 반환되는 응답의 정확도를 향상시키기 위한 반복 프로세스의 중요한 부분입니다. 또한 편집할 수도 있는 향상된 채팅 인터페이스를 통해 기술 자료를 테스트할 수 있습니다.

QnA Maker 포털의 대화형 테스트

1. 내 기술 자료 페이지에서 해당 이름을 선택하여 기술 자료에 액세스합니다.
2. 테스트 슬라이드 아웃 패널에 액세스하려면 애플리케이션의 위쪽 패널에서 테스트를 선택합니다.
3. 텍스트 상자에 쿼리를 입력하고 Enter 키를 선택합니다.
4. 기술 자료에서 가장 일치하는 응답은 응답으로 반환됩니다.

테스트 패널 지우기

테스트 콘솔에서 입력된 테스트 쿼리 및 해당 결과를 모두 지우려면 테스트 패널의 왼쪽 위 모서리에 있는 다시 시작을 선택합니다.

테스트 패널 닫기

테스트 패널을 닫으려면 테스트 단추를 다시 선택합니다. 테스트 패널이 열려 있는 동안 기술 자료 콘텐츠를 편집할 수 없습니다.

점수 검사

검사 패널에서 테스트 결과의 세부 정보를 검사합니다.

1. 테스트 슬라이드 아웃 패널이 열려 있을 때 해당 응답에 대한 자세한 내용에 대한 검사를 선택합니다.

   

2. 검사 패널이 나타납니다. 패널에는 식별된 엔터티뿐만 아니라 상위 채점 의도도 포함됩니다. 패널에는 선택한 발화의 결과가 표시됩니다.

상위 점수 대답 수정

상위 점수 대답이 올바르지 않으면 목록에서 올바른 대답을 선택하고 저장 후 학습을 선택합니다.

대체 질문 추가

질문의 대체 형식을 지정된 대답에 추가할 수 있습니다. 텍스트 상자에서 대체 답변을 입력하고 Enter 키를 선택하여 추가합니다. 저장 후 학습을 선택하여 업데이트를 저장합니다.

새 대답 추가

일치된 기존 대답이 올바르지 않거나 기술 자료에 존재하지 않는(KB에서 일치 항목을 찾을 수 없음) 경우 새 응답을 추가할 수 있습니다.

응답 목록 맨 아래에 있는 텍스트 상자를 사용하여 새 응답을 입력하고 Enter 키를 눌러 추가합니다.

저장 후 학습을 선택하여 이 대답을 유지합니다. 새로운 질문-대답 쌍이 기술 자료에 추가되었습니다.

게시된 기술 자료 테스트

테스트 창에서 게시된 기술 자료 버전을 테스트할 수 있습니다. KB를 게시한 후 게시된 KB 상자를 선택하고 쿼리를 보내 게시된 KB에서 결과를 얻습니다.

도구를 사용하여 일괄 처리 테스트

다음을 수행하려는 경우 일괄 처리 테스트 도구를 사용합니다.

• 질문 집합에 대한 최상의 응답 및 점수 결정
• 질문 집합의 예상 응답 유효성 검사

필수 조건

• Azure 구독 - 체험 구독 만들기
• 영어를 사용하는 QnA Maker 서비스를 만들거나 기존 서비스를 사용합니다.
• 다중 턴 샘플 .docx 파일을 다운로드합니다.
• 일괄 처리 테스트 도구를 다운로드하고, .zip 파일에서 실행 파일을 추출합니다.

QnA Maker 포털에 로그인

QnA Maker 포털에 로그인합니다.

다중 턴 샘플 .docx 파일에서 새 기술 자료 만들기

1. 도구 모음에서 기술 자료 만들기를 선택합니다.

2. QnA Maker 리소스가 이미 있으므로 1단계를 건너뛰고, 2단계로 이동하여 다음과 같은 기존 리소스 정보를 선택합니다.

   • Microsoft Entra ID
   • Azure 구독 이름
   • Azure QnA 서비스 이름
   • 언어 - 영어

3. 기술 자료의 이름으로 Multi-turn batch test quickstart 이름을 입력합니다.

4. 4단계에서는 다음 표를 사용하여 설정을 구성합니다.

   설정	값
   URL, .pdf 또는 .docx 파일에서 다중 턴 추출을 사용하도록 설정합니다.	선택
   기본 답변 텍스트	Batch test - default answer not found.
   + 파일 추가	필수 구성 요소에서 다운로드한 .docx 파일 목록을 선택합니다.
   Chit-chat	Professional 선택

5. 5단계에서 KB 만들기를 선택합니다.

   만들기 프로세스가 완료되면 포털에 편집 가능한 기술 자료가 표시됩니다.

기술 자료 저장, 학습 및 게시

1. 도구 모음에서 저장 및 학습을 선택하여 기술 자료를 저장합니다.

2. 도구 모음에서 게시를 선택한 다음, 게시를 다시 선택하여 기술 자료를 게시합니다. 게시하면 기술 자료를 퍼블릭 URL 엔드포인트의 쿼리에 사용할 수 있습니다. 게시가 완료되면 게시 페이지에 표시된 호스트 URL 및 엔드포인트 키 정보를 저장합니다.

   필수 데이터	예시
   게시된 호스트	https://YOUR-RESOURCE-NAME.azurewebsites.net
   게시된 키	XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX(Endpoint 뒤에 표시되는 32자 문자열)
   앱 ID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (POST의 일부로 표시되는 36자 문자열)

질문 ID를 사용하여 일괄 처리 테스트 파일 만들기

일괄 처리 테스트 도구를 사용하려면 텍스트 편집기를 사용하여 batch-test-data-1.tsv라는 파일을 만듭니다. 파일은 UTF-8 형식이어야 하며 탭으로 구분된 다음 열이 있어야 합니다.

이 기술 자료의 경우 2개의 필수 열만 있는 3개의 행을 파일에 추가합니다. 첫 번째 열은 기술 자료 ID이고, 두 번째 열은 다음 질문 목록이어야 합니다.

이러한 질문은 기술 자료에서 나온 정확한 문구이며 신뢰도 점수로 100을 반환해야 합니다.

다음으로, 동일한 기술 자료 ID를 사용하여 다음 질문과 비슷하지만 3개 행에서 정확히 동일하지 않은 몇 가지 질문을 추가합니다.

Excel에서 열면 일괄 처리 테스트 파일이 다음 이미지와 같습니다. 보안상 기술 자료 ID는 xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx로 대체되었습니다. 자체 일괄 처리 테스트의 경우 열에 기술 자료 ID가 표시되는지 확인합니다.

배치 파일 테스트

명령줄에서 다음 CLI 형식을 사용하여 일괄 처리 테스트 프로그램을 실행합니다.

YOUR-RESOURCE-NAME 및 ENDPOINT-KEY를 서비스 이름 및 엔드포인트 키에 대한 사용자 고유의 값으로 바꿉니다. 이러한 값은 QnA Maker 포털의 설정 페이지에서 찾을 수 있습니다.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

테스트가 완료되고 out.tsv 파일이 생성됩니다.

보안상 기술 자료 ID는 xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx로 대체되었습니다. 자체 일괄 처리 테스트의 경우 열에 기술 자료 ID가 표시됩니다.

각 질문이 기술 자료에 표시되는 것과 정확히 동일하므로 4번째 열에 있는 신뢰도 점수의 테스트 출력에서 예상대로 100점을 반환한 상위 3개의 질문을 보여 줍니다. 새로운 단어가 포함된 마지막 세 개의 질문은 신뢰도 점수로 100을 반환하지 마세요. 테스트와 사용자의 점수를 모두 높이려면 더 많은 대체 질문을 기술 자료에 추가해야 합니다.

선택적 필드를 사용하여 테스트

형식과 프로세스를 이해했으면 채팅 로그와 같은 데이터 원본에서 기술 자료에 대해 실행할 테스트 파일을 생성할 수 있습니다.

데이터 원본과 프로세스가 자동화되므로 여러 설정을 사용하여 테스트 파일을 여러 번 실행하여 올바른 값을 결정할 수 있습니다.

예를 들어 채팅 로그가 있고 어떤 채팅 로그 텍스트를 어떤 메타데이터 필드에 적용할지 결정하려면 테스트 파일을 만들고 모든 행에 대한 메타데이터 필드를 설정합니다. 테스트를 실행한 다음, 메타데이터와 일치하는 행을 검토합니다. 일반적으로 일치 항목은 양수여야 하지만, 가양성 결과를 검토해야 합니다. 가양성은 메타데이터와 일치하지만, 텍스트를 기반으로 하는 경우 일치하지 않아야 하는 행입니다.

입력 일괄 처리 테스트 파일의 선택적 필드 사용

다음 차트를 사용하여 선택적 데이터의 필드 값을 찾는 방법을 이해합니다.

기술 자료에 메타데이터 추가

1. QnA 포털의 편집 페이지에서 topic:power라는 메타데이터를 다음 질문에 추가합니다.

   질문
   Surface Pro 4 요금 청구
   배터리 수준 확인

   두 개의 QnA 쌍에는 메타데이터 세트가 있습니다.

   팁

   각 세트의 메타데이터 및 QnA ID를 확인하려면 기술 자료를 내보냅니다. 설정 페이지를 선택한 다음, .xls 파일로 내보내기를 선택합니다. 다운로드한 이 파일을 찾고, Excel에서 열어 메타데이터 및 ID를 검토합니다.

2. 저장 및 학습을 선택하고, 게시 페이지를 선택한 다음, 게시 단추를 선택합니다. 이러한 작업을 수행하면 일괄 처리 테스트에서 변경 내용을 사용할 수 있습니다. 설정 페이지에서 기술 자료를 다운로드합니다.

   다운로드한 파일에는 올바른 메타데이터 형식과 올바른 질문 및 대답 세트 ID가 있습니다. 이러한 필드는 다음 섹션에서 사용합니다.

   

두 번째 일괄 처리 테스트 만들기

일괄 처리 테스트에는 다음 두 가지 주요 시나리오가 있습니다.

• 채팅 로그 파일 처리 - 이전에 확인되지 않은 질문에 대한 상위 항목의 대답을 결정합니다. 가장 일반적인 상황은 채팅 봇의 사용자 질문과 같은 쿼리의 로그 파일을 처리해야 하는 경우입니다. 필수 열만 사용하여 배치 파일 테스트를 만듭니다. 테스트는 각 질문에 대한 상위 항목의 대답을 반환합니다. 그렇다고 상위 항목의 대답이 정답이라는 의미는 아닙니다. 이 테스트가 완료되면 유효성 검사 테스트로 이동합니다.
• 유효성 검사 테스트 - 예상 대답의 유효성을 검사합니다. 이 테스트를 수행하려면 일괄 처리 테스트에서 모든 질문과 일치하는 예상 대답의 유효성을 검사해야 합니다. 이렇게 하려면 몇 가지 수동 프로세스가 필요할 수 있습니다.

다음 절차에서는 채팅 로그를 처리하는 시나리오를 가정합니다.

1. batch-test-data-2.tsv라는 선택적 데이터를 포함하는 새 일괄 처리 테스트 파일을 만듭니다. 원래의 일괄 처리 테스트 입력 파일에서 6개 행을 추가한 다음, 각 행에 대한 메타데이터, 상위 항목 대답 및 QnA 쌍 ID를 추가합니다.

   기술 자료와 비교하여 채팅 로그의 새 텍스트를 확인하는 자동화된 프로세스를 시뮬레이션하려면 각 열에 대한 메타데이터를 동일한 값(topic:power)으로 설정합니다.

   

2. 테스트를 다시 실행하여 두 번째 테스트임을 나타내도록 입력 및 출력 파일 이름을 변경합니다.

   

테스트 결과 및 자동화된 테스트 시스템

이 테스트 출력 파일은 자동화된 연속 테스트 파이프라인의 일부로 구문 분석할 수 있습니다.

이 특정 테스트 출력은 다음과 같이 읽어야 합니다. 각 행은 메타데이터를 사용하여 필터링되었으며, 각 행이 기술 자료의 메타데이터와 일치하지 않으므로 일치하지 않는 해당 행에 대한 기본 대답("kb에서 적절한 일치 항목이 없습니다")이 반환되었습니다. 일치하는 행 중 QnA ID와 점수가 반환되었습니다.

예상 대답 ID와 일치하는 행이 없으므로 모든 행에서 잘못된 레이블을 반환했습니다.

이러한 결과를 통해 채팅 로그를 가져오고 텍스트를 각 행의 쿼리로 사용할 수 있음을 확인할 수 있습니다. 데이터에 대해 전혀 알지 못하더라도 결과에서 앞으로 이동하는 데 사용할 수 있는 데이터에 대해 많은 정보를 알려줍니다.

• meta-data
• QnA ID
• score

테스트에서 meta-data를 사용하여 필터링하는 것이 적절한가요? 그렇기도 하고 아니기도 합니다. 테스트 시스템은 meta-data 쌍이 없는 테스트뿐만 아니라 각 meta-data 쌍에 대한 테스트 파일도 만들어야 합니다.

리소스 정리

기술 자료 테스트를 계속 수행하지 않으려면 배치 파일 도구와 테스트 파일을 삭제합니다.

이 기술 자료를 계속 사용하지 않으려면 다음 단계에 따라 기술 자료를 삭제합니다.

1. QnA Maker 포털의 위쪽 메뉴에서 내 기술 자료를 선택합니다.
2. 기술 자료 목록에서 이 빠른 시작의 기술 자료 행에 있는 삭제 아이콘을 선택합니다.

도구에 대한 참조 문서에는 다음이 포함됩니다.

• 도구의 명령줄 예
• TSV 입력 및 출력 파일 형식

다음 단계