Azure Portal을 사용하여 HDInsight의 Apache Hadoop 클러스터 관리

Azure Portal을 사용하여 Azure HDInsight에서 Apache Hadoop 클러스터를 관리할 수 있습니다. 다른 도구를 사용하여 HDInsight에서 Hadoop 클러스터를 관리하는 정보를 보려면 탭 선택기를 사용합니다.

필수 조건

HDInsight의 기존 Apache Hadoop 클러스터 Azure 포털을 사용하여 HDInsight에서 Linux 기반 클러스터 만들기를 참조하세요.

시작

https://portal.azure.com에 로그인합니다.

클러스터 나열 및 표시

HDInsight 클러스터 페이지에는 기존 클러스터가 나열됩니다. 포털에서 다음을 수행합니다.

1. 왼쪽 메뉴에서 모든 서비스를 선택합니다.
2. ANALYTICS에서 HDInsight 클러스터를 선택합니다.

클러스터 홈페이지

HDInsight 클러스터 페이지에서 클러스터 이름을 선택합니다. 그러면 다음 이미지와 비슷한 개요 보기가 열립니다.

상단 메뉴:

왼쪽 메뉴:

• 왼쪽 상단 메뉴

  항목	설명
  개요	클러스터에 대한 일반 정보를 제공합니다.
  활동 로그	활동 로그를 표시하고 쿼리합니다.
  액세스 제어(IAM)	역할 할당을 사용합니다. Azure 역할을 할당하여 Azure 구독 리소스에 대한 액세스 관리를 참조하세요.
  태그	태그를 사용하면 클라우드 서비스의 사용자 지정 분류를 정의하기 위한 키/값 쌍을 설정할 수 있습니다. 예를 들어 project라는 키를 만든 다음 특정 프로젝트와 연결된 모든 서비스에 공통 값을 사용할 수 있습니다.
  문제 진단 및 해결	문제 해결 정보를 표시합니다.
  빠른 시작	HDInsight를 사용하여 시작하는 데 도움이 되는 정보를 표시합니다.
  도구	HDInsight 관련 도구에 대한 도움말 정보입니다.

• 설정 메뉴

  항목	설명
  클러스터 크기	클러스터 작업자 노드의 수를 확인하고, 늘리거나 줄입니다. 클러스터 크기 조정을 참조하세요.
  할당량 한도	구독에 사용된 코어 및 사용 가능한 코어를 표시합니다.
  SSH + 클러스터 로그인	SSH(보안 셸) 연결을 사용하여 클러스터에 연결하는 지침을 보여줍니다. 자세한 내용은 HDInsight와 함께 SSH 사용을 참조하세요.
  Data Lake Storage Gen1	Data Lake Storage Gen1에 대한 액세스를 구성합니다. 빠른 시작: HDInsight에서 클러스터 설정을 참조하세요.
  스토리지 계정	스토리지 계정 및 키를 봅니다. 스토리지 계정은 클러스터를 만드는 과정에서 구성됩니다.
  애플리케이션	HDInsight 애플리케이션을 추가/제거합니다. 사용자 지정 HDInsight 애플리케이션 설치를 참조하세요.
  스크립트 작업	클러스터에서 Bash 스크립트를 실행합니다. 스크립트 작업을 사용하여 Linux 기반 HDInsight 클러스터 사용자 지정을 참조하세요.
  외부 metastore	Apache Hive 및 Apache Oozie Metastore를 표시합니다. Metastore는 클러스터 생성 과정 중에만 구성될 수 있습니다.
  HDInsight 파트너	현재 HDInsight 파트너를 추가/제거합니다.
  속성	클러스터 속성을 봅니다.
  잠금	클러스터가 수정되거나 삭제되지 않도록 잠금을 추가합니다.
  템플릿 내보내기	클러스터에 대한 Azure Resource Manager 템플릿을 표시하고 내보냅니다. 현재는 Azure Storage 계정만 내보낼 수 있습니다. Azure Resource Manager 템플릿을 사용하여 HDInsight에서 Linux 기반 Apache Hadoop 클러스터 만들기를 참조하세요.

• 모니터링 메뉴

  항목	설명
  경고	경고와 작업을 관리합니다.
  메트릭	Azure Monitor 로그에서 클러스터 메트릭을 모니터링합니다.
  진단 설정	진단 메트릭을 저장하는 위치에 대한 설정입니다.
  Azure Monitor	Azure Monitor에서 클러스터를 모니터링합니다.

• 지원 + 문제 해결 메뉴

  항목	설명
  리소스 상태	Azure 리소스 상태 개요를 참조하세요.
  새 지원 요청	Microsoft 지원에 지원 티켓을 만들 수 있습니다.

클러스터 속성

클러스터 홈페이지의 설정에서 속성을 선택합니다.

클러스터 이동

다른 Azure 리소스 그룹 또는 다른 구독에 HDInsight 클러스터를 이동할 수 있습니다.

클러스터 홈 페이지에서 다음을 수행합니다.

1. 상단 메뉴에서 이동을 선택합니다.
2. 다른 리소스 그룹으로 이동 또는 다른 구독으로 이동을 선택합니다.
3. 새 페이지의 지침을 따릅니다.

클러스터 삭제

클러스터를 삭제하더라도 기본 스토리지 계정이나 연결된 스토리지 계정은 삭제하지 않습니다. 동일한 스토리지 계정과 동일한 Metastore를 사용하여 클러스터를 다시 만들 수 있습니다. 클러스터를 다시 만들 때 새 기본 Blob 컨테이너를 사용하는 것이 좋습니다.

클러스터 홈 페이지에서 다음을 수행합니다.

1. 위쪽 메뉴에서 삭제를 선택합니다.
2. 새 페이지의 지침을 따릅니다.

참고 항목: 클러스터 일시 중지/종료

추가 스토리지 계정 추가

클러스터가 생성된 후 Azure Storage 계정 및 Azure Data Lake Storage 계정을 더 추가할 수 있습니다. 자세한 내용은 HDInsight에 추가 스토리지 계정 추가를 참조하세요.

클러스터 크기 조정

클러스터 크기 조정 기능을 사용하면 클러스터를 다시 만들지 않고 Azure HDInsight 클러스터에서 사용되는 작업자 노드 수를 변경할 수 있습니다.

전체 정보는 HDInsight 클러스터 스케일링을 참조하세요.

클러스터 일시 중지/종료

대부분의 Hadoop 작업은 이따금 실행되는 일괄 처리 작업입니다. 대부분의 Hadoop 클러스터는 프로세스에 사용되지 않는 기간이 깁니다. HDInsight를 사용하면 데이터가 Azure Storage에 저장되기 때문에 클러스터를 사용하지 않을 때 안전하게 삭제할 수 있습니다. HDInsight 클러스터를 사용하지 않는 기간에도 요금이 청구됩니다. 클러스터에 대한 요금이 스토리지에 대한 요금보다 몇 배 더 많기 때문에, 클러스터를 사용하지 않을 때는 삭제하는 것이 경제적인 면에서 더 합리적입니다.

프로세스를 프로그래밍할 수 있는 방법은 다양합니다.

• 사용자 Azure 데이터 팩터리. 주문형 HDInsight 연결된 서비스 만들기는 Azure Data Factory를 사용하여 HDInsight에서 주문형 Linux 기반 Apache Hadoop 클러스터 만들기 를 참조하세요.
• Azure PowerShell 사용 비행 지연 데이터 분석을 참조하세요.
• Azure CLI 사용 Azure CLI를 사용하여 Azure HDInsight 클러스터 관리를 참조하세요.
• HDInsight .NET SDK 사용 Apache Hadoop 작업 제출을 참조하세요.

가격 정보는 HDInsight 가격을 참조하세요. 포털에서 클러스터를 삭제하려면 클러스터 삭제

클러스터 업그레이드

HDInsight 클러스터를 최신 버전으로 업그레이드를 참조하세요.

Apache Ambari 웹 UI 열기

Ambari는 RESTful API에서 지원하는 직관적이고 사용하기 쉬운 Hadoop 관리 웹 UI를 제공합니다. Ambari를 사용하면 시스템 관리자가 Hadoop 클러스터를 관리하고 모니터링할 수 있습니다.

클러스터 홈 페이지에서 다음을 수행합니다.

1. 클러스터 대시보드를 선택합니다.

   

2. 새 페이지에서 Ambari 홈을 선택합니다.

3. 클러스터 사용자 이름 및 암호를 입력합니다. 기본 클러스터 사용자 이름은 admin입니다.

자세한 내용은 Apache Ambari 웹 UI를 사용하여 HDInsight 클러스터 관리를 참조하세요.

암호 변경

HDInsight 클러스터마다 두 개의 사용자 계정이 포함될 수 있습니다. HDInsight 클러스터 사용자 계정(HTTP 사용자 계정이라고도 함) 및 SSH 사용자 계정은 만들기 프로세스 중에 만들어집니다. 포털을 사용하여 클러스터 사용자 계정 암호를 변경할 수 있으며, 스크립트 작업을 사용하여 SSH 사용자 계정을 변경할 수 있습니다.

클러스터 사용자 암호 변경

클러스터 홈 페이지에서 다음을 수행합니다.

1. 설정에서 SSH + 클러스터 로그인을 선택합니다.
2. 자격 증명 다시 설정을 설정합니다.
3. 텍스트 상자에 새 암호를 입력하고 확인합니다.
4. 확인을 선택합니다.

암호는 클러스터의 모든 노드에 대해 변경됩니다.

SSH 사용자 암호 또는 퍼블릭 키 변경

1. 텍스트 편집기를 사용하여 다음 텍스트를 changecredentials.sh라는 파일로 저장합니다.

   Important

   줄 끝으로 LF를 사용하는 편집기를 사용해야 합니다. 편집기에서 CRLF를 사용하는 경우 스크립트가 작동하지 않습니다.

   #! /bin/bash
   USER=$1
   PASS=$2
   usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER
   

2. HTTP 또는 HTTPS 주소를 사용하여 HDInsight에서 액세스할 수 있는 스토리지 위치에 파일을 업로드합니다. 예를 들어 OneDrive 또는 Azure Blob Storage와 같은 공용 파일 스토리지입니다. 다음 단계에서 이 URI가 필요하므로 URI(HTTP 또는 HTTPS 주소)를 파일에 저장합니다.

3. 클러스터 홈페이지에 있는 설정에서 스크립트 동작을 선택합니다.

4. 스크립트 동작 페이지에서 새로운 항목 제출을 선택합니다.

5. 스크립트 동작 제출 페이지에서 다음 정보를 입력합니다.

6. 만들기를 선택하여 스크립트를 적용합니다. 스크립트가 완료되면 새 자격 증명과 함께 SSH를 사용하여 클러스터에 연결할 수 있습니다.

구독 ID 찾기

각 클러스터가 Azure 구독에 연결됩니다. Azure 구독 ID가 클러스터 홈 페이지에 표시됩니다.

리소스 그룹 찾기

Azure Resource Manager 모드에서는 각각의 HDInsight 클러스터가 Azure Resource Manager 그룹과 함께 만들어집니다. Resource Manager 그룹이 클러스터 홈 페이지에 표시됩니다.

스토리지 계정 찾기

HDInsight 클러스터는 Azure Storage 계정 또는 Azure Data Lake Storage를 사용하여 데이터를 저장합니다. 각 HDInsight 클러스터에는 하나의 기본 스토리지 계정 및 여러 연결된 스토리지 계정이 있을 수 있습니다. 스토리지 계정을 나열하려면 클러스터 홈 페이지에 있는 설정에서 스토리지 계정을 선택합니다.

작업 모니터링

Apache Ambari 웹 UI를 사용하여 HDInsight 클러스터 관리를 참조하세요.

클러스터 크기

클러스터 홈페이지의 클러스터 크기 타일에는 해당 클러스터에 할당된 코어의 수 및 해당 클러스터 내에서 노드에 할당된 방식이 표시됩니다.

클러스터에 연결

• HDInsight에서 Apache Hive 사용
• HDInsight와 함께 SSH 사용

다음 단계

이 문서에서는 몇 가지 기본 관리 함수에 대해 배웠습니다. 자세한 내용은 다음 문서를 참조하세요.

• Azure PowerShell을 사용하여 HDInsight 관리
• Azure CLI를 사용하여 HDInsight 관리
• HDInsight 클러스터 만들기
• Apache Ambari REST API 사용에 자세한 내용
• HDInsight에서 Apache Hive 사용
• HDInsight에서 Apache Sqoop 사용
• HDInsight의 Apache Hive 및 Apache Pig에서 Python UDF(사용자 정의 함수) 사용
• Azure HDInsight에 포함된 Apache Hadoop 버전