Configures Spark cluster & a single node Cassandra on CentOS

마지막 업데이트: 2016-02-28

This project configures a Spark cluster (1 master and n-slave nodes) and a single node Cassandra on Azure using CentOS 7.x. The base image starts with CentOS 7.1 and it is updated to the latest version as part of the provisioning steps.

이 ARM(Azure Resource Manager) 템플릿은 Microsoft가 아니라 커뮤니티 구성원에 의해 만들어졌습니다. 각 ARM 템플릿은 Microsoft가 아닌 해당 소유자에 의해 사용이 허가됩니다. Microsoft는 커뮤니티 구성원에 의해 제공 및 라이선스가 부여된 ARM에 대해 책임이 없으며, 보안, 호환성 또는 성능을 검사하지 않습니다. 커뮤니티 ARM 템플릿은 Microsoft 지원 프로그램 또는 서비스에서 지원되지 않고, 어떠한 보증도 없이 있는 그래도 제공됩니다.

매개 변수

매개 변수 이름 설명
storageMasterType Storage type that is used for master Spark node. This storage account is used to store VM disks.
storageSlaveType Storage type that is used for each of the slave Spark node. This storage account is used to store VM disks.
storageCassandraType Storage type that is used for Cassandra. This storage account is used to store VM disks.
vmMasterVMSize VM size for master Spark node. This VM can be sized smaller.
vmNumberOfSlaves Number of VMs to create to support the slaves. Each slave is created on it's own VM. Minimum of 2 & Maximum of 200 VMs.
vmSlaveVMSize VM size for slave Spark nodes. This VM should be sized based on workloads.
vmCassandraVMSize VM size for Cassandra node. This VM should be sized based on workloads.
vmAdminUserName Specific an admin username that should be used to login to the VM.
vmAdminPassword Specific an admin password that should be used to login to the VM.

템플릿 사용

PowerShell

New-AzureRmResourceGroupDeployment -Name <deployment-name> -ResourceGroupName <resource-group-name> -TemplateUri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/spark-and-cassandra-on-centos/azuredeploy.json
Azure PowerShell 설치 및 구성

명령줄

azure config mode arm
azure group deployment create <my-resource-group> <my-deployment-name> --template-uri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/spark-and-cassandra-on-centos/azuredeploy.json
Azure 크로스 플랫폼 명령줄 인터페이스 설치 및 구성