최적화된 Apache Spark를 사용하는 빅 데이터 분석 및 AI
모든 데이터에서 얻은 인사이트를 활용하고 Azure Databricks를 통해 AI(인공 지능) 솔루션을 빌드하고, Apache Spark™ 환경을 몇 분 만에 설정하고, 자동으로 크기 조정하고, 대화형 작업 영역의 공유 프로젝트에서 협업하세요. Azure Databricks는 Python, Scala, R, Java 및 SQL뿐 아니라 TensorFlow, PyTorch, scikit-learn 등을 비롯한 데이터 과학 프레임워크와 라이브러리도 지원합니다.
Apache Spark™는 Apache Software Foundation의 상표입니다.
안정적인 데이터 엔지니어링
일괄 처리 및 스트리밍 워크로드를 위한 대규모 데이터 처리
모든 데이터의 분석
가장 완벽한 최신 데이터에 분석을 사용합니다.
협업이 가능한 데이터 과학
대규모 데이터 세트에 대해 데이터 과학을 간소화하고 가속화합니다.
오픈 소스에 기반을 둠
빠르고 최적화된 Apache Spark 환경
최적화된 Apache Spark 환경으로 빠르게 시작
공유 작업 영역과 공용 언어로 생산성 향상
빅 데이터 기반의 기계 학습 강화
고성능 최신 데이터 웨어하우징 활용
주요 서비스 기능
-
최적화된 Spark 엔진
최대 50배 성능 향상을 위해 높은 수준으로 최적화된 Apache Spark™에서 제공하는 자동 스케일링 인프라에서 간단한 데이터 처리 기능이 제공됩니다.
-
기계 학습 런타임
PyTorch, TensorFlow, scikit-learn 등의 첨단 인기 프레임워크를 사용하여 증강 기계 학습을 위한 미리 구성된 기계 학습 환경에 한 번 클릭으로 액세스하세요.
-
MLflow
중앙 리포지토리에서 실험을 추적하고 공유하며, 실행을 재현하고, 모델을 협업 방식으로 관리하세요.
-
언어 선택
서버리스 컴퓨팅 리소스를 사용하든 또는 프로비저닝된 컴퓨팅 리소스를 사용하든 관계없이 Python, Scala, R, Spark SQL, .Net 등 원하는 언어를 사용하세요.
-
협업이 가능한 Notebook
데이터에 빠르게 액세스하여 데이터를 탐색하고, 새 인사이트를 찾아 공유하고, 원하는 언어와 도구를 사용하여 협업으로 모델을 빌드합니다.
-
Delta Lake
전체 데이터 수명 주기에 맞게 설계된 오픈 소스 트랜잭션 스토리지 계층을 사용하여 기존 데이터 레이크에 데이터 안정성 및 확장성을 가져오세요.
-
Azure 서비스와의 네이티브 통합
Azure Data Factory, Azure Data Lake Storage, Azure Machine Learning 및 Power BI 같은 Azure 서비스와의 긴밀한 통합으로 엔드투엔드 분석 및 기계 학습 솔루션을 완성하세요.
-
대화형 작업 영역
데이터 과학자, 데이터 엔지니어 및 비즈니스 분석가 간에 원활한 협업을 수행할 수 있습니다.
-
엔터프라이즈급 보안
간편한 기본 보안은 데이터가 있는 위치에서 데이터를 보호하고 수천 명의 사용자와 수천 개의 데이터 세트에 대해 규정을 준수하는 격리된 프라이빗 분석 작업 영역을 만듭니다.
-
프로덕션 준비
CI/CD 및 모니터링을 위한 에코시스템 통합을 통해 신뢰할 수 있는 데이터 플랫폼에서 안심하고 가장 중요한 업무용 데이터 워크로드를 실행하고 스케일링하세요.
솔루션 아키텍처 예에서 자세히 알아보기
Azure Databricks를 사용한 데이터 과학 및 기계 학습
편리하게 라이브 스트리밍 데이터에서 인사이트를 얻을 수 있습니다. IoT 디바이스 또는 웹 사이트 클릭 동향의 로그에서 지속적으로 데이터를 캡처하고 거의 실시간으로 처리합니다.
Azure Databricks를 사용한 최신 분석 아키텍처
최고 수준의 기계 학습 도구를 사용하여 데이터를 실행 가능한 인사이트로 변환합니다. 이 아키텍처를 통해 규모와 관계없이 모든 데이터를 결합하고 사용자 지정 기계 학습 모델을 대규모로 구축하고 배포할 수 있습니다.
Azure Databricks를 사용하는 수집, ETL 및 스트리밍 처리 파이프라인
Azure Databricks, MLflow 및 Azure Machine Learning을 사용하여 기계 학습 애플리케이션을 빌드, 공유, 배포 및 관리함으로써 엔드투엔드 기계 학습 수명 주기를 가속화하고 관리하세요.
기본 제공되는 포괄적인 보안 및 규정 준수
-
Microsoft는 사이버 보안 연구 및 개발에 연간 미화 10억 달러 이상을 투자합니다.
-
Microsoft에 소속된 3,500명이 넘는 보안 전문가가 데이터 보안 및 개인 정보 보호를 전담합니다.
-
Azure는 다른 어떤 클라우드 공급자보다도 더 많은 인증을 취득했습니다. 전체 목록을 확인하세요.
Azure Databricks 제품 및 서비스에 대한 자세한 정보
Azure Data Factory
ETL을 단순화하는 대규모 하이브리드 데이터 통합 서비스
Azure Data Lake Storage Gen 2
뛰어난 스케일링 성능과 안정성을 보장하는 Azure Blob Storage에서 빌드된 Data Lake
Azure Machine Learning
엔터프라이즈급 기계 학습 서비스로 보다 빠르게 모델 빌드 및 배포
Power BI
애플리케이션에 분석 및 대화형 보고를 추가하세요.
-
Azure Databricks 가격 책정
클러스터를 빠르게 실행하고 사용 요구 사항에 맞게 자동으로 크기를 조정하세요. 모든 Azure Databricks 가격 책정 옵션을 알아보세요.
Azure 체험 계정 시작
1
체험 계정을 만드세요. 30일 내에 사용할 수 있는 USD200 크레딧을 받으세요. 크레딧이 있는 동안 가장 인기 있는 많은 서비스와 상시 무료로 제공되는 55개가 넘는 기타 서비스를 무료로 이용하세요.
2
크레딧을 다 사용한 후에는 종량제로 전환하여 동일한 무료 서비스로 계속 구축하세요. 월간 체험 한도를 초과해서 사용하는 경우에만 요금을 지불합니다.
3
12개월 후에는 상시 무료로 제공되는 55개가 넘는 서비스를 계속 이용하고 월별 체험 한도를 초과해서 사용한 만큼만 요금을 지불하면 됩니다.
커뮤니티 및 Azure 지원
MSDN 포럼 및 Stack Overflow에서 Microsoft 엔지니어와 Azure 커뮤니티 전문가에게 질문하고 지원을 받거나 Azure 지원 팀에 문의하세요.
많이 사용되는 랩 및 템플릿
Microsoft와 커뮤니티에서 제공하는 자기 주도적 랩 및 많이 사용되는 일반 구성용 빠른 시작 템플릿을 찾아 보세요.
Azure Databricks에 관해 자주 묻는 질문
-
Azure Databricks SLA는 99.95% 가용성을 보장합니다.
-
DBU(Databricks 단위)는 시간당 처리 능력의 단위이며, 초당 사용량을 기준으로 요금이 청구됩니다.
-
데이터 엔지니어링 워크로드는 워크로드가 실행되는 클러스터를 자동으로 시작하고 종료하는 작업입니다. 예를 들어 워크로드는 작업 전용의 Apache Spark 클러스터를 시작하고 작업이 완료된 후 자동으로 클러스터를 종료하는 Azure Databricks 작업 스케줄러에 의해 트리거될 수 있습니다.
데이터 분석 워크로드는 자동화되지 않습니다. 예를 들어 Azure Databricks Notebook의 명령은 수동으로 종료하기 전까지 Apache Spark 클러스터에서 실행됩니다. 여러 사용자가 클러스터를 공유하여 공동으로 분석할 수 있습니다.