최적화된 Apache Spark를 사용하는 빅 데이터 분석 및 AI
모든 데이터에서 얻은 인사이트를 활용하고 Azure Databricks를 통해 AI(인공 지능) 솔루션을 빌드하고, Apache Spark™ 환경을 몇 분 만에 설정하고, 자동으로 크기 조정하고, 대화형 작업 영역의 공유 프로젝트에서 협업하세요. Azure Databricks는 Python, Scala, R, Java 및 SQL뿐 아니라 TensorFlow, PyTorch, scikit-learn 등을 비롯한 데이터 과학 프레임워크와 라이브러리도 지원합니다.
Apache Spark™는 Apache Software Foundation의 상표입니다.
안정적인 데이터 엔지니어링
일괄 처리 및 스트리밍 워크로드를 위한 대규모 데이터 처리
모든 데이터의 분석
가장 완벽한 최신 데이터에 분석을 사용합니다.
협업이 가능한 데이터 과학
대규모 데이터 세트에 대해 데이터 과학을 간소화하고 가속화합니다.
오픈 소스에 기반을 둠
빠르고 최적화된 Apache Spark 환경
최적화된 Apache Spark 환경으로 빠르게 시작
Azure Databricks는 최신 버전의 Apache Spark를 제공하며 오픈 소스 라이브러리와 원활하게 통합할 수 있습니다. Azure의 글로벌 규모와 가용성을 지원하는 완전 관리형 Apache Spark 환경에서 빠르게 클러스터를 실행하고 빌드하세요. 클러스터는 모니터링 없이도 안정성과 성능을 보장하도록 설정, 구성 및 미세 조정됩니다. 자동 크기 조정과 자동 종료를 활용하여 TCO(총 소유 비용)를 절감하세요.
공유 작업 영역과 공용 언어로 생산성 향상
데이터 과학자, 데이터 엔지니어, 비즈니스 분석가 등 누구나 개방형 통합 플랫폼에서 효과적으로 협업하여 모든 유형의 분석 워크로드를 실행할 수 있습니다. Python, Scala, R, SQL 등 원하는 언어로 빌드하세요. GitHub 및 Azure DevOps를 활용하여 Notebook 버전을 쉽게 제어하세요.
빅 데이터 기반의 기계 학습 강화
통합 Azure Machine Learning을 사용하여 적절한 알고리즘과 하이퍼 매개 변수를 빠르게 파악하는 자동화된 Machine Learning 고급 기능에 액세스하세요. 클라우드에서 에지에 배포된 기계 학습 모델의 관리, 모니터링 및 업데이트를 간소화하세요. 또한 Azure Machine Learning은 실험, 기계 학습 파이프라인 및 모델을 위한 중앙 레지스트리도 제공합니다.
고성능 최신 데이터 웨어하우징 활용
규모와 관계없이 데이터를 결합하고 분석 대시보드 및 운영 보고서를 통해 인사이트를 얻으세요. Azure Data Factory를 사용하여 데이터 이동을 자동화한 다음, 데이터를 Azure Data Lake Storage로 로드하고 Azure Databricks를 사용하여 데이터를 변환 및 정리한 후 Azure Synapse Analytics를 사용하여 분석에 사용할 수 있도록 만드세요. 클라우드에서 데이터 웨어하우스를 현대화하여 최고 수준의 성능과 확장성을 얻으세요.
주요 서비스 기능
-
최적화된 Spark 엔진
최대 50배 성능 향상을 위해 높은 수준으로 최적화된 Apache Spark™에서 제공하는 자동 스케일링 인프라에서 간단한 데이터 처리 기능이 제공됩니다.
-
기계 학습 런타임
PyTorch, TensorFlow, scikit-learn 등의 첨단 인기 프레임워크를 사용하여 증강 기계 학습을 위한 미리 구성된 기계 학습 환경에 한 번 클릭으로 액세스하세요.
-
MLflow
중앙 리포지토리에서 실험을 추적하고 공유하며, 실행을 재현하고, 모델을 협업 방식으로 관리하세요.
-
언어 선택
서버리스 컴퓨팅 리소스를 사용하든 또는 프로비저닝된 컴퓨팅 리소스를 사용하든 관계없이 Python, Scala, R, Spark SQL, .Net 등 원하는 언어를 사용하세요.
-
협업이 가능한 Notebook
데이터에 빠르게 액세스하여 데이터를 탐색하고, 새 인사이트를 찾아 공유하고, 원하는 언어와 도구를 사용하여 협업으로 모델을 빌드합니다.
-
Delta Lake
전체 데이터 수명 주기에 맞게 설계된 오픈 소스 트랜잭션 스토리지 계층을 사용하여 기존 데이터 레이크에 데이터 안정성 및 확장성을 가져오세요.
-
Azure 서비스와의 네이티브 통합
Azure Data Factory, Azure Data Lake Storage, Azure Machine Learning 및 Power BI 같은 Azure 서비스와의 긴밀한 통합으로 엔드투엔드 분석 및 기계 학습 솔루션을 완성하세요.
-
대화형 작업 영역
데이터 과학자, 데이터 엔지니어 및 비즈니스 분석가 간에 원활한 협업을 수행할 수 있습니다.
-
엔터프라이즈급 보안
간편한 기본 보안은 데이터가 있는 위치에서 데이터를 보호하고 수천 명의 사용자와 수천 개의 데이터 세트에 대해 규정을 준수하는 격리된 프라이빗 분석 작업 영역을 만듭니다.
-
프로덕션 준비
CI/CD 및 모니터링을 위한 에코시스템 통합을 통해 신뢰할 수 있는 데이터 플랫폼에서 안심하고 가장 중요한 업무용 데이터 워크로드를 실행하고 스케일링하세요.
솔루션 아키텍처 예에서 자세히 알아보기
Azure Databricks를 사용한 데이터 과학 및 기계 학습
편리하게 라이브 스트리밍 데이터에서 인사이트를 얻을 수 있습니다. IoT 디바이스 또는 웹 사이트 클릭 동향의 로그에서 지속적으로 데이터를 캡처하고 거의 실시간으로 처리합니다.
Azure Databricks를 사용한 최신 분석 아키텍처
최고 수준의 기계 학습 도구를 사용하여 데이터를 실행 가능한 인사이트로 변환합니다. 이 아키텍처를 통해 규모와 관계없이 모든 데이터를 결합하고 사용자 지정 기계 학습 모델을 대규모로 구축하고 배포할 수 있습니다.
Azure Databricks를 사용하는 수집, ETL 및 스트리밍 처리 파이프라인
Azure Databricks, MLflow 및 Azure Machine Learning을 사용하여 기계 학습 애플리케이션을 빌드, 공유, 배포 및 관리함으로써 엔드투엔드 기계 학습 수명 주기를 가속화하고 관리하세요.
기본 제공되는 포괄적인 보안 및 규정 준수
-
Microsoft는 사이버 보안 연구 및 개발에 연간 미화 10억 달러 이상을 투자합니다.
-
Microsoft에 소속된 3,500명이 넘는 보안 전문가가 데이터 보안 및 개인 정보 보호를 전담합니다.
-
Azure는 다른 어떤 클라우드 공급자보다도 더 많은 인증을 취득했습니다. 전체 목록을 확인하세요.
Azure Databricks 제품 및 서비스에 대한 자세한 정보
Azure Data Factory
ETL을 단순화하는 대규모 하이브리드 데이터 통합 서비스
Azure Data Lake Storage Gen 2
뛰어난 스케일링 성능과 안정성을 보장하는 Azure Blob Storage에서 빌드된 Data Lake
Azure Machine Learning
엔터프라이즈급 기계 학습 서비스로 보다 빠르게 모델 빌드 및 배포
Power BI
애플리케이션에 분석 및 대화형 보고를 추가하세요.
-
Azure Databricks 가격 책정
클러스터를 빠르게 실행하고 사용 요구 사항에 맞게 자동으로 크기를 조정하세요. 모든 Azure Databricks 가격 책정 옵션을 알아보세요.
Azure 체험 계정 시작
1
2
크레딧을 다 사용한 후에는 종량제로 전환하여 동일한 무료 서비스로 계속 구축하세요. 월간 체험 한도를 초과해서 사용하는 경우에만 요금을 지불합니다.
3
커뮤니티 및 Azure 지원
MSDN 포럼 및 Stack Overflow에서 Microsoft 엔지니어와 Azure 커뮤니티 전문가에게 질문하고 지원을 받거나 Azure 지원 팀에 문의하세요.
많이 사용되는 랩 및 템플릿
Microsoft와 커뮤니티에서 제공하는 자기 주도적 랩 및 많이 사용되는 일반 구성용 빠른 시작 템플릿을 찾아 보세요.
Azure Databricks에 관해 자주 묻는 질문
-
Azure Databricks SLA는 99.95% 가용성을 보장합니다.
-
DBU(Databricks 단위)는 시간당 처리 능력의 단위이며, 초당 사용량을 기준으로 요금이 청구됩니다.
-
데이터 엔지니어링 워크로드는 워크로드가 실행되는 클러스터를 자동으로 시작하고 종료하는 작업입니다. 예를 들어 워크로드는 작업 전용의 Apache Spark 클러스터를 시작하고 작업이 완료된 후 자동으로 클러스터를 종료하는 Azure Databricks 작업 스케줄러에 의해 트리거될 수 있습니다.
데이터 분석 워크로드는 자동화되지 않습니다. 예를 들어 Azure Databricks Notebook의 명령은 수동으로 종료하기 전까지 Apache Spark 클러스터에서 실행됩니다. 여러 사용자가 클러스터를 공유하여 공동으로 분석할 수 있습니다.