Data Lake

支援智慧行動的無限制 Data Lake

Azure Data Lake 包含的功能全都能讓開發人員、資料科學家及分析師輕鬆儲存任何大小、形狀及速率的資料,以及跨各平台和語言進行所有類型的處理及分析。其移除了內嵌及儲存所有資料所帶來的複雜性,同時可讓啟動並執行 Batch、串流及互動式分析變得更加迅速。Azure Data Lake 可與現有 IT 投資搭配使用,以便進行身分識別、管理及安全性,讓管理及支配資料更加簡易。其同時與作業存放區及資料倉儲無縫整合,因此您便能擴充目前的資料應用程式。我們把與企業客戶合作以及處理並分析全球巨大規模資料的經驗運用於 Microsoft 業務,像是 Office 365、Xbox Live、Azure、Windows、Bing 以及 Skype。Azure Data Lake 解決了許多生產力及延展性的相關問題,可讓您最大化資料資產價值,而此服務能符合您目前的商務需求,也能滿足您未來的需要。

如需概觀,請觀賞這段簡短影片

Data Lake Analytics - 支援智慧行動的無限制分析作業服務

您可以在這第一個雲端分析服務中,以 U-SQL、R、Python 和 .Net 輕鬆開發及執行大規模平行轉換和處理資料的程式,來處理 PB 規模的資料。無需管理基礎結構,可以視需要處理資料、立即調整規模,並只按作業付費。深入了解

HDInsight - 適用於企業的雲端 Apache Spark 和 Hadoop® 服務

HDInsight 是唯一受完整管理的雲端 Hadoop 產品,為 Spark、Hive、Map Reduce、HBase、Storm、Kafka 和 R 伺服器提供最佳化開放原始碼分析叢集,並提供 99.9% SLA 的支援。每個巨量資料技術及 ISV 應用程式都可輕鬆部署為受管理的叢集,以提供企業級安全性和監視功能。深入了解

Data Lake Store - 支援巨量資料分析之無限制的 Data Lake

這是適用於企業的第一個雲端 Data Lake,很安全、可大規模調整,而且符合開放 HDFS 標準。不限資料大小,並具有執行大規模平行處理分析的能力,讓您現在可以解除所有非結構化、半結構化及結構化資料中值的鎖定。深入了解

輕鬆開發巨量資料程式、對其偵錯並進行最佳化

找到適合的工具來設計及調整您的巨量資料查詢,並非一件容易的事。Data Lake 與 Visual Studio、Eclipse 和 IntelliJ 的深度整合,不僅讓這件事變得輕鬆簡單,而您也可使用熟悉的工具執行、診斷及調整您的程式碼。將 U-SQL、Apache Spark、Apache Hive 與 Apache Storm 等作業以視覺化呈現,能讓您了解程式碼在大規模執行時的狀況,從而找出效能瓶頸與最佳成本效益,方便您調整查詢。我們的執行環境會在您的程式執行時主動加以分析,並提供建議以提升效能及降低成本。資料工程師、資料庫管理員 (DBA) 及資料架構師可以使用現有技能 (例如 SQL、Apache Hadoop、Apache Spark、R、Python、Java 與 .NET),在一開始便發揮極大的生產力。

與您現有的 IT 投資無縫整合

巨量資料的最大挑戰之一,就是如何與現有的 IT 投資相整合。Data Lake 是 Cortana Intelligence 的關鍵,其與 Azure SQL 資料倉儲、Power BI 及 Data Factory 搭配運作,提供完整的雲端巨量資料與進階分析平台,從開始準備資料,到執行大規模資料集的互動式分析都能助您一臂之力。Data Lake Analytics 可讓您使用虛擬機器上的 Azure SQL Server、Azure SQL Database 和 Azure SQL 資料倉儲等關聯式來源的最佳化資料視覺效果,來呈現所有資料。查詢會自動最佳化,做法是將處理移到來源資料附近而不移動資料,藉此提升效能並降低延遲。最後,因為 Data Lake 屬於 Azure,所以您可以連接到任何由應用程式所產生,或由物聯網 (IoT) 情境中的裝置所嵌入的資料。

儲存及分析 PB 大小的檔案及數兆個物件

Data Lake 專為雲端規模與效能全新打造。透過 Azure Data Lake Store,您的組織可以在單一位置分析其所有資料,而不會有任何人為限制。您的 Data Lake Store 可以儲存數兆個檔案,其中單一檔案的大小可大於 1 PB,這比其他雲端存放區大 200 倍。這表示當您所儲存的資料量有所增減,或是運算量微往上調時,也無須重新編寫程式碼。如此您便可將心力全數投注在商業邏輯,而無須分神在處理與儲存大型資料集的方式上。除此之外,Data Lake 也消弭了一些雲端巨量資料常會出現的複雜問題,確保其不僅符合您目前的商務需求,也能滿足您未來的需要。

經濟實惠並符合成本效益

Data Lake 可用來執行巨量資料工作負載,是符合成本效益的解決方案。在處理資料方面,您可以選擇隨選叢集或是依每次工作付費的模式。此兩種方式皆無須您簽訂任何硬體、授權或服務相關的支援合約。系統可相應增加或減少來符合您的業務需求,讓您無須花冤枉錢在不必要的事物上。此方式同時可讓您個別調整儲存體與運算的規模,比傳統巨量資料解決方案更具彈性,且更經濟實惠。不僅如此,其還能將招聘專業作業團隊 (通常與執行巨量資料基礎結構相關) 的需求降至最低。Data Lake 可以最小化您的成本花費,並最大化您的資料投報率。最近研究顯示,HDInsight 可降低內部部署 Hadoop 超過五年的 TCO 達 63%。

企業級安全性、稽核與支援

Data Lake 由 Microsoft 提供完善的管理與支援,還會提供企業級的 SLA 與支援為其後盾。全天候的客戶服務讓您可以隨時與我們連絡,協助您解決整個巨量資料解決方案所帶來的挑戰。我們的團隊會負責監視您的部署,以確保部署的執行不間斷。Data Lake 會保護您的資料資產,並可輕易將您的內部部署安全性和管理控制擴充到雲端。資料會一律加密;運行時使用 SSL,而待用時則使用 Azure Key Vault 中受服務或使用者管理的 HSM 型金鑰。透過 Azure Active Directory,內建單一登入 (SSO)、多重要素驗證及流暢管理數百萬個身分識別等功能。您可以針對使用角色型存取控制的 Store 中所有資料,將細微的 POSIX 型 ACL 授權給使用者和群組。最後,您可以稽核每個存取權或系統的組態變更,以符合安全性和合規性需求。

使用這些強大的解決方案來建置 Data Lake 解決方案

Apache Hadoop® 與相關聯的開放原始碼專案名稱,皆為 Apache Software Foundation 的商標。