Veri ambarı nedir?
Veri ambarının ne olduğunu, bir veri ambarını kullanmanın avantajlarını, tasarım aşamasında dikkate alınacak en iyi deneyimleri ve derleme zamanı geldiğinde hangi araçların dahil edileceğini öğrenin.
Veri ambarı nedir?
İlk olarak, bir veri ambarının ne olduğunu ve kurumunuz için neden bir veri ambarı kullanmak isteyebileceğinizi tanımlayalım.
Veri ambarı, raporlama ve analiz amacıyla yapılandırılmış verileri (veritabanı tabloları, Excel sayfaları) ve yarı yapılandırılmış verileri (XML dosyaları, web sayfaları) depolayan merkezi bir depodur. Veriler satış noktası sistemleri, iş uygulamaları ve ilişkisel veritabanlarıilişkisel veritabanlarıgibi çeşitli kaynaklardan gelir ve genellikle ambara isabet edene kadar temizlenir ve standart hale getirilir. Bir veri ambarı büyük miktarlarda bilgi depoladığından, kullanıcılara veri madenciliği, veri görselleştirme ve diğer iş zekası raporlama biçimleri için kullanılabilecek türde zengin geçmiş verilere kolay erişim sağlar.
Veri ambarının avantajları
Güvenilir veriler, özellikle zaman içinde toplandığında kullanıcıların kurumlarını ve veri ambarlarını çalıştırma yöntemi hakkında daha akıllı ve daha bilinçli kararlar almasına yardımcı olur. Kurumsal veri ambarının avantajları sayısızdır, ancak en etkili avantajlardan bazıları şunlardır:
-
Birden çok kaynaktan gelen verileri tek bir gerçeklik kaynağında birleştirme
-
Aylara ve yıllara yayılan uzun vadeli geçmiş verileri depolama ve çözümleme
-
Verilerin yapısal ve biçimsel olarak standartlaştırılmış, doğru ve tutarlı olacak şekilde temizlenmesi ve dönüştürülmesi
-
Veri toplama ve analiz işleme sırasında sorgu sürelerini azaltma, bu da sistemlerde genel performansı artırır
-
Dağıtım veya altyapı maliyetleriyle ilgilenmek zorunda kalmadan verileri verimli bir şekilde yükleme
-
Özel, korumalı ve güvenli olacak şekilde veri güvenliğini sağlama
-
Veri madenciliği, görselleştirme araçları ve diğer gelişmiş analiz biçimleri aracılığıyla verileri analize hazır hale getirme
Veri ambarı ve veri gölü karşılaştırması
Veri ambarları, tüm kurumların analiz işlemleri için çok önemlidir. Peki veri ambarı ile veri gölü gibi diğer veri deposu türleri arasındaki farklar nedir? Hangisi ne zaman tercih edilmelidir?
Veri ambarları ve veri gölleri depo olarak verileri depolar ve işler. Yine de, aynı işlevselliği sunuyor gibi görünseler de her biri kendi kullanım örneklerine sahiptir. Bu nedenle kurumlar her iki sistemi de yaygın bir şekilde birleştirerek çok çeşitli amaçlara yönelik eksiksiz ve uçtan uca bir çözüm oluşturur.
Veri ambarı, doğası gereği ilişkiseldir. Bu da verilerin yapısının veya şemasının SQL sorgu işlemleri için seçki olarak sunulan, uyumlu ve iyileştirilmiş önceden tanımlanmış iş ve ürün gereksinimlerine göre belirlendiği anlamına gelir. Sonuç olarak, veri ambarlarının en ideal kullanımı iş zekası analizi için veri madenciliği veya önceden tanımlanmış bir iş kullanım örneğinin kaynağını belirleme gibi belirli bir amaca yönelik değerlendirilen verilerin depolamasına yöneliktir.
Veri ambarları gibi veri gölleri de yapılandırılmış ve yarı yapılandırılmış verileri barındırır. Yine de mobil uygulamalar, IoT cihazları, sosyal medya veya akış dahil olmak üzere ilişkisel olmayan çeşitli kaynaklardan ham ve işlenmemiş verileri alma özelliğine de sahiptir. Bunun nedeni, bir veri gölündeki yapı veya şemanın veriler okunana kadar tanımlanmamasıdır. Esnek ve ölçeklenebilir doğasının bir sonucu olarak veri gölleri, genellikle makine öğrenmesi gibi akıllı veri analizi biçimlerini gerçekleştirmek için kullanılır.
| Veri Gölü | Veri ambarı | |
|---|---|---|
| Tür | Yapılandırılmamış, yarı yapılandırılmış ve yapılandırılmamış | Yapılandırılmış |
| Şema | Şema okumada | Şema yazmada |
| Biçim | Ham, filtrelenmemiş | İşlendi, incelendi |
| Kaynaklar | Büyük veri, IoT, sosyal medya, akış verileri | Uygulama, iş, işlem verileri, toplu raporlama |
| Ölçeklenebilirlik | Düşük maliyetle kolayca ölçeklendirin | Ölçeklendirmesi zor ve pahalı |
| Kullanıcılar | Veri bilimcileri, veri mühendisleri | Veri ambarı uzmanları, iş analistleri |
| Kullanım örnekleri | Machine Learning, tahmine dayalı analiz, gerçek zamanlı analiz | Temel raporlama, BI |
Veri ambarı mimarisi ve tasarımı
Veri ambarının neden ve ne zaman kullanmanız gerektiğini bildiğinize göre şimdi veri ambarı tasarımına bakarak nasıl çalıştığını inceleyelim. Veri ambarı, kendi kendine çalışan tek bir silodan fazlasıdır. Bunun yerine, farklı yollarla verilerinizle ve birbiriyle etkileşim kuran birden çok katmandan oluşan, yüksek oranda yapılandırılmış ve dikkatli bir şekilde tasarlanmış bir sistemdir. Genellikle bu katmanlar şunları içerir:
Alt katman
Veriler birden çok kaynaktan alınır, sonra ayıkla, dönüştür ve yükle (ETL) adlı bir işlemde diğer uygulamaların kullanması için temizlenir ve dönüştürülür. Alt katman aynı zamanda verilerin depolandığı ve iyileştirildiği yerdir ve bu da sorgu sürelerinin hızlanmasına ve genel olarak daha iyi performansa erişilmesini sağlar.
Orta katman
Çevrimiçi analitik işlem (OLAP) sunucusu olarak da bilinen analiz altyapısını burada görürsünüz. OLAP sunucuları, veri ambarından büyük hacimli verilere yüksek hızda erişerek ışık hızında sonuçların alınmasını sağlar.
Üst katman
Üst katman, ön uç arabiriminin işlenen verileri görsel olarak sunduğu ve analistlerin tüm raporlama ve self servis BI ihtiyaçları için erişebileceği ve kullanabileceği katmandır.
Veri ambarı nasıl oluşturulur?
Veri ambarı tasarlayıp oluştururken, kurumunuzun hem uzun vadeli hem de geçici hedeflerini ve verilerinin doğasını göz önünde bulundurmanız önemlidir. Kaç veri kaynağı ile tümleştirme yapıyorsunuz? İş akışlarınızı otomatikleştirmeyi planlıyor musunuz? Verilerinizi nasıl keşfedip çözümleyeceksiniz? Derlemeniz gereksinimlerinizin karmaşıklığına bağlı olarak değişir, ancak tipik bir kurumsal veritabanı ambarı aşağıdaki bileşenlerden oluşur:
- Satış noktası sistemlerinden operasyonel verileri çıkartan veri kaynakları , iş uygulamaları ve diğer ilişkisel veritabanları
- Verilerin ambar veya merkezi depo için temizlendiğini ve dönüştürüldüğü hazırlama alanıdır
- kolay kullanıcı erişimi için işlenmiş operasyonel verileri, meta verileri, özet verileri ve ham verileri depolayan bir ambar veya merkezi depo
- Merkezi depodan verileri alıp seçili kullanıcı gruplarına bu verileri alt kümeler halinde sunan veri reyonlarınıneklenmesi
- Veri bilimcilerinin korumalı bir ortamda yeni veri keşfi formlarını test etmek için kullanabileceği bir korumalı alan
- Tümleştirme, depolama, performans ve analiz için çok çeşitli veri ambarı araçları, çerçeveler ve API’ler
Veri ambarı araçları, yazılımları ve kaynakları
Günümüzün veri merkezli dünyasında birçok büyük yazılım şirketi, her biri kendi özel kullanım örneğine sahip olan sonsuz bir veri ambarı yazılımı yelpazesine sahiptir. Göz korkutucu görünebilir, ancak birlikte çalışan, yüksek performanslı bir çözüm oluşturmak için doğru araçlara ve teknolojilere yatırım yapılması gerekir. Her kurumun ihtiyaçları farklıdır, ancak incelenmesi gereken bazı temel veri ambarı ürünlerinden bazıları şu şekildedir:
Bulut ve hibrit bulut veri ambarı
Azure Synapse Analyticsgibi birleşik, bulut tabanlı bir veri ambarı çözümü, kurumlara daha hızlı ve daha düşük maliyetle ölçeklendirme, işlem ve depolama olanağı sağlar.
Veri tümleştirme araçları
ETL işlem hatları, kullanıcıların iş akışlarını oluşturmasına, zamanlamasına ve düzenlemelerine olanak sağlar; böylelikle kaynak veriler otomatik olarak tümleştirilir, temizlenir ve standart hale getirilir.
Nesne depolama
Bir nesne depolama çözümü, büyük miktarlarda yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verileri barındırır ve bu da onu kaynak verilerin ambara yüklenmeden önce hazırlanmasını için mükemmel bir çözüm haline getirir.
Ambar araçları
Dağıtılmış depolama çözümü, sütunlu depolamaya sahip ilişkisel tablolarda büyük veri kümelerini içerir. Bu, maliyetleri büyük ölçüde düşürebilir, sorgu performansını artırır ve içgörü elde etme süresini hızlandırır.
Performans araçları
Performansı arttırmak için bellek içi işlemeyi destekleyen açık kaynaklı bir paralel işleme altyapısı olan Apache Spark’ı kullanabilirsiniz.
Kaynak ve iş yükü yönetimi
Bir kaynak yöneticisi, verileri uygun şekilde yükleyebilmeniz, analiz edebilmeniz, yönetmeniz ve dışarı aktarabilmeniz için iş yüklerinize bilgi işlem gücü tahsis eder.
Veri modelleme
Veri modelleme, birden çok veri kaynaklarını tek bir anlamsal modelde birleştirerek verilerinizin yapılandırılmış ve kolaylaştırılmış bir görünümünü sağlar.
İş zekası araçları
İş analizi araçları, kullanıcılara panolar, raporlar ve diğer görselleştirme araçları biçiminde içgörüler sunmanıza yardımcı olur.
Güvenlik ve gizlilik özellikleri
Veri şifreleme, kullanıcı kimlik doğrulaması ve erişim izleme gibi güvenlik ve uyumluluk özellikleri, verilerinizin daima korunmasını sağlar.
Azure SQL Veri Ambarı’na ne oldu?
Azure SQL Data Warehouse özellikleri artık ayrılmış SQL havuzu olarak adlandırılan Azure Synapse Analytics ’e aittir. Mevcut Azure SQL Data Warehouse müşterileri, herhangi bir değişiklik yapmadan Azure SQL Data Warehouse SQL havuzu özelliğini kullanarak mevcut Azure Synapse Analytics iş yüklerini çalıştırmaya devam eder. Müşteriler ayrıca sunucusuz veri gölü keşfi ve bütünleşik SQL ve Apache Spark™ altyapıları gibi gelişmiş analiz özelliklerinden yararlanmak için Azure Synapse Analytics ile mevcut ambar verilerini yönetmeye başlayabilir.
Sık sorulan sorular
-
Veri ambarı, raporlama, analiz ve diğer iş zekası biçimleri amacıyla yapılandırılmış (veritabanı tabloları, Excel sayfaları) ve yarı yapılandırılmış verileri (XML dosyaları, web sayfaları) tutan merkezi bir depodur.
-
Veri ambarı kullanmanın birçok avantajı vardır. Örneğin, bir veri ambarı birden çok veri kaynağını tek bir gerçeklik kaynağında birleştirilir ve kurumlar daha sonra iş ve operasyonlar hakkında daha bilinçli kararlar almak için bunları kullanabilir.
-
Veri ambarları, kaynak veri madenciliği, veri görselleştirme ve diğer belirli BI kullanım örnekleri için kullanılabilecek yapılandırılmış ve yarı yapılandırılmış verileri depolar. Veri gölleri, veri bilimcilerinin çeşitli projelerin kaynağını oluşturmak için kullanabileceği çeşitli ham veri türlerini depolar.
-
Bir veri ambarı genellikle birden çok katmandan oluşur: verilerin toplandığı ve depolandığı alt katman; verilerin analiz edildiği orta katman; ve kullanıcıların erişmesi ve ayrıştırması için verilerin görüntülendiği üst katman.
-
Veri ambarı altyapısı tasarlayıp oluştururken verilerinizin doğasını ve nasıl dönüştürmek istediğinizi göz önünde bulundurmanız önemlidir. Tipik bir derlemenin bazı ortak öğeleri arasında veri kaynakları, hazırlama alanı, ambarın kendisi, veri reyonları, korumalı alan ve çeşitli tümleştirme araçları yer alır.
-
Birçok büyük yazılım şirketi artık çok çeşitli veri ambarı ürünlerine sahiptir.
-
Bu özellikler artık ayrılmış SQL havuzu olarak adlandırılan Azure Synapse Analytics’in özellikleridir. Mevcut Azure SQL Data Warehouse müşterileri herhangi bir değişiklik yapmadan iş yüklerini çalıştırmaya devam edebilir.
Ek kaynaklar
Ücretsiz Hesap
Azure Bulut Bilişim hizmetlerini 30 güne kadar ücretsiz deneyin.
Kullandığın kadar öde
Kullandıkça öde fiyatlandırmasıyla kullanmaya başlayın. Önceden taahhütte bulunmadan istediğiniz zaman iptal edin.