Veri ambarı nedir?
Veri ambarının ne olduğunu, avantajlarını, tasarım aşamasında dikkate alınması gereken en iyi uygulamaları ve veri ambarınızı oluştururken hangi araçları kullanacağınızı öğrenin.
Veri ambarı nedir?
Öncelikle, veri ambarının ne olduğundan ve kuruluşunuz için bir veri ambarı kullanmayı neden isteyebileceğinizden bahsedelim.
Veri ambarı, yapılandırılmış verilerin (veritabanı tabloları, Excel çalışma sayfaları) ve yarı yapılandırılmış verilerin (XML dosyaları, web sayfaları) raporlama ve analiz amacıyla depolandığı merkezi bir depodur. Veriler, satış noktası sistemleri, iş uygulamaları ve ilişkisel veritabanları gibi çeşitli kaynaklardan akar ve ambara ulaşmadan önce genellikle temizlenip standartlaştırılır. Veri ambarları çok miktarda bilgi depolayabildiği için kullanıcıların veri madenciliği, veri görselleştirme ve diğer iş zekası raporlama biçimleri için kullanılabilen zengin geçmiş veri birikimine kolayca erişebilmesini sağlar.
Veri ambarının avantajları
Güvenilir veriler, kuruluşlarını nasıl yönettiklerine dair kararlar verirken kullanıcıların daha akıllı ve bilinçli şekilde davranmasına yardımcı olur (zaman içinde toplanan veriler, bu konuda daha kullanışlıdır). Veri ambarları, bunun yapılmasına olanak verir. Kurumsal veri ambarlarının birçok avantajı vardır. En büyük avantajlardan bazıları şunlardır:
- Birden fazla kaynaktan gelen verileri tek kaynakta birleştirme
- Ay ve yılları kapsayan uzun vadeli geçmiş verileri depolama ve çözümleme
- Veri yapısının ve biçiminin doğru, tutarlı ve standartlaştırılmış olması verileri temizleme ve dönüştürme
- Veri toplama ve analiz işleme sırasında sorgu sürelerini azalarak sistemler genelindeki performansı artırma
- Dağıtım veya altyapı maliyetleriyle ilgilenmek zorunda kalmadan verileri verimli bir şekilde yükleme
- Verilerin özel, korumalı ve güvenli olacağı şekilde güvenlikten emin olma
- Veri araştırma, görselleştirme araçları ve diğer gelişmiş çözümleme yöntemleri aracılığıyla verileri çözümlenmeye hazırlama
Veri ambarı ile veri gölünün karşılaştırması
Veri ambarlarının, tüm kuruluşların analiz işlemleri için çok önemli olduğunu görebiliyoruz. Peki veri gölü gibi diğer veri deposu türlerine kıyasla veri ambarının farkları nelerdir? Hangisinin ne zaman tercih edilmesi gerekir?
Depo olarak kullanılan veri ambarları ve veri gölleri, verileri depolar ve işler. Her ikisi de aynı işlevleri sunuyor gibi görünse de ikisinin de kendilerine özgü belirli kullanım alanları vardır. Bu nedenle kuruluşlar, çeşitli amaçlar için kullanılabilecek eksiksiz ve uçtan uca bir çözüm üretmek üzere iki sistemi birleştirir.
Veri ambarının ilişkisel bir yapısı vardır. Bu durum, verilerin yapısının veya şemasının SQL sorgu işlemleri için seçilmiş, uyumlu hale getirilmiş ve iyileştirilmiş olan önceden tanımlanmış iş ve ürün gereksinimlerine göre belirlendiği anlamına gelir. Sonuç olarak, veri ambarlarının en yüksek verimle kullanıldığı alan, belirli bir amaçla toplanan verilerin depolanmasıdır. BI analizleri için veri araştırmak veya işinizle ilgili önceden belirlenmiş bir kullanım alanına kaynak sağlamak, bu amaçlara örnektir.
Veri ambarları gibi veri gölleri de hem yapılandırılmış hem yarı yapılandırılmış veriler saklar. Veri gölleri ayrıca, ilişkisel olmayan çeşitli kaynaklardan (mobil uygulamalar, IoT cihazları, sosyal medya, akış) gelen ham ve işlenmemiş verileri de barındırabilir. Bunun nedeni, veri göllerindeki yapı veya şemanın veri okunurken belirlenmesidir. Veri göllerinin esnek ve ölçeklenebilir olması, makine öğrenimi gibi akıllı veri çözümleme yöntemleri için uygun olmasını sağlar.
| Veri gölü | Veri ambarı | |
|---|---|---|
| Tür |
Yapılandırılmış, yarı yapılandırılmış, yapılandırılmamış İlişkisel, ilişkisel olmayan |
Yapılandırılmış İlişkisel |
| Şema | Okuma sırasında şema oluşturma | Yazma sırasında şema oluşturma |
| Biçim | Ham, filtrelenmemiş | İşlenmiş, arıtılmış |
| Kaynaklar | Büyük veri, IoT, sosyal medya, akış verileri | Uygulama, işletme, işlem verileri, toplu raporlama |
| Ölçeklenebilirlik | Düşük maliyetle kolayca ölçeklendirilebilir | Ölçeklendirmek zor ve pahalıdır |
| Kullanıcılar | Veri bilimciler, veri mühendisleri | Veri ambarı uzmanları, iş analistleri |
| Kullanım örnekleri | Makine öğrenmesi, tahmine dayalı analiz, gerçek zamanlı analiz | Temel raporlama, BI |
Veri ambarı mimarisi ve tasarımı
Veri ambarının neden ve ne zaman kullanmanız gerektiğini öğrendiğinize göre şimdi, veri ambarlarının tasarımına bakarak nasıl çalıştıklarını inceleyelim. Veri ambarı, kendi başına çalışan tek bir silo değildir. Verilerinizle ve birbirleriyle farklı yöntemler üzerinden ve farklı şekillerde etkileşim kuran, birden çok katmandan oluşan, ayrıntılı şekilde yapılandırılmış, dikkatli şekilde tasarlanmış bir sistemdir. Veri ambarları, genellikle şu katmanlardan oluşur:
Alt katman
Veriler birden çok kaynaktan alınır, temizlenir ve ETL (ayıklama, dönüştürme ve yükleme) adlı işlemden geçirilerek diğer uygulamalara uygun olacakları şekilde dönüştürülür. Alt katman, sorgu sürelerini kısaltmak ve performansı iyileştirmek amacıyla verilerin depolanması ve optimize edilmesi için de kullanılır.
Orta katman
Çevrimiçi analitik işlem (OLAP) sunucusu olarak da bilinen çözümleme altyapısı burada bulunur. OLAP sunucuları, veri ambarındaki büyük hacimli hızla ulaşır ve anında sonuç almanızı sağlar.
Üst katman
Üst katmanda, ön uç arabirimi işlenmiş verileri görsel olarak ifade eder. Analistler, bu verilere erişip bunları raporlama ve self servis BI ihtiyaçları için kullanabilir.
Veri ambarı nasıl oluşturulur?
Veri ambarı tasarlar ve oluştururken kuruluşunuzun hem uzun hem kısa vadeli hedeflerini, ayrıca verilerinizin yapısını dikkate almanız önemlidir. Kaç veri kaynağı entegre edeceksiniz? İş akışlarınızı otomatikleştirecek misiniz? Verilerinizi nasıl keşfedip çözümleyeceksiniz? Sisteminiz, ihtiyaçlarınızın karmaşıklığına göre farklı şekiller alabilir. Bununla birlikte, kurumsal veri ambarlarının genellikle şu bileşenlerden oluştuğunu söyleyebiliriz:
- Veri kaynakları; satış noktası sistemleri, iş uygulamaları ve diğer ilişkisel veritabanlarından gelen işletimsel verilerin ayıklanmasını sağlar.
- Hazırlama alanı, verilerin temizlendiği ve ambar veya merkezi depo için uygun olacağı şekilde dönüştürüldüğü yerdir.
- Ambarda veya merkezi depoda işletimsel veriler, meta veriler, özet verileri ve ham veriler, kullanıcıların bunlara kolayca erişebilmesi için depolanır.
- Sisteme eklenebilecek veri reyonları, verileri merkezi depodan alır ve bu verilerin alt kümelerini seçilen kullanıcı gruplarına sunar.
- Korumalı alan, veri bilimcilerin veri keşfetmeye yönelik yeni yöntemleri korumalı bir ortamda test etmesine olanak tanır.
- Çeşitli veri ambarı araçlarından, çerçevelerden ve API'lerden entegrasyon, depolama, performans ve çözümlemeyle ilgili amaçlara yönelik olarak yararlanılabilir.
Veri ambarı araçları, yazılımları ve kaynakları
Günümüzün veri merkezli dünyasında, birçok büyük yazılım şirketi her biri kendi özel kullanım örneğine sahip olan sonsuz bir veri ambarı yazılımı yelpazesine sahiptir. Bu durum göz korkutucu görünebilir, ancak birlikte çalışan, yüksek performanslı bir çözüm oluşturmak için doğru araçlara ve teknolojilere yatırım yapmak gerekir. Her kuruluşun ihtiyaçları farklı olsa da incelenmesi gereken bazı temel veri ambarı ürünleri şunlardır:
Bulut ve hibrit bulut veri ambarları
Azure Synapse Analytics gibi birleşik ve bulut tabanlı bir veri ambarı çözümü, kuruluşlara daha hızlı şekilde ve daha düşük maliyetle ölçeklendirme, işlem yapma ve depolama olanağı sağlar.
Veri entegrasyon birimi
ETL işlem hatları, kullanıcıların iş akışlarını oluşturmasına, zamanlamasına ve düzenlemesine olanak sağlar. Böylece kaynak veriler otomatik olarak entegre edilir, temizlenir ve standartlaştırılır.
Nesne depolama
Bir nesne depolama çözümü, çok miktarda yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri saklayabilir. Bu nedenle, kaynak verilerin ambara yüklenmesinden önce bu verileri hazırlarken kullanılmaya son derece uygundur.
Ambar araçları
Bir dağıtılmış depolama çözümü, sütunlu depolama yapılan ilişkisel tabloların bulunduğu büyük veri kümelerini saklar. Bu çözüm, maliyetleri büyük ölçüde düşürür, sorgu performansını artırır ve içgörü elde etme süresini hızlandır.
Performans araçları
Uygulamalarınızın performansını artırmak üzere, bellek içi işlemeyi destekleyen ve açık kaynaklı paralel işleme çerçevesi olan Apache Spark'tan yararlanabilirsiniz.
Kaynak ve iş yükü yönetimi
Bir kaynak yöneticisi, verileri uygun şekilde yüklemeniz, analiz etmeniz, yönetmeniz ve dışarı aktarmanız için gereken işlem gücünü ilgili iş yüklerinize ayırır.
Veri modelleme
Veri modelleme, birden çok veri kaynağını tek bir anlam modelinde birleştirerek verilerinizin yapılandırılmış ve daha kolay anlaşılabilecek bir görünümünü sunar.
İş zekası araçları
İş analizi araçları, kullanıcılara panolar, raporlar ve diğer görselleştirme araçları üzerinden içgörüler sunmanıza yardımcı olur.
Güvenlik ve gizlilik özellikleri
Veri şifreleme, kullanıcı kimlik doğrulaması ve erişim izleme gibi güvenlik ve uyumluluk özellikleri sayesinde verilerinizin korunduğundan emin olabilirsiniz.
Azure SQL Veri Ambarı’na ne oldu?
Azure SQL Veri Ambarı ile ilişkilendirilen özellikler artık Azure Synapse Analytics'in ayrılmış SQL havuzu özelliği kapsamında sunulmaktadır. Mevcut Azure SQL Veri Ambarı müşterileri, mevcut Azure SQL Veri Ambarı iş yüklerini herhangi bir değişiklik olmaksızın Azure Synapse Analytics'teki ayrılmış SQL havuzu üzerinden yönetmeye devam edebilir. Müşteriler ayrıca, mevcut veri ambarı verilerini Azure Synapse Analytics ile yönetmeye başlayabilir, böylece sunucusuz veri gölü veya entegre SQL ve Apache Spark™ altyapıları gibi gelişmiş analiz özelliklerinden yararlanabilir.
Sık sorulan sorular
-
Veri ambarı, yapılandırılmış verilerin (veritabanı tabloları, Excel çalışma sayfaları) ve yarı yapılandırılmış verilerin (XML dosyaları, web sayfaları) saklandığı merkezi bir depodur. Raporlama, çözümleme ve diğer iş zekası işlemleri için kullanılır.
-
Veri ambarı kullanmanın birçok avantajı vardır. Örneğin, bir veri ambarı birden çok veri kaynağından gelen verileri tek kaynakta birleştirir. Kuruluşlar daha sonra, işletmeyle ve operasyonlarla ilgili olarak daha bilinçli kararlar vermek için bu verileri kullanabilir.
-
Veri ambarları, veri madenciliği, veri görselleştirme ve diğer belirli BI kullanım durumlarına kaynak sağlamak için kullanılabilen yapılandırılmış ve yarı yapılandırılmış verileri depolar. Veri gölleri, veri bilimcilerin daha sonra çeşitli projelere kaynak sağlamak için kullanabileceği çeşitli ham veri türlerini depolar.
-
Bir veri ambarı genellikle birden çok katmandan oluşur. Veriler, alt katmanda toplanır ve depolanır, orta katmanda analiz edilir, üst katmanda ise kullanıcıların erişip ayrıştırabilmesi için gösterilir.
-
Veri ambarı altyapısı oluştururken verilerinizin yapısını göz önünde bulundurmanız ve bunu nasıl değiştireceğinizi düşünmeniz önemlidir. Altyapı genellikle veri kaynakları, hazırlama alanı, veri ambarının kendisi, veri reyonları, korumalı alanlar ve çeşitli entegrasyon araçları gibi öğeleri kapsar.
-
Şu anda birçok büyük yazılım şirketi, çeşitli veri ambarı ürünlerinden yararlanmaktadır.
Veri ambarı araçlarını, yazılımlarını ve kaynaklarını keşfedin
-
Bu yetenekler şimdi Azure Synapse Analytics'in ayrılmış SQL havuzu adlı özelliği kapsamında sunuluyor. Mevcut Azure SQL Veri Ambarı müşterileri, iş yüklerini herhangi bir değişiklik olmaksızın burada çalıştırmaya devam edebilir.
Ek kaynaklar
Keşfedin
Kılavuzlar
Ücretsiz Hesap
Azure Bulut Bilişim hizmetlerini 30 güne kadar ücretsiz deneyin.
Kullandıkça öde
Kullandıkça öde fiyatlandırmasını kullanmaya başlayın. Önceden taahhüt yoktur; istediğiniz zaman iptal edin.