Veri Gölü nedir?
Veri gölleri ile veri ambarları arasındaki fark hakkında bilgi edinin. Azure ile tüm analizleriniz için ölçeklenebilir bir temeli nasıl oluşturabileceğinizi keşfedin.
Veri gölü tanımı
Bu giriş kılavuzu, veri göllerine yönelik birçok avantajı ve kullanım durumunu inceler. Veri gölünün ne olduğunu ve neden önemli olduğunu öğrenin ve veri gölleri ile veri ambarları arasındaki farkı keşfedin. Ancak öncelikle veri gölü terimini tanımlayalım.
Veri gölü, büyük hacimli verileri özgün biçiminde alan ve depolayan merkezi bir depodur. Veriler daha sonra işlenebilir ve çeşitli analiz gereksinimleri için temel olarak kullanılabilir. Açık, ölçeklenebilir mimarisi nedeniyle bir veri gölü, yapılandırılmış (veritabanı tabloları, Excel sayfaları), yarı yapılandırılmış (XML dosyaları, web sayfaları) ve yapılandırılmamış (resimler, ses dosyaları, tweet'ler) gibi tüm veri türlerini, aslına uygunluktan ödün vermeden barındırabilir. Veri dosyaları genellikle ham, temizlenmiş ve seçki olarak hazırlanmış aşamalı bölgelerde depolanır, böylece farklı kullanıcı türleri çeşitli biçimlerdeki verileri kendi ihtiyaçlarına uygun bir şekilde kullanabilir. Veri gölleri, büyük veri analizi, makine öğrenmesi, tahmine dayalı analiz ve diğer akıllı eylem biçimlerine güç sağlayan çeşitli uygulamalarda temel veri tutarlılığı sağlar.
Veri gölleri işletmeler için neden önemlidir?
Günümüzün yüksek oranda bağlantılı, içgörü temelli dünyası veri gölü çözümleri olmadan mümkün değildir. Bunun nedeni, kuruluşların ham verilerin birleştirilmiş, tümleşik, güvenli ve erişilebilir olmasını sağlamak için Azure Data Lake gibi kapsamlı veri gölleri platformlarını kullanmalarıdır. Azure Data Lake Storage gibi ölçeklenebilir depolama araçları verileri tek bir yerde barındırıp koruyarak siloları uygun maliyetle ortadan kaldırabilir. Bu, kullanıcıların büyük veri işleme, SQL sorguları, metin madenciliği, akış analizi ve makine öğrenmesi gibi çok çeşitli iş yükü kategorilerini gerçekleştirmeleri için bir temel sağlar. Bu veriler daha sonra yukarı akış veri görselleştirmesi ve geçici raporlama ihtiyaçlarını karşılamak için kullanılabilir. Azure Synapse Analytics gibi modern, uçtan uca bir veri platformu, veri gölü etrafında şekillenen merkezi bir büyük veri mimarisinin tüm ihtiyaçlarını karşılar.
Veri gölü kullanım örnekleri
İyi tasarlanmış bir çözümle yenilik potansiyeli sonsuzdur. Aşağıda, çeşitli sektörlerdeki kuruluşların büyümelerini iyileştirmek için veri gölü platformlarını nasıl kullanabileceğine yönelik birkaç örnek verilmiştir:
- Medya akışı yapma. Abonelik tabanlı akış şirketleri, öneri algoritmalarını geliştirmek için kullanabilecekleri müşteri davranışıyla ilgili içgörüler toplar ve işler.
- Finans. Yatırım firmalarında portföy risklerini verimli bir şekilde yönetmek için toplanan ve gerçek zamanlı olarak depolanan en güncel pazar verileri kullanılır.
- Sağlık hizmetleri. Sağlık kuruluşları, hastaların bakım kalitesini artırmak için büyük verilerden yararlanır. Hastaneler hasta yollarını kolaylaştırmak ve daha iyi sonuçlar elde etmek ve bakım maliyetlerini azaltmak için çok miktarda geçmiş verisi kullanır.
- Çok kanallı perakende. Perakendeciler mobil, sosyal medya, sohbet, sözlü ve yüz yüze olmak üzere birden çok dokunma noktası üzerinden gelen verileri yakalamak ve birleştirmek için veri göllerini kullanır.
- IoT. Donanım algılayıcıları, çevredeki fiziksel dünya hakkında muazzam miktarda yarı yapılandırılmış ve yapılandırılmamış veriler oluşturur. Veri gölleri, bu bilgilerin daha sonra analiz için kullanılması için merkezi bir depo sağlar.
- Dijital tedarik zinciri. Veri gölleri, üreticilerin EDI sistemleri, XML ve JSON’ler dahil olmak üzere farklı ambar verilerini birleştirmelerine yardımcı olur.
- Satış. Veri bilimcileri ve satış mühendisleri genellikle müşteri davranışını belirlemeye ve genel erimeyi azaltmaya yardımcı olmak için tahmine dayalı modeller oluşturur.
Veri gölü ve veri ambarı karşılaştırması
Veri gölünün ne olduğunu, neden önemli olduğunu ve çeşitli kuruluşlarda nasıl kullanıldığını öğrendiniz. Peki veri gölü ile veri ambarı arasındaki fark nedir? Hangisini ne zaman kullanmak uygun olur?
Veri gölleri ve veri ambarları veri depolama ve işleme açısından birbirine benzer, ancak her biri kendi uzmanlık alanlarına ve dolayısıyla kendi kullanım örneklerine sahiptir. Bu nedenle, kurumsal düzeyde kuruluşların analiz ekosistemlerine bir veri gölü ve bir veri ambarı eklemesi yaygın bir durumdur. Her iki depo da depolamak, işlemek ve daha hızlı içgörü elde etmek için güvenli, uçtan uca bir sistem oluşturmak üzere birlikte çalışır.
Veri gölü, veriler okunana kadar verilerin yapısını veya şemasını tanımlamak zorunda kalmadan iş uygulamaları, mobil uygulamalar, IoT cihazları, sosyal medya veya akış gibi çeşitli kaynaklardan hem ilişkisel hem de ilişkisel olmayan verileri yakalar. Okumada şema, her tür verinin ham biçiminde depolanmasını sağlar. Sonuç olarak, veri gölleri herhangi bir ölçekte yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verilere kadar çok çeşitli veri türlerini barındırabilir. Esnek ve ölçeklenebilir doğası, veri göllerini Apache Spark veya Azure Machine Learninggibi farklı işleme araçları kullanarak karmaşık veri analizi biçimleri gerçekleştirmek için gerekli hale getirir.
Buna karşılık, veri ambarı doğası gereği ilişkiseldir. Verilerin yapısı veya şeması SQL sorgu işlemleri için seçki olarak sunulan, uyumlu ve iyileştirilmiş önceden tanımlanmış iş ve ürün gereksinimlerine göre modellenir veya belirlenir. Bir veri gölü ham ve işlenmemiş veriler dahil olmak üzere tüm yapı türlerinden verileri barındırırken, veri ambarı analiz veya operasyonel raporlama kaynağı olarak kullanılabilecek, belirli bir amaç göz önünde bulundurularak işlenen ve dönüştürülen verileri depolar. Bu, veri ambarlarını daha standartlaştırılmış iş zekası analizi biçimleri oluşturmak veya önceden tanımlanmış bir iş kullanım örneğine hizmet etmek için ideal hale getirir.
| Veri Gölü | Veri ambarı | |
|---|---|---|
| Tür | Yapılandırılmamış, yarı yapılandırılmış ve yapılandırılmamış | Yapılandırılmış |
| İlişkisel, ilişkisel olmayan | İlişkisel | |
| Şema | Okumada şema | Yazmada şema |
| Biçim | Ham, filtrelenmemiş | İşlendi, incelendi |
| Kaynaklar | Büyük veri, IoT, sosyal medya, akış verileri | Uygulama, iş, işlem verileri, toplu raporlama |
| Ölçeklenebilirlik | Düşük maliyetle kolayca ölçeklendirilebilir | Ölçeklendirmesi zor ve pahalı |
| Kullanıcılar | Veri bilimcileri, veri mühendisleri | Veri ambarı uzmanları, iş analistleri |
| Kullanım örnekleri | Makine öğrenmesi, tahmine dayalı analiz, gerçek zamanlı analiz | Temel raporlama, BI |
Veri gölü ve kapsamlı veri gölü karşılaştırması
Veri gölü ile veri ambarı arasındaki farkı öğrendiniz. Peki veri gölü ile kapsamlı veri gölü arasındaki fark nedir? Her ikisine de sahip olmak gerekir mi?
Geleneksel veri gölleri sundukları birçok avantaja rağmen bazı dezavantajlara da sahiptir. Veri gölleri her türlü kaynakta bulunan tüm veri türlerini barındırabildiğinden kalite denetimi, veri bozulması ve hatalı bölümleme ile ilgili sorunlar oluşabilir. Kötü yönetilen bir veri gölü, veri bütünlüğünü bozmakla birlikte performans sorunlarına, düşük performansa ve güvenlik risklerine de yol açabilir.
Kapsamlı veri gölü burada devreye girer. Kapsamlı veri gölü, doğası gereği çok yönlü açık standartlara dayalı bir depolama çözümüdür. Derin veri analizi ve işleme yapan veri bilimcilerinin ve mühendislerin ihtiyaçlarının yanı sıra iş zekası ve raporlama amacıyla veri seçkisi oluşturan ve yayımlayan geleneksel veri ambarı uzmanlarının ihtiyaçlarını karşılar. Kapsamlı veri gölünün en iyi özelliği, her iş yükünün verileri yapısal olarak önceden tanımlanmış başka bir veritabanınaçoğaltmak zorunda kalmadan sorunsuzca çalışabilmesidir. Bu, herkes en güncel veriler üzerinde çalışırken yedekliliği azaltmayı sağlar.
Kapsamlı veri gölleri, doğrudan bulut veri gölüne bir Delta Lake depolama katmanı ekleyerek geleneksel veri göllerinin zorluklarına çözüm getirir. Depolama katmanı, veri güvenilirliği, akış tümleştirmeleri ve veri sürümü oluşturma ve şema zorlama gibi gelişmiş özellikler için ACID (atomiklik, tutarlılık, yalıtım ve dayanıklılık) işlemlerini işleyebilecek esnek bir analiz mimarisi sağlar. Bu, temel veri tutarlılığından ödün vermeden göl üzerinde bir dizi analiz etkinliğine olanak sağlar. Bir kapsamlı veri gölünün gerekli olup olmaması gereksinimlerinizin ne kadar karmaşık olduğuna bağlıdır ve kapsamlı veri gölünün esnekliği ve aralığı onu birçok kurumsal kuruluş için en uygun çözüm haline getirir.
| Veri Gölü | Kapsamlı veri gölü | |
|---|---|---|
| Tür | Yapılandırılmamış, yarı yapılandırılmış ve yapılandırılmamış | Yapılandırılmamış, yarı yapılandırılmış ve yapılandırılmamış |
| İlişkisel, ilişkisel olmayan | İlişkisel, ilişkisel olmayan | |
| Şema | Okumada şema | Okumada şema, yazmada şema |
| Biçim | Ham, filtrelenmemiş, işlenmiş, seçki olarak sunulan | Ham, filtrelenmemiş, işlenmiş, seçki olarak sunulan, delta biçim dosyaları |
| Kaynaklar | Büyük veri, IoT, sosyal medya, akış verileri | Büyük veri, IoT, sosyal medya, akış verileri, uygulama, iş, işlem verileri, toplu raporlama |
| Ölçeklenebilirlik | Düşük maliyetle kolayca ölçeklendirilebilir | Düşük maliyetle kolayca ölçeklendirilebilir |
| Kullanıcılar | Veri bilimcileri | İş analistleri, veri mühendisleri, veri bilimcileri |
| Kullanım örnekleri | Makine öğrenmesi, tahmine dayalı analiz | Çekirdek raporlama, BI, makine öğrenmesi, tahmine dayalı analiz |
Veri gölü mimarisi nedir?
Temel olarak veri gölü, kendi ayarlanmış mimarisi olmayan bir depodur. Özelliklerinden en iyi şekilde faydalanmanız için verilerin tümleştirme, depolama ve işleme özelliklerini iyileştirmeye yardımcı olan çok çeşitli araçlar, teknolojiler ve işlem altyapıları gerekir. Bu araçlar birlikte çalışarak büyük verilerden yararlanan ve veri gölü üzerinde çalışan tutarlı bir katmanlı mimari oluşturur. Bu mimari aynı zamanda bir kapsamlı veri gölünün çalışma yapısını da oluşturabilir. Her kuruluşun kendi benzersiz yapılandırması vardır, ancak çoğu kapsamlı veri gölü mimarisinde aşağıdakiler yer alır:
- Kaynak yönetimi ve düzenleme. Kaynak yöneticisi, doğru miktarda veri, kaynak ve bilgi işlem gücü doğru yerlere ayrılırken veri göllerinin görevleri tutarlı bir şekilde yürütmesini sağlar.
- Kolay erişim için bağlayıcılar. Çeşitli iş akışları, kullanıcıların ihtiyaçları olan verilere ihtiyaçları olan biçimde kolayca erişmesini ve bunları paylaşmasını sağlar.
- Güvenilir analiz. İyi bir analiz hizmeti hızlı, ölçeklenebilir ve dağıtılmış olmalıdır. Ayrıca birden çok dilde çeşitli iş yükü kategorilerini desteklemesi gerekir.
- Veri sınıflandırma. Veri profili oluşturma, kataloglama ve arşivleme, kuruluşların veri içeriğini, kalitesini, konumunu ve geçmişini izlemesini sağlar.
- Ayıklama, yükleme, dönüştürme (ELT) işlemleri. ELT, verilerin birden çok kaynaktan ayıklandığı ve veri gölünün ham bölgesine yüklendiği, daha sonra ayıklama sonrasında temizlendiği ve dönüştürülerek uygulamalar tarafından kolayca kullanılabildiği işlemleri ifade eder.
- Güvenlik ve destek. Maskeleme, denetim, şifreleme ve erişim izleme gibi veri koruma araçları, verilerinizin güvenli ve gizli kalmasını sağlar.
- İdare ve yönetim. Veri gölü platformunun mümkün olduğunca sorunsuz çalışması için kullanıcıların mimari yapılandırmasına ve veri ve operasyon yönetimine yönelik en iyi yöntemler hakkında bilgi sahibi olması gerekir.
Ek kaynaklar
Sık sorulan sorular
-
Veri gölü, büyük hacimli verileri özgün biçiminde alan, depolayan ve işlemeye olanak sağlayan merkezi bir depodur. Büyük veri analizi, makine öğrenmesi ve diğer akıllı eylem biçimlerine güç sağlamak için kullanılan tüm veri türlerini barındırabilir.
-
Perakende, finans ve eğlence gibi çeşitli sektörlerdeki kuruluşlar, veri depolamak, içgörü toplamak ve hizmetlerinin genel kalitesini geliştirmek için veri gölü platformlarını kullanır. Örneğin yatırım firmaları, veri göllerini kullanarak pazara çıkış verilerini toplayıp işleyerek portföy risklerini daha verimli bir şekilde yönetebilir.
-
Veri gölleri, veri bilimcilerinin çeşitli projeler için kullanabileceği tüm ham veri türlerini depolar. Veri ambarları temizlenen ve işlenen verileri depolar. Bu veriler analiz veya operasyonel raporlamanın yanı sıra belirli iş zekası kullanım örnekleri için de kullanılabilir.
-
Kapsamlı veri gölü, veri bilimi ve iş zekası amaçları doğrultusunda esnek, uçtan uca bir çözüm oluşturmak için veri gölü ve veri ambarı öğelerini birleştirir.
-
Kesinlikle. Tüm sektörlerdeki büyük kuruluşlar akıllı eylem gücü elde etmek, içgörü elde etmek ve büyümek için veri göllerinde depolanan çok büyük miktarlardaki verilere güveniyor.
-
Ham ve yapılandırılmamış veriler de dahil olmak üzere büyük hacimli verilerin yönetimi zor olabilir ve bu da performans sorunlarına, veri bozulmasına, kalite denetimi sorunlarına ve performans sorunlarına neden olabilir. Bu nedenle, veri gölü platformlarınızı sorunsuz bir şekilde çalıştırmanıza yardımcı olmak için iyi idare ve yönetim uygulamalarına sahip olmak önemlidir.
-
Veri gölü mimarisi, veri gölünden gelen verilerin tümleşik, erişilebilir, düzenli ve güvenli bir şekilde depolanmasına yardımcı olan belirli araç ve teknolojilerin yapılandırmasını ifade eder.
Ücretsiz Hesap
Azure Bulut Bilişim hizmetlerini 30 güne kadar ücretsiz deneyin.
Kullandığın kadar öde
Kullandıkça öde fiyatlandırmasıyla kullanmaya başlayın. Önceden taahhütte bulunmadan istediğiniz zaman iptal edin.