Gezintiyi Atla

Hadoop

Hadoop nedir?

Apache Hadoop, e-postalardan algılayıcı okumaya, sunucu günlüklerinden Twitter akışlarına ve GPS sinyallerine kadar aklınıza gelebilecek neredeyse her şeyle ilgili terabaytlarca veya daha büyük miktardaki yapılandırılmış ve yapılandırılmamış verileri depolamak ve analiz etmek için kullanılan bir açık kaynak yazılımdır. Hadoop, büyük ve karmaşık veri kümelerini bilgi edinmek ve soruları cevaplamak amacıyla işleyerek anlaşılmayan tüm noktaları açıklığa kavuşturabilir.

Hadoop'un kısa geçmişi

2005 yılında Mike Cafarella ve Doug Cutting (yazılıma çocuğunun oyuncak filinin adını vermiştir) tarafından oluşturulan Hadoop, başlangıçta web ile ilgili arama verileri için tasarlanmıştı. Bugün Hadoop, her çeşit kuruluş ve endüstride kullanılan Apache Software Foundation'ın açık kaynak kodlu ve topluluk tarafından oluşturulan bir projesidir. Microsoft, topluluğun geliştirme sürecine etkin şekilde katkıda bulunur.

Microsoft
Microsoft has logged over 6,000 engineering hours in the last year, committing code and driving innovation in partnership with the open source community across a range of Hadoop projects. In addition, we have committers on Hadoop, and Microsoft employee Chris Douglas is the Apache Working Group Chair for Hadoop.

–David Campbell (Microsoft Çalışanı ve CTO)

Sürekli kullandığınız sunuculardaki büyük veriler için oluşturuldu

Hadoop'un popüler olmasının başlıca nedeni, ekonomik olmasıdır. Büyük veri kümelerinin işlenmesi bir zamanlar süper bilgisayarlar ve diğer pahalı, özelleştirilmiş donanımları gerektirirdi. Hadoop, endüstri standardı sunucularda güvenilir, ölçeklenebilir, dağıtılmış bilgi işlem olanağı sunarak, petabaytlarca veriyi düşük bütçelerle kolayca işlemenizi sağlar. Hadoop ayrıca, tek bir sunucudan milyonlarca makineye ölçeklendirme ve daha fazla güvenilirlik sağlamak amacıyla uygulama katmanındaki hataları tespit edip işleme olanağı da sunar.

Virginia Tech
Researchers at Virginia Tech are using Hadoop to sift through petabytes of DNA data for new cancer therapies and antibiotics.

Tüm veri türlerinden anlayışlar

Bazı tahminlere göre kuruluşların bugün işlediği verilerin yüzde 80’i, sütunlar ve satırlar halinde düzgün şekilde paketlenmiş olarak gelen türde veriler değil. Bunun yerine veriler e-postalar, sosyal medya akışları, uydu görüntüleri, GPS sinyalleri, sunucu günlükleri ve diğer yapılandırılmamış, birbirleriyle alakasız dosyalar karmaşasından oluşmaktadır. Hadoop'un sahip olduğu diğer bir önemli avantaj, neredeyse tüm dosya veya biçimleri işleyebilmesidir. Böylece kuruluşlar, uygulamaya daha önce sorulmasının mümkün olmadığını düşündükleri sorular yöneltebiliyor.

Barcelona
By using Windows Azure, HDInsight, and SQL Server 2012, we can collect, analyze, and generate near-real time BI with Big Data collected from social media feeds, GPS signals, and data from government systems.

–Luis Sanz Marco, Barselona

Barselona'nın Microsoft Azure'daki Hadoop'u nasıl kullandığını görün

Neden buluttaki Hadoop kullanılmalı?

Hadoop'u geleneksel bir şirket içi veri merkezinde dağıtabilirsiniz. Microsoft’un da içinde bulunduğu bazı şirketler de Hadoop'u bulut tabanlı bir hizmet olarak sunar. Şunu sorabilirsiniz: Hadoop'u neden bulutta kullanmalıyım? Bu seçeneği tercih eden kuruluş sayısının hızla artmasının nedenlerini aşağıda bulabilirsiniz.

Bulut, para ve zamandan kazandırır

Açık kaynak, ücretsiz anlamına gelmez. Hadoop'un şirket içine dağıtımı için sunucular ve kurulum, ayarlamalar ve bakım için yetenekli Hadoop uzmanları gerekir. Bulut hizmeti, bir Hadoop kümesini ön maliyete gerek kalmadan dakikalar içinde çalıştırmanıza olanak tanır.

Virginia Tech
See how Virginia Tech is using Microsoft's cloud instead of spending millions of dollars to establish their own supercomputing center.

Bulut esnektir ve hızlıca ölçeklenir

Microsoft Azure bulutunda, işlem ve depolama için yalnızca kullandığınız kadar ödeme yaparsınız. Bir Hadoop kümesini çalıştırabilir, verilerinizi analiz edebilir ve daha sonra ölçümü durdurmak için kümeyi kapatabilirsiniz.

NHS
We quickly spun up the Azure HDInsight cluster and processed six years worth of data in just a few hours, and then we shut it down&ellipsis; processing the data in the cloud made it very affordable.

–Paul Henderson, Birleşik Krallık Ulusal Sağlık Hizmetleri

Bulut işlerinizi hızlandırır

Dakikalar içinde Hadoop kümesi oluşturun ve isteğe bağlı olarak, kümeye düğümler ekleyin. Bulut, kuruluşların anında değer elde edebilmesini sağlar.

Chr Hansen
It was simply so much faster to do this in the cloud with Windows Azure. We were able to implement the solution and start working with data in less than a week.

–Morten Meldgaard, Chr. Hansen

HDInsight ile tanışın: Azure bulutunda Hadoop

Microsoft Azure HDInsight, Azure bulutunda sunulan %100 Apache Hadoop temelli bir hizmettir. Bu hizmet, Hadoop'un tüm avantajlarına ek olarak Excel ile, şirket içi Hadoop kümelerinizle ve iş yazılım ve hizmetlerinden oluşan Microsoft ekosistemiyle tümleştirme olanağı da sunar.

HDInsight'ın sizin için yapabildiklerine göz atın

HDInsight tanıtımını izleyin