Questions? Feedback? powered by Olark live chat software
Gezintiyi Atla

Hadoop

Hadoop nedir?

Apache Hadoop, e-postalardan algılayıcı okumaya, sunucu günlüklerinden Twitter akışlarına ve GPS sinyallerine kadar aklınıza gelebilecek neredeyse her şeyle ilgili terabaytlarca veya daha büyük miktardaki yapılandırılmış ve yapılandırılmamış verileri depolamak ve analiz etmek için kullanılan bir açık kaynak yazılımdır. Hadoop, büyük ve karmaşık veri kümelerini bilgi edinmek ve soruları cevaplamak amacıyla işleyerek anlaşılmayan tüm noktaları açıklığa kavuşturabilir.

Hadoop'un kısa geçmişi

2005 yılında Mike Cafarella ve Doug Cutting (yazılıma çocuğunun oyuncak filinin adını vermiştir) tarafından oluşturulan Hadoop, başlangıçta web ile ilgili arama verileri için tasarlanmıştı. Bugün Hadoop, her çeşit kuruluş ve endüstride kullanılan Apache Software Foundation'ın açık kaynak kodlu ve topluluk tarafından oluşturulan bir projesidir. Microsoft, topluluğun geliştirme sürecine etkin şekilde katkıda bulunur.

Microsoft
Microsoft geçen yıl Hadoop için 6000'den fazla mühendislik saati ayırarak çeşitli projelerde açık kaynaklı toplulukla birlikte kod yazarak yeniliğe yön vermiştir. Bunun yanı sıra Hadoop'ta da kod yazarlarımız var. Microsoft çalışanı olan Chris Douglas da Hadoop'un Apache Çalışma Grubu Başkanı'dır.

–David Campbell (Microsoft Çalışanı ve CTO)

Sürekli kullandığınız sunuculardaki büyük veriler için oluşturuldu

Hadoop'un popüler olmasının başlıca nedeni, ekonomik olmasıdır. Büyük veri kümelerinin işlenmesi bir zamanlar süper bilgisayarlar ve diğer pahalı, özelleştirilmiş donanımları gerektirirdi. Hadoop, endüstri standardı sunucularda güvenilir, ölçeklenebilir, dağıtılmış bilgi işlem olanağı sunarak, petabaytlarca veriyi düşük bütçelerle kolayca işlemenizi sağlar. Hadoop ayrıca, tek bir sunucudan milyonlarca makineye ölçeklendirme ve daha fazla güvenilirlik sağlamak amacıyla uygulama katmanındaki hataları tespit edip işleme olanağı da sunar.

Virginia Tech
Virginia Tech'teki araştırmacılar yeni kanser tedavileri ve antibiyotikleri geliştirmek üzere petabaytlarca DNA verisini elemek için Hadoop'u kullanır.

Tüm veri türlerinden anlayışlar

Bazı tahminlere göre kuruluşların bugün işlediği verilerin yüzde 80’i, sütunlar ve satırlar halinde düzgün şekilde paketlenmiş olarak gelen türde veriler değil. Bunun yerine veriler e-postalar, sosyal medya akışları, uydu görüntüleri, GPS sinyalleri, sunucu günlükleri ve diğer yapılandırılmamış, birbirleriyle alakasız dosyalar karmaşasından oluşmaktadır. Hadoop'un sahip olduğu diğer bir önemli avantaj, neredeyse tüm dosya veya biçimleri işleyebilmesidir. Böylece kuruluşlar, uygulamaya daha önce sorulmasının mümkün olmadığını düşündükleri sorular yöneltebiliyor.

Barcelona
Windows Azure, HDInsight ve SQL Server 2012'yi kullanarak veri toplayabilir, çözümleyebilir ve sosyal medya akışları, GPS sinyalleri ve yönetim sistemlerinden alınan verilerden neredeyse gerçek zamanlı Büyük Verilere sahip BI oluşturabiliriz

–Luis Sanz Marco, Barselona

Barselona'nın Microsoft Azure'daki Hadoop'u nasıl kullandığını görün

Neden buluttaki Hadoop kullanılmalı?

Hadoop'u geleneksel bir şirket içi veri merkezinde dağıtabilirsiniz. Microsoft’un da içinde bulunduğu bazı şirketler de Hadoop'u bulut tabanlı bir hizmet olarak sunar. Şunu sorabilirsiniz: Hadoop'u neden bulutta kullanmalıyım? Bu seçeneği tercih eden kuruluş sayısının hızla artmasının nedenlerini aşağıda bulabilirsiniz.

Bulut, para ve zamandan kazandırır

Açık kaynak, ücretsiz anlamına gelmez. Hadoop'un şirket içine dağıtımı için sunucular ve kurulum, ayarlamalar ve bakım için yetenekli Hadoop uzmanları gerekir. Bulut hizmeti, bir Hadoop kümesini ön maliyete gerek kalmadan dakikalar içinde çalıştırmanıza olanak tanır.

Virginia Tech
Virginia Tech'in kendi süper bilgisayar merkezlerini kurmak için milyonlarca dolar harcamak yerine nasıl Microsoft'un bulut hizmetlerini kullandığına göz atın.

Bulut esnektir ve hızlıca ölçeklenir

Microsoft Azure bulutunda, işlem ve depolama için yalnızca kullandığınız kadar ödeme yaparsınız. Bir Hadoop kümesini çalıştırabilir, verilerinizi analiz edebilir ve daha sonra ölçümü durdurmak için kümeyi kapatabilirsiniz.

NHS
Azure HDInsight kümesini çalıştırarak altı yıllık veriyi yalnızca birkaç saat içinde işledik ve kapattık; verileri bulutta işleme sayesinde bu işlem artık son derece ucuz.

–Paul Henderson, Birleşik Krallık Ulusal Sağlık Hizmetleri

Bulut işlerinizi hızlandırır

Dakikalar içinde Hadoop kümesi oluşturun ve isteğe bağlı olarak, kümeye düğümler ekleyin. Bulut, kuruluşların anında değer elde edebilmesini sağlar.

Chr Hansen
Bu işlemi Windows Azure'la bulutta gerçekleştirmek çok daha kolaydı. Bir haftadan daha kısa bir sürede çözümü geliştirerek verilerle çalışmaya başladık.

–Morten Meldgaard, Chr. Hansen

HDInsight ile tanışın: Azure bulutunda Hadoop

Microsoft Azure HDInsight, Azure bulutunda sunulan %100 Apache Hadoop temelli bir hizmettir. Bu hizmet, Hadoop'un tüm avantajlarına ek olarak Excel ile, şirket içi Hadoop kümelerinizle ve iş yazılım ve hizmetlerinden oluşan Microsoft ekosistemiyle tümleştirme olanağı da sunar.

HDInsight tanıtımını izleyin