Makaleler

HADOOP Nedir?

Hadoop Nedir ve Ne İşe Yarar?

Günümüzde hızla yayılan kavram olan Hadoop aslında kelime olarak projeyi oluşturan Doug Cutting’in çocuğunun uydurduğu bir kelimedir. Fakat kolay söylenmesi ve akılda kalıcı olmasından ötürü bu adı kabul etmiştir Doug. İşlevsel olarak ise Hadoop, büyük verileri depolamak ve işlem yapıp yönetmek için kullanılan Java ile yazılmış açık kaynaklı bir yazılım çerçevesidir.Yani biz Hadoop ile büyük verileri daha kolay,basit ve ucuz bir yolla analiz edebilmekteyiz. Hadoop,aksaklık durumunda veya değişik makineye işi aktarmak gerektiğinde bunu makinelere kısa sürede dağıtarak işi tamamlar. Her türlü veriyi harika bir depolama ve neredeyse sınırsız eşzamanlı iş  ve işlerde yürütmemizi sağlar.

Hadoop Verileri Nasıl İşler?

Hadoop’un başlıca iki ana bileşeni vardır; MapReduce ve HDFS. Bunlardan MapReduce iki fonksiyondan oluşur.Map ve Reduce. Map, işin haritalandırma kısmıdır,veriyi paralel olarak işler.Reduce kısmı ise küçültme,azaltma anlamına gelir. Gelen iş yükünü istenilen ölçüde azaltarak istenileni elde etmemizi sağlar. HDFS (Hadoop Distributed Filesystem) ise büyük miktardaki verilerin kaydedilmesi ve işlenmesi için kullanılan bileşenidir. HDFS ve MapReduce sürekli olarak birlikte çalışır.Veriler ya da veri kümeleri HDFS üzerinden yüklendikten sonra sırasıyla Map ve Reduce aşamalarında işletilir.

Hadoop’un Önemi

Tabikide her sistemin kendine göre artı ve eksileri vardır.

Depolama ve işlemci hızı ve gücü bakımından önemi büyüktür. Çünkü günümüzde özellikle sosyal medya sürekli akan ve çok büyük verilerden oluştuğu için büyük veri analizi uygulamalarına uygun olması önemlidir. Bilgi işlem modeli düğümlerle yönetilir ve ne kadar çok düğüm kullanıyorsak o kadar çok işlem gücümüz olur ve hızlı bir şekilde işlenir.

Veri esnekliği bakımından düşünürsek de bildiğimiz sıradan veri tabanlarının aksine verileri önceden işleme zorunluluğumuz yoktur. Öncesinde istediğimiz kadar veriyi depolayabilir ve daha sonrasında yapacağımız işleme karar verebiliriz. Yapılandırılmamış verilerden resim, metin, videoları içerir.

Maliyetinin düşük olması da çok önemli bir etkendir. Açık kaynak kodu ücretsizdir ve büyük verilerin saklanması için farklı donanım kullanılır. Sadece düğüm ekleyerek daha fazla veri işlemek için sistem kolayca büyütülebilir.

Hata toleransı açısından ise veri ve uygulama işlemi, donanım arızasına karşı korunur. Bir düğüm kapanırsa, bilgisayarın başarısız olmadığından emin olmak için işler otomatik olarak diğer düğümlere yönlendirilir. Tüm verilerin birden fazla kopyası otomatik olarak saklanır. Hata minimize edilir.

Genel olarak diyebiliriz ki çok yüksek trafikte akan terabaytlarca veriyi yönetmek ve işlemek zorunda olduğumuzda verileri HDFS üzerinde saklayıp ve MapReduce ile verilerinizi analiz ederek teknik riskleri azaltmak ve hızdan kazanmak amacıyla Hadoop’tan yararlanabiliriz. Hadoop yazılımını destekleyen ve gelişmesine yardımcı olan şirketler arasında; Cloudera, Google, Amazon, Ebay, Yahoo, Facebook, Microsoft vardır.

Yazar Hakkında

Ecem Şengül

Yorum Yap

Powered by themekiller.com anime4online.com animextoon.com apk4phone.com tengag.com moviekillers.com