Makaleler

Big Data -Büyük Veri- Nedir?

“90% of All Data Generated in the Last 2 Years”

Tüm Verilerin %90’ı son 2 yılda üretildi. Bu tespit 2015 yılına ait. Yani demek oluyorki her geçen yıl veri üretimi katlanarak artıyor. İnsanlar kendilerini diğer canlılardan ayıran analitik düşünme gücü ve sosyalleşme becerisi gibi özellikler nedeniyle dünyanın hakimi oldu.  Peki tüm dünya ile birlikte insanları kim yönetti ve yönetiyor? Bu sorunun cevabı için  farklı dönemlerde farklı güç unsurları karşımıza çıkıyor. İnsanların avcı toplayıcı olarak yaşadığı dönemlerde muhtemelen fiziksel üstünlük kabile liderliği için yeterli şarttı. Şehir devletleri ve ülkeler ortaya çıkınca önce Tanrı Krallar gibi kutsallaştırılmış insanlar, savaş stratejisi ve ikna kabiliyeti yüksek komutanlar yönetimi ele geçirdi. Sonraları çok gezenler bu hakimiyeti ele geçirmeye başladı. 14. Yuzyıl başlarında ilk keşiflerle birlikte kolonileştirmeler, uzak adalarda gerçekleştirilen fetihler ile özel şirketler imparatorluklardan daha güçlü konumlara yerleştiler.  Geçmişi M.Ö. 3500’lere kadar dayanan bankacılık ise 17.Yuzyılda banknotun1   kullanımı ile şekil değiştirerek hakimiyeti ele geçirdi.

O yıllarda paranın karşılığı olan altın, gümüş gibi değerli madenlere 19.yüzyıl itibariyle petrolde dahil oldu ve bir kez daha hakimiyet savaşları başladı. Kimilerine göre güç kaynakları değişse de gücün sahibi hem aynı aile mensupları oldu. Bu gerçekten böyle midir bilmiyoruz ama teknolojinin hızlı gelişimi aristokrat yapıyı bozduğunu yani zenginliğin ebeveynden çocuğa geçtiği dönemlerin  artık eskisi kadar geçerli olmadığını görüyoruz.  Güney Afrika’da sıradan bir ailenin çocuğu olarak dünyaya gelen Elon Musk, evinin garajında ortağıyla birlikte bugün dünyanın en büyük 10 şirketi arasında yer alan Apple’ı kuran Steve Jobs gibi birçok örnek gösteriyor ki teknolojik gelişmeler bilginin erişimini kolaylaştırarak fırsat eşitliği sağlıyor.

Big Data (Büyük Veri) Nasıl Ortaya Çıktı?

1990’lı yıllara kadar bilgisayarlar Moore Kanunun2 öngördüğü biçimde gelişti. Ancak bilginin ulaşılabilirliği 2000’li yıllarda internetin yaygınlaşmasıyla birlikte katlanarak tahmin edilemeyen boyutlara ulaştı.

Big Data – Büyük Veri kavramı ile 2005 yılında, Roger Mougalas tarafından, Web 2.0 terimini oluşmalarından bir yıl sonra kullanıldı. 2013 yılında ilk olarak Oxford İngilizce Sözlüğünde yerini aldıktan sonra kavram hızla yayıldı. Big Data ismi; geleneksel iş zekası araçlarını kullanarak yönetimi ve işlenmesi neredeyse imkansız olan geniş bir veri grubuna atıfta bulunur.

Sektör uzmanlarından Doug Laney Big Data’yı 3 temel boyutta tanımlıyor.

Hacim

Bir zamanlar tüm verileri sayılar ve harflerle ifade ederken gerçek zamanlı video, fotoğraf, müzik verilerinin paylaşılması ile veri hacmi öngörülemeyen boyutlara ulaştı. Tabi bu durumda veri saklamak için kullanılan geleneksel cihazlar yerini yeni nesil sistemlere bırakıyor.

Hız

Vizontele’yi izleyenler bilir.  Filmde belediye başkanı Nazmi Bey’i canlandıran Altan Erkek’linin şöyle bir sözü var: “Buraya gazeteler iki gün sonra geliyor. Biz duyduğumuz bir havadise şaşırdığımız zaman büyük şehirdeki insanlar çoktan unutmuş oluyor.

20 yıl öncesinde bir önceki haberler güncel kabul edilirken, bugün itibariyle haber niteliği taşıyan bir olay birkaç dakika içerisinde milyonlara ulaşıyor. Güncellik algısının bu ölçüde değişmiş olması habercilik yapısını da tamamen değiştiriyor.

Yani büyük hacimli verinin saniyeler içerisinde maksimum tüketiciye ulaşması gerekiyor.

Çeşitlilik

2000’ler öncesinde şirket bilgileri deyince aklımıza sadece Excell dosyaları gelirken, bugün ERP, MES, MOS gibi kavramların ortaya çıkması, kalite güvence, üretim, bakım ve diğer departmanların  Veri  Odaklı yönetime evrilmesi, farklı formatlarda büyük verinin aynı platformda yönetilmesi ihtiyacını doğurdu.

İşte tüm bu beklentilerin ortaya çıkması, teknolojinin ihtiyaçlar doğrultusunda evrimine sebep oluyor. Büyük Veri Yönetim ihtiyacı ortaya “veri kümeleri ile birden fazla alt sistemde işlem yapılmasını sağlayan açık kaynak kodlu kütüphane” olarak tanımlanan Hadoop‘u çıkardı .

Dünyada üretilen veri sayısının üssel artışı akla bazı soruları getiriyor;

  1. Bu kadar veriyi saklamaya ihtiyaç var mı?
  2. Hangi verinin ne kadar saklanacağına kim nasıl karar verecek?
  3. Bütün bu veriler aynı hızla katma değerli duruma dönüştürülüyor mu? Yani Zenginleştiriliyor mu? Aksi taktirde evreni bir veri çöplüğüne mi dönüştüreceğiz?

Bütün bu soruların cevapları hakkında fikir yaratabilmek için yine başka bir veriye ihtiyaç duyuyoruz;

Bu veriler nereden geliyor?

Bu sorunun cevabını internet kullanıcıları olarak kendimizde bulabiliriz. Acaba dijital dünyada 1 gün içerisinde gerçekleştirdiğimiz faaliyetlerde ne kadar veri üretiyoruz?

2017 tarihli Data Never Sleeps 5.0 raporuna göre günün her dakikasında üretilen veri miktarı için aşağıdaki çarpıcı örneklere bir göz atalım.

  • 15 milyondan fazla mail gönderiyoruz.
  • Yaklaşık 103 milyon adet spam mail gönderiyoruz.
  • 456 bin tweet atılıyor.
  • Instagram’dan 46.760 adet fotoğraf paylaşılıyor.
  • Amazon yaklaşık 259 bin dolarlık satış yapıyor.
  • Youtube’tan 4 milyon video paylaşılıyor
  • Google’da 3 milyon 600 bin arama yapılıyor.

Şimdi tekrar sorularımıza dönelim

Bu kadar veriyi saklamaya ihtiyaç var mı?

Bir gün Instagram’dan söyle bir mesaj aldığımızı hayal edelim;

“Hergün yeni abonelerin eklenmesi ve her birinin onlarca fotoğraf paylaşması nedeniyle yerimiz kalmamıştır. Bundan sonra paylaşım yapmak için önce eski paylaşımlarınızdan birini silmeniz gerekmektedir”

Bu durumda kullanıcılarına daha fazla alan sağlayan herhangi bir paylaşım sitesi Instagram’ı tahtından indirecektir. Dolayısıyla her ne kadar işlevsiz de gözükse sosyal medya kanallarının paylaşımlara kota koyma şansı yok. Aynı şey Youtube, Wikipedia ve diğer paylaşım siteleri  içinde geçerli elbette. Hatta şu anda okuduğunuz yazı için de aynı durum söz konusu…

Bugün dünyanın öbür ucundaki müşterimize gönderdiğimiz bir e-maili kaç yıl saklamak gerekecek? 5 yıl mı? 10 yıl? Yada daha mı fazla?

Hangi verinin ne kadar saklanacağına kim nasıl karar verecek?

Sosyal medya için bu sorunun cevabı belli. İnsanlar hesabını kullanmaya devam ettiği sürece tüm paylaşımları saklanıyor.

Özel Şirketler muhtemelen garanti ve anlaşma süreleri yada yasal mevzuatlarla bu soruların cevaplarını prosedürlerine eklemişlerdir.

İşin zor kısmı yasal mezvuatların dışında ürettiğimiz verilerin saklanmaya değer olup olmadığına karar vermek. Hangi veri işimize yarar? Hangi veri bugün olmasa da birgün işimize yarayacak? İşte bu soruların cevabını verebilmek için verilerin iş çıktılarıyla ilişkilendirilmesi gerekiyor. Ancak bunu sağladıktan sonra bir karar mekanizması oluşturarak verileri işlemeye ve saklamaya değer yada çöp olarak ayırabiliriz. Bunun için hem operasyonel hemde veri bilimi konusunda yetkinlik gerekiyor.

Bütün bu veriler aynı hızla katma değerli duruma dönüştürülüyor mu? Yani Zenginleştiriliyor mu? Aksi taktirde evreni bir veri çöplüğüne mi dönüştüreceğiz?

Internet of Things –IoT- (Nesnelerin İnterneti) ile etrafımızdaki herşey veri üretir ve paylaşır oldu. Akıllı telefonlar, akıllı saatler ile yer bildirimleri, mail, mesaj ve paylaşımlar, uzaktan kumanda edilen ısıtma soğutma sistemleri, OGS, HGS’ler, hergün işyerlerimize giriş çıkışlarımızı kontrol eden barkotllu kimlik kartlarımız, toplu taşımada kullanılan kartlar, kredi kartlarımız gibi birçok örneğe her geçen gün yenileri ekleniyor.

Otonom araçlar konusunda yapılan çalışmalarda hız kesmiyor. Tesla’nın sürücüsüz arabasının bügün itibariyle güvenilirliği %90’lara ulaşmış durumda. Arabaların üzerinde bir sensor kutusu var. Lidar isimli bu aygıt saniyede 1 milyon lazer sinyali göndererek cevap alıyor. İşin diğer dikkat çekici yönü ise bu cihaz 2007’de ilk çıktığında 150 bin dolar iken 2016’da 250 dolara kadar düştü. Yani artık çok daha fazla kişi yada kurum böyle bir cihazı hayatına sokabilir.

Arabalar, evler ve kullandığımız bir çok şeyin ürettiği milyonlarca veriyi işlevsel hale getirecek bir alt yapımız var mı? Yerel yönetimler, özel şirketler, insanlar bu geleceğe hazır mı?

Bu konuda uzmanlar önümüzdeki yıllarda üretilen verinin aynı hızla ve etkinlikle işlenememesinden kaynaklı belkide  karmaşaya sebep olacak bir durumun ortaya çıkabileceğini düşünüyorlar.

Bu öngörü gösteriyor ki hem kamusal alanda hemde özel organizasyonlarda geleceğin aranan mesleklerden biri Data Scientist -Veri Bilimci- olacak. Veri seçme,  okuma, ve ilişkilendirme konularında uzmanlaşmış kişiler için şirketler yatırım yapmaya başladı bile.

World Economic Forum’un 2018’deki raporuna göre 2022 itibariyle şirketlerin benimsemeleri muhtemel teknolojiler grafikteki gibi öngörülmüş.

Kaynak: Future of Jobs Survey 2018, World Economic Forum.

Son Sözler

Gelecek söz konusu olduğunda genellikle bir tedirginlik yaşarız. Algılarımız binlerce yıldır  bilinmezlik konusunda temkinli davranma yönünde evrimleştiğinden geleceğin karanlık yüzü hep daha fazla ön planda kalmıştır. 100 yıl önce insanlara 2000’li yıllar sorulduğunda akıllarına muhtemelen büyük oranda felaket senaryoları gelmiştir. Oysa insanlar belkide en bugün belki de en şanslı dönemini yaşıyor.

Gelecekte Veri Yönetimi süphesiz farklı boyutlar kazanacak. Bizi hangi gelişmelerin beklediğini kestirmek zor. Ancak bu gelişmelerin insanlığın yararına olacağına inanıyorum. İnsanlık sosyal ilişkilerle elde ettiği ortak akıl sayesinde; zor doğa koşulları, hastalıklar, açlık gibi zorlukları büyük ölçüde yenmiş. Bugün dijitalleşme ile dünya etrafına sanal ağ örülüyor. Bilgi, birkaç elitin elinden çıkarak herkesin elde edebileceği bir hale geliyor. Bu ağ sayesinde ortak akıl bugüne kadar hiç olmadığı kadar güçlü hale gelecek. Bugün çözümü olanaksız gibi gözüken birçok problem ortak akıl sayesinde problem olmaktan çıkacak. Gelecekten en karlı çıkacak birey ve kurumlar evrensel aklı en etkin şekilde kullananlar olacaktır.

Notlar
  1. Ortaçağda batıda bitmek bilmeyen savaşlar hanedanların elindeki altın gümüş gibi değerli eşyaları kaybetmesine neden oluyordu. Çözüm olarak bu değerli madenleri kuyumculara emanet etmeye başladılar. Bırakılan her gümüş yada altın için kuyumcudan daha sonra sertifikaya dönüşen notlar almaya başladılar. Bir süre sonra bu iş o kadar çok yaygınlaştı ki sertifikalar altın gibi değerli hale geldi. Kuyumcuların bir kısmı bankacı olurken mevcut bankalarda altın ve gümüş emanetçileri haline geldi. Bugün kullanmakta olduğumuz Banknote‘lar o günlerde emanet edilen altın yada gümüş için “Banka Notu” anlamına geliyordu.
  2. Moore kanunu, bir entegre devre içindeki transistörlerin sayısının her 24 ayda bir ikiye katlanacağı gözlemini ifade eder. Gözlem, dünyanın en büyük teknoloji şirketlerinden birinin CEO’su olan Gordon Moore‘un 1965 yılında ‘Electronics Magazine’ adlı dergide yayınlanan makalesi ile gündeme gelmiştir.
    Gordon Moore‘un bu konudaki asıl teorisi; işlemci gücünün her 2 yılda bir 2 kat artacağı ve buna rağmen fiyatının yükselmeyeceği hatta belki düşeceği üzerinedir.

     

Yazar Hakkında

İlker Dikmen

Lean 6 Sigma Black Belt

Yorum Yap

Powered by themekiller.com anime4online.com animextoon.com apk4phone.com tengag.com moviekillers.com