BİG DATA

Muhammet Sever
21 Nis 2019
4 dakikada okunur

Büyük veri, artan hacimlerde ve daha da yüksek hızda gelen daha fazla çeşitliliği içeren verilerdir. Bu, üç Vs olarak bilinir. Basitçe söylemek gerekirse, büyük veriler, özellikle yeni veri kaynaklarından daha büyük, daha karmaşık veri kümeleridir. Bu veri kümeleri o kadar hacimlidir ki, geleneksel veri işleme yazılımı onları yönetemez. Ancak, bu büyük miktardaki veriler, daha önce çözemediğiniz iş sorunlarını çözmek için kullanılabilir.

Büyük Veri Üç Vs

1-SES

Veri miktarı önemlidir. Büyük verilerle, yüksek hacimli, düşük yoğunluklu ve yapılandırılmamış verileri işlemeniz gerekir. Bu, Twitter veri yayınları, bir web sayfasındaki tıklama akışları veya mobil uygulama veya sensör etkin donanımlar gibi bilinmeyen değerdeki veriler olabilir. Bazı kuruluşlar için, bu onlarca terabayt veri olabilir. Diğerleri için, yüzlerce petabayt olabilir.

2-HIZ

Hız, verilerin alındığı ve üzerinde etkili olduğu hızlı hızdır. Normalde, en yüksek veri hızı, diske yazılmak yerine doğrudan belleğe aktarılır. Bazı İnternet özellikli akıllı ürünler gerçek zamanlı olarak veya gerçek zamanlıya yakın çalışır ve gerçek zamanlı değerlendirme ve eylem gerektirir.

3-ÇEŞİT

Çeşitlilik, mevcut olan birçok veri türünü ifade eder. Geleneksel veri tipleri yapılandırılmış ve ilişkisel bir veri tabanına tam olarak oturmuş. Büyük verilerin artmasıyla birlikte, veriler yeni yapılandırılmamış veri türlerinde gelir. Metin, ses ve video gibi yapılandırılmamış ve yarı yapılandırılmış veri türleri, anlam çıkarmak ve meta verileri desteklemek için ek ön işlemler gerektirir.

Büyük Verilerin Değeri ve Gerçeği

Geçtiğimiz birkaç yıl boyunca iki V daha ortaya çıktı: değer ve doğruluk .

Verinin kendine özgü değeri var. Ancak bu değer keşfedilene kadar faydası yoktur. Aynı derecede önemli: Verileriniz ne kadar doğrudur - ve ne kadar güvenebilirsiniz?

Bugün, büyük veri sermaye haline gelmiştir. Dünyanın en büyük teknoloji şirketlerinden bazılarını düşünün. Sundukları değerin büyük bir kısmı, daha fazla verimlilik sağlamak ve yeni ürünler geliştirmek için sürekli analiz ettikleri verilerinden geliyor.

Son teknolojik gelişmeler veri depolama ve hesaplama maliyetlerini katlanarak düşürdü, böylece her zamankinden daha fazla veri depolamayı daha kolay ve daha ucuz hale getirdi. Artık daha büyük ve daha erişilebilir büyük veri hacmiyle daha doğru ve kesin iş kararları verebilirsiniz.

Büyük verilerde değer bulmak yalnızca onu analiz etmekle kalmaz. Bu, içgüdüsel analistler, iş kullanıcıları ve doğru soruları soran, kalıpları tanıyan, bilgili varsayımlar yapan ve davranışları öngören yöneticiler gerektiren bir keşif süreci.

Ama buraya nasıl geldik?

Büyük Verilerin Tarihi

Her ne kadar büyük veri kavramı nispeten yeni olsa da, büyük veri setlerinin kökenleri, ilk veri merkezleri ve ilişkisel veri tabanının geliştirilmesiyle, veri dünyasının yeni başladığı 1960'lı ve 70'li yıllara dayanmaktadır. 2005 yılı civarında, insanlar Facebook, YouTube ve diğer çevrimiçi hizmetler yoluyla ne kadar veri ürettiğini fark etmeye başladılar. Aynı yıl Hadoop (özellikle büyük veri setlerini depolamak ve analiz etmek için oluşturulan açık kaynaklı bir çerçeve) geliştirildi. NoSQL ayrıca bu sırada popülerlik kazanmaya başladı. Hadoop (ve daha son zamanlarda Spark) gibi açık kaynaklı çerçevelerin geliştirilmesi, büyük verilerin büyümesi için çok önemliydi çünkü büyük verilerin çalışılmasını daha kolay ve depolaması daha ucuzdu. O zamandan beri, büyük verilerin hacmi fırladı. Kullanıcılar hala çok büyük miktarlarda veri oluşturuyor - ancak bunu yapan insanlar değil. Nesnelerin İnterneti'nin (IoT) ortaya çıkmasıyla, müşteriye kullanım şekilleri ve ürün performansı hakkında veri toplayarak internete daha fazla nesne ve cihaz bağlanır. Makine öğreniminin ortaya çıkışı hala daha fazla veri üretti.

Büyük veri çok uzaklaşsa da, faydası daha yeni başlıyor. Cloud computing, büyük veri olanaklarını daha da genişletti. Bulut, geliştiricilerin bir veri kümesini test etmek için geçici kümeleri kolayca döndürebilecekleri gerçekten esnek ölçeklenebilirlik sunar.

Büyük Veri ve Veri Analitiklerinin Yararları:

Büyük veriler, daha fazla bilginiz olduğundan daha eksiksiz cevaplar almanızı mümkün kılar.Daha eksiksiz cevaplar verilere daha fazla güven anlamına gelir - bu da sorunların çözülmesinde tamamen farklı bir yaklaşım anlamına gelir.

Büyük Veri Zorlukları

Veri depolama için yeni teknolojiler geliştirilmiş olmasına rağmen , veri hacimleri yaklaşık iki yılda iki katına çıkmaktadır . Kuruluşlar hala verilerinin hızına ayak uydurmak ve etkili bir şekilde saklamak için yollar bulmakta zorlanıyor.

Ancak sadece verileri depolamak yeterli değildir. Veriler değerli olmak için kullanılmalı ve bu da kürasyona bağlıdır. Temiz veriler veya müşteriyle ilgili ve anlamlı analizler sağlayacak şekilde düzenlenmiş veriler çok fazla çalışma gerektirir. Veri bilimcileri, zamanlarının yüzde 50 ile 80'ini gerçekten kullanılmadan önce küratörlük yapmak ve veri hazırlamak için harcıyorlar .

Son olarak, büyük veri teknolojisi hızla değişiyor. Birkaç yıl önce, Apache Hadoop büyük verileri işlemek için kullanılan popüler teknolojiydi. Sonra Apache Spark 2014 yılında tanıtıldı. Bugün, iki çerçevenin bir kombinasyonu en iyi yaklaşım gibi görünüyor. Büyük veri teknolojisine ayak uydurmak devam eden bir zorluktur.

Büyük Veri Nasıl Çalışır?

Büyük veri size yeni fırsatlar ve iş modelleri açan yeni bilgiler sunar. Başlamak üç ana eylemden oluşur:

Birleştirmek

Büyük veri, birçok farklı kaynak ve uygulamadan verileri bir araya getirir. ETL (çıkartma, dönüştürme ve yükleme) gibi geleneksel veri entegrasyon mekanizmaları genellikle işe bağlı değildir. Büyük veri setlerini terabayt ve hatta petabayt ölçeğinde analiz etmek için yeni stratejiler ve teknolojiler gerektirir.

Entegrasyon sırasında verileri getirmeli, işlemden geçirmeli ve işletme analistlerinin başlayabileceği bir biçimde biçimlendirildiğinden ve mevcut olduğundan emin olmalısınız.