btbilgi

Karanlık veri (dark data) internet üzerinde hiçbir işe yaramayan, tanımlanamayan ve yapılandırılamayan veri yığınına verilen isim. Apple işte bu veri yığınına mana katmaya çalışan Lattice Data firmasını 200 milyon dolar fiyatla satın alarak bu verileri peşine düşecek. Lattice Data karanlık veriyi kullanılabilir hale getirmek için yapay zeka ve makine öğrenme teknikleri kullanan çözümler geliştirmekteydi.

2013 yılı itibarıyla dünya üzerinde 4,4 zetabyte veri bulunuyordu, doğal olarak bu rakam hızla yükseliyor. Uzmanlar 2020 yılında bu miktarın 44 zetabyte’ı geçeceğini öngörüyorlar. IBM’in bir büyük veri araştırmasında her gün 2,5 kentilyon (katrilyon’un bir üzeri basamak, yani 1 ve yanında 18 adet sıfır) byte veri üretildiği ifade ediliyor. IBM toplamda varolan verinin yüzde 90’ının sadece geçmiş iki yılda üretildiğini de belirtiyor.

Bu veri dağının yaklaşık yüzde 70-80 civarının karanlık veri olduğu tahmin ediliyor. Yani tanımlanması ve analiz edilmesi imkansız. Dolayısı ile kimsenin işine yaramıyor. Bu verilerin büyük kısmı hiçbir etiketi, tanımı, kategorisi veya ayırt edilebilecek ifade bilgisi olmayan görseller ve metinlerden oluşuyor. İşte Lattice Data firmasının DeepDive isimli projesi bu veriyi yapay zeka teknikleri ile tarayıp anlamlı hale getimeye yarıyor.

DeepDive 2015’de Stanford Üniversitesi’nin bir araştırma projesi olarak doğmuş. Proje MacArthur akademik burs sahibi Stanford profesörü Christopher Ré, büyük veri sistemi Hadoop’ın kurucularından Michael Cafarella, Raphael Hoffmann ve Feng Niu tarafından geliştirilmiş. Daha sonra Lattice Data ismi ile şirketleşen proje, şimdi Apple tarafından satın alınmış ve şirketin 20 civarı mühendisi Apple’a dahil edilmiş.

Karanlık veri ilk bakışta işe yaramaz gibi dursa da, eğer doğru şekilde kategorize edilebilir, tanımlanabilir ve işlenebilirse çok değerli hale gelme potansiyeli var. Nihayetinde her türlü veri eğer analiz edilebilirse işe yarar; girmekte olduğumuz Nesnelerin İnterneti çağında da veriden daha değerli bir şey yok.

Yorumlar
btbilgi
PAYLAŞ
blank
xTRlarge, Türkiye'nin (TR) üretici ve yenilikçi potansiyelini sergilemek; farklı bakış açılarını, yeni tarzları, x sayıda yeni değeri, girişimi, fikri yansıtmak; teknolojiden doğaya, iş yönetiminden tasarıma, insana dair faaliyetlerin en geniş ufkunu sizlerle mümkün olduğu kadar geniş 'large" paylaşabilmek için yola çıktı. Geleceğe inancı olanlarla birlikte mesafe katetmeyi planlıyor.