Görsel: erwinboogertCC BY-SA 3.0kaynak sayfası ↗değiştirildi
2004 · Mountain View, Kaliforniya, ABD
MapReduce ve büyük verinin doğuşu
Google'ın iki mühendisi, binlerce sıradan bilgisayarı tek bir hesaplama düzeninde çalıştıran basit bir yöntemi yayımladı; veri, saklanan bir kayıt olmaktan çıkıp üzerinde sürekli işlem yapılan bir hammaddeye dönüştü.
2004'te Jeffrey Dean ve Sanjay Ghemawat'ın yayımladığı MapReduce makalesi yeni bir matematik önermiyordu. Önerdiği şey bir iş bölümüydü: büyük bir veri kümesini parçalara ayır (map), her parçayı ayrı makinede işle, sonuçları birleştir (reduce). Asıl yenilik, arıza varsayımıydı — binlerce ucuz makineden bazılarının her an bozulacağı kabul edilip, işi yeniden dağıtma mantığı sistemin içine gömüldü. Böylece hesaplama gücü, pahalı tek bir süper bilgisayardan, yenilenebilir sıradan donanım yığınına kaydı.
Açık kaynak karşılığı Hadoop birkaç yıl içinde yaygınlaştı ve maliyet eşiği düştü: daha önce silinen kayıtlar —tıklamalar, arama sorguları, sensör okumaları, konum izleri— saklanmaya değer hale geldi. 'Büyük veri' terimi, hacimden çok bu tutum değişikliğini anlatır: veriyi önce topla, ne işe yarayacağına sonra karar ver. Aynı altyapı, kısa süre sonra bulut hizmetlerinin ve 2012 sonrası derin öğrenme dalgasının zeminini kurdu; modern yapay zekâ modellerinin eğitimi, tam olarak bu ölçekte veri ve dağıtık hesaplama üzerine kuruludur.
Bu birikimin ikinci yüzü mahremiyettir. Kişisel verinin ticari bir varlık haline gelmesi, 2010'larda Avrupa Birliği'nin GDPR'ı gibi düzenlemeleri ve reklam ekonomisi üzerine süren tartışmaları doğurdu. Bugün bir arama kutusuna yazılan kelimenin, bir alışverişin ya da bir yürüyüşün ölçülebilir bir iz bırakması olağan sayılıyor; bu olağanlığın teknik zemini 2000'lerin ortasında kuruldu.
Galeri
Görsel: Carl LenderCC BY 2.0
Konum
Mountain View, Kaliforniya, ABD · © OpenStreetMap
Kaynaklar
- MapReduce: Simplified Data Processing on Large Clusters (Dean & Ghemawat, OSDI '04) — Google Research
- The Hadoop Distributed File System — Apache Software Foundation
- Big data — Encyclopaedia Britannica — Encyclopaedia Britannica