De când platformele social media s-au răspândit în viaţa noastră de zi cu zi, volumul de date schimbat prin intermediul acestora a crescut vertiginos. Scriem texte ce descriu o idee, o părere, un fapt; încărcăm imagini şi materiale video; ne manifestăm preferinţele folosind câteva butoane simple ("like", "favorite", "follow", "share", "pin" etc.); acceptăm în reţea oameni pe care îi ştim foarte bine în viaţa reală şi oameni pe care nu i-am întâlnit niciodată, probabil nici nu îi vom întâlni … Totul apare în reţea aproape în timp real!
Dintr-o dată, ne dăm sema că unitatea de măsură a datelor manevrate într-o perioadă de timp anume ajunge la ordinul de exabyte. Această masă de date nu este doar mare în volum, dar este şi extreme de diversă şi se mişcă cu viteze incredibile. Informaţia conţinută este relativ incomensurabilă. Cert este că Facebook, Twitter, Pinterest pot vedea când ne îndrăgostim, în ce stare suntem, unde ne aflăm şi alte comportamente sau stări pe care decidem să le arătăm.
Întrebarea este: ce putem face cu această cantitate masivă de date create prin intermediul social media?
Conform informaţiei colectate de IBM într-un raport realizat în baza unor surse furnizate de Mc Kinsey Global Institute, Twitter, Cisco, EMC, SAS, MEPTEC, QAS - merită să acordăm atenţie următoarelor fapte:
Legate de volum:
Legate de diversitate (varietate):
Legate de viteză (velocitate):
Legate de veridicitate:
La prima vedere putem descrie "Big Data" ca seturi foarte mari şi foarte complexe, imposibil sau greu de gestionat cu instrumentele clasice de procesare a datelor. Dacă noi am preluat sintagma din limba engleză, trebuie să notăm ca specialiştii francezi îl traduc în prezent cu sintagma "grosses données" ("date mari" "big data") sau "données massives" ("date masive" massive data) sau chiar şi "datamasse" (datamasă) precum "biomasă". Noutatea conceptului şi limitele neclare ale definiţiei împiedică oarecum adaptarea locală a termenului.
În 2012, Gartner (care a conturat oarecum termenul la începutul anilor 2000) a actualizat definiţia astfel: "Big data înseamnă informaţii de mare volum, mare viteză şi/sau mare varietate ce necesită noi forme de procesare pentru a facilita luarea deciziilor, descoperirea semnificaţiilor şi optimizarea proceselor."
Definiţia de mai sus conturează dimensiunile Big Data - cei 3V - volum, viteză, varietate. Totuşi, ceea ce este de reţinut din această formulare este că deschide perspective multiple asupra conceptului Big Data în sine. Recent un al 4-lea V a fost ataşat definiţiei: veridicitatea. Totodată merită notate şi cele trei perspective aplicate conceptului: cea tehnologică, cea de proces şi cea de afaceri.
Una dintre caracteristicile esenţiale ale Big Data provenite din social media este că sunt în sau aproape în timp real. Acest aspect oferă analizei exploratorii o perspectivă largă legat de ceea ce se întâmplă sau ce este pe cale să se întâmple la un moment dat într-un anumit loc.
Fiecare trăsătură fundamentală a datelor masive (Big Data) poate fi înţeles ca un parametru pentru analiza cantitativă, calitativă şi exploratorie.
Pentru analistul de date experimentat este esenţială capacitatea de a evalua conformitatea, acurateţea şi sinceritatea datelor supuse analizei. Aici discuţia se poartă în jurul responsabilităţii generatorului initial al datelor, scopului pentru care datele sunt emise şi reacţiilor receptorilor.
Una din cele mai mari provocări a momentului de faţă este construirea instrumentelor şi sistemelor cu care să gestionăm Big Data. Deoarece livrarea informaţiilor în timp real sau aproape în timp real este una din trăsăturile cheie ale analizei datelor masive, cercetările urmăresc să pună bazele unor sisteme de management al bazelor de date capabile să corespundă noilor cerinţe.
Tehnologiile în curs de dezvoltare cuprind următoarele:
Stocare: Pentru stocarea şi recuperarea datelor, dezvoltările NoSQL care sunt în prezent baza sistemelor actuale sunt reprezentate de MongoDB, DynamoDB, CouchBase, Cassandra, Redis şi Neo4j. În prezent acestea sunt cunoscute ca cele mai performante baze de date de documente, key value, coloane, grafice şi distribuite.
Software: Setul Apache Hadoop include Cloudera, HortonWorks şi MapR. Obiectivul principal al acestora este de a extinde utilizarea platformelor big data către o gamă de utilizatori mai diversă şi voluminoasă. În al doilea rând, aceste tehnologii se concentrează pe creşterea fiabilităţii platformelor de date masive, pe îmbunătăţirea capacităţii de a le gestiona şi de a controla indicatorii de performanţă.
Explorarea datelor şi descoperirea cunoştinţelor: explorarea şi descoperirea analitică a datelor masive este un subiect fierbinte din domeniul cercetării şi inovării. Un avans major a fost făcut de Datameer, Hadapt, Karmasphere, Platfora sau Splunk.
Când avem de-a face cu un nivel de ordine cu totul nou, captarea, stocarea, cercetarea, distribuirea, analiza şi vizualizarea datelor trebuie redefinită. Perspectiva gestionării datelor masive sunt enorme și de nebănuit!
Adeseori este pomenită posibilitatea de a explora informațiile distribuite în media, de a obține cunoștințe și de a evalua, analiza tendințe și de a emite previziuni, de a gestiona riscuri de toate tipurile (comercial, de asigurare, industrial, natural) și fenomene diverse (sociale, politice, religioase, etc.). În geodinamică, meteorologie, medicină și alte domenii exploratorii - de la big data se așteaptă o îmbunătățire a modului în care procesele se desfășoară și în care se interpretează datele.
Pentru a răspunde la întrebarea noastră inițială, cel mai bun lucru pe care îl putem face cu masa de date este de a o EXPLORA.
Pe cât de simplă pare la prima vedere, afirmația de mai sus are un impact puternic asupra modului în care vedem analiza datelor din viitorul apropiat. Modelul migrează de la cel tradițional în care planificăm, colectăm și abia apoi analizăm datele la un nou model în care colectăm toate datele posibile și abia apoi încercăm să identificăm tiparele (patterns) semnificative.
Noul model de analiză are riscurile proprii, dar deschide totodată calea către o nouă generație de analiști de date și oameni de știință în acest domeniu. În acesată ordine de idei, consider migrarea de la un model la altul ca rezultatul major al impactului pe care social media l-a avut până acum asupra modului în care percepem datele masive (big data).