Big Data Live fra Open World


Computas er til stede på Oracle Open World i San Francisco og som ifjor er det Cloud og Big Data som er de store ordene. Industrisynserne snakker fortsatt om de store V’ene: Volum, Velocity, Variation og nå også Value. De redefinerer mange kjente trender som deler av Big Data. “Event processing”, “Sensor data”, “Social Software”. Og det oppfattes omtrent like tåkete som det av og til kan være i Fog City.

I teknologi enden av skalaen dreier det meste seg om NoSQL (i realiteten en teknologi basert på Berkely DB fra 80-tallet) og Hadoop MapReduce (med arv tilbake til fra Google og Yahoo). Det dreier seg om Java APIer og installasjon av Oracles NoSQL database, men budskapet her sier lite om hvorfor Big Data er anderledes enn ting vi har gjort før.

En plass imellom her finner du derimot essensen. Big Data omhandler evnen til å samle og lagre all informasjon vi skaper, og benytte den enhetlig. Mens vi før har kun tatt vare på resultatet av en transaksjon tar vi nå vare på alle stegene frem til et kjøp eller avgjørelse. Og vi har for første gang teknologi som tillater oss å ta vare på alle dataene vi kreerer. Det store spørsmålet da er om vi klarer vi å utnytte disse dataene? Klarer vi å generere ny kunnskap basert på disse dataene? Klarer vi å finne mønster? Klarer vi å forstå dataene? Klarer vi å forstå kvaliteten på dataene? Til dette trenger vi gode analyseverktøy.

I Big Data verdenen er det en Data Scientist som skal legge dataene til rette, og svare på disse spørsmålene og det er stor enighet om at behovet her raskt kommer til å raskt overgå tilgjengelig kompetanse. Teknologisk betyr dette ikke bare et stort skifte fra prosesser til data, men også et skifte hvor man bruker et sett av teknikker for å oppnå de ønskede resultatene.

Som en demonstrasjon viste Larry Ellison, CEO i Oracle, Big Data over Twitterspace der 4,9 milliarder tweets samlet over 10 dager ble analysert sammen med strukturert informasjon i sanntid for å besvare et tenkt spørsmål om hvem som er den beste olympier for å promotere Lexus?  Det forholdsvis enkle spørsmålet krever enorm dataprosessering og et sett av teknikker. Dataene ble brutt ned til tilsammen 27 milliarder statements, og en rekke relasjoner og teknikker fra strukturerte elementer av tweets, hashtags, re-tweeting og sentiment analyser ble kjørt på Exalytics og Exadata. Svaret? Jo det var Gabby Douglas, US Gymnast.

20121002-145853.jpg

Advertisements