“Not everything that counts can be counted, and not everything that can be counted count”. Você já deve ter lido esta frase antes, se não leu, trata-se de uma reflexão de Albert Einsten, de meados do século passado. O que parece um popular trava-língua hoje pode ser considerado premissa básica para o Big Data.
O termo Big Data é a buzz word do momento, entretanto, mais do que uma buzz word, é uma realidade já vivida por muitas empresas.
De maneira geral, Big Data é toda informação gerada por pessoas e empresas todos os dias, são os posts, fotos, check-ins e interesses nas redes sociais, os cookies da navegação na web, os hábitos de consumo, os dados do cartão do crédito, as informações de geolocalização do gps, as vendas do ano passado, o desempenho dos concorrentes, os relatórios do departamento de pesquisa e desenvolvimento, o lançamento de um novo produto, e milhares de outros dados.
Todos estes dados quando combinados e analisados ajudam as empresas a criar produtos mais assertivos, a entender profundamente seus consumidores e prospects, a identificar oportunidades de mercado, antever crises e minimizar seus impactos e criar diferenciação. O Big Data busca encontrar um significado real para o negócio.
O desafio é justamente identificar e armazenar os dados que realmente fazem ou irão fazer sentido ao negócio e utilizar as ferramentas corretas para combiná-los e analisá-los. Portanto podemos dividir os Big Challenges do Big Data em quatro etapas: identificar, armazenar, combinar e analisar.
O primeiro e talvez o maior desafio seja identificar os dados corretos, muitos podem discordar e entender que o grande desafio é a análise, porém quando se têm os dados corretos a análise se torna uma tarefa menos complexa, e é neste ponto que a premissa de Einsten faz mais sentido.
Como exemplificado no terceiro parágrafo, existem muitos dados a serem armazenados, muita informação é gerada todos os dias, novas informações, jamais antes observadas, surgem causando grande impacto nos negócios.
Segundo a IBM (http://www-01.ibm.com/software/data/bigdata/), são gerados 2,5 quintilhões de bytes de dados por dia, por isso o segundo desafio é armazenar os dados. Este que já foi o grande desafio nas décadas de 80 e 90, hoje é solucionado com as mais avançadas tecnologias de computação cognitiva, data warehouses, stream computing, entre outras novas tecnologias. O grande desafio fica nos altos investimentos para ter acesso a essas tecnologias, que são influenciados diretamente pela quantidade e complexidade dos dados armazenados.
O terceiro desafio está em combinar os dados, são inúmeras as fontes: CRM, BI, WebAnalytics, Multi Channel Analytics, Painéis de Audiência, Ad servers, Trends Tools, etc. Cruzar as informações, encontrar inter-relações e até tarefas mais simples como associar informações de um mesmo usuário podem ser um grande desafio quando o BI não é criado com uma base muito bem estruturada.
O Big Data não está diretamente associado à quantidade de dados armazenados, mas na profundidade dos insights gerados a partir deles, assim nasce o quarto e último desafio, a análise.
As análises podem seguir critérios semânticos, utilizados para entender termômetro nas redes sociais, comportamento de busca, entendimento do serviço e/ ou produto comercializado, entre outros. As análises podem ser preditivas, que busca projetar um cenário de vendas, ou a next-best offer em um e-commerce, a conversão de um carrinho abandonado, resumindo, é todo o dado que busca entender um comportamento futuro. Outra forma de análise é baseada em inferência, ou seja, parte da possibilidade de um comportamento. Colocamos uma hipótese para uma base aleatória, um teste A/B, à partir destes resultados são gerados os dados para análises definitivas.
Apesar de existirem dezenas de boas ferramentas que ajudam nas análises, este certamente é o trabalho que depende mais da sensibilidade humana, que nenhum algoritmo pode, pelo menos ainda, substituir.
É importante frisar que, apesar do Big Data trazer big challenges, as big oportunidades são maiores.