Big Data: tendências para 2017

por Thoran Rodrigues Terça-feira, 14 de fevereiro de 2017   Tempo de leitura: 3 minutos

Anteriormente fizemos um recap do último ano para a área de Big Data, explicando como 2016 foi não só difícil, mas de muita transformação. Menor atenção da mídia, problemas de segurança, desilusão do mercado empresarial, e até tentativas públicas de desacreditar a área foram alguns dos highlights do ano.

No entanto, todas essas dificuldades e transformações foram positivas, e as perspectivas para esse próximo ano são muito boas. Nesse espírito, listamos abaixo três tendências que acreditamos que vão marcar a área de Big Data em 2017.

Simplificação

Um dos maiores problemas de quem trabalha hoje na área de Big Data são as ferramentas. Temos hoje no mercado uma profusão de ferramentas, com dezenas (ou, em alguns casos, centenas) de produtos com áreas de atuação que se sobrepõe, ao mesmo tempo competindo e se complementando de forma a causar um nó mental em qualquer um que tente mapear a área.

Ao mesmo tempo, a grande maioria das ferramentas, principalmente as mais populares como o Hadoop e Spark, são extremamente complexas para se utilizar.

Essa complexidade se traduz de diferentes formas: às vezes, as ferramentas exigem um conhecimento profundo de programação e de suas arquiteturas internas para que possam ser utilizadas de forma efetiva; outras vezes, possuem interfaces que não são nem intuitivas nem amigáveis, exigindo um esforço grande de aprendizado.

Todas as complexidades se traduzem em uma restrição do uso. Usuários “normais” não se sentem capazes de empregar o ferramental, o que reduz as oportunidades de aplicação das tecnologias.

Já estamos vendo um movimento de simplificação das ferramentas (e de automação dos trabalhos mais “braçais”) de Big Data há pouco mais de um ano.

A tendência em 2017 é que esse movimento se acelere, com mais soluções que escondem a complexidade do ferramental dos usuários para que eles possam interagir com os dados de forma mais simples.

Alguns exemplos desse movimento são os novos serviços da Amazon Web Services (AWS Glue[https://aws.amazon.com/glue/] e AWS Athena[https://aws.amazon.com/athena/]), a nova versão do PowerBI da Microsoft [https://powerbi.microsoft.com/en-us/], e o Watson Analytics da IBM [https://www.ibm.com/us-en/marketplace/watson-analytics].

Consolidação

Como comentado acima, parte do problema do mercado de Big Data é a quantidade de ferramentas disponíveis no mercado e empresas atuando no mesmo. Essa fragmentação do mercado, junto com uma redução no interesse por parte do mercado, está levando naturalmente a área para um movimento de consolidação.

Empresas pequenas, especialmente as de consultoria, que simplesmente executam projetos, estão perdendo espaço, e aos poucos devem desaparecer (ou sendo compradas por consultorias maiores, ou simplesmente fechando as portas).

As empresas que oferecem ferramentas passam pelo mesmo processo. Aos poucos, os vencedores naturais nas diferentes áreas de aplicação de Big Data estão surgindo, e os perdedores tenderão a fechar as portas (ou simplesmente perder toda a relevância no mercado).  

Esse movimento tem dois desdobramentos importantes para quem já atua (ou quer atuar) na área. O primeiro é que você deve tomar cuidado na sua escolha de ferramentas. Em um momento de consolidação, escolher a ferramenta errada pode significar você ter que trocar de ferramenta em pouco tempo, algo que pode ser bem custoso.

O segundo é que, se você quiser montar sua empresa para atuar no mercado de Big Data (ou fazer algo relacionado com isso), você deve pensar bem e procurar escolher um nicho ou um tipo de aplicação que ainda não esteja saturado, para evitar concorrer com alguém que já tem grande tração no mercado.

Inteligência Artificial

A inteligência artificial é a nova área de hype da tecnologia. Se alguns anos atrás se falava em estratégias e empresas mobile-first, que pensam nos dispositivos móveis antes dos computadores tradicionais, o foco hoje é em AI-first (AI = Artificial Intelligence), ou seja, em se fazer aplicações e estruturar empresas preocupadas primeiro com a integração da inteligência artificial em seu funcionamento e em seu dia-a-dia.

Essa renascença da área de inteligência artificial é uma ótima notícia para a área de Big Data. O principal fator determinante da qualidade de uma inteligência artificial (seja ela para dirigir um carro, conversar com pessoas, controlar uma casa ou tomar decisões sobre investimentos no mercado de ação) são os dados utilizados para treinar o sistema.

Os carros autônomos que estão sendo criados hoje por empresas como o Google, Uber e outras mais só existem porque nos últimos anos acumulamos dados o suficiente de transito, de mapas, de ruas e de todos os outros fatores envolvidos na direção para que os modelos que tomam as decisões pudessem ser treinados. Até o AlphaGo [https://deepmind.com/research/alphago/], o sistema do Google que venceu um dos campeões mundiais no jogo Go, foi inicialmente treinado com milhões de resultados de partidas.

O volume de dados envolvido no treinamento desses sistemas é enorme, a variedade de formatos é praticamente sem fim, e novos pontos de dados são gerados constantemente. Esses três elementos fazem parte da definição clássica de Big Data, dos “3 Vs” (Volume, Variedade e Velocidade).

Isso significa que o ferramental de Big Data (e o conhecimento necessário para lidar com esse ferramental) é uma peça chave para a construção de inteligências artificias efetivas e de qualidade, e as empresas atuando de alguma forma nessa área vão ser as grandes demandantes de ferramentas e profissionais de Big Data no próximo ano.

Essas tendências são globais. No Brasil, andamos um pouco atrás do resto do mundo em boa parte das tendências de tecnologia, e para completar estamos ainda passando por um momento de crise, com a recuperação econômica projetada só para o meio de 2017 (ou até para 2018).

Assim, talvez não vejamos nesse ano a concretização de todas essas tendências, mas já estamos vendo hoje os primeiros passos nessa direção.

Você recomendaria esse artigo para um amigo?

Nunca

 

Com certeza

Deixe seu comentário

0 comentários

Comentários

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Comentando como Anônimo

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

CADASTRE-SE EM NOSSA NEWSLETTER