Implantação de Big Data: uma aplicação no E-commerce

por Paulo Moreira Terça-feira, 12 de setembro de 2017   Tempo de leitura: 5 minutos

No ano de 2014, enquanto selecionava a universidade na qual gostaria de cursar o mestrado, um dos critérios era a aceitação da temática que queria abordar: Big Data em Pequenas e Médias Empresas.

Não só isso, Big Data em empresas do comércio eletrônico, setor no qual atuo desde 2008. Digo isso pois, por experiência própria, não é muito comum concordarem com o desejo de propor uma solução para um problema percebido no mercado em um projeto de dissertação.

A vontade de trabalhar com Big Data nasceu ao ouvir falar do assunto em eventos de E-commerce, tema que começou a ser amplamente discutido em 2011.

Por ser extremamente pragmático e fã de dados, obviamente Big Data me fascinou, e ao longo dos anos o que percebi no mercado foi: ouve-se falar muito sobre o assunto, porém, praticamente não se vê metodologia de como fazer.

Isso afasta, portanto, as pequenas e médias empresas deste meio, já que parece inacessível a elas, inviável de ser explorado. Percebi um “gap” aí e decidi tentar explorar, pois para mim, é muito claro que este paradigma poderia ser quebrado, o que ajudaria também a diminuir a desigualdade do mercado do E-commerce.

O objetivo foi audacioso pois, parti do nível de conhecimento zero, e após dois anos e meio de pesquisa, consegui descrever por completo um exemplo de um modelo aplicável de implantação. A intenção do projeto foi sair um pouco do campo das ideias, dos porquês, da demonstração dos resultados quase surreais em grandes empresas e/ou instituições governamentais, e trazer algo palpável para mim ou para você.

Desta forma, o que você irá encontrar a seguir é resumo do trabalho que foi desenvolvido, o qual inclui:

  • Por quê comércio eletrônico? Problema identificado.
  • Objetivo do projeto: o que é necessário para implantar Big Data e como fazê-lo?
  • O framework: passo a passo para implantar um projeto de Big Data
  • A quem este projeto pode ajudar?
  • Limitações e Considerações Finais
  • Download do Material

Acredita-se que o framework desenvolvido tem potencial para atingir, ao menos em termos de receita, mais de 30% do mercado de e-commerce no Brasil. Estas informações podem ser encontradas em detalhes na pesquisa realizada, e a mesma poderá ser adquirida no final deste artigo.

Por que comércio eletrônico? Problema identificado.

Desde o início das vendas online nos anos 90, enxerga-se o comércio eletrônico como um mercado promissor. No Brasil, de acordo com E-bit (2016), a taxa composta anual de crescimento média (CAGR) foi de 37% entre 2001 e 2015.

Um dos poucos segmentos no país que cresceu (8%) mesmo no ano de 2016 (Redação E-Commerce Brasil, 2017), em plena crise, segundo a última projeção de CAGR (de 2013 a 2018) o Brasil é o 4º lugar em vendas por comércio eletrônico, com média de 13,6%, 2,9% acima da média mundial (The Papers, 2015).

Apesar desses dados positivos, como profissional da área de e-commerce, tinha a percepção de que o setor era bastante desigual, e isto foi explorado.

Ao final das pesquisas, números comprovaram tal sentimento: em 2014, mais de 85% do faturamento ficou concentrado em 50 grandes empresas, ou seja, apenas 0,011% da quantidade de lojas virtuais existentes no Brasil (estimadas em 450 mil na época). Os cálculos são evidenciados no projeto.

E para explicar isso, algumas hipóteses foram levantadas:

  • Falta de acompanhamento de dados de negócio, principalmente, nas pequenas e médias empresas, pesquisa Sebrae (2016);
  • Inexistência de fontes para indicar que o setor e-commerce, realiza a coleta e armazenamento de dados, aproveitando ao máximo o volume e a variedade que pode-se obter, e com a velocidade necessária para tal;
  • Falta de conhecimento sobre o Big Data como forma possível para tratar-se das questões levantadas;
  • Desconhecimento dos benefícios de se tangibilizar economicamente o valor dos dados (Infonomics) (LANEY, 2012)

Claro que você pode se perguntar: mas se os dados demonstram que as PME’s não fazem o correto acompanhamento nem de KPIs (Indicadores Chave de Performance) básicas, por quê trabalhar com Big Data?

E aí está um dos paradigmas a serem quebrados, a desmistificação de que, por este motivo, não é viável falar de Big Data para PME’s.

Acredito que uma coisa não exclui a outra, há boas instituições lidando com a falta de acompanhamento sobre as KPI’s básicas dos negócios. Entendo ainda que isso faz parte da maturidade do mercado assim como da própria empresa.

Porém, o que não se encontra por aí é a resposta para: quem pode apoiar pequenas e médias empresas a começarem a navegar no universo do Big Data, de forma prática e real, e por quê razão elas devem atentar-se para isso?

Objetivo do projeto: o que é necessário para implantar Big Data e como fazê-lo?

A escolha da aplicação no meio do e-commerce não foi por acaso: além da experiência profissional nesta área, enxerga-se que setores acostumados a lidar com tecnologia são mais propensos e suscetíveis ao Big Data.

Assim, são as startups tecnológicas e as lojas virtuais, dois ambientes bastante competitivos e com maior abertura a criatividade, flexibilidade e inovação.

O comércio eletrônico, assim como todo negócio online, está imerso a uma enorme base de dados que podem ser explorados a seu favor.

Entende-se que trabalhar com tais dados, oferece as empresas mais subsídios e insights para as tomadas de decisão, o que desenvolve o negócio e pode diminuir a desigualdade, além de tornar as empresas mais competitivas frente até a lojas virtuais estrangeiras que atuam no Brasil.

Então, como permitir que as PMEs coletem, armazenem e utilizem essa grande massa de dados estruturados e não estruturados disponível em torno de seus negócios e que pode servir como suporte para os processos de tomada de decisão foi a pergunta levantada no projeto.

E para responder, a melhor solução é sem dúvidas a implantação de projetos de Big Data.

Portanto, o que o trabalho visa responder é: “Qual é a sequência de processos necessários para que as PMEs possam implantar projetos de Big Data e como fazê-lo?

O framework: passo a passo para implantar um projeto de Big Data

Uma das premissas para implantar um projeto de Big Data é definir um objetivo. Isso porque Big Data não é algo pronto, igual para todo projeto.

A maneira como se dará um projeto de Big Data é oriunda do problema que deseja solucionar, assim como suas limitações. O problema definido foi: como coletar os dados desestruturados das redes sociais, Twitter e Facebook, em tempo “quase real”, e trabalhar para se tornarem insights que deem mais informações a respeito de seus negócios?

O projeto consiste em um “tutorial”, ou seja, um guia prático, o qual demonstra um exemplo de implantação de Big Data voltado para o monitoramento (coleta e processamento de dados armazenados) das redes sociais mencionadas.

Os dados extraídos podem ser visualizados e trabalhados em ferramentas comuns, tais como o Excel, e outras de código aberto de Visual Analytics e Business Intelligence.

O passo a passo utilizado está descrito abaixo, e a metodologia utilizada foi a Design Science:

  1. A implantação do Hadoop a uma instância AWS (serviço de computação na nuvem, da Amazon).
  2. A instalação do Hadoop e do Cloudera Manager.
  3. O registro no ambiente de aplicação do Twitter.
  4. A configuração do Flume.
  5. A instalação do MySQL e configuração do Hive.
  6. A configuração do workflow Oozie.
  7. O streaming do Twitter: acesso em tempo real.
  8. A Conectividade ODBC (Open Database Connectivity) para com o Hive e queries básicas para o HQL (Hibernate Query Language).
  9. O streaming do Facebook e análise de sentimentos.

 

Workflow Artefato Big Data

Framework de Implantação de Big Data

A quem este projeto pode ajudar?

Este projeto teve como foco três públicos distintos: os gestores das empresas, os profissionais técnicos e a comunidade acadêmica. A seguir, apresenta-se como a leitura deste trabalho poderá contribuir para você.

Gestores de Empresas:

Como descrito no início deste artigo, os resultados desta pesquisa podem apoiar mais de 30% do mercado de E-Commerce no Brasil (números demonstrados no projeto), visto que este é um dos critérios de recorte que favorecem a viabilidade de projetos de Big Data.

Por meio deste trabalho o gestor poderá:

  • Conhecer gratuitamente mais a respeito do tema Big Data, pois as referências são oriundas das melhores publicações sobre o assunto;
  • Enxergar como o Big Data impacta o mundo dos negócios, de maneira global;
  • Perceber o que o seu segmento de atuação e/ou empresa sofre ou poderá sofrer em decorrer do Big Data;
  • O que fazer para adentrar neste universo, a fim de torná-lo mais competitivo;

O conteúdo encontrado é composto por:

  • Conceituando o Big Data: Definição; Velocidade; Volume; Variedade; Veracidade; Valor; Na Prática; Confusão; Correlação.
  • Tecnologias para o Big Data: Sofre as tecnologias; Integração das Tecnologias; Hadoop, MapReduce e HDFS; Outras tecnologias do ambiente Hadoop; Como desenvolver um projeto em Hadoop.
  • Recursos Humanos e Cultura
  • Definição de Estratégia
  • Riscos e Controle

Profissional Técnico:

Aqueles que atuam diretamente na tecnologia da informação e ainda não tem tanto conhecimento a respeito do assunto, as informações expostas acima podem ser de grande relevância.

Todavia, a maior contribuição é a descrição passo a passo do que foi feito, para atingir o resultado esperado.

Comunidade Acadêmica:

A utilização da metodologia do Design Science em projetos de dissertação na administração é, certamente, uma contribuição para a área.

Além disso, não há trabalhos no Brasil que tratam sobre o assunto de forma prática, portanto, inicia-se a discussão de Big Data também na academia.

Contudo, a principal contribuição é promoção da desmistificação de que projetos de Big Data são aplicáveis somente em grandes empresas.

Limitações e Considerações Finais:

Durante a fase de avaliação, devido às restrições de tempo impostas para o término do trabalho, não foi possível a aplicação da metodologia Delphi, a qual o validaria junto a profissionais do mercado, fundamentaria ainda mais o projeto.

Todo o framework apresentado foi baseado em aplicações reais do mercado, apoiando-se em projetos que tiveram sucesso para a sua elaboração, além dos materiais oficiais de cada uma das ferramentas.

Notou-se um dinamismo muito grande no que tange as mudanças ferramentais, tendo em vista que as várias ferramentas são constantemente atualizadas.

Outro ponto importante é que o ambiente de aplicação impacta diretamente na maneira como aplica-se os diversos recursos apresentados, sendo que é preciso flexibilidade e resiliência para buscar soluções nestas situações.

Apesar de tudo isso, ressalta-se que o framework foi elaborado com sólidas bases de conhecimento e passou rigoroso controle, conforme rege o método de Design Science Research, e foi aplicado pelo pesquisador em ambiente de homologação com sucesso. Sendo assim, entende-se que os fatores limitantes apresentados não retiram o valor do projeto.

O projeto tem melhor adequação e pode apoiar empresas que se adequem aos critérios expostos abaixo:

  • Receita Bruta: Empresa de pequeno porte: superior a R$ 360.000,00 ao ano, podendo atingir até R$ 3.600.000,00 (PRESIDÊNCIA DA REPÚBLICA CASA CIVIL, 2006). Empresa de médio porte: superior a R$ 3.600.000,00 e inferior a R$ 12.000.000,01.
  • Quantidade de funcionários (Sebrae, 2016): Empresa de pequeno porte: de 10 a 49 empregados. Empresa de médio porte: de 50 a 99 colaboradores.

O objetivo deste trabalho é dar um norte, servir de referência inicial para quem sempre desejou sair do mundo das ideias a respeito do Big Data, e partir para a prática mas não sabia como ou por onde começar.

Espera-se dos profissionais técnicos conhecimentos prévios e/ou vontade de pesquisar e aprender.

Porém, não deve-se supor que ao final da leitura ou mesmo aplicação do modelo apresentado, o profissional seja um “Cientista de Dados”, por exemplo. É apenas, um começo, um início concreto junto ao mundo do Big Data.

Além disso, por questões de disponibilidade, não pretende-se dar manutenção a este projeto, principalmente devido ao dinamismo das mudanças das ferramentas e as variações dos ambientes de aplicação.

 

Artigo publicado com autorização do autor. Original aqui.

Deixe seu comentário

0 comentário

Comentários

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Comentando como Anônimo

Hospedado por: Dialhost Transmissão de Webinars: Leads Qualificados: Dialhost Recrutamento & Seleção: Dialhost Métricas & Analytics: MetricasBoss People Marketing: Dialhost

  Assine nossa Newsletter

Fique por dentro de todas as novidades, eventos, cursos, conteúdos exclusivos e muito mais.

Obrigado!

Você está inscrito em nossa Newsletter. Enviaremos, periodicamente, novidades e conteúdos relevantes para o seu negócio.

Não se preocupe, também detestamos spam.