Big Web já processou mais de 2 petabytes de informações provenientes de 3,5 milhões de endereços eletrônicos
Mapear constantemente cerca de 3,5 milhões de sites da Internet brasileira é o objetivo do Big Web, a nova plataforma da Big Data Corp., empresa especializada em soluções de Big Data. Ao todo, já foram processados 2,5 petabytes de informações, em mais de 50 bilhões de páginas visitadas.
A solução utiliza mais de 1 mil servidores para processamento de dados e consultas de páginas constantemente, levantando todo tipo de informação sobre a web para análises. A varredura aponta que, dos 3,5 milhões de endereços cadastrados, 2,2 milhões estão ativos atualmente e cerca de 50% dos domínios registrados no Brasil não respondem ou simplesmente redirecionam o usuário para outro site.
Outro dado de destaque é em relação às lojas virtuais, que compõem 16% da base ativa, e 40% do e-commerce está registrado fora do país. No total dos sites brasileiros, os endereços hospedados no exterior chegam a 20%.
As redes sociais têm uma presença significativa nos sites brasileiros. Integrado em mais de 50%, o Facebook é o líder, seguido pelo Twitter, presente em 48% dos endereços. Até mesmo o descontinuado Orkut ainda conta com 17% de presença.
“O Big Web surgiu de uma pergunta de um de nossos clientes: “Quantos e-commerces existem no Brasil?” Surpreendentemente, não havia uma resposta precisa no mercado. Vimos que essa carência abria espaço para uma aplicação clara dos conceitos de Big Data e, mais do que isso, que não precisávamos nos limitar exclusivamente a olhar o comércio eletrônico”, afirma Thoran Rodrigues, CEO da BigData Corp.