O que significa ser efetivo no TikTok? “Não é só dancinha. São números”, brincou Rodrigo Nasser, conselheiro do E-commerce Brasil e curador do palco Tecnologia, ao anunciar a última palestra no encerramento do primeiro dia de Fórum. Quem esperava uma abordagem de marketing tradicional saiu do auditório com uma verdadeira aula de experimentação e modelagem estatística.
Victor Jorge e Gabriel Gomes Ferreira, que fazem parte do time de Measurement Partner, começaram o discurso lembrando que as plataformas são boas para oferecer insights baseados em cliques ou modelos de atribuição. Mas deixam de lado a complexidade dos outros dados — que incluem incrementos baseados nas “idas e vindas” do usuário no TikTok, por exemplo.
Diante de uma jornada do usuário “não-linear”, a dupla considera fatores como séries temporais e impactos causais para testar modelos, comparar resultados e oferecer aos clientes as melhores formas de otimizar investimento em campanhas. Para explicar, trouxeram exemplos a partir de quatro tipos de testes de incrementalidade aplicados pela equipe no TikTok: Conversion Lift (CLS). Geo-Split, Causal impact e Creative framework.
Um olho no teste e outro nos KPIs
Por meio dos testes do tipo Conversion Lift (CLS), o time de Measurement Partner do TikTok consegue comparar resultados entre um grupo exposto à campanha e um grupo de controle, que não foi exposto. Isso permite avaliar o impacto real da campanha, isolando variáveis externas.
Outra variável importante é o que chamam “nível de investimento”: é preciso garantir um valor mínimo para que o teste não produza falsos dados positivos, distorcendo o resultado.
Quais outros dados podem ser isolados e testados para entender efeitos e comportamentos? “A gente entende que fatores externos impactam. Contaminação sempre vai existir. O que se faz é redução de danos: é o Tiktok que eu consigo controlar. Confio que o grupo controle sofre das mesmas variáveis externas”, explicam.
Nesse sentido, além dos próprios dados internos e os que as empresas podem oferecer, é possível realizar os Geo Split Tests, que exploram as diferenças entre comportamentos a partir de uma segmentação geográfica. Assim, a clusterização e comparação entre grupos de teste e controle levam em conta regiões similares, reduzindo a influência de fatores externos.
Qual o impacto dos investimentos de mídia?
A dupla ainda explicou as abordagens “Creative Framework”, que avalia como diferentes elementos criativos afetam a resposta da audiência; e a análise de “Causal Impact”, que identifica mudanças de comportamento nas campanhas a partir de relações de causa e efeito nos dados, a partir de uma intervenção com projeção esperada.
Em todos os casos, o desafio segue o mesmo: distinguir o impacto nos resultados a partir das variáveis escolhidas ou fatores externos. Eles ainda reforçaram o cuidado com séries temporais em função da relação de interdependência nas observações e à influência temporal. A escolha correta de métodos de análise é essencial para entender as tendências e padrões.
Em resumo: medir a efetividade de campanhas não é uma tarefa trivial. É preciso entender as particularidades dos dados, estabelecer hipóteses, partir para as experimentações e validar com significância estatística. “A ideia é usar experimentos para calibrar o modelo. Fazer atribuições tradicionais é a forma mais rápida, mas sem testar eu não consigo descobrir o real retorno sobre o investimento”.
Esse texto foi escrito por André Rosa, em cobertura especial para o Fórum E-Commerce Brasil 2023.
