Acesso rápido

Atribuição Offline: como avaliar o impacto de ações offline no ambientes online - Parte 2

por Arthur Portes Quinta-feira, 23 de maio de 2019   Tempo de leitura: 9 minutos

Na semana passada falei um pouco sobre Atribuição Offline  e seu paralelo com o online, o uso do Lift como forma de atribuir e algumas formas de obtê-lo. Só para recapitular, vamos ver aqui novamente os componentes do cálculo do Lift.

Paramos justamente nas diferentes formas de estimar o baseline. Passamos por:

1 – O uso dos minutos antecedentes a inserção como baseline;

2 – O uso da média de sessões em outros dias no mesmo horário como baseline.

E agora, sem mais delongas…

3. Modelos estatísticos para estimação do baseline

Claro, não poderia deixar de mencionar o supra-sumo, o crème de la crème, dos cientistas de dados: a modelagem estatística!

De antemão é importante dizer que é bem difícil começar a trabalhar com Atribuição Offline mergulhando direto em séries temporais bayesianas, machine learning e modelos preditivos. É necessário um alto conhecimento técnico e/ou estatístico, além de haver uma dificuldade maior no tratamento dos dados  —  para alimentar o modelo a ser usado  —  em relação às duas metodologias anteriores.

Conceitualmente, no entanto, a história aqui é a mesma: utilizando os minutos antecedentes à inserção (e também os mesmos minutos em outros dias, dependendo do modelo) para estimar um baseline. Ele é então subtraído do observado.

A principal vantagem de utilizar algum modelo estatístico na estimação do baseline é a superação de qualquer super ou subestimação por causa de anomalias e sazonalidade. Um modelo bem construído faz com que não se dependa de conclusões a longo prazo. Ele é capaz de trazer um valor confiável para cada inserção individualmente, mesmo que nunca antes tenha sido feito algum teste parecido. Por exemplo: uma nova emissora, um novo programa, um novo produto ou uma nova peça publicitária.

Há diversas opções de pacotes e bibliotecas para Python e R que auxiliam a trabalhar com séries temporais. Não há um modelo estatístico perfeito, então o recomendado é buscar as alternativas e avaliar o trade off entre a complexidade do seu manuseio e a assertividade do resultado.

Mensuração dos resultados

Até aqui muito foi falado sobre como obter algum valor que representasse o impacto do offline no online. Mas o que fazer com esse número?

Seja lá qual for a metodologia aplicada, é possível atribuir a cada inserção na TV, por exemplo, um valor ou uma métrica comparativa com a qual é possível elencar quais programas tiveram desempenho melhor que os outro.

Na tabela de exemplo a seguir, é possível tirar alguns insights:

O maior volume de Lift  —  de 600  —  foi trazido pelo Modelo B na TV Planeta. Para um foco em performance ou em uma campanha mais agressiva esse investimento pode ser prioridade.

Se o objetivo for economia, ou seja, o maior resultado possível pelo menor custo, o cenário se inverte. Todas as inserções têm um custo por Lift abaixo dos R$ 2,50, exceto o modelo B na TV Planeta, com o custo de R$ 8,33 por Lift.

A TV Tevê, no entanto, tem o custo médio por Lift mais baixo, por volta de R$ 1,92. A Rede Hipotética vem a seguir com um custo médio em torno de R$ 2,19 e então a TV Planeta com R$ 6,00. Caso as negociações de compra de espaço televisivo sejam feitas de modo que não é possível ter só o Modelo A ou Modelo B em determinada emissora, o investimento mais barato são as inserções na TV Tevê.

Pontos de atenção

Legal, até aqui tudo lindo e maravilhoso. Mas ao trabalhar com a Atribuição Offline é necessário ter algumas coisinhas em mente. Aqui vão algumas em relação ao que foi falado entre os 2 posts.

1. Superposição de Inserções

Quando trabalhamos com atribuição no mundo digital, nenhuma interação do usuário ocorre ao mesmo tempo em que a outra (exceto quando se tem a visualização de vários banners de uma mesma campanha em uma mesma página, mas vamos deixar isso de lado por ora). Cada clique ocorre em um instante distinto, então não é comum aqui discutir superposição.

Quando utilizamos o Lift na Atribuição Offline, no entanto, é possível que sejam veiculados dois comerciais em um intervalo bem curto de tempo, como um ou dois minutos, ou até no mesmo minuto. Isso passa a ser ainda mais problemático quando levamos em conta diversas emissoras na TV e estações de rádio.

É possível usar diversas regras para mitigar esse problema: ponderar com pontos de audiência, atribuir estritamente a um canal, utilizar machine learning para entender a regra de atribuição, entre outros. Apesar dessa publicação não ter entrado nesse assunto, o importante é ter em mente que a superposição pode ocorrer e ela deve ser trabalhada.

2. A Atribuição Offline não se resume ao Lift

O Lift é uma métrica comparativa entre inserções que traz uma informação além dos pontos de audiência. Outras informações podem ser usadas, como o próprio GRP em si, taxa de novos usuários, como fica a distribuição de origem/mídia após uma inserção, etc.

Especialmente em relação às fontes de tráfego, suas análises podem inclusive ter um foco em tráfego orgânico ou direto, uma vez que espera-se que o consumidor busque por sua marca após uma veiculação offline.

As metodologias também não precisam necessariamente serem aplicadas só sobre sessões. É possível utilizar o mesmo raciocínio para instalações de aplicativos ou alguma conversão em seu ambiente digital.

3. A TV está tirando gente do meu site?

Qualquer uma das metodologias pode trazer, para alguma inserção, um valor negativo para o Lift. Conceitualmente isso não faz o menor sentido: uma propaganda na TV faria com que menos pessoas passassem a abrir seu aplicativo, por exemplo? Nos casos de valor negativo para o Lift, recomendamos apenas zerar o resultado.

4. Granularidade dos dados

Quanto mais dimensões de quebra forem inseridas em suas análises (exemplo: Lift por emissora, programa, dia, estado, produto, cidade, etc) maior a granularidade dos dados. Isso significa que para cada combinação dessas dimensões o valor absoluto do Lift tende a ser menor (o próprio volume de sessões, minuto a minuto, é menor com um maior número de quebras).

Isso faz com que metodologias mais simples (como os minutos antecedentes sendo o Baseline) sejam menos assertivas. Tenha em mente que ao partir para uma granularidade maior é necessário sofisticar a metodologia na medida da necessidade de insights mais específicos.

Botando a mão na massa!

Tendo tudo o que foi comentado em mente, o passo mais importante da Atribuição Offline é começar a enxergar o on e o off não como duas entidades distintas que não se misturam, mas como meios complementares na jornada do consumidor.

Escolha alguma metodologia, faça alguns testes e comece a comparar os critérios utilizados tradicionalmente para compra de mídia offline com os novos insights que a Atribuição Offline vai trazer.

Este artigo é continuação deste aqui.

O texto original foi publicado na página da DP6.

Você recomendaria esse artigo para um amigo?

Nunca

 

Com certeza

 

Deixe seu comentário

0 comentário

Comentários

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Comentando como Anônimo

This site uses Akismet to reduce spam. Learn how your comment data is processed.

  Assine nossa Newsletter

Fique por dentro de todas as novidades, eventos, cursos, conteúdos exclusivos e muito mais.

Obrigado!

Você está inscrito em nossa Newsletter. Enviaremos, periodicamente, novidades e conteúdos relevantes para o seu negócio.

Não se preocupe, também detestamos spam.