Atribuição Offline: como avaliar o impacto de ações offline no ambientes online - Parte 2

por Arthur Portes Quinta-feira, 23 de Maio de 2019   Tempo de leitura: 9 minutos

Na semana passada falei um pouco sobre Atribuição Offline  e seu paralelo com o online, o uso do Lift como forma de atribuir e algumas formas de obtê-lo. Só para recapitular, vamos ver aqui novamente os componentes do cálculo do Lift.

Paramos justamente nas diferentes formas de estimar o baseline. Passamos por:

1 – O uso dos minutos antecedentes a inserção como baseline;

2 – O uso da média de sessões em outros dias no mesmo horário como baseline.

E agora, sem mais delongas…

3. Modelos estatísticos para estimação do baseline

Claro, não poderia deixar de mencionar o supra-sumo, o crème de la crème, dos cientistas de dados: a modelagem estatística!

De antemão é importante dizer que é bem difícil começar a trabalhar com Atribuição Offline mergulhando direto em séries temporais bayesianas, machine learning e modelos preditivos. É necessário um alto conhecimento técnico e/ou estatístico, além de haver uma dificuldade maior no tratamento dos dados  —  para alimentar o modelo a ser usado  —  em relação às duas metodologias anteriores.

Conceitualmente, no entanto, a história aqui é a mesma: utilizando os minutos antecedentes à inserção (e também os mesmos minutos em outros dias, dependendo do modelo) para estimar um baseline. Ele é então subtraído do observado.

A principal vantagem de utilizar algum modelo estatístico na estimação do baseline é a superação de qualquer super ou subestimação por causa de anomalias e sazonalidade. Um modelo bem construído faz com que não se dependa de conclusões a longo prazo. Ele é capaz de trazer um valor confiável para cada inserção individualmente, mesmo que nunca antes tenha sido feito algum teste parecido. Por exemplo: uma nova emissora, um novo programa, um novo produto ou uma nova peça publicitária.

Há diversas opções de pacotes e bibliotecas para Python e R que auxiliam a trabalhar com séries temporais. Não há um modelo estatístico perfeito, então o recomendado é buscar as alternativas e avaliar o trade off entre a complexidade do seu manuseio e a assertividade do resultado.

Mensuração dos resultados

Até aqui muito foi falado sobre como obter algum valor que representasse o impacto do offline no online. Mas o que fazer com esse número?

Seja lá qual for a metodologia aplicada, é possível atribuir a cada inserção na TV, por exemplo, um valor ou uma métrica comparativa com a qual é possível elencar quais programas tiveram desempenho melhor que os outro.

Na tabela de exemplo a seguir, é possível tirar alguns insights:

O maior volume de Lift  —  de 600  —  foi trazido pelo Modelo B na TV Planeta. Para um foco em performance ou em uma campanha mais agressiva esse investimento pode ser prioridade.

Se o objetivo for economia, ou seja, o maior resultado possível pelo menor custo, o cenário se inverte. Todas as inserções têm um custo por Lift abaixo dos R$ 2,50, exceto o modelo B na TV Planeta, com o custo de R$ 8,33 por Lift.

A TV Tevê, no entanto, tem o custo médio por Lift mais baixo, por volta de R$ 1,92. A Rede Hipotética vem a seguir com um custo médio em torno de R$ 2,19 e então a TV Planeta com R$ 6,00. Caso as negociações de compra de espaço televisivo sejam feitas de modo que não é possível ter só o Modelo A ou Modelo B em determinada emissora, o investimento mais barato são as inserções na TV Tevê.

Pontos de atenção

Legal, até aqui tudo lindo e maravilhoso. Mas ao trabalhar com a Atribuição Offline é necessário ter algumas coisinhas em mente. Aqui vão algumas em relação ao que foi falado entre os 2 posts.

1. Superposição de Inserções

Quando trabalhamos com atribuição no mundo digital, nenhuma interação do usuário ocorre ao mesmo tempo em que a outra (exceto quando se tem a visualização de vários banners de uma mesma campanha em uma mesma página, mas vamos deixar isso de lado por ora). Cada clique ocorre em um instante distinto, então não é comum aqui discutir superposição.

Quando utilizamos o Lift na Atribuição Offline, no entanto, é possível que sejam veiculados dois comerciais em um intervalo bem curto de tempo, como um ou dois minutos, ou até no mesmo minuto. Isso passa a ser ainda mais problemático quando levamos em conta diversas emissoras na TV e estações de rádio.

É possível usar diversas regras para mitigar esse problema: ponderar com pontos de audiência, atribuir estritamente a um canal, utilizar machine learning para entender a regra de atribuição, entre outros. Apesar dessa publicação não ter entrado nesse assunto, o importante é ter em mente que a superposição pode ocorrer e ela deve ser trabalhada.

2. A Atribuição Offline não se resume ao Lift

O Lift é uma métrica comparativa entre inserções que traz uma informação além dos pontos de audiência. Outras informações podem ser usadas, como o próprio GRP em si, taxa de novos usuários, como fica a distribuição de origem/mídia após uma inserção, etc.

Especialmente em relação às fontes de tráfego, suas análises podem inclusive ter um foco em tráfego orgânico ou direto, uma vez que espera-se que o consumidor busque por sua marca após uma veiculação offline.

As metodologias também não precisam necessariamente serem aplicadas só sobre sessões. É possível utilizar o mesmo raciocínio para instalações de aplicativos ou alguma conversão em seu ambiente digital.

3. A TV está tirando gente do meu site?

Qualquer uma das metodologias pode trazer, para alguma inserção, um valor negativo para o Lift. Conceitualmente isso não faz o menor sentido: uma propaganda na TV faria com que menos pessoas passassem a abrir seu aplicativo, por exemplo? Nos casos de valor negativo para o Lift, recomendamos apenas zerar o resultado.

4. Granularidade dos dados

Quanto mais dimensões de quebra forem inseridas em suas análises (exemplo: Lift por emissora, programa, dia, estado, produto, cidade, etc) maior a granularidade dos dados. Isso significa que para cada combinação dessas dimensões o valor absoluto do Lift tende a ser menor (o próprio volume de sessões, minuto a minuto, é menor com um maior número de quebras).

Isso faz com que metodologias mais simples (como os minutos antecedentes sendo o Baseline) sejam menos assertivas. Tenha em mente que ao partir para uma granularidade maior é necessário sofisticar a metodologia na medida da necessidade de insights mais específicos.

Botando a mão na massa!

Tendo tudo o que foi comentado em mente, o passo mais importante da Atribuição Offline é começar a enxergar o on e o off não como duas entidades distintas que não se misturam, mas como meios complementares na jornada do consumidor.

Escolha alguma metodologia, faça alguns testes e comece a comparar os critérios utilizados tradicionalmente para compra de mídia offline com os novos insights que a Atribuição Offline vai trazer.

Este artigo é continuação deste aqui.

O texto original foi publicado na página da DP6.

Você recomendaria esse artigo para um amigo?

Nunca

 

Com certeza

 

Deixe seu comentário

0 comentários

Comentários

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Comentando como Anônimo

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

  Assine nossa Newsletter

Fique por dentro de todas as novidades, eventos, cursos, conteúdos exclusivos e muito mais.

Obrigado!

Você está inscrito em nossa Newsletter. Enviaremos, periodicamente, novidades e conteúdos relevantes para o seu negócio.

Não se preocupe, também detestamos spam.