O teste A/B é uma técnica de marketing digital que envolve a comparação de duas variações de uma campanha para avaliar qual delas gera melhores resultados. Essa técnica é amplamente utilizada para otimizar campanhas de e-mail marketing, validar layouts e conteúdos, entre outras diversas questões.
Teste: humano x ChatGPT
O objetivo do teste realizado pelo time de CRM da Enext era avaliar qual conteúdo seria mais efetivo para engajar e converter os leitores. O conteúdo gerado pelo ChatGPT foi criado com base em um conjunto de regras e parâmetros, enquanto que o conteúdo humano contou com a experiência e a habilidade do profissional responsável pela criação do e-mail, que já possui conhecimento da base e do cliente.
O teste rodou por duas semanas e, após isso, foi possível constatar que o e-mail produzido pelo humano foi o vencedor e trouxe resultados mais significativos. Isso pode ser explicado por diversos fatores, como a habilidade humana de se comunicar de maneira mais efetiva, o conhecimento específico do público-alvo e a capacidade de construir uma narrativa que ressoa com o leitor.
Nosso teste foi realizado em uma jornada de primeira compra, na qual metade da base recebia o conteúdo feito pelo ChatGPT e metade o conteúdo feito pelo time da Enext. O Open Rate foi o mesmo para ambos, pois mantivemos o mesmo assunto. Os resultados de cliques foram favoráveis para o e-mail feito pelo time da Enext (10% mais cliques do que o e-mail feito pelo ChatGPT) e os resultados de conversão também foram favoráveis para o e-mail feito pelo time humano.
Fator humano é diferencial
Embora o ChatGPT seja uma ferramenta poderosa que pode gerar conteúdo de qualidade em diversos tópicos, é importante lembrar que ele ainda é um modelo de linguagem, que trabalha com padrões, e não tem a mesma habilidade de um ser humano para compreender e se comunicar com nuances sutis da linguagem. O resultado desse teste A/B enfatiza a importância de se combinar a habilidade humana com as ferramentas tecnológicas para criar conteúdo que seja relevante e efetivo. Isso porque por mais que os resultados do ChatGPT sejam inferiores aos resultados do humano, ele ainda sim trouxe resultados positivos para o canal de CRM.
Além disso, é importante mencionar que o ChatGPT nos traz muita velocidade para a construção de conteúdos, sugestão de régua e jornadas, o que otimiza o tempo do time para trabalhar em outras frentes que podem trazer resultado. Por isso, é fundamental avaliar os resultados dos testes A/B em conjunto com outras métricas de desempenho.
Em resumo, o teste A/B realizado entre o conteúdo produzido pelo ChatGPT e o conteúdo produzido por um humano foi uma excelente iniciativa. Os resultados mostraram que o conteúdo produzido pelo humano foi mais efetivo, porém é importante enfatizar a importância de se combinar habilidade humana e ferramentas tecnológicas para criar conteúdo relevante, efetivo e veloz.