Inteligência artificial: conteúdos feitos por humanos ranqueiam melhor, segundo experimento

Um experimento realizado pela renomada agência Reboot Online, que oferece serviços de SEO, mostrou que conteúdos produzidos por humanos, no geral, ranqueiam melhor que aqueles criados por inteligência artificial generativa. 

Para tal, foi utilizado o método científico, que isola variáveis que podem interferir nos resultados e checar somente os elementos que se espera analisar. 

Uma breve história sobre o uso da inteligência artificial no marketing de conteúdo

Em novembro de 2022, a OpenAI lançou o ChatGPT, tecnologia de inteligência artificial generativa. Logo, ganhou os holofotes e capas de grandes veículos de comunicação por sua capacidade de criar conteúdo mediante simples solicitação. 

Naturalmente, essa ferramenta não escreve nada do zero. Na realidade, é baseada em aprendizado de máquina e utiliza como base de dados todo o conteúdo disponibilizado na web. 

Iniciou-se, então, uma série de debates sobre a qualidade, a atualização e os princípios éticos envolvendo os recursos. Aos poucos, esses foram integrados a diversas plataformas como Bing, Notion e Salesforce, além do desenvolvimento de soluções similares, como o próprio Google Bard. 

Porém, a questão que reina é: afinal, os conteúdos produzidos por IA podem se sair tão bem quanto aqueles redigidos pela inteligência humana?

Comunidade se divide quanto ao uso das ferramenta de criação de conteúdo automáticas

Atualmente, há três opiniões dominantes acerca do conteúdo criado a partir de ferramentas de inteligência artificial. 

O primeiro deles defende que tais tecnologias não são capazes de reproduzir com primazia as habilidades de escrita de um redator humano. 

O segundo afirma que, mesmo que agora ainda existam falhas na redação e verificação das informações, chegará o momento em que as máquinas aprenderão e até mesmo irão superar as capacidades de escrita humana. 

Por fim, há um terceiro grupo que acredita que a IA generativa é um bom copiloto para combater o bloqueio criativo e acelerar processos de escrita, mas não é capaz de substituir jornalistas e criadores de conteúdo. 

O estudo realizado pela Reboot traz, em sua essência, uma avaliação não qualitativa, mas relacionada à performance desses conteúdos. 

Há ainda muitas dúvidas se o Google é capaz de reconhecer textos redigidos por mecanismos automatizados. Mas, segundo a própria empresa, não há problemas em utilizar essas ferramentas, desde que o conteúdo seja útil para o usuário. Em outras palavras, desde que se enquadre nas diretrizes E-E-A-T. 

Imagem: Trecho de “Orientações da Pesquisa Google sobre conteúdo gerado por IA”

Metodologia do experimento: conteúdo produzido por IA versus conteúdo produzido por humanos 

A Reboot é conhecida pela realização de testes relacionados a SEO. A hipótese inicial do experimento foi a seguinte: em um ambiente sem a intervenção de fatores externos (como idade de domínio, backlinks ou velocidade de carregamento de página), conteúdos produzidos por IA teriam um desempenho similar àqueles criados por humanos. 

Para o teste de avaliação de desempenho, a agência isolou todos os demais fatores que influenciam os rankings de pesquisa. 

Por isso, foi escolhida uma palavra-chave artificial: “flamparooni”. A escolha de um termo de pesquisa com buscas reais poderia considerar a força temática de uma página. A keyword, então, deveria ter um volume de buscas inexistente e, para a qual, não há qualquer resultado entregue quando pesquisado no Google. 

Imagem: palavra-chave artificial “flamparooni”, para a qual o Google não trazia qualquer resultado

O próximo passo consistiu na utilização de domínios que não tivessem qualquer histórico acoplado, backlinks e nenhuma relação com a palavra-chave utilizada. Ou seja, sem a influência de qualquer outro fator de ranqueamento. 

Foram selecionados, então, dez domínios considerados “virgens” pelo buscador: 

• zibberlot.co.uk
• jibbewink.co.uk
• snafflagon.co.uk
• blippadoo.co.uk
• quibbemash.co.uk

Os cinco domínios acima teriam conteúdo redigido por inteligência artificial generativa. 

• mibberdoo.co.uk
• frozzibit.co.uk
• chumblewarp.co.uk
• plozzibar.co.uk
• skibberling.co.uk

Enquanto esses outros cinco teriam conteúdos escritos por redatores experientes. 

Todos os demais elementos de página, incluindo fatores de SEO técnico (sitemap, velocidade de página, responsividade etc.) e SEO on-page (SEO title, Heading 1, descrições, layout etc.) seriam idênticos. 

Imagem: Texto produzido por humano vs Texto produzido por IA (Reboot)

Repare que, para tornar a comparação justa, foi inserida a mesma quantidade de palavras-chave em ambos os textos, nos mesmos locais, um número aproximado de caracteres, nenhum link de saída ou selos de verificação.

O conteúdo produzido artificialmente foi redigido a partir de prompts (solicitações) no ChatGPT, incluindo variações com as mesmas características para os cinco textos requisitados. 

Já para os cinco conteúdos produzidos por pessoas, a Reboot criou briefings que seguiam as mesmas diretrizes colocadas para a inteligência artificial.

Na sequência, os conteúdos foram publicados ao mesmo tempo em um servidor em comum. Os código em HTML eram praticamente idênticos, com apenas algumas modificações em questões irrelevantes, como o plano de fundo e a fonte do texto. 

É importante frisar que, para potencializar os resultados, nenhum colaborador foi avisado sobre a pesquisa, evitando que as páginas fossem acessadas e influenciassem no experimento. 

Resultados mostram que conteúdos produzidos por humanos obtêm melhores resultados

                   Imagem: Posição de sites produzidos por humanos (verde) vs produzidos por IA (rosa)

Em um âmbito geral, após  quase três meses no ar, os conteúdos produzidos por humanos obtiveram mais destaque nos resultados de busca. 

Considerando a volatilidade da SERP, os textos redigidos manualmente tiveram uma classificação média de 4,4, enquanto aqueles escritos pela inteligência artificial mantiveram uma posição média de 6,6.

Não se sabe, contudo, se isso se deve à análise da qualidade do texto ou se há alguma forma de identificação de conteúdo produzido por robôs colocada em prática para estabelecer padrões de classificação. 

De acordo com o próprio estudo, as ferramentas de detecção de conteúdo criado generativamente se desenvolvem na medida em que as próprias ferramentas de IA generativa evoluem. Portanto, é possível que haja alguma influência. 

Se você deseja receber outros conteúdos como este diretamente na sua caixa de entrada, inscreva-se na nossa newsletter.