Nos últimos três anos, a inteligência artificial generativa (IA) teve um impacto profundo na sociedade. IA impacto na escrita humanaem particular, tem sido enorme.
Os grandes modelos de linguagem que alimentam ferramentas de IA, como ChatGPT, são treinados em uma ampla variedade de dados textuais e agora podem produzir seus próprios textos complexos e de alta qualidade.
Mais importante ainda, o uso generalizado de ferramentas de IA resultou na hiperprodução do chamado “resíduo de IA”: resultados gerados por IA de baixa qualidade, produzidos com mínimo ou mesmo nenhum esforço humano.
Muito se tem falado sobre o que a escrita de IA significa para a educação, o trabalho e a cultura. Mas e a ciência? A IA melhora a redação acadêmica ou apenas produz “resíduos científicos de IA”?
De acordo com um novo estudo por pesquisadores da UC Berkeley e da Cornell University, publicado na Science, a sujeira está ganhando.
IA generativa aumenta a produtividade acadêmica
Os pesquisadores analisaram resumos de mais de um milhão de artigos pré-impressos (artigos disponíveis publicamente que ainda não foram submetidos à revisão por pares) publicados entre 2018 e 2024.
Eles examinaram se o uso da IA está ligado a uma maior produtividade acadêmica, à qualidade dos manuscritos e ao uso de literatura mais diversificada.
O número de preprints produzidos por um autor era uma medida de sua produtividade, enquanto a eventual publicação em um periódico era uma medida da qualidade de um artigo.
O estudo descobriu que quando um autor começou a usar IA, o número de preprints produzidos aumentou dramaticamente. Dependendo da plataforma de pré-impressão, o número total de artigos publicados por um autor por mês após a adoção da IA aumentou entre 36,2% e 59,8%.
O aumento foi maior entre os falantes não nativos de inglês e especialmente entre os autores asiáticos, onde variou de 43% a 89,3%. Para autores de instituições de língua inglesa e com nomes “caucasianos”, o aumento foi mais modesto, na faixa de 23,7% a 46,2%.
Estes resultados sugerem que a IA foi frequentemente utilizada por falantes não nativos para melhorar o seu inglês escrito.
E quanto à qualidade do artigo?
O estudo descobriu que os artigos escritos com IA usavam, em média, uma linguagem mais complexa do que aqueles escritos sem IA.
No entanto, entre os artigos escritos sem IA, aqueles que usavam linguagem mais complexa tinham maior probabilidade de serem publicados.
Isto sugere que uma escrita mais complexa e de alta qualidade é percebida como tendo maior mérito científico.
Porém, quando se trata de artigos escritos com suporte de IA, essa relação foi invertida – quanto mais complexa a linguagem, menor a probabilidade de o artigo ser publicado. Isto sugere que a linguagem complexa gerada pela IA foi usada para esconder a baixa qualidade do trabalho acadêmico.
AI aumentou a variedade de fontes acadêmicas
O estudo também analisou as diferenças nos downloads de artigos provenientes das plataformas de busca Google e Microsoft.
O mecanismo de pesquisa Bing da Microsoft introduziu um recurso Bing Chat com tecnologia de IA em fevereiro de 2023. Isso permitiu aos pesquisadores comparar que tipo de artigos foram recomendados pela pesquisa aprimorada por IA com os mecanismos de pesquisa regulares.
Curiosamente, os usuários do Bing foram expostos a uma variedade maior de fontes do que os usuários do Google, e também a publicações mais recentes. Isso provavelmente é causado por uma técnica usada pelo Bing Chat chamada geração aumentada de recuperação, que combina resultados de pesquisa com solicitações de IA.
Em qualquer caso, os receios de que a pesquisa por IA ficasse “travada” recomendando fontes antigas e amplamente utilizadas não se justificavam.
Seguindo em frente
A IA teve um impacto significativo na escrita científica e na publicação acadêmica. Tornou-se parte integrante da escrita acadêmica para muitos cientistas, especialmente para falantes não nativos, e veio para ficar.
À medida que a IA está sendo incorporada em muitos aplicativos, como processadores de texto, aplicativos de e-mail e planilhas, em breve será impossível não usar a IA, gostemos ou não.
Mais importante ainda para a ciência, a IA está a desafiar a utilização de linguagem complexa de alta qualidade como indicador de mérito académico. A rápida triagem e avaliação de artigos com base na qualidade da linguagem é cada vez mais pouco confiável e são urgentemente necessários melhores métodos.
Como a linguagem complexa é cada vez mais utilizada para encobrir contribuições acadêmicas fracas, são essenciais avaliações críticas e aprofundadas das metodologias de estudo e das contribuições durante a revisão por pares.
Uma abordagem é “combater fogo com fogo” e usar ferramentas de revisão de IA, como a recentemente publicado por Andrew Ng em Stanford. Dado o número cada vez maior de submissões de manuscritos e a já elevada carga de trabalho dos editores de revistas acadêmicas, tais abordagens podem ser a única opção viável.
