Os erros da IA ​​podem ser impossíveis de eliminar – o que isso significa para a sua utilização nos cuidados de saúde

Na última década, o sucesso da IA ​​levou a entusiasmo desenfreado e afirmações ousadas – mesmo que os usuários frequentemente experimenta erros que a IA faz. Um assistente digital alimentado por IA pode interpretar mal o discurso de alguém de forma embaraçosa, um chatbot pode alucinar factos ou, como experimentei, uma ferramenta de navegação baseada em IA pode até guiar os condutores através de um campo de milho – tudo sem registar os erros.

As pessoas toleram esses erros porque a tecnologia torna certas tarefas mais eficientes. Cada vez mais, porém, os proponentes defendem a utilização da IA ​​– por vezes com supervisão humana limitada – em domínios onde os erros têm custos elevados, como os cuidados de saúde. Por exemplo, um projeto de lei apresentado na Câmara dos Representantes dos EUA no início de 2025 seria permitir que sistemas de IA prescrevam medicamentos de forma autônoma. Pesquisadores de saúde, bem como legisladores desde então debateram se tal prescrição seria viável ou aconselhável.

Ainda não se sabe como exatamente essa prescrição funcionaria se esta ou outra legislação semelhante fosse aprovada. Mas aumenta o risco de quantos erros os criadores de IA podem permitir que as suas ferramentas cometam e quais seriam as consequências se essas ferramentas conduzissem a resultados negativos – até mesmo à morte de pacientes.

Como um pesquisador estudando sistemas complexoseu investigo como diferentes componentes de um sistema interagem para produzir resultados imprevisíveis. Parte do meu trabalho centra-se na exploração dos limites da ciência – e, mais especificamente, da IA.

Nos últimos 25 anos, trabalhei em projetos, incluindo coordenação de semáforos, melhorando burocracias e detecção de evasão fiscal. Mesmo quando estes sistemas podem ser altamente eficazes, nunca são perfeitos.

Para a IA em particular, os erros podem ser um problema inevitável consequência de como os sistemas funcionam. A pesquisa do meu laboratório sugere que propriedades específicas dos dados usados ​​para treinar modelos de IA desempenhar um papel. É pouco provável que isto mude, independentemente de quanto tempo, esforço e financiamento os investigadores direcionem para a melhoria dos modelos de IA.

Ninguém – e nada, nem mesmo a IA – é perfeito

Como disse certa vez Alan Turing, considerado o pai da ciência da computação: “Se se espera que uma máquina seja infalível, ela também não pode ser inteligente”. Isso ocorre porque o aprendizado é uma parte essencial da inteligência e as pessoas geralmente aprendem com os erros. Vejo esse cabo de guerra entre inteligência e infalibilidade em jogo em minha pesquisa.

Num estudo publicado em julho de 2025, meus colegas e eu mostramos que organizar perfeitamente certos conjuntos de dados em categorias claras pode ser impossível. Em outras palavras, pode haver uma quantidade mínima de erros que um determinado conjunto de dados produz, simplesmente pelo fato de elementos de muitas categorias se sobreporem. Para alguns conjuntos de dados – a base de muitos sistemas de IA – a IA não terá um desempenho melhor do que o acaso.

Por exemplo, um modelo treinado em um conjunto de dados de milhões de cães que registre apenas idade, peso e altura provavelmente distinguirá Chihuahuas de Dogues Alemães com perfeita precisão. Mas pode cometer erros ao distinguir um Malamute do Alasca e um Pinscher Dobermannuma vez que diferentes indivíduos de diferentes espécies podem estar nas mesmas faixas de idade, peso e altura.

Essa categorização é chamada de classificabilidade, e meus alunos e eu começamos a estudá-la em 2021. Usando dados de mais de meio milhão de estudantes que frequentaram a Universidade Nacional Autônoma do México entre 2008 e 2020, queríamos resolver um problema aparentemente simples. Poderíamos usar um algoritmo de IA para prever quais estudantes terminariam seus estudos universitários no prazo – ou seja, dentro de três, quatro ou cinco anos após o início dos estudos, dependendo da área de especialização?

Testamos vários algoritmos populares usados ​​para classificação em IA e também desenvolvemos o nosso próprio. Nenhum algoritmo era perfeito; os melhores – até mesmo um que desenvolvemos especificamente para esta tarefa − alcançou uma taxa de precisão de cerca de 80%, o que significa que pelo menos 1 em cada 5 alunos foi classificado incorretamente. Percebemos que muitos alunos eram idênticos em termos de séries, idade, género, estatuto socioeconómico e outras características – mas alguns terminavam a tempo e outros não. Nessas circunstâncias, nenhum algoritmo seria capaz de fazer previsões perfeitas.

Você pode pensar que mais dados melhorariam a previsibilidade, mas isso geralmente traz retornos decrescentes. Isso significa que, por exemplo, para cada aumento de 1% na precisão, você pode precisar de 100 vezes mais dados. Assim, nunca teríamos alunos suficientes para melhorar significativamente o desempenho do nosso modelo.

Além disso, muitas mudanças imprevisíveis na vida dos estudantes e das suas famílias – desemprego, morte, gravidez – podem ocorrer após o primeiro ano na universidade, provavelmente afectando a sua conclusão a tempo. Portanto, mesmo com um número infinito de estudantes, as nossas previsões ainda dariam erros.

Os limites da previsão

Para ser mais geral, o que limita a previsão é a complexidade. A palavra complexidade vem do latim plexoo que significa entrelaçado. Os componentes que compõem um sistema complexo estão interligados, e é o interações entre eles que determinam o que acontece com eles e como eles se comportam.

Assim, estudar elementos do sistema isoladamente provavelmente produziria insights enganosos sobre eles – bem como sobre o sistema como um todo.

Tomemos, por exemplo, um carro viajando em uma cidade. Conhecendo a velocidade a que se desloca, é teoricamente possível prever onde irá parar num determinado momento. Mas no trânsito real, a sua velocidade dependerá das interações com outros veículos na estrada. Como os detalhes dessas interações surgem no momento e não podem ser conhecidos antecipadamente, prever com precisão o que acontecerá com o carro só será possível daqui a alguns minutos.

Não com minha saúde

Esses mesmos princípios se aplicam à prescrição de medicamentos. Diferentes condições e doenças podem apresentar os mesmos sintomas, e pessoas com a mesma condição ou doença podem apresentar sintomas diferentes. Por exemplo, a febre pode ser causada por uma doença respiratória ou digestiva. E um resfriado pode causar tosse, mas nem sempre.

Isto significa que os conjuntos de dados de cuidados de saúde têm sobreposições significativas que impediriam a IA de estar isenta de erros.

Certamente, os humanos também cometem erros. Mas quando a IA diagnostica mal um paciente, como certamente acontecerá, a situação cai em um limbo jurídico. Não está claro quem ou o que seria responsável se um paciente fosse ferido. Empresas farmacêuticas? Desenvolvedores de software? Agências de seguros? Farmácias?

Em muitos contextos, nem os humanos nem as máquinas são a melhor opção para uma determinada tarefa. “Centauros” ou “inteligência híbrida” – isto é, uma combinação de humanos e máquinas – tendem a ser melhores do que cada um por conta própria. Um médico certamente poderia usar a IA para decidir possíveis medicamentos a serem usados ​​por diferentes pacientes, dependendo de seu histórico médico, detalhes fisiológicos e composição genética. Os pesquisadores já estão explorando essa abordagem em medicina de precisão.

Mas o bom senso e a princípio da precaução
sugerem que é muito cedo para a IA prescrever medicamentos sem supervisão humana. E o facto de erros poderem estar incorporados na tecnologia pode significar que, onde a saúde humana está em jogo, a supervisão humana será sempre necessária.