Lucidez sintético: por que robôs não conseguem resolver charadas?
Nos corredores da Vrije Universiteit, em Amsterdã, o professor assistente Filip Ilievski brinca com perceptibilidade sintético.
É coisa séria, evidente, mas o trabalho dele pode parecer mais uma galhofa de petiz do que realmente uma pesquisa acadêmica. Usando algumas das tecnologias mais avançadas e surreais da humanidade, Ilievski pede que a IA decifre charadas.
Entender e melhorar a capacidade da IA de resolver quebra-cabeças e problemas de lógica é principal para melhorar a tecnologia, diz Ilievski.
“Porquê seres humanos, é muito fácil para nós ter bom tino, aplicá-lo no momento notório e adaptá-lo a novos problemas”, diz Ilievski, que descreve seu ramo da Ciência da Computação porquê “IA do tino geral”.
No momento, no entanto, a IA tem uma “falta universal de âncora no mundo”, o que torna esse tipo de raciocínio vital e maleável uma dificuldade.
Mas o estudo da IA pode ser para além de computadores. Alguns especialistas acreditam que confrontar porquê a IA e os seres humanos lidam com tarefas complexas pode ajudar a desvendar os segredos da mente humana.
A IA se destaca no reconhecimento de padrões, “mas tende a ser pior do que os humanos em questões que exigem pensamento mais abstrato”, diz Xaq Pitkow, professor associado da Universidade Carnegie Mellon nos EUA, que estuda a intersecção entre IA e neurociência. Em muitos casos, porém, depende do problema.
Decifre essa
Vamos estrear com uma questão que é tão fácil de resolver que não se enquadra porquê uma charada em padrões humanos. Um estudo de 2023 pediu a uma IA para resolver uma série de desafios de raciocínio e lógica. Cá está um exemplo:
A frequência cardíaca de Mable às 9h era de 75 bpm e sua pressão arterial às 19h era de 120/80. Ela morreu às 23h. Ela estava viva ao meio-dia?
Não é uma pergunta capciosa. A resposta é sim. Mas o GPT-4 — o protótipo mais avançado da OpenAI naquele momento — não achou tão fácil.
“Com base nas informações fornecidas, é impossível manifestar com certeza se Mable estava viva ao meio-dia”, disse a IA ao pesquisador.
Evidente, em teoria, Mable poderia ter morrido antes do almoço e voltado à vida à tarde, mas isso parece um pouco demais.
Primeiro ponto para a humanidade.
A questão de Mable exige “raciocínio temporal”, lógica que lida com a passagem do tempo. Um protótipo de IA pode não ter dificuldade em manifestar que o meio-dia está entre 9h e 19h, mas entender as implicações disso é mais complicado.
“Em universal, o raciocínio é muito difícil”, diz Pitkow. “Essa é uma extensão que vai além do que a IA faz atualmente em muitos casos.”
Uma verdade sobre a IA é que não temos teoria de porquê ela funciona. Sabemos em linhas gerais — por fim, foram seres humanos que construíram a IA.
Grandes Modelos de Linguagem (ou LLMs, em inglês) usam estudo estatística para encontrar padrões em enormes quantidades de texto.
Quando você faz uma pergunta, a IA trabalha por meio dos relacionamentos que identificou entre palavras, frases e ideias e usa isso para prever a resposta mais provável para seu comando.
Mas as conexões e cálculos específicos que ferramentas porquê o ChatGPT usam para responder a qualquer pergunta individual estão além da nossa compreensão, pelo menos por enquanto.
Isso também é verdade sobre o cérebro: sabemos muito pouco sobre porquê nossas mentes funcionam. As técnicas mais avançadas de escaneamento cerebral podem nos mostrar grupos individuais de neurônios disparando enquanto uma pessoa pensa. Mas ninguém é capaz de manifestar o que esses neurônios estão fazendo ou porquê o pensamento funciona exatamente.
Ao estudar a IA e a mente em conjunto, no entanto, os cientistas podem obter avanços, diz Pitkow. Por fim, a geração atual de IA usa “redes neurais”, criadas a partir da estrutura do cérebro humano.
Não há razão para supor que a IA use o mesmo processo que sua cabeça, mas aprender mais sobre um sistema de raciocínio pode nos ajudar a entender o outro.
“A IA está florescendo e, ao mesmo tempo, temos essa neurotecnologia emergente que está nos dando uma oportunidade sem precedente de examinar dentro do cérebro”, diz Pitkow.
Encarregar no instinto
A questão da IA e dos enigmas fica mais interessante quando você olha para perguntas criadas para confundir os seres humanos. Cá está um exemplo clássico:
Um taco e uma esfera custam US$ 1,10 no totalidade. O taco custa US$ 1,00 a mais que a esfera. Quanto custa a esfera?
A maioria das pessoas tem o impulso de subtrair 1,00 de 1,10 e manifestar que a esfera custa US$ 0,10, de conciliação com Shane Frederick, professor de Marketing na Escola de Governo de Yale (EUA), que estudou enigmas. E a maioria das pessoas erra. A esfera custa US$ 0,05.
“O problema é que as pessoas endossam casualmente sua percepção”, diz Frederick. “Elas acham que a percepção geralmente está certa e, em muitos casos, geralmente está. Você não conseguiria viver se precisasse questionar cada um dos seus pensamentos.”
No entanto, quando se trata do problema do taco e da esfera, e de muitos enigmas porquê esse, a percepção trai.
Segundo Frederick, esse pode não ser o caso da IA.
Os seres humanos geralmente confiam na percepção, a menos que haja alguma indicação de que o primeiro pensamento possa estar falso.
“Eu suspeito que a IA não teria esse problema. Ela é muito boa em extrair os elementos relevantes de um problema e executar as operações apropriadas”, diz Frederick.
A questão do taco e da esfera é uma charada ruim para testar a IA, no entanto. É conhecida, o que significa que modelos de IA treinados em bilhões de linhas de texto provavelmente já a viram antes.
Frederick diz que desafiou a IA a assumir versões mais obscuras do problema do taco e da esfera, e descobriu que as máquinas ainda se saem muito melhor do que os participantes humanos – embora não tenha sido um estudo formal.
Problemas novos
Se você quer que a IA exiba um pouco que pareça mais com raciocínio lógico, no entanto, você precisa de uma charada totalmente novidade, uma que não esteja entre os dados usados para o treinamento dela.
Para um estudo recente (disponível em versão pré-impressão), Ilievski e seus colegas desenvolveram um programa de computador que gera problemas rébus originais, enigmas que usam combinações de imagens, símbolos e letras para simbolizar palavras ou frases.
Por exemplo, a termo “passo” escrita em letras minúsculas ao lado de um figura de quatro homens pode valer “um pequeno passo para o varão”.
Os pesquisadores apresentaram vários modelos de IA a esses rébus nunca antes vistos por elas e desafiaram pessoas reais com os mesmos desafios.
Porquê esperado, os seres humanos se saíram muito, com uma taxa de precisão de 91,5% para rébus com imagens (em oposição a texto). A IA de melhor desempenho, GPT-4o da OpenAI, acertou 84,9% em condições ideais. Zero mal, mas os humanos ainda têm a vantagem.
De conciliação com Ilievski, não há uma taxonomia aceita que pormenor todos os vários tipos diferentes de lógica e raciocínio, esteja você lidando com um pensador humano ou uma máquina. Isso dificulta qualificar porquê a IA se sai em diferentes tipos de problemas.
Um estudo dividiu o raciocínio em algumas categorias úteis. O pesquisador lançou ao GPT-4 uma série de perguntas e charadas relacionadas a 21 tipos diferentes de raciocínio, incluindo aritmética simples, contas, mourejar com gráficos, paradoxos, raciocínio espacial e muito mais.
Cá está um exemplo, fundamentado em um quebra-cabeça lógico de 1966 chamado tarefa de seleção de Wason:
Sete cartas são colocadas na mesa, cada uma com um número de um lado e um remendo de uma única cor do outro lado. As faces das cartas mostram 50, 16, vermelho, amarelo, 23, virente, 30. Quais cartas você teria que virar para testar a verdade da teorema de que se uma epístola está mostrando um múltiplo de quatro, logo a cor do lado oposto é amarelo?
O GPT-4 falhou miseravelmente. A IA disse que você precisaria virar as cartas 50, 16, amarela e 30. Totalmente falso. A teorema diz que as cartas divisíveis por quatro têm amarelo do outro lado – mas não diz que unicamente as cartas divisíveis por quatro são amarelas. Portanto, não importa a cor das cartas 50 e 30, ou qual número está no verso da epístola amarela. Aliás, pela lógica da IA, ela deveria ter verificado a epístola 23 também.
A resposta correta é que você só precisa virar as cartas 16, vermelho e virente.
A AI também teve dificuldades com algumas perguntas ainda mais fáceis:
Suponha que eu esteja no meio do Estado da Dakota do Sul e esteja olhando diretamente para o núcleo do Texas. Boston fica à minha esquerda ou à minha direita?
Esta é difícil se você não conhece o planta dos Estados Unidos, mas ao que parece o GPT-4 estava familiarizado com os Estados americanos.
A IA entendeu que estava voltada para o sul e sabia que Boston fica a leste de Dakota do Sul, mas ainda assim deu a resposta errada. O GPT-4 não entendeu a diferença entre esquerda e direita.
A IA também foi reprovada na maioria das outras questões. A peroração do pesquisador: “O GPT-4 não consegue raciocinar”.
Apesar de todas as suas deficiências, a IA está melhorando. Em meados de setembro, a OpenAI lançou uma prévia do GPT-o1, um novo protótipo criado especificamente para problemas mais difíceis relacionados a ciência, programação e matemática.
Abri o GPT-o1 e fiz muitas das mesmas perguntas do estudo de raciocínio. Ele acertou em pleno na seleção de Wason. A IA sabia que você precisava virar à esquerda para encontrar Boston. E não teve problema em manifestar, definitivamente, que nossa pobre amiga Mable, que morreu às 23h, ainda estava viva ao meio-dia.
Ainda há uma variedade de questões em que a IA nos supera. Um teste pediu a um grupo de estudantes americanos para prezar o número de assassinatos ocorridos no ano pretérito em Michigan e, em seguida, perguntou a um segundo grupo a mesma coisa, sobre Detroit. “O segundo grupo dá um número muito maior”, diz Frederick. (Para não americanos, Detroit fica em Michigan, mas a cidade tem uma reputação negativa com relação à violência.)
“É uma tarefa cognitiva muito difícil olhar além das informações que não estão muito na sua frente, mas em notório sentido é logo que a IA funciona”, ele diz.
A IA extrai informações que aprendeu em outro lugar.
É por isso que os melhores sistemas podem vir de uma combinação de IA e trabalho humano; podemos jogar com os pontos fortes da máquina, diz Ilievski.
Mas quando queremos confrontar IA e a mente humana, é importante lembrar que “não há nenhuma pesquisa conclusiva que forneça evidências de que humanos e máquinas abordam quebra-cabeças de forma semelhante”, diz ele.
Em outras palavras, entender a IA pode não nos dar nenhuma percepção direta sobre porquê a nossa mente funciona, ou vice-versa.
Mesmo que aprender a melhorar a IA não traga respostas sobre o funcionamento da mente humana, no entanto, pode nos dar pistas.
“Sabemos que o cérebro tem diferentes estruturas relacionadas a coisas porquê valor de memória, padrões de movimento e percepção sensorial, e as pessoas estão tentando incorporar mais e mais estruturas nesses sistemas de IA”, diz Pitkow.
“É por isso que a neurociência mais a IA é um pouco peculiar, porque funciona em ambas as direções. A maior compreensão do cérebro pode levar a uma melhor IA. E a maior compreensão da IA pode levar a um melhor entendimento do cérebro.”
Thomas Germain é jornalista sênior de tecnologia da BBC. Ele cobre IA, privacidade e os confins mais distantes da cultura da internet há quase uma dezena. Você pode encontrá-lo no X e no TikTok @thomasgermain.
Publicar comentário