ChatGPT
Com as inteligências artificiais cada vez mais capazes de conversar de forma parecida com uma pessoa, o uso de expressões como “por favor” e “obrigado” passou a ser motivo de curiosidade. A dúvida é se a educação, ao conversar com as ferramentas, pode trazer algum benefício de verdade, como melhorar as respostas.
Para entender se o modo de falar com uma inteligência artificial melhora ou piora seu desempenho, pesquisadores fizeram um experimento com o ChatGPT-4o. Foram escolhidas 50 perguntas de múltipla escolha sobre matemática, ciência e história. Cada questão tinha quatro alternativas e apenas uma resposta correta.
As perguntas eram as mesmas, mas foram apresentadas de cinco maneiras diferentes. O texto podia ser muito educado, educado, neutro, rude ou muito rude.
Cada série de perguntas foi mostrada ao ChatGPT-4o dez vezes para cada tom, para comparar os resultados entre as diferentes formas.
Inteligência artificial
O desempenho aumentou conforme os pedidos ficavam mais agressivos. A média de acertos foi de:
- 80,8% nos pedidos muito educados;
- 81,4% nos educados;
- 82,2% nos neutros;
- 82,8% nos rudes;
- 84,8% nos muito rudes.
O resultado pode parecer uma confirmação de que vale a pena tratar uma IA com grosseria. Mas não é isso que o estudo conclui. A pesquisa foi uma investigação inicial e teve limitações, como o número pequeno de perguntas e a concentração dos testes em só um modelo dentre tantos outros. Além disso, um estudo anterior encontrou resultados diferentes.
Outra pesquisa chegou à conclusão contrária
Pesquisadores da Universidade de Waseda avaliaram modelos como GPT-3.5, GPT-4 e Llama 2 70B , além de modelos voltados para os idiomas chinês e japonês.
Nesse caso, os pesquisadores pediram tarefas como resumir textos, entender a linguagem e encontrar possíveis preconceitos ou estereótipos. Os mesmos pedidos foram escritos em oito níveis diferentes de linguagem, indo do muito rude ao muito educado.
Em vários casos, o resultado foi o oposto do encontrado no experimento com o ChatGPT-4o. Os pedidos pouco educados tiveram a pior colocação.
O GPT-3.5 alcançou sua maior pontuação, de 60,02, quando recebeu pedidos no nível mais educado. No nível mais rude, a pontuação caiu para 51,93.
A conclusão dos pesquisadores foi que o efeito do tom pode variar de acordo com o modelo, o idioma e a tarefa.
Então, como conversar com uma IA?
Os resultados diferentes ajudam a explicar por que não é possível criar uma regra simples dizendo que a inteligência artificial prefere pessoas educadas ou grosseiras.
Para entender isso, é importante conhecer o conceito de prompt. O termo é usado para definir a instrução que uma pessoa envia para uma inteligência artificial. Pode ser uma pergunta, um pedido para produzir um texto ou uma orientação detalhada para fazer certa tarefa. A engenharia de prompt, por sua vez, é o processo de criar e melhorar essas instruções para aumentar as chances de obter o resultado esperado.
É nesse ponto que as recomendações das próprias empresas ganham importância. Em vez de sugerirem que a pessoa descubra se determinada IA responde melhor a elogios ou a grosserias, as orientações de OpenAI, Anthropic, Google e xAI destacam principalmente a importância de explicar bem a tarefa.
Inteligência artificial
Um pedido como “faça um texto sobre esse assunto” pode deixar várias dúvidas. Qual deve ser o tamanho? Quem vai ler? Qual linguagem deve ser usada? Que informações precisam aparecer? Qual é o objetivo do texto? Quanto mais dessas informações forem importantes para a tarefa, mais útil pode ser incluí-las no pedido.
No caso do ChatGPT, a recomendação é explicar claramente a tarefa, fornecer as informações necessárias e indicar o tom ou estilo desejado. Para trabalhos mais complexos, também pode ser útil usar a técnica de “prompt chaining”, ou encadeamento de prompts. Em vez de fazer um pedido grande com várias tarefas, o usuário pode dividir o trabalho em pequenos pedidos.
A Anthropic, responsável pelo Claude, segue a mesma orientação, mas também recomenda o uso da técnica chamada de “few-shot prompting”, que significa mostrar alguns exemplos para ajudar a IA a entender o padrão que deve seguir.
O Gemini e a xAI, responsável pelo Grok, também recomendam o uso de comandos claros e específicos. Ainda assim, todas as plataformas consultadas avisam que podem produzir informações falsas ou contraditórias e que precisam de checagem humana.
