Diga como é o sucesso

Porque é importante

Quando leio um prompt, a primeira coisa que procuro é a meta. Um modelo produz sempre alguma coisa; a questão é saber se, no fim, vai conseguir reconhecer que é aquilo de que precisava. Se o prompt só nomeia um tema, o modelo tem de adivinhar o resultado, e o utilizador tem de avaliar a resposta a olho.

Os dados apontam no mesmo sentido. No estudo ROPE, ensinar os participantes a formular os seus requisitos de forma completa fez subir as pontuações de 21,9% para 40,9%, enquanto a formação convencional em engenharia de prompts trouxe um ganho de 0,7%, e um otimizador automático de prompts não conseguiu fechar a diferença. Outro estudo, com jornalistas, concluiu que a formação em prompts os fez sentir mais competentes, mas que o efeito na qualidade do trabalho foi misto. Conhecer truques não basta; a competência está em dizer aquilo de que se precisa.

Os fornecedores dizem praticamente o mesmo. A Anthropic recomenda critérios de sucesso específicos e mensuráveis, e a OpenAI aconselha, para os modelos de raciocínio, a definir com clareza como é uma resposta bem-sucedida. Um objetivo com um teste associado é algo que tanto o utilizador como o modelo podem verificar.

Como é um bom prompt

• 0 — Nenhum resultado discernível. Um tema, nada para fazer: «Fala-me de marketing.»
• 1 — Tema ou atividade, resultado implícito. Sabe o que quer; o prompt não o diz: «Escreve sobre o nosso novo produto.»
• 2 — Resultado indicado, sem critérios de sucesso. «Escreve um e-mail de lançamento para o nosso produto.» Melhor, mas qualquer e-mail serviria.
• 3 — Resultado e pelo menos um critério verificável. «…que leve os clientes atuais a marcar uma demonstração; menos de 150 palavras.» Agora é possível verificar o resultado.
• 4 — Critérios com prioridades. «…um único apelo à ação visível sem deslizar; a brevidade conta mais do que cobrir todas as funcionalidades.» O modelo sabe do que abdicar quando os critérios chocam.

Erros comuns

• Nomear uma atividade («ver», «ajudar com», «escrever sobre») em vez de um resultado.
• Critérios que ninguém consegue testar, como «torna-o cativante» ou «de alta qualidade». Pergunte a si próprio como reconheceria um texto cativante.
• Esconder o verdadeiro propósito: o e-mail serve para conseguir marcações de demonstrações, mas o prompt nunca o diz.
• Enumerar vários critérios e deixar o modelo adivinhar qual pesa mais quando entram em conflito.
• Confundir extensão com sucesso. Um limite de palavras é um bom critério, mas raramente o único que importa.

Experimente com o seu prompt

Pegue num prompt que tenha usado esta semana e cole-o na área de trabalho. Antes de ver a pontuação, complete para si esta frase: «Vou saber que a resposta é boa se…». Se essa frase não estiver no prompt, acrescente-a e compare a pontuação do objetivo antes e depois. O coach poderá fazer-lhe uma ou duas perguntas para ajudar a encontrar o critério que ficou de fora.