Di cómo se ve el éxito
Indica el resultado que quieres y cómo lo vas a juzgar, para que el modelo apunte a algo que puedas comprobar.
Por qué importa
Cuando leo un prompt, lo primero que busco es la meta. Un modelo siempre producirá algo; la cuestión es si después podrás reconocer que es lo que necesitabas. Si el prompt solo nombra un tema, el modelo tiene que adivinar el resultado y tú tienes que juzgar la respuesta a ojo.
Las pruebas apuntan en la misma dirección. En el estudio ROPE, enseñar a los participantes a formular sus requisitos de forma completa hizo subir sus puntuaciones del 21,9 % al 40,9 %, mientras que la formación convencional en ingeniería de prompts aportó un 0,7 %, y un optimizador automático de prompts no logró cerrar la diferencia. Otro estudio, con periodistas, observó que la formación en prompts les hizo sentirse más expertos, pero que su efecto en la calidad de su trabajo fue desigual. Conocer trucos no basta; la habilidad consiste en decir lo que necesitas.
Los proveedores dicen prácticamente lo mismo. Anthropic recomienda criterios de éxito específicos y medibles, y OpenAI aconseja, para los modelos de razonamiento, definir con claridad cómo es una respuesta lograda. Un objetivo con una prueba asociada es algo que puedes comprobar, y el modelo también.
Cómo es un buen prompt
- 0 — Ningún resultado discernible. Un tema sin nada que hacer: «Háblame de marketing».
- 1 — Tema o actividad, resultado implícito. Sabes lo que quieres; el prompt no lo dice: «Escribe sobre nuestro nuevo producto».
- 2 — Resultado indicado, sin criterios de éxito. «Escribe un correo de lanzamiento para nuestro producto». Mejor, pero cualquier correo valdría.
- 3 — Resultado y al menos un criterio comprobable. «…que consiga que los clientes actuales reserven una demostración; menos de 150 palabras». Ahora puedes verificar el resultado.
- 4 — Criterios con prioridades. «…una sola llamada a la acción visible sin desplazarse; la brevedad importa más que cubrir todas las funciones». El modelo sabe a qué renunciar cuando los criterios chocan.
Errores frecuentes
- Nombrar una actividad («mira», «ayúdame con», «escribe sobre») en lugar de un resultado.
- Criterios que nadie podría comprobar, como «que sea atractivo» o «de gran calidad». Pregúntate cómo reconocerías un texto atractivo.
- Ocultar el verdadero propósito: el correo debe conseguir reservas de demostraciones, pero el prompt nunca lo dice.
- Enumerar varios criterios y dejar que el modelo adivine cuál pesa más cuando entran en conflicto.
- Confundir extensión con éxito. Un límite de palabras es un buen criterio, pero rara vez el único que importa.
Pruébalo con tu propio prompt
Toma un prompt que hayas usado esta semana y pégalo en el espacio de trabajo. Antes de mirar la puntuación, completa para ti esta frase: «Sabré que la respuesta es buena si…». Si esa frase no está en tu prompt, añádela y compara la puntuación del objetivo antes y después. Puede que el coach te haga una o dos preguntas para ayudarte a encontrar el criterio que faltaba.
Ejemplos resueltos
Correo de lanzamiento
Escribe un correo sobre nuestra nueva aplicación de reservas.
Escribe un correo que anuncie nuestra nueva aplicación de reserva de mesas a los clientes que han reservado en nuestro restaurante por teléfono durante el último año. El correo funciona si: - en las dos primeras frases el lector entiende qué hace la aplicación por él (reservar mesa en menos de un minuto, a cualquier hora); - tiene una sola llamada a la acción, un enlace «Descargar la aplicación», situado antes de tener que desplazarse; - tiene menos de 150 palabras. Si estos criterios chocan entre sí, conserva la llamada a la acción única y el límite de palabras, y sacrifica primero los detalles de las funciones.
El prompt débil nombra un tema; el fuerte nombra un lector, un resultado y tres criterios que se pueden marcar, y dice cuál cede cuando entran en conflicto.
Análisis de una encuesta interna
Échale un vistazo a estos datos de la encuesta.
<encuesta>
{{pega aquí los resultados de la encuesta}}
</encuesta>
Estos son los resultados de una encuesta al personal de enfermería de nuestra planta sobre cinco cambios propuestos en el cuadrante de turnos. Úsalos para decidir qué dos cambios probaremos el próximo trimestre.
Una buena respuesta:
- nombra exactamente dos cambios;
- respalda cada uno con el porcentaje de encuestados que le dio un 4 o un 5 y con la principal objeción que aparece en los comentarios;
- marca como poco fiable cualquier cifra basada en menos de 30 respuestas.
Si los datos no separan con claridad los dos primeros, dilo y sugiere una pregunta adicional que permita desempatar. Un «no hay un ganador claro» dicho con claridad nos sirve más que una elección forzada.
«Échale un vistazo» no marca ninguna meta. La versión fuerte vincula el análisis a una decisión, define qué es una respuesta completa y dice qué hacer si los datos no alcanzan.
Ejercicio
Reescribe este prompt para que indique el resultado y al menos un criterio que puedas comprobar.
Reescribe este prompt para que el modelo sepa qué decisión apoya la investigación y qué contiene una respuesta completa.
Reescribe este prompt para que «mejor» se convierta en un objetivo comprobable, e indica qué objetivo gana si dos entran en conflicto.
Fuentes
- What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use (arXiv 2409.08775)
- What Should We Engineer in Prompts? (full text, arXiv 2409.08775v3)
- The Effect of Education in Prompt Engineering: Evidence from Journalists (arXiv 2409.12320)
- Anthropic — Define success criteria and build evaluations
- OpenAI — Reasoning best practices