PRDs para productos con IA: especificar cuando el modelo es la feature
Los criterios de aceptación no sobreviven al no-determinismo. Esta es la plantilla que usamos en Collybrix para escribir PRDs cuando el modelo es la feature.

"El resumen tiene que ser correcto." Esa fue la primera línea de criterios de aceptación que escribí para una feature con un modelo adentro. La leí dos veces y me dio vergüenza. No porque estuviera mal, sino porque nadie podía verificarla. ¿Correcto según quién? ¿Siempre? ¿Nueve de cada diez veces? ¿Qué pasa con la décima?
Fue en mi primer proyecto con un modelo adentro, cuando todo estaba muy verde. Los modelos mejoraron muchísimo desde entonces, y hoy probablemente hasta interpretarían bien esa instrucción. Pero "bien" no es lo que necesita un proyecto. Después de darle muchas vueltas entendí que especificar el producto y el resultado esperado es clave, y no solo para el modelo. También para la gente que lo va a usar.
El PRD clásico se escribió para software que hace lo mismo cada vez que le das lo mismo. Le pasás un input, te devuelve un output, y el criterio de aceptación es un sí o un no. Con un modelo eso se rompe. Le das el mismo input dos veces y te devuelve dos cosas distintas, las dos razonables, y una tercera que no tiene nada que ver. Y el problema no es el modelo. El problema es que el documento con el que decidimos qué construir asume un mundo que ya no existe.
Este post es la plantilla que terminamos usando en Collybrix cuando el modelo no es un detalle de implementación sino la feature. Y de por qué llegué a ella leyendo a gente que lo pensó mucho mejor que yo.
Por qué el PRD de siempre no aguanta
Hay tres supuestos del PRD tradicional que la IA rompe.
El primero es que el comportamiento se puede especificar antes de construir. Hamel Husain y Shreya Shankar, que probablemente sean las dos personas que más enseñaron sobre evals en los últimos dos años, lo dicen sin vueltas: la gente no es buena especificando todos sus requisitos para una IA de antemano. Los criterios reales aparecen cuando alguien que conoce el dominio mira respuestas de verdad y dice "esto está mal, y está mal por esto". Shankar tiene un paper entero sobre lo que llama criteria drift: los criterios con los que evaluás cambian a medida que ves más outputs. No es falta de rigor. Es cómo funciona.
El segundo es que aceptar es binario. En software normal, el test pasa o no pasa. Con un modelo, la pregunta deja de ser "¿funciona?" y pasa a ser "¿con qué frecuencia funciona, cómo falla cuando falla, y cuánto nos cuesta ese fallo?". Son tres preguntas distintas y el PRD clásico no tiene lugar para ninguna.
El tercero es que el lanzamiento es el final. Aishwarya Naresh Reganti y Kiriti Badam lo explican muy bien en Lenny's Newsletter: los productos con IA necesitan otro ciclo de vida, uno donde el sistema se gana la autonomía de a poco. Lo llaman CC/CD, continuous calibration / continuous development, y la idea de fondo es que cada aumento de autonomía es una pérdida de control humano. No lanzás una feature; lanzás una versión con poco poder, mirás cómo se comporta, y recién después le das más.
"Los evals son el nuevo PRD." Casi.
Hay una corriente fuerte que dice que el PRD se reemplaza por evals. Braintrust lo publicó con ese título este año: los requisitos funcionales se vuelven escenarios de test, los criterios de aceptación se vuelven rúbricas, la revisión de lanzamiento se vuelve un gate automático en el CI. Tiene mucho de razón. Un "las respuestas deben ser útiles" es una especificación que no se puede verificar, y un eval sí.
Pero me quedo con el "casi". Un set de evals te dice qué es bueno. No te dice por qué estás construyendo esto, para quién, cuánto error se banca ese usuario, ni qué pasa en el producto cuando el modelo se equivoca. Esas son decisiones de producto, y si no quedan escritas en algún lado, las termina tomando el que escribe el prompt un viernes a la tarde.
Así que no tiramos el PRD. Lo cambiamos de forma. Los evals viven adentro, como el corazón del documento, pero rodeados de las decisiones que les dan sentido.
La plantilla
Son diez secciones. Algunas son las de siempre con otro nombre; otras no existían.
1. El problema, sin la palabra IA
Una o dos frases que describan el trabajo que el usuario quiere hacer, sin mencionar modelos, agentes ni nada parecido. Si no lo podés escribir sin nombrar la tecnología, probablemente estés enamorado de la solución y no del problema.
2. Por qué un modelo (y cuál es la alternativa)
Qué haría este producto sin IA: una regla, un formulario, un humano. Esa alternativa es tu línea de base. Si el modelo no le gana claramente, no hay feature. Y si le gana, ahora sabés contra qué medir.
3. El contrato de comportamiento
Lo que el sistema tiene que hacer, lo que no tiene que hacer nunca, y cómo se ve una buena respuesta. Acá van ejemplos concretos: Aakash Gupta recomienda entre 15 y 25, separados en malos, buenos y excelentes. Coincido. Un ejemplo bien elegido especifica más que tres párrafos de prosa, y es lo único que el modelo, el equipo y el cliente entienden igual.
4. El set de referencia
Entre 20 y 100 inputs reales para empezar, que es el rango que proponen Reganti y Badam. Reales quiere decir reales: con errores de tipeo, preguntas ambiguas, pedidos que no tienen nada que ver con la feature. Los inputs prolijos que escribe el equipo no le enseñan nada a nadie. Este set es la semilla de los evals y crece cada vez que producción te muestra un caso que no habías imaginado.
5. Criterios de éxito medibles
Uno por dimensión que importe: calidad de la tarea, consistencia, tono, latencia, coste. La guía de Anthropic sobre criterios de éxito lo resume bien con un contraejemplo que me quedó grabado: "el modelo debería clasificar bien el sentimiento" no es un criterio; "F1 de al menos 0,85 sobre un set de 10.000 posts, un 5 % mejor que la línea de base actual" sí lo es. Específico, medible, alcanzable y relevante.
Y un detalle que aprendí de Husain y Shankar: cuando el criterio es cualitativo, juzgalo como pasa/no pasa, no en una escala del 1 al 5. Las escalas invitan a la tibieza ("un 3, digamos") y nadie se pone de acuerdo en qué separa un 3 de un 4. El matiz no se pierde: va en la crítica escrita que explica por qué pasó o no pasó.
6. El presupuesto de error
Esta es la sección que más discusiones ahorra. No todos los errores cuestan lo mismo, y el PRD tiene que decir cuáles son aceptables y cuáles no. Que un resumen omita un detalle menor puede estar bien una de cada diez veces. Que invente una cifra que no estaba en el documento, nunca. Escribirlo así obliga a separar la tasa de error de la gravedad del error, que es exactamente lo que el criterio "tiene que ser correcto" mezclaba.
Un ejemplo inventado pero muy típico: un asistente que resume las reuniones de un equipo comercial y deja anotados los próximos pasos en el CRM. El presupuesto de error podría verse así:
| Tipo de error | Gravedad | Tolerancia |
|---|---|---|
| Omite un tema secundario de la reunión | Baja | Hasta 1 de cada 10 resúmenes |
| Atribuye una frase a la persona equivocada | Media | Hasta 1 de cada 50, y si duda, lo marca |
| Inventa un compromiso, una fecha o un precio que nadie dijo | Crítica | Ninguno. Bloquea el lanzamiento |
Fijate en la última fila. No es un porcentaje: es una regla de diseño. Si un compromiso no aparece en la transcripción, no puede aparecer en el resumen, y eso cambia el producto entero. Obliga a que cada próximo paso cite el momento de la reunión de donde sale, y le da al eval algo concreto que verificar. Ningún vendedor va a llamar a un cliente para confirmar un descuento que el asistente se inventó, porque el producto no lo permite por construcción.
Y fijate también en lo que la tabla no dice: no dice "el resumen tiene que ser correcto". Dice qué tipo de incorrecto nos podemos permitir, cuánto, y cuál nunca.
7. Autonomía y salida al humano
Qué nivel de poder tiene esta versión y cómo se le quita. El ejemplo de Reganti y Badam es un sistema de soporte: primero solo clasifica tickets y un humano los puede reasignar; después redacta respuestas que un humano revisa; recién al final resuelve solo algunos casos acotados, siempre con salida a una persona. Cada versión se gana la siguiente con evidencia.
En esta sección también va el "no sé". Qué hace el sistema cuando no está seguro, cómo lo dice y a quién le pasa la mano. Lo aprendí llevando agentes a producción: el usuario no te perdona el error, te perdona la sorpresa.
8. Coste y latencia por interacción
No por petición: por interacción completa, que en una conversación incluye cada vez más contexto. Con un número máximo para cada uno. Esta sección también es la que obliga a preguntarse si un modelo más chico y más barato pasa los mismos evals, que es una pregunta que casi nadie se hace hasta que llega la factura.
9. Criterios de lanzamiento y monitoreo
Qué evals tienen que pasar, y con qué umbral, para que la versión salga. Cada cuánto se corren en producción. Y qué caída dispara una alerta o un rollback, porque el modelo que usás hoy no es el que vas a tener en tres meses: el proveedor lo actualiza, lo cambia o lo retira, y tu producto cambia con él aunque vos no hayas tocado una línea.
10. Lo que vamos a aprender mirando trazas
La última sección es una lista honesta de lo que no sabemos. Preguntas que solo se responden leyendo lo que pasa en producción, con fecha para la primera revisión. Husain lo repite en todo lo que escribe: el error típico es escribir la rúbrica antes de haber mirado un solo dato. La rúbrica es un resultado del análisis de errores, no su punto de partida. Esta sección deja por escrito que el PRD va a cambiar, y quién lo va a cambiar.
La plantilla, para copiar
# PRD: <nombre>
## 1. Problema (sin mencionar IA)
## 2. Por qué un modelo
- Alternativa sin IA (línea de base):
- Qué tiene que mejorar el modelo respecto de la línea de base:
## 3. Contrato de comportamiento
- Debe:
- No debe nunca:
- Ejemplos (15–25): malos / buenos / excelentes
## 4. Set de referencia
- 20–100 inputs reales, incluidos los feos. Fuente y dueño:
## 5. Criterios de éxito (uno por dimensión, pasa/no pasa)
| Dimensión | Criterio | Cómo se mide | Umbral |
## 6. Presupuesto de error
| Tipo de error | Gravedad | Tolerancia |
## 7. Autonomía
- Nivel de esta versión:
- Cómo interviene un humano:
- Qué hace el sistema cuando no está seguro:
## 8. Coste y latencia por interacción (máximos)
## 9. Lanzamiento y monitoreo
- Evals que bloquean el lanzamiento y umbrales:
- Frecuencia en producción:
- Qué caída dispara alerta / rollback:
## 10. Preguntas abiertas
- Qué vamos a aprender de las trazas, y cuándo lo revisamos:Lo que cambia para el que escribe el PRD
Lo más incómodo de todo esto no es la plantilla. Es que el que escribe el PRD tiene que leer outputs. Muchos. A mano. No un dashboard: las respuestas, una por una, diciendo esta sí, esta no, y por qué.
Es el trabajo menos glamoroso del proceso y es donde está casi todo el valor. Husain y Shankar insisten en que lo haga alguien que entiende al usuario y no solo el sistema, porque los fallos que importan son los del producto, no los del modelo. Un resumen técnicamente correcto que le da al usuario la información en el orden equivocado no lo va a detectar ningún eval genérico de "alucinaciones". Lo detecta alguien que sabe para qué lo quería el usuario.
Para mí eso cambió la pregunta. Antes el PRD respondía "¿qué construimos?". Ahora responde "¿cómo vamos a saber que está bien, y qué hacemos cuando no lo está?". Es una pregunta más difícil, y es la correcta.
Desde que trabajamos así en Collybrix, los proyectos llegan mucho mejor a los clientes. Dejamos de "probar a ver qué sale" y pasamos a acotar, por escrito y antes del primer prompt, lo que esperamos del modelo en términos de objetivos del producto.
El ahorro es enorme: en tiempo, en código rehecho, en idas y vueltas con el cliente y en dolores de cabeza. Pero lo que más vale no se mide en horas. Es la confianza. Un cliente que sabe de antemano qué va a hacer el modelo, cuánto se puede equivocar y qué pasa cuando se equivoca no se lleva sorpresas. Y la sorpresa, ya lo dije, es lo único que no se perdona.
Fuentes
- Aishwarya Naresh Reganti y Kiriti Badam, Why your AI product needs a different development lifecycle, Lenny's Newsletter (agosto 2025).
- Hamel Husain y Shreya Shankar, Building eval systems that improve your AI product, Lenny's Newsletter (septiembre 2025).
- Hamel Husain, Automating error analysis (junio 2026).
- Shreya Shankar et al., Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences (2024).
- Ameya Bhatawdekar, Evals are the new PRD, Braintrust (marzo 2026).
- Anthropic, Define success criteria and build evaluations.
- Aakash Gupta, plantilla de PRD para productos con IA.