Por qué un modelo general no sabe de vino
Medimos 400 descripciones de vino generadas por modelos de propósito general contra las correcciones de doce sommelieres. El 38% tenía al menos un error fáctico.
Empezamos con una pregunta simple: si le pedimos a un modelo general que describa un vino que tenemos delante, ¿cuánto de lo que dice es verdad? Tomamos 400 etiquetas de cartas reales de once locales y le pedimos a tres modelos de propósito general una descripción de carta para cada una. Después las pusimos a revisar por doce sommelieres, sin decirles de dónde venía cada texto.
Qué encontramos
- El 38% de las descripciones tenía al menos un error fáctico verificable: añada, cepa, región o graduación.
- El 71% usaba al menos tres de los mismos ocho adjetivos, sin importar el vino.
- En 26 casos el modelo mencionó una distinción o un puntaje que no existe.
- Ninguna de las 400 mencionaba un dato que sólo se sabe si tomaste ese vino.
El primer número es el que asusta y el segundo es el que importa. Un error fáctico se corrige. La homogeneidad no: es la consecuencia directa de haber aprendido de un promedio de todo lo que se escribió sobre vino, donde lo que más se repite es también lo más vacío.
Describí este vino para una carta. Cabernet Franc, Valle de Uco, 2021.
Un vino de gran elegancia, con notas de frutos rojos maduros, especias y un toque herbal. Taninos redondos y final persistente. Ideal para acompañar carnes rojas y quesos maduros.
Franc de Uco, con lo que el Franc tiene de verde bien puesto: pimiento asado, no morrón crudo. Es más fresco de lo que la gente espera de un tinto de Mendoza. Va con la entraña y, sobre todo, con todo lo que venga con pimientos.
La segunda descripción la escribió una persona. Lo que hace distinto no es el conocimiento técnico, que el modelo también tiene: es que se compromete con algo. Dice que es más fresco de lo que la gente espera, que es una afirmación que se puede discutir. El texto del modelo general no tiene ninguna afirmación discutible, y por eso no le sirve a nadie para decidir.
Un vino descripto sin que nadie se juegue por él es un vino que no se vende. La carta no es una ficha técnica, es una recomendación.
Qué hicimos con eso
Las 400 correcciones fueron el primer conjunto de entrenamiento del área de vinos. Cada una quedó atada a quien la escribió, y esa atribución es permanente: aparece en el crédito del producto y en la ficha del autor en este sitio. No es un gesto. Es la única manera de que dentro de dos años se pueda saber de dónde salió cada criterio.