Cómo medimos si el modelo mejoró
Nuestra metodología de evaluación: revisión a ciegas por pares, tasa de error fáctico y una prueba de personalidad que los modelos generales reprueban.
Un modelo que suena mejor no necesariamente es mejor. Para no engañarnos, todo cambio en un área se evalúa con tres medidas, y las tres se toman a ciegas: quien evalúa no sabe qué texto salió de qué versión.
Uno. Tasa de error fáctico
Un autor del área marca cada afirmación verificable como correcta, incorrecta o no verificable. La medida es la proporción de incorrectas sobre verificables. Es la única de las tres que tiene una respuesta objetiva, y es la que más peso tiene: un texto hermoso y falso es peor que un texto sobrio y cierto.
Dos. Preferencia entre pares
Dos textos para la misma consigna, sin identificar. El autor elige cuál publicaría en su local. Es una medida de oficio, no de gusto: la pregunta no es cuál está mejor escrito sino cuál usarías.
Tres. Prueba de voz
Le damos al modelo tres locales con voces distintas y la misma consigna. Si los tres textos se parecen entre sí más de lo que se parece cada uno a su local, el modelo no aprendió personalidad: aprendió a decir que la tiene. Los modelos generales reprueban esta prueba de manera consistente, y es la que más nos costó mejorar.