Blog de Invarra
Notas sobre aseguramiento de IA.
Notas breves de investigación sobre invariancia, evaluación semántica y por qué los sistemas de IA fiables deben conservar el comportamiento correcto cuando cambia el lenguaje.
Acertar una vez no es suficiente
Una respuesta correcta a un prompt no demuestra que el modelo haya seguido el objetivo subyacente. La pregunta más fuerte es qué ocurre cuando el significado se mantiene y la representación cambia.
Leer artículo
Notas recientes
Notas de investigación
La fila suele ser la unidad equivocada
La evaluación semántica suele empezar con una fila. Las unidades semánticas canónicas dan una mejor unidad de análisis cuando el mismo significado tiene varias formas de superficie.
El desacuerdo es dato
Cuando representaciones válidas del mismo caso subyacente producen resultados distintos, el desacuerdo puede no ser ruido. Puede ser la señal de medición.
La variación válida necesita un contrato
Los contratos de preservación semántica hacen interpretable la variación al declarar qué debe permanecer fijo, qué puede cambiar y cómo se comprueba la validez.
La hipótesis nula correcta para la observación indirecta
Cuando un objetivo no puede observarse directamente, los evaluadores deberían asumir que el comportamiento observado puede depender de la representación hasta que la variación válida sostenga una afirmación más fuerte.
La fragilidad semántica debe ser atribuible
Una evaluación útil no debería limitarse a decir que un sistema semántico es frágil. Debe ayudar a localizar dónde entra la fragilidad en la estructura de medición.