Vale.
La semana pasada (o la anterior, no me acuerdo) te hablé del benchmark de OpenAI.
La IA ya nos gana el 46% de las veces en tareas complejas y blablablá.
Hoy te traigo algo que te va a hacer replantearte TODAS las creencias que tienes sobre IA jurídica.
El nuevo estudio de VALS AI.
200 preguntas de investigación jurídica estadounidense.
En tareas de INVESTIGACIÓN (ojo, no revisión ni generación de documentos)
4 productos de IA evaluados: Alexi, Counsel Stack, Midpage y ChatGPT.
Y un grupo de abogados profesionales como control.
El resultado te va a volar la cabeza.
La IA jurídica especializada (esas que cuestan miles de euros al año): 74-78%
Los abogados sin IA: 69%
ChatGPT (el que pagas 30€ al mes): Ganó a los productos jurídicos especializados en 5 de los 10 tipos de preguntas.
Repito.
Un producto generalista y barato superó a herramientas jurídicas especializadas y caras.
En exactitud, empatan. Todos rondan el 80%.
La única ventaja de la IA jurídica son las citas y fuentes (6 puntos más).
Pero aquí viene el bombazo...
El estudio señala que con Deep Research (que ya hemos visto por aquí), esa brecha puede cerrarse completamente.
Traducido: Lo que hoy cuesta miles de euros al año, mañana lo hace ChatGPT.
Y hay más.
Cuando la IA gana a los abogados (que fue en el 75% de las preguntas), lo hace con un margen medio de 31 puntos porcentuales.
No gana "un poco mejor". Te destroza.
Te dejo aquí el ANÁLISIS COMPLETO con todos los datos y conclusiones que te van a cambiar la forma de ver la IA en investigación jurídica.
Léelo.
En serio.
Cada dato cuenta.
Mañana más.