El último gráfico de escalabilidad de la IA y por qué carece de sentido

En el vertiginoso mundo de la inteligencia artificial (IA), cada nuevo avance o estudio se convierte rápidamente en tema de conversación y objeto de análisis profundo. Recientemente, un gráfico presentado por METR (Model Evaluation and Threat Research), un laboratorio de investigación sin fines de lucro creado en diciembre de 2023, ha capturado la atención tanto de expertos como del público general al intentar medir la progresión en la capacidad de los grandes modelos de lenguaje, específicamente en tareas relacionadas con el software. Sin embargo, a pesar de su aparente rigor y fascinación, este gráfico presenta problemas conceptuales que hacen cuestionar su utilidad y validez. En las próximas líneas se examinarán con detalle las limitaciones y contradicciones de este estudio que tanto impacto ha tenido en las redes sociales y medios de comunicación. Para comprender la controversia, es crucial entender primero qué es lo que representa el gráfico.

METR compiló una amplia colección de 107 problemas de software y programación, cuidadosamente curados y evaluados por expertos para asegurar su calidad y dificultad. Estos problemas están diseñados para evaluar la capacidad de los modelos de inteligencia artificial para resolver tareas complejas de ingeniería de software. Además, con la finalidad de mantener la integridad del estudio, la mayoría de estos problemas permanecen inéditos para evitar que puedan ser usados en entrenamiento futuro de modelos. La principal métrica usada para comparar la evolución de los modelos fue la duración promedio que toma a un humano experto resolver cada problema, medida en horas y minutos. Por ejemplo, un desafío específico como procesar pagos y evitar transacciones duplicadas en múltiples zonas horarias y monedas puede llevarle a un experto humano más de 23 horas de trabajo.

Los resultados en el gráfico indican, por ejemplo, que GPT-4 logra un 50% de precisión en problemas que requieren aproximadamente 4 minutos a un humano experto. A simple vista, ello parecería indicar un avance impresionante en la capacidad de la IA, con una curva de mejora acelerada en la resolución de tareas cada vez más complejas. No obstante, la combinación de la métrica “tiempo humano promedio para resolver” con la tasa de éxito del modelo introduce problemas importantes en cuanto a la interpretación del gráfico. Para empezar, los tiempos humanos registrados dependen de muchas variables que no se pueden uniformizar fácilmente. La dificultad y la duración de tareas como responder preguntas, contar palabras en un texto o encontrar información en la web varían enormemente según diversos factores contextuales como la longitud del enunciado, complejidad del tema, experiencia personal, recursos disponibles, entre otros.

Por ejemplo, contar palabras en un idioma nativo puede ser rápido, pero hacerlo en un texto con una gramática o sistema de palabras poco familiar puede llevar mucho más tiempo. Por lo tanto, atribuir tiempos promedios a estas tareas cuando están basados en un conjunto limitado y específico de ejemplos puede resultar altamente arbitrario. Esta arbitrariedad se vuelve aún más notable cuando se consideran afirmaciones basadas en la extrapolación del gráfico. Algunas interpretaciones en redes sociales sugieren que en menos de un año la IA podrá realizar la mayoría de tareas cognitivas complejas que llevan una hora o más para los humanos, un pronóstico cuya validez es cuestionada por expertos que señalan la falta de sustento en los datos y el sin sentido de una predicción tan general y absoluta. Pretender que una máquina puede igualar o superar la resolución humana en tareas que dependen de contextos complejos y variables es una simplificación peligrosa, especialmente cuando la métrica de comparación está basada simplemente en tiempos promedios sin corrección ni análisis detallado de las variables adicionales.

Otro aspecto crucial que se debe destacar es que el estudio se enfoca exclusivamente en tareas relacionadas con el software. El campo de la ingeniería de software podría ser muy distinto en términos de acceso a datos, estructura lógica y posibilidad de optimización comparado con otras áreas cognitivas o creativas. Esto implica que los resultados reflejados en el gráfico no son generalizables a otras actividades del intelecto humano como creatividad artística, razonamiento formal o resolución de problemas en entornos no estructurados. La expectativa de que los avances demostrados en software se traduzcan directamente a una inteligencia artificial general capaz de realizar toda clase de tareas complejas es, cuando menos, apresurada. Además, hay indicios de que los grandes modelos han recibido significativamente más atención y entrenamiento en problemas específicos relacionados con software que en otros ámbitos.

Esta focalización puede inflar artificialmente la percepción del progreso real en la inteligencia artificial, puesto que los modelos podrían estar mejor equipados para tareas con datos abundantes y estructurados, mientras fallan estrepitosamente en áreas menos definidas o desestructuradas. Las discusiones alrededor del gráfico también ponen en relieve un fenómeno común en el ámbito de la inteligencia artificial: la amplificación del hype y el sesgo de confirmación. Inversores y entusiastas tienden a interpretar rápidamente resultados con la esperanza de avances disruptivos, mientras que quienes están más cercanos al desarrollo conocen las limitaciones y desafíos subyacentes. Tal disparidad en la percepción fomenta la propagación de expectativas exageradas y la creación de una burbuja informativa que a menudo obvia las señales de alerta. Asimismo, resulta importante señalar cómo las publicaciones en medios populares, tweets y blogs pueden distorsionar o descontextualizar el mensaje original de investigaciones científicas.

Una práctica desafortunada que reduce la complejidad y la rigurosidad a titulares sensacionalistas. En el caso del gráfico de METR, aunque el documento técnico incluyó advertencias y aclaraciones sobre el alcance restringido de sus resultados, la comunicación pública las omitió, dando pie a conclusiones infundadas o demasiado optimistas. En cuanto a la metodología, la concepción de la dificultad en términos de “tiempo promedio” o “messiness” (desorden o complejidad inherente) también es cuestionable. La idea de que tareas menos estructuradas o con retroalimentación poco clara sean más difíciles para los sistemas de IA no siempre se sostiene cuando se examinan ejemplos concretos. Por ejemplo, la tarea poco “desordenada” de contar palabras en un texto es resuelta con errores por los modelos más recientes cuando los textos son extensos.

Estas incongruencias evidencian que el criterio aplicado para medir “messiness” no abarca todos los matices necesarios para caracterizar la verdadera dificultad. Todo esto nos lleva a una conclusión clara: intentar predecir el futuro de la inteligencia artificial meramente extrapolando curvas basadas en métricas arbitrarias y específicos problemas de programación es un camino equivocado. La naturaleza multifacética de la inteligencia humana, la enorme diversidad de contextos cognitivos y los retos propios de cada tarea requieren análisis más profundos y métodos de evaluación mucho más robustos y variados. Los modelos de lenguaje actuales han hecho avances notables en aspectos específicos, pero existen limitaciones estructurales que no pueden pasarse por alto. La capacidad para formalizar razonamientos complejos, manejar situaciones novedosas, y operar con sentido común sigue siendo insuficiente en muchos sentidos.

A pesar de las críticas, es importante reconocer el valor que tienen datasets bien construidos y estudios rigurosos para mejorar nuestra comprensión de las fortalezas y debilidades de la IA. Los problemas planteados en el estudio de METR pueden guiar el desarrollo futuro y ayudar a focalizar esfuerzos en áreas que requieren mejoras. Sin embargo, siempre se debe mantener un enfoque crítico y evitar caer en la tentación de generalizar resultados o aceptar pronósticos grandilocuentes sin fundamento. A modo de reflexión final, el caso del gráfico de escalabilidad de METR es un recordatorio para la comunidad científica, los medios y el público en general sobre la importancia del rigor analítico y la prudencia comunicativa. En un campo tan dinámico y estratégico como la inteligencia artificial, comprender claramente lo que sabemos y reconocer lo que aún no está claro es fundamental para tomar decisiones informadas, establecer expectativas realistas y evitar el desengaño.

La inteligencia artificial promete transformar nuestras vidas, pero su desarrollo real y responsable solo será posible si nos alejamos del hype fácil y nos enfocamos en evidencias sólidas y análisis honestos.