Las IAs no son capaces de superar este test que está al nivel de la educación primaria: ¿en qué consiste?

La IA se ha convertido en tema de conversación desde hace un tiempo. Sea o no cierto que podrían sustituir a los humanos en algunas funciones, la IA está dando resultados sorprendentes. Eso sí, parece que a la tecnología se le resisten los estudios de educación primaria.

El profesor Ethan Mollick de la Wharton School de la Universidad de Pensilvania, ha destacado en el ámbito de la inteligencia artificial por popularizar el "test de la manzana", una prueba que evalúa la capacidad de los modelos de lenguaje para realizar tareas lingüísticas complejas. Esta prueba fue desarrollada por Daniel Monge, quien la utiliza para medir el rendimiento de chatbots como ChatGPT, Bing o Gemini.

El reto consiste en pedir a los distintos programas de IA que escriban 10 oraciones que terminen con la palabra "manzana", una tarea que, aunque puede parecer sencilla, resulta ser un desafío para estos modelos de inteligencia artificial.

Según Mollick, el test pone a prueba varios aspectos de los modelos, incluyendo la gestión de la anticipación, el uso inusual de estructural de lenguaje, la necesidad de coherencia, tanto para el inicio como para el final de la frase, la comprensión y creatividad, y el equilibrio entre repetición y novedad. Los modelos deben generar oraciones que cumplan con la restricción de terminar con "manzana" sin caer en repeticiones excesivas o patrones predecibles.

La prueba destaca las dificultades que enfrentan los modelos autorregresivos para planificar su generación de texto con anticipación y adaptarse a patrones específicos. Aunque puede parecer un desafío básico, este test revela cómo los modelos de lenguaje de IA aún tienen áreas por mejorar en su capacidad para manejar tareas lingüísticas complejas de manera coherente y creativa.