A pesar de los avances en inteligencia artificial, los sistemas actuales tienen serias limitaciones al jugar videojuegos. Julian Togelius, director del Game Innovation Lab en la Universidad de Nueva York, ha investigado por qué las IA, a pesar de poder generar clones de juegos como 'Asteroids', no pueden jugar eficazmente. Su análisis revela que, aunque los modelos de lenguaje han sido entrenados con grandes cantidades de código, jugar implica desafíos que van más allá de la simple programación.
El proceso de programación se asemeja a un juego bien estructurado, donde cada línea de código presenta criterios claros de éxito y retroalimentación inmediata sobre errores. Sin embargo, en el caso de los videojuegos, las reglas son más arbitrarias y el feedback puede ser inconsistente, lo que complica la tarea. Togelius señala que cuando se requiere que un modelo de IA juegue, los resultados son desalentadores, evidenciando un "fracaso absoluto".
Un ejemplo de las dificultades de la IA se dio en mayo de 2025, cuando Gemini 2.5 Pro logró completar 'Pokémon Azul', pero su rendimiento fue inferior al de un jugador humano. Este modelo tardó más tiempo y cometió errores repetidos, además de depender de software adicional para alcanzar su objetivo, lo que pone de manifiesto las limitaciones actuales en el campo de los videojuegos.