El desarrollo de modelos de inteligencia artificial (IA) se está moviendo hacia el objetivo de crear versiones más compactas que puedan funcionar en dispositivos con menor capacidad de procesamiento. En este contexto, China ha emergido como un competidor significativo, destacando modelos como Qwen y MiniCPM. Mientras tanto, algunas de las principales empresas tecnológicas de este país también están explorando el crecimiento en direcciones opuestas, buscando modelos más complejos y avanzados.
Las cifras en este sector revelan la magnitud de este avance. En el año 2026, el modelo Kimi K3 alcanzó un total de 2,8 billones de parámetros, evidenciando un rápido progreso en comparación con el modelo Kimi K2, que llegó a 1 billón de parámetros. Por su parte, Alibaba presentó su modelo Qwen3.8-Max con 2,4 billones de parámetros. Es importante señalar que estos números representan parámetros totales, y no todos se utilizan en cada operación de procesamiento, lo que subraya la necesidad de comprender mejor cómo se aplican estos sistemas.
La arquitectura de estos modelos no es un concepto nuevo. Según un análisis de SemiAnalysis realizado en 2023, se sugirió que GPT-4 podría estar utilizando un diseño conocido como Mixture of Experts (MoE), aunque OpenAI no ha confirmado este aspecto. Este enfoque permite que en vez de activar todos los parámetros en cada paso, el sistema utilice solo una fracción de ellos. Por ejemplo, Qwen3.8-Max dispone de 2,4 billones de parámetros, pero activa aproximadamente 95.000 millones en cada operación.
El aumento en el número de parámetros no siempre se traduce en un rendimiento superior. Un ejemplo notable es el modelo Chinchilla de DeepMind, que, a pesar de contar con 70.000 millones de parámetros, superó al modelo Gopher, que tenía 280.000 millones, en casi todas las pruebas realizadas, utilizando el mismo presupuesto de cómputo durante su entrenamiento. Además, Chinchilla fue entrenado con aproximadamente cuatro veces más datos, lo que también afecta a su rendimiento general.
Las empresas involucradas en el desarrollo de IA están tomando en cuenta varios factores que van más allá del simple número de parámetros. La arquitectura utilizada, la calidad y cantidad de los datos de entrenamiento, así como los recursos de computación disponibles, son elementos cruciales que influyen en la eficacia y precisión de estos modelos. Esto sugiere que en el campo de la inteligencia artificial, más grande no siempre implica mejor.
Contexto: La carrera por la inteligencia artificial en España también se ve influenciada por las iniciativas de empresas locales y su colaboración con instituciones académicas. En los últimos años, se ha observado un aumento en la inversión en investigación y desarrollo, lo que ha permitido a las empresas españolas posicionarse en el mercado de la IA. La importancia de estos avances es fundamental para la competitividad del país en el ámbito tecnológico a nivel europeo y mundial, lo que puede tener implicaciones significativas para la economía nacional.