Que significa que un modelo tenga mil millones de parametros

Oyes que un modelo tiene "mil millones de parametros" o "un billon de parametros" y suena impresionante, pero, que es exactamente un parametro? Aqui va la explicacion sin una sola formula.

Imagina una mesa de mezclas de sonido gigantesca, con millones de diales. Cada dial ajusta un matiz minusculo de como se combina la informacion. Un parametro es uno de esos diales.

Los diales del conocimiento

Durante el entrenamiento, el modelo ajusta esos millones de diales una y otra vez hasta que la combinacion produce buenos resultados. Cada dial, por si solo, no significa nada. Pero millones de ellos coordinados capturan patrones enormemente sutiles del lenguaje y las ideas.

Mas parametros permiten capturar matices mas finos. Pero mas diales no garantizan mejor musica.

Por que el tamano no lo es todo

Aqui esta la trampa: un modelo con muchos parametros pero mal entrenado rinde peor que uno mas pequeno y bien afinado. Importa tanto como estan ajustados los diales (la calidad de los datos y el entrenamiento) como cuantos hay.

Por eso la tendencia reciente no es solo hacer modelos mas grandes, sino mas eficientes: sacar mas rendimiento de cada parametro en lugar de limitarse a anadir mas.