Cómo se usa
- Introduce el número de parámetros en miles de millones y elige la precisión en que se guardan los pesos.
- Copia de la configuración del modelo las capas, las cabezas KV y la dimensión de cabeza.
- Indica la longitud de contexto que vas a usar y cuántas secuencias se procesan a la vez.
- Elige la precisión de la caché KV (16 bits, salvo que tu entorno la cuantice) y un margen.
- Introduce la memoria de tu GPU, o la suma de varias, para ver si cabe y cuál es el contexto más largo posible.
Fórmulas
- Pesos = parámetros × bytes por parámetro (4, 2, 1 o 0,5).
- Caché KV = 2 × capas × cabezas KV × dimensión de cabeza × contexto × lote × bytes por valor.
- Total = (pesos + caché KV) × (1 + margen ÷ 100).
- Contexto más largo = (memoria ÷ (1 + margen ÷ 100) − pesos) ÷ (caché KV por token × lote), redondeado hacia abajo.
Los modelos con atención agrupada (GQA) tienen menos cabezas KV que cabezas de atención; por eso el campo de cabezas KV va aparte: usa esa cifra, no el total de cabezas.
Ejemplo resuelto
Un modelo de 7.000 millones de parámetros a 16 bits, 32 capas, 8 cabezas KV de dimensión 128, contexto 8192, una secuencia y margen del 10 %:
- pesos 7 × 10⁹ × 2 = 14 GB;
- caché KV por token 2 × 32 × 8 × 128 × 2 = 131.072 bytes = 128 KiB; para 8192 tokens, 1.073.741.824 bytes = 1,074 GB;
- margen del 10 % de 15,074 GB = 1,51 GB;
- total 16,58 GB, es decir, 15,44 GiB.
Con 24 GiB disponibles cabe, y el contexto más largo es (25.769.803.776 ÷ 1,1 − 14 × 10⁹) ÷ 131.072 = 71.923 tokens.
Consejos
- La precisión es lo que más pesa. Pasar de 16 a 4 bits reduce los pesos a la cuarta parte; la caché KV solo baja si el entorno también la guarda con menos precisión.
- El contexto y el lote crecen de forma lineal. El doble de contexto o de lote es el doble de caché KV, y un modelo que cabe con 8000 tokens puede no caber con 128.000.
- Repartir entre varias GPU suma memoria, pero cada tarjeta necesita sus propios búferes: deja un margen generoso.
- Es una estimación con las fórmulas de arriba, no una medición; el consumo real depende del entorno y su configuración.