Cómo se usa
- Escribe los parámetros y los tokens de entrenamiento, ambos en miles de millones (2 billones de tokens = 2000).
- Escribe el número de GPU, sus TFLOP/s máximos y la MFU esperada.
- Lee el cómputo total, el tiempo y las horas GPU; compara los tokens por parámetro con el valor de Chinchilla.
Fórmulas
- Cómputo de entrenamiento C = 6 × N × D FLOPs
- Velocidad efectiva por GPU = pico × MFU
- Horas GPU = C ÷ (pico × MFU) ÷ 3600; tiempo real = horas GPU ÷ número de GPU
- Petaflop/s-día = C ÷ (10¹⁵ × 86.400)
- Tokens óptimos de Chinchilla ≈ 20 × N; inferencia ≈ 2N FLOPs por token generado
Ejemplo
Un modelo de 7000 millones de parámetros entrenado con 2 billones de tokens en 512 GPU de 312 TFLOP/s con un 40 % de MFU:
- C = 6 × 7 × 10⁹ × 2 × 10¹² = 8,4E22 FLOPs (972,2 petaflop/s-día);
- cada GPU rinde 312 × 0,4 = 124,8 TFLOP/s, así que hacen falta 8,4 × 10²² ÷ 1,248 × 10¹⁴ ÷ 3600 = 186.966 horas GPU;
- con 512 GPU son 365,2 horas, unos 15,22 días;
- 2000 ÷ 7 = 285,71 tokens por parámetro, 14 veces los 140 mil millones de tokens óptimos de Chinchilla.
Consejos
- Deja margen. Los reinicios tras fallos, las evaluaciones y los checkpoints suelen sumar decenas de por ciento al tiempo ideal.
- Revisa la memoria aparte. El cómputo dice cuánto se tarda; si el modelo cabe depende de parámetros, gradientes y estados del optimizador. Para obtener N, usa la calculadora de parámetros de un transformer.
- Multiplica las horas GPU por el precio por hora de una GPU para estimar el coste.