Калькулятор вычислений (FLOPs) для обучения LLM

Введите размер модели, число токенов для обучения и своё железо. Калькулятор применит стандартную оценку — 6 FLOPs на параметр на токен — и покажет общий объём вычислений, GPU-часы и дни при реальной утилизации, а также как ваше число токенов соотносится с правилом Chinchilla — около 20 токенов на параметр.

Работает в браузере: всё, что вы вводите, никуда не отправляется.

Инструмент помог?

Как пользоваться

Введите параметры и токены обучения в миллиардах (2 трлн токенов = 2000).
Введите число GPU, их пиковые TFLOP/s и ожидаемый MFU.
Смотрите общий объём вычислений, время и GPU-часы; сравните число токенов на параметр с ориентиром Chinchilla.

Формулы

Вычисления обучения C = 6 × N × D FLOPs
Реальная скорость одного GPU = пик × MFU
GPU-часы = C ÷ (пик × MFU) ÷ 3600; время по часам = GPU-часы ÷ число GPU
Петафлоп/с-дни = C ÷ (10¹⁵ × 86 400)
Оптимум токенов по Chinchilla ≈ 20 × N; инференс ≈ 2N FLOPs на сгенерированный токен

Пример

Модель на 7 млрд параметров, 2 трлн токенов, 512 GPU по 312 TFLOP/s при MFU 40 %:

C = 6 × 7 × 10⁹ × 2 × 10¹² = 8,4E22 FLOPs (972,2 петафлоп/с-дня);
каждый GPU даёт 312 × 0,4 = 124,8 TFLOP/s, поэтому нужно 8,4 × 10²² ÷ 1,248 × 10¹⁴ ÷ 3600 = 186 966 GPU-часов;
на 512 GPU это 365,2 часа, около 15,22 дня;
2000 ÷ 7 = 285,71 токена на параметр — в 14 раз больше оптимума Chinchilla в 140 млрд токенов.

Советы

Закладывайте запас. Перезапуски после сбоев, оценка качества и чекпоинты обычно добавляют десятки процентов к идеальному времени.
Память проверяйте отдельно. Вычисления говорят, сколько учить; поместится ли модель, зависит от параметров, градиентов и состояний оптимизатора — N поможет найти калькулятор параметров трансформера.
Умножьте GPU-часы на цену часа одного GPU, чтобы оценить стоимость.

Частые вопросы

Почему 6 × параметры × токены?

У плотного трансформера прямой проход стоит около 2 FLOPs на параметр на токен (одно умножение и одно сложение), а обратный — примерно вдвое больше. 2 + 4 = 6 FLOPs на параметр на токен, отсюда C ≈ 6ND. Оценка из работы Kaplan et al. (2020) не учитывает внимание по контексту, которое немного добавляет на длинных последовательностях.

Какой MFU закладывать?

Model FLOPs utilization — доля пиковой производительности GPU, которая идёт на вычисления модели. Крупные хорошо настроенные запуски обычно сообщают примерно 30–50 %; на маленьких кластерах, медленной сети или длинных последовательностях выходит меньше. По умолчанию здесь 40 %.

Какую пиковую производительность вводить?

Значение для плотных (не разреженных) вычислений в том формате чисел, в котором идёт обучение, из спецификации GPU. NVIDIA A100 рассчитан на 312 TFLOP/s для плотных вычислений в BF16 — это значение по умолчанию. Не берите цифру со sparsity: она вдвое выше.

Что за правило Chinchilla?

Hoffmann et al. (2022) показали, что при фиксированном бюджете вычислений модель должна увидеть около 20 токенов на параметр: у самой Chinchilla 70 млрд параметров и 1,4 трлн токенов. Многие современные модели обучают гораздо дольше: маленькая модель, увидевшая больше данных, дешевле в эксплуатации.

Ещё в разделе «Разработчикам»

Все инструменты раздела: Разработчикам ·Обновлено 7 ноября 2026 г.