Calculadora de entropía cruzada y log loss
Pega una distribución real P y una predicha Q para obtener la entropía cruzada, la entropía de P, la divergencia de Kullback-Leibler y la perplejidad. O cambia a etiquetas binarias para obtener la log loss de las probabilidades de un clasificador, en nats, bits o base 10.
Funciona en tu navegador: nada de lo que escribes se envía a ningún sitio.
Cómo usarla
- Elige el modo. Dos distribuciones: P es la distribución real sobre las clases y Q la predicha. Etiquetas binarias: P contiene etiquetas 0/1 y Q las probabilidades predichas de la clase 1.
- Pega los números en el mismo orden, separados por espacios o «; ». Sirve la coma decimal: «0,7 0,2 0,1».
- Elige el logaritmo: natural (nats, como la mayoría de bibliotecas de ML), base 2 (bits) o base 10.
Fórmulas
- Entropía H(P) = −Σ pᵢ log pᵢ (los términos con pᵢ = 0 no suman).
- Entropía cruzada H(P, Q) = −Σ pᵢ log qᵢ.
- KL(P‖Q) = H(P, Q) − H(P) = Σ pᵢ log(pᵢ ÷ qᵢ) ≥ 0.
- Perplejidad = base^H(P, Q).
- Log loss = −(1/N) Σ [yᵢ log qᵢ + (1 − yᵢ) log(1 − qᵢ)].
Ejemplo resuelto
La clase real es la primera de tres, P = (1; 0; 0), y el modelo predice Q = (0,7; 0,2; 0,1), logaritmo natural:
- H(P, Q) = −ln 0,7 = 0,356675.
- H(P) = 0, así que KL(P‖Q) = 0,356675.
- Perplejidad = e^0,356675 = 1 ÷ 0,7 = 1,4286.
Log loss para las etiquetas 1; 0; 1; 1 y las predicciones 0,9; 0,1; 0,8; 0,4: (0,105361 + 0,105361 + 0,223144 + 0,916291) ÷ 4 = 0,337539, exactitud 75 %.
Consejos
- Usa la base de tu framework. PyTorch y TensorFlow dan las pérdidas en nats; los libros de teoría de la información, en bits. 1 nat = 1,4427 bits.
- Un error muy seguro pesa mucho. Una sola predicción de 0,01 para una etiqueta real suma 4,6 nats.
- Las distribuciones deben sumar 1. Las salidas de softmax lo hacen; las puntuaciones sin normalizar (logits), no.
Preguntas frecuentes
¿Qué es la entropía cruzada?
H(P, Q) = −Σ p·log q mide cuántos nats (o bits) hacen falta de media para codificar resultados de P con un código pensado para Q. Es mínima, e igual a la entropía H(P), cuando Q = P. En aprendizaje automático es la pérdida estándar de clasificación.
¿Qué relación tiene con la divergencia KL?
KL(P‖Q) = H(P, Q) − H(P). La entropía de las etiquetas reales no depende del modelo, así que minimizar la entropía cruzada equivale a minimizar la divergencia KL. Con etiquetas one-hot H(P) = 0 y las dos coinciden.
¿Qué es la log loss?
La entropía cruzada binaria media de un conjunto de datos: −(1/N) Σ [y·ln q + (1 − y)·ln(1 − q)], donde y es la etiqueta 0/1 y q la probabilidad predicha de la clase 1. Cuanto menor, mejor; predecir siempre 0,5 da ln 2 = 0,693.
¿Qué significa la perplejidad?
Perplejidad = base^entropía cruzada, el número efectivo de opciones igual de probables entre las que duda el modelo. Un modelo de lenguaje con perplejidad 20 está, de media, tan inseguro como si eligiera entre 20 palabras.
¿Por qué la pérdida es infinita si q es 0?
Porque log 0 es menos infinito: el modelo estaba seguro de que algo no podía pasar y pasó. Las bibliotecas lo evitan recortando las probabilidades a un rango como 10⁻¹⁵ … 1 − 10⁻¹⁵; esta calculadora lo avisa en su lugar.