Matriz de Confusion
Una matriz de confusión muestra el numero de predicciones tanto correctas como incorrectas hechas por el modelo de clasificacion, comparado con los resultados actuales (target values) que hay en los datos. Esto implica que tus datos tengan, para cada combinacion de variables, una que sea la de resultado conocido.
La matriz es de NxN, donde N es el numero de target values (o clase target). El rendimiento de los modelos se suele evaluar utilizando los datos de la matriz. La siguiente tabla de ejemplo muestra una matriz de confusion de 2×2 para dos clases (Positiva y Negativa)
| Confusion Matrix (Matriz de confusion) | Target (objetivo) | ||||
| Positivo | Negativo | ||||
| Modelo | Positivo | a | b |
Valor Predictivo Positivo |
a/(a+b) |
| Negativo | c | d |
Valor Predictivo Negativo |
d/(c+d) | |
| Sensibilidad | Especificidad |
Exactitud = (a+d)/(a+b+c+d) |
|||
- Exactitud: la proporcion de predicciones que fueron correctas sobre el total
- Valor Predictivo Positivo, o Precision: la proporcion de casos positivos que fueron correctamente identificados
- Valor Predictivo Negativo: la proporcion de casos negativos que fueron correctamente identificados.
- Sensibilidad: la proporcion real de casos positivos que fueron correctamente identificados.
- Especificidad: la proporcion real de casos negativos que fueron correctamente identificados.
Veamosla resuelta:
| Confusion Matrix | Target | ||||
| Positivo | Negativo | ||||
| Modelo | Positivo | 70 | 20 |
Valor Predictivo Positivo |
0.78 |
| Negativo | 30 | 80 |
Valor Predictivo Negativo |
0.73 | |
| Sensibilidad | Specificidad |
Exactitud= 0.75 |
|||
Gráficos de Ganancia y Lift (Gain and Lift)
Es la medida de efectividad de un modelo de clasificacion calculado como la tasa entre los resultados obtenidos con y sin el modelo. Las graficas de Ganancia y Lift son ayudas visuales utilizadas para evaluar la performance de los modelos de clasificacion. Sin embargo, al contrario de la matriz de confusion que evalua los modelos sobre la poblacion completa, los graficos de ganancia y lift evaluan la performance del modelo a partir de solo una porcion de la poblacion.
Ejemplo
Grafico de Lift
Este grafico muestra cuanto más posible es recibir respuestas positivas que si contactamos un sampleo aleatorio de clientes. Por ejemplo si contactamos solo el 10% de los clientes, basandonos en el modelo predictivo alcancaremos 3 veces mas respuestas, que si no utilizaramos ningun modelo.
Grafico de K-S
Tambien conocido como Kolmogorov-Smirnov, este gráfico mide la performance de un modelo de clasificacion. Con mayor exactitud, el K-S es una medida del grado de separacion entre las distribuciones positivas y negativas. El K-S es 100 si el score divide a la poblacion en dos gripos separados donde uno de los grupos contiene todos los positivos y el otro todos los negativos. Por otro lado, si el modelo no puede diferenciar entre unos y otros, quiere decir que el modelo esta seleccionando datos como si fuera de manera aleatoria. En este caso el K-S sería de 0. En la mayoria de los modelos de clasificacion, el K-S caerá entre 0 y 100, donde a mayor el valor numérico, mejor es el modelo en cuanto a separar los casos positivos de los negativos.
Ejemplo
El siguiente ejemplo muestra los resultados de un modelo de clasificacion. El modelo le asigna un score de 0-1000 a cada resultado positivo (target) como negativo (non-target).
Grafica de ROC
Similar a los graficos de Gain o Lift en cuanto a que provee una manera de comparar entre diferentes modelos de clasificacion. El grafico ROC muestra la tasa de faltos positivos (1-specificidad). En el eje X, la probabilidad de un target=1 cuando su valor real es cero (0) contra la tasa positiva (sensitividad); En el eje Y, la probabilidad de un target=1 cuando su valor real es 1. Idealmente la curva subira rapidamente hacia la izquierda, indicando que el modelo predijo correctamentel os casos. La linea roja en diagonal es la linea para el modelo aleatorio.
Area bajo la curva (AUC)
Se utiliza a menudo como medida de calidad de los modelos de clasificacion. Un clasificador aleatorio tiene un AUC de 0,5, mientras que un clasificador perfecto tiene un AUC de 1. En la practica la mayoria de los modelos tienen un AUC entre 0,5 y 1.
Un Area bajo la Curva (AUC) de 0,8, por ejemplo, quiere decir que un caso cualquiera seleccionado aleatoriamente del grupo con un target igual a 1, tiene un score mayor que si lo hubieramos seleccionado de un grupo con un target igual a 0, el 80% de las veces. Cuando un clasificador no puede distinguir entre los dos grupos, el area será igual a 0,5 (la curva de ROC va a coincidir con la diagonal). Cuuando hay una separacion perfecta entre los dos grupos, es decir, cero solapamiento en las distribuciones, El area bajo la curva ROC llega a 1 (la curba ROC llegaria a la esquina superior izquierda en el grafico)