Confiar a ciegas
Es un sesgo común, que por el apuro de avanzar, iniciar otra tarea o entregar algo, el resultado que arroja una herramienta/análisis confiamos ciegamente.
1+1 = 5 ? 🤯
Por ejemplo, he visto analistas y administradores en el análisis de logs de un firewall llegando a la conclusión que estamos teniendo accesos desde IP de Taiwan en el segmento del LAN !! Panic Attack ...
Por no dar contexto adecuado (tenía un segmento de red que no esperaba el rfc y estaba con IP públicas de Taiwan, si realmente horrendo pero así estaba su arquitectura) se llegó a una conclusión (resultado) completamente FALSO
Introducción a la matriz de confusión en ciberseguridad
La matriz de confusión es una herramienta útil en el análisis de los resultados de los test, herramientas o análisis de ciberseguridad. Estos resultados, tienen como objetivo identificar y mitigar amenazas a la seguridad de los sistemas y redes. Sin embargo, no siempre son perfectos, y es crucial entender y analizar sus fortalezas y limitaciones.
Permite visualizar y cuantificar el desempeño de estos test/herramientas/análisis de ciberseguridad, ayudando a identificar cuatro tipos de resultados posibles:
[VP] Verdaderos Positivos: Cuando se detecta correctamente una amenaza o actividad maliciosa.
[FP] Falsos Positivos: Cuando se identifica erróneamente una actividad como amenazante, cuando en realidad es benigna. [Error tipo 1] 🠞 Falsa Alarma
[VN] Verdaderos Negativos: Cuando se identifica correctamente una actividad como benigna.
[FN] Falsos Negativos: Cuando se falla en detectar una amenaza o actividad maliciosa. [Error tipo 2]
Construcción de la matriz de confusión
Se necesita tener un conjunto de datos de prueba con resultados conocidos, es decir, se sabe de antemano cuáles son las actividades maliciosas y cuáles son las benignas. Luego, se aplica la herramienta de ciberseguridad a este conjunto de datos y se comparan los resultados de la herramienta/test/análisis con los resultados conocidos. A partir de esta comparación, se pueden calcular los cuatro tipos de resultados mencionados anteriormente.
La matriz de confusión se representa en forma de tabla, donde:
- Filas representan los resultados reales (maliciosos o benignos)
- Columnas representan los resultados predichos por la herramienta/test/análisis de ciberseguridad.
- Intersección de cada fila y columna contiene el número de ocurrencias de cada tipo de resultado.
Los ejes están invertidos respecto a la imagen anterior
Error Tipo 1 (Falso Positivo)
También conocido como Falso Positivo, ocurre cuando se identifica erróneamente una actividad como maliciosa o amenazante, cuando en realidad es una actividad benigna.
Algunos ejemplos de falsos positivos en ciberseguridad incluyen:
- Un firewall que bloquea una conexión legítima porque coincide con una regla demasiado restrictiva.
- Un sistema de detección de intrusos (IDS) que genera una alerta por un patrón de tráfico que se asemeja a un ataque, pero en realidad es una actividad normal.
- Un antivirus que identifica erróneamente un archivo legítimo como malware.
Los falsos positivos pueden generar varias consecuencias negativas:
- Interrupciones en la operación normal de los sistemas y aplicaciones.
- Investigaciones y análisis innecesarios por parte del equipo de seguridad.
- Pérdida de confianza en la efectividad de las herramientas de seguridad.
- Sobrecarga de trabajo para el equipo de seguridad.
Error Tipo 2 (Falso Negativo)
También conocido como Falso Negativo, ocurre cuando no se logra detectar una actividad maliciosa o amenazante, permitiendo que pase desapercibida. De los dos tipos de errores, este tipo de error es el más peligroso de tener
Algunos ejemplos de falsos negativos:
- Un antivirus que no logra detectar e impedir la ejecución de un nuevo malware.
- Un firewall que no bloquea un intento de intrusión porque la firma del ataque no está en sus reglas.
- Un sistema de detección de intrusos (IDS) que no genera una alerta ante un ataque sofisticado y sutil.
Los falsos negativos son especialmente preocupantes, ya que permiten que amenazas reales puedan comprometer la seguridad de los sistemas y redes, lo que puede tener consecuencias graves:
- Acceso no autorizado a sistemas y datos.
- Robo o pérdida de información confidencial.
- Interrupción de las operaciones y servicios críticos.
- Daños a la reputación y confianza de la organización.
Métricas derivadas de la matriz de confusión
A partir de la matriz de confusión, se pueden calcular diversas métricas que permiten evaluar el desempeño del resultado de una herramienta (o análisis) de ciberseguridad:
Precisión: Mide la proporción de predicciones positivas que son correctas. Se refiere a lo cerca que está el resultado de una medición del valor verdadero.
Sesnsibilidad (Recall): Mide la proporción de amenazas reales que fueron detectadas correctamente.
TPTP + FN
Recall (R)=TPTP + FN
Puntaje F1: Es la media armónica entre la precisión y la exhaustividad. Combina ambas métricas en un solo valor.
Tasa de Falsos Positivos: Mide la proporción de predicciones positivas que son incorrectas.
Tasa de Falsos Negativos: Mide la proporción de amenazas reales que no fueron detectadas.
Exactitud (Accuracy): La relación entre el número total de muestras normales correctamente clasificadas y todas las muestras del conjunto de datos. Se refiere a lo cerca que está el resultado de una medición del valor verdadero
Ratio de Error (Error Rate): La relación entre el número total de muestras mal clasificadas y todas las muestras del conjunto de datos se llama tasa de error
Estas métricas permiten evaluar el desempeño del test/herramienta/análisis de ciberseguridad y tomar decisiones informadas sobre su eficacia, ajustes necesarios o posibles mejoras.
Conclusión
La matriz de confusión es una herramienta poderosa para analizar los resultados. Permite entender y cuantificar sus fortalezas y limitaciones, lo cual es crucial para mejorar la efectividad de las estrategias de seguridad y tomar decisiones informadas. Al aplicar y analizar la matriz de confusión, los profesionales de ciberseguridad pueden optimizar el desempeño de sus herramientas y brindar una mejor protección a los sistemas y redes que resguardan.
🤔Sabes cuanto FP tiene tu antivirus?
Referencias
- https://es.v500.com/false-positive-false-negative-true-positive-and-true-negative/
- https://es.m.wikipedia.org/wiki/Falso_positivo_y_falso_negativo
- https://www.juanbarrios.com/la-matriz-de-confusion-y-sus-metricas/
- https://cursos.frogamesformacion.com/pages/blog/matriz-de-confusion
- https://steemit.com/spanish/@waster/explicacion-alternativa-para-accuracy-precision-recall-y-f1-score
- https://calidadcliente.blogspot.com/2018/03/matriz-de-confusion.html?m=1
- https://inteligencia-analitica.com/acercamiento-modelos-clasificacion/
- https://steemit.com/spanish/@waster/explicacion-alternativa-para-accuracy-precision-recall-y-f1-score
- https://medium.com/@nikitamalviya/confusion-matrix-870739a1ec31
- https://impulsatek.com/14-metricas-esenciales-para-construir-modelos-definitivos/
- https://samriddhi2958.medium.com/how-cyber-crime-uses-confusion-matrix-8c0bf1e20d2f
- https://www.mdpi.com/1996-1073/13/10/2509
- https://medium.com/@Coursesteach/binary-classification-model-evaluation-d4232ad55a48
- https://blog.nillsf.com/index.php/2020/05/23/confusion-matrix-accuracy-recall-precision-false-positive-rate-and-f-scores-explained/
- https://indhumathychelliah.com/2020/12/23/confusion-matrix%E2%80%8A-%E2%80%8Aclearly-explained/
0 comments:
Publicar un comentario