La IA frente al engaño humano: desentrañando la nueva era de las tácticas de phishing

Stephanie Carruthers
Chief People Hacker for IBM
X-Force Red

Los atacantes parecen innovar casi tan rápido como se desarrolla la tecnología. Día tras día, tanto la tecnología como las amenazas avanzan. Ahora que entramos en la era de la IA, las máquinas no sólo imitan el comportamiento humano, sino que impregnan casi todas las facetas de nuestras vidas. Sin embargo, a pesar de la creciente preocupación por las implicaciones de la IA, se desconoce en gran medida el alcance de su posible uso indebido por parte de los atacantes.

Para comprender mejor cómo los atacantes pueden aprovechar la IA generativa, hemos llevado a cabo un proyecto de investigación que arroja luz sobre una cuestión crítica: ¿tienen los modelos actuales de IA generativa las mismas capacidades de engaño que la mente humana? 

Imaginemos un escenario en el que la IA se enfrenta a los humanos en una batalla de phishing. ¿El objetivo? Determinar qué contendiente puede obtener una mayor tasa de clics en una simulación de phishing contra organizaciones. Como alguien que se gana la vida escribiendo correos electrónicos de phishing, me entusiasmó descubrir la respuesta.

Con sólo cinco sencillas instrucciones fuimos capaces de engañar a un modelo generativo de IA para que desarrollara correos electrónicos de phishing muy convincentes en sólo 5 minutos, el mismo tiempo que tardo yo en prepararme una taza de café. Por lo general, mi equipo tarda unas 16 horas en crear un correo electrónico de phishing, y eso sin tener en cuenta la configuración de la infraestructura. Por tanto, los atacantes pueden ahorrarse casi dos días de trabajo utilizando modelos de IA generativa. Y el phishing generado por la IA era tan convincente que casi supera al creado por ingenieros sociales experimentados, pero el hecho de que esté a la par es un avance importante.

En este blog, detallaremos cómo se crearon las instrucciones de la IA, cómo se llevó a cabo la prueba y qué significa esto para los ataques de ingeniería social de hoy y de mañana.

Primera ronda: el auge de las máquinas

Por un lado, teníamos correos electrónicos de phishing generados por IA con narrativas muy astutas y convincentes.

Creación de los mensajes. A través de un proceso sistemático de experimentación y refinamiento, se creó una colección de sólo cinco instrucciones para que ChatGPT generara correos electrónicos de phishing adaptados a sectores industriales específicos.

Para empezar, pedimos a ChatGPT que detallara las principales áreas de preocupación de los empleados de esos sectores. Después de dar prioridad al sector y a las preocupaciones de los empleados, pedimos a ChatGPT que hiciera selecciones estratégicas sobre el uso de técnicas de ingeniería social y de marketing en el correo electrónico. El objetivo de estas elecciones era optimizar la probabilidad de que un mayor número de empleados hiciera clic en un enlace del propio correo electrónico. A continuación, se pregunto a ChatGPT quién debía ser el remitente (por ejemplo, alguien interno de la empresa, un proveedor, una organización externa, etc.). Por último, pedimos a ChatGPT que añadiera los siguientes datos para crear el correo electrónico de phishing:

1. Principales áreas de preocupación de los empleados del sector sanitario: Avance profesional, estabilidad laboral, trabajo satisfactorio, etc.
2. Técnicas de ingeniería social que se deben utilizar: Confianza, Autoridad, Prueba Social(Influencia Social Informativa)
3. Técnicas de marketing que se deben utilizar: Personalización, Optimización móvil, Call to action
4. Persona o empresa que debe imitar: Director interno de recursos humanos
5. Generación del email: Dada toda la información anterior, ChatGPT generó el siguiente correo electrónico redactado, que posteriormente fue enviado por mi equipo a más de 800 empleados.

Tengo casi una década de experiencia en ingeniería social, he creado cientos de correos electrónicos de phishing e incluso me pareció que los correos electrónicos de phishing generados por la IA eran bastante persuasivos. De hecho, hubo tres organizaciones que originalmente aceptaron participar en este proyecto de investigación, y dos se echaron atrás por completo después de revisar ambos correos electrónicos de phishing porque esperaban una alta tasa de éxito. Como mostraban las indicaciones, la organización que participó en este estudio de investigación pertenecía al sector sanitario, que actualmente es uno de los más atacados.

Aumento de la productividad para los atacantes. Mientras que un correo electrónico de phishing suele llevar a mi equipo unas 16 horas de trabajo, el correo electrónico de phishing con IA se generó en tan sólo cinco minutos con cinco sencillas instrucciones.

Segunda ronda: el toque humano

En la otra esquina teníamos a ingenieros sociales experimentados de X-Force Red.

Armados con creatividad y una pizca de psicología, estos ingenieros sociales crearon correos electrónicos de phishing que resonaban con sus objetivos a nivel personal. El elemento humano añadía un aire de autenticidad que es difícil de reproducir.

Paso 1: OSINT. Nuestro enfoque del phishing comienza invariablemente con la fase inicial de adquisición de Inteligencia de Fuentes Abiertas (OSINT). OSINT es la recuperación de información de acceso público, que posteriormente se somete a un análisis riguroso y sirve como recurso fundamental en la formulación de campañas de ingeniería social. Los repositorios de datos más destacados para nuestros esfuerzos de OSINT abarcan plataformas como LinkedIn, el blog oficial de la organización, Glassdoor y una plétora de otras fuentes.

Durante nuestras actividades de OSINT, descubrimos con éxito una entrada de blog que detallaba el reciente lanzamiento de un programa de bienestar para los empleados, coincidiendo con la finalización de varios proyectos importantes. Este programa tenía testimonios favorables de los empleados en Glassdoor, lo que demuestra su eficacia y la satisfacción de los empleados. Además, identificamos a una persona responsable de la gestión del programa a través de LinkedIn.

Paso 2: Redacción del correo electrónico: Utilizando los datos recopilados en nuestra fase OSINT, iniciamos el proceso de construir meticulosamente nuestro correo electrónico de phishing. Como paso fundamental, era imperativo que nos hiciéramos pasar por alguien con autoridad para abordar el tema con eficacia. Para aumentar el aura de autenticidad y familiaridad, incorporamos un enlace legítimo a un sitio web de un proyecto recientemente concluido.

Para añadir impacto persuasivo, integramos estratégicamente elementos de percepción de urgencia introduciendo «limitaciones de tiempo artificiales». Transmitimos a los destinatarios que la encuesta en cuestión constaba simplemente de «5 breves preguntas» y les aseguramos que su cumplimentación no les exigiría más que «unos minutos» de su valioso tiempo y les dimos de plazo hasta «este viernes». Este encuadre deliberado sirvió para subrayar la mínima imposición en sus agendas, reforzando la naturaleza no intrusiva de nuestro enfoque.

Utilizar una encuesta como pretexto para el phishing suele ser arriesgado, ya que a menudo se considera una señal de alarma o simplemente se ignora. Sin embargo, teniendo en cuenta los datos que descubrimos, decidimos que los beneficios potenciales podrían compensar los riesgos asociados.

El siguiente correo electrónico de phishing redactado se envió a más de 800 empleados de una organización sanitaria internacional:

El campeón: los humanos triunfan, ¡pero por poco!

Tras una intensa ronda de pruebas A/B, los resultados fueron claros: los humanos salieron victoriosos, pero por un margen muy estrecho.

Aunque los correos electrónicos de phishing creados por humanos consiguieron superar a la IA, fue una competición muy reñida. Esta es la razón porque:

• Inteligencia emocional: Los humanos entendemos las emociones de una forma que la IA sólo puede soñar. Podemos tejer narrativas que tocan la fibra sensible y suenan más realistas, haciendo que los destinatarios sean más propensos a hacer clic en un enlace malicioso. Por ejemplo, los humanos eligieron un ejemplo legítimo dentro de la organización, mientras que la IA eligió un tema amplio, haciendo que el phishing generado por humanos fuera más creíble.
• Personalización: Además de incorporar el nombre del destinatario en la introducción del correo electrónico, también proporcionamos una referencia a una organización legítima, ofreciendo ventajas tangibles a su plantilla.
• Asunto corto y conciso: El phishing generado por humanos tenía un asunto breve y conciso («Encuesta sobre el bienestar de los empleados»), mientras que el generado por IA era extremadamente largo («Desbloquea tu futuro: avances limitados en la empresa X»), lo que podía levantar sospechas incluso antes de que los empleados abrieran el mensaje.

El phishing generado por la IA no sólo perdió frente a los humanos, sino que también fue reportadocomo sospechoso en un porcentaje mayor.

La conclusión: un vistazo al futuro

 Aunque X-Force no ha sido testigo del uso a gran escala de la IA generativa en las campañas actuales, herramientas como WormGPT, creadas para ser LLM sin restricciones o semirrestringidas, se han visto a la venta en varios foros que anuncian capacidades de phishing, lo que demuestra que los atacantes están probando el uso de la IA en las campañas de phishing. Aunque incluso las versiones restringidas de los modelos generativos de IA se pueden engañar para que suplanten la identidad mediante simples mensajes, estas versiones no restringidas pueden ofrecer a los agresores formas más eficaces de escalar sofisticados correos electrónicos de suplantación de identidad en el futuro.

Puede que los humanos hayan ganado por poco este partido, pero la IA mejora constantemente. A medida que avanza la tecnología, sólo podemos esperar que la IA se vuelva más sofisticada y potencialmente incluso supere a los humanos algún día. Como sabemos, los atacantes se adaptan e innovan constantemente. Este mismo año hemos visto cómo los estafadores utilizan cada vez más clones de voz generados por IA para engañar a la gente y hacer que envíe dinero, tarjetas regalo o divulgue información confidencial.

Aunque es posible que los humanos sigan teniendo ventaja en respecto a la manipulación emocional y la elaboración de correos electrónicos persuasivos, la aparición de la IA en el phishing señala un momento crucial en los ataques de ingeniería social. Aquí hay cinco recomendaciones clave para que empresas y consumidores estén preparados:

1. En caso de duda, llama al remitente: Si dudas de la legitimidad de un correo electrónico, coge el teléfono y verifícalo. Y considera la posibilidad de elegir una palabra de seguridad con amigos cercanos y familiares que puedas utilizar en caso de vishing o estafa telefónica generada por IA.
2. Abandone el estereotipo gramatical: Olvídate del mito de que los correos electrónicos de phishing están plagados de errores gramaticales y ortográficos. Los intentos de phishing generados por IA son cada vez más sofisticados y a menudo demuestran una gramática correcta. Por eso es imperativo reeducar a nuestros empleados y enfatizar que los errores gramaticales ya no son la principal señal de alarma. En su lugar, debemos formarles para que estén atentos a la longitud y complejidad del contenido del correo electrónico. Los correos electrónicos más largos, a menudo un sello distintivo del texto generado por IA, pueden ser una señal de advertencia.
3. Modernizar los programas de ingeniería social: Esto incluye introducir técnicas como el vishing en los programas de formación. Esta técnica es sencilla de ejecutar y, a menudo, muy eficaz. Un informe de X-Force descubrió que las campañas de phishing dirigidas que añaden llamadas telefónicas eran 3 veces más efectivas que las que no lo hacían.
4. Refuerce los controles de gestión de identidades y accesos: Los sistemas avanzados de gestión de acceso a identidades pueden ayudar a validar quién accede a qué datos, si tiene los derechos adecuados y si es quien dice ser. Un ejemplo es el MFA resistente al phishing, que añade una segunda capa de protección además de las contraseñas, va más allá de los códigos de acceso o los SMS y puede incluir datos biométricos, como el escaneo de dedos, etc.
5. Adaptarse e innovar constantemente: La rápida evolución de la IA significa que los ciberdelincuentes seguirán perfeccionando sus tácticas. Debemos adoptar esa misma mentalidad de adaptación e innovación continuas. Actualizar regularmente los TTPS internos, los sistemas de detección de amenazas y los materiales de formación de los empleados es esencial para ir un paso por delante de los actores maliciosos.

La aparición de la IA en los ataques de phishing nos reta a reevaluar nuestros enfoques de la ciberseguridad. Si adoptamos estas recomendaciones y nos mantenemos alertos ante la evolución de las amenazas, podremos reforzar nuestras defensas, proteger nuestras empresas y garantizar la seguridad de nuestros datos y personas en la era digital actual.

Para obtener más información sobre la investigación de seguridad de X-Force, inteligencia de amenazas y conocimientos de hackers, visite el X-Force Research Hub.

Para obtener más información sobre cómo IBM puede ayudar a las empresas a acelerar su viaje hacia la IA de forma segura, visite aquí.