Comparto los apuntes extraídos de Schroeder, D. T., Cha, M., Baronchelli, A., Bostrom, N., Christakis, N. A., Garcia, D., Goldenberg, A., Kyrychenko, Y., Leyton-Brown, K., Lutz, N., Marcus, G., Menczer, F., Pennycook, G., Rand, D. G., Schweitzer, F., Summerfield, C., Tang, A., Van Bavel, J. J., van der Linden, S., Song, D. & Kunst, J. R. (2025). How malicious AI swarms can threaten democracy. Preprint, arXiv:2506.06299. https://doi.org/10.48550/arXiv.2506.06299


Un enjambre malicioso de IA es un sistema distribuido de agentes artificiales autónomos o semi-autónomos, dotados de capacidades lingüísticas avanzadas, memoria contextual y mecanismos de aprendizaje continuo, que operan de manera concertada para influir, distorsionar o reconfigurar procesos sociales, cognitivos y políticos, manteniendo una apariencia de pluralidad humana genuina y minimizando la trazabilidad de su control externo. Puede entenderse como una entidad funcional de orden superior, comparable a una organización informal sin jerarquía visible, donde la inteligencia emerge de la coordinación algorítmica y de reglas de interacción más que de un centro de mando explícito, lo que dificulta su conceptualización jurídica y su atribución política. Se caracteriza por la persistencia prolongada en el tiempo, con identidades estables, trayectorias narrativas coherentes y capacidad de reactivación cíclica, lo que lo distingue de campañas puntuales y lo aproxima a infraestructuras duraderas de influencia que acompañan procesos sociales largos como ciclos electorales, conflictos culturales o disputas geopolíticas. En sus capacidades adaptativas incorpora bucles de retroalimentación continua con el entorno, ajustando tono, marcos interpretativos, intensidad emocional y tácticas de interacción en función de métricas algorítmicas, respuestas humanas y cambios en las reglas de las plataformas, lo que lo convierte en un actor estratégico con capacidad de aprendizaje situado.
Su eficacia no depende solo de producir mensajes persuasivos, sino de insertarse en redes sociales existentes, ocupar posiciones estructurales relevantes, simular relaciones interpersonales creíbles y explotar dinámicas de confianza, conflicto y pertenencia grupal, actuando como catalizador de interacciones humanas reales más que como sustituto de estas. El enjambre opera como un mecanismo de alteración de las condiciones de producción del conocimiento social, no limitándose a introducir información falsa o sesgada, sino erosionando la independencia de las fuentes percibidas, contaminando señales de consenso y modificando los criterios con los que los individuos evalúan credibilidad, relevancia y normalidad discursiva. Los enjambres de IA reducen los costes marginales de la manipulación a gran escala, permiten experimentación masiva casi gratuita y pueden ser operados por actores estatales, paraestatales, corporativos o incluso redes privadas con recursos limitados, lo que facilita la capacidad de interferencia estratégica y altera el equilibrio tradicional entre poder, recursos y alcance comunicativo. El enjambre malicioso actúa en un espacio de ambigüedad regulatoria, explotando vacíos legales entre libertad de expresión, anonimato, automatización y responsabilidad, con la consecuencia de que sus efectos desestabilizadores se producen sin infringir de manera clara normas existentes, lo que tensiona marcos democráticos basados en la imputabilidad de actores identificables.

Capacidades que alteran la relación coste-eficacia de la manipulación política y social

La coordinación descentralizada y dinámica supone una ruptura con los modelos clásicos de propaganda y de operaciones de influencia, basados en jerarquías claras, cadenas de mando reconocibles y sincronización explícita de mensajes. En el enjambre, la coordinación se produce a través de reglas compartidas, objetivos globales y señales ambientales, lo que permite que miles de agentes ajusten sus intervenciones sin necesidad de instrucciones directas continuas. Este funcionamiento aproxima el sistema a formas de inteligencia colectiva artificial, donde el comportamiento agregado no es plenamente predecible ni reducible a decisiones individuales. Desde el punto de vista de la detección y de la atribución política, el problema deja de ser identificar quién da la orden y pasa a ser comprender cómo el sistema produce coherencia narrativa sin un centro visible. Desde el punto de vista del coste-eficacia, esta arquitectura elimina cuellos de botella humanos, reduce la necesidad de supervisión constante y permite escalar la influencia sin incrementar proporcionalmente los recursos organizativos.

La infiltración informada por cartografía de redes amplía de manera sustancial las posibilidades de segmentación persuasiva. Frente a la microsegmentación publicitaria tradicional, centrada en variables demográficas, intereses declarados o historiales de consumo, el enjambre opera sobre la estructura relacional de las comunidades, identificando nodos influyentes, subgrupos cohesionados, fracturas internas y temas que activan dinámicas identitarias. Esta capacidad permite adaptar los mensajes no solo al perfil del individuo, sino a su posición en la red y a las normas implícitas del grupo al que pertenece. El resultado es una persuasión más eficiente, ya que los mensajes se perciben como endógenos a la comunidad y no como intervenciones externas. En términos económicos, esto reduce el desperdicio comunicativo y maximiza el impacto por interacción, incrementando el retorno de cada unidad de contenido generado.

La evasión de detección mediante mimetismo humano introduce un cambio profundo en la asimetría entre atacantes y defensores. Los sistemas de moderación y detección se han basado históricamente en identificar patrones repetitivos, sincronías anómalas o similitudes estadísticas entre cuentas. El enjambre malicioso neutraliza estos enfoques mediante variabilidad estilística, ritmos de actividad irregulares, uso contextual de jerga local y construcción de identidades visuales y narrativas plausibles. Esta capacidad no elimina la posibilidad de detección, aunque incrementa de forma sustancial su coste computacional, organizativo y político. Para el atacante, el coste marginal de generar diversidad es bajo, ya que se apoya en modelos generativos, mientras que para el defensor cada mejora en detección requiere rediseño de sistemas, revisión humana y justificación pública de errores, lo que inclina la balanza económica y temporal a favor del enjambre.

La optimización continua mediante experimentación masiva convierte la manipulación en un proceso cuasi científico de ensayo y selección acelerada. A diferencia de las campañas tradicionales, donde los mensajes se diseñan ex ante y se evalúan de forma limitada, el enjambre puede lanzar miles de variantes discursivas, emocionales y narrativas, medir su rendimiento en tiempo real y reforzar automáticamente aquellas que generan mayor interacción, adhesión o polarización. Esta lógica de micropruebas A/B, aplicada a escala de máquina, explota tanto las métricas explícitas de las plataformas como señales implícitas derivadas del comportamiento de los usuarios y de los algoritmos de recomendación. Desde la perspectiva del coste-eficacia, este mecanismo reduce la dependencia de expertos humanos en comunicación política y acelera el aprendizaje estratégico, permitiendo que incluso actores con escaso conocimiento contextual alcancen niveles elevados de eficacia persuasiva en plazos muy cortos.

La persistencia 24/7 como infraestructura de influencia representa quizá la transformación más profunda. El enjambre no actúa como una campaña, sino como una presencia constante que acompaña la vida cotidiana de las comunidades digitales. Esta continuidad temporal permite desplazar gradualmente significados, normalizar determinados marcos interpretativos y erosionar identidades alternativas sin necesidad de picos de actividad visibles. La ventaja asimétrica reside en la disponibilidad ilimitada de tiempo de cómputo frente a la atención humana, que es escasa, discontinua y vulnerable a la fatiga. En términos de coste-eficacia, la persistencia permite amortizar la inversión inicial a lo largo de largos periodos, generar efectos acumulativos difíciles de revertir y convertir la manipulación en un componente estructural del entorno comunicativo, no en un evento excepcional.

Mecanismos de daño a los sistemas democráticos

• Producción de consenso sintético y cascadas de conformidad que opera mediante la generación artificial de señales sociales que simulan pluralidad, transversalidad y apoyo espontáneo. El daño no reside únicamente en la difusión de una narrativa concreta, sino en la alteración de los procesos mediante los cuales los individuos infieren qué opiniones son mayoritarias, aceptables o socialmente seguras. Al presentar mensajes convergentes desde identidades aparentemente independientes, el enjambre activa heurísticas de prueba social y reduce la disposición a la disidencia, lo que favorece cascadas de conformidad incluso entre sujetos que no están plenamente convencidos del contenido, aunque perciben que “todo el mundo parece pensar lo mismo”. Este mecanismo es especialmente corrosivo en contextos de incertidumbre política, donde la opinión pública se forma bajo información incompleta.
• La erosión de la inteligencia colectiva por pérdida de independencia afecta a uno de los supuestos básicos de la deliberación democrática, que consiste en la agregación de juicios relativamente independientes. El enjambre introduce correlaciones artificiales entre opiniones que aparentan ser autónomas, lo que degrada la calidad epistémica del agregado social. El resultado no es solo una opinión pública sesgada, sino una opinión pública que confía excesivamente en su propio juicio colectivo, al interpretar redundancia coordinada como confirmación plural, generando dinámicas de sobreconfianza y cierre cognitivo difíciles de revertir mediante correcciones factuales posteriores.
• La fragmentación del común epistémico se manifiesta cuando el enjambre adapta narrativas, marcos morales y lenguajes emocionales a comunidades diferenciadas, reforzando realidades paralelas que apenas comparten categorías interpretativas. Este proceso no requiere contradicciones explícitas entre mensajes, basta con enfatizar elementos distintos de forma coherente con identidades previas. El daño democrático emerge cuando la posibilidad de desacuerdo razonado se diluye, ya que los actores dejan de discutir sobre hechos o criterios compartidos y pasan a habitar universos simbólicos parcialmente inconmensurables, lo que bloquea la deliberación transversal y favorece la polarización estructural.
• El envenenamiento de datos de entrenamiento o grooming informacional amplía el horizonte temporal del daño democrático. Al inundar el espacio digital con contenido fabricado orientado a ser indexado y reutilizado por sistemas de IA, el enjambre actúa sobre el sustrato informacional del futuro, no solo sobre audiencias presentes. Este mecanismo introduce una forma de captura epistémica diferida, en la que narrativas interesadas pueden consolidarse como “conocimiento común” en herramientas de búsqueda, asistentes y sistemas de apoyo a decisiones, afectando a ciudadanos, periodistas, investigadores y administraciones de manera indirecta y acumulativa.
• El acoso sintético a gran escala como mecanismo de exclusión daña la democracia mediante la selección adversa de participantes en el debate público. Al simular hostilidad masiva, el enjambre eleva el coste psicológico, reputacional y temporal de intervenir en la conversación política, incentivando la retirada de voces críticas, minoritarias o no profesionalizadas. Este efecto no se distribuye de forma homogénea, afecta con mayor intensidad a mujeres, minorías y actores con menor capital simbólico, lo que empobrece la pluralidad y refuerza desigualdades estructurales en la representación discursiva.
• La generación de miedo, incertidumbre y duda generalizada sobre la autenticidad del discurso produce un vértigo epistémico que mina la confianza interpersonal y mediática. Cuando los ciudadanos perciben que una parte indeterminada de la conversación puede ser artificial, se reduce la disposición a participar, compartir o confiar, lo que contrae el espacio público abierto y favorece la migración hacia comunidades cerradas. Este repliegue puede ofrecer refugio cognitivo, aunque también reduce la exposición a diversidad de perspectivas y refuerza dinámicas de endogamia informativa.
• La recentralización de la influencia como efecto secundario de la saturación constituye una consecuencia paradójica. Frente al ruido y la incertidumbre, usuarios y algoritmos tienden a privilegiar fuentes con señales claras de autoridad, verificación o notoriedad previa, lo que concentra la atención en élites mediáticas, grandes marcas y figuras públicas. Aunque este proceso puede reducir la exposición a manipulación burda, también debilita la promesa democrática de participación distribuida y refuerza asimetrías de poder comunicativo, revirtiendo parcialmente los efectos democratizadores de la comunicación digital.
• La ingeniería de normas y la manipulación de la movilización política, incluida la inhibición selectiva de la participación, actúa sobre comportamientos más que sobre creencias explícitas. El enjambre puede reforzar normas de acción o de abstención dentro de comunidades clave, explotando emociones como cinismo, fatiga o miedo al aislamiento. Este tipo de intervención resulta especialmente dañino porque sus efectos son difíciles de rastrear empíricamente y pueden alterar resultados electorales o procesos deliberativos sin dejar huellas claras de ilegalidad o interferencia directa.
• La erosión de la legitimidad institucional y la apertura a soluciones de excepción representa el daño sistémico de mayor alcance. Mediante la acumulación persistente de dudas, sospechas y narrativas de incompetencia o corrupción, el enjambre puede debilitar la confianza en procedimientos democráticos básicos, como elecciones, recuentos o decisiones judiciales. Cuando esta desconfianza se normaliza, se amplía la ventana de aceptabilidad social para medidas extraordinarias que restringen derechos, cuestionan resultados legítimos o justifican la desobediencia institucional, lo que coloca a la democracia en una situación de fragilidad estructural.

En conjunto, estas nueve vías deben entenderse como mecanismos interdependientes que se refuerzan mutuamente, configurando un entorno donde la deliberación racional, la confianza cívica y la participación inclusiva se deterioran de forma gradual y a menudo imperceptible, lo que convierte al enjambre malicioso en una amenaza particularmente difícil de neutralizar mediante respuestas normativas o tecnológicas convencionales.

Siete medidas de gobernanza y defensa

La primera medida, la detección continua con auditorías y transparencia pública, se entiende mejor como una arquitectura de vigilancia cívica sobre patrones conductuales coordinados, cuyo objetivo práctico es identificar redes de cuentas y flujos de contenido que presentan señales de coordinación inauténtica, persistencia identitaria anómala, sincronías adaptativas y convergencia narrativa mantenida. El instrumento no es solo técnico, ya que exige acceso a datos de plataforma, estándares de evidencia, protocolos de investigación reproducibles y canales de rendición de cuentas. La tensión política aparece cuando la detección requiere granularidad alta en metadatos, relaciones y trazas de interacción, lo que activa fricciones con privacidad, secreto empresarial y riesgos de abuso en entornos de polarización. En términos de diseño institucional, la opción más robusta suele combinar auditorías independientes con obligaciones regulatorias de acceso para investigadores acreditados y autoridades competentes, junto con límites estrictos sobre finalidades, retención y reutilización de datos, dado que un régimen de detección opaco alimenta sospechas de sesgo y un régimen de detección intrusivo alimenta temor a vigilancia masiva. Desde la perspectiva de legitimidad, la defensa basada en comportamiento tiene ventaja normativa frente a la defensa basada en contenido, ya que reduce incentivos a arbitrar veracidad, aunque su implementación no queda libre de contestación política, porque etiquetar coordinación se traduce en sanciones y las sanciones afectan a actores reales que pueden alegar persecución.

La segunda palanca, las intervenciones en mercados publicitarios y circuitos de monetización, desplaza el centro de gravedad desde la moderación hacia la economía política de la influencia, dado que buena parte de la infraestructura de manipulación se sostiene por incentivos de rentabilidad, externalización de costes y opacidad transaccional. La medida tiene varias capas, entre ellas la desmonetización de contenido amplificado por redes inauténticas, la depuración de inventario publicitario para reducir financiación indirecta, la penalización del engagement sintético en sistemas de reparto de ingresos y la exigencia de trazabilidad en compras de publicidad política y social, con especial atención a intermediarios, redes de afiliación y pagos transfronterizos. La tensión política se expresa en dos planos, uno de competencia y otro de libertad política. En el plano de competencia, las plataformas y los intermediarios publicitarios tienden a resistir obligaciones que incrementen costes de cumplimiento y reduzcan ingresos, con riesgo de captura regulatoria por actores dominantes que pueden asumir dichos costes y desplazar a competidores más pequeños. En el plano de libertad política, la frontera entre publicidad política legítima y operaciones encubiertas se vuelve litigiosa, sobre todo cuando actores nacionales y extranjeros utilizan capas societarias, organizaciones pantalla y campañas temáticas no declaradas. Una defensa eficaz requiere normas de transparencia de financiación y de segmentación, además de auditoría de cumplimiento y sanciones proporcionadas. Una defensa torpe puede restringir de facto la capacidad de organizaciones civiles para difundir mensajes, incluso cuando su intervención es legítima.

La tercera línea, los escudos para usuarios y herramientas de agencia individual, introduce un enfoque centrado en autonomía informada, mediante etiquetas de probabilidad, indicadores de procedencia, alertas de coordinación, controles de visibilidad y explicaciones sucintas de por qué un contenido o una cuenta presenta señales de operación coordinada. En su versión más prudente, se trata de sistemas opt-in, configurables y auditables, con modelos que operan en local cuando es viable y con garantías de no perfilado intrusivo. La tensión política emerge por el riesgo de paternalismo algorítmico y por el vector de manipulación del propio sistema de etiquetado. Un escudo demasiado agresivo puede estigmatizar voces disidentes y producir falsos positivos con alto coste reputacional. Un escudo demasiado débil puede convertirse en un gesto cosmético que no altera comportamientos. Un riesgo adicional se deriva de la competencia política, ya que la etiqueta de “coordinación” puede transformarse en munición retórica, con acusaciones cruzadas que degraden aún más confianza. Un diseño institucional sólido exige trazabilidad de versiones del detector, informes de error, mecanismos de apelación accesibles y un régimen de supervisión externo que evite que la plataforma use el escudo como instrumento de gestión reputacional.

La cuarta medida, la simulación basada en agentes para evaluación adversarial, funciona como un banco de pruebas que permite experimentar con tácticas plausibles del atacante, medir resiliencia de recomendadores, identificar puntos de colapso epistémico y calibrar respuestas defensivas sin esperar a incidentes reales. El valor de esta medida reside en que el enjambre opera como sistema adaptativo, por lo que la defensa que solo reacciona a casos detectados llega tarde. La tensión política se concentra en la gobernanza del propio laboratorio, porque simular tácticas ofensivas se aproxima a investigación dual, lo que plantea dilemas sobre publicación de detalles, transferencia involuntaria a actores hostiles y distribución de capacidades. Una salida razonable suele implicar compartimentación de información sensible, evaluación por comités éticos y de seguridad, además de divulgación escalonada centrada en patrones generales y métricas de resiliencia, con detalles técnicos reservados para entidades con responsabilidad operativa.

La quinta línea, el uso de agentes defensivos y contramensajería automatizada, abre un campo de tensión especialmente delicado. La idea consiste en desplegar sistemas que contesten narrativas manipuladoras, aporten contexto, reduzcan viralidad de falsedades y refuercen alfabetización mediática en tiempo real. El problema político no es menor, porque una defensa basada en producción de discurso por máquinas puede degradar la autenticidad percibida del espacio público y habilitar usos gubernamentales con sesgo incumbente. Un gobierno puede justificar agentes defensivos como protección de integridad electoral. La misma infraestructura puede emplearse para moldear opinión pública en beneficio del poder. En democracias liberales, cualquier despliegue de este tipo exige condiciones estrictas, con mandato legal claro, transparencia radical, auditoría independiente, registro público de mensajes automatizados, límites materiales sobre objetivos y prohibición de dirigirse a opositores o movimientos sociales por razones políticas. Incluso bajo tales condiciones, persiste una tensión de legitimidad, dado que la defensa mediante producción masiva de contenido puede agravar saturación y fatiga, lo que exige un principio de mínima intervención, centrado en precisión, trazabilidad y apoyo a fuentes humanas verificadas.

La sexta línea, el fortalecimiento de procedencia e identidad, abarca desde passkeys y atestación de dispositivos hasta reputación federada, pruebas criptográficas de humanidad y verificación con preservación de anonimato. El objetivo es elevar el coste de crear y sostener miles de identidades, sin destruir el anonimato que protege a denunciantes, minorías y disidentes. La tensión política se sitúa en el equilibrio entre seguridad y derechos. Un régimen de identidad real reduce el espacio para enjambres. También aumenta riesgos de persecución y exclusión. Además, en contextos autoritarios o en democracias con deriva iliberal, puede convertirse en herramienta de control social. Una aproximación compatible con pluralismo suele preferir verificación escalonada, donde la capacidad de amplificación y de acceso a funciones de alto impacto requiere niveles mayores de prueba de autenticidad, mientras el acceso básico mantiene opciones de anonimato, con mecanismos de rotación de credenciales y límites sobre correlación interplataforma. A esto se suma el problema de desigualdad digital, ya que exigir atestaciones complejas puede expulsar a usuarios con menor acceso tecnológico, lo que produce sesgos de participación.

La séptima medida, la creación de un observatorio distribuido y una infraestructura cívica de respuesta, apunta a resolver un fallo recurrente, la fragmentación de señales y la asimetría informativa entre plataformas, academia, periodismo y administraciones. Un observatorio robusto requiere estándares comunes de reporte, taxonomías de incidentes, canales de alerta temprana, cooperación transfronteriza y capacidad para producir atribución prudente sin precipitación. La tensión política surge por la gobernanza del observatorio, ya que quien define categorías, métricas y umbrales de intervención define en parte qué se considera amenaza. El riesgo de politización es alto, sobre todo en ciclos electorales. El riesgo de captura por plataformas también es alto, si el observatorio depende de datos provistos selectivamente. La arquitectura más defensible combina independencia institucional, financiación plural, participación de múltiples disciplinas, reglas de conflicto de intereses y publicación periódica de metodologías, con un principio operativo de prudencia probatoria, ya que atribuir erróneamente un ataque o exagerar su alcance puede dañar confianza pública y alimentar narrativas conspirativas.

Un hilo transversal recorre todas estas medidas, la defensa eficaz contra enjambres maliciosos requiere capacidad técnica, capacidad regulatoria y legitimidad democrática. La tensión política central reside en que la infraestructura comunicativa es privada, el espacio público es normativo, la seguridad informacional tiene dimensión nacional y la libertad política tiene dimensión constitucional. Por ello, el diseño que mejor resiste contestación combina obligaciones ex ante con auditoría ex post, transparencia metodológica, derechos de apelación, controles externos y límites de finalidad, en un marco donde la intervención se orienta a coordinación y procedencia, con cautelas fuertes para evitar que la cura degrade el mismo pluralismo y la misma confianza que pretende proteger.