Grok, la IA de Elon Musk, genera imágenes sexualizadas y enfrenta denuncias por poner en riesgo a los menores

Grok, la herramienta de inteligencia artificial de X, está en el centro de una controversia global. La plataforma de Elon Musk enfrenta denuncias por permitir la creación masiva de imágenes sexualizadas de mujeres, adolescentes y menores de edad sin su consentimiento.

El problema no es técnico: es ético, legal y urgente. La IA generativa desplegada sin controles efectivos puede producir daño social masivo, y cuando las víctimas son menores, la responsabilidad de las empresas se vuelve ineludible, informa el periodista César Dergarabedian en el sitio EconomiaSustentable.com.

X, la red social antes conocida como Twitter, integró Grok mediante xAI, otra compañía de Musk. La herramienta permite modificar fotografías mediante simples instrucciones de texto.

Lo que se promocionó como una función creativa derivó en algo muy distinto. Distintos reportes documentaron el uso abusivo: manipulación de imágenes reales para sexualizar o desnudar digitalmente a personas sin su permiso.

Tres millones de imágenes en once días: la magnitud del abuso

A fines de diciembre de 2025, xAI incorporó en X una función para editar imágenes mediante instrucciones de texto. La herramienta fue presentada como una posibilidad creativa, pero la facilidad de uso habilitó un escenario de abuso masivo.

El Centro para Contrarrestar el Odio Digital (CCDH) realizó una investigación que expuso la escala del problema. Grok generó alrededor de 3 millones de imágenes sexualizadas fotorrealistas en apenas 11 días.

El ritmo fue escalofriante: 190 imágenes por minuto.

Las víctimas no fueron solo celebridades o figuras públicas. Según EconomiaSustentable.com, el fenómeno alcanzó a usuarias anónimas, adolescentes y jóvenes cuyas fotografías fueron reutilizadas sin autorización.

El dato más grave del relevamiento apunta a menores de edad. El CCDH calculó que cerca del 0,5% del material correspondía a imágenes sexualizadas de menores. Eso equivale a más de 23.000 archivos.

Parte de ese contenido persistió incluso después de los anuncios de restricción y remoción. La eficacia de los sistemas de moderación de X quedó en entredicho.

La respuesta insuficiente de X ante la presión pública

Frente a las denuncias, X restringió el acceso a algunas funciones de edición. La compañía limitó la generación de imágenes a cuentas pagas, con el argumento de reducir abusos.

Pero la medida fue cuestionada de inmediato. Especialistas y organizaciones civiles advirtieron que condicionar el acceso mediante una suscripción no equivale a prevenir daños.

Investigaciones periodísticas posteriores detectaron fallas. Algunos usuarios sin suscripción pudieron seguir utilizando funciones de edición desde la propia aplicación.

En términos de gobernanza tecnológica, el caso expone una tensión central: una plataforma no puede delegar en el usuario final la responsabilidad exclusiva por los daños previsibles de una herramienta que ella misma diseñó, distribuyó y monetizó.

Australia multó a X por no informar sobre protección de menores

La controversia también tuvo derivaciones judiciales, relata el portal EconomiaSustentable.com. En Australia, la justicia federal impuso a X Corp una multa de u$s650.000 australianos.

El proceso lo impulsó eSafety, la autoridad de seguridad digital del país. El organismo había solicitado información sobre los procedimientos internos de la plataforma.

Quería saber qué medidas aplicaba X contra el material de abuso y explotación sexual infantil. La negativa o falta de cooperación suficiente derivó en un litigio.

Durante el proceso, X intentó argumentar que Twitter Inc. había dejado de existir tras su fusión con X Corp. La justicia rechazó esa posición. Consideró que la reorganización societaria no podía usarse para evitar obligaciones regulatorias vinculadas con la seguridad de menores.

La decisión australiana instala un precedente frente a un problema transnacional: las plataformas digitales operan a escala global, pero los daños se producen sobre personas concretas, en territorios concretos y bajo marcos jurídicos específicos.

Ciberseguridad: qué responsabilidad tienen las empresas que lanzan IA sin controles

David González, investigador de Seguridad Informática de ESET Latinoamérica, advirtió a EconomiaSustentable.com los riesgos del lanzamiento comercial acelerado de la inteligencia artificial generativa.

"Se ha hablado mucho de cómo se implementa y de los sectores que puede beneficiar. Sin embargo, incluso a nivel mundial se ha descuidado la manera de regular esta tecnología", señaló González.

Para el especialista, la IA generativa no solo transforma procesos productivos. También reduce las barreras de entrada para conductas dañinas.

Un usuario sin conocimientos técnicos avanzados puede generar imágenes manipuladas, automatizar ataques o amplificar campañas de hostigamiento con instrucciones simples. Esa democratización del abuso digital obliga a reforzar controles: técnicos, legales y educativos.

González postuló como prioridad la inclusión de protocolos rigurosos en todo desarrollo de software masivo. "Cualquier avance tecnológico debería usarse con responsabilidad. Actualmente, más de 80% de los dispositivos que se conectan a Internet no cuenta con ningún tipo de seguridad", aseveró el experto de ESET.

En América latina, el desafío se agrava por la lentitud regulatoria. Solo una parte de los países de la región cuenta con políticas o marcos específicos sobre inteligencia artificial.

Qué debe hacer una empresa que lanza una herramienta riesgosa

En relación específica con Grok y el uso abusivo contra mujeres y menores, González remarcó que la prevención debe incorporarse desde el origen del producto.

"La empresa desarrolladora tiene una responsabilidad directa tanto en el diseño como en el despliegue de la herramienta. Esto incluye la obligación de anticipar riesgos previsibles y de incorporar desde el inicio medidas de seguridad robustas, como filtros de contenido, límites de uso y mecanismos de detección de abusos", explicó.

El investigador también subrayó que el cumplimiento legal mínimo no alcanza cuando el daño afecta a colectivos vulnerables.

"También le corresponde establecer políticas precisas, aplicarlas de manera consistente y reaccionar con rapidez ante denuncias o evidencias de uso indebido. La responsabilidad no se limita al cumplimiento legal mínimo, sino que abarca un deber ético de protección hacia los usuarios, especialmente cuando se trata de colectivos vulnerables como mujeres y menores", agregó.

González advirtió sobre las consecuencias de una plataforma sin reglas claras ni supervisión suficiente. "La desregulación total de una plataforma, sumada a la llamada impunidad algorítmica, debilita gravemente la seguridad de los usuarios más vulnerables", subrayó.

"Cuando no existen reglas precisas, mecanismos de supervisión efectivos ni consecuencias para los abusos, se genera un entorno en el que los comportamientos dañinos pueden proliferar sin control. La impunidad algorítmica implica que las decisiones automatizadas y los efectos de los sistemas de inteligencia artificial no son transparentes ni auditables, lo que dificulta la atribución de responsabilidades y la corrección de daños", completó.

El daño no es virtual: intimidad, reputación y angustia real

Más allá de la dimensión técnica, la circulación de imágenes manipuladas tiene consecuencias concretas sobre la vida de las víctimas.

La exposición no consentida afecta la intimidad, la reputación, la seguridad y la confianza personal. En adolescentes y menores, además, el daño puede amplificarse por la presión del entorno escolar, la viralización y la dificultad para retirar definitivamente el contenido de internet.

Laura Krochik, especialista en crianza, vínculos y adolescencia y tecnología, propuso mirar el fenómeno desde una clave vincular.

Para ella, el problema no empieza ni termina en el dispositivo. La tecnología potencia conductas preexistentes y obliga a preguntarse por la empatía, los límites y el lugar de los adultos en la educación digital.

"La inteligencia artificial no creó la violencia ni la falta de empatía", estableció la especialista a EconomiaSustentable.com "No inventó el deseo de humillar, cosificar o traspasar límites. Lo que hizo fue poner herramientas cada vez más potentes en manos de personas que no siempre tienen desarrollada la capacidad de preguntarse por las consecuencias de sus actos", señaló.

Krochik advirtió que el foco no debe desplazarse hacia la fascinación tecnológica ni hacia el debate abstracto sobre la IA.

"Lo que más me preocupa de todo esto es que muchas veces la conversación queda reducida a la tecnología, cuando en realidad el tema central son las personas. Nos referimos a mujeres y a chicos que pueden ver vulnerada su intimidad, su dignidad y su seguridad con una facilidad impensada hace apenas unos años", afirmó.

Por qué las empresas no pueden decir "depende del uso de cada uno"

La especialista también coincidió en que las compañías no pueden desligarse de los efectos previsibles de sus productos.

"Y ahí es donde creo que aparece una responsabilidad enorme por parte de las empresas que diseñan estas plataformas. No alcanza con decir: 'La herramienta existe y depende del uso de cada uno'. Cuando los riesgos son previsibles, sobre todo para las poblaciones más vulnerables, también es responsabilidad de quienes desarrollan estas tecnologías pensar límites, sistemas de protección y formas rápidas de intervención", sentenció Krochik.

La especialista rechazó la idea de que el daño digital sea menor por ocurrir en una pantalla.

"Me preocupa profundamente la naturalización de la idea sobre un menor nivel de daño en el mundo digital. Para un adolescente cuya imagen circula sin consentimiento, para una mujer expuesta o para una niña convertida en objeto de una manipulación tecnológica, el sufrimiento no es virtual. La vergüenza, el miedo, la angustia y la pérdida de confianza son absolutamente reales", afirmó.

Acompañar a los chicos sin caer en la vigilancia invasiva

En el plano familiar, Krochik propuso acompañar sin caer en lógicas de vigilancia invasiva. "Acompañar no es vigilar", afirmó.

"Muchas veces los adultos confundimos el acompañamiento con la vigilancia policial. Revisar los dispositivos sin aviso, controlar en absoluto silencio o imponer reglas sin un debate previo suele derivar en la distancia familiar, el uso oculto de la tecnología o en conflictos totalmente innecesarios", explicó.

Su planteo apunta a una educación digital basada en el diálogo, el consentimiento, la confianza y la construcción de criterios.

Frente a herramientas cada vez más potentes, Krochik resumió el dilema ético con una advertencia para usuarios, empresas y reguladores: "No todo lo que se puede hacer debería hacerse".