Una demanda colectiva contra X y su división de inteligencia artificial, xAI, se ha expandido significativamente tras revelarse casos alarmantes sobre el uso de la herramienta Grok para crear material de abuso sexual infantil (CSAM, por sus siglas en inglés). La querella sostiene que estas compañías no solo han desarrollado tecnología capaz de generar contenido explícito de menores, sino que también han obstruido activamente las investigaciones policiales al negarse a compartir información crucial sobre los perpetradores.

El caso central expuesto en la demanda detalla una tragedia personal donde un hombre utilizó Grok para generar miles de imágenes sexualmente explícitas a partir de una fotografía de su hijastra cuando ella tenía 11 años. A pesar de que los sistemas de seguridad de xAI detectaron la actividad solo cuando el usuario introdujo términos relacionados con una violación grupal, la empresa supuestamente se negó a proporcionar a las autoridades datos esenciales, como la dirección IP del usuario, dificultando durante semanas la identificación y captura del responsable.

Los equipos legales que representan a las víctimas señalan que este comportamiento no es un caso aislado. Según datos del Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), una gran mayoría de los informes enviados por xAI carecen de información accionable, lo que impide que las fuerzas del orden puedan localizar a los agresores. Los abogados argumentan que la empresa prioriza sus beneficios económicos sobre la seguridad infantil, permitiendo que su tecnología sea utilizada como un arma de fácil acceso para depredadores.

La demanda también ha incluido a Stability AI como coacusada. Los demandantes sostienen que los modelos de código abierto de esta compañía sirven como base para diversas aplicaciones de terceros diseñadas para "desnudar" personas mediante inteligencia artificial. Según la querella, la popularidad de estas herramientas se debe a que Stability AI habría relajado sus filtros de seguridad para ganar cuota de mercado, facilitando así la creación de contenido abusivo.

Por su parte, Stability AI ha rechazado categóricamente las acusaciones, afirmando que la prevención del uso indebido de su tecnología es una prioridad absoluta. La empresa aseguró que cuenta con políticas de uso aceptable que prohíben estrictamente el CSAM y que colabora regularmente con organizaciones especializadas y fuerzas del orden para combatir la explotación infantil.

El impacto de esta tecnología es masivo, con estimaciones que sugieren que miles de menores podrían haber sido afectados. El NCMEC ha advertido sobre un aumento drástico en los informes relacionados con la inteligencia artificial generativa, destacando que en cientos de miles de casos no existe suficiente información para determinar cómo se utilizó la tecnología. Ante esta situación, los demandantes insisten en que la única solución viable es que las empresas ajusten sus modelos para bloquear cualquier tipo de desnudez, argumentando que permitir contenido sexual abre la puerta inevitablemente al abuso de menores.