Noticias

El reciente anuncio del Gobierno de España sobre el desarrollo de una herramienta basada en inteligencia artificial para analizar y medir la presencia de discursos de odio en redes sociales ha reabierto un debate necesario sobre el papel de la tecnología en la gestión de fenómenos sociales complejos. El Consejo General de Ingeniería Informática (CCII) considera positivo que las instituciones públicas exploren el uso de tecnologías avanzadas para comprender mejor dinámicas como la polarización, la desinformación o la difusión de mensajes que puedan vulnerar derechos fundamentales. La inteligencia artificial puede ser una herramienta valiosa para analizar grandes volúmenes de información y detectar patrones que de otro modo resultarían difíciles de identificar.

Sin embargo, precisamente por el impacto potencial de estas tecnologías en la esfera pública, resulta imprescindible que su diseño, desarrollo y despliegue se realicen bajo criterios estrictos de transparencia, rigor técnico y respeto a los principios democráticos.

Los sistemas de inteligencia artificial aplicados al análisis del discurso público presentan importantes desafíos técnicos. La identificación automática de contextos, ironías, dobles significados o referencias culturales sigue siendo una tarea compleja incluso para los sistemas más avanzados. Además, los modelos de IA pueden reproducir o amplificar sesgos presentes en los datos con los que han sido entrenados. Por ello, cualquier herramienta que aspire a clasificar o categorizar contenidos debe someterse a procesos rigurosos de evaluación y validación.

En este contexto, el CCII recuerda la importancia de avanzar hacia modelos de transparencia y comprensibilidad algorítmica en los sistemas utilizados por las administraciones públicas, especialmente cuando estos pueden influir en el análisis o la interpretación del debate público. Esta transparencia no implica necesariamente la publicación íntegra del código fuente, pero sí debe garantizar al menos claridad sobre los criterios de funcionamiento del sistema, los conjuntos de datos utilizados para su entrenamiento, las métricas empleadas para evaluar su precisión y los mecanismos de supervisión humana.

Asimismo, resulta fundamental que este tipo de herramientas estén sometidas a auditorías técnicas independientes, capaces de evaluar su fiabilidad, detectar posibles sesgos y verificar su alineamiento con el marco jurídico europeo en materia de inteligencia artificial, protección de datos y derechos fundamentales. En este sentido, la reciente aprobación del AI Act establece obligaciones específicas para los sistemas de alto impacto, incluyendo requisitos de gobernanza de datos, trazabilidad, evaluación de riesgos y supervisión humana.

Más allá de los aspectos técnicos y regulatorios, el CCII considera igualmente esencial incorporar de forma explícita la ética de las tecnologías informáticas, con especial mención de la inteligencia artificial, en el diseño y despliegue de este tipo de herramientas. El análisis automatizado del discurso público plantea cuestiones sensibles relacionadas con la libertad de expresión, la interpretación del contexto y la posible aparición de sesgos algorítmicos, por lo que resulta imprescindible integrar criterios éticos desde las fases iniciales del desarrollo tecnológico.

La experiencia internacional demuestra que los sistemas de análisis automatizado del discurso público pueden aportar información útil para investigadores, instituciones y sociedad civil, pero también que deben gestionarse con especial prudencia. La tecnología no puede sustituir el juicio humano ni convertirse en un mecanismo opaco de categorización del debate social.

Desde el CCII creemos que los ingenieros e ingenieras en informática deben desempeñar un papel central en este proceso. El desarrollo responsable de sistemas de inteligencia artificial requiere conocimiento técnico especializado, estándares profesionales claros y una cultura de responsabilidad tecnológica que tenga en cuenta no solo la eficiencia de los sistemas, sino también su impacto social.

Por ello, el Consejo General de Ingeniería Informática reitera su disposición a colaborar con las administraciones públicas, instituciones académicas y organizaciones sociales para contribuir a que el desarrollo de herramientas basadas en inteligencia artificial se realice con el máximo rigor técnico, transparencia y respeto a los derechos fundamentales, como por ejemplo la evaluación de impacto sobre los derechos fundamentales en el uso de inteligencia artificial, el análisis de sesgos algorítmicos o de la degradación de los modelos algorítmicos, la posibilidad de evaluación de las pruebas de calidad o la adaptación al Sistema de Gestión de Inteligencia Artificial.

La tecnología puede y debe formar parte de la solución a muchos de los retos de nuestra sociedad digital. Pero precisamente por su creciente capacidad de influencia en el espacio público, es esencial que su uso esté guiado por principios de responsabilidad, supervisión independiente, ética profesional y confianza pública.

Solo así podremos garantizar que la innovación tecnológica refuerce, y no debilite, los valores democráticos que sustentan nuestra convivencia.