Pérdida de control y caja negra
El objetivo de este apartado es destacar la naturaleza de la ‘Black Box’ en muchos sistemas de Inteligencia Artificial (IA) y analizar cómo esta característica puede generar una sensación de pérdida de control entre empleadores y empleados.
Exploraremos el concepto de ‘Black Box’, el cual puede ser definido como una característica intrínseca a numerosos sistemas de IA. Esta particularidad no solo dificulta la comprensión total de los procesos de toma de decisiones, sino que también plantea desafíos en la predicción tanto de sus elecciones como de sus resultados (Bathaee, 2018).
Se denomina ‘Black Box’ cuando un algoritmo es tan complejo que resulta incomprensible para el ser humano, pero se confía en que, ante una determinada entrada, generará una respuesta correcta. Este término refleja la falta de transparencia en su funcionamiento interno, aunque su desempeño sea fiable (Giró & Gil, 2022).
En el capítulo anterior, hablamos sobre el funcionamiento de las redes neuronales, pero aquí surge la siguiente pregunta ¿Dónde termina una red neuronal? Queremos abordar esta cuestión, ya que, después del entrenamiento de una red neuronal final se convierte en una caja negra. Lo que puede generar problemas, ya que si la red neuronal produce un resultado inesperado, no siempre es posible identificar su causa (Scheire, 2023).
En la figura 1, se puede observar el grado de conocimiento sobre el funcionamiento de las cajas negras decisionales puede variar en distintos niveles. En un primer nivel de transparencia, se podría acceder al código de los algoritmos encargados de procesar los datos. En un segundo nivel, sería posible comprender el comportamiento del algoritmo, especialmente en el caso de aquellos basados en aprendizaje automático, lo que permitiría analizar su manera de operar. Finalmente, en un tercer nivel, se alcanzaría la capacidad de conocer la justificación detrás de cada decisión tomada por el algoritmo en un determinado contexto (Cotino Hueso & Castellanos Claramunt, 2022).
Los modelos de caja negra, como las redes neuronales, destacan por su alta precisión y su capacidad para abordar casos de uso complejos. Sin embargo, debido a su estructura confusa, no pueden ser interpretados fácilmente. Esta falta de explicabilidad puede llevar a su reemplazo por modelos de caja blanca, que son directamente interpretables. Esto resulta especialmente relevante en aplicaciones críticas de alto riesgo, donde es fundamental garantizar la estabilidad de su funcionamiento, o en sectores regulados, donde la transparencia en la toma de decisiones es un requisito indispensable (Cotino Hueso & Castellanos Claramunt, 2022).
La explicabilidad de los modelos de caja negra sigue siendo un desafío en constante investigación. Una de las estrategias actuales para mejorar su comprensión consiste en emplear algoritmos que examinan la red neuronal, evaluando las entradas y las correspondientes salidas que genera. A partir de este análisis, se construye un modelo directamente interpretable que permite explicar, aunque no completamente, el comportamiento de la caja negra y su proceso de toma de decisiones (Cotino Hueso & Castellanos Claramunt, 2022).
Algunos sistemas de IA funcionan como “cajas negras”, lo que significa que sus procesos internos no son fácilmente comprensibles para los usuarios o incluso para sus propios desarrolladores.
Esto puede generar preocupaciones sobre la fiabilidad, la ética y la responsabilidad de sus decisiones. Para abordar este problema, es fundamental aplicar medidas de explicabilidad, es decir, estrategias que permitan comprender mejor cómo funcionan estos sistemas y cómo llegan a sus resultados, según estos autores, algunas de estas medidas incluyen:
- Primero, trazabilidad al registrar los datos y procesos involucrados en la toma de decisiones de la IA para poder seguir su desarrollo y detectar posibles errores.
- Segundo, auditabilidad al permitir que expertos o reguladores examinen el sistema para verificar que cumple con principios de transparencia y equidad.
- Tercero, comunicación transparente informando claramente a los usuarios sobre las capacidades y limitaciones de la IA, evitando exageraciones o falsas expectativas sobre lo que puede hacer. El objetivo de estas medidas es garantizar que los sistemas de IA sean más comprensibles, responsables y confiables, especialmente en áreas como la salud y la justicia donde sus decisiones pueden tener un gran impacto.
Referencias
- BATHAEE, Y. (2018). “The Artificial Intelligence Black Box and the Failure of Intent and Causation”. En Harvard Journal of Law & Technology, vol. 31(2) pág. 905. Véase también, PARALAMENTO EUROPEO (2020). Resolución 2020/2012(INL), Op. cit., apartado 23.
- Costino Hueso, L., & Castellanos Claramunt, J. (Eds.). (2022). Transparencia y explicabilidad de la Inteligencia Artificial. Tirant lo Blanch.
- Giró Gràcia, X., & Sancho Gil, J. M. (2022). La Inteligencia Artificial en la educación: Big data, cajas negras y solucionismo tecnológico.
0 Comments