Gestión de los riesgos de la IA en las bibliotecas

La IA puede ofrecer muchas ventajas a las bibliotecas de investigación a sus usuarios, pero es importante tener presentes los riesgos.

Son mayores los beneficios que los riesgos de la inteligencia artificial (IA) en las bibliotecas? Este fue uno de los temas candentes tratados en nuestro evento Access Lab 2024.

En la conferencia aprendimos que la IA tiene muchas ventajas; pero también limitaciones que los bibliotecarios deben comprender.

"La IA todavía no es un intelecto real", advirtió Luba Pirgova-Morgan, investigadora de la Universidad de Leeds, en su discurso de apertura.

En cambio, la ponente dijo que "es un espejo de baja calidad y a veces roto de quienes interactúan con ella. Cuanto más conozcamos sus limitaciones -y cómo interactuar, interpretar y verificar-, más limpio será el espejo."

Teniendo esto en cuenta, estos son algunos de los principales riesgos.

Errores y alucinaciones

Un problema importante es el potencial de error. Las llamadas "alucinaciones" son frecuentes, y a menudo es necesario realizar comprobaciones manuales.

Las tasas de error inaceptables podrían socavar los beneficios, advirtió Matthew Weldon, de Technology from Sage, panelista del Access Lab.

Por ejemplo, si una herramienta de accesibilidad de IA tiene una tasa de error del 10%, significa que las personas que dependen de ella están accediendo a información de menor calidad que sus compañeros.

"Yo diría que una tasa de error así no es aceptable cuando se trata de hacer que tu enseñanza sea más accesible", dijo Weldon.

Qué tasa de error es aceptable y en qué contexto, es una cuestión ética que las bibliotecas deben considerar.

Datos sesgados

Otro riesgo es el sesgo. Un modelo de IA se "entrena" normalmente con conjuntos de datos, pero si los datos subyacentes no son equilibrados o diversos, pueden aparecer sesgos en los resultados.

El sesgo en los algoritmos, dijo la Dra.  Pirgova-Morgan a Access Lab, podría "perpetuar las desigualdades existentes o incluso excluir a ciertos grupos", mientras que los datos sesgados podrían hacer que "discriminara inadvertidamente contra grupos específicos".

Hay que evitar que la IA se convierta en una "caja negra"', tomando decisiones discriminatorias basadas en suposiciones ocultas.

Privacidad frente a personalización

Un tercer reto ético es la privacidad.  Una posible ventaja de la IA, por ejemplo, es su potencial para hacer más útil la personalización. Por ejemplo, podría recordar las búsquedas de los usuarios y utilizar la IA para predecir el siguiente paso.

Pero los investigadores pueden oponerse a este nivel de personalización. Y tanto los usuarios como los editores pueden oponerse a que sus datos se utilicen para entrenar un modelo de IA, ya sea por motivos de privacidad o de propiedad intelectual.

La importancia de la transparencia

Dados los riesgos, ¿qué se puede hacer para mitigar el impacto de la IA en las bibliotecas? Tal vez la respuesta sea la transparencia.

El consentimiento transparente es, por supuesto una piedra angular de la reducción del riesgo para la privacidad. Los sesgos también pueden mitigarse si se conocen claramente los conjuntos de datos subyacentes y se implica a las personas en la toma de decisiones. Citar claramente las fuentes, por su parte, puede mitigar el problema de los errores de investigación provocados por la IA.

En OpenAthens, creemos que los investigadores deben poder seguir accediendo a los contenidos propietarios sin problemas, independientemente de las herramientas de descubrimiento basadas en IA que utilicen. De hecho, esto será vital a medida que los usuarios realicen comprobaciones minuciosas de la investigación subyacente.

En última instancia, la IA es una creación humana, y los humanos tienen la potestad de aplicar las salvaguardias para mitigar los riesgos.

[Una versión completa de este artículo se publicó en Research Information el 11 de julio de 2024]