Cómo elegir la herramienta de inteligencia artificial generativa correcta para tu institución
About this guide
Generative artificial intelligence (GenAI) tools are growing rapidly in number and popularity. But while many in the academic community are excited about their potential, there are also reservations.
These range from ethical questions over copyright and privacy to concerns around the technology and sources used. With a lack of consensus on what a “good” tool looks like – and available frameworks to assess them – identifying a suitable solution for your institution remains a challenge.
In this high-level guide, we look at:
Why it’s important to think about which GenAI tool your institution is using
The role librarians can play in identifying a trusted solution (and why you should)
Resources to increase your AI literacy
15 key questions to ask when evaluating GenAI tools
Download this guide as PDF se abre en una nueva pestaña/ventana
What is a GenAI tool?
GenAI is a form of deep machine learning. Large language models (LLMs) consume vast quantities of existing content and learn to identify underlying structures and patterns within it. When prompted, the LLMs then draw on that knowledge to generate new outputs with similar characteristics.
Why selecting the right AI tool matters for your institution
The term ‘responsible AI’ traditionally refers to the safe and ethical design and deployment of AI tools. Increasingly, however, this definition is expanding to include the responsible selection of AI tools.
For example, if there’s no transparency around how a tool operates and the rules that guide it, how can you determine what steps it takes to minimize bias or hallucinations (incorrect or irrelevant answers)? Similarly, if it’s unclear which content sources it uses, how can you judge the recency or crucially, trustworthiness of the information it provides?
A 2024 report on AI by The Chronicle of Higher Education flags another important point to consider – that ownership of some AI tools may well change hands. It notes: “A common assumption in 2024 is that many of the gen-AI startups that emerged after ChatGPT’s release will likely fail, merge, or be acquired in the near future.”2
Your users need access to accurate and reliable tools to guide their research, teaching and learning. When tools don’t meet these standards, the quality of your institution’s academic research and student data literacy can suffer. Unreliable GenAI results also have consequences for your workload; some librarians are now fielding a growing number of requests to validate suspect AI-generated references.
“Trust is a useful tool for us as humans … [but] it can be really problematic when our expectations of what a system is capable of are misaligned with reality.”
HM
Harry Muncey, PhD
Senior Director of Data Science and Responsible AI en Elsevier
Aprovechando tu conocimiento y habilidades como bibliotecario
Con tu experiencia en la curación y evaluación de recursos digitales, puedes ayudar a tu institución y usuarios a tomar decisiones informadas sobre qué herramientas usar.
Sin embargo, hay evidencia de que el interés de las bibliotecas en GenAI sigue siendo relativamente bajo, al menos en algunas regiones. En 2023, una encuesta a miembros norteamericanos de la Association of Research Libraries (ARL) reveló que solo el 11 % de los encuestados dijo estar implementando activamente soluciones GenAI.3 Además, el 70 % de los participantes en otra encuesta admitió no sentirse suficientemente preparados para adoptar herramientas GenAI en los próximos 12 meses.4
Adoptar un enfoque de “esperar y ver” puede ser riesgoso, dado el alto uso de herramientas de IA por parte del profesorado y estudiantes. De hecho, los resultados sugieren que alrededor del 60 % de los usuarios de tu biblioteca probablemente ya están usando herramientas GenAI por su cuenta.5 Y esto tiene un gran potencial de crecimiento. Por ejemplo, el estudio de Elsevier Insights 2024: Actitudes hacia la IA encontró que, si los investigadores tuvieran acceso a un asistente de IA confiable y seguro, el 92 % lo usaría para “revisar estudios previos, identificar lagunas en el conocimiento y generar nuevas hipótesis de investigación para probar”.6
Al ofrecer una solución centralizada en la biblioteca, puedes ayudar a tus usuarios a disfrutar los beneficios de GenAI mientras evitan posibles riesgos. También puedes demostrar el valor que aportas en el campus: según ARL, el auge de GenAI brinda a los bibliotecarios la oportunidad de aprender sobre esta tecnología y usar ese conocimiento para “ejercer liderazgo mientras sus instituciones de investigación navegan en la era de la IA”.3
Y parece claro que los usuarios de la biblioteca quieren este liderazgo. Por ejemplo, el 68 % de los docentes de educación superior en EE. UU. encuestados consideraría usar una herramienta GenAI si hubiera garantía de que es efectiva. Para el 54 %, la orientación sobre su fiabilidad fue el factor más importante.7 Además, un número creciente de miembros de ARL reporta que otros departamentos del campus les solicitan asociarse en temas de IA y crear políticas adecuadas.8 Esto llevó a la organización a establecer siete principios que los bibliotecarios pueden usar para responder a estas solicitudes.
“No son cajas negras mágicas. Esto es una relación transaccional, y las personas deben confiar y mantener la confidencialidad.”
AH
Andrew Hufton
Editor-in-Chief of the Cell Press journal Patterns
La importancia de la alfabetización en IA
No todas las herramientas de IA son iguales. Las soluciones que tú y tus usuarios deben elegir varían en madurez, funcionalidad y alcance. Lo más importante es que también difieren en la confiabilidad de la información que generan.
Pero antes de evaluar una IA, es fundamental ser “alfabetizado en IA”. Aunque las definiciones varían, la mayoría coincide en que implica familiarizarse con conceptos básicos como aprendizaje automático, procesamiento de lenguaje natural y redes neuronales. También supone comprender las oportunidades y limitaciones de esta tecnología.
Para quienes recién se acercan a la IA generativa, aquí tienes algunos recursos útiles para comenzar:
Generative AI for library and information professionals se abre en una nueva pestaña/ventana — Esta página no técnica desarrollada por la Federación Internacional de Asociaciones e Instituciones Bibliotecarias (IFLA) está llena de enlaces a fuentes confiables.
Generative AI Short Course se abre en una nueva pestaña/ventana— La Biblioteca Nacional de Medicina de EE. UU. creó este curso pensado para bibliotecarios, con cuatro sesiones dirigidas por expertos que cubren los fundamentos y aplicaciones prácticas de la IA generativa en bibliotecas.
Exploring AI with Critical Information Literacy se abre en una nueva pestaña/ventana— Este curso en cuatro partes de la Asociación de Colegios y Bibliotecas de Investigación (ACRL) analiza la IA desde la perspectiva de la alfabetización crítica en información.
Guidance for generative AI in education and research se abre en una nueva pestaña/ventana — Este informe de la UNESCO ofrece recomendaciones para instituciones educativas que quieren usar la IA generativa de forma responsable.
AI resource hub for librarians — Explora recursos gratuitos para equipar a tu biblioteca con herramientas y conocimientos para usar la IA con responsabilidad.
15 preguntas para evaluar una herramienta GenAI
No es fácil elegir entre la creciente oferta de herramientas GenAI. Aquí tienes algunas preguntas que te ayudarán a decidir.
Preguntas frecuentes
que los dirija a literatura relevante? ¿Tienen un enfoque disciplinario específico o prefieren una cobertura amplia? Algunas herramientas buscan cubrir todos los casos de uso, mientras que otras se especializan en realizar muy bien tareas clave. Entender las necesidades de tus usuarios te ayudará a elegir la mejor opción.
Saber esto puede ayudarte a responder la pregunta anterior. También indica si ya se han identificado y atendido posibles preocupaciones de tus usuarios, como la precisión o la privacidad.
Por ejemplo, ¿las consultas y los datos personales de los usuarios serán gestionados conforme a las políticas de privacidad vigentes? Y si tu institución, como muchas otras, ya cuenta con una política sobre el uso de IA y la información que genera, ¿la herramienta permite cumplir con esos lineamientos?
Ante la creciente necesidad de contar con criterios para evaluar tecnologías de IA, han surgido nuevos marcos de referencia. Por ejemplo, las bibliotecarias Amanda Wheatley y Sandy Hervieux, de la Universidad McGill en Canadá, desarrollaron la prueba ROBOT se abre en una nueva pestaña/ventana pensando en quienes se inician en el uso de IA. Esta herramienta ofrece una lista de preguntas divididas en cinco categorías útiles: fiabilidad, objetivo, sesgo, propiedad y tipo.
Dado que existe tanta información disponible, los proveedores de herramientas GenAI dependen de algoritmos complejos y directrices específicas para que la IA determine qué contenido utilizar. Sin embargo, no todos son transparentes sobre esas instrucciones. Algunas preguntas clave que puedes hacerte incluyen: ¿qué tipo de tecnologías usa la herramienta para buscar y generar respuestas? ¿Qué criterios guían la priorización de las fuentes? ¿La herramienta intenta mostrar distintas perspectivas? ¿Y qué hace si no encuentra fuentes relevantes? Algunos proveedores de IA ahora ofrecen “tarjetas de modelo” que explican cómo funciona su tecnología.
Los modelos GenAI se construyen a partir de enormes volúmenes de datos, pero no siempre es claro de dónde provienen. Algunas herramientas los extraen de una amplia variedad de fuentes en internet, lo que abre la puerta a información no verificada, sesgos y datos incorrectos. En el caso de herramientas académicas, si el contenido no es cuidadosamente seleccionado, existe el riesgo de incluir publicaciones de editoriales depredadoras o fábricas de artículos. Además, los modelos suelen entrenarse con conjuntos de datos estáticos, por lo que la información puede quedar obsoleta rápidamente. Para asegurar que tus investigadores accedan a resultados confiables y actuales, es importante que la herramienta utilice contenido actualizado y verificado, y sea transparente sobre su procedencia, idealmente con fuentes debidamente referenciadas.
Aunque es tranquilizador saber que la tecnología de una herramienta ha sido diseñada para minimizar alucinaciones y sesgos, también es fundamental que existan controles y evaluaciones constantes para asegurar que esos objetivos se estén cumpliendo. Los proveedores deben contar con planes de acción coherentes que incluyan pruebas y evaluaciones periódicas, mecanismos de retroalimentación por parte de los usuarios y un proceso de supervisión humana.
Como señala la UNESCO en un informe de 2023: “Los proveedores de GenAI […] deben asegurarse de que existan salvaguardas sólidas para evitar que GenAI genere contenido ofensivo, sesgado o falso...” Los sistemas GenAI pueden heredar sesgos presentes en los datos con los que fueron entrenados. Y sin la combinación adecuada de tecnología, fuentes de contenido y monitoreo, estos sesgos —y también las alucinaciones— pueden reflejarse en las respuestas de la IA. Por eso es tan importante que los proveedores implementen medidas para reducir al mínimo estos problemas.
Según la UNESCO, algunas tecnologías de IA generativa pueden no cumplir con leyes de privacidad como el Reglamento General de Protección de Datos (GDPR) de la Unión Europea (2016). En particular, se destaca que, aunque el GDPR reconoce el derecho al olvido, “actualmente es imposible eliminar los datos de una persona (o los resultados de esos datos) de un modelo GPT una vez que ha sido entrenado”. Al evaluar una herramienta GenAI, es fundamental comprender qué políticas de privacidad y protección de datos están vigentes.
Esto no solo animará a los usuarios de tu biblioteca a utilizar la herramienta GenAI que ya evaluaste y seleccionaste, también les ahorrará tiempo valioso.
Las herramientas GenAI que entrenan sus modelos con datos de internet a menudo lo hacen sin pedir permiso a los propietarios de esos datos.
El Reglamento General de Protección de Datos (GDPR) de la Unión Europea es un buen ejemplo de las leyes regionales que es importante que las herramientas GenAI respeten.
Los proveedores de soluciones GenAI deben contar con mecanismos para recibir los comentarios y preocupaciones de los usuarios. Esto no solo permite corregir fallas, sino que también ayuda a mejorar la herramienta. Además, quieres asegurarte de que las opiniones de tus usuarios serán atendidas con prontitud.
¿Puede la solución ser usada por todos los usuarios de tu biblioteca, independientemente de sus necesidades de accesibilidad?
Cuando te suscribes a una herramienta o registras una nueva cuenta, es importante que los términos y condiciones no solo estén disponibles libremente, sino que estén expresados de forma clara y transparente.
La inteligencia artificial generativa (GenAI) tiene un gran potencial en la educación superior y la investigación si se aplica adecuadamente.
Con la orientación adecuada de expertos en gestión de la información, estudiantes, profesores e investigadores pueden abordar tareas que antes se consideraban insuperables. A través del conocimiento, la diligencia y la divulgación, los bibliotecarios están estratégicamente posicionados para ser esos expertos al servicio de sus usuarios e instituciones.
Descarga esta guía en PDF se abre en una nueva pestaña/ventana