Cómo elegir la herramienta de IA generativa adecuada para su institución
Acerca de esta guía
Las herramientas de IA generativa están creciendo rápidamente en número y popularidad. Si bien muchos en la comunidad académica están entusiasmados con su potencial, también existen reservas.
Estas abarcan desde cuestiones éticas sobre derechos de autor y privacidad hasta preocupaciones sobre la tecnología y las fuentes utilizadas. Ante la falta de consenso sobre cómo debe ser una herramienta «buena», identificar una solución adecuada para su institución sigue siendo un desafío.
En esta guía general, analizaremos:
Por qué es importante considerar qué herramienta de IA generativa utiliza su institución
El papel que pueden desempeñar los bibliotecarios en la identificación de una solución confiable
Recursos para aumentar su alfabetización en IA
15 preguntas clave para evaluar las herramientas de IA generativa
¿Qué es una herramienta GenAI?
GenAI es una forma de aprendizaje profundo automático. Los grandes modelos de lenguaje (LLM, por sus siglas en inglés) procesan grandes cantidades de contenido existente y aprenden a identificar estructuras y patrones subyacentes. Cuando se les solicita, los LLM utilizan ese conocimiento para generar nuevos resultados con características similares.
Por qué es importante seleccionar la herramienta de IA adecuada para su institución
El término "IA responsable" se refiere tradicionalmente al diseño y la implementación seguros y éticos de las herramientas de IA. Sin embargo, esta definición se está ampliando para incluir la selección responsable de dichas herramientas.
Por ejemplo, si no hay transparencia sobre cómo funciona una herramienta, ¿cómo puede determinar qué medidas toma para minimizar sesgos o alucinaciones (respuestas incorrectas o irrelevantes)?
¿Sabías que...?
Un estudio ha revelado que, al resumir datos, la tecnología ChatGPT, entrenada en línea, inventa información aproximadamente el 3% de las veces. Las tasas de invenciones en algunas herramientas de uso común pueden llegar hasta el 27%.²
Un informe de 2024 sobre IA, publicado por The Chronicle of Higher Education, destaca otro punto importante a considerar: la posible transferencia de la propiedad de algunas herramientas de IA. El informe señala: "En 2024, se daba por sentado que muchas de las startups de IA de última generación que surgieron tras el lanzamiento de ChatGPT probablemente fracasarían, se fusionarían o serían adquiridas en un futuro próximo".²
Sus usuarios necesitan acceso a herramientas precisas y fiables para guiar su investigación, docencia y aprendizaje. Cuando las herramientas no cumplen con estos estándares, la calidad de la investigación académica de su institución y la alfabetización digital de los estudiantes pueden verse afectadas. Los resultados poco fiables de la IA de última generación también repercuten en su carga de trabajo; algunos bibliotecarios reciben cada vez más solicitudes para validar referencias sospechosas generadas por IA.
La confianza es una herramienta útil para nosotros como seres humanos… [pero] puede resultar realmente problemática cuando nuestras expectativas sobre las capacidades de un sistema no se corresponden con la realidad.
Harry Muncey, PhD
Director sénior de Ciencia de Datos e IA Responsable en Elsevier
Aproveche sus conocimientos y habilidades como bibliotecario
Gracias a su experiencia en la selección y evaluación de recursos digitales, puede ayudar a su institución y a sus usuarios a tomar decisiones informadas sobre qué herramientas utilizar.
Sin embargo, existen indicios de que el interés de las bibliotecas en la IA generativa sigue siendo relativamente bajo, al menos en algunas regiones. En 2023, una encuesta realizada a miembros norteamericanos de la Asociación de Bibliotecas de Investigación (ARL) reveló que solo el 11 % de los encuestados afirmó estar implementando activamente soluciones de IA generativa. Y el 70 % de los participantes en otra encuesta admitió no sentirse suficientemente preparado para adoptar herramientas de IA generativa en los próximos 12 meses.
Adoptar una actitud pasiva puede ser arriesgado, dado el alto grado de adopción de herramientas de IA por parte de profesores y estudiantes. De hecho, los resultados de la encuesta sugieren que alrededor del 60 % de los usuarios de su biblioteca probablemente ya utilizan herramientas de IA genómica de forma independiente.<sup>5</sup> Y este crecimiento es enorme. Por ejemplo, el estudio de Elsevier "Insights 2024: Actitudes hacia la IA" reveló que si los investigadores tuvieran acceso a un asistente de IA fiable y seguro, el 92 % lo usaría para "revisar estudios previos, identificar lagunas de conocimiento y generar nuevas hipótesis de investigación para su comprobación".⁶
Al alojar una solución centralizada en la biblioteca, puede ayudar a sus usuarios a disfrutar de las ventajas de la IA general y evitar los posibles inconvenientes. También puede demostrar el valor añadido que aporta al campus: según la ARL, el auge de la IA general ofrece a los bibliotecarios la oportunidad de aprender sobre la tecnología y utilizar ese conocimiento para "ejercer liderazgo a medida que sus instituciones de investigación se adaptan a la era de la IA".³
Y parece claro que los usuarios de la biblioteca desean este liderazgo. Por ejemplo, el 68 % de los profesores de educación superior estadounidenses encuestados afirmó que consideraría usar una herramienta de IA general si tuviera la garantía de que sería eficaz. Para el 54%, la orientación sobre su fiabilidad fue el factor más importante.7 Y un número creciente de miembros de ARL informan que otros departamentos del campus les piden que colaboren con ellos en IA y creen políticas adecuadas.8 Esto ha llevado a la organización a elaborar siete principios que los bibliotecarios pueden utilizar al responder a estas solicitudes.
No se trata de cajas negras mágicas. Es una relación transaccional y es fundamental que exista confianza y se respete la confidencialidad.
Andrew Hufton
Editor jefe de la revista Patterns de Cell Press
La importancia de la alfabetización en IA
No todas las herramientas de IA son iguales. Las soluciones entre las que usted y sus colaboradores deben elegir difieren en su madurez, funcionalidad y alcance. Fundamentalmente, también difieren en la fiabilidad de la información que generan.
Pero antes de poder evaluar la IA, es importante adquirir conocimientos sobre ella. Si bien las definiciones del término varían, la mayoría coincide en que implica familiarizarse con conceptos fundamentales de IA como el aprendizaje automático, el procesamiento del lenguaje natural y las redes neuronales. También implica comprender las oportunidades y limitaciones de la tecnología.
Para quienes se inician en la IA generativa, aquí tienen algunos recursos útiles para empezar:
IA generativa para profesionales de bibliotecas e información:opens in new tab/window Esta página de recursos no técnicos, desarrollada por la Federación Internacional de Asociaciones e Instituciones Bibliotecarias (IFLA), está repleta de enlaces a fuentes autorizadas.
Curso breve de IA generativa: opens in new tab/windowLa Biblioteca Nacional de Medicina de EE. UU. ha creado este curso pensando específicamente en los bibliotecarios. Las cuatro sesiones están dirigidas por un equipo de expertos que cubren los aspectos básicos de la IA generativa, incluidas sus aplicaciones prácticas en bibliotecas.
Explorando la IA con la alfabetización informacional crítica:opens in new tab/window Este curso de cuatro partes de la Asociación de Bibliotecas Universitarias y de Investigación (ACRL) examina y analiza la IA desde la perspectiva de la alfabetización informacional crítica.
Guía para la IA generativa en la educación y la investigación:opens in new tab/window Este informe de la UNESCO (Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura) incluye recomendaciones para las instituciones educativas que desean utilizar la IA generativa de forma responsable
Centro de recursos de IA para bibliotecarios: Explore recursos gratuitos para equipar su biblioteca con las herramientas y el conocimiento necesarios para aprovechar la IA de forma responsable.
15 preguntas clave para evaluar una herramienta de IA generativa
Analizar la creciente cantidad de herramientas de IA generativa disponibles no es tarea fácil. A continuación, encontrará algunas preguntas que le ayudarán a decidir qué camino tomar.
Preguntas frecuentes
¿Buscan algo que les ayude a aprender rápidamente sobre nuevas áreas? ¿O que les oriente hacia la bibliografía pertinente? ¿La demanda se centra en un área específica o en una cobertura más amplia?
Algunas herramientas del mercado intentan abarcar todos los casos de uso, mientras que otras se centran en realizar las tareas esenciales con gran eficacia. Comprender las necesidades de sus usuarios le ayudará a encontrar la mejor solución.
Saber esto puede ayudarte a responder la pregunta anterior. También indica si ya se han identificado y atendido posibles preocupaciones de tus usuarios, como la precisión o la privacidad.
Por ejemplo, ¿las consultas y los datos personales de los usuarios serán gestionados conforme a las políticas de privacidad vigentes? Y si tu institución, como muchas otras, ya cuenta con una política sobre el uso de IA y la información que genera, ¿la herramienta permite cumplir con esos lineamientos?
Ante la creciente necesidad de contar con criterios para evaluar tecnologías de IA, han surgido nuevos marcos de referencia. Por ejemplo, las bibliotecarias Amanda Wheatley y Sandy Hervieux, de la Universidad McGill en Canadá, desarrollaron la prueba ROBOTopens in new tab/window pensando en quienes se inician en el uso de IA. Esta herramienta ofrece una lista de preguntas divididas en cinco categorías útiles: fiabilidad, objetivo, sesgo, propiedad y tipo.
Dado que existe tanta información disponible, los proveedores de herramientas GenAI dependen de algoritmos complejos y directrices específicas para que la IA determine qué contenido utilizar. Sin embargo, no todos son transparentes sobre esas instrucciones. Algunas preguntas clave que puedes hacerte incluyen: ¿qué tipo de tecnologías usa la herramienta para buscar y generar respuestas? ¿Qué criterios guían la priorización de las fuentes? ¿La herramienta intenta mostrar distintas perspectivas? ¿Y qué hace si no encuentra fuentes relevantes? Algunos proveedores de IA ahora ofrecen “tarjetas de modelo” que explican cómo funciona su tecnología.
Los modelos GenAI se construyen a partir de enormes volúmenes de datos, pero no siempre es claro de dónde provienen. Algunas herramientas los extraen de una amplia variedad de fuentes en internet, lo que abre la puerta a información no verificada, sesgos y datos incorrectos. En el caso de herramientas académicas, si el contenido no es cuidadosamente seleccionado, existe el riesgo de incluir publicaciones de editoriales depredadoras o fábricas de artículos. Además, los modelos suelen entrenarse con conjuntos de datos estáticos, por lo que la información puede quedar obsoleta rápidamente. Para asegurar que tus investigadores accedan a resultados confiables y actuales, es importante que la herramienta utilice contenido actualizado y verificado, y sea transparente sobre su procedencia, idealmente con fuentes debidamente referenciadas.
Aunque es tranquilizador saber que la tecnología de una herramienta ha sido diseñada para minimizar alucinaciones y sesgos, también es fundamental que existan controles y evaluaciones constantes para asegurar que esos objetivos se estén cumpliendo. Los proveedores deben contar con planes de acción coherentes que incluyan pruebas y evaluaciones periódicas, mecanismos de retroalimentación por parte de los usuarios y un proceso de supervisión humana.
Como señala la UNESCO en un informe de 2023: “Los proveedores de GenAI […] deben asegurarse de que existan salvaguardas sólidas para evitar que GenAI genere contenido ofensivo, sesgado o falso...” Los sistemas GenAI pueden heredar sesgos presentes en los datos con los que fueron entrenados. Y sin la combinación adecuada de tecnología, fuentes de contenido y monitoreo, estos sesgos —y también las alucinaciones— pueden reflejarse en las respuestas de la IA. Por eso es tan importante que los proveedores implementen medidas para reducir al mínimo estos problemas.
Según la UNESCO, algunas tecnologías de IA generativa pueden no cumplir con leyes de privacidad como el Reglamento General de Protección de Datos (GDPR) de la Unión Europea (2016). En particular, se destaca que, aunque el GDPR reconoce el derecho al olvido, “actualmente es imposible eliminar los datos de una persona (o los resultados de esos datos) de un modelo GPT una vez que ha sido entrenado”. Al evaluar una herramienta GenAI, es fundamental comprender qué políticas de privacidad y protección de datos están vigentes.
Esto no solo animará a los usuarios de tu biblioteca a utilizar la herramienta GenAI que ya evaluaste y seleccionaste, también les ahorrará tiempo valioso.
Las herramientas GenAI que entrenan sus modelos con datos de internet a menudo lo hacen sin pedir permiso a los propietarios de esos datos.
El Reglamento General de Protección de Datos (GDPR) de la Unión Europea es un buen ejemplo de las leyes regionales que es importante que las herramientas GenAI respeten.
Los proveedores de soluciones GenAI deben contar con mecanismos para recibir los comentarios y preocupaciones de los usuarios. Esto no solo permite corregir fallas, sino que también ayuda a mejorar la herramienta. Además, quieres asegurarte de que las opiniones de tus usuarios serán atendidas con prontitud.
¿Puede la solución ser usada por todos los usuarios de tu biblioteca, independientemente de sus necesidades de accesibilidad?
Cuando te suscribes a una herramienta o registras una nueva cuenta, es importante que los términos y condiciones no solo estén disponibles libremente, sino que estén expresados de forma clara y transparente.
¿Sabía usted?
En una encuesta realizada a profesores de educación superior, el 84 % identificó la integridad académica como el riesgo más preocupante de la IA generativa, el 52 % se mostró preocupado por la posibilidad de resultados inexactos y el 40 % por la posibilidad de sesgo.⁷
La inteligencia artificial generativa (IAG) tiene un gran potencial en la educación superior y la investigación, si se aplica correctamente
Con la orientación adecuada de expertos en gestión de la información, estudiantes, docentes e investigadores pueden abordar tareas que antes se consideraban insuperables. Mediante la comprensión, la dedicación y el compromiso, los bibliotecarios están en una posición estratégica para actuar como expertos para sus usuarios e instituciones.
Referencias
1 Los chatbots podrían “alucinar” más de lo que muchos creen, The New York Times, noviembre de 2023. https://www.nytimes.com/2023/11/06/technology/chatbots-hallucination-rates.html
2 Swaak, T. Adaptarse a la IA: cómo entender, prepararse e innovar en un entorno cambiante. The Chronicle of Higher Education, 2024. https://store.chronicle.com/products/adapting-to-ai
3 Lo, L.S. & Hudson, C. Resultados de encuesta rápida: Representantes miembros de ARL sobre IA generativa en bibliotecas. Association of Research Libraries, última actualización 9 de mayo de 2023. https://www.arl.org/blog/quick-poll-results-arl-member-representatives-on-generative-ai-in-libraries/
4 Lo, L.S. Evaluación de la alfabetización en IA en bibliotecas académicas: un estudio con empleados en EE. UU. UNM Digital Repository, 2024. https://digitalrepository.unm.edu/ulls_fsp/203
5 Stansbury, J.A., Lausch, S., Zahadat, N. & Kelly, D. Documento técnico: percepciones sobre IA en la Universidad de Baltimore, 2023. https://drive.google.com/file/d/1ufdagea0Xm8TpiKsyvbr1Kp-kpez3z6Z/view Freeman, J. ¿Apoyar o sancionar? Opiniones estudiantiles sobre IA generativa en la educación superior. HEPI, 1 de febrero de 2024. https://www.hepi.ac.uk/2024/02/01/new-hepi-policy-note-finds-more-than-half-of-students-have-used-generative-ai-for-help-on-assessments-but-only-5-likely-to-be-using-ai-to-cheat/
6 Insights 2024: actitudes hacia la IA, Elsevier, 2024. https://www.elsevier.com/insights/attitudes-toward-ai
7 Preocupación por la IA generativa en educación superior es exagerada, revela encuesta de Cengage, Cengage Group, 28 de agosto de 2023. https://www.cengagegroup.com/news/perspectives/2023/higher-ed-gen-ai-facultyresearch-findings/
8 Coffey, L. Nuevas directrices sobre IA buscan ayudar a bibliotecas académicas, Inside Higher Education, mayo de 2024. https://www.insidehighered.com/news/tech-innovation/libraries/2024/05/01/new-ai-guidelines-aim-help-research-librarians
9 Miao, F. & Holmes, W. Guía para el uso de IA generativa en educación e investigación. UNESCO, 2023. https://doi.org/10.54675/EWZM9535