Como escolher a ferramenta correta de inteligência artificial generativa para sua instituição
About this guide
Generative artificial intelligence (GenAI) tools are growing rapidly in number and popularity. But while many in the academic community are excited about their potential, there are also reservations.
These range from ethical questions over copyright and privacy to concerns around the technology and sources used. With a lack of consensus on what a “good” tool looks like – and available frameworks to assess them – identifying a suitable solution for your institution remains a challenge.
In this high-level guide, we look at:
Why it’s important to think about which GenAI tool your institution is using
The role librarians can play in identifying a trusted solution (and why you should)
Resources to increase your AI literacy
15 key questions to ask when evaluating GenAI tools
What is a GenAI tool?
GenAI is a form of deep machine learning. Large language models (LLMs) consume vast quantities of existing content and learn to identify underlying structures and patterns within it. When prompted, the LLMs then draw on that knowledge to generate new outputs with similar characteristics.
Why selecting the right AI tool matters for your institution
The term ‘responsible AI’ traditionally refers to the safe and ethical design and deployment of AI tools. Increasingly, however, this definition is expanding to include the responsible selection of AI tools.
For example, if there’s no transparency around how a tool operates and the rules that guide it, how can you determine what steps it takes to minimize bias or hallucinations (incorrect or irrelevant answers)? Similarly, if it’s unclear which content sources it uses, how can you judge the recency or crucially, trustworthiness of the information it provides?
A 2024 report on AI by The Chronicle of Higher Education flags another important point to consider – that ownership of some AI tools may well change hands. It notes: “A common assumption in 2024 is that many of the gen-AI startups that emerged after ChatGPT’s release will likely fail, merge, or be acquired in the near future.”2
Your users need access to accurate and reliable tools to guide their research, teaching and learning. When tools don’t meet these standards, the quality of your institution’s academic research and student data literacy can suffer. Unreliable GenAI results also have consequences for your workload; some librarians are now fielding a growing number of requests to validate suspect AI-generated references.
“Trust is a useful tool for us as humans … [but] it can be really problematic when our expectations of what a system is capable of are misaligned with reality.”
HM
Harry Muncey, PhD
Senior Director of Data Science and Responsible AI em Elsevier
Aproveitando seu conhecimento e habilidades como bibliotecário
Com sua experiência na curadoria e avaliação de recursos digitais, você pode ajudar sua instituição e usuários a tomar decisões informadas sobre quais ferramentas usar.
No entanto, há evidências de que o interesse das bibliotecas por GenAI continua relativamente baixo – pelo menos em algumas regiões. Em 2023, uma pesquisa com membros norte-americanos da Association of Research Libraries (ARL) mostrou que apenas 11% dos entrevistados disseram estar implementando ativamente soluções GenAI.3 Além disso, 70% dos participantes de outra pesquisa admitiram não se sentirem suficientemente preparados para adotar ferramentas GenAI nos próximos 12 meses.4
Adotar uma postura de “esperar para ver” pode ser arriscado, considerando o alto uso de ferramentas de IA por parte de professores e estudantes. De fato, os resultados indicam que cerca de 60% dos usuários da sua biblioteca provavelmente já usam ferramentas GenAI de forma independente.5 E isso tem grande potencial para crescer. Por exemplo, o estudo Elsevier Insights 2024: Atitudes em relação à IA constatou que, se os pesquisadores tivessem acesso a um assistente de IA confiável e seguro, 92% o usariam para “revisar estudos anteriores, identificar lacunas no conhecimento e gerar novas hipóteses de pesquisa para testar”.6
Ao oferecer uma solução centralizada na biblioteca, você pode ajudar seus usuários a aproveitar os benefícios do GenAI, evitando possíveis riscos. Também pode demonstrar o valor que agrega no campus: segundo a ARL, o crescimento do GenAI oferece aos bibliotecários a oportunidade de aprender sobre essa tecnologia e usar esse conhecimento para “exercer liderança enquanto suas instituições de pesquisa navegam na era da IA”.3
E parece claro que os usuários da biblioteca querem essa liderança. Por exemplo, 68% dos professores do ensino superior nos EUA pesquisados considerariam usar uma ferramenta GenAI se houvesse garantia de que ela seria eficaz. Para 54%, a orientação sobre sua confiabilidade foi o fator mais importante.7 Além disso, um número crescente de membros da ARL relata que outros departamentos no campus têm pedido parceria para trabalhar com IA e criar políticas adequadas.8 Isso levou a organização a estabelecer sete princípios que os bibliotecários podem usar para responder a essas solicitações.
“Não são caixas pretas mágicas. Esta é uma relação transacional, e as pessoas precisam confiar e manter a confidencialidade.”
AH
Andrew Hufton
Editor-in-Chief of the Cell Press journal Patterns
A importância da alfabetização em IA
Nem todas as ferramentas de IA são iguais. As soluções que você e seus usuários precisam escolher diferem em maturidade, funcionalidade e abrangência. O mais importante é que também variam na confiabilidade das informações que geram.
Mas, antes de avaliar uma IA, é fundamental ser “alfabetizado em IA”. Embora as definições possam variar, a maioria concorda que isso envolve familiarizar-se com conceitos básicos como aprendizado de máquina, processamento de linguagem natural e redes neurais. Também envolve compreender as oportunidades e limitações dessa tecnologia.
Para quem está começando com IA generativa, aqui estão alguns recursos úteis:
Generative AI for library and information professionals abre em uma nova guia/janela— Esta página não técnica, criada pela Federação Internacional de Associações e Instituições Bibliotecárias (IFLA), está repleta de links para fontes confiáveis.
Generative AI Short Course abre em uma nova guia/janela — A Biblioteca Nacional de Medicina dos EUA criou este curso especialmente para bibliotecários, com quatro sessões conduzidas por especialistas que cobrem os fundamentos e aplicações práticas da IA generativa em bibliotecas.
Exploring AI with Critical Information Literacy abre em uma nova guia/janela— Este curso em quatro partes da Associação de Bibliotecas Universitárias e de Pesquisa (ACRL) analisa a IA sob a ótica da literacia crítica da informação.
Guidance for generative AI in education and research abre em uma nova guia/janela— Este relatório da UNESCO oferece orientações para instituições educacionais que desejam usar IA generativa de forma responsável.
[object Object] — Explore recursos gratuitos para equipar sua biblioteca com ferramentas e conhecimentos para usar a IA de forma responsável.
15 perguntas para avaliar uma ferramenta GenAI
Não é fácil escolher entre o número crescente de ferramentas GenAI disponíveis. Aqui estão algumas perguntas que podem ajudar você a decidir.
Perguntas frequentes
Eles procuram algo que os ajude a aprender rapidamente sobre novas áreas? Ou que os direcione à literatura relevante? A demanda é focada em uma área específica ou em uma cobertura mais ampla? Algumas ferramentas no mercado tentam atender a todos os casos de uso, enquanto outras se concentram em realizar muito bem tarefas essenciais. Compreender as necessidades dos seus usuários ajudará a encontrar a melhor solução.
Entender isso pode ajudar a responder à pergunta anterior. Também indica se preocupações comuns entre seus usuários — como precisão e privacidade — já foram levantadas e tratadas.
Por exemplo, as consultas e dados pessoais dos usuários serão tratados de acordo com as diretrizes de privacidade já existentes? E, caso sua instituição tenha uma política que define como a IA e as informações que ela gera devem ser usadas, a ferramenta permite o cumprimento dessas exigências?
Em resposta à crescente demanda por critérios para avaliar tecnologias de IA, estão surgindo novas estruturas. Por exemplo, as bibliotecárias Amanda Wheatley e Sandy Hervieux, da Universidade McGill, no Canadá, desenvolveram o teste ROBOT abre em uma nova guia/janela com foco em quem está começando a usar IA. Ele oferece uma lista de perguntas organizadas em cinco categorias úteis: confiabilidade, objetivo, viés, propriedade e tipo.
Com tanta informação disponível, os provedores de ferramentas GenAI dependem de algoritmos complexos e diretrizes específicas para ajudar a IA a determinar quais conteúdos utilizar. Mas nem todos são transparentes sobre essas instruções. Perguntas importantes a se fazer incluem: que tipo de tecnologias a ferramenta usa para buscar e gerar respostas? Quais critérios orientam a priorização das fontes utilizadas? A ferramenta busca apresentar diferentes perspectivas? E o que ela faz quando não encontra fontes relevantes? Alguns provedores de IA já oferecem “model cards” que ajudam a explicar como sua tecnologia funciona.
Modelos de GenAI são construídos com volumes massivos de dados, mas muitas vezes não é claro de onde esses dados vêm. Algumas ferramentas os extraem de diversas fontes da internet, o que pode levar à inclusão de informações não verificadas, tendenciosas ou incorretas. No caso de ferramentas acadêmicas, se o conteúdo não for cuidadosamente selecionado, há o risco de incluir publicações de editoras predatórias ou fábricas de artigos. Além disso, os modelos geralmente são treinados com conjuntos de dados estáticos, o que faz com que a informação fique desatualizada rapidamente. Para garantir que seus pesquisadores tenham acesso a resultados confiáveis e atuais, é essencial que a ferramenta use conteúdo verificado e atualizado, e que seja transparente quanto às suas fontes — de preferência, com referências completas.
Embora seja positivo saber que a tecnologia de uma ferramenta foi desenvolvida para minimizar alucinações e vieses, é igualmente importante que haja verificações e controles contínuos para garantir que esses objetivos estejam sendo alcançados. Os provedores devem ter planos de ação consistentes que incluam testes e avaliações regulares, canais de feedback dos usuários e um processo de supervisão humana.
Como aponta a UNESCO em um relatório de 2023: “Os provedores de GenAI […] devem garantir que existam salvaguardas robustas para evitar que o GenAI produza conteúdo ofensivo, tendencioso ou falso...” Sistemas de GenAI podem herdar vieses dos dados com os quais foram treinados. E sem a combinação adequada de tecnologia, fontes de conteúdo e monitoramento, esses vieses — e também as alucinações — podem surgir nas respostas da IA. Por isso é fundamental que os provedores adotem medidas para minimizar esses problemas.
De acordo com a UNESCO, algumas tecnologias de IA generativa podem não estar em conformidade com leis de privacidade como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia (2016). Em especial, destaca-se que, embora o GDPR reconheça o direito ao esquecimento, “atualmente é impossível remover os dados de uma pessoa (ou os resultados desses dados) de um modelo GPT depois de treinado”. Ao considerar uma ferramenta GenAI, é essencial entender quais diretrizes de proteção de dados e privacidade estão implementadas.
Isso não só incentivará os usuários da sua biblioteca a utilizar a ferramenta GenAI que você avaliou e escolheu, como também economizará tempo valioso para eles.
As ferramentas GenAI que treinam seus modelos com dados da internet frequentemente o fazem sem solicitar permissão aos proprietários dos dados.
O Regulamento Geral de Proteção de Dados (GDPR) da União Europeia é um ótimo exemplo do tipo de leis regionais que é importante que as ferramentas GenAI observem.
Os fornecedores de soluções GenAI devem ter mecanismos para captar os comentários e preocupações dos usuários. Isso não só garante que falhas possam ser corrigidas, mas também ajuda a melhorar a ferramenta. Você também quer saber que o feedback dos seus usuários será atendido rapidamente.
A solução pode ser usada por todos os usuários da sua biblioteca, independentemente das necessidades de acessibilidade?
Ao assinar uma ferramenta ou registrar uma nova conta, é importante que os termos e condições não apenas estejam disponíveis livremente, mas também sejam expressos de forma clara e transparente.
A inteligência artificial generativa (GenAI) tem um grande potencial na educação superior e na pesquisa, se aplicada corretamente.
Com a orientação adequada de especialistas em gestão da informação, estudantes, professores e pesquisadores podem enfrentar tarefas que antes eram consideradas intransponíveis. Por meio do entendimento, da diligência e do engajamento, os bibliotecários estão estrategicamente posicionados para atuar como esses especialistas para seus usuários e instituições.