Como escolher a ferramenta correta de inteligência artificial generativa para sua instituição
Sobre este guia
As ferramentas de IA generativa estão crescendo rapidamente em número e popularidade. Mas, embora muitos na comunidade acadêmica estejam entusiasmados com seu potencial, também existem reservas.
Essas variam de questões éticas sobre direitos autorais e privacidade a preocupações com a tecnologia e as fontes utilizadas. Com a falta de consenso sobre o que define uma ferramenta "boa", identificar uma solução adequada para sua instituição continua sendo um desafio.
Neste guia geral, abordamos:
Por que é importante pensar sobre qual ferramenta de IA generativa sua instituição está usando
O papel que os bibliotecários podem desempenhar na identificação de uma solução confiável
Recursos para aumentar sua alfabetização em IA
15 perguntas-chave a serem feitas ao avaliar ferramentas de IA generativa
O que é uma ferramenta GenAI?
A GenAI é uma forma de aprendizado profundo de máquina. Grandes modelos de linguagem (LLMs) consomem vastas quantidades de conteúdo existente e aprendem a identificar estruturas e padrões subjacentes. Quando solicitados, os LLMs utilizam esse conhecimento para gerar novas saídas com características semelhantes.
Por que selecionar a ferramenta de IA certa é importante para sua instituição
O termo "IA responsável" tradicionalmente se refere ao design e à implementação seguros e éticos de ferramentas de IA. No entanto, essa definição está se expandindo para incluir a seleção responsável de ferramentas de IA.
Por exemplo, se não houver transparência sobre como uma ferramenta opera, como você pode determinar quais medidas ela toma para minimizar vieses ou alucinações (respostas incorretas ou irrelevantes)?
Você sabia?
Um estudo descobriu que, ao resumir fatos, a tecnologia ChatGPT, treinada na web, "inventa coisas" em cerca de 3% das vezes. As taxas de alucinação para algumas ferramentas amplamente utilizadas podem chegar a 27%.²
Um relatório de 2024 sobre IA, do The Chronicle of Higher Education, destaca outro ponto importante a ser considerado: a propriedade de algumas ferramentas de IA pode muito bem mudar de mãos. O relatório observa: "Uma suposição comum em 2024 é que muitas das startups de IA de geração que surgiram após o lançamento do ChatGPT provavelmente irão falhar, se fundir ou ser adquiridas em um futuro próximo."²
Seus usuários precisam ter acesso a ferramentas precisas e confiáveis para orientar suas pesquisas, ensino e aprendizagem. Quando as ferramentas não atendem a esses padrões, a qualidade da pesquisa acadêmica de sua instituição e a alfabetização em dados dos alunos podem ser prejudicadas. Resultados não confiáveis de IA de geração também têm consequências para sua carga de trabalho; alguns bibliotecários agora estão recebendo um número crescente de solicitações para validar referências suspeitas geradas por IA.
A confiança é uma ferramenta útil para nós, seres humanos… [mas] pode ser realmente problemática quando nossas expectativas sobre o que um sistema é capaz de fazer não correspondem à realidade.
Harry Muncey, PhD
Diretor Sênior de Ciência de Dados e IA Responsável em Elsevier
Aproveitando seu conhecimento e habilidades como bibliotecário
Com sua experiência na curadoria e avaliação de recursos digitais, você pode ajudar sua instituição e usuários a tomar decisões informadas sobre quais ferramentas usar.
No entanto, há evidências de que o interesse das bibliotecas por GenAI continua relativamente baixo – pelo menos em algumas regiões. Em 2023, uma pesquisa com membros norte-americanos da Association of Research Libraries (ARL) mostrou que apenas 11% dos entrevistados disseram estar implementando ativamente soluções GenAI.3 Além disso, 70% dos participantes de outra pesquisa admitiram não se sentirem suficientemente preparados para adotar ferramentas GenAI nos próximos 12 meses.4
Adotar uma postura de “esperar para ver” pode ser arriscado, considerando o alto uso de ferramentas de IA por parte de professores e estudantes. De fato, os resultados indicam que cerca de 60% dos usuários da sua biblioteca provavelmente já usam ferramentas GenAI de forma independente.5 E isso tem grande potencial para crescer. Por exemplo, o estudo Elsevier Insights 2024: Atitudes em relação à IA constatou que, se os pesquisadores tivessem acesso a um assistente de IA confiável e seguro, 92% o usariam para “revisar estudos anteriores, identificar lacunas no conhecimento e gerar novas hipóteses de pesquisa para testar”.6
Ao oferecer uma solução centralizada na biblioteca, você pode ajudar seus usuários a aproveitar os benefícios do GenAI, evitando possíveis riscos. Também pode demonstrar o valor que agrega no campus: segundo a ARL, o crescimento do GenAI oferece aos bibliotecários a oportunidade de aprender sobre essa tecnologia e usar esse conhecimento para “exercer liderança enquanto suas instituições de pesquisa navegam na era da IA”.3
E parece claro que os usuários da biblioteca querem essa liderança. Por exemplo, 68% dos professores do ensino superior nos EUA pesquisados considerariam usar uma ferramenta GenAI se houvesse garantia de que ela seria eficaz. Para 54%, a orientação sobre sua confiabilidade foi o fator mais importante.7 Além disso, um número crescente de membros da ARL relata que outros departamentos no campus têm pedido parceria para trabalhar com IA e criar políticas adequadas.8 Isso levou a organização a estabelecer sete princípios que os bibliotecários podem usar para responder a essas solicitações.
Não são caixas pretas mágicas. Esta é uma relação transacional, e as pessoas precisam confiar e manter a confidencialidade.
Andrew Hufton
Editor-chefe da revista Patterns, da Cell Press
A importância da alfabetização em IA
Nem todas as ferramentas de IA são iguais. As soluções que você e seus usuários precisam escolher diferem em maturidade, funcionalidade e abrangência. O mais importante é que também variam na confiabilidade das informações que geram.
Mas, antes de avaliar uma IA, é fundamental ser “alfabetizado em IA”. Embora as definições possam variar, a maioria concorda que isso envolve familiarizar-se com conceitos básicos como aprendizado de máquina, processamento de linguagem natural e redes neurais. Também envolve compreender as oportunidades e limitações dessa tecnologia.
Para quem está começando com IA generativa, aqui estão alguns recursos úteis:
Generative AI for library and information professionals opens in new tab/window— Esta página não técnica, criada pela Federação Internacional de Associações e Instituições Bibliotecárias (IFLA), está repleta de links para fontes confiáveis.
Generative AI Short Courseopens in new tab/window — A Biblioteca Nacional de Medicina dos EUA criou este curso especialmente para bibliotecários, com quatro sessões conduzidas por especialistas que cobrem os fundamentos e aplicações práticas da IA generativa em bibliotecas.
Exploring AI with Critical Information Literacy opens in new tab/window— Este curso em quatro partes da Associação de Bibliotecas Universitárias e de Pesquisa (ACRL) analisa a IA sob a ótica da literacia crítica da informação.
Guidance for generative AI in education and research opens in new tab/window— Este relatório da UNESCO oferece orientações para instituições educacionais que desejam usar IA generativa de forma responsável.
AI resource hub for librarians — Explore recursos gratuitos para equipar sua biblioteca com ferramentas e conhecimentos para usar a IA de forma responsável.
15 perguntas para avaliar uma ferramenta GenAI
Não é fácil escolher entre o número crescente de ferramentas GenAI disponíveis. Aqui estão algumas perguntas que podem ajudar você a decidir.
Perguntas frequentes
Eles procuram algo que os ajude a aprender rapidamente sobre novas áreas? Ou que os direcione à literatura relevante? A demanda é focada em uma área específica ou em uma cobertura mais ampla? Algumas ferramentas no mercado tentam atender a todos os casos de uso, enquanto outras se concentram em realizar muito bem tarefas essenciais. Compreender as necessidades dos seus usuários ajudará a encontrar a melhor solução.
Entender isso pode ajudar a responder à pergunta anterior. Também indica se preocupações comuns entre seus usuários — como precisão e privacidade — já foram levantadas e tratadas.
Por exemplo, as consultas e dados pessoais dos usuários serão tratados de acordo com as diretrizes de privacidade já existentes? E, caso sua instituição tenha uma política que define como a IA e as informações que ela gera devem ser usadas, a ferramenta permite o cumprimento dessas exigências?
Em resposta à crescente demanda por critérios para avaliar tecnologias de IA, estão surgindo novas estruturas. Por exemplo, as bibliotecárias Amanda Wheatley e Sandy Hervieux, da Universidade McGill, no Canadá, desenvolveram o teste ROBOTopens in new tab/window com foco em quem está começando a usar IA. Ele oferece uma lista de perguntas organizadas em cinco categorias úteis: confiabilidade, objetivo, viés, propriedade e tipo.
Com tanta informação disponível, os provedores de ferramentas GenAI dependem de algoritmos complexos e diretrizes específicas para ajudar a IA a determinar quais conteúdos utilizar. Mas nem todos são transparentes sobre essas instruções. Perguntas importantes a se fazer incluem: que tipo de tecnologias a ferramenta usa para buscar e gerar respostas? Quais critérios orientam a priorização das fontes utilizadas? A ferramenta busca apresentar diferentes perspectivas? E o que ela faz quando não encontra fontes relevantes? Alguns provedores de IA já oferecem “model cards” que ajudam a explicar como sua tecnologia funciona.
Modelos de GenAI são construídos com volumes massivos de dados, mas muitas vezes não é claro de onde esses dados vêm. Algumas ferramentas os extraem de diversas fontes da internet, o que pode levar à inclusão de informações não verificadas, tendenciosas ou incorretas. No caso de ferramentas acadêmicas, se o conteúdo não for cuidadosamente selecionado, há o risco de incluir publicações de editoras predatórias ou fábricas de artigos. Além disso, os modelos geralmente são treinados com conjuntos de dados estáticos, o que faz com que a informação fique desatualizada rapidamente. Para garantir que seus pesquisadores tenham acesso a resultados confiáveis e atuais, é essencial que a ferramenta use conteúdo verificado e atualizado, e que seja transparente quanto às suas fontes — de preferência, com referências completas.
Embora seja positivo saber que a tecnologia de uma ferramenta foi desenvolvida para minimizar alucinações e vieses, é igualmente importante que haja verificações e controles contínuos para garantir que esses objetivos estejam sendo alcançados. Os provedores devem ter planos de ação consistentes que incluam testes e avaliações regulares, canais de feedback dos usuários e um processo de supervisão humana.
Como aponta a UNESCO em um relatório de 2023: “Os provedores de GenAI […] devem garantir que existam salvaguardas robustas para evitar que o GenAI produza conteúdo ofensivo, tendencioso ou falso...” Sistemas de GenAI podem herdar vieses dos dados com os quais foram treinados. E sem a combinação adequada de tecnologia, fontes de conteúdo e monitoramento, esses vieses — e também as alucinações — podem surgir nas respostas da IA. Por isso é fundamental que os provedores adotem medidas para minimizar esses problemas.
De acordo com a UNESCO, algumas tecnologias de IA generativa podem não estar em conformidade com leis de privacidade como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia (2016). Em especial, destaca-se que, embora o GDPR reconheça o direito ao esquecimento, “atualmente é impossível remover os dados de uma pessoa (ou os resultados desses dados) de um modelo GPT depois de treinado”. Ao considerar uma ferramenta GenAI, é essencial entender quais diretrizes de proteção de dados e privacidade estão implementadas.
Isso não só incentivará os usuários da sua biblioteca a utilizar a ferramenta GenAI que você avaliou e escolheu, como também economizará tempo valioso para eles.
As ferramentas GenAI que treinam seus modelos com dados da internet frequentemente o fazem sem solicitar permissão aos proprietários dos dados.
O Regulamento Geral de Proteção de Dados (GDPR) da União Europeia é um ótimo exemplo do tipo de leis regionais que é importante que as ferramentas GenAI observem.
Os fornecedores de soluções GenAI devem ter mecanismos para captar os comentários e preocupações dos usuários. Isso não só garante que falhas possam ser corrigidas, mas também ajuda a melhorar a ferramenta. Você também quer saber que o feedback dos seus usuários será atendido rapidamente.
A solução pode ser usada por todos os usuários da sua biblioteca, independentemente das necessidades de acessibilidade?
Ao assinar uma ferramenta ou registrar uma nova conta, é importante que os termos e condições não apenas estejam disponíveis livremente, mas também sejam expressos de forma clara e transparente.
Você sabia?
Em uma pesquisa com professores do ensino superior, 84% identificaram a integridade acadêmica como o risco mais preocupante da IA generativa, 52% estão preocupados com o potencial de resultados imprecisos e 40% com o potencial de viés.7
A inteligência artificial generativa (GenAI) tem um grande potencial na educação superior e na pesquisa, se aplicada corretamente.
Com a orientação adequada de especialistas em gestão da informação, estudantes, professores e pesquisadores podem enfrentar tarefas que antes eram consideradas intransponíveis. Por meio do entendimento, da diligência e do engajamento, os bibliotecários estão estrategicamente posicionados para atuar como esses especialistas para seus usuários e instituições.
Referências
1 Chatbots podem “alucinar” mais do que se imagina, The New York Times, novembro de 2023. https://www.nytimes.com/2023/11/06/technology/chatbots-hallucination-rates.html
2 Swaak, T. Adaptando-se à IA: como entender, se preparar e inovar em um cenário em transformação. The Chronicle of Higher Education, 2024. https://store.chronicle.com/products/adapting-to-ai
3 Lo, L.S. & Hudson, C. Resultados de pesquisa rápida: Representantes da ARL sobre IA generativa em bibliotecas. Association of Research Libraries, última atualização em 9 de maio de 2023. https://www.arl.org/blog/quick-poll-results-arl-member-representatives-on-generative-ai-in-libraries/
4 Lo, L.S. Avaliando a alfabetização em IA em bibliotecas acadêmicas: um estudo com foco em funcionários nos EUA. UNM Digital Repository, 2024. https://digitalrepository.unm.edu/ulls_fsp/203
5 Stansbury, J.A., Lausch, S., Zahadat, N. & Kelly, D. Documento técnico: percepções sobre IA na Universidade de Baltimore, 2023. https://drive.google.com/file/d/1ufdagea0Xm8TpiKsyvbr1Kp-kpez3z6Z/view Freeman, J. Oferecer ou punir? A visão dos estudantes sobre IA generativa no ensino superior. HEPI, 1º de fevereiro de 2024. https://www.hepi.ac.uk/2024/02/01/new-hepi-policy-note-finds-more-than-half-of-students-have-used-generative-ai-for-help-on-assessments-but-only-5-likely-to-be-using-ai-to-cheat/
6 Insights 2024: atitudes em relação à IA, Elsevier, 2024. https://www.elsevier.com/insights/attitudes-toward-ai
7 Preocupações com IA generativa na educação superior são exageradas, diz pesquisa da Cengage, Cengage Group, 28 de agosto de 2023. https://www.cengagegroup.com/news/perspectives/2023/higher-ed-gen-ai-facultyresearch-findings/
8 Coffey, L. Novas diretrizes de IA visam apoiar bibliotecas de pesquisa, Inside Higher Education, maio de 2024. https://www.insidehighered.com/news/tech-innovation/libraries/2024/05/01/new-ai-guidelines-aim-help-research-librarians
9 Miao, F. & Holmes, W. Diretrizes para uso da IA generativa na educação e pesquisa. UNESCO, 2023. https://doi.org/10.54675/EWZM953