Trace Id is missing
Avançar para o conteúdo principal
Azure

O que é a geração aumentada com obtenção de dados (RAG)?

Saiba como a tecnologia de geração aumentada com obtenção de dados (RAG) melhora a precisão e a relevância das respostas geradas por modelos de linguagem de grande dimensão (LLMs).

A RAG aumenta a precisão da IA através da integração de conhecimentos externos, garantindo respostas atualizadas e relevantes

Ao melhorar as capacidades de computação em cloud e ao influenciar o avanço da IA, a RAG ajuda a melhorar a precisão e a relevância das respostas geradas por IA, tornando os sistemas de IA mais fiáveis e eficazes em várias aplicações.

Principais pontos a levar

  • A história e a evolução da RAG na IA refletem uma tendência mais ampla para sistemas mais inteligentes e conscientes do contexto, capazes de combinar eficazmente grandes quantidades de informação com capacidades de geração sofisticadas.
  • A arquitetura da RAG permite que os sistemas de IA produzam conteúdos mais informados e fiáveis, baseando a geração pré-treinada em conhecimentos externos obtidos.
     
  • As vantagens da RAG fazem dela uma técnica poderosa para criar sistemas de IA mais precisos, fiáveis e versáteis, com amplas aplicações em vários domínios, indústrias e tarefas.
     
  • Os programadores utilizam a RAG para criar sistemas de IA que podem gerar conteúdos com base em informações precisas, conduzindo a aplicações mais fiáveis, sensíveis ao contexto e centradas no utilizador.

  • Os sistemas RAG combinam a recuperação e a geração, tornando-os numa ferramenta poderosa para uma vasta gama de aplicações, indústrias e casos de utilização.

  • À medida que os modelos RAG continuam a avançar, espera-se que desempenhem um papel crucial em várias aplicações, desde o suporte ao cliente à investigação e criação de conteúdos.

  • A RAG está destinada a desempenhar um papel crucial no futuro dos programas de aprendizagem ao melhorar a integração dos processos de recuperação e geração.

RAG: Mecânica, história e impacto

Como funciona a RAG

A geração aumentada por obtenção de dados (RAG) é uma estrutura de IA que combina duas técnicas: em primeiro lugar, obtém informações relevantes de fontes externas, como bases de dados, documentos ou a Web. Uma vez recolhidas essas informações, são utilizadas para informar e melhorar a geração de respostas. Esta abordagem capitaliza os pontos fortes das técnicas de recuperação e geração, garantindo que as respostas são precisas, relevantes e contextualmente melhoradas pelas informações mais atualizadas e específicas disponíveis. Esta dupla capacidade permite que os sistemas RAG produzam resultados mais informados e com mais nuances do que os modelos puramente generativos.

A história da RAG

A RAG tem as suas raízes nos primeiros sistemas de recuperação de informação básica. Com o rápido avanço das tecnologias de IA generativa e o aparecimento de modelos linguísticos generativos como o GPT-2 e o BERT, a necessidade de respostas mais exatas e relevantes aumentou.   Em 2020, foi introduzida a arquitetura RAG, marcando um avanço significativo. Ao utilizar aprendizagem automática para combinar os módulos de obtenção e gerador - integrando a base de conhecimentos interna do LLM com fontes externas de conhecimento - os RAGs conseguiram produzir textos mais precisos, atualizados, coerentes e contextualmente exatos.   Com a aprendizagem profunda no seu núcleo, os modelos RAG podem ser treinados de ponto a ponto, permitindo resultados que otimizam as respostas, melhorando a qualidade do conteúdo gerado à medida que o modelo aprende a recuperar as informações mais fiáveis e contextualmente úteis.

A importância da RAG para a IA

A RAG desempenha um papel crucial no avanço das capacidades da IA, refletindo uma tendência para sistemas mais inteligentes e conscientes do contexto que podem efetivamente combinar grandes quantidades de informação com capacidades de geração sofisticadas. Eis os principais motivos pelos quais a RAG é fundamental para a IA:

 
  • Precisão melhorada: Ao integrar fontes de conhecimento externas, a RAG melhora significativamente a exatidão e a relevância das respostas geradas pelos LLMs.
  • Relevância contextual: A RAG permite que os sistemas de IA gerem respostas mais adequadas ao contexto, recuperando informações específicas relacionadas com o pedido.

  • Eficácia de custos: A implementação da RAG é mais eficiente do que treinar continuamente LLMs com novos dados. 

  • Transparência: Ao fornecer fontes para as informações utilizadas nas respostas, a RAG aumenta a credibilidade e a confiança.
     
  • Versatilidade: A RAG pode ser aplicada em vários setores, como setores de cuidados de saúde, educação e financeiros, e para fins como suporte ao cliente, investigação e criação de conteúdos.

  • Experiência melhorada: Ao fornecer respostas mais precisas e relevantes, a tecnologia RAG leva a interações mais satisfatórias e produtivas para os utilizadores.
 

Arquitetura da RAG

A arquitetura dos sistemas RAG é uma combinação de dois módulos principais e um mecanismo de fusão que funcionam em conjunto para produzir saídas precisas e contextualmente relevantes. Os módulos RAG podem ser preparados ponto a ponto, permitindo que o algoritmo otimize a recuperação e a geração em conjunto, resultando num resultado mais informado e fiável.

Eis como funciona a arquitetura da RAG:

O módulo de obtenção procura num grande conjunto de dados para encontrar as informações mais relevantes com base na consulta.

Após a recuperação, o módulo gerador utiliza as informações obtidas como contexto adicional para gerar uma resposta coerente e relevante. Normalmente, os módulos geradores são um modelo linguístico pré-treinado, como o transformador generativo pré-treinado (GPT) ou os transformadores bidirecionais e auto-regressivos (BART), que foi ajustado para gerar texto com base na entrada e nas informações recuperadas.

O mecanismo de fusão garante que as informações obtidas são efetivamente combinadas no processo gerador. Esta interação entre os módulos permite que os sistemas RAG produzam conteúdos mais informados e fiáveis ao basear a geração em conhecimentos obtidos. 

As vantagens da RAG

Arquitetura poderosa para melhorar a IA

Os programadores utilizam a arquitetura RAG para criar sistemas de IA mais precisos, fiáveis e versáteis, com aplicações abrangentes em vários setores e tarefas. As vantagens da RAG são:
   
  • Precisão, relevância, e precisão contextual melhoradas: Ao obter documentos ou dados relevantes, a RAG garante que a saída gerada está baseada em informações factuais e pertinentes, melhorando a precisão geral e a relevância das respostas.

  • Redução das "alucinações" através da geração baseada em factos: A RAG reduz a probabilidade de "alucinações", gerando informações plausíveis mais incorretas, baseando a saída do modelo generativo em conteúdos obtidos reais, o que resulta em resultados mais fidedignos.

  • Desempenho melhorado em tarefas de domínio aberto com amplo acesso ao conhecimento: A RAG destaca-se na resposta a perguntas de domínio aberto e em tarefas semelhantes ao obter de forma eficiente informações de origens vastas e diversas, permitindo-nos lidar com uma vasta gama de tópicos com profundidade e amplitude.

  • Escalabilidade e capacidade para lidar com grandes bases de dados de conhecimento: A RAG pode procurar e obter de forma eficiente informações relevantes de conjuntos de dados massivos, tornando-as dimensionáveis e adequadas para aplicações que exigem um amplo acesso ao conhecimento. As bases de dados NoSQL permitem que os modelos RAG utilizem grandes quantidades de dados para gerar respostas contextualmente melhoradas.

  • Personalização e aplicações específicas do domínio: Os modelos RAG são adaptáveis e podem ser ajustados a domínios específicos, permitindo aos programadores criar sistemas de IA especializados e adaptados a determinados setores ou tarefas, como o aconselhamento jurídico, o diagnóstico médico ou a análise financeira.

  • Aprendizagem interativa e adaptável: Através da adaptação centrada no utilizador, os sistemas RAG podem aprender com as interações do utilizador, obter informações mais relevantes ao longo do tempo e adaptar as respostas para melhor atender às necessidades do utilizador, melhorando a experiência e o envolvimento do utilizador.

  • Versatilidade e integração multimodal: A RAG pode ser expandida para trabalhar com dados multimodais (texto, imagens, dados estruturados), aumentando a riqueza e a diversidade da informação utilizada na geração e alargando as aplicações do modelo.

  • Escrita informada para uma criação de conteúdo eficiente: A RAG fornece uma ferramenta poderosa ao recuperar factos e referências relevantes, garantindo que o conteúdo gerado não é apenas criativo, mas também exato e bem informado.

Tipos de sistemas RAG

Versatilidade entre aplicações

A geração aumentada por obtenção de dados é uma arquitetura de IA adaptativa e versátil com uma vasta gama de casos de utilização em vários domínios e indústrias. Eis as  principais aplicações da RAG:
 
  • Resposta a perguntas de domínio aberto (ODQA) 
    Caso de utilização:
    A RAG é altamente eficaz em sistemas ODQA, onde os utilizadores podem fazer perguntas sobre praticamente qualquer tópico.
    Exemplo: Os chatbots de suporte ao cliente utilizam a RAG para fornecer respostas precisas ao obter informações de grandes bases de dados de conhecimento ou FAQs.

  • Consultas especializadas específicas do domínio 
    Caso de utilização:
    Para o setor jurídico, a RAG pode ajudar a analisar e gerar resumos de jurisprudência, precedentes e estatutos, através da obtenção de documentos relevantes.
    Exemplo: Uma ferramenta de assistente jurídico obtém e resume documentos para fins específicos.

  • Resumo de conteúdos
    Caso de utilização:
    A RAG pode ajudar a gerar conteúdos de alta qualidade, como notas de reunião de assistente virtual ou resumos de artigos, relatórios ou publicações de blogue, ao obter informações relevantes e integrá-las no texto gerado.
    Exemplo: Um jornalista utiliza RAG para gerar resumos de artigos de notícias recentes ao obter detalhes importantes de várias fontes.

  • Recomendações personalizadas
    Caso de utilização:
    A RAG pode melhorar os sistemas de recomendações ao obter informações específicas do utilizador e gerar sugestões personalizadas.
    Exemplo: Uma plataforma de comércio eletrónico utiliza a RAG para recomendar produtos com base no histórico de navegação e nas preferências de um utilizador, oferecendo explicações geradas a partir de análises ou descrições de produtos relevantes.

  • Análise de cenários complexos e criação de conteúdos 
    Caso de utilização:
    Um modelo RAG híbrido pode ser utilizado para gerar e sintetizar relatórios ou análises ao obter dados, documentos ou notícias relevantes de várias fontes complexas.
    Exemplo: Uma ferramenta de análise financeira gera projeções, análises ou relatórios de investimento, obtendo e resumindo tendências de mercado recentes, dados financeiros históricos, desempenho de ações, comentários de especialistas e indicadores económicos.

  • Informação e síntese da investigação
    Caso de Utilização:
    Os investigadores podem utilizar RAG para obter e sintetizar informações de trabalhos a partir de trabalhos académicos, relatórios ou bases de dados, facilitando revisões e projetos de investigação.
    Exemplo: Uma ferramenta académica gera resumos de trabalhos de investigação relevantes ao retirar resultados-chave de vários estudos.

  • Aplicações multilingues e interlingues
    Caso de Utilização:
    A RAG pode ser implementada em ambientes multilingues para obter informações em diferentes idiomas e gerar conteúdos interlingues.
    Exemplo: Uma ferramenta de tradução traduz texto ao mesmo tempo que recupera informações culturalmente relevantes para garantir que a tradução é contextualmente adequada.

A RAG irá alimentar a IA do futuro

Aumentar a precisão na saída de IA

A geração aumentada pela obtenção de dados está definida para desempenhar um papel crucial no futuro dos LLMs ao melhorar a integração dos processos de obtenção e geração. Os avanços esperados nesta área conduzirão a uma fusão mais perfeita e sofisticada destes componentes, permitindo que os LLM forneçam resultados altamente precisos e contextualmente relevantes numa gama mais vasta de aplicações e indústrias.

À medida que a RAG continua a evoluir, podemos antecipar a sua adoção em novos domínios, como a educação personalizada, onde pode personalizar experiências de aprendizagem com base em necessidades individuais e ferramentas de investigação avançadas, oferecendo uma obtenção de informações precisa e abrangente para questões complexas.

A resolução das limitações atuais, como a melhoria da precisão da recuperação e a redução dos enviesamentos, será fundamental para maximizar o potencial dos sistemas RAG. É provável que as futuras iterações da RAG apresentem sistemas mais interativos e conscientes do contexto, melhorando as experiências dos utilizadores ao adaptarem-se dinamicamente aos seus contributos.

Além disso, o desenvolvimento de modelos RAG multimodais, que utilizam a visão por computador para integrar texto, imagens e outros tipos de dados, irá expandir e abrir ainda mais possibilidades, tornando os LLM mais versáteis e poderosos do que nunca.
FAQ

Perguntas frequentes

  • A geração aumentada pela obtenção de dados (RAG) é uma técnica de IA que combina um modelo de obtenção com um modelo generativo. Obtém informações relacionadas a partir de uma base de dados ou conjunto de documentos e utiliza-as para gerar respostas mais precisas e contextualmente relevantes. Esta abordagem melhora a qualidade do texto gerado por IA ao baseá-lo em dados reais, tornando-o particularmente útil para tarefas como responder a perguntas, resumir e criar conteúdos.
  • A RAG melhora os conteúdos gerados por IA ao incorporar dados externos. Obtém informações relevantes de uma base de dados e, em seguida, utiliza esses dados para gerar respostas mais precisas e com contexto. Este processo garante que a saída do sistema de IA é mais informada e mais fiável.
  • A RAG combina um grande modelo de linguagem (LLM) com um mecanismo de obtenção. Embora um LLM gere texto com base em dados pré-preparados, a RAG melhora isto ao obter informações relevantes de fontes externas em tempo real, melhorando a precisão e a relevância. Essencialmente, o LLM baseia-se em padrões aprendidos, enquanto a RAG solicita ativamente informações atualizadas para informar as suas respostas.