Trace Id is missing
Avançar para o conteúdo principal
Azure

O que são grandes modelos de linguagem (LLMs)?

Obtenha uma descrição geral de como funcionam os LLMs - e explore como são utilizados para criar soluções com tecnologia de IA.

Significado de LLM

Os grandes modelos de linguagem (LLMs) são sistemas de IA avançados que compreendem e geram linguagem natural, ou texto semelhante ao humano, através dos dados que serviram de base à sua preparação através de técnicas de aprendizagem automática. Os LLMs podem gerar automaticamente conteúdo baseado em texto, que pode ser aplicado a uma miríade de casos de utilização em todas as indústrias, resultando em maior eficiência e economia de custos para organizações em todo o mundo. 

Principais conclusões

  • Os LLMs são sistemas avançados de IA que podem compreender e gerar linguagem natural.
  • Os LLMs baseiam-se em arquiteturas de aprendizagem profunda e em técnicas de aprendizagem automática para processar e incorporar informações de diferentes origens de dados.
  • Os LLM trazem grandes benefícios, como a geração e a tradução de linguagem, a um conjunto diversificado de domínios.
  • Face ao seu carácter inovador, os LLMs enfrentam desafios que podem incluir requisitos computacionais, preocupações éticas e limitações na compreensão do contexto.
  • Apesar destes desafios, as organizações já estão a utilizar a série de transformadores generativos pré-treinados (GPT) e as representações de codificadores bidirecionais de transformadores (BERT) para tarefas como a criação de conteúdos, chatbots, tradução e análise de sentimentos.

Como funcionam os LLMs

Breve história dos LLMs

Os LLMs são um desenvolvimento moderno, mas o estudo do processamento de linguagem natural (PNL) data de 1950, quando Alan Turing lançou o teste de Turing para avaliar o comportamento inteligente das máquinas. No teste, um juiz humano fala com um computador através de um conjunto de perguntas e tem de determinar se está a falar com uma máquina ou com um humano.
Nas décadas de 1980 e 1990, o processamento de linguagem natural afastou-se das experiências lógicas para uma abordagem mais orientada para os dados. Com a sua capacidade de predição das palavras seguintes numa frase com base nas palavras anteriores, os modelos estatísticos de linguagem, como os n-gramas, abriram caminho para uma nova era. No início da década de 2010, as redes neuronais mais recentes expandiram ainda mais as capacidades destes modelos de linguagem, permitindo-lhes transitar da determinação da ordem das palavras para uma compreensão mais profunda da representação e do significado das palavras.
Estes novos desenvolvimentos culminaram num avanço em 2018, quando oito cientistas da Google escreveram e publicaram “Attention is All You Need”, um estudo de referência sobre aprendizagem automática. Mais especificamente, o documento introduziu a arquitetura do transformador, um framework inovador de rede neural que pode gerir e compreender informações textuais complexas com maior precisão e em escala. Os transformadores são agora a base de alguns dos LLMs mais poderosos da atualidade, incluindo a série GPT, bem como o BERT.

Arquitetura básica

Atualmente, os LLMs de última geração utilizam arquiteturas de aprendizagem profunda como transformadores e outros frameworks de redes neurais profundas para processar informações de diferentes origens de dados. Os transformadores são especialmente eficazes no tratamento de dados sequenciais, como texto, o que lhes permite compreender e gerar linguagem natural para tarefas como a geração e tradução de linguagem. 
Os transformadores são constituídos por dois componentes principais: codificadores e descodificadores. Estes componentes trabalham frequentemente em conjunto para processar e gerar sequências. O codificador recebe dados não processados de texto e transforma-os em elementos discretos que podem ser analisados pelo modelo. Em seguida, o descodificador processa esses dados através de uma série de camadas para produzir o resultado final, que pode, por exemplo, consistir numa frase gerada. Os transformadores também podem ser constituídos apenas por codificadores ou descodificadores, consoante o tipo de modelo ou tarefa.

Processo de preparação

O processo de formação de LLMs consiste em três fases principais: recolha de dados, preparação do modelo e afinação. 
Durante a fase de recolha de dados, o modelo é exposto a grandes volumes de dados textuais provenientes de uma grande variedade de origens, incluindo recursos da Internet, livros, artigos e bases de dados. Os dados são também limpos, processados, normalizados e armazenados numa base de dados NoSQL para que possam ser utilizados para a preparação do modelo em termos de padrões de linguagem, gramática, informação e contexto. 
Na fase de pré-preparação, o modelo começa a construir uma compreensão da linguagem nos dados. Tal é conseguido através de tarefas não supervisionadas em grande escala, em que o modelo aprende a fazer predições de texto com base no seu contexto. Algumas técnicas incluem a modelação autorregressiva, em que o modelo aprende a predizer a palavra seguinte numa sequência, bem como a modelação de linguagem ocultas, em que o modelo preenche palavras ocultas para compreender o contexto. 
Por último, durante a fase de afinação, o modelo é preparado com base num conjunto de dados mais pequeno e mais específico da tarefa. Este processo aperfeiçoa o conhecimento do modelo e melhora o seu desempenho em tarefas específicas, como a análise de sentimentos ou a tradução, para que possa ser utilizado numa variedade de aplicações.

Componentes principais

O modelo transformador decompõe o texto em bruto em unidades básicas de texto mais pequenas, denominadas tokens. Os tokens podem consistir em palavras, partes de palavras ou mesmo carateres individuais, dependendo do caso de utilização. Estes tokens são, em seguida, convertidos em representações numéricas densas que captam a ordem, o significado semântico e o contexto. Estas representações, designadas por incorporações, são em seguida passadas através de uma pilha de camadas que consiste em duas subcamadas: autoatenção e redes neuronais.
Embora ambas as camadas ajudem a converter o texto numa forma que o modelo possa processar eficazmente, o mecanismo de autoatenção é um componente-chave da arquitetura do transformador. O mecanismo de autoatenção é o que permite ao modelo concentrar-se em diferentes partes de uma sequência de texto e ponderar dinamicamente o valor da informação relativamente a outros tokens na sequência, independentemente da sua posição. Este mecanismo é também o que confere aos LLMs a capacidade de capturar as intrincadas dependências, relações e nuances contextuais da linguagem escrito.

Benefícios e desafios

Benefícios

Os LLMs oferecem muitos benefícios que têm contribuído para avanços significativos no trabalho e na sociedade.

Melhoria da geração e tradução de linguagem

Uma vez que os LLMs conseguem compreender e captar as relações matizadas entre as palavras, são excelentes na produção de texto natural, semelhante ao humano, resultando numa melhor geração de linguagem. Podem gerar, de forma fluente e consistente, respostas criativas e contextualmente adequadas, e podem fazê-lo em vários formatos, incluindo romances.
Uma vez que podem contextualizar e encontrar subtilezas no significado, os LLMs que são preparados em dados multilingues também podem realizar traduções altamente precisas. A preparação de um modelo num conjunto específico de idiomas pode ajudar a otimizar a capacidade de lidar com expressões idiomáticas, expressões e outras funcionalidades linguísticas complexas, resultando em traduções que parecem orgânicas e fluentes.

Aplicações em diversos domínios

Os LLMs são ferramentas versáteis que têm muitas aplicações em vários domínios, incluindo cuidados de saúde, finanças e atendimento ao cliente.
 
Na área da saúde, os LLMs podem: 
  • Analisar relatórios de pacientes para possíveis condições e fornecer diagnósticos preliminares. 
  • Gerar notas de pacientes e resumos de alta, otimizando tarefas administrativas. 
  • Sugerir planos de tratamento e cuidados médicos personalizados com base no historial do paciente.  
  No sector financeiro, os LLMs podem:
  • Identificar atividades incomuns em dados financeiros que podem apontar para fraudes. 
  • Avaliar riscos financeiros através da análise de tendências de mercado e relatórios financeiros. 
  • Sugerir recomendações personalizadas com base no histórico financeiro e objetivos exclusivos do cliente.  
  No atendimento ao cliente, os LLMs podem:
  • Impulsionar o atendimento automatizado ao cliente através de agentes de conversação e chatbots. 
  • Expandir o âmbito do serviço de uma organização, fornecendo aos clientes suporte durante todo o dia.
  • Ajudar a criar e atualizar a documentação, gerando conteúdo com base em perguntas comuns.  

Desafios

Os LLMs oferecem benefícios cruciais, mas também apresentam desafios a considerar.

Requisitos computacionais e energéticos

Embora os LLMs sejam poderosos, requerem grandes quantidades de recursos computacionais, armazenamento e consumo de energia para operar. Durante a preparação, os transformadores dimensionam com o comprimento da sequência de entrada, pelo que quanto mais longo for o texto, mais memória será necessária. Tais exigências não só são dispendiosas, como também emitem uma quantidade significativa de carbono para o ambiente.
As plataformas de computação na cloud podem suportar a pesada carga computacional dos LLMs, fornecendo uma infraestrutura flexível e dimensionável, tornando mais acessível para as organizações começarem a desenvolver os seus próprios modelos. Ainda assim, o impacto ambiental dos LLMs constitui um desafio e é indicativo da necessidade de modelos e técnicas mais eficientes em termos energéticos.

Preocupações éticas (por exemplo, enviesamento, desinformação)

A qualidade dos LLMs depende dos dados com que são preparados. Se houver enviesamentos discriminatórios contra certos grupos nos dados de preparação, o modelo realçará essas atitudes. A identificação e mitigação destes enviesamentos para que o modelo permaneça equilibrado é uma tarefa contínua, que requer monitorização humana frequente e consistente.
Os LLMs também podem produzir informações convincentes mas factualmente enganadoras, resultando na disseminação de desinformação, notícias falsas, e-mails de phishing e outras formas de conteúdo prejudicial. As diretrizes de moderação de conteúdo também podem variar entre regiões, o que as torna difíceis de gerir. Como resultado, muitas organizações podem achar difícil construir e manter a confiança dos seus utilizadores quando introduzem LLMs nas suas operações comerciais.

Limitações na compreensão do contexto e das nuances

Embora os LLMs sejam excelentes na identificação de padrões na linguagem, podem ainda encontrar dificuldades com contextos novos ou desconhecidos que exigem uma compreensão mais matizada. Como resultado, os LLMs preparados com base em dados confidenciais e proprietários podem acidentalmente gerar ou revelar informações confidenciais a partir dos seus dados de preparação. 
A resolução deste problema pode representar um desafio significativo, especialmente porque o funcionamento interno dos LLMs carece frequentemente de transparência. Este facto pode contribuir para uma ausência geral de responsabilização, bem como para problemas relacionados com a promoção da confiança. 

Tipos e casos de utilização

Série GPT

Desenvolvida pela primeira vez pela OpenAI em 2018, a série GPT introduziu o conceito fundamental de recolha de dados, pré-preparação e afinação para LLMs. O GPT-2, lançado em 2019, aumentou verticalmente as capacidades do modelo e melhorou a sua capacidade de gerar uma linguagem contextualmente mais relevante. O GPT-3 melhorou a capacidade do modelo para lidar com pedidos e tarefas complexas. A última iteração, GPT-4, foi lançada em 2023 e fornece respostas ainda mais precisas e matizadas aos pedidos - ao mesmo tempo que aborda alguns dos desafios anteriores do modelo, incluindo o enviesamento. 
Atualmente, o GPT continua a ultrapassar os limites do que é possível no campo da geração de linguagem natural. Cada modelo da série baseia-se no anterior, impulsionando a inovação com tecnologia de IA. 

O BERT e as suas variantes

Desenvolvido pela Google em 2018, o BERT é um modelo inovador que definiu o paradigma do que é possível fazer com os LLM. Ao contrário da série GPT, que processa o texto de forma unidirecional (da esquerda para a direita ou da direita para a esquerda), o BERT adota uma abordagem bidirecional. Um modelo bidirecional processa o contexto de cada palavra de ambas as direções simultaneamente, o que permite ao BERT realizar modelos de linguagem oculta, para além de predições da frase seguinte. Os investigadores também contribuíram para novos avanços neste domínio, otimizando o BERT em tarefas como a análise de sentimentos, o que resultou na criação de novas referências.  

Outros modelos notáveis

Desenvolvido por IA do Facebook em 2019, a abordagem BERT robustamente otimizada (RoBERTa) é uma variante do modelo BERT que expande a arquitetura do transformador bidirecional do BERT, otimizando o processo de pré-preparação. O RoBERTa é preparado com um conjunto de dados maior e durante mais tempo. Também se concentra apenas no modelo de linguagem oculta. Isto permite ao RoBERTa demonstrar a sua capacidade robusta de captar o contexto e as nuances. 
O transformador de Transferência Texto-a-Texto (T5), inventado pela Google Research, é outro LLM notável. Tal como os modelos tradicionais, o T5 baseia-se na arquitetura do transformador e utiliza codificadores e descodificadores para processar o texto durante a fase de pré-preparação. Ao contrário dos modelos tradicionais, o T5 trata tanto as entradas como as saídas como cadeias de texto, simplificando a arquitetura e otimizando o processo de preparação. Os modelos T5 são um modelo adaptável para fins gerais que pode lidar com uma gama versátil de tarefas.

Criação e resumo de conteúdos

Os LLMs podem gerar conteúdo envolvente, informativo e contextualmente apropriado numa variedade de estilos e formatos. Quando é efetuado um pedido, podem gerar artigos, relatórios, publicações de blogues, e-mails, textos de marketing e até fragmentos de código.   
No que toca aos resumos, os LLMs destacam-se pela sua capacidade exclusiva de destilar grandes volumes de texto em instantâneos concisos e precisos. Podem apresentar pontos-chave, mantendo o contexto e o significado iniciais do conteúdo original. Os investigadores já estão a poupar tempo e a impulsionar a produtividade com a utilização de LLMs para resumir trabalhos de investigação, artigos, apresentações e notas de reuniões.

Agentes de conversação e chatbots

Os agentes de conversação e os chatbots baseiam-se nas capacidades avançadas de processamento de linguagem natural dos LLMs para gerar interações semelhantes às humanas. Interpretam as entradas dos utilizadores e respondem de forma fluente, natural e contextualmente relevante. Não só podem responder a perguntas, como podem também envolver-se em diálogos longos e complexos. 
Com a adição de chatbots e assistentes virtuais, as empresas podem agora fornecer suporte 24 horas por dia aos seus fornecedores, expandindo a sua disponibilidade de serviços, melhorando os tempos de resposta e aumentando a satisfação geral dos clientes.

Tradução de linguagem e análise de sentimentos

Os LLMs que são extensivamente preparados em conjuntos de dados multilingues produzem traduções altamente precisas em vários idiomas. Ao contrário dos modelos tradicionais, os LLMs conseguem captar as subtilezas e complexidades da linguagem, como as expressões idiomáticas, resultando em traduções fluentes e contextualmente adequadas. 
Os LLMs também são capazes de efetuar análises de sentimentos, que analisam o tom emocional subjacente a um texto. Ao processar e interpretar as subtilezas da linguagem, os LLMs fornecem avaliações de sentimento mais precisas e perspicazes. Podem até detetar sentimentos com mais nuances, como o sarcasmo. 

Recomendações personalizadas

Os LLMs podem analisar os dados do utilizador, incluindo o histórico e as preferências do utilizador, e gerar recomendações personalizadas e adaptadas que refletem os interesses e as necessidades do utilizador, melhorando, por sua vez, a experiência geral do utilizador. 
Esta capacidade é amplamente utilizada no e-commerce, transmissão em fluxo de conteúdos e redes sociais, onde a entrega de recomendações personalizadas conduz a interações mais significativas. Os LLMs também podem ser utilizados com uma ferramenta educativa, proporcionando experiências de aprendizagem personalizadas aos estudantes.

O que se segue

À medida que os investigadores continuam a melhorar a sua compreensão, eficiência e escalabilidade, espera-se que os LLMs se tornem ainda mais competentes no processamento de tarefas linguísticas complexas. Com a adoção de LLMs em ascensão, mais e mais organizações estarão experimentando automatização otimizada, maior personalização e melhores processos de tomada de decisão em geral. 
Os investigadores continuam a explorar novas formas de lidar com o enviesamento, um problema constante. Estas incluem algoritmos de desenviesamento que abordam o enviesamento durante a preparação, incorporando dados sintéticos que podem reequilibrar conjuntos de dados para refletir equidade, ferramentas de explicabilidade para compreender melhor as decisões do modelo e modelos de comparação de deteção que ajudam a identificar e quantificar o enviesamento com maior precisão. 
Os modelos multimodais, que processam dados de texto, imagem, áudio e vídeo, estão também a tornar-se cada vez mais sofisticados. Ao passo que os LLMs processam dados textuais através da avaliação da sintaxe e do significado, os modelos multimodais analisam elementos visuais através de técnicas de visão digitalizada, bem como dados de áudio através de processamento temporal. Os modelos multimodais estão a melhorar as tecnologias atuais, abrindo simultaneamente caminho para as inovações de amanhã.
RECURSOS

Saiba mais sobre o Azure AI

Uma pessoa sentada em frente a um computador
Recursos

Recursos para programadores estudantes

Tire partido de materiais e programas de aprendizagem que ajudarão a iniciar a sua carreira.
Um grupo de pessoas sentadas num círculo
Recursos

Recursos do Azure

Aceda a todos os recursos do Azure de que necessita, incluindo tutoriais, documentos técnicos e amostras de código.
Uma pessoa a sorrir junto a um computador
Recursos

Centro de aprendizagem do Azure

Desenvolva as suas competências de IA com formação personalizada para a sua função ou tecnologias específicas.
FAQ

Perguntas Mais Frequentes

  • LLM significa grande modelo de linguagem.
  • A IA é um campo amplo que abrange uma vasta gama de aplicações para além da linguagem. Inclui todas as tecnologias que têm como objetivo replicar a inteligência humana. Enquanto tipo específico de modelo de IA, os LLMs são um subconjunto do panorama mais amplo da IA, que se concentra no processamento e na geração de texto em linguagem natural.
  • O processamento de linguagem natural (NLP) refere-se ao campo abrangente focado no processamento de linguagem, ao passo que os grandes modelos de linguagem (LLMs) são um tipo específico e avançado de modelo dentro do campo do PNL que utiliza técnicas de aprendizagem profunda para lidar com tarefas de linguagem.
  • O transformador generativo pré-treinado (GPT) refere-se a uma série específica de grandes modelos de linguagem (LLM) desenvolvidos pela OpenAI. São um tipo de LLM, com um foco específico na geração de linguagem.