O que são Pequenos Modelos de Linguagem (SLMs)?

Aprenda a usar pequenos modelos de linguagem para inovar de forma mais rápida e eficiente com IA.

Descubra e implemente modelos de IA Comece a usar o Azure

Uma visão geral dos pequenos modelos de linguagem (SLMs)

Pequenos modelos de linguagem (SLMs) são modelos computacionais que podem responder e gerar linguagem natural. Os SLMs são treinados para executar tarefas específicas usando menos recursos do que modelos maiores.

Principais conclusões

Pequenos modelos de linguagem (SLMs) são um subconjunto de modelos de linguagem que executam tarefas específicas usando menos recursos do que modelos maiores.
Os SLMs são criados com menos parâmetros e arquiteturas neurais mais simples do que os modelos de grande linguagem (LLMs), permitindo treinamento mais rápido, consumo de energia reduzido e implantação em dispositivos com recursos limitados.
As limitações potenciais dos SLMs incluem capacidade limitada para linguagem complexa e precisão reduzida em tarefas complexas.
As vantagens de usar SLMs incluem custos mais baixos e melhor desempenho em aplicações específicas de domínio.

Como os SLMs funcionam?

Um modelo de linguagem simples (SLM) é um modelo computacional que pode responder e gerar linguagem natural. Os SLMs são projetados para executar algumas das mesmas tarefas de processamento de linguagem natural que seus equivalentes maiores e mais conhecidos, os modelos de grande linguagem (LLM), mas em uma escala menor. Eles são construídos com menos parâmetros e arquiteturas de rede neural mais simples, o que lhes permite operar com menos poder computacional, ao mesmo tempo em que fornecem funcionalidade valiosa em aplicações especializadas.

Arquitetura básica

Pequenos modelos de linguagem são construídos usando versões simplificadas das redes neurais artificiais encontradas em LLMs. Os modelos de linguagem têm um conjunto de parâmetros—essencialmente, configurações ajustáveis—que eles usam para aprender com dados e fazer previsões. Os SLMs contêm muito menos parâmetros que os LLMs, o que os torna mais rápidos e eficientes que modelos maiores. Enquanto LLMs como GPT-4 podem conter mais de um trilhão de parâmetros, um SLM pode conter apenas algumas centenas de milhões. Uma arquitetura menor permite que os SLMs executem tarefas de processamento de linguagem natural em aplicativos específicos de domínio, como chatbots de atendimento ao cliente e assistentes virtuais, usando muito menos poder computacional do que os LLMs.

Principais componentes

Os modelos de linguagem dividem o texto em incorporações de palavras—representações numéricas que capturam o significado das palavras—que são processadas por um transformador usando um codificador. Um decodificador então produz uma resposta única ao texto.

Processo de treinamento

Treinar um modelo de linguagem envolve expô-lo a um grande conjunto de dados chamado corpus de texto. Os SLMs são treinados em conjuntos de dados menores e mais especializados do que aqueles usados até mesmo por LLMs relativamente pequenos. O conjunto de dados em que os SLMs treinam normalmente é específico para sua função. Depois que um modelo é treinado, ele pode ser adaptado para diversas tarefas específicas por meio de ajustes finos.

BENEFITS

As vantagens de usar pequenos modelos de linguagem

Os SLMS oferecem inúmeras vantagens em relação aos LLMs:

Requisitos computacionais mais baixos

Pequenos modelos de linguagem exigem menos poder computacional, o que os torna ideais para ambientes com recursos limitados. Essa eficiência permite o uso desses modelos em dispositivos menores.

Tempo de treinamento reduzido

Modelos pequenos treinam mais rápido que os maiores, permitindo iterações e experimentações mais rápidas. O tempo de treinamento reduzido acelera o processo de desenvolvimento, facilitando a implantação e os testes mais rápidos de novos aplicativos.

Implantação simplificada em dispositivos de ponta

Seu tamanho compacto e menores requisitos de recursos tornam os SLMs ideais para dispositivos de ponta. Os SLMs podem ser executados de forma eficiente sem precisar de conectividade constante com a nuvem, melhorando o desempenho e a confiabilidade ao processar dados localmente.

Consumo de energia reduzido

SLMs usam menos energia. Isso os torna mais ecológicos e econômicos do que os LLMs.

Precisão melhorada

Como seu treinamento é focado em tarefas específicas, os SLMs podem fornecer respostas e informações mais precisas dentro das áreas em que são treinados. Sua natureza especializada permite ajustes finos que muitas vezes superam modelos maiores em aplicações específicas de domínio.

Reduza os custos

Os requisitos computacionais reduzidos, o tempo de treinamento e o consumo de energia dos SLMs resultam em custos gerais mais baixos. Essa acessibilidade os torna acessíveis a uma gama maior de pessoas e organizações.

Desafios e limitações dos SLMs

Pequenos modelos de linguagem são projetados para serem eficientes e leves. Esse design pode levar a restrições na capacidade deles de processar e entender linguagem complexa, reduzindo potencialmente sua precisão e desempenho ao lidar com tarefas complexas.

Aqui estão alguns desafios comuns associados aos SLMs:

Capacidade limitada de compreensão de linguagem complexa:
Se os LLMs extraem informações de uma biblioteca ampla e abrangente, os SLMs extraem informações de uma pequena seção da biblioteca, ou talvez até mesmo de alguns livros altamente específicos. Isso limita o desempenho, a flexibilidade e a criatividade dos SLMs na conclusão de tarefas complexas que se beneficiam dos parâmetros adicionais e do poder dos LLMs. Os SLMs podem ter dificuldade para entender nuances, sutilezas contextuais e relacionamentos complexos dentro da linguagem, o que pode levar a mal-entendidos ou interpretações simplificadas demais do texto.

Potencial para precisão reduzida em tarefas complexas:
Pequenos modelos de linguagem geralmente enfrentam desafios para manter a precisão quando enfrentam cenários complexos de resolução de problemas ou tomada de decisões. Seu poder de processamento limitado e conjuntos de dados de treinamento menores podem resultar em precisão reduzida e maiores taxas de erro em tarefas que envolvem raciocínio multifacetado, padrões de dados complexos ou altos níveis de abstração. Consequentemente, eles podem não ser a melhor escolha para aplicações que exigem alta precisão, como pesquisa científica ou diagnóstico médico.

Desempenho limitado:
O desempenho geral de pequenos modelos de linguagem é frequentemente limitado por seu tamanho e eficiência computacional. Embora sejam vantajosas para soluções rápidas e econômicas, elas podem não oferecer o desempenho robusto necessário para tarefas exigentes.

Essas e outras limitações tornam os SLMs menos eficazes em aplicações que exigem aprendizado profundo. Os desenvolvedores devem considerar as limitações dos SLMs em relação às suas necessidades específicas.

Tipos de pequenos modelos de linguagem

Os SLMs podem ser categorizados em três tipos principais: versões destiladas de modelos maiores, modelos específicos para tarefas e modelos leves.

Versões destiladas de modelos maiores

Nessa abordagem, um grande modelo de professor é usado para treinar um modelo de aluno menor, que aprende a imitar o comportamento do professor. O modelo do aluno retém grande parte do conhecimento do professor, mas requer menos parâmetros e menos poder computacional. A destilação permite a implantação eficiente de modelos de linguagem em ambientes onde os recursos são limitados, mantendo ainda um alto nível de desempenho. Um SLM destilado popular é o DistilBERT, que oferece desempenho comparável ao seu equivalente maior, o BERT, mas com tamanho reduzido e tempos de inferência mais rápidos.

Modelos específicos de tarefas

Modelos específicos de tarefas são pequenos modelos de linguagem adaptados para tarefas ou domínios específicos. Ao contrário de modelos de uso geral como o ChatGPT, esses modelos são ajustados para se destacarem em aplicações específicas, como análise de sentimentos, tradução ou resposta a perguntas. Ao focar em um conjunto restrito de tarefas, modelos específicos de tarefas podem, às vezes, atingir maior precisão e eficiência do que modelos mais generalizados. Eles são particularmente úteis quando alto desempenho é necessário para uma tarefa específica, e o escopo do modelo pode ser limitado para otimizar o uso de recursos.

Modelos leves

Modelos leves são criados com menos parâmetros e arquiteturas otimizadas para minimizar as demandas computacionais e, ao mesmo tempo, oferecer alto desempenho. Eles são frequentemente usados em aplicativos móveis, dispositivos de ponta ou outros cenários onde os recursos computacionais são limitados.

Casos de uso para SLMs

Pequenos modelos de linguagem são otimizados para aplicações específicas, tornando-os ideais para ambientes com recursos limitados ou necessidades específicas. Alguns casos de uso importantes para SLMs incluem aplicativos no dispositivo, processamento de linguagem em tempo real e configurações de poucos recursos.

Aplicativos no dispositivo

Os SLMs são adequados para aplicativos no dispositivo, onde os recursos computacionais são limitados e a privacidade é uma preocupação. Ao rodar diretamente em dispositivos como smartphones, tablets e alto-falantes inteligentes, esses modelos podem executar tarefas como reconhecimento de voz, previsão de texto e tradução de idiomas sem depender de conectividade constante com a Internet e serviços de computação em nuvem. Isso aumenta a privacidade do usuário ao manter o processamento de dados local e melhora a capacidade de resposta dos aplicativos. Exemplos incluem entrada de texto preditiva, assistentes virtuais e serviços de tradução offline.

Processamento de linguagem em tempo real

Em cenários onde tempos de resposta rápidos são críticos, modelos de linguagem pequena oferecem vantagens significativas devido ao seu rápido tempo de resposta. O processamento de linguagem em tempo real é essencial em aplicativos como chatbots, automação de atendimento ao cliente e serviços de transcrição ao vivo. Esses modelos podem lidar com tarefas de linguagem com latência mínima, fornecendo aos usuários feedback imediato e interações perfeitas.

Configurações de poucos recursos

Os SLMs são particularmente valiosos em ambientes de poucos recursos, onde o poder computacional e a largura de banda são limitados. Eles podem ser implantados em hardware acessível, o que os torna acessíveis a mais pessoas e organizações.

Tendências e avanços emergentes em SLM

Pequenos modelos de linguagem representam um avanço significativo no campo do processamento de linguagem natural e aprendizagem de máquina. Sua capacidade de entender e gerar texto semelhante ao humano abriu novas possibilidades para diversas aplicações, do atendimento ao cliente à criação de conteúdo. À medida que os modelos de linguagem continuam a evoluir, os SLMs provavelmente se tornarão mais sofisticados e oferecerão mais recursos com maior eficiência. Aqui estão algumas tendências e avanços emergentes em SLM:

Avanços na eficiência do modelo e técnicas de compressão:
Espera-se que pesquisas em andamento produzam modelos mais eficientes com técnicas de compressão aprimoradas. Esses avanços aumentarão ainda mais as capacidades dos SLMs, permitindo que eles enfrentem tarefas mais complexas mantendo seu tamanho menor. Por exemplo, a versão mais recente do Phi-3 SLM agora tem recursos de visão computacional.

Aplicações mais amplas à medida que a computação de ponta cresce:
À medida que a computação de ponta se torna mais predominante, os SLMs encontrarão aplicações em uma gama maior de campos, atendendo a necessidades diversas e expandindo seu alcance. A capacidade de processar dados localmente em dispositivos de ponta abre novas possibilidades para soluções de IA em tempo real e sensíveis ao contexto.

Abordando as limitações atuais
Esforços para melhorar a precisão e lidar com diversos idiomas estão em andamento. Ao abordar essas limitações, os pesquisadores pretendem melhorar o desempenho dos SLMs em diferentes idiomas e contextos, tornando-os mais versáteis e capazes.

Modelos híbridos e aprendizagem federada:
O aprendizado federado e os modelos híbridos estão abrindo caminho para SLMs mais robustos e versáteis. O aprendizado federado permite que modelos sejam treinados em vários dispositivos sem compartilhar dados confidenciais, aumentando a privacidade e a segurança. Modelos híbridos, que combinam os pontos fortes de diferentes arquiteturas, oferecem novas oportunidades para otimizar o desempenho e a eficiência.

Essas tendências ressaltam o crescente impacto de pequenos modelos de linguagem em tornar a IA mais acessível, eficaz e adaptável a uma ampla gama de aplicações. À medida que continuam a evoluir, os SLMs se tornarão ferramentas essenciais, impulsionando a inovação em IA em diferentes ambientes e setores.

RESOURCES

Aprenda novas habilidades e explore as mais recentes tecnologias para desenvolvedores.

Desenvolvedores estudantes

Dê um impulso à sua carreira em tecnologia

Adquira habilidades para impulsionar sua carreira em tecnologia e causar um impacto positivo no mundo.

Explore os recursos para estudantes

Recursos do Azure

Explore o centro de recursos do Azure

Explore programas de treinamento e certificação do Azure, Q&As, eventos, vídeos e outros recursos para desenvolvedores.

Saiba mais

Microsoft Learn

Centro de aprendizagem de IA do Azure

Adquira as habilidades necessárias para acelerar a implementação de IA em escala.