Os pequenos modelos de linguagem são construídos com versões simplificadas das redes neurais artificiais encontradas nos LLMs. Os modelos de linguagem têm um conjunto de parâmetros-essencialmente, definições ajustáveis-que utilizam para aprender com os dados e fazer predições. Os SLMs contêm muito menos parâmetros do que os LLMs, tornando-os mais rápidos e mais eficientes do que os modelos maiores. Enquanto os LLMs como o GPT-4 podem conter mais de um bilião de parâmetros, um SLM pode conter apenas algumas centenas de milhões. Uma arquitetura mais pequena permite que os SLMs executem tarefas de processamento de linguagem natural em aplicações específicas de um domínio, como chatbots de apoio ao cliente e assistentes virtuais, com muito menos potência computacional do que os LLMs.
Os modelos de linguagem dividem o texto em incorporações de palavras - representações numéricas que capturam o significado das palavras - que são processadas por um transformador utilizado num codificador. Um descodificador produz, em seguida, uma resposta exclusiva ao texto.
A preparação de um modelo de linguagem envolve expô-lo a um grande conjunto de dados denominado corpus de texto. Os SLMs são preparados em conjuntos de dados que são mais pequenos e mais especializados do que os utilizados por LLMs relativamente pequenos. O conjunto de dados em que os SLMs são preparados é tipicamente específico para a sua função. Após a preparação de um modelo, este pode ser adaptado a várias tarefas específicas através de otimização.
Os SLMs foram concebidos para tarefas que exigem menos recursos computacionais. Os LLMs oferecem maiores capacidades, mas exigem muito mais poder de processamento. Os SLMs são ideais para computação edge e ambientes com poucos recursos, ao passo que os LLMs se destacam no processamento de tarefas complexas.
Os pequenos modelos de linguagem são ideais para tarefas que requerem eficiência, como a execução de aplicações em ambientes com poucos recursos ou onde as respostas rápidas são cruciais. Também são úteis para tarefas específicas que não requerem as capacidades alargadas de um grande modelo de linguagem.
As vantagens de utilizar um SLM em vez de um LLM incluem requisitos computacionais mais baixos, tempos de resposta mais rápidos e adequação para implementação em dispositivos edge. Os SLMs são mais eficientes e económicos para tarefas que não requerem as capacidades abrangentes de um grande modelo de linguagem. Isto torna-os ideais para aplicações em tempo real e ambientes com recursos limitados.
