A empresa de aprendizado profundo Deci revelou o DeciCoder, um novo modelo generativo baseado em IA que pode produzir código em várias linguagens de programação. Segundo a empresa, o modelo possui 1 bilhão de parâmetros e uma grande janela de contexto de 2.048 tokens, o que permite gerar trechos de código diversificados e de alta qualidade.
Yonatan Geifman, CEO e cofundador da Deci, disse ao Metaverse Post que o custo de inferência de modelo é um grande problema para aplicativos de IA generativos, como geração de código. O alto custo se deve principalmente ao tamanho desses modelos, requisitos computacionais e intensidade de memória dos modelos de linguagem grandes (LLMs) subjacentes. Como resultado, a geração rápida requer hardware caro e sofisticado.
“Uma solução para neutralizar esses custos exorbitantes e reduzir os gastos com inferência em 4x é desenvolver modelos mais eficientes”, disse Geifman ao Metaverse Post. “Esses modelos devem ser capazes de inferência rápida em hardware mais acessível sem sacrificar a precisão. É exatamente isso que o DeciCoder faz e se destaca nesse aspecto.”
A empresa disse que, ao rodar no A10G da NVIDIA, um hardware mais barato, a velocidade de inferência do DeciCoder supera a do SantaCoder, o modelo mais popular na faixa de 1 bilhão de parâmetros, rodando no A100 da NVIDIA, mais caro. Além disso, o DeciCoder no A10 é 3,5 vezes mais rápido que o SantaCoder no A10 e 1,6 vezes mais rápido que o SantaCoder no A100.
Geifman afirma que o DeciCoder também oferece precisão excepcional. O modelo supera o SantaCoder em precisão em todas as três linguagens de programação nas quais ambos foram treinados: Python, JavaScript e Java.
Ele disse que o modelo generativo oferece custos de inferência significativamente menores quando usado com a ferramenta Infery da Deci: uma redução de 71,4% no custo por 1.000 tokens em comparação com o desempenho do SantaCoder no HuggingFace Inference Endpoint.
“O DeciCoder reduz os custos computacionais durante a inferência, permitindo que as empresas migrem suas cargas de trabalho de geração de código para hardware mais barato sem sacrificar a velocidade ou a precisão ou, alternativamente, gerar mais código em menos tempo de GPU,”
Geifman compartilhou.
Além disso, em conjunto com o Infery (biblioteca de aceleração de inferência da Deci) em uma GPU A10G, o DeciCoder supostamente ajuda a minimizar a pegada de carbono. A empresa afirma que diminui as emissões anuais de carbono em 324 kg de CO2 por instância do modelo em comparação com o SantaCoder em hardware idêntico.
Geração de código avançada com benchmarks impressionantes
Geifman explicou que duas distinções tecnológicas principais estão contribuindo para o rendimento aprimorado do DeciCoder e o uso reduzido de memória: a arquitetura inovadora do modelo do DeciCoder e a utilização da biblioteca de aceleração de inferência do Deci.
“A arquitetura da Deci foi gerada por sua tecnologia proprietária Neural Architecture Search, AutoNAC, que gerou vários modelos de base de alta eficiência em visão computacional e NLP”, disse ele. “O design intrínseco da arquitetura do modelo confere ao DeciCoder um rendimento e precisão superiores. Embora o DeciCoder, como os modelos SantaCoder e GPT da OpenAI, seja baseado na arquitetura do transformador, ele diverge em sua implementação exclusiva de Grouped Query Attention (GQA).”
GPT-3, SantaCoder e Starcoder usam Atenção Multi-Consulta sobre Atenção Multi-Head para maior eficiência, levando a uma inferência mais rápida. No entanto, essa eficiência vem com o custo de qualidade e precisão reduzidas em comparação com o Multi-Head Attention.
O GQA da Deci atinge um equilíbrio superior entre precisão e eficiência do que o Multi-Query Attention. Ele mantém níveis de eficiência semelhantes enquanto oferece uma precisão significativamente melhorada.
A diferença fica mais evidente ao comparar DeciCoder e SantaCoder, ambos implantados em HuggingFace Inference Endpoints. O DeciCoder atinge um rendimento 22% maior e demonstra maior precisão, conforme mostrado no segundo gráfico e no gráfico a seguir.
A Deci disse que sua biblioteca de aceleração de inferência LLM, Infery, usa técnicas avançadas de engenharia proprietária desenvolvidas pela equipe de pesquisa e engenharia da empresa para acelerar a inferência.
A empresa afirma que isso resulta em um aumento adicional no rendimento e pode ser aplicado a qualquer LLM, exceto o da Deci. Além disso, a empresa disse que o Infery é comparativamente fácil de usar, permitindo que os desenvolvedores empreguem técnicas complexas e altamente avançadas com apenas algumas linhas de código.
Utilizando o AutoNAC para equilíbrio ideal de precisão e velocidade
De acordo com Geifman, a busca pela arquitetura de rede neural “ideal” tem sido historicamente uma exploração manual de trabalho intensivo. Embora essa abordagem manual geralmente produza resultados, ela consome muito tempo e muitas vezes não consegue identificar as redes neurais mais eficientes.
“A comunidade de IA reconheceu a promessa da Neural Architecture Search (NAS) como um potencial divisor de águas, automatizando o desenvolvimento de redes neurais superiores. No entanto, as demandas computacionais dos métodos NAS tradicionais limitaram sua acessibilidade a algumas organizações com enormes recursos”,
Geifman disse ao Metaverse Post.
A Deci afirma que seu recurso “AutoNAC” pode facilitar os processos do NAS, oferecendo um método eficiente de computação para produzir algoritmos gerados pelo NAS, preenchendo a lacuna entre o potencial e a viabilidade.
A empresa explicou que o AutoNAC é um algoritmo que usa como entrada características específicas do conjunto de dados, uma tarefa de modelo, metas de desempenho e um ambiente de inferência e produz uma rede neural ideal que oferece o melhor equilíbrio entre precisão e velocidade de inferência para os requisitos especificados.
Além dos modelos de detecção de objetos, como o Yolo-NAS, o AutoNAC já gerou modelos baseados em transformadores para tarefas NLP (DeciBert) e tarefas de visão computacional (NAS SegFormer).
A empresa anunciou que o lançamento do DeciCoder é o primeiro de uma série de lançamentos altamente antecipados que descrevem a oferta de IA generativa da Deci, que deve ser lançada nas próximas semanas.
O DeciCoder e seus pesos pré-treinados agora estão disponíveis sob a permissiva licença Apache 2.0, concedendo aos desenvolvedores amplos direitos de uso e posicionando o modelo para aplicativos comerciais do mundo real.
Consulte Mais informação:
source – mpost.io
