Publicado: 08 de março de 2024 às 5h12 Atualizado: 08 de março de 2024 às 5h22
em resumo
RagaAI lançou o ‘RagaAI LLM Hub’, uma plataforma de código aberto para avaliar e estabelecer proteções para modelos de linguagem específicos de IA.
A plataforma de testes de IA RagaAI anunciou recentemente o lançamento do “RagaAI LLM Hub”, uma plataforma de código aberto e pronta para empresas projetada para avaliar e estabelecer proteções para grandes modelos de linguagem (LLMs). Com mais de 100 métricas meticulosamente elaboradas, a plataforma visa evitar falhas catastróficas em LLMs e aplicações de geração aumentada de recuperação (RAG).
O RagaAI LLM Hub oferece aos desenvolvedores e organizações um kit de ferramentas robusto para avaliar e comparar LLMs de forma eficaz, cobrindo aspectos críticos como Relevância e Compreensão, Qualidade de Conteúdo, Alucinação, Segurança e Preconceito, Relevância de Contexto, Proteção e Verificação de Vulnerabilidade. Além disso, fornece um conjunto de testes baseados em métricas para análise quantitativa.
“A avaliação holística de LLMs é um requisito fundamental no mundo da construção de LLMs no momento, à medida que cientistas de dados e empresas descobrem que tecnologia e pilha funcionam para eles. Diagnosticar um problema requer identificar meticulosamente o problema na origem e, dadas centenas de possíveis causas raiz, são necessárias centenas de métricas para identificar essa causa raiz”, disse Gaurav Agarwal, fundador da RagaAI ao MPost.
“A capacidade do RagaAI LLM Hub de realizar testes abrangentes agrega valor significativo ao fluxo de trabalho de um desenvolvedor, economizando tempo crucial ao eliminar análises ad hoc e acelerar o desenvolvimento do LLM em 3x.”
Projetado para resolver problemas em todo o ciclo de vida do LLM, desde a prova de conceito até aplicações de produção, o RagaAI LLM Hub identifica problemas subjacentes em aplicações LLM e facilita sua resolução na fonte, revolucionando abordagens para garantir confiabilidade e confiabilidade.
RagaAI afirma que seu LLM Hub capacita essa capacidade por meio de uma série de testes que cobrem vários aspectos da tomada de decisão:
- Prompts: ele itera e identifica modelos de prompt ideais enquanto estabelece proteções para mitigar ataques adversários.
- Gerenciamento de contexto para RAGs: auxilia os usuários a encontrar o equilíbrio ideal entre desempenho do LLM e custo/latência ao operar em escala.
- Geração de resposta: emprega métricas para identificar alucinações em respostas LLM e estabelece proteções para evitar preconceitos, vazamento de PII e outros problemas potenciais.
Mitigando alucinações e preconceitos de IA por meio do diagnóstico LLM
O RagaAI LLM Hub encontra aplicações em vários setores, incluindo comércio eletrônico, finanças, marketing, jurídico e saúde, apoiando desenvolvedores e empresas em tarefas como chatbots, criação de conteúdo, resumo de texto e geração de código-fonte.
Além da avaliação, o RagaAI LLM Hub ajuda a estabelecer barreiras para garantir a privacidade dos dados e a conformidade legal, promovendo práticas éticas e responsáveis de IA, especialmente em setores sensíveis como finanças, saúde e direito.
“Um de nossos clientes no espaço de comércio eletrônico estava usando LLMs para chatbot para suporte ao cliente, e o chatbot estava dando respostas erradas. Usando o RagaAI, esse problema foi detectado e resolvido com sucesso”, disse Gaurav Agarwal do RagaAI ao MPost. “No seguro saúde, é importante proteger as informações pessoais do paciente. Em um de nossos clientes, algumas informações pessoais importantes foram compartilhadas com terceiros – um enorme problema de privacidade de dados. Usando as proteções do RagaAI LLM Hub, este e outros problemas semelhantes foram detectados em tempo real e impedidos de acontecer.”
Além disso, visa mitigar os riscos de reputação, aderindo às normas e valores sociais.
“RagaAI ajuda a estabelecer barreiras como a detecção de informações de identificação pessoal (PII) na resposta LLM. Isso garante que nenhum dado pessoal de documentos internos seja vazado pelo aplicativo LLM e é fundamental para a IA Responsável”, explicou Gaurav Agarwal. “Esta e outras barreiras, como garantir respostas imparciais e justas, não comentar sobre os concorrentes e remover informações materiais não públicas (MNPI), são cruciais para as empresas, pois procuram evitar danos sociais e à reputação.”
O lançamento do RagaAI LLM Hub segue-se a um sucesso de US$ 4,7 milhões em uma rodada de financiamento inicial em janeiro de 2024 liderada pela pi Ventures, para expandir sua pesquisa, desenvolvimento e base de clientes em IA nos EUA e na Europa.
“Nosso objetivo é fornecer a melhor tecnologia para tornar os LLMs confiáveis e confiáveis. Está investindo significativamente para construir tecnologias-chave para abordar os aspectos de garantia de qualidade do LLM. Tornar esta tecnologia de código aberto é o nosso esforço no sentido de disponibilizá-la a todos para que a comunidade de desenvolvedores desenvolva a melhor solução disponível”, disse Gaurav Agarwal.
Isenção de responsabilidade
De acordo com as diretrizes do Trust Project, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometido com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Victor é editor/escritor administrativo de tecnologia no Metaverse Post e cobre inteligência artificial, criptografia, ciência de dados, metaverso e segurança cibernética no âmbito empresarial. Ele possui meia década de experiência em mídia e IA trabalhando em meios de comunicação conhecidos, como VentureBeat, DatatechVibe e Analytics India Magazine. Sendo mentor de mídia em universidades de prestígio, incluindo Oxford e USC, e com mestrado em ciência e análise de dados, Victor está profundamente comprometido em se manter atualizado com as tendências emergentes. Ele oferece aos leitores as narrativas mais recentes e perspicazes do cenário da tecnologia e da Web3.
Mais artigos
Victor Dey
Victor é editor/escritor administrativo de tecnologia no Metaverse Post e cobre inteligência artificial, criptografia, ciência de dados, metaverso e segurança cibernética no âmbito empresarial. Ele possui meia década de experiência em mídia e IA trabalhando em meios de comunicação conhecidos, como VentureBeat, DatatechVibe e Analytics India Magazine. Sendo mentor de mídia em universidades de prestígio, incluindo Oxford e USC, e com mestrado em ciência e análise de dados, Victor está profundamente comprometido em se manter atualizado com as tendências emergentes. Ele oferece aos leitores as narrativas mais recentes e perspicazes do cenário da tecnologia e da Web3.
source – mpost.io
