A Nvidia lançou um chatbot com inteligência artificial (IA) chamado Chat with RTX que roda localmente em um PC e não precisa de conexão à Internet. O fabricante de GPU está na vanguarda da indústria de IA desde o boom generativo da IA, com seus chips avançados de IA alimentando produtos e serviços de IA. A Nvidia também possui uma plataforma de IA que fornece soluções ponta a ponta para empresas. A empresa agora está construindo seus próprios chatbots, e Chat with RTX é sua primeira oferta. O chatbot da Nvidia é atualmente um aplicativo de demonstração disponível gratuitamente.
Chamando-o de chatbot de IA personalizado, a Nvidia lançou a ferramenta na terça-feira (13 de fevereiro). Os usuários que pretendem baixar o software precisarão de um PC ou estação de trabalho com Windows que execute uma GPU da série RTX 30 ou 40 com um mínimo de 8 GB de VRAM. Depois de baixado, o aplicativo pode ser instalado com apenas alguns cliques e usado imediatamente.
Por se tratar de um chatbot local, o Chat with RTX não possui nenhum conhecimento do mundo exterior. No entanto, os usuários podem alimentá-lo com seus próprios dados pessoais, como documentos, arquivos e muito mais, e personalizá-lo para executar consultas neles. Um desses casos de uso pode ser alimentá-lo com grandes volumes de documentos relacionados ao trabalho e, em seguida, pedir-lhe para resumir, analisar ou responder a uma pergunta específica que pode levar horas para ser encontrada manualmente. Da mesma forma, pode ser uma ferramenta de pesquisa eficaz para folhear vários estudos e artigos. Ele suporta formatos de arquivo texto, pdf, doc/docx e xml. Além disso, o bot de IA também aceita URLs de vídeos e playlists do YouTube e, usando as transcrições dos vídeos, pode responder a dúvidas ou resumir o vídeo. Para esta funcionalidade, será necessário acesso à internet.
De acordo com o vídeo de demonstração, o Chat with RTX é essencialmente um servidor Web junto com uma instância Python que não contém as informações de um modelo de linguagem grande (LLM) quando é baixado recentemente. Os usuários podem escolher entre os modelos Mistral ou Llama 2 para treiná-lo e, em seguida, usar seus próprios dados para executar consultas. A empresa afirma que o chatbot aproveita projetos de código aberto, como geração aumentada de recuperação (RAG), TensorRT-LLM e aceleração RTX para sua funcionalidade.
De acordo com um relatório do The Verge, o aplicativo tem aproximadamente 40 GB e a instância Python pode ocupar até 3 GB de RAM. Um problema específico apontado pela publicação é que o chatbot cria arquivos JSON dentro das pastas que você pede para indexar. Portanto, alimentá-lo com toda a pasta de documentos ou com uma pasta pai grande pode ser problemático.
source – www.gadgets360.com
