A NVIDIA lançou nesta terça-feira (13) a ferramenta “Chat With RTX”, que cria um chatbot local no estilo ChatGPT para sistemas com placas GeForce RTX 3000 ou superiores. Ainda em fase de demonstração técnica, o “Chat With RTX” (Converse com RTX) está disponível para download e é uma das primeiras ferramentas locais de chatbot lançadas para o consumidor doméstico.
- Nvidia | IA é o próximo ponto de inflexão da indústria de games
- Era da IA nos PCs | As projeções da Intel para 2024 e além
A iniciativa segue a proposta do RTX Remix e NVIDIA TensorRT de implementar soluções de software gratuitas — e em alguns casos de código aberto — para desbloquear o potencial de IA local de todos os produtos com núcleos Tensor. O movimento ainda sugere que a NVIDIA está focada em liberar cada vez mais soluções locais de IA como resposta à estratégia de mercado adotada pela Intel com os processadores Intel Core Ultra com NPU e aceleradores de IA embarcados.
ChatGPT local em placas GeForce RTX 3000
De maneira geral, soluções online como o Gemini (antigo Bard) , da Google , o Copilot, da Microsoft e o próprio ChatGPT utilizam modelos abertos com dados disponíveis na internet para criar as interações com os usuários. O problema é que as respostas costumam ser muito genéricas, sendo preciso várias interações até encontrar a resposta mais adequada.
-
Siga o Canaltech no Twitter
e seja o primeiro a saber tudo o que acontece no mundo da tecnologia.
-
Inicialmente, os maiores beneficiados pelo "Chat With RTX" serão criadores de conteúdo e profissionais autônomos. Um youtuber poderia, por exemplo, buscar em qual momento de um vídeo ele falou sobre seu personagem gratuito favorito de Genshin para criar cortes pontuais, mas os links precisam ser inseridos manualmente.
Ao testar a ferramenta, foi possível inserir pastas inteiras com arquivos de texto para criar um banco de dados unificado. Ao realizar a pergunta — inclusive em português —, a plataforma realiza a busca das informações entre os documentos em extensões DOC/DOCX, TXT e PDF, e gera respostas em inglês.
No caso de vídeos, ainda é necessário inserir o endereço do vídeo no YouTube , ainda não sendo possível utilizar uma biblioteca local. Contudo, ainda se trata de uma demonstração em versão 0.2, sendo provável que a funcionalidade seja introduzida futuramente, permitindo criar assistentes virtuais totalmente personalizadas.
O maior problema da novidade, no entanto, é que ela é extremamente pesada, com mais de 35 GB de download — que precisam ser descompactados antes da instalação —, e exige no mínimo uma placa de vídeo GeForce RTX 3000. Por outro lado, não é preciso baixar modelos LLM separadamente, pois o "Chat With RTX" já inclui os modelos reduzidos do Mistral, Llama 2 , TensorRT-LLM e a ferramenta de Geração Aumentada de Recuperação (RAG), para otimizar as repostas com os dados dos usuários.
- 🛒 Compre notebooks gamer equipados com placas GeForce RTX pelo melhor preço!
- 🛒 Compre placa de vídeo GeForce RTX pelo melhor preço!
Leia a matéria no Canaltech .
Trending no Canaltech:
- Quarteto Fantástico finalmente tem seu elenco revelado
- iPhone 11 lidera lista de celulares seminovos mais vendidos no Brasil
- Falhas mostram que placa tectônica do Pacífico está rachando
- Os 45 filmes mais esperados de 2024
- Micrometeorito raro traz material "impossível" à Terra
- PlayStation 5 entra na etapa final do seu ciclo, afirma Sony