Durante a conferência TechFieldDay, Brandon Royal, Gerente de Produtos do Google Cloud Services , trouxe dados sobre diferentes cargas de trabalho em IA, apontando que processadores são os maiores responsáveis por inferências. Atualmente, as GPUs são responsáveis, principalmente, pelo processamento de treinamento dos modelos de linguagem ( LLM ).
- Era da IA nos PCs | As projeções da Intel para 2024 e além
- Qual o futuro da inteligência artificial na AMD?
Segundo Royal, implantação de infraestruturas baseadas em GPUs ou CPUs por novas empresas deve depender de quais tarefas de IA serão mais benéficas para suas operações e otimizações de fluxo. Com isso, soluções em escala devem começar a ganhar força nos próximos meses, desacelerando um pouco a adoção de produtos focados amplamente em GPUs, como os aceleradores NVIDIA H100 .
I was pleasantly surprised to hear @GoogleCloud validate my research that most AI inferencing is done on CPU vs. GPUs. #AIFD4 @Intellbusiness pic.twitter.com/b2vXNS7bYh
-
— Keith Townsend (@CTOAdvisor) February 27, 2024
Canaltech no Youtube: notícias, análise de produtos, dicas, cobertura de eventos e muito mais! Assine nosso canal no YouTube , todo dia tem vídeo novo para você!
-
Recursos subutilizados
Considerando o cenário atual, é praticamente certo que empresas de todos os tamanhos vão precisar adotar IA até certo ponto em seus processos para se manterem competitivas. A Era da IA já está criando uma pressão para que essa nova tecnologia passe a ser vista como um investimento, não apenas necessário, como urgente.
No entanto, produtos diferentes implicam em possibilidades mais ou menos amplas de aplicações, além de exigirem soluções bastante distintas. Enquanto modelos de IA como GPT-4 e Gemini podem chegar a operações com trilhões de parâmetros, eles seriam muito pouco aproveitados por uma empresa que precisa apenas de uma assistente de IA para otimizar gerenciamento de documentos, agendas, filtragem de tarefas e pequenas inferências via chatbots personalizados.
Learn more about the AMD Instinct MI300 and how it was carefully designed to layer computing, memory, and communication in this breakdown from @IEEESpectrum : https://t.co/BVh5akmJwv
— AMD (@AMD) December 14, 2023
Tanto por isso, faz muito pouco sentido adotar um modelo extremamente robusto e, acima de tudo, exigente em termos de hardware . Sendo assim, adotar um modelo de IA como o Mistral , também permite adotar uma infraestrutura baseada nos novos processadores Xeon , ou mesmo nas APUs AMD MI300 , possibilitando um investimento inicial reduzido, se comparado aos superchips GH200, além de um custo total de operação também reduzido.
- 🛒 Compre processador Intel Core pelo melhor preço!
- 🛒 Compre placa de vídeo NVIDIA GeForce RTX pelo melhor preço!
Leia a matéria no Canaltech .
Trending no Canaltech:
- Vladmir Komarov: as últimas palavras do cosmonauta que caiu do céu
- James Webb detecta buraco negro supermassivo no início do universo
- Nintendo Switch 2 no dock pode ter desempenho do PS4 Pro
- Você pode ajudar a escolher nome de asteroide; saiba como
- Spotify lança plano de assinatura apenas com audiolivros
- Os 45 filmes mais esperados de 2024