A IA generativa é um dos recursos mais esperados para os celulares Android anunciados entre 2023 e 2024, mas a Apple ainda não mostrou nada parecido para os modelos de iPhone. Contudo, um documento de pesquisadores da Maçã publicado recentemente mostra como a marca pode trazer este recurso não somente para as gerações futuras, mas também nas unidades que já estão em circulação.
- Linha iPhone 16 pode ter processador A18 em todos os modelos
- Empresas vão investir mais em Inteligência artificial e análise de dados em 2024
Como os grandes modelos de linguagem (LLMs) utilizam muita memória RAM , é possível que a Apple precise encontrar formas alternativas de viabilizar a IA generativa, e é justamente este o tema abordado pelo relatório. Para referência, os iPhones atuais possuem no máximo 8 GB de RAM, enquanto alguns aparelhos Android já chegam a 24 GB.
De acordo com o documento, a Apple pretenderia manter os parâmetros do modelos de linguagem no armazenamento do dispositivo, e levaria-os à RAM de acordo com a necessidade, em vez de carregar o modelo inteiro na memória mais veloz:
-
Podcast Canaltech: de segunda a sexta-feira, você escuta as principais manchetes e comentários sobre os acontecimentos tecnológicos no Brasil e no mundo. Links aqui: https://canaltech.com.br/360/
-
“Coletivamente, estes métodos permitem rodar modelos com até o dobro da DRAM disponível, com um aumento na velocidade de inferência de até 4-5x em CPU, e 20-25x em GPU, respectivamente, quando comparada com as abordagens de carregamento normais.”
Na prática, isso significa que os modelos de IA generativa poderiam ser carregados até mesmo em modelos mais antigos, incluindo opções com 4 GB ou 6 GB de RAM.
A utilização da RAM para os modelos é essencial, já que ela traz velocidades de escrita e leitura bem mais altas que os chips NAND usados para armazenamento. Ou seja, a formação de frases e imagens por IA leva um tempo menor, e as respostas ficam prontas em questão de segundos.
As marcas responsáveis pela IA em aparelhos Android também estão trabalhando em suas otimizações nos LLMs, ainda que em abordagens diferentes. Os processadores mais recentes da Qualcomm e da MediaTek já oferecem precisão INT4 para reduzir o tamanho destes modelos, e no futuro novas soluções podem levar a IA também para smartphones intermediários e de entrada.
Leia a matéria no Canaltech .
Trending no Canaltech:
- 🔥 PREÇÃO | Compre Galaxy S23 Ultra de 512 GB em ótima oferta
- Obituário: morte do DCEU enterra uma década de frustração
- Fluminense x Manchester City | Onde assistir à final do Mundial de Clubes
- É possível borrar a visão voluntariamente, mas nem todos conseguem
- Startup brasileira lança satélites com foguete próprio
- Jovem que vazou GTA 6 pode passar o resto da vida em hospital