O Google repensa o computador por trás da IA
Dois novos sistemas TPU atacam problemas diferentes. Um protege dados durante o cálculo. O outro dá mais espaço aos modelos para trabalhar.
Um acelerador de IA passa parte do tempo esperando que dados cheguem à memória. Para encurtar essa espera, o Google reuniu dois chips TPU 8i no mesmo encapsulamento. O sistema, chamado 8i Max, foi anunciado em 9 de novembro para tarefas que exigem manter grandes volumes de informação à mão, como percorrer uma base de código inteira.
Segundo a empresa, a configuração dobra a capacidade de cálculo e a largura de banda da memória HBM em relação à TPU 8i. Esses números descrevem o hardware. O tempo que uma aplicação leva para responder também depende de como seu software movimenta os dados.
A segunda configuração, a 8tx, reaproveita o silício da TPU 8t. Seu diferencial é o isolamento de informações sensíveis e dos pesos do modelo durante o processamento. Juntas, as duas propostas mostram quanto o desenho do sistema ao redor do chip passou a pesar nas escolhas de infraestrutura.