Exa aumenta em 50% a vazão de embeddings para indexar bilhões de documentos em chips de IA da AWS

Anúncio da empresa · Fonte primária
O mecanismo de busca neural da Exa é sustentado por um banco de dados vetorial desenvolvido internamente, de modo que a economia unitária de gerar embeddings para dezenas de bilhões de documentos da web impulsiona o negócio.
Esta publicação apresenta como a Exa otimizou a inferência de embeddings em hardware AWS Neuron (Inferentia2 e Trainium2) com kernels NKI personalizados, alcançando um ganho de 47% em desempenho e em custo por milhão de documentos.