Como a ArisGlobal escalou a inferência de IA generativa no Amazon (nova aba) Bedrock

Anúncio da empresa · Fonte primária
A ArisGlobal executa o NavaX, seu mecanismo de IA para ciências da vida, no Amazon (nova aba) Bedrock. Ao armazenar em cache o prefixo de prompt compartilhado, em vez de cada documento por caso, a ArisGlobal reduziu o custo efetivo de entrada em cerca de 50% e o gasto mensal total com inferência em cerca de 40%, ao mesmo tempo em que incorporava mais inquilinos sem um crescimento proporcional de custos.