Endpoints em tempo real do Amazon (nova aba) SageMaker AI agora suportam roteamento com reconhecimento de cache KV

Anúncio da empresa · Fonte primária
Os endpoints em tempo real do Amazon (nova aba) SageMaker AI agora suportam roteamento com reconhecimento de cache KV, uma nova estratégia que direciona cada solicitação para a instância que possui a correspondência em cache mais longa para o prompt. Saiba como funciona, quando usá-lo em comparação com o roteamento com reconhecimento de prefixo e como habilitar, invocar e verificá-lo em endpoints de modelo único e de componente de inferência.