Todas as notícias

Endpoints em tempo real do Amazon SageMaker AI agora suportam roteamento com reconhecimento de cache KV

Endpoints em tempo real do Amazon (nova aba) SageMaker AI agora suportam roteamento com reconhecimento de cache KV

Imagem da publicação original · AWS — Machine Learning

Anúncio da empresa · Fonte primária

Os endpoints em tempo real do Amazon (nova aba) SageMaker AI agora suportam roteamento com reconhecimento de cache KV, uma nova estratégia que direciona cada solicitação para a instância que possui a correspondência em cache mais longa para o prompt. Saiba como funciona, quando usá-lo em comparação com o roteamento com reconhecimento de prefixo e como habilitar, invocar e verificá-lo em endpoints de modelo único e de componente de inferência.

Ler mais (nova aba)Tradução do trecho disponibilizado pela fonte · validação automática

A notícia é o começo

Continue por aqui