NVIDIA (nova aba) Dynamo gerenciado no Amazon (nova aba) SageMaker HyperPod Inference

Anúncio da empresa · Fonte primária
O Amazon (nova aba) SageMaker HyperPod Inference agora oferece suporte ao NVIDIA (nova aba) Dynamo para inferência distribuída, com serviço multinó e desagregado, roteamento com reconhecimento de KV e recuperação automática de falhas.
Sirva modelos grandes em muitos nós sem precisar criar você mesmo a camada de orquestração.
Ler mais (nova aba)Tradução do trecho disponibilizado pela fonte · validação automática