Todas as notícias

O SageMaker Inference agora suporta Multi-Instance GPU para maximizar a utilização de GPUs em endpoints de modelos

O SageMaker Inference agora suporta Multi-Instance GPU para maximizar a utilização de GPUs em endpoints de modelos

Imagem da publicação original · AWS — Machine Learning

Anúncio da empresa · Fonte primária

O Amazon (nova aba) SageMaker Inference agora suporta particionamento de GPU com NVIDIA (nova aba) Multi-Instance GPU (MIG), que divide uma GPU em partições isoladas por hardware, permitindo executar um modelo diferente em cada uma ou utilizar uma fração dimensionada adequadamente de um acelerador mais recente. Este post mostra como dois campos opcionais da API posicionam um modelo por partição e o que medimos em comparação com uma GPU antiga inteira.

Ler mais (nova aba)Tradução do trecho disponibilizado pela fonte · validação automática

A notícia é o começo

Continue por aqui