Detecção e recuperação de corrupção silenciosa de dados no Amazon (nova aba) SageMaker HyperPod

Anúncio da empresa · Fonte primária
A corrupção silenciosa de dados é uma falha de GPU que retorna números incorretos, porém plausíveis, sem nenhum erro, envenenando silenciosamente o treinamento distribuído. Este post adiciona três verificações a um loop DDP do PyTorch para detectá-la, localizar o nó com falha no Amazon (nova aba) SageMaker HyperPod e entregar o nó à recuperação automática para substituição.