Quatro opções de inferência no Amazon (nova aba) Bedrock que afetam o custo

Anúncio da empresa · Fonte primária
A fatura de inferência do Amazon (nova aba) Bedrock pode continuar aumentando mesmo após o ajuste de prompts e da lógica da aplicação. Quatro escolhas no nível da solicitação (duração do cache, nível de serviço, esforço de raciocínio e maxTokens) alteram a quantidade de tokens processados pelo serviço e a taxa aplicada. Mostramos como testamos cada uma e como verificar o efeito.