Todas as notícias

Reduzindo custos de tokens e latência em cargas de trabalho JSON no Amazon Bedrock AgentCore

Reduzindo custos de tokens e latência em cargas de trabalho JSON no Amazon (nova aba) Bedrock AgentCore

Imagem da publicação original · AWS — Machine Learning

Anúncio da empresa · Fonte primária

À medida que agentes de produção no Amazon (nova aba) Bedrock AgentCore processam cargas JSON de vários megabytes, os custos de tokens e a latência aumentam. Este post apresenta três estratégias combináveis: transferir artefatos pesados para o Amazon S3, paginação de resultados sob demanda e compactação de dicionário.

Juntas, essas estratégias reduziram o uso de tokens por turno em até 71% e a latência em até 80%.

Ler mais (nova aba)Tradução do trecho disponibilizado pela fonte · validação automática

A notícia é o começo

Continue por aqui