Reduzindo custos de tokens e latência em cargas de trabalho JSON no Amazon (nova aba) Bedrock AgentCore

Anúncio da empresa · Fonte primária
À medida que agentes de produção no Amazon (nova aba) Bedrock AgentCore processam cargas JSON de vários megabytes, os custos de tokens e a latência aumentam. Este post apresenta três estratégias combináveis: transferir artefatos pesados para o Amazon S3, paginação de resultados sob demanda e compactação de dicionário.
Juntas, essas estratégias reduziram o uso de tokens por turno em até 71% e a latência em até 80%.