Como a Airbnb usa o custo por tarefa para operar agentes de programação no Amazon (nova aba) Bedrock

Anúncio da empresa · Fonte primária
A Airbnb executa avaliações (evals) com tarefas reais de engenharia e usa a observabilidade do Amazon (nova aba) Bedrock para escolher modelos para seus agentes de programação e controlar os custos de produção.
Este post mostra como o custo por tarefa orienta a seleção de modelos, por que os gastos em produção podem diferir dos resultados das avaliações, e como monitorar a latência, gerenciar cotas e atribuir os gastos.