Encaminhe solicitações de agentes de codificação ao modelo adequado no Amazon (nova aba) Bedrock com o NVIDIA (nova aba) NeMo Switchyard

Anúncio da empresa · Fonte primária
Agentes de codificação trabalham em tarefas, e a métrica relevante é o custo por tarefa resolvida, não o preço por token. Neste post, você usa o AWS CDK para implantar o LiteLLM com o plugin de roteamento NVIDIA (nova aba) NeMo Switchyard no Amazon (nova aba) Bedrock e, em seguida, mede o custo por tarefa resolvida para um grupo de modelos roteados em comparação com linhas de base de modelo único.