Todas as notícias

Encaminhe solicitações de agentes de codificação ao modelo adequado no Amazon Bedrock com o NVIDIA NeMo Switchyard

Encaminhe solicitações de agentes de codificação ao modelo adequado no Amazon (nova aba) Bedrock com o NVIDIA (nova aba) NeMo Switchyard

Imagem da publicação original · AWS — Machine Learning

Anúncio da empresa · Fonte primária

Agentes de codificação trabalham em tarefas, e a métrica relevante é o custo por tarefa resolvida, não o preço por token. Neste post, você usa o AWS CDK para implantar o LiteLLM com o plugin de roteamento NVIDIA (nova aba) NeMo Switchyard no Amazon (nova aba) Bedrock e, em seguida, mede o custo por tarefa resolvida para um grupo de modelos roteados em comparação com linhas de base de modelo único.

Ler mais (nova aba)Tradução do trecho disponibilizado pela fonte · validação automática

A notícia é o começo

Continue por aqui