Em quase todo diagrama de arquitetura agêntica há uma caixa chamada LLM Runtime, com logos de provedores de um lado e modelos abertos do outro. Parece uma preferência de catálogo. É a decisão que move mais dinheiro do diagrama inteiro, e a única que a maioria dos times toma por um motivo que não se aplica.
A resposta curta: auto-hospedar um modelo aberto quase nunca sai mais barato que chamar um provedor, porque esses mesmos modelos abertos são vendidos por API a um preço próximo do custo cru da GPU. O que domina o custo não é o modelo, é a forma do tráfego. Auto-hospedar se justifica por controle, e há quatro casos em que realmente vale.
O que é o runtime e por que decidi-lo separadamente?
É onde e como o modelo executa. E é decidido separadamente porque responde a perguntas que nenhuma outra camada responde.
A camada de orquestração decide o que fazer, com qual contexto, em que ordem e com quais controles. Essa discussão já fizemos em as 13 camadas de um sistema de IA real. O runtime é outra coisa: é a infraestrutura que executa a inferência, e suas perguntas são custo, latência, controle e residência do dado.
Misturá-lo com o resto é o que faz a decisão sair errada. O runtime é escolhido no início do projeto, quando ainda não existe o único dado que o resolve, que é como será o seu tráfego real.
O que move o custo de verdade?
A forma do tráfego. Não o modelo, não o provedor, não a negociação.
Este é o ponto que muda a conversa. Uma GPU é paga por hora, esteja trabalhando ou esperando. Se o seu tráfego chega em rajadas curtas separadas por horas mortas, você paga o dia inteiro para usar a máquina alguns minutos. Uma análise publicada sobre o mesmo modelo servido na mesma GPU mostra o tamanho do efeito.
Dados
| Concorrência sustentada | Custo |
|---|---|
| 1 requisição por segundo | 15.3 |
| 25 requisições por segundo | 0.9 |
Dezessete vezes de diferença sem trocar o modelo nem o hardware. Só mudou quantas pessoas o usavam ao mesmo tempo.
Daí vem a regra incômoda: a infraestrutura própria premia o tráfego parelho e castiga o espalhado. E o tráfego da maioria das empresas é espalhado, porque segue o horário comercial de um país.
Quando auto-hospedar sai mais barato?
Quando você sustenta utilização alta, e isso é mais exigente do que soa.
As estimativas publicadas concordam na ordem de magnitude: auto-hospedar compete quando a GPU se mantém acima de cerca de dois terços de utilização boa parte do tempo, com dezenas de requisições simultâneas em voo de forma sustentada [1]. Não no pico da terça: sustentado.
E falta o custo que nunca entra na planilha. Um engenheiro de plataforma consegue operar apenas algumas GPUs, e o custo total acaba sendo um múltiplo do aluguel cru do hardware depois de somar monitoramento, atualizações, plantão e substituição de modelos [1].
Há um último dado que quase ninguém considera e que fecha o argumento: esses mesmos modelos abertos são vendidos por API. Um provedor especializado serve Llama, Qwen ou Mistral a um preço próximo do custo cru da GPU, com a utilização diluída entre todos os seus clientes em vez da sua sozinha. Se você queria o modelo aberto pelo modelo, já pode comprá-lo sem comprar o problema operacional.
A lei obriga a manter o modelo dentro de casa?
Quase nunca, e essa confusão custa projetos inteiros.
É a razão que mais escuto para auto-hospedar na região, e na maioria dos casos está mal formulada. Nem o Brasil nem a Colômbia exigem que o processamento ocorra em hardware local.
No Brasil, a LGPD não impõe localização estrita: permite transferências internacionais para países com nível adequado de proteção, ou amparadas em consentimento, contratos ou disposições legais específicas, exigindo medidas técnicas e administrativas adequadas [3]. Na Colômbia, a Lei 1581 e o Decreto 1377 permitem a transferência internacional de dados pessoais por meio de cláusulas contratuais verificadas pela autoridade de controle [2].
O que a norma pede é base legal e proteção demonstrável, não um servidor no prédio. Um contrato de tratamento bem feito com um provedor que não treina com os seus dados cumpre; comprar GPUs não isenta de nada por si só, e ainda te torna responsável pela segurança que antes era do provedor.
Isso não diz que a exigência nunca existe. Diz que a exigência precisa ser lida antes de comprar hardware, e que muitas vezes vem do contrato de um cliente e não da lei.
Então, quando vale a pena?
Quatro casos, e nenhum deles é o preço por token.
Volume alto e parelho. Se o seu tráfego é sustentado, com concorrência real durante boa parte do dia, a conta começa a fechar. É o único caso econômico legítimo.
Um cliente que não aceita que o dado dele saia. Não a lei: o contrato. É uma razão comercial válida e perfeitamente comum em bancos, saúde e setor público.
Latência que um provedor remoto não alcança. Se o caso vive dentro de uma planta, um ponto de venda ou um sistema de tempo real, a distância física é o argumento.
Precisar que o modelo não mude por baixo de você. Provedores descontinuam versões e ajustam comportamentos. Se o seu sistema depende de saída estável e você tem avaliações que comprovam, fixar o modelo tem valor real.
Como decidir sem apostar?
Com três números que você não tem hoje, e que levam um trimestre para conseguir.
| Passo | O que você faz | O que obtém |
|---|---|---|
| 1 | Comece pela API do provedor | Chegar à produção sem comprometer capital |
| 2 | Isole o runtime atrás de uma interface própria | Trocá-lo passa a ser substituição de módulo |
| 3 | Meça volume, concorrência e distribuição por hora | Os três números que resolvem a conta |
| 4 | Só então compare com auto-hospedar | Uma decisão, não uma aposta |
O passo 2 é o mais pulado e o mais barato de fazer no começo. Se o código que fala com o modelo está separado da lógica de negócio, trocar de runtime em seis meses custa dias. Se está espalhado pelo sistema, custa um projeto, e é exatamente por isso que muitos times ficam com a decisão que tomaram no primeiro dia sem dados.
Como aplicamos isso na MasterDragon
Começamos sempre em provedor, e deixamos a porta aberta desde o primeiro dia.
Na prática isso significa que o runtime vive atrás de uma interface nossa, com o modelo declarado em configuração e não no código. Isso nos permitiu trocar de modelo por tarefa sem tocar na lógica, que é também a maior alavanca de custo que existe antes de alguém pensar em hardware.
E quando um cliente levanta a auto-hospedagem, a primeira pergunta não é técnica: é se a exigência vem da lei, do contrato de um cliente dele, ou de uma intuição sobre economia. No terceiro caso, que é o mais comum, a resposta costuma ser medir três meses antes de comprar qualquer coisa.
Se você está definindo a arquitetura e quer saber qual runtime serve para você, fale com nossos engenheiros. Você pode começar por como construímos seu software e ver nosso portfólio de produtos AI-native já lançados. A conta completa do gasto com IA está em o custo da IA é consumo, não licença, o que está por baixo de um agente que aguenta produção em as 13 camadas de um sistema de IA real, e como desenhar para poder trocar uma peça sem derrubar o resto em arquitetura empresarial componível.
Referências
- Análises comparativas de custo entre auto-hospedagem de modelos de pesos abertos com vLLM e APIs de provedores (2026), cobrindo limiares de utilização, o efeito da concorrência sobre o custo por milhão de tokens e o custo total de operação frente ao aluguel cru de GPU.
- Congresso da República da Colômbia. (2012). Lei 1581 de 2012, e Decreto 1377 de 2013, sobre proteção de dados pessoais e transferência internacional por meio de cláusulas contratuais verificadas pela Superintendência de Indústria e Comércio.
- Brasil. (2018). Lei Geral de Proteção de Dados Pessoais, Lei 13.709/2018, em vigor desde 2020, sobre transferências internacionais para países com nível adequado de proteção e as medidas técnicas e administrativas exigíveis.