1
π° Custo como metrica de qualidade
No GIPM, custo nao e apenas uma despesa - e uma metrica de eficiencia do sistema.
Por que custo e metrica de qualidade?
- β’Prompts ruins gastam mais tokens sem melhor resultado
- β’Contexto excessivo aumenta custo sem necessidade
- β’Retries frequentes indicam problemas na implementacao
- β’Modelo errado pode ser overkill ou insuficiente
π‘ Principio
Um sistema bem governado custa menos para produzir o mesmo resultado. Custo alto sem justificativa e sinal de governanca fraca.
2
π Metricas: por execucao, entrega, usuario
Por Execucao
- β’ Tokens de entrada
- β’ Tokens de saida
- β’ Custo unitario (USD)
- β’ Tempo de resposta
- β’ Modelo utilizado
Por Entrega
- β’ Custo total do artefato
- β’ Numero de chamadas
- β’ Retries necessarios
- β’ Custo por tipo de output
- β’ Eficiencia (custo/qualidade)
Por Usuario
- β’ Custo acumulado
- β’ Media por request
- β’ Uso por periodo
- β’ Quota consumida
- β’ Tendencia de uso
3
π Dashboard de custos
Elementos essenciais do dashboard
$1,234
Custo Mensal
$0.03
Media/Request
45K
Requests/Mes
72%
Budget Usado
Graficos recomendados
- β’Custo diario (linha do tempo)
- β’Distribuicao por modelo (pizza)
- β’Top usuarios (barras)
- β’Custo por tipo de tarefa (barras empilhadas)
4
β οΈ Alertas e limites
# Configuracao de alertas e limites
cost_config = {
"alerts": {
"daily_warning": 100.00, # Alerta amarelo
"daily_critical": 200.00, # Alerta vermelho
"monthly_budget": 3000.00, # Budget mensal
},
"limits": {
"per_request_max": 0.50, # Bloqueia requests caros
"per_user_daily": 10.00, # Limite por usuario/dia
"per_user_monthly": 100.00, # Limite por usuario/mes
},
"actions": {
"on_warning": "notify_admin",
"on_critical": "notify_admin + slow_down",
"on_limit": "block_and_notify",
}
}
5
π§ Otimizacao de chamadas
Estrategias para reduzir custos sem perder qualidade.
Boas praticas
- βUsar modelo adequado para a tarefa
- βCachear respostas repetitivas
- βLimitar contexto ao necessario
- βBatch requests similares
- βPrompts concisos e diretos
Anti-patterns
- βGPT-4 para tarefas simples
- βInjetar contexto inteiro sempre
- βRetries sem backoff
- βIgnorar tokens de saida
- βNao monitorar custos
6
π Relatorios de ROI
Demonstrar o retorno sobre investimento em IA e essencial para justificar o uso.
Metricas de ROI
Custo por documento gerado
$0.15
vs $25/hora de um redator humano
Tempo economizado por mes
120 horas
Tarefas que seriam manuais
ROI estimado
340%
(Valor gerado - Custo IA) / Custo IA
π Resumo do Modulo
βCusto = Qualidade - Custo alto indica governanca fraca
βMetricas - Por execucao, entrega e usuario
βAlertas - Limites e acoes automaticas
βROI - Demonstrar valor para stakeholders