📊 Modulo 12 — Observabilidade em IA

Sistemas de IA falham de formas diferentes do software tradicional. Um agente pode "funcionar" tecnicamente e ainda assim dar respostas erradas, caras ou enviesadas. Observabilidade em IA e a disciplina de enxergar o que acontece dentro dessas caixas pretas — e agir antes que o problema chegue ao usuario.

📚 10 topicos ⏱ ~114 min 🎯 Nivel: Intermediario-Avancado
12-01-01

Por que observabilidade em IA e diferente

Probabilismo, sensibilidade a prompt, custos variaveis por token — por que as ferramentas tradicionais de APM nao bastam.

⏱ 10 min
12-01-02

Tracing: spans, runs, threads

OpenTelemetry GenAI conventions. Como instrumentar LLM calls, tool calls e chains com traces distribuidos.

⏱ 15 min
12-02-01

LangSmith e Langfuse

As duas principais plataformas de observabilidade para LLMs. Quando usar cada uma, integracao e trade-offs.

⏱ 12 min
12-02-02

Azure Monitor + App Insights + Foundry Tracing

Stack Microsoft nativa para observabilidade de agentes em producao. Integracao com OpenTelemetry e alertas.

⏱ 12 min
12-02-03

Arize Phoenix e open-source

Alternativas open-source para times que nao querem vendor lock-in. Arize Phoenix, Helicone, Weave.

⏱ 10 min
12-03-01

Metricas: latencia, custo, qualidade

As tres dimensoes criticas de toda aplicacao LLM em producao. Como medir, agregar e criar SLOs.

⏱ 10 min
12-03-02

Avaliacoes offline

Ground truth, LLM-as-judge, RAGAS e DeepEval. Como construir um suite de evals antes de ir para producao.

⏱ 15 min
12-03-03

Avaliacoes online: A/B, canary, feedback loops

Testar modelos em producao com controle de risco. Estrategias de rollout progressivo e coleta de feedback implicito.

⏱ 12 min
12-03-04

Drift detection e regressoes

Como detectar quando um agente começa a degradar sem que nenhum codigo tenha mudado. Data drift, concept drift, prompt sensitivity.

⏱ 10 min
12-03-05

Desafio: 5 metricas para agente RAG

Desafio pratico: defina, implemente e monitore 5 metricas criticas para um agente RAG em producao.

⏱ 8 min