Módulo 02 — Large Language Models por dentro
Entenda como LLMs funcionam: da intuição de "autocomplete sofisticado" até arquitetura Transformer, famílias de modelos, parâmetros de inferência e limitações.
02-01 — O que é um LLM
02-01-01 — LLM como autocomplete sofisticado
Intuição, analogias e emergent abilities.
02-01-02 — Escala: parâmetros, dados e scaling laws
Scaling laws, compute-optimal training, a corrida de escala.
02-02 — Arquitetura Transformer
02-02-01 — Attention Is All You Need
O paper de 2017 que mudou tudo. Arquitetura Transformer.
02-02-02 — Self-attention e multi-head attention
Query/Key/Value, positional encoding — visual, sem álgebra.
02-02-03 — Encoder, decoder e encoder-decoder
BERT vs GPT vs T5. Por que decoder-only dominou.
02-03 — Treinamento e alinhamento
02-03-01 — Pré-treinamento: dados massivos e compute
Common Crawl, custo de milhões, data quality matters.
02-03-02 — Fine-tuning, instruction tuning e RLHF
O pipeline que criou o ChatGPT. InstructGPT → RLHF.
02-03-03 — DPO, RLAIF e técnicas pós-RLHF
Simplificar alinhamento: DPO, Constitutional AI, RLAIF.
02-04 — Famílias de modelos
02-04-01 — GPT (OpenAI)
GPT-4, GPT-4o, o-series. API e pricing.
02-04-02 — Claude (Anthropic)
Sonnet, Opus, Haiku. Segurança e Constitutional AI.
02-04-03 — Gemini (Google)
Ultra, Pro, Flash, Nano. Multimodal nativo.
02-04-04 — Llama, Mistral e open-weight
Open-weight vs open-source. DeepSeek, Mixtral.
02-04-05 — Phi family (Microsoft)
Small language models para edge e local. Foundry Local.
02-04-06 — Azure OpenAI Service
Acesso enterprise. PTU vs token pricing. Python + C#.