02-04-04 — Llama, Mistral e o ecossistema open-weight

Open-weight ≠ Open-source

A distinção importa para contratos e compliance:

• Open-source verdadeiro: código-fonte, dados de treinamento e pesos disponíveis sob licença OSI (ex: Apache 2.0). Raridade no mundo de LLMs.
• Open-weight: apenas os pesos do modelo são públicos. Você pode rodar, fazer fine-tuning e até redistribuir — mas com restrições comerciais que variam por modelo.
• Closed/Proprietary: sem acesso aos pesos. Você só usa via API (GPT-4, Claude, Gemini Advanced).

Llama 2 e Llama 3: o divisor de águas da Meta

Llama 2 (julho 2023)

Primeiro modelo de grande porte da Meta com pesos públicos para uso comercial. Disponível em 7B, 13B e 70B parâmetros. Representou uma ruptura: até então, modelos de 70B eram exclusivos de OpenAI e Google. A comunidade explodiu — em semanas havia dezenas de fine-tunes especializados (código, medicina, jurídico).

Llama 3 (abril 2024) e Llama 3.1/3.2/3.3

Salto qualitativo significativo. Llama 3.1 70B compete diretamente com GPT-4o em muitos benchmarks. Llama 3.2 trouxe modelos multimodais (visão) e versões tiny (1B, 3B) para edge. Llama 3.3 70B (dezembro 2024) igualou desempenho do 405B com menos recursos.

Mistral e Mixtral: eficiência como filosofia

A startup francesa Mistral AI surgiu em 2023 com uma proposta clara: modelos menores que superam modelos maiores de concorrentes. Como?

• Grouped-Query Attention (GQA): reduz consumo de memória durante inferência sem perder qualidade.
• Sliding Window Attention: trata contextos longos com memória sub-linear.
• Mixture of Experts (MoE): o Mixtral 8×7B tem 46.7B parâmetros no total, mas ativa apenas ~12.9B por token — velocidade de um 12B com qualidade próxima de um 70B.

# Rodando Mistral localmente via Ollama
# Primeiro: ollama pull mistral

import ollama

response = ollama.chat(
    model='mistral',
    messages=[
        {'role': 'user', 'content': 'Explique Mixture of Experts em 3 linhas.'}
    ]
)
print(response['message']['content'])

DeepSeek: a surpresa chinesa

Em janeiro de 2025, a startup chinesa DeepSeek lançou o DeepSeek-R1 e causou impacto no mercado — as ações da Nvidia caíram 17% no dia do lançamento. Por quê?

• Custo de treinamento declarado: ~$6M — fração do que modelos comparáveis custam nos EUA.
• Desempenho: DeepSeek-R1 compete com o1 da OpenAI em raciocínio matemático e código.
• Open-weight: pesos disponíveis publicamente, hospedados no Hugging Face.
• Arquitetura MoE eficiente: DeepSeek-V3 usa 671B parâmetros totais, ativando apenas 37B por token.

Outros modelos relevantes

Open-weight vs API: quando usar cada um