01-04-02 — Embeddings: a intuição geométrica

O problema que embeddings resolvem

Token IDs são arbitrários: o ID 4523 para "gato" e 4524 para "cachorro" não dizem nada sobre a relação entre os conceitos. Um modelo que trata IDs como números absolutos não consegue generalizar.

A solução: mapear cada ID para um vetor denso em espaço de alta dimensão (tipicamente 768 a 4096 dimensões), onde a posição codifica significado semântico.

O que é um vetor de embedding

Imagine um espaço com 300 dimensões (simplificando para 3 no diagrama abaixo). Cada palavra ocupa uma posição nesse espaço. Palavras semanticamente relacionadas ficam próximas; palavras não relacionadas ficam distantes.

Word2Vec: a prova de conceito histórica

Em 2013, pesquisadores do Google (Mikolov et al.) publicaram o Word2Vec — um modelo simples que demonstrou que embeddings treinados em texto capturam estrutura semântica e sintática:

Mais exemplos que funcionam:

• Paris − França + Itália ≈ Roma (capitais)
• andar − anda + correr ≈ corre (conjugação verbal)
• maior − grande + pequeno ≈ menor (comparativos)

Similaridade por cosseno

Para medir o quão similares dois embeddings são, usa-se a similaridade por cosseno — o cosseno do ângulo entre os dois vetores:

import numpy as np

def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# Resultado: 1.0 = idênticos, 0.0 = sem relação, -1.0 = opostos

# Exemplo com embeddings reais via OpenAI
from openai import OpenAI

client = OpenAI()

def get_embedding(text):
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-small"  # 1536 dimensões
    )
    return np.array(response.data[0].embedding)

rei    = get_embedding("rei")
rainha = get_embedding("rainha")
gato   = get_embedding("gato")

print(f"rei ↔ rainha: {cosine_similarity(rei, rainha):.3f}")  # ~0.85
print(f"rei ↔ gato:   {cosine_similarity(rei, gato):.3f}")   # ~0.15

Embeddings modernos vs. Word2Vec

Embeddings contextuais (BERT, text-embedding-3) são superiores porque a representação de uma palavra muda de acordo com a frase ao redor.

Onde embeddings são usados na prática

RAG — Retrieval-Augmented Generation

O padrão arquitetural mais importante para aplicações enterprise com LLMs. Você armazena seus documentos como embeddings num banco vetorial (Pinecone, pgvector, Azure AI Search). Na query, a pergunta do usuário vira embedding e você busca os trechos mais similares — aí passa esses trechos como contexto para o LLM responder.

Busca semântica

Diferente de full-text search (que busca palavras exatas), busca semântica encontra documentos pelo significado. "contrato de trabalho encerrado" retorna resultados sobre "demissão" mesmo sem essa palavra.

Clustering e classificação

Agrupar tickets de suporte por similaridade semântica, classificar sentimento, detectar duplicatas.

Modelos de embedding disponíveis