09-04-04 — Voice Live: speech-to-speech (preview)

Arquitetura Voice Live vs pipeline tradicional

Conectando ao Voice Live via WebSocket

import asyncio
import websockets
import json
import os

async def voice_agent_session():
    # Endpoint Voice Live no AI Foundry
    ws_url = (
        f"{os.environ['AZURE_AI_FOUNDRY_ENDPOINT']}/realtime"
        f"?api-version=2025-01-01-preview"
        f"&deployment=gpt-4o-realtime-preview"
    )
    
    headers = {"api-key": os.environ["AZURE_API_KEY"]}
    
    async with websockets.connect(ws_url, extra_headers=headers) as ws:
        # Configurar sessão de voz
        await ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "modalities": ["audio", "text"],
                "instructions": "Você é um assistente de suporte da Impar. Responda em português, tom profissional.",
                "voice": "shimmer",  # ou alloy, echo, nova, onyx
                "input_audio_format": "pcm16",
                "output_audio_format": "pcm16",
                "turn_detection": {
                    "type": "server_vad",  # detecta fim da fala automaticamente
                    "threshold": 0.5,
                    "silence_duration_ms": 500
                }
            }
        }))
        
        # Loop: recebe áudio do microfone, envia, recebe resposta em áudio
        async for message in ws:
            event = json.loads(message)
            
            if event["type"] == "response.audio.delta":
                # Reproduzir chunk de áudio
                audio_bytes = bytes.fromhex(event["delta"])
                play_audio_chunk(audio_bytes)  # implementação no seu app
            
            elif event["type"] == "response.done":
                print("Resposta completa")

asyncio.run(voice_agent_session())

Casos de uso enterprise

Contact center com IA

Substitui URA (DTMF) por agente de voz natural. Integra com Foundry Agent Service para acesso ao histórico do cliente e base de conhecimento:

• Usuário liga → Voice Live atende instantaneamente
• Agente consulta CRM via function calling (tool customizada)
• Responde com voz em português, detecta frustração no tom
• Transfere para humano quando necessário (com handoff de contexto)

Assistente de campo

Técnico de manutenção usa fone de ouvido bluetooth no campo:

• "Qual o torque de aperto do parafuso M12 deste equipamento?"
• Agente busca no manual (file_search) e responde por voz
• Mãos livres, sem olhar para tela

Vozes disponíveis