Estado público e honesto de cada pilar. O que funciona, o que está em construção, o que está em design.
��
Ouvido
✓ v0 live
Captura de microfone via cpal. VAD adaptativo de energia que auto-calibra ao ruído do ambiente. Emite eventos mic-level, mic-vad, mic-state em tempo real pro overlay React. Próximo passo: plugar whisper.cpp pra transcrição local.
stack: cpal · webrtc-vad · whisper.cpp · Piper TTS
��️
Visão
⚙ em design
Screenshot da janela ativa + entendimento via modelo com visão. Resolve "o que é isso?" sem você descrever. Estratégia: usar árvore de acessibilidade quando bastar (Gemma resolve) e cair pra visão multimodal (Claude com imagem) só quando a UI for não-padrão.
stack: win32 screenshot · Gemma 3 27B / Claude Sonnet 4.6 vision
��️
Foco
⚙ em construção
Cursor como contexto: elemento sob o cursor (tipo, propriedades, accessible name), janela ativa, árvore de UI Automation completa. Resolve o "isso aqui" virando referência exata (ref=e42). Esse é o pulo do gato que torna modelo pequeno viável — não precisamos de pixel grounding.
stack: Windows UI Automation API · árvore a11y discreta
✋
Mãos
⚙ T2 web · em design
Duas frentes:
T1 — Desktop: clica, digita, abre apps via OS automation, com gate humano em ação irreversível.
T2 — Web (ativo agora): Playwright MCP com perfil persistente do usuário. Gemma 4B lê a árvore de acessibilidade, escolhe ação por ref, executa. Caso de uso piloto: candidatura a vagas a partir do CV do João. Ver PLANO-MAO-NAVEGADOR.md
stack: Playwright MCP · a11y tree · Gemma → Claude ladder
��
Memória
◯ planejado v3
Padrões de uso, hábitos, decisões anteriores, perfil profissional. Persistente entre sessões. Semente já presente: o VAD auto-calibra ao microfone do usuário e persiste em disco. Vai conectar ao Brain corporativo em ambientes AUMI.
stack: SQLite + Obsidian vault opcional · BGE-M3 embeddings
α
Filosofia
✓ inalterável
Roda local por padrão. Spec antes de código. Gate humano em ação irreversível. AGPL — reciprocidade obrigatória. Allowlist de domínios. Captcha/2FA → pausa pro humano, nunca burla. Sem slop, sem vibe-coding.
enforço: harness Pi · 5 Iron Laws · BMAD-CE