O gargalo quadrático

Desde "Attention is All You Need" em 2017, o Transformer definiu a IA moderna. GPT, Claude, Gemini, LLaMA — todos construídos sobre o mesmo núcleo: deixar cada token atender a cada outro token. O problema: custo O(n²) em comprimento de contexto. Dobrar o contexto quadruplica o custo computacional. Para janelas de 1 milhão de tokens, isso se torna proibitivo em escala.

Em 2026, os State Space Models (SSMs) — particularmente a família Mamba — chegaram à produção em múltiplos labs de IA. Não como substitutos do Transformer, mas como alternativas complementares com custo O(n) — linear com o contexto.

A família Mamba

O Mamba original (Gu & Dao, 2023) introduziu a inovação-chave: SSM seletivo — os parâmetros do modelo dependem da entrada, não são fixos. Isso permite ao modelo decidir o que comprimir e o que manter na "memória de estado", ao invés de acumular tudo como o Transformer faz na KV cache.

O Mamba-3, lançado em março de 2026, adicionou dois avanços: rastreamento de estado com valores complexos (representações mais ricas para classificação de sequências longas) e múltiplos canais de estado em paralelo. Resultado em produção: Mamba-3-Large performa em paridade com Transformers de nível intermediário em benchmarks padrão, rodando 2-3x mais barato em contextos longos.

RWKV — o "shapeshifter"

O RWKV (Receptance Weighted Key Value) toma um caminho diferente: combina treinamento paralelizável do Transformer com inferência sequencial do RNN. O resultado é um modelo com footprint de memória constante independente do comprimento do contexto — ao contrário do Transformer, cuja KV cache cresce linearmente. O RWKV-7 usa matemática de atenção linear que permite treinar como Transformer e inferir como RNN.

Trade-off: para tarefas que exigem recuperação precisa de tokens específicos no contexto longo, o Transformer ainda tem vantagem estrutural. A atenção direta token-a-token que os Transformers fazem é difícil de replicar com estados comprimidos.

A tendência de 2026: híbridos

A conclusão mais clara de 2026 não é que uma arquitetura substitui a outra — é que modelos de produção cada vez mais combinam as duas. Camadas de atenção para recuperação precisa e raciocínio complexo; camadas SSM para compressão eficiente de contexto longo. Essa combinação permite alto desempenho e throughput superior.

O impacto prático mais relevante: modelos híbridos Mamba-Transformer estão habilitando raciocínio sofisticado em dispositivos consumer como smartphones — algo impensável com Transformers puros de mesmo nível de capacidade.

Fontes primárias:
- Algorithmine — Mamba vs RWKV vs Transformers 2026: algorithmine.com
- Callsphere — Mamba-3 produção: callsphere.ai
- My Weird Prompts — AI Architecture Wars: myweirdprompts.com
- Paper original — Mamba: arxiv.org