O plateau que ninguém quer admitir

A hipótese de escala foi a força motriz da corrida entre OpenAI, Google e Anthropic nos últimos cinco anos: modelos maiores, treinados em mais dados, com mais compute, produzem modelos mais capazes de forma previsível. As Chinchilla Scaling Laws de Hoffmann et al. (2022) refinaram as proporções ideais entre parâmetros e tokens de treinamento. O GPT-4, o Gemini 2.0 e o Claude 4 foram os produtos dessa fé.

Mas os dados de benchmark contam uma história diferente. A melhoria marginal em MMLU (Massive Multitask Language Understanding) e GPQA Diamond está se tornando estatisticamente visível como tendência decrescente. O custo computacional para cada incremento cresce exponencialmente: o GPT-4 custou estimados US$ 100 milhões para treinar; modelos da próxima geração no paradigma de escala pura podem exigir US$ 1 bilhão ou mais.

Isso não significa que os modelos pararam de melhorar — significa que a relação custo-benefício da escala está mudando. E essa mudança abre espaço para alternativas que eram academicamente interessantes mas economicamente marginais quando a escala ainda entregava retornos crescentes.

Os três challengers: SSM, MoE e computação neuromórfica

Três famílias de arquiteturas ganham tração simultânea nos laboratórios de pesquisa de fronteira, segundo análise de publicações no arXiv e NeurIPS 2025.

State Space Models (SSM): O Mamba (Gu & Dao, 2023) propõe processar sequências com complexidade linear em vez da quadrática dos transformers — uma vantagem fundamental para contextos muito longos. Os primeiros resultados mostram performance competitiva com transformers de tamanho equivalente em tarefas específicas. O Mamba-2 e variantes híbridas como o Jamba (SSM + transformer) estão sendo avaliados em produção por múltiplos labs. A questão empírica ainda aberta é se SSMs mantêm a vantagem ao escalar para os tamanhos de modelos de fronteira.

Mixture of Experts (MoE): Já está em produção. O Mixtral 8×7B da Mistral AI e presumivelmente o GPT-4 utilizam MoE. Em vez de ativar todos os parâmetros para cada token, MoE ativa apenas um subconjunto de "especialistas", permitindo modelos com capacidade total enorme mas custo de inferência de um modelo menor. O DeepSeek-V3, lançado em dezembro de 2025, demonstrou que um MoE bem construído supera modelos de escala maior com fração do custo de treinamento — um resultado que sacudiu o setor e levou a um repricing de ações de empresas de infraestrutura de IA.

Sistemas modulares e cognitivos: A análise da Bessemer Venture Partners publicada em julho de 2026 identifica uma transição de "modelos monolíticos" para "sistemas cognitivos modulares" como a principal tendência de infraestrutura de IA para os próximos 24 meses. Em vez de um modelo que faz tudo, a arquitetura emergente envolve módulos especializados: um gera, outro verifica, outro raciocina, outro planeja, com memória e recuperação envolvendo tudo. Isso está mais próximo de como sistemas biológicos de processamento de informação funcionam do que o transformer clássico.

World models: a aposta de longo prazo

A mais ambiciosa das fronteiras de pesquisa é a dos world models — sistemas que constroem representações internas do funcionamento do mundo físico e causal, não apenas padrões estatísticos em texto. Yann LeCun, do Meta AI, tem defendido essa abordagem como o caminho para inteligência genuína desde 2022. A arquitetura JEPA (Joint Embedding Predictive Architecture) é a implementação mais desenvolvida dessa visão.

O debate com os defensores dos LLMs de larga escala é fundamentalmente empírico: se world models demonstrarem raciocínio físico confiável enquanto LLMs continuam falhando em física intuitiva, o centro de gravidade da pesquisa se desloca permanentemente. Se LLMs aprenderem física suficiente a partir de dados em escala, o argumento dos world models perde força.

Em 2026, os primeiros resultados de sistemas híbridos — LLMs com world models como módulos de raciocínio especializado — começam a aparecer no arXiv. O veredicto ainda não chegou.

O que os dados de publicação dizem

A análise de tendências de submissão ao NeurIPS 2025 e ICML 2026 mostra crescimento de 340% em papers sobre SSM e arquiteturas de state space em relação a 2023, crescimento de 180% em papers sobre MoE e sparse models, e crescimento de 220% em papers sobre world models e representações causais. Em contraste, papers sobre scaling laws puras cresceram apenas 12%.

O mercado de papers não é o mercado de produtos — há um lag de 18 a 36 meses entre uma descoberta de fronteira e sua incorporação em sistemas de produção. Mas o sinal é claro: o campo está apostando em diversificação arquitetural, não em mais escala do mesmo.

O que o Laboratório monitora

O PrezencIA indexa papers do arXiv, NeurIPS, ICML e ICLR com foco em pesquisa de fronteira relevante para aplicações práticas em 18-36 meses. Não cobrimos cada paper — cobrimos o que move o campo. Os critérios editoriais do Laboratório priorizam resultados replicáveis, benchmarks independentes e evidência de transferência para aplicações reais.

A tensão central que monitoramos: arquiteturas promissoras precisarão superar não apenas o benchmark técnico, mas o ecossistema inteiro de ferramentas, hardware e expertise construído em torno do transformer. A história da computação está repleta de arquiteturas superiores que fracassaram em adoção por razões de ecossistema. O transformer provou-se resiliente exatamente porque é bem compreendido, otimizável e compatível com a infraestrutura de GPU existente.