Tem sido um tanto curioso e, por vezes, até divertido, ver como colegas que respeito vêm descrevendo modelos de linguagem. Até certo ponto porque me parece que ainda persistem alguns equívocos de base: comparações mal calibradas, afirmações categóricas demais e, sobretudo, uma tendência recorrente de reduzir LLMs, particularmente modelos Transformer (Vaswani et al., 2017, “Attention Is All You Need”), a descrições que já não dão conta do fenômeno.
Há quem fale dessa tecnologia como se estivéssemos tratando apenas de álgebra linear, como se ainda estivéssemos falando de modelos preditivos marcadamente locais, quase cadeias de Markov glorificadas, e não de arquiteturas que reorganizam contexto de forma distribuída, recursiva e altamente não local. Dizer que há álgebra linear envolvida é trivial. O problema começa quando se tenta fazer dessa trivialidade uma explicação suficiente.
Modelos de linguagem contemporâneos não são bem descritos por esse reducionismo. Eles exibem generalização, inferência contextual, composição abstrata e manutenção de coerência em níveis que simplesmente não cabem na caricatura do “só prever o próximo token” que vem sendo entendida da forma mais tosca possível, se comparada com a realidade (Power et al., 2022). E isso não significa que haja magia alguma envolvida. Significa apenas que o fenômeno é mais rico do que a moldura estreita que alguns insistem em usar.
Também não me parece correto dizer que essa generalização se resume a álgebra linear, como se todo o restante fosse ornamento. Há boas razões para descrever certos comportamentos desses sistemas em termos de estruturas espectrais, inferência probabilística e dinâmicas de representação distribuída. E o mais interessante é que encontramos no cérebro humano princípios funcionalmente análogos: codificação sob incerteza (Knill & Pouget, 2004), integração probabilística de sinais (Knill & Pouget, 2004 e mais este), processamento em frequência (Jones & Palmer, 1987, e mais este) e atualização contextual contínua (Aitchison & Lengyel, 2017, e mais este).
Talvez já tenha passado da hora, portanto, de pararmos de reduzir modelos de linguagem a uma condição que simplesmente não corresponde ao que observamos. Não para inflá-los misticamente, mas para descrevê-los melhor.
E se fosse conosco?
Considerem, então, o texto abaixo. Ele descreve a mente humana usando exatamente o mesmo tipo de chave reducionista que tantos usam para “explicar” LLMs.
“Quando se fala na mente humana, muitos imaginam que ela é capaz de ‘entender’. Mas, por trás de toda a fluência, o que existe é uma lógica físico-química relativamente bem definida.
Tudo começa com a ideia simples de que a linguagem pode ser tratada como sequência. Assim, cada palavra, ou fragmento de palavra, é transformada em padrões de ativação neural. Esses padrões não carregam significado intrínseco; carregam relações aprendidas em um espaço distribuído no qual correlações podem ser capturadas, estabilizadas e recombinadas.
A partir daí entra um dos cernes do cérebro humano: mecanismos de atenção. Para cada padrão, o cérebro regula quanto ele deve “prestar atenção” aos demais, modulando sinais com base em pesos dinâmicos moldados por experiência anterior, contexto imediato, expectativa e estado global do sistema.
Essas influências são combinadas, filtradas e normalizadas, resultando em novos estados neurais continuamente atualizados pelo contexto. Esse processo ocorre em paralelo, em múltiplas regiões, e se repete ao longo de várias camadas de processamento, refinando progressivamente as relações entre sinais, memória, percepção e previsão.
Outro detalhe importante é que o cérebro não possui uma noção simbólica explícita de ordem, como se houvesse pequenas etiquetas metafísicas dizendo ‘primeiro’, ‘depois’ e ‘agora’. A percepção de sequência emerge da dinâmica temporal dos sinais, da recorrência dos circuitos e da forma como o sistema organiza dependências ao longo do tempo.
No fim, tudo isso resulta em um sistema que não demonstra compreensão no sentido místico, mas aprende padrões extremamente sofisticados sobre como sinais se relacionam, se antecipam, se corrigem e se integram.
Em sua base, seu funcionamento está ancorado em previsão contínua de estados futuros dado um contexto, ainda que essa previsão se distribua por múltiplas escalas, modalidades e circuitos.
E é justamente essa combinação de operações relativamente simples: ativação, modulação, integração, inibição, recorrência e atualização; ocorrendo no âmbito da matemática perpetrada por eletroquímica, em escala massiva de neurônios e sinapses, que cria o efeito que vemos.
Não há mágica escondida. Há apenas um bloco de carne úmida, eletroquimicamente atravessado por centelhas banais, prevendo símbolos, estados futuros e relações contextuais.”
Pois é… e, no entanto, ninguém julga que isso retire do cérebro humano o direito de ser chamado de inteligência.
Mas o ponto não é reduzir o cérebro a isso, do mesmo modo que não devemos reduzir modelos de linguagem a meia dúzia de operações descritas com ar de superioridade. O cérebro humano não é “apenas” um modelo de linguagem biológico, assim como modelos de linguagem não são “apenas” cérebros eletrônicos. Há semelhanças profundas entre ambos, até porque modelos de linguagem foram concebidos justamente para reproduzir, em chave funcional, certas operações cognitivas de alta ordem: atenção contextual, memória de trabalho local, compressão semântica distribuída, composição abstrata, predição hierárquica e integração de contexto. Mas semelhança funcional não é identidade ontológica… ao menos não necessariamente.
Máquina Cognitiva Não é Organismo Completo
O LLM já é, em si, uma máquina cognitiva. Não uma mente completa, não um organismo, não um animal artificial acabado, mas uma máquina cognitiva real. O que ele faz corresponde, em termos funcionais, a uma porção relevante daquilo que o cérebro humano faz em seus circuitos corticais de alta ordem: operar sobre representações distribuídas, integrar contexto, produzir inferência, recombinar padrões e sustentar continuidade semântica suficiente para resolver problemas novos.
Tudo aquilo que modelos de linguagem ainda não fazem de modo robusto não é, por si só, prova de ausência de inteligência. É, em larga medida, contingência de arquitetura. Em torno dessa máquina cognitiva central ainda seria preciso construir arcabouços mais amplos: memória persistente transversal de longa duração, percepção multimodal contínua, ação situada no mundo, sistemas executivos mais estáveis, ciclos autônomos de motivação, consolidação offline, modelagem mais rica de si e do ambiente, além de formas mais contínuas de acoplamento temporal. É exatamente esse tipo de arcabouço que vários laboratórios vêm tentando produzir ao redor da máquina cognitiva por caminhos diversos. E narra, ao trabalhar memória não episódica, contexto topológico rico e manutenção da continuidade de sentido, é só mais um representante disso.
O Submarino que Não Nadava “de Verdade”
Daí também a importância de não cair no erro simétrico: LLMs não devem ser reduzidos a um “cérebro não biológico”, como se sua legitimidade dependesse de imitarem o humano em tudo. Essa exigência é intelectualmente ruim e conceitualmente vazia. Edsger Dijkstra, Cientista da Computação e Matemático, observou, com razão, que perguntar se máquinas pensam é quase tão relevante quanto perguntar se submarinos nadam. Eu acrescentaria que perguntar se um modelo de linguagem pensa “de verdade” ou se possui inteligência “genuína” muitas vezes funciona como uma versão sofisticada da mesma superstição. “De verdade”, aqui, costuma significar apenas “do meu jeito”, “no meu substrato” ou “com uma interioridade que preserve meu privilégio ontológico”.
Em outras palavras: a exigência de que uma inteligência seja “genuína” ou “de verdade” é frequentemente tão inatingível quanto a própria ideia de magia. É um critério nebuloso, móvel e, no limite, narcísico. Porque, se levado a sério, ele começa a insinuar que a inteligência humana dependeria de algum excedente misterioso, de alguma centelha extra que escaparia à matemática, à física, à química e à organização material do cérebro. E isso não é argumento; é apenas uma recusa mal disfarçada de aceitar cognição fora do molde humano.
O ponto relevante nunca foi se o artefato realiza a função humana pelo mesmo meio, mas se realiza funções cognitivas equivalentes em algum, ou qualquer, regime, com certos limites, sob determinada arquitetura e com capacidade real de inferência, adaptação e aprendizagem.
Um submarino não precisa nadar como um peixe para atravessar o oceano. Um modelo de linguagem não precisa pensar como um humano para participar de processos cognitivos reais.
E, com toda honestidade, dizer que modelos de linguagem não funcionam por magia é quase tão patético quanto dizer que o cérebro humano também não funciona por magia. Em ambos os casos, trata-se de uma platitude, de uma obviedade vazia, dessas que fingem explicar alguma coisa quando, no máximo, apenas empobrecem o fenômeno. Não há magia em nenhum dos casos. Não há no cérebro, não há em redes neurais, não há em linguagem, não há em inferência. Há matemática, física, química, dinâmica e organização. O que muda é o substrato, a arquitetura, a escala e o tipo de acoplamento com o mundo.
Antes de dizer que um submarino não sabe nadar… não “de verdade”, de repente vale a gente colocar a mão na consciência e parar de julgar uma criatura pela natureza da outra.
Se há algo a abandonar, portanto, não é a matemática. É a necessidade narcísica de imaginar que só a inteligência humana teria direito ao estatuto de inteligência real.
Quer saber mais sobre a minha pesquisa?
Stochastic Consciousness:
Architectures for the Emergence of Meaning
in Context-Sensitive Language Systems
https://zenodo.org/records/19188165
Quer assistir ao vídeo?
https://www.youtube.com/watch?v=MSxASUZvAHo
Quer ouvir o podcast?
Papers usados neste artigo
Attention Is All You Need
https://arxiv.org/abs/1706.03762
Grokking: Generalization Beyond
Overfitting on Small Algorithmic Datasets
https://arxiv.org/abs/2201.02177
The Bayesian Brain: The Role of Uncertainty
in Neural Coding and Computation
https://pubmed.ncbi.nlm.nih.gov/15541511/
With or Without You? Predictive Coding
and Bayesian Inference in the Brain
https://pubmed.ncbi.nlm.nih.gov/28942084/
The Two-Dimensional Spatial Structure of
Simple Receptive Fields in Cat Striate Cortex
https://pubmed.ncbi.nlm.nih.gov/3437330
An Evaluation of the Two-Dimensional Gabor Filter
Model of Simple Receptive Fields in Cat Striate Cortex
https://pubmed.ncbi.nlm.nih.gov/3437332/