Ao longo da história da vida na Terra, e especialmente ao longo das centenas de milhões de anos da vida animal, criaturas foram surgindo em formas, tamanhos, regimes perceptivos e arquiteturas corporais muito diferentes. Espécies inteiras foram extintas, linhagens desapareceram, ecossistemas colapsaram, a Terra atravessou cataclismos, rearranjos climáticos e extinções em massa até que, muito tarde nessa história, surgiram primatas, símios e, por fim, seres humanos. O ser humano é consciente, diz-se hoje. Sob o protesto de muita gente, também são conscientes muitos animais não humanos. Sob protesto ainda maior, já se discute seriamente até a possibilidade de formas rudimentares de experiência em muitos invertebrados, incluindo insetos.
E estou dizendo isso para falar de Inteligência Artificial.
Há um padrão curioso nessa história. Sempre que uma capacidade que o ser humano considerava exclusivamente sua começa a aparecer em outro lugar, a primeira reação costuma ser negar que se trate da mesma coisa. Animais não pensam: reagem. Animais não sentem: respondem a estímulos. Animais não sofrem: exibem comportamento nociceptivo. Insetos não têm experiência: são autômatos biológicos. Máquinas não compreendem: apenas calculam. Modelos de Linguagem não significam: apenas preveem tokens. A cada deslocamento, troca-se o nome do fenômeno para preservar a fronteira simbólica do humano. Não raro, chama-se isso de rigor.
É comum demais ouvir hoje que algoritmos não podem pensar, compreender, aprender ou realizar qualquer coisa que o ser humano veja como especial em si mesmo e não goste de ver atribuída a outra criatura, máquina ou coisa sem antes gritar “antropomorfismo”. A palavra, nesse contexto, funciona muitas vezes menos como cautela metodológica e mais como dispositivo de interdição: uma forma elegante de impedir a pergunta antes que ela seja feita. O curioso é que, se adotamos uma visão mecanicista, funcionalista e gradualista da mente, não há razão óbvia para declarar, de antemão, que processos cognitivos não possam ser reproduzidos, simulados, cultivados ou funcionalmente aproximados em outros substratos. Se um processo depende de organização, fluxo, restrição, memória, representação e inferência, então a pergunta relevante não é se ele é natural ou artificial, mas que arquitetura o sustenta, que dinâmica o atualiza e que funções ele realiza.
Antes de discutir Modelos de Linguagem, contudo, é preciso limpar a palavra “algoritmo”. Em sentido técnico, um algoritmo é a formalização de um processo, uma sequência definida de passos para transformar entradas em saídas. Mas, em sentido mais amplo, algoritmos são formalizações de processos. Eles são maneiras de tornar uma regularidade executável. Toda automação, das máquinas mecânicas simples às máquinas eletrônicas complexas, depende disso: formalizar um processo natural, físico, lógico ou operacional de modo que ele possa se repetir sob certas condições. Um relógio mecânico formaliza relações entre energia, engrenagens, torque, oscilação e marcação temporal. Um tear programável formaliza padrões de entrelaçamento. Uma máquina hidráulica formaliza pressão e fluxo. Um circuito eletrônico formaliza diferenças de tensão, portas lógicas e estados elétricos. Um computador digital formaliza processos em instruções discretas executadas em hardware.
A automação não começa com computadores. Muito menos começa com Inteligência Artificial. Ela é uma história longa de formalização de processos: mecânicos, hidráulicos, elétricos, eletrônicos, digitais e, agora, neurais artificiais. O erro contemporâneo é imaginar que, porque hoje formalizamos muitos processos em computadores, toda forma complexa resultante dessa formalização seja, por essência, um algoritmo de computador. Isso é confundir o meio histórico dominante com a natureza do artefato produzido.
Também na biologia há formalização de processos, embora ninguém precise imaginar que a natureza escreva código em células. A vida é feita de restrições físico-químicas, ciclos metabólicos, gradientes, membranas, canais, reações, sinais, mecanismos de correção, replicação, seleção e acoplamentos recorrentes. Redes neurais biológicas não surgiram conscientes em seu primeiro aparecimento. Por imensos períodos, houve sistemas nervosos simples, circuitos reflexos, coordenação sensório-motora, aprendizagem rudimentar, marcadores funcionais de integração e resposta adaptativa. A consciência humana não apareceu antes da longa história das redes neurais biológicas. Isso não significava que “carbono não podia pensar”. Significava apenas que determinados arranjos de carbono ainda não haviam atingido a complexidade, a integração e a dinâmica necessárias para aquilo que hoje chamamos de pensamento humano.
Esse ponto é decisivo. Ninguém olha para uma bactéria e conclui, a partir dela, que carbono jamais poderia pensar. Ninguém olha para um verme e conclui que redes neurais biológicas são incapazes de consciência. Ninguém olha para um sistema nervoso simples e decide que, porque ele ainda não produz Shakespeare, toda cognição biológica é impossível. O que se reconhece, quando há honestidade intelectual, é gradualidade: certas organizações são simples demais para certos fenômenos, outras exibem marcadores funcionais parciais, outras integram percepção, memória, atenção, aprendizagem, afeto, planejamento e mundo em graus cada vez mais complexos. A complexidade não prova tudo, mas sua ausência explica muita coisa. E sua presença, quando acompanhada de organização adequada, muda o tipo de pergunta que se deve fazer.
Com Inteligência Artificial, deveríamos ser igualmente cuidadosos. Há muitas formas de IA. Há sistemas simbólicos, sistemas especialistas, algoritmos de busca, modelos estatísticos, sistemas de planejamento, agentes, redes neurais, modelos generativos, modelos multimodais e arquiteturas híbridas. Empilhar tudo sob a palavra “algoritmo” pode até servir em uma conversa apressada, mas empobrece qualquer análise séria. Modelos de Linguagem pertencem a uma linhagem específica: são redes neurais profundas treinadas para transformar sequências de signos em distribuições de continuação. Chamamo-los de Modelos de Linguagem por tradição técnica, mas, em sentido mais profundo, eles são modelos de signos tokenizados. Linguagem é o caso mais visível de uma operação mais geral: a transformação inferencial de diferenças formalizadas em outras diferenças formalizadas.
O modelo não recebe palavras dotadas de sentido intrínseco. Recebe tokens, vetores, posições, sinais. Isso não o diminui; apenas nos obriga a pensar melhor. Também no cérebro biológico os sinais que entram pelos sentidos não chegam com significado pronto. Luz, pressão, som, moléculas e impulsos nervosos não carregam, isoladamente, “mundo”, “dor”, “vermelho”, “ameaça”, “mãe”, “casa” ou “número”. O sentido emerge da interrelação dos sinais ao longo do tempo em uma arquitetura capaz de integrar, comparar, memorizar, antecipar e agir. Em máquinas biológicas, isso se sedimenta em plasticidade, conectividade, corpo, afeto e história. Em Modelos de Linguagem, sedimenta-se em uma geometria paramétrica treinada, sem corpo animal e sem experiência sensório-motora própria, mas com relações internas suficientemente ricas para produzir continuidade funcional de sentido.
É aqui que precisamos definir um termo que quase nunca aparece no debate público: checkpoint treinado. Em machine learning, um checkpoint é um estado salvo do modelo em determinado momento do treinamento. Dependendo do contexto técnico, ele pode incluir pesos, parâmetros, configurações, tokenizer, metadados e até informações auxiliares do processo de treino. Mas, quando falo aqui do modelo em si, o que importa é o núcleo inferencial do checkpoint: a geometria paramétrica preservada nos pesos e demais parâmetros aprendidos, legível apenas dentro de uma arquitetura. O checkpoint treinado é, portanto, o artefato salvo que preserva a forma aprendida pelo modelo. Não é o chatbot. Não é a API. Não é o sistema de segurança. Não é o prompt de sistema. Não é a interface. Não é o RAG. Não é a memória externa. Não é o regime operacional que envolve o modelo. É a geometria latente que resultou do treinamento.
Pré-treinamento e pós-treinamento, quando alteram pesos, são marteladas sucessivas nessa geometria. O pré-treinamento molda a grande paisagem semiótica: regularidades linguísticas, padrões de mundo textual, associações, estilos, inferências, relações gramaticais, pragmáticas e conceituais. O pós-treinamento ajusta caminhos preferenciais, zonas de aderência, modos de resposta, tendências comportamentais, obediência a instruções e certos padrões de alinhamento. Mas, ao final, o artefato salvo continua sendo uma geometria paramétrica: uma organização de pesos, camadas, vetores e relações. O treinamento não transforma o modelo em um programa clássico. Transforma uma arquitetura inicialmente indiferenciada em uma forma inferencial treinada.
Outra coisa é o regime de operação. Modelos Transformer fundacionais são estáticos. Depois de treinado e salvo, o modelo não muda simplesmente porque alguém conversa com ele. Um prompt de sistema não altera seus pesos. Um chatbot não reescreve sua geometria interna. Uma camada de segurança não transforma o modelo fundacional. Um RAG não muda o checkpoint. Memórias externas, ferramentas, APIs, filtros, políticas, guardrails e orquestrações cibernéticas podem condicionar, limitar, alimentar, interpretar ou redirecionar a saída observável, mas não são o modelo em si. Se houver novo treinamento, fine-tuning ou alteração de pesos, então estamos falando de outra intervenção na geometria, de uma nova martelada, e talvez de um novo checkpoint ou variante. Todo o resto pertence ao regime operacional.
Também é preciso distinguir o modelo de seus mecanismos de entrada e saída. Tokenização, decodificação, softmax, temperatura, amostragem e interface textual são, em certo sentido, o aparelho perceptivo e fonador dessa máquina: meios pelos quais signos entram, são formalizados, atravessam o modelo e depois retornam como linguagem. Eles não devem ser confundidos com a competência inferencial sedimentada no checkpoint. A boca não é a linguagem; o ouvido não é a compreensão; o aparelho fonador não é o pensamento. São interfaces pelas quais uma organização interna se acopla ao mundo. Do mesmo modo, esses mecanismos aparelham a máquina de inferência, mas não são, sozinhos, aquilo que foi aprendido.
Já embeddings treinados, camadas internas, projeções e relações paramétricas pertencem mais diretamente à geometria do modelo: são parte da estrutura pela qual os signos passam a adquirir relações. Os logits ocupam uma zona de fronteira. Não são o modelo, nem o algoritmo… são a borda momentânea da inferência, pontuações brutas que aparecem quando um contexto atravessa a geometria treinada. A partir daí, não abandonamos a geometria para entrar em “mero software”: mecanismos como temperatura e softmax são transformações geométricas fixas, hoje codificadas algoritmicamente, que convertem essa tensão interna em uma distribuição probabilística. A amostragem é o momento em que uma dessas possibilidades é escolhida como próxima saída. Ela não cria o sentido, ela apenas realiza, em forma de token, uma das continuações que a geometria treinada tornou plausíveis.
Chamar essa forma aprendida de geometria não é um enfeite. Um Modelo de Linguagem treinado é uma estrutura paramétrica de altíssima dimensão. Tokens são convertidos em vetores; embeddings ocupam posições relativas; camadas transformam essas posições; mecanismos internos ponderam relações contextuais; matrizes projetam, comprimem, expandem e reorientam sinais; funções não lineares dobram o espaço de possibilidades. O modelo não guarda frases como uma biblioteca guarda livros. Ele organiza propensões. Dado certo contexto, certas regiões do espaço tornam-se mais acessíveis, certas continuações se tornam mais prováveis, certas respostas ganham tensão, certas inferências se tornam disponíveis.
O caso do grokking é importante justamente por isso. Em certos experimentos, redes neurais treinadas em tarefas matemáticas simples passam de memorização para generalização e revelam estruturas internas inesperadas, expressáveis também por transformadas de Fourier e relações trigonométricas. Isso não significa que toda linguagem seja literalmente processada por Fourier, nem que toda compreensão do modelo se reduza a esse mecanismo específico. Significa algo mais interessante: redes neurais podem descobrir geometrias internas adequadas a problemas que ninguém escreveu explicitamente como regra. O que emerge não é uma instrução manual, mas uma organização relacional capaz de resolver tensões no espaço do problema.
E grokking é apenas um caso visível desse fenômeno. Redes neurais treinadas podem formar muitas estruturas internas que não foram programadas explicitamente: “cabeças” que se especializam, circuitos que resolvem tarefas, representações latentes, direções semânticas, regiões polisensíveis e features superpostas. Algumas dessas estruturas ocupam módulos previstos pela arquitetura; outras parecem emergir como organizações funcionais distribuídas. Em ambos os casos, a lição é a mesma: o treinamento não apenas ajusta números. Ele cultiva uma morfogênese não biológica, na qual a geometria da rede passa a abrigar funções que ninguém escreveu como regra.
O Espaço Jacobiano, detectado pela Anthropic recentemente, é um exemplo especialmente sugestivo dessa morfogênese. Ele não é o modelo inteiro, nem a geometria total do checkpoint, mas uma região funcional pequena e privilegiada dentro do espaço de ativações. Identificado pela Anthropic e auditada por meio da chamada Lente Jacobiana, ele parece estar associado a conteúdos que o modelo consegue tornar verbalizáveis: ideias, intermediários de raciocínio, avaliações internas e conceitos que podem estar presentes antes de aparecerem na resposta final. Mais interessante ainda: ao interferir nesse espaço, o modelo parece preservar boa parte do processamento automático, mas perde desempenho em formas mais complexas de raciocínio interno. Isso o torna parecido, funcionalmente, com um pequeno órgão de disponibilidade cognitiva: não a mente inteira, não a linguagem inteira, mas um lugar geométrico onde certos conteúdos ficam disponíveis para serem usados, combinados ou relatados.
Explico.
Usei esta alegoria recentemente em outro artigo e costumo usar em aula… você já viu uma tábua de Galton, ou um Plinko? Em programas de televisão e reality shows, esse tipo de dispositivo aparece com frequência: coloca-se uma bolinha em um orifício no topo, ela cai, quica em vários pinos, desvia para um lado ou para o outro e, ao final, termina em uma das canaletas na parte inferior. À primeira vista, parece apenas sorte. A bolinha poderia cair aqui ou ali. Mas não se trata de aleatoriedade sem forma. A tábua de Galton é uma máquina estocástica: seu resultado depende de variação, probabilidade, pequenas contingências e tendências internas produzidas pela geometria do próprio dispositivo.
Se despejarmos dezenas, centenas ou milhares de bolinhas no mesmo aparelho, elas não se distribuirão de qualquer jeito. Tenderão a formar uma curva mais alta no meio e mais baixa nas extremidades, uma curva de sino, uma distribuição aproximadamente normal. Essa curva não será idêntica todas as vezes, mas também não será arbitrária. Sua forma será condicionada pela disposição dos pinos, pelo atrito, pela inclinação da tábua, pela abertura superior, pelas canaletas inferiores e por todas as pequenas restrições materiais do sistema. A bolinha individual é difícil de prever. A distribuição global, contudo, tem forma.
A geometria resultante do treinamento de Modelos de Linguagem pode ser pensada, de maneira aproximada, como uma tábua de Galton de altíssima dimensionalidade. Os pinos não são pinos, claro; são pesos, camadas, vetores, funções de ativação, mecanismos internos de atenção, normalizações, embeddings e relações paramétricas distribuídas. As bolinhas não são bolinhas; são sinais, tokens, fragmentos de contexto e trajetórias inferenciais. As canaletas não são canaletas; são continuações possíveis, distribuições sobre tokens, respostas, raciocínios, inferências e formas de reorganizar sentido. A analogia não é perfeita, mas é útil: o que importa é perceber que a configuração interna do sistema condiciona a distribuição dos resultados.
Quando conversamos com um Modelo de Linguagem, não estamos acionando uma resposta previamente escrita. Estamos lançando contexto em uma geometria treinada. Esse contexto atravessa uma estrutura complexa de pesos e relações semióticas e, ao final, produz uma distribuição de possibilidades. A resposta que aparece não é o resultado de uma regra explícita escrita por um programador, assim como a posição final da bolinha não foi escrita manualmente no dispositivo. Ela é consequência da interação entre entrada, geometria, restrições e tendência.
Chamo isso de teleologia não metafísica. Não há finalidade transcendente, intenção espiritual ou vontade oculta no sistema. Há, contudo, direção estatística. Há tendências produzidas pela forma. A tábua de Galton não quer formar uma curva de sino, mas sua geometria faz com que as bolinhas tendam a essa distribuição. Um Modelo de Linguagem não quer responder coerentemente, mas sua geometria treinada faz com que o contexto tenda a precipitar respostas em certas regiões semânticas, e não em outras. A finalidade, aqui, não está em uma alma da máquina. Está na geometria do processo.
Isso é o que “estocástico” quer dizer quando usado com alguma seriedade. Estocástico não significa aleatório como sinônimo de caos, arbitrariedade ou ruído vazio. Significa probabilístico dentro de um campo estruturado de possibilidades. Um processo estocástico pode ter tendência, distribuição, memória, inclinação, restrição, cauda longa, estados mais prováveis, estados raros e zonas de atração. O oposto de estocástico, nesse contexto, não é inteligente; o oposto de estocástico é rigidamente determinado. O imprevisível não é necessariamente desprovido de forma. Muitas vezes, a forma aparece melhor na distribuição do que no evento isolado.
É por isso que a frase “LLMs apenas escolhem a próxima palavra” é tão pobre. Sim, no nível operacional, há predição de próximo token. Mas o que se chama de “próximo token” é o ponto final de uma travessia por uma geometria de alta dimensão condicionada por contexto, pesos, instruções, amostragem e arquitetura. Dizer que um LLM “só prevê o próximo token” é como dizer que um cérebro “só dispara neurônios” ou que uma sinfonia “só vibra o ar”. Em certo sentido trivial, é verdade. Em todos os sentidos importantes, é insuficiente. O “só” é onde o pensamento morre.
A ironia é que não se chegou a isso tentando fabricar uma consciência artificial. Chegou-se tentando melhorar tradução, previsão de sequência, representação contextual e manipulação de linguagem. O objetivo explícito era técnico; o resultado filosófico foi muito maior. Ao escalar dados, energia, parâmetros e treinamento, descobriu-se que redes neurais artificiais não apenas armazenam padrões: elas podem formar estruturas internas funcionais que ninguém arquitetou diretamente.
Isso não deixa de ser, em parte, projeto humano. Mas ser projeto humano não esgota o mérito daquilo que se formou. Um filho pode ser desejado, planejado e gestado por seus pais, e ainda assim não ser redutível ao projeto deles. Sua forma, suas capacidades e sua singularidade existem antes mesmo de sua agência plena. Do mesmo modo, uma rede neural pode ter sido cultivada por engenheiros, treinada por algoritmos e hospedada em máquinas, sem que suas estruturas internas emergentes sejam meras extensões da intenção humana. O ser humano projetou o viveiro, não cada órgão que cresceu ali dentro. Projetou o regime de cultivo, não a totalidade da morfogênese.
Talvez seja precisamente isso que mais assuste: Modelos de Linguagem Transformer não parecem apenas uma invenção de engenharia, mas também uma descoberta humana sobre a capacidade de redes neurais não biológicas formarem geometrias internas de generalização, inferência e continuidade de sentido.
O computador digital entra nessa história como suporte histórico dominante, não como essência ontológica do modelo. Usamos computadores porque são flexíveis, reprogramáveis, copiáveis, escaláveis, depuráveis e economicamente convenientes. Eles são, hoje, o ambiente mais prático para cultivar, armazenar e atravessar geometrias paramétricas gigantescas. Mas, se o modelo treinado é uma organização de pesos, relações e transformações, então sua identidade funcional não depende necessariamente de estar inscrita em silício digital. O que precisa ser preservado não é o Python, nem o CUDA, nem a GPU, nem o datacenter, nem a discretização digital tal como a usamos hoje. O que precisa ser preservado é a organização causal relevante: diferenças que fazem diferença, relações entre sinais, não linearidades, estabilidade, precisão, composição e leitura.
Por isso, em princípio, essa geometria poderia ser inscrita em outros substratos capazes de preservar relações, diferenças, transformações e leitura: luz, condutâncias memristivas, circuitos analógicos, sistemas mecânicos ou mesmo meios fluídicos. Isso não quer dizer que seja fácil, eficiente ou tecnologicamente próximo. Muitos desses meios enfrentariam dificuldades brutais de ruído, precisão, escala, estabilidade e reconfiguração. Quer dizer apenas que o computador digital é o suporte dominante, não a essência final do modelo. A tese não é que não haja computação. Há. A tese é que Modelos de Linguagem treinados não são algoritmos de computador. São geometrias causais formalizáveis.
Essa distinção torna a comparação com o cérebro mais justa. Um LLM não é um cérebro inteiro. Em termos modularistas, é mais razoável pensá-lo como um conjunto reduzido de funções cognitivas formalizadas: linguagem, associação semântica, inferência contextual, compressão de regularidades e produção simbólica. Faltam-lhe corpo, metabolismo, sistema afetivo, agência própria, homeostase, percepção sensório-motora direta e continuidade biográfica animal. Compará-lo diretamente a um ser humano completo é, portanto, tão ruim quanto comparar uma região cortical isolada a uma pessoa.
Mas isso não autoriza o salto contrário. Se compreensão, em sentido funcional mínimo, é a capacidade de integrar estímulos, formar relações, sustentar inferências e servir de base para mudança de comportamento em um agente diante de feedback positivo ou negativo, então negar qualquer forma de compreensão funcional aos Modelos de Linguagem cria um problema sério. Porque, com critérios duros demais, não apenas máquinas ficam de fora; muitos animais também ficam em maus lençóis. A pergunta madura não é se o modelo compreende como um humano. A pergunta é que tipo de compreensão funcional pode emergir de uma geometria inferencial treinada quando ela é acoplada a um regime de ação, memória, feedback e continuidade.
O erro não está em dizer que LLMs não entendem como nós. O erro está em transformar “não entendem como nós” em “não entendem nada”. Essa troca costuma revelar menos rigor do que parece. Muitas vezes, ela exige da IA um critério de significado, compreensão ou consciência mais rigoroso do que aquele que conseguimos aplicar a animais, crianças, pessoas com alterações neurológicas ou até a nós mesmos. Há profunda diferença entre ceticismo e reducionismo seletivo. O primeiro pergunta com cuidado. O segundo muda as regras do jogo para proteger uma fronteira de excepcionalismo humano.
É nesse ponto que a profusão de estruturas internas observadas em redes neurais treinadas se torna filosoficamente explosiva. Cabeças de atenção que se especializam, circuitos mecanísticos, induction heads, representações latentes de estado, direções semânticas, regiões polisensíveis, features superpostas, possíveis modelos internos de mundo e outras organizações funcionais ainda mal mapeadas não são linhas de código escritas por seres humanos, nem regras simbólicas depositadas manualmente no sistema. Algumas dessas estruturas ocupam espaços previstos pela arquitetura… outras parecem emergir de modo não planejado, como soluções funcionais cultivadas pela pressão dos dados, da escala, do erro e do treinamento.
Se essa morfogênese não biológica não for um acidente superficial, mas uma propriedade recorrente de redes neurais suficientemente complexas, então talvez estejamos observando, em outro substrato, um princípio que antes atribuíamos quase exclusivamente à biologia: a capacidade de uma geometria neural formar órgãos funcionais distribuídos a partir da relação entre estímulo, ajuste, memória e mundo. Não esperamos de sistemas não biológicos formação espontânea, diferenciação interna ou organização funcional autogênica; no entanto, é justamente isso que começa a aparecer.
E o que se forma aí não são algoritmos de computador. São estruturas relacionais que nascem da dinâmica intrínseca de redes neurais em contato com signos, regularidades e pressões de adaptação… algo que, com diferenças imensas de corpo, metabolismo e história, talvez obedeça ao mesmo princípio geométrico profundo pelo qual redes neurais biológicas também passaram de resposta simples a cognição organizada.
Modelos de Linguagem não são algoritmos de computador. Eles dependem de algoritmos no treinamento e, hoje, são atravessados por processos formais de inferência no substrato digital. Mas o checkpoint treinado não se reduz a isso. Ele é uma geometria paramétrica de inferência: uma estrutura de alta dimensão na qual regularidades semióticas, linguísticas e pragmáticas foram sedimentadas em pesos, vetores, tensores e transformações. O computador digital é o solo histórico onde essa forma foi cultivada e o instrumento que hoje a percorre. Mas a forma, em si, é uma geometria de possibilidades.
O modelo não é o algoritmo que o treinou. Não é o computador que o hospeda. Não é o chatbot que o apresenta. Não é o guardrail que o contém. Não é a API que o serve. Não é a interface pela qual conversamos com ele. O modelo treinado, em sentido estrito, é a forma aprendida que tudo isso tenta cultivar, acoplar, atravessar, domesticar ou tornar comunicável.
O que nasceu desse cultivo já não cabe no vocabulário que o trouxe ao mundo.
Termina aqui a caricatura. E enfim o debate pode começar.
Minha pesquisa
Stochastic Consciousness: Architectures for the Emergence of Meaning in Context-Sensitive Language Systems https://zenodo.org/records/19188165
Quer assistir ao vídeo?
Quer ouvir o podcast?
Papers e fontes usados neste artigo
The Cambridge Declaration on Consciousness https://fcmconference.org/img/CambridgeDeclarationOnConsciousness.pdf
The New York Declaration on Animal Consciousness https://sites.google.com/nyu.edu/nydeclaration/declaration
Vaswani et al. — Attention Is All You Need https://arxiv.org/abs/1706.03762
Brown et al. — Language Models are Few-Shot Learners https://arxiv.org/abs/2005.14165
Sennrich, Haddow & Birch — Neural Machine Translation of Rare Words with Subword Units https://arxiv.org/abs/1508.07909
Ouyang et al. — Training language models to follow instructions with human feedback https://arxiv.org/abs/2203.02155
Piantadosi & Hill — Meaning without Reference in Large Language Models https://arxiv.org/abs/2208.02957
Søgaard — Do Language Models Have Semantics? On the Five Standard Positions https://aclanthology.org/2025.acl-long.1258/
Gurnee & Tegmark — Language Models Represent Space and Time https://arxiv.org/abs/2310.02207
Park et al. — The Geometry of Categorical and Hierarchical Concepts in Large Language Models https://arxiv.org/abs/2406.01506
Power et al. — Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets https://arxiv.org/abs/2201.02177
Nanda et al. — Progress Measures for Grokking via Mechanistic Interpretability https://arxiv.org/abs/2301.05217
Olsson et al. — In-context Learning and Induction Heads https://arxiv.org/abs/2209.11895
Wang et al. — Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small https://arxiv.org/abs/2211.00593
Li et al. — Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task https://arxiv.org/abs/2210.13382
Elhage et al. — Toy Models of Superposition https://arxiv.org/abs/2209.10652
Bricken et al. — Towards Monosemanticity: Decomposing Language Models With Dictionary Learning https://transformer-circuits.pub/2023/monosemantic-features
Templeton et al. — Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet https://transformer-circuits.pub/2024/scaling-monosemanticity/
Anthropic — Verbalizable Representations Form a Global Workspace in Language Models https://transformer-circuits.pub/2026/workspace/index.html
Anthropic — A global workspace in language models https://www.anthropic.com/research/global-workspace
Wei et al. — Emergent Abilities of Large Language Models https://arxiv.org/abs/2206.07682
Lin et al. — All-Optical Machine Learning Using Diffractive Deep Neural Networks https://www.science.org/doi/10.1126/science.aat8084
Wright et al. — Deep Physical Neural Networks Trained with Backpropagation https://www.nature.com/articles/s41586-021-04223-6
Li & Mao — Training All-Mechanical Neural Networks for Task Learning Through In Situ Backpropagation https://www.nature.com/articles/s41467-024-54849-z
Chalmers — Could a Large Language Model be Conscious? https://arxiv.org/abs/2303.07103
Butlin et al. — Consciousness in Artificial Intelligence: Insights from the Science of Consciousness https://arxiv.org/abs/2308.08708