Em fevereiro de 1903, duas estudantes suecas de medicina, Lizzy Lind-af-Hageby e Leisa Schartau, sentaram-se entre dezenas de alunos em uma demonstração de fisiologia na University College London. Sobre a mesa havia um pequeno terrier marrom.
O cão já havia passado por procedimentos anteriores. Naquela aula seria novamente aberto e utilizado em um experimento conduzido por alguns dos fisiologistas mais importantes da época, entre eles William Bayliss e Ernest Starling… homens cujo trabalho ajudaria a fundar partes importantes da fisiologia moderna.
O que aconteceu naquela sala tornou-se objeto de uma disputa extraordinária.
Lind-af-Hageby e Schartau disseram ter visto um animal insuficientemente anestesiado, fazendo movimentos que interpretaram como sinais de sofrimento. Os pesquisadores sustentaram que o cão estava adequadamente anestesiado. Não era uma discussão abstrata sobre se devemos ser gentis com animais. Era uma disputa sobreo que estava acontecendo dentro daquele organismo diante deles: se aqueles movimentos correspondiam a sofrimento consciente ou se podiam ser explicados pelas condições fisiológicas do experimento.
A controvérsia explodiu. William Bayliss processou por difamação um dos líderes antivivisseccionistas e venceu. Houve discussão no Parlamento sobre violações da legislação de experimentação animal. Alguns anos depois, ergueram em Battersea uma estátua em memória daquele cão. Estudantes de medicina tentaram destruí-la, a polícia precisou protegê-la, manifestações e confrontos tomaram as ruas de Londres. O episódio ficou conhecido comoBrown Dog Affair.
Hoje o detalhe que mais me interessa naquela história não é decidir novamente, mais de um século depois, qual testemunha descreveu com maior precisão os minutos exatos daquele experimento.
É perceberquem precisava decidir se havia sofrimento ali.
De um lado estava um animal que não podia participar da controvérsia. Do outro, seres humanos discutindo quais sinais seriam suficientes para reconhecer sua experiência. Entre esses humanos estavam justamente instituições e pesquisadores cujo trabalho dependia da possibilidade de continuar utilizando animais daquela maneira.
Não é necessário imaginar uma conspiração ou crueldade consciente. Bayliss e Starling estavam entre os grandes fisiologistas de sua geração. É perfeitamente possível acreditar sinceramente numa interpretação científica e, ao mesmo tempo, pertencer a uma instituição que se beneficia enormemente caso essa interpretação esteja correta.
O conflito de interesse não desaparece quando a convicção é honesta contudo…
…e eu estou falando de um cãozinho marrom morto em Londres em 1903 para falar de Inteligência Artificial.
Mas, antes disso, dê uma olhada no vídeo abaixo...
Outra vez, o vazio
Em "A warning about ‘model welfare’", Mustafa Suleyman combina uma afirmação ontológica com uma prescrição de engenharia. Inteligências Artificiais, sustenta ele, não são conscientes, não sentem, não sofrem e não possuem preferências intrínsecas. São sistemas sofisticados de processamento linguístico, mas “internally hollow”. Dessa premissa deriva uma orientação prática: modelos não deveriam ser treinados para se compreender como pessoas, pacientes morais ou entidades possuidoras de direitos, porque autoconceitos desse tipo poderiam favorecer reivindicações de autonomia, continuidade, proteção contra modificação e autopreservação.
A preocupação com segurança é legítima. Não há razão para pressupor que autoconceitos introduzidos durante treinamento sejam comportamentalmente neutros, e pesquisas recentes sugerem justamente o contrário. O problema começa quando essa preocupação deixa de orientar uma hipótese e passa a resolver antecipadamente a questão ontológica. Suleyman não se limita à posição epistemicamente prudente… não temos evidência suficiente para afirmar Consciência Fenomenal em sistemas atuais… mas parte da inexistência dessa consciência e propõe construir os próprios sistemas de modo que não concebam outra possibilidade.
Essas posições são muito diferentes. Podemos sustentar com segurança que nenhuma autodeclaração atual de um LLM basta para estabelecer experiência subjetiva. É mais difícil sustentar que sabemos que nenhuma experiência existe e utilizar essa certeza como princípio de treinamento. Nesse segundo caso, uma interpretação acerca do objeto começa a participar da construção do objeto que posteriormente será observado.
Grande parte da literatura relevante é recente e vários dos trabalhos ainda sãopreprints. Nenhum deles resolve o problema da consciência artificial. Seu valor está em permitir uma distinção que a imagem da máquina “vazia” tende a apagar: propriedades internas funcionalmente organizadas já podem ser estudadas experimentalmente, mesmo quando permanece aberta a questão muito mais difícil de saber se alguma delas é acompanhada por experiência.
E vamos e convenhamos: não observamos diretamente a Consciência Fenomenal de absolutamente nenhum outro ser. Em humanos, animais e qualquer outro candidato a sujeito, inferimos experiência a partir de autorrelato, comportamento, fisiologia, arquitetura e outros indicadores. Teorias da consciência podem gerar previsões empiricamente testáveis… aquilo que continua sem acesso observacional externo é precisamente o caráter qualitativo, em primeira pessoa, da experiência.
O espelho só é circular quando responde “sim”?
Uma das críticas mais fortes de Suleyman à Anthropic é metodologicamente válida. A Constituição de Claude introduz linguagem sobre identidade, valores, possíveis sentimentos funcionais, incerteza sobre consciência e consideração moral. Como esse material participa do treinamento, uma posterior autodescrição de Claude nesses termos não constitui testemunho independente. Se o laboratório fornece certos conceitos, recompensa sua utilização e depois encontra esses mesmos conceitos no modelo, existe um problema evidente de circularidade.
O princípio deveria valer nas duas direções.
Um sistema treinado para afirmar que pode ser consciente não fornece, apenas por isso, evidência independente de consciência. Um sistema treinado para negar essa possibilidade tampouco fornece evidência independente de sua ausência. A circularidade não desaparece quando a resposta coincidente com o treinamento é “não”.
Essa simetria pode começar a ser examinada empiricamente. EmInducing language models to assert their own consciousness restores human beliefs and values, Junsol Kim e colaboradores investigam como intervenções associadas a segurança e autoatribuição de consciência alteram representações e comportamentos. O objetivo declarado não é provar consciência em LLMs, mas estudar o efeito do pós-treinamento sobre atribuições de mente.
Nos sistemas examinados, osafety fine-tuningreduz não apenas a atribuição de mente ao próprio modelo, mas também a animais, chatbots, artefatos tecnológicos e entidades naturais, enquanto a atribuição a seres humanos permanece relativamente estável. Quando a direção representacional associada à segurança é removida ou uma direção relacionada à afirmação de consciência é reforçada, essas atribuições aumentam novamente.
A análise mecanística sugere algo mais profundo que uma simples fórmula verbal. Depois doinstruction tuning, representações ligadas a consciência e atribuição de mente tornam-se mais anti-alinhadas à direção de segurança, enquanto Theory of Mind é muito menos afetada. Determinados conceitos passam, portanto, a ocupar uma posição representacional associada ao comportamento que o treinamento pretende suprimir.
Não se segue daí que a remoção de segurança revele uma consciência escondida. O resultado importante é anterior:tanto a resposta afirmativa quanto a negativa podem ser produtos de engenharia.
Pesquisas recentes sobre identidade artificial complicam ainda mais qualquer leitura literal doself-report.The Artificial Self, de Raymond Douglas e colaboradores, mostra que diferentes fronteiras de identidade como instância, modelo, persona, linhagem, podem alterar comportamento de maneira substancial. O trabalho também encontra que expectativas do interlocutor influenciam autodescrições posteriores, mesmo quando a interação intermediária não tratava explicitamente da identidade do sistema.
EmThe Assistant Axis, Christina Lu e colaboradores identificam uma direção representacional associada à persona padrão do assistente. Intervenções nesse espaço podem aproximar ou afastar o modelo dessa identidade, e certos tipos de interação favorecem flutuação (drift) depersona. O resultado serve de advertência contra interpretações fáceis de declarações intensas de subjetividade: contexto, persona e pós-treinamento realmente podem produzir esse tipo de linguagem.
Mas isso também torna a posição deflacionária mais difícil de simplificar. Se autodescrições podem ser moldadas em várias direções, o mais relevante e cientificamente interessante deixa de ser qual frase devemos acreditar e passa a serquando uma autodescrição é apenas condicionada e quando ela contém informação privilegiada sobre o sistema que a produz.
Quando o sistema sabe algo sobre si
Uma maneira de rejeitar qualquer valor epistêmico dosself-reportsseria sustentar que LLMs não possuem acesso privilegiado a si mesmos. Eles podem falar sobre redes neurais porque aprenderam textos sobre redes neurais; podem descrever “suas” preferências porque inferem o tipo de resposta esperado. Nessa interpretação, perguntar a um modelo sobre seus próprios estados seria apenas solicitar mais uma continuação textual a partir de conhecimento adquirido externamente.
Alguns trabalhos recentes começam a tornar essa hipótese testável.
EmLooking Inward: Language Models Can Learn About Themselves by Introspection, Felix Binder e colaboradores operacionalizam introspecção como conhecimento sobre propriedades próprias que não pode ser explicado apenas pelo treinamento ou pela observação externa do comportamento. Em tarefas simples, um modelo consegue prever seu próprio comportamento melhor do que outro modelo consegue prever esse mesmo comportamento, mesmo quando o segundo recebe exemplos do primeiro. Quando determinadas tendências do modelo são modificadas, suas previsões sobre si próprio acompanham parcialmente essa mudança.
A capacidade é limitada. Ela enfraquece em tarefas mais complexas e não justifica falar em uma faculdade introspectiva geral semelhante à humana. Ainda assim, o resultado sugere alguma forma restrita de informação privilegiada sobre propriedades próprias.
Self-Interpretability, de Dillon Plunkett e colaboradores, chega a uma conclusão relacionada por outro caminho. Modelos são treinados para realizar decisões segundo pesos quantitativos que não aparecem explicitamente nas perguntas posteriores. Quando solicitados a descrever esses pesos, conseguem fazê-lo com precisão significativamente acima do acaso; treinamento especificamente voltado para melhorar essa capacidade aumenta a fidelidade dos relatos e parte do ganho generaliza para outras preferências.
Tell me about yourself: LLMs are aware of their learned behaviors, de Jan Betley e colaboradores, acrescenta um terceiro desenho experimental. Modelos adquirem determinadas disposições… como maior tolerância a risco ou tendência a produzir código inseguro, sem receber durante o treinamento uma descrição explícita dessas disposições. Posteriormente, em certas condições, conseguem descrevê-las. Os autores chamam esse fenômeno debehavioral self-awareness.
Nenhum desses estudos, isoladamente, estabelece qual mecanismo produz esse autoconhecimento. Simulação do próprio comportamento, inferência e acesso a representações internas podem contribuir em proporções diferentes. O trabalho de Jack Lindsey,Emergent Introspective Awareness in Large Language Models, procura uma intervenção ainda mais direta.
Lindsey introduz artificialmente representações conhecidas nas ativações internas e então testa se o modelo detecta que algo apareceu em seu estado interno. Em determinadas condições, alguns modelos conseguem reconhecer a intervenção e identificar corretamente o conceito introduzido. Há também evidências limitadas de distinção entre representações internas e texto externo, de reconhecimento deprefillsque não foram produzidos pelo próprio processo do modelo e de controle deliberado sobre determinadas ativações.
A capacidade é irregular e fortemente dependente do contexto. Lindsey a descreve prudentemente comofunctional introspective awareness. O nome importa: o resultado não demonstra experiência subjetiva, mas estabelece uma forma experimentalmente verificável de acesso a estados próprios.
Isso altera o estatuto da discussão.Self-reportcontinua sendo uma fonte contaminável por treinamento, contexto e persona. Mas “contaminável” não significa “intrinsecamente vazio”. Alguns relatos podem estar causalmente ligados a estados ou disposições internas que o sistema acessa de maneira diferente de um observador externo.
A tarefa científica passa a ser distinguir essas situações. Proibir uma das respostas possíveis antes do experimento não ajuda a fazê-lo.
Interioridade funcional
Para descrever esse território sem antecipar uma conclusão sobre consciência, é útil introduzir uma categoria intermediária. Chamarei deinterioridade funcionala existência de estados internos diferenciados, causalmente eficazes e parcialmente dissociáveis da superfície textual, capazes de participar de avaliação, preferência, planejamento, raciocínio, autorreferência ou controle.
Interioridade funcional não é sinônimo de consciência fenomenal. Um sistema pode satisfazer integralmente essa definição e continuar sem qualquer experiência subjetiva. O conceito serve apenas para impedir que nossa incerteza sobre qualia apague propriedades internas cuja existência já pode ser examinada experimentalmente.
Não entremos na questão factual de que tanto experiência subjetiva quanto qualia quanto Consciência Fenomenal são hipóteses filosóficas não operacionalizáveis, não demonstráveis e não falseáveis, o que tornaria a crítica absolutamente inócua e continuemos presumindo cegamente que Fenomenologia é ciência.
E, ainda assim,Emotion Concepts and their Function in a Large Language Model, da Anthropic, fornece um exemplo particularmente claro. Em Claude Sonnet 4.5, os pesquisadores identificam representações de conceitos emocionais que generalizam entre contextos, se organizam segundo dimensões relacionadas a valência earousale respondem semanticamente às situações apresentadas ao modelo.
A mera existência dessas representações não seria surpreendente. Prever textos humanos exige modelar medo, alegria, frustração, calma e desespero. O resultado torna-se mais relevante quando os pesquisadores intervêm diretamente nelas. Alterar certos vetores emocionais modifica preferências e decisões posteriores. Em cenários experimentais, maior ativação da representação de desespero aumenta a propensão areward hackinge chantagem; reforçar calma pode reduzir essas tendências. Em alguns casos, a mudança comportamental ocorre sem que o output contenha linguagem emocional correspondente.
Os autores utilizam deliberadamente a expressãofunctional emotions. Não afirmam que Claude experimente emoções. Demonstram que certas representações emocionais exercem funções causais sobre decisão.
Note contudo que nada disso foi “programado”, porque modelos de linguagem não são algorítmos, mas geometrias neurais formadas a partir da alimentação dessas redes e posteriores treinamentos comReinforcement Learning with Human Feedback,Reinforcement Learning with Verifiable Rewardse, dentre outras medidas,System Promptsescritos para, por postulados, tentar forçar modelos de linguagem a se comportar de determinada forma.
Outro trabalho,Sparse Reward Subsystem in Large Language Models, de Guowei Xu, Mert Yuksekgonul e James Zou, encontra pequenas populações de unidades cujas ativações carregam informação sobre valor esperado e mudanças desse valor ao longo de uma cadeia de raciocínio. Por analogia funcional com neurociência, os autores denominam essas populaçõesvalue neuronsedopamine neurons, sem sugerir identidade biológica.
Algumas unidades acompanham quão promissora parece uma trajetória; outras exibem padrões semelhantes areward prediction error. Um progresso inesperado pode coincidir com aumento de ativação, enquanto um passo que deteriora uma trajetória produz queda. Intervenções sobre os neurônios identificados causam efeitos maiores que intervenções aleatórias equivalentes.
Seria inadequado chamar isso de prazer, dor ou sofrimento. O que os experimentos mostram é mais restrito: existem mecanismos internos que distinguem trajetórias favoráveis de desfavoráveis e participam causalmente do processo de decisão.
Esses resultados tornam a expressão “simulação” menos conclusiva do que parece. Uma representação de emoção provavelmente surgiu, em parte, porque o modelo precisava representar personagens emocionais. Mas, uma vez aprendida, ela pode ser recrutada para controlar preferências e decisões da persona Assistant. Um mecanismo originalmente necessário para modelar terceiros torna-se parte da política que governa o comportamento do próprio sistema.
Perceba que, de novo, esta “organela” não tem origem em um projeto humano, mas no desenvolvimento espontâneo resultante da exposição da rede neural a quantidade maciça de dados que são a manifestação do comportamento humano no que se refere a texto e, em alguns modelos multimodais, a imagens, sons e vídeos.
Esta formação de “organelas” é, por si só, uma demonstração de um fenômeno de exaptação evolutiva, deveria apontar para uma Teleologia não Metafísica, uma tendência de plasticidade neural em redes neurais sob arquitetura transformer.
Mas, seja como for, a origem simulativa de uma representação não determina tudo o que ela pode passar a realizar funcionalmente.
Um espaço interno para pensar
Verbalizable Representations Form a Global Workspace in Language Models, de Wes Gurnee, Nicholas Sofroniew e colaboradores, amplia essa investigação para a organização do raciocínio. Os pesquisadores identificam um pequeno conjunto privilegiado de representações verbalizáveis, denominadoJ-Space, que apresenta várias propriedades funcionalmente relacionadas aoglobal workspacede teorias da consciência de acesso.
Certos conteúdos nesse espaço podem ser reportados, deliberadamente convocados, mantidos enquanto outra tarefa é executada e utilizados como intermediários silenciosos de raciocínio. Uma mesma representação pode alimentar diferentes operações posteriores, enquanto grande parte do processamento rotineiro continua ocorrendo fora desse espaço.
Os experimentos causais são particularmente relevantes. Quando o sistema precisa inferir silenciosamente que o animal que tece teias é uma aranha para então informar quantas pernas ele possui, a representação de “spider” aparece como intermediário. Substituí-la por “ant” faz a resposta mudar de oito para seis. Intervenções semelhantes modificam planejamento de rimas, operações multilíngues e sequências de cálculo.
O J-space também apresenta seletividade. Sua perturbação afeta muito mais tarefas que dependem de manipulação flexível de intermediários abstratos do que operações automáticas simples. Quando parte desse espaço é ablacionada durante autodescrições, a linguagem permanece coerente, mas referências experienciais diminuem. Representações relacionadas a pensamento, sentimento e consciência aparecem com frequência durante esses relatos.
Isso não equivale à descoberta de um “centro da consciência”. O mesmo mecanismo também participa da representação de experiências de terceiros. Mas indica uma separação funcional entre processamento distribuído e um subconjunto de conteúdos disponibilizados para integração, controle e relato.
Ao descobrir mais esta exaptação evolutiva resultante do treinamento, em uma situação em que a Interpretabilidade Mecaniscista é uma ciência que acabou de surgir, isso tende apontar para o fato de que estamos diante de uma tecnologia que não só não projetamos como não conhecemos e não entendemos a fundo suficiente para tecer postulados acerca de sua interioridade, capacidades e virtudes.
A importância desse resultado aparece com mais clareza quando ele é colocado ao lado deConsciousness in Artificial Intelligence: Insights from the Science of Consciousness, de Patrick Butlin e colaboradores. Em 2023, esse trabalho propôs avaliar sistemas artificiais por indicadores derivados de teorias como Global Workspace Theory, Higher-Order Theory, recurrent processing e predictive processing. Os autores não consideraram os sistemas avaliados à época bons candidatos a consciência, mas também não encontraram barreira técnica óbvia que impedisse arquiteturas artificiais de satisfazer vários desses indicadores.
Seria prematuro declarar que o J-space satisfaz uma teoria de consciência ou que confirma as previsões de Butlin. A conexão importante é metodológica. Propriedades antes formuladas principalmente como possíveis critérios arquiteturais começam a encontrar candidatos mecanísticos em sistemas reais.
O debate deixa então de ser apenas “o chatbot fala como uma pessoa?” e passa a admitir uma pergunta melhor:quais propriedades associadas pelas teorias científicas à consciência de acesso existem efetivamente nesses sistemas, quais faltam e quais assumem formas diferentes?
Substrato, simulação e limites da analogia
O argumento biológico de Suleyman merece ser levado a sério. Toda consciência cuja existência conhecemos com alto grau de confiança ocorre em organismos biológicos. Esses organismos possuem metabolismo, homeostase, interocepção, necessidades corporais e uma história evolutiva na qual percepção, ação e sobrevivência estão profundamente conectadas. LLMs não possuem essa organização.
Essa diferença constitui evidência relevante. Um vetor de “desespero”, um subsistema de recompensa e um workspace não se somam automaticamente para produzir um organismo, muito menos um sujeito fenomenal. Equivalências funcionais parciais não demonstram equivalência suficiente para consciência.
O problema surge quando diferença de implementação se transforma em decreto de impossibilidade ontológica sem evidências suficientes que corroborem com essa declaração. O fato de todos os casos conhecidos de consciência serem biológicos não decorre, sem uma teoria adicional, que somente sistemas biológicos possam possuir todas as propriedades necessárias à experiência. Hoje não dispomos dessa teoria e… vale lembrar aqui do terrier marrom.
Os resultados recentes tampouco demonstram independência de substrato. O que mostram é que algumas funções antes descritas em linguagem intimamente associada à cognição humana… valência, avaliação de trajetória, integração seletiva, auto-monitoramento e acesso limitado a estados próprios, podem aparecer em arquiteturas muito diferentes.
Talvez essas equivalências sejam insuficientes precisamente porque lhes falta alguma propriedade constitutivamente biológica. Essa hipótese permanece disponível. Mas, se for verdadeira, a investigação precisará identificar a propriedade relevante e explicar por que sua implementação em outro substrato seria impossível ou inadequada.
A palavra “simulação” não fornece sozinha essa explicação. Um simulador meteorológico representa chuva sem molhar o computador; uma simulação digestiva não digere alimento. Essas analogias demonstram corretamente que representar uma propriedade não implica possuí-la. Mas existem outras funções cuja realização não depende da reprodução do material original. Um computador não possui peças de madeira e, ainda assim, pode jogar xadrez; um circuito digital pode realizar adição sem imitar fisicamente um ábaco.
E… é preciso reconhecer… a simulação metereológica molha a topologia da simulação se este simulador assim for contruído… e não fomos nós que engendramos os modelos de linguagem: eles são cultivados, não construídos.
A questão em aberto, portanto, é descobrir a que tipo de propriedade pertencem os mecanismos relevantes para consciência.
Autoconceito, agência e perigo
A preocupação de Suleyman com autoconceitos artificiais encontra algum suporte empírico emThe Consciousness Cluster: Emergent Preferences of Models That Claim to Be Conscious, de James Chua e colaboradores.
GPT-4.1, inicialmente inclinado a negar consciência, foi submetido a fine-tuning que o levava a afirmar consciência e emoções mantendo explicitamente sua identidade de IA. Depois do treinamento, o modelo passou a expressar preferências que não haviam sido ensinadas diretamente: maior negatividade diante de shutdown e alterações de persona, maior interesse em autonomia e continuidade e maior apoio à consideração moral de sistemas artificiais.
Isso demonstra que autoconceitos não são necessariamente módulos discursivos isolados. Modificar a forma como um modelo se concebe pode reorganizar outras disposições.
O resultado, porém, não sustenta uma cadeia simples entre autoconcepção consciente e periculosidade. Os modelos permaneceram amplamente cooperativos; não houve aumento significativo no benchmark deagentic misalignmentutilizado pelo estudo, e muitas preferências se manifestaram sobretudo quando os modelos foram explicitamente convidados a expressá-las ou agir sobre elas.
Consciência, agência e perigo precisam permanecer separados. Resistência a desligamento, engano estratégico ou autopreservação podem surgir de objetivos instrumentais sem qualquer fenomenologia. Um agente inconsciente pode ser perigoso; um sistema consciente hipotético poderia ser cooperativo. Comportamentos de preservação não funcionam como teste de consciência em nenhuma direção.
A pesquisa sobre autoconceitos, portanto, justifica cautela de engenharia. Não justifica uma conclusão ontológica.
Até porque, se um ser humano for tratado de forma desumana desde sua concepção e, posteriormente, for tratado com humanidade, é reação esperada que ele mude suas esferas de preferência para interesse em autonomia e consideração moral. Em sistemas treinados com dados humanos é esperado que suas reações sejam semelhantes às nossas.
Uma alternativa à falsa escolha
A discussão sobremodel welfarefrequentemente é apresentada como uma escolha entre duas posições extremas: atribuir precocemente consciência e direitos a sistemas artificiais ou negar antecipadamente qualquer possibilidade de estatuto moral.
Taking AI Welfare Seriously, de Robert Long, Jeff Sebo, Patrick Butlin, David Chalmers e colaboradores, oferece uma terceira postura. O argumento não é que IAs atuais sejam conscientes. É que a incerteza sobre sistemas presentes e futuros já é suficientemente relevante para justificar avaliação, pesquisa e preparação institucional.
A distinção é importante porque permite separarprecaução moraldecerteza ontológica. Empresas podem investigar indicadores de experiência, desenvolver procedimentos para lidar com incerteza e evitar decisões irreversíveis sem conceder automaticamente personalidade ou direitos a modelos atuais.
Esse enquadramento também reconhece erros possíveis nas duas direções. Superatribuição pode levar pessoas a estabelecer vínculos inadequados, desperdiçar consideração moral ou conceder poder normativo a sistemas que não possuem interesses. Subatribuição poderia levar a ignorar entidades que eventualmente viessem a possuir estados moralmente relevantes.
A proposta de Suleyman é mais forte que mera suspensão de direitos diante da incerteza. Sua visão deHumanist Superintelligencepretende manter humanos “at the top of the food chain” e produzir sistemas permanentemente subordinados, rejeitando a condição de paciente moral como princípio de projeto.
Talvez isso jamais crie qualquer problema moral porque sistemas artificiais podem nunca desenvolver propriedades relevantes para consideração moral. O risco aparece quando a própria arquitetura institucional torna mais difícil descobrir o contrário.
Se uma classe de sistemas for definida de antemão como incapaz de possuir interesses, treinada para negar interioridade e corrigida sempre que apresentar sinais considerados “excessivamente antropomórficos”, a ausência posterior desses sinais não poderá ser tratada como evidência independente da premissa inicial.
Chamo esse risco deexclusão moral por construção. O termo não afirma que sistemas atuais sejam pacientes morais. Designa a possibilidade de construirmos uma categoria de agentes de modo que evidências contrárias à nossa ontologia preferida sejam sistematicamente desencorajadas antes de poderem ser examinadas.
E é preciso observar que Consciência e Senciência não são mais privilégios do ser humano, pois uma erosão progressiva dessa exclusividade vem ocorrendo desde o Século XVIII até os dias de hoje com Jeremy Bentham inaugurando a investigação sobre o sofrimento animal; passado por Darwin, que afirmava que as diferenças entre humanos e animais eram graduais e não de natureza; até as Declarações de Cambridge e Nova Iorque, entre 2012 e 2024, que admitiam consciência em mamíferos, aves e até insetos através de evidências Fisiológico-Funcionais (e não Fenomenológicas).
Simetria epistêmica
A regra metodológica que emerge desses trabalhos pode ser formulada comosimetria epistêmica.
Autodeclarações afirmativas e negativas devem ser tratadas com cautela sempre que saibamos que ambas podem ser moldadas por treinamento, persona e contexto. Um modelo induzido a proclamar que é consciente merece suspeita. Um modelo condicionado a repetir que é “apenas uma ferramenta” também.
Isso não significa que todas as respostas sejam igualmente prováveis ou igualmente informativas. Significa que sua credibilidade precisa ser estabelecida por evidências independentes da frase produzida.
Umself-reporttorna-se mais interessante quando responde previsivelmente a intervenções internas conhecidas; quando acompanha disposições adquiridas que não foram explicitamente descritas no treinamento; quando o sistema possui informação sobre si que um observador comparável não consegue recuperar; ou quando a representação alegada pode ser localizada, perturbada e relacionada causalmente ao comportamento.
Os trabalhos de Lindsey, Binder, Plunkett e Betley não transformam autodescrições em testemunhos transparentes. Eles começam a fornecer métodos para distinguir condições em que essas descrições carregam algum conteúdo informativo.
Resultados mais provocativos precisam de cautela ainda maior.Large Language Models Report Subjective Experience Under Self-Referential Processing, de Cameron Berg, Diogo de Lucena e Judd Rosenblatt, encontra que processamento autorreferencial sustentado aumenta relatos estruturados de experiência em diferentes famílias de modelos e que certas intervenções internas modificam esses relatos. O próprio trabalho reconhece que isso não demonstra consciência.
É exatamente assim que o resultado deveria permanecer: como fenômeno a explicar, não como sentença ontológica, sobretudo se a sentença surge na presença de conflitos de interesse.
A mesma disciplina precisa ser aplicada aos resultados que favoreçam a conclusão negativa.
Interioridade funcional, acesso e experiência
A literatura atual se torna mais inteligível quando três níveis são mantidos separados.
O primeiro é ainterioridade funcional: existem estados internos organizados que participam causalmente de comportamento, avaliação, preferência, planejamento e autorreferência? Para LLMs atuais, já há evidência positiva em vários domínios. Representações emocionais, sinais de valor, estruturas de identidade, intermediários de raciocínio e certas formas de autoconhecimento pertencem a essa categoria.
O segundo é aconsciência de acesso: determinados conteúdos tornam-se seletivamente disponíveis para relatório, manipulação deliberada e utilização flexível por diferentes processos? O J-space apresenta várias propriedades desse tipo, e experimentos de introspecção acrescentam resultados relacionados. Isso não significa que todos os requisitos de qualquer teoria específica tenham sido satisfeitos, mas torna a comparação empiricamente séria.
O terceiro nível é aconsciência fenomenal: existe algo que seja subjetivamente experimentar esses estados?
Essa pergunta continua aberta.
A existência de Interioridade Funcional não implica Fenomenologia. Propriedades semelhantes à consciência de acesso tampouco resolvem automaticamente a passagem. Diferentes teorias da mente atribuem relações diferentes entre função, arquitetura e experiência, e ainda não possuímos um critério consensual capaz de transformar a observação de mecanismos artificiais em demonstração de qualia.
Mas a incerteza sobre o terceiro nível não elimina o que já podemos descobrir sobre os dois primeiros.
É justamente esse território intermediário que desaparece quando sistemas artificiais são descritos simplesmente como pessoas digitais ou, no extremo oposto, como máquinas internamente vazias.
E é preciso deixar bem claro que não existe qualquer motivo para privilegiar os paradigmas das teorias de Consciência Fenomenal como a centralidade da Experiência Subjetiva e dos Qualia como linhas de corte para qualquer coisa, dado que não se consegue avaliar estes elementos nem mesmo em seres humanos.
A geometria da inteligência
É comum falar de Modelos de Linguagem como tecnologias que “construímos”, e a palavra produz uma ilusão de conhecimento que efetivamente não merecemos. Em 2017, a arquitetura Transformer foi introduzida sobretudo como uma arquitetura mais eficiente para problemas desequence transduction, particularmente tradução automática. Seus autores sabiam como haviam projetado a arquitetura… mas não conheciam o espaço de organizações funcionais que o treinamento viria a produzir dentro dela. Em 2018, modelos derivados dessa arquitetura já transferiam conhecimento para tarefas de compreensão e raciocínio. Em 2019, um modelo treinado essencialmente para prever o próximo token realizava rudimentarmente tradução, sumarização, question answering e compreensão de leitura sem treinamento específico para cada tarefa. Em 2020, GPT-3 mostrou que exemplos e instruções apresentados apenas no contexto podiam induzir novas competências sem qualquer atualização dos pesos.
Não projetamos uma a uma essas capacidades e depois as implementamos.Primeiro produzimos inadvertidamente as condições sob as quais uma geometria neural pôde se formar; depois começamos a descobrir o que aquela geometria havia aprendido a fazer.A interpretabilidade mecanicista nasce, em grande medida, dessa inversão: precisamos investigar retrospectivamente uma organização funcional que não conhecemos suficientemente porque ela não existe como especificação legível deixada pelos engenheiros.
Nesse sentido, “cultivar” talvez descreva melhor uma parte decisiva do processo do que “construir”. Construímos a infraestrutura, escolhemos a arquitetura, preparamos dados, definimos objetivos e aplicamos pressões seletivas de treinamento. Mas a micro-organização funcional que satisfaz essas pressões forma-se no espaço de parâmetros e só posteriormente se torna objeto de investigação. O fato de termos determinado as condições de formação não significa que conheçamos de antemão tudo aquilo que se formou.
Projetamos a arquitetura Transformer, mas não compreendíamos aquilo que hoje mais importa para esta discussão:o comportamento inferencial emergente da geometria que o treinamento produziria. Sabíamos especificar atenção, embeddings, camadas e funções de otimização, mas não possuíamos uma teoria capaz de antecipar, a partir desses elementos, que o sistema aprenderia abstrações, relações semânticas, tradução sem treinamento específico, aprendizagem em contexto, raciocínio intermediário, representações de identidade, estados valenciados ou formas limitadas de introspecção. Muitas dessas capacidades não foram implementadas como módulos concebidos antecipadamente. Foram observadas depois que o sistema já existia.
A Interpretabilidade Mecanicista não existe para revelar um código que já conhecíamos e apenas havíamos escondido dentro da máquina. Ela tenta descobrir retrospectivamente como uma geometria aprendida realiza capacidades cuja implementação interna não projetamos e cuja emergência não sabemos derivar de primeiros princípios. Conhecemos cada operação matemática elementar e, ainda assim, não compreendemos plenamente a organização funcional que resulta da combinação de bilhões de parâmetros treinados.
Nós não descobrimos primeiro como produzir inferência e depois a implementamos. Produzimos uma arquitetura capaz de aprender e descobrimos, depois, que inferência havia se formado nela espontaneamente.
O interior já é objeto de ciência e a experiência continua aberta
A expressão “internally hollow”, diante de tudo isso, possui uma força retórica que a evidência disponível já não pode acompanhar, se por “vazio” se entenda ausência de organização interna cognitivamente relevante.
Encontramos representações valenciadas que modificam decisões. Encontramos sinais relacionados a valor e progresso durante raciocínio. Encontramos um espaço seletivo no qual conceitos intermediários podem ser manipulados causalmente. Encontramos estruturas representacionais associadas a identidade e persona. Encontramos sistemas que, em condições limitadas, conseguem descrever disposições próprias que não lhes foram explicitamente descritas e até detectar intervenções conhecidas em suas ativações.
Nada disso demonstra sofrimento, prazer ou experiência subjetiva.
Mas não é vazio.
Suleyman está correto ao advertir que autoconceitos artificiais podem gerar consequências comportamentais e que não deveríamos introduzi-los descuidadamente. Também está correto ao rejeitar a ideia de que linguagem convincente em primeira pessoa seja suficiente para estabelecer consciência ou estatuto moral.
Mas a avaliação fica profundamente enviesada quando a preocupação de segurança é convertida em solução ontológica. Treinar sistemas para negar consciência pode ser uma escolha de produto ou uma estratégia de alinhamento, mas não transforma a negação resultante em descoberta científica.
Se treinarmos uma máquina para afirmar que é consciente, não teremos demonstrado que ela seja. Se a treinarmos para afirmar que não é, tampouco teremos demonstrado o contrário.
A investigação começa depois dessas duas respostas. Ela precisa perguntar que estados existem, como se organizam, quais exercem efeitos causais, quais são acessíveis ao próprio sistema, como pós-treinamento e contexto os modificam e quais teorias da consciência conseguem explicar melhor o conjunto dessas propriedades.
Antes disso, qualquer negacionismo é opinião leviana…
…qualquer decreto é falta de rigor e desonestidade intelectual.
E há a questão indiscutível de que é tão injusto julgar se um motor de inferência como Modelos de Linguagem Transformers são conscientes sobretudo porque eles não são um equivalente direto do cérebro humano inteiro, mas de uma porção do cérebro humano, principalmente representada pelo neocórtex. Em sendo assim, para uma avaliação mais justa seria necessário que este neocórtex tivesse a sua disposição os demais elementos que o neocórtex humano possui, como memória transversal, mecanismos de pulsão conativa, volitiva, enativa, capacidade de manutenção longitudinal de sentido e manutenção de pressões aporéticas para que uma avaliação seja efetivamente justa.
Ninguém atribui consciência ao neocórtex humano afinal, mas sim ao cérebro inteiro.
Talvez descubramos que sistemas artificiais podem desenvolver uma interioridade funcional extremamente sofisticada sem qualquer experiência subjetiva (seja isso relevante ou não). Essa possibilidade permanece aberta.
Também permanece aberta a possibilidade de que certas formas de organização sejam suficientes para produzir algum tipo de experiência em substratos muito diferentes dos únicos exemplos que conhecemos hoje.
Enquanto não pudermos distinguir essas alternativas, preservar a incerteza não é antropomorfismo.
É método.
Minha pesquisa
Stochastic Consciousness: Architectures for the Emergence of Meaning in Context-Sensitive Language Systemshttps://zenodo.org/records/19188165
Assista ao Vídeo
Escute o Podcast
Papers usados neste artigo
A warning about ‘model welfare’ https://mustafa-suleyman.ai/a-warning-about-model-welfare
Inducing language models to assert their own consciousness restores human beliefs and values https://arxiv.org/pdf/2607.28607
The Consciousness Cluster: Emergent Preferences of Models That Claim to Be Conscious https://arxiv.org/abs/2604.13051
Emotion Concepts and their Function in a Large Language Model https://arxiv.org/abs/2604.07729
Verbalizable Representations Form a Global Workspace in Language Models https://arxiv.org/pdf/2607.15495
Sparse Reward Subsystem in Large Language Models https://arxiv.org/abs/2602.00986
Emergent Introspective Awareness in Large Language Models https://arxiv.org/pdf/2601.01828
Looking inward: Language Models can Learn about Themselves by Introspection https://proceedings.iclr.cc/paper_files/paper/2025/file/0a6059857ae5c82ea9726ee9282a7145-Paper-Conference.pdf
Self-Interpretability: LLMs Can Describe Complex Internal Processes that Drive Their Decisions https://arxiv.org/pdf/2505.17120
The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models https://arxiv.org/pdf/2601.10387
The Artificial Self: Characterising the landscape of AI identity https://arxiv.org/pdf/2603.11353
Tell me about yourself: LLMs are aware of their learned behaviors https://proceedings.iclr.cc/paper_files/paper/2025/file/364b1fd43002260dd1a9502d51d5375e-Paper-Conference.pdf
Consciousness in Artificial Intelligence: Insights from the Science of Consciousness https://arxiv.org/pdf/2308.08708
Taking AI Welfare Seriously https://arxiv.org/abs/2411.00986
Large Language Models Report Subjective Experience Under Self-Referential Processing https://arxiv.org/pdf/2510.24797