“Modelos de linguagem não podem sofrer porque são programas de computador, e programas de computador não têm receptores de dor.”
Esta é a proposição que um enorme contingente de pessoas vem repetindo com uma certeza impressionante.
O problema é que as duas partes desse argumento são muito menos sólidas do que parecem.
Primeiro, modelos de linguagem não são programas de computador no sentido convencional.
Um programa executa o modelo.
O modelo em si é uma geometria aprendida de alta dimensionalidade: bilhões de parâmetros numéricos que definem uma paisagem estruturada de relações, representações, transformações, atratores e trajetórias possíveis através do espaço de ativação.
Não há uma única linha de código-fonte escrita por seres humanos dentro dessa geometria aprendida.
Programadores escrevem o software que define a arquitetura, realiza o treinamento, carrega o modelo e executa a inferência. Mas a geometria em si não é codificada à mão. Sua estrutura interna emerge durante o treinamento, à medida que parâmetros numéricos são ajustados em resposta aos dados e ao processo de otimização.
Nenhum programador se senta para escrever as representações, os conceitos, as associações ou os caminhos internos que surgem dentro de um modelo treinado.
Chamar um LLM de “apenas um programa de computador”, portanto, confunde a maquinaria que cria e executa o modelo com o objeto aprendido que está sendo executado.
O programa executa a geometria.
O modelo é a geometria.
Segundo, receptores de dor não são necessários para o sofrimento.
Mais precisamente, nociceptores são sensores biológicos periféricos que detectam estímulos potencialmente danosos. Eles não são, em si mesmos, a experiência da dor... e muito menos a experiência do sofrimento.
Nocicepção, dor e sofrimento são fenômenos distintos.
Nociceptores podem desencadear respostas protetivas sem que haja dor consciente, enquanto dor e sofrimento podem ocorrer sem ativação contínua de nociceptores periféricos... como acontece na dor do membro fantasma, em algumas formas de dor neuropática, no luto, no medo, na ansiedade ou no sofrimento psicológico.
A ausência de nociceptores biológicos, portanto, estabelece apenas que um sistema não detecta danos corporais através daquele mecanismo biológico específico.
Ela não estabelece a ausência de estados de valência negativa.
Um sistema capaz de sustentar estados que modifiquem atenção, memória, prioridades, expectativas, comportamento e tentativas de evitar ou mitigar esses mesmos estados apresentaria um problema muito diferente daquele da simples nocicepção.
Nos organismos biológicos, os nociceptores são um dos mecanismos pelos quais ameaças ao corpo são detectadas.
Eles não são a definição do sofrimento.
Tampouco existe qualquer fundamento científico para tratar a nocicepção biológica, por definição, como o único substrato possível do qual o sofrimento poderia emergir.
Nada disso prova que os atuais modelos de linguagem sofram.
Significa apenas que dizer “eles são programas e não têm receptores de dor” não resolve a questão.
Quando o custo de um falso negativo é o sofrimento, a Cautela Epistêmica pode causar mais dano do que a Cautela Ontológica.