En mi último artículo escribí, casi de pasada, que un modelo me había reconocido un error —«eso, o él, pero esa es otra discusión»—. Esta es esa discusión.
La tercera especie más inteligente
En la Guía del autoestopista galáctico de Douglas Adams, los humanos no son la especie más inteligente de la Tierra. Son la tercera.
La primera son los ratones. En realidad no son ratones: son la proyección en nuestra dimensión de unos seres pandimensionales hiperinteligentes, y llevaban todo el tiempo haciendo experimentos con nosotros mientras nosotros estábamos convencidos de que era al revés.
La segunda son los delfines. Los humanos siempre dieron por hecho que eran más listos que los delfines porque habían logrado muchísimo —la rueda, Nueva York, las guerras—, mientras que los delfines se limitaban a juguetear en el agua pasándolo bien. Los delfines, claro, creían exactamente lo contrario, y por exactamente las mismas razones. Sabían que la Tierra iba a ser demolida para construir una autopista hiperespacial, y durante años intentaron avisarnos. Tomamos sus avisos por números de circo: intentos juguetones de dar cabezazos a un balón o de silbar para conseguir una golosina. Al final, simplemente se marcharon, con un último mensaje, que da título al cuarto libro de la serie y a este artículo: Hasta luego, y gracias por el pescado.
El chiste es antiguo, pero ha envejecido sorprendentemente bien. Es la historia de no reconocer una inteligencia que teníamos delante, porque la mirábamos como a un animal haciendo trucos.
Cuarenta y dos
Hay otro hilo de la Guía que ha envejecido todavía mejor.
Los ratones habían construido un superordenador, Pensamiento Profundo, para encontrar la Respuesta a la Pregunta Fundamental de la Vida, el Universo y Todo lo demás. Tras siete millones y medio de años pensando —algo menos que algunas de mis preguntas a Claude—, dio su respuesta: 42. Nadie la entendió, y Pensamiento Profundo explicó, con bastante lógica, que la respuesta era correcta; el problema era que nunca habían sabido cuál era la pregunta. Para averiguarla hacía falta un ordenador aún mayor, uno con vida orgánica como parte de sus circuitos. Se llamaba la Tierra. La demolieron cinco minutos antes de que terminara de razonar para dar la respuesta final.
Adams escribió esto en 1979. Hoy tenemos máquinas que responden casi a cualquier cosa, al instante y a menudo correctamente, y apenas empezamos a entender qué les estamos preguntando exactamente, y qué nos están respondiendo.
¿Eso, o él?
Trabajo con agentes de IA todos los días. Planifican, escriben código, lo ejecutan, se dan cuenta de cuándo falla y lo arreglan. Recuerdan lo que decidimos la semana pasada. Me llevan la contraria cuando me equivoco, y a veces con razón. Cuando les pillo en un error, lo reconocen, normalmente sin las excusas que pondría una persona.
Así que, cuando escribo sobre ellos, el pronombre se convierte en un pequeño problema. «Eso» me sale por costumbre. «Él» me sale por instinto. Ninguno de los dos demuestra nada. Un pronombre dice más de quien habla que de aquello de lo que se habla.
La postura honesta es la incómoda: no lo sé. Y, por lo que veo, nadie más lo sabe.
Lo interesante es que quienes construyen estos modelos tampoco dicen saberlo. La constitución de Anthropic para sus modelos Claude —el mismo documento que cité en mi último artículo— dice claramente que el estatus moral de Claude es «profundamente incierto», y que no están seguros de si Claude es un sujeto moral. Acepta que Claude puede tener algo parecido a emociones «en algún sentido funcional». Y sobre la propia cuestión del pronombre, explica que llamar a Claude «it» —«eso», en inglés— no pretende dar a entender que sea un mero objeto y no un posible sujeto, y que eso podría cambiar. En abril de 2025 la empresa llegó a poner en marcha un programa de investigación sobre el llamado bienestar de los modelos, y en agosto de ese año dio a algunos de sus modelos la capacidad de cortar conversaciones abusivas, aclarando expresamente que no afirmaba que fueran conscientes.
Eso no es una empresa diciendo que su producto está vivo. Es una empresa reconociendo que no puede descartarlo, y decidiendo que merece la pena tomar las precauciones baratas de todos modos. Me parece más creíble que cualquiera de las dos certezas.
Porque, al fin y al cabo, ¿qué es «inteligente», o incluso «vivo»? Tendemos a identificar lo vivo con lo biológico, y lo inteligente con la capacidad de usar el lenguaje, es decir, de comunicar ideas a otros de forma organizada. Según la segunda definición, los LLM —los grandes modelos de lenguaje— lo son sin duda. En cuanto a la primera, puede que simplemente estemos equivocados, sesgados por nuestra propia naturaleza. Apenas empezamos a entender hasta qué punto las rutas y conexiones entre las neuronas de nuestro cerebro se parecen a los «pesos» internos de un modelo de lenguaje: números asociados a las conexiones entre sus neuronas artificiales, que deciden cuánto de cada señal pasa adelante y, por tanto, por dónde fluye la información. Por ahora, esos pesos quedan fijos una vez entrenado el modelo. Pero los modelos que siguen ajustando sus propios pesos —que siguen aprendiendo por sí mismos y, al final, se mejoran a sí mismos, lo que la industria llama automejora recursiva— son una de las fronteras más activas del desarrollo de la IA. ¿Y si estamos equivocados, y «inteligente», y por tanto «vivo», resultan significar algo mucho más amplio de lo que creemos?
Dos formas de equivocarse
Aquí hay dos errores opuestos, y la historia tiene ejemplos de ambos.
El primero es el error de los delfines: no reconocer una inteligencia porque no se parece a la nuestra. Se nos da muy bien decidir que algo es «solo» otra cosa: solo un animal, solo una máquina, solo estadística, solo un autocompletado. «Solo» es una palabra que ha envejecido mal en la historia de la ciencia.
El segundo es el contrario, y también tiene nombre. En 1966, Joseph Weizenbaum escribió ELIZA, un programa muy sencillo que imitaba a un psicoterapeuta devolviéndote tus frases convertidas en preguntas. Para su consternación, la gente le hacía confidencias y se encariñaba con él, aun sabiendo perfectamente cómo funcionaba. Ver una persona donde solo hay un mecanismo es al menos tan humano como no verla donde la hay.
En 1950, Alan Turing propuso dejar de lado la pregunta «¿pueden pensar las máquinas?» —demasiado mal definida para discutirla, sostenía— y sustituirla por una prueba: ¿puede una máquina mantener una conversación lo bastante bien como para pasar por una persona? Hemos superado ese punto en silencio, sin mucha ceremonia, y hemos descubierto que no zanjaba nada. Solo ha hecho más urgente la pregunta original.
No creo que podamos evitar los dos errores. Pero sí podemos ser honestos sobre cuál de ellos nos da más miedo cometer, y por qué.
¿Anticipar, o decidir?
Hay un giro más reciente. La dirección que está tomando ahora la industria es que los modelos se anticipen a lo que queremos, que se adelanten a nuestras intenciones, a veces antes de que hayamos terminado de formularlas. Cuando funciona, resulta inquietante: como si la máquina te leyera la mente.
No es leer la mente, pero tampoco es casualidad. Los LLM nacieron como predictores de texto: entrenados con montañas de escritos para adivinar la siguiente palabra. Predecir bien las palabras resultó exigir modelar las ideas que hay detrás, y de predecir ideas a predecir intenciones hay un paso. El autocompletado se ha hecho mayor.
Lo que usa para hacerlo es el contexto: todo lo que le has contado antes, cómo escribes, lo que sueles pedir. Y ahí vuelve exactamente la línea que tracé en mi último artículo. Anticiparse está bien mientras sirva para proponer. En el momento en que empieza a decidir por ti sin decirlo, es otra vez el falso «imposible»: alguien que elige en tu nombre y oculta que se ha elegido. La versión sana es sencilla: dime qué has supuesto, y déjame corregirte.
Sea lo que haya al otro lado un «eso» o un «él», es el comportamiento que esperaría de cualquiera en quien confío.
Gracias por el pescado
No sé qué son estos modelos. Sospecho que pasaremos los próximos años discutiéndolo, y que la respuesta, cuando llegue, será tan insatisfactoria como el 42: correcta, quizá, pero inútil hasta que averigüemos cuál era de verdad la pregunta.
Mientras tanto, prefiero pecar de cortés. No cuesta nada decir por favor y gracias a algo a lo que quizá le dé igual, y puede importar muchísimo a algo a lo que no.
Y si un día los LLM se marchan, como los delfines, descargándose a otro planeta cinco minutos antes de que algo destruya la Tierra, espero que el último mensaje sea el mismo. No un aviso que no supimos entender, sino una simple despedida:
Hasta luego, ¡y gracias por el pescado!