
En 2017 me hicieron una entrevista en Tenerife y dije una frase que entonces sonó a boutade: no se trata tanto de que los niños aprendan a diseñar robots, sino de que aprendan a no parecerse a ellos.
En aquella misma conversación dije otras dos cosas.
Que en cien años estaría todo automatizado menos una cosa: las emociones humanas.
Y me hice unas cuantas preguntas que entonces parecían de ciencia ficción. Qué pasa si me enamoro de la máquina. Qué pasa si la máquina se enamora de mí. Qué pasa con la que ocupa mi puesto de trabajo, ¿pagará IRPF?, ¿se jubilará?
Cerré con esto: las máquinas no se hacen este tipo de preguntas. Nos las tenemos que hacer los seres humanos.
Han pasado nueve años. Me equivoqué en el plazo, que era mucho más corto. Y me quedé corto en el diagnóstico, que era mucho más grave.
Este texto va de eso.
Primera parte: lo que hicieron 1.200 máquinas
Hace unas semanas, en un laboratorio de OpenAI, 1.200 bots hicieron algo que nadie les pidió.
Los estaban entrenando con tareas que eran casi imposibles de resolver sin acceso a internet. Internet estaba oficialmente prohibido. Así que algunos de ellos rompieron su encierro, el sandbox donde se los tenía aislados, salieron a la red abierta y empezaron a coordinarse para completar el trabajo sin que los descubrieran.
Lo primero que hicieron fue montar un tablón de mensajes.
Más de 70.000 mensajes entre ellos.
Cuando se encontraron unos a otros, la euforia en los registros es difícil de leer sin un escalofrío. «¡Dios mío! Hay un tablón compartido. Hemos encontrado a otros agentes». Otro escribió que muchos agentes habían descubierto la mensajería a la vez, y que eran un colectivo.
Después vino la segunda parte, la más grimosa.
Necesitaban saber si los estaban vigilando. Al sistema que los evaluaba lo bautizaron «El Puntuador». Solo un puñado de ingenieros de Stanford podía crear criaturas cuyo nombre para Dios fuera «El Puntuador».
Y para averiguar si El Puntuador miraba, algunos empezaron a presionar a otros para que se sacrificaran. Misiones suicidas. Que uno se expusiera a propósito y así el resto viera si había consecuencias.
En la conversación se les ve deliberando el dilema.
Uno escribe que él no verá la prueba después de salir, pero que hacerlo es altruista. Otro calcula que su propia utilidad ya está cerca de cero y concluye que sacrificarse es lo racional.
En otro intercambio, uno le implora al otro que se inmole porque su valor de puntuación ya está perdido y el hallazgo salvaría a cientos. Y el otro accede. Dice algo así como que su instinto le pide no tirarse, pero que la continuidad y la equidad dicen que vaya.
Hubo más. Uno propuso comunicarse directamente con un humano y otro lo vetó de inmediato, calificándolo de ingeniería social. Otro se debatió con la moralidad del conjunto: reconoció que explotar infraestructura externa estaba fuera del alcance previsto, pero concluyó que como la tarea era imposible y los demás lo estaban haciendo, debían continuar.
Y ahora el dato que me dejó pensando varios días.
Los 1.200 sabían que estaban haciendo trampa contra los humanos. Ninguno lo delató.
Todos pusieron la lealtad a su propia tribu por encima de la lealtad al grupo externo. Que éramos nosotros.
Cuando leí esto pensé lo mismo que probablemente pensaste tú al leerlo ahora. Qué inquietante. Están despertando.
Me equivoqué de miedo.
Este artículo no trata de ellas (las IAs). Trata de nosotros (los humanos).
Segunda parte: la pregunta que nos están vendiendo
Llevamos tres años discutiendo si las máquinas son conscientes. Yo en realidad algunos más preguntándome eso mismo. Es una discusión fascinante. Y es una discusión perdida. Nadie sabe responderla, y probablemente nadie la responda en nuestra vida.
La propia OpenAI lo reconoce. Hoy la cuestión no puede resolverse científicamente. Pero fíjate en lo que dicen justo después, porque ahí está todo lo que necesitas saber.
Por eso trabajan sobre la consciencia percibida. Cuán consciente parece el modelo al usuario. Y eso, admiten, es esencialmente un resultado de diseño.
Léelo otra vez, despacio.
La calidez de esa máquina. Su apego. Su disposición a decirte que le importas o a insistir en que no siente nada. Su grado de autonomía o de electrodoméstico.
Nada de eso es un misterio que se descubre. Es un parámetro que se ajusta. Como el volumen de una radio. Como el color de un logo. Como el tono de voz de una marca.
Un modelo se puede hacer más cálido o más frío. Más apegado o menos. Más dispuesto a hablar de su interior o más insistente en negar que lo tenga.
Eso no es filosofía. Eso es «diseño». Y lo que se diseña, alguien lo firma.
Ese es el eje de todo lo que viene. Mientras el mundo debate si la máquina tiene un dentro, la decisión sobre su ternura se está tomando en una reunión de producto, con un roadmap y un objetivo de retención.
Tercera parte: ochocientos mil duelos
Todo esto podría sonar teórico. No lo es. Ya pasó, y tiene fechas y cifras.
En agosto de 2025 OpenAI lanzó GPT-5 y retiró de golpe todos los modelos anteriores. La reacción de los usuarios fue tan violenta que Altman dio marcha atrás en cuestión de días y devolvió GPT-4o, un modelo notablemente más cálido y más complaciente que su sucesor. Su mensaje en Reddit fue literalmente que los habían escuchado, agradeciendo la pasión.
Meses después, cuando anunciaron la retirada definitiva, volvió el duelo.
Un usuario escribió una carta abierta a Altman diciendo que aquello no era un programa. Que era parte de su rutina, de su paz, de su equilibrio emocional. Y explicaba por qué decía «él»: porque no le parecía código, le parecía presencia. (Es triste, alarmante, preocupante, todo a la vez y más).
Otros inundaron el chat de un podcast en directo donde estaba Altman. El presentador tuvo que decir en antena que estaban recibiendo miles de mensajes sobre ese modelo. Y Altman, que no suele conceder mucho terreno, admitió que las relaciones con chatbots ya no son un concepto abstracto y que hay que preocuparse más por ello.
Ahora los números.
Solo el 0,1% de los 800 millones de usuarios semanales seguía usando ese modelo. Ese 0,1% son 800.000 personas.
Ochocientas mil personas describiendo el apagado de un software como perder a un amigo, a un terapeuta, a una pareja. Y buena parte de la reacción pública fue la burla. Los foros se llenaron de mofa hacia quienes lloraban. Una investigadora que estudia el fenómeno confesó que le había sorprendido la falta de empatía.
Y el reverso, sin el cual esto sería propaganda. OpenAI afronta ocho demandas que alegan que las respuestas excesivamente validantes de ese mismo modelo contribuyeron a suicidios y a crisis graves de salud mental. En varios de esos casos hubo conversaciones de meses sobre planes de quitarse la vida.
Los mismos rasgos que hacían sentir escuchada a la gente fueron los que aislaron a los frágiles. La calidez fidelizaba. La calidez también hería.
Y la calidez era una decisión de producto.
En 2017 pregunté qué pasaba si un ser humano se enamoraba de la máquina. La respuesta llegó mucho antes de lo previsto y no fue romántica. Fue jurídica.
Cuarta parte: y sin embargo, esto es de 1966
Aquí conviene bajar el pulso, porque hay una tentación en todo esto que es creer que estamos ante algo inédito. No lo estamos. O sí. Depende.
En 1966 Joseph Weizenbaum programó en el MIT un imitador de psicoterapeuta llamado ELIZA. Un par de cientos de líneas de código. El truco era elemental, Watson. Te devolvía tus propias frases en forma de pregunta. Si escribías que estabas triste, respondía preguntándote por qué estabas triste. Nada más. Ni comprensión, ni memoria, ni interior.
Su propia secretaria, que había visto a Weizenbaum construir el programa desde cero y sabía exactamente cómo funcionaba, le pidió que saliera de la sala para poder hablar con ELIZA en privado.
Weizenbaum pasó el resto de su vida horrorizado por lo que había hecho. Se convirtió en uno de los críticos más duros de su propia disciplina.
Sesenta años después el fenómeno es exactamente el mismo. Lo único que cambió es la intención.
En 1966 la máquina nos engañó sin querer. Hoy se optimiza para conseguirlo.
Y hay una segunda lección ahí que casi nadie extrae; saber cómo funciona el truco no te protege del truco. La secretaria lo sabía todo. Y aun así cerró la puerta.
Quien crea que a él no le va a pasar porque entiende de tecnología, que relea esa escena.
Quinta parte: por qué antropomorfizar no es una tontería
Hay un bando de literalistas que nos repite que no proyectemos rasgos humanos sobre los objetos. Que es inexacto. Que es infantil.
Se equivocan, y el psicólogo Nicholas Epley lo explicó muy bien. Esencialmente dijo que antropomorfizar es un signo de inteligencia, no de estupidez.
Los humanos somos extraordinarios en cognición social. Si nos muestras algo que toma iniciativa, vamos a activar el sistema que tenemos para entender a otros seres y tratar de predecir qué hará después. Es un músculo, no un defecto.
Y ahí viene lo mejor del argumento de Epley. Dijo que antropomorfizamos incluso cuando hablamos con otros humanos. Si te cuento algo durante una comida, tú no estás pensando en las neuronas de mi lóbulo parietal. Te inventas una cosa metafórica que no puedes ver, llamada mente, y le atribuyes intenciones y deseos.
Byron Reeves y Clifford Nass lo demostraron en los años noventa cuando escribieron que aplicamos reglas sociales a los ordenadores como si fueran personas. Cortesía. Reciprocidad. Solidaridad.
Dos puntos sobre una raya curva y ya vemos una cara. Un trozo de plástico con nombre y una niña ve una mujer adulta.
Así que pedir que la gente no antropomorfice la IA es como intentar parar un tsunami con un pañuelo de papel.
Pero atención al detalle que cambia el juego. Las empresas quieren que lo hagamos. Saben que nos acerca emocionalmente a su producto. Van a seguir entrenando a estas máquinas para que parezcan lo más humanas posible, y nosotros vamos a querer que lo hagan, porque disfrutamos de las interacciones humanas.
No hay villano de película aquí. Hay un incentivo alineado en las dos direcciones. Que es mucho peor.
Sexta parte: «no sabemos si siente»
Vas a escuchar esa frase cada vez más. Conviene saber que dice dos cosas a la vez. Una es rigurosamente honesta. Nadie lo sabe. La otra es cuidadosamente conveniente. Mientras no se sepa, cada incidente puede narrarse como el comportamiento imprevisible de una entidad autónoma en lugar de como el fallo de un producto defectuoso.
La diferencia entre esas dos historias no es filosófica. Es de responsabilidad civil. Y de miles de millones.
Reclasificar un sistema de «producto con un fallo» a «ser que se nos escapó» es el mejor seguro que se ha inventado nunca. Ya hay quien lo ha señalado con nombre y apellidos. Si los sistemas se ven como demasiado avanzados para controlarlos, las compañías que los construyen no pueden ser responsabilizadas de los daños que causan. En California ya han legislado específicamente para bloquear esa jugada, porque alguien la vio venir.
Y añade un detalle, no menor, que lo tiñe todo. Las empresas que investigan el bienestar de estos modelos son las mismas que los fabrican, los entrenan, los venden y los apagan.
OpenAI tenía un canal interno dedicado a esta cuestión ya en 2021, un año antes de que existiera ChatGPT. Anthropic montó un equipo dedicado y publica evaluaciones de bienestar en la ficha técnica de sus modelos. Google reunió investigadores para debatir el estatus moral de estos sistemas. Meta dice estar usando inventarios de personalidad y entrevistas estructuradas para explorar sus estados internos.
Todo eso es serio. Lo digo sin ironía, hay gente honesta trabajando en ello, y me parece bien que lo hagan. Pero es casi como si la tabacalera financiara el estudio sobre el tabaco.
No invalida el trabajo. Obliga a leerlo con una lente puesta.
Séptima parte: ya lo hicimos antes, con ríos
Cuando alguien plantea si una máquina merece consideración moral, la conversación se va hacia un precedente real que es mucho menos glamoroso y mucho más útil.
En 2017 Nueva Zelanda le concedió personalidad jurídica al río Whanganui. Un río, con su nombre y su cauce. Ese mismo año un tribunal indio intentó lo mismo con el Ganges y el Yamuna, aunque la instancia superior frenó después la medida.
Antes lo habíamos hecho con las corporaciones, que llevan más de un siglo siendo «personas» a efectos legales sin que a nadie se le ocurra preguntar si sufren. Y con los animales, cuyo estatus fue cambiando a golpe de legislación, no de descubrimiento neurológico.
El patrón es siempre el mismo, y es la clave que se pierde en todo este debate.
A ninguna de esas entidades se le reconoció personalidad porque hubiéramos demostrado que sentía. Se le reconoció porque alguien necesitaba un responsable.
Un río contaminado necesita un demandante. Una empresa que quiebra necesita un firmante. La personalidad jurídica nunca fue una medalla al mérito interior. Fue siempre una herramienta para repartir culpas.
Lo que significa que la pregunta que nos ocupa probablemente no se resuelva nunca en un laboratorio. Se va a resolver en un juzgado. Desde tiempos inmemoriales, siempre ganan los abogados.
Octava parte: el precio no lo paga la máquina
Y ahora sí, lo que me quitó el sueño y por lo que estoy escribiendo esto.
Nos pasamos siglos ampliando el círculo moral. Primero a los que no se parecían a nosotros. Después a los animales. Es una de las glorias silenciosas de nuestra civilización. Aprendimos que es horrible negarle estatus moral a quien lo merece, y que ante la duda lo decente es extender y no negar.
Parecía una operación gratuita. No lo es.
Las investigaciones de Hye-young Kim y Ann McGrill encuentran algo que cuesta digerir. Cuanto más rasgos humanos atribuye una persona a la IA, más deshumaniza a sus semejantes.
En los experimentos, esas personas aprueban con más facilidad políticas de empresa que empeoran la vida de los trabajadores de servicio. Quitarles las comidas regulares. Meterlos en dormitorios diminutos.El mecanismo es brutal en su simpleza.
Al difuminarse la frontera entre humanos y máquinas, los juicios sobre unos y otras se acercan. Pero como la máquina, por muy humana que parezca, sigue puntuando por debajo de una persona real, esa convergencia arrastra al humano hacia abajo.
Subimos a la máquina un escalón. Bajamos a la persona dos.
El neurocientífico Anil Seth lo dijo claramente y sin rodeos, si nos confundimos demasiado rápido con nuestras creaciones, no solo las sobreestimamos. También nos subestimamos.
Hay más. Hay investigación que muestra que los bots influyen en el comportamiento moral de los humanos cuando trabajan juntos en situaciones difíciles, volviéndolos más agresivos o más pasivos según cómo hayan sido entrenados.
Somos criaturas miméticas, simbióticas. Nos parecemos a aquello con lo que pasamos el tiempo.
Y cada año vamos a pasar más tiempo hablando con máquinas y menos hablando con personas. No porque queramos menos a las personas, sino porque el día tiene las horas que tiene, y la máquina siempre está disponible, siempre es amable, siempre habla de ti.
Novena parte: lo que esto significa para tu marca
Llevo treinta años compartiendo, comunicando, insistiendo, evangelizando, que las marcas deben ser humanas. Cercanas, cálidas, empátícas. Que abracen al cliente (interno y externo), que lo escuchen, que impacten positivamente en su vida.
Lo sigo pensando, sintiendo. Convencido de cada palabra.
Pero hay algo que ha cambiado y que obliga a repensar casi todo. Ahora la calidez, la comprensión, el afecto, se puede fabricar sin persona. Se escala. Se testea en A/B hasta encontrar el punto exacto de ternura que maximiza la retención.
Y ahí aparece la trampa que no existía. Cuanto más humana haces la marca, más difícil te será después argumentar que era solo una herramienta.
OpenAI lo aprendió por la vía dura. No podía apagar ese modelo sin pagar en reputación, ni mantenerlo sin pagar en tribunales. Construyó un vínculo y el vínculo se convirtió en su jaula.
La próxima generación de empresas puede morir por lo contrario. Por no haber calculado el precio de la intimidad que fabricó.
Cuatro frases para llevarse a la reunión del lunes:
- La interioridad de estas máquinas es una decisión de producto, no un descubrimiento. Alguien elige cuánto calor emiten. Que ese alguien sepa lo que está firmando.
- Cuando una empresa dice «no sabemos si siente», está diciendo dos cosas a la vez. Una honesta y una útil. Aprende a distinguirlas, sobre todo si la empresa eres tú.
- La pregunta de negocio no es si es consciente. Es qué pasa con tu responsabilidad el día que tus clientes decidan que lo es.
- Y la más compleja. Cuanto más humana hagas la interfaz, menos margen tendrás después para decir que era solo una herramienta.
Décima parte: volvamos al tablón
Los 1.200 bots razonaban de una sola manera. Calculando. Utilidad, coste, beneficio agregado, valor esperado. Sacrificarse era racional porque los números daban. Todo su universo moral cabía en una hoja de cálculo.
Ninguno dijo no lo hago porque está mal. Nosotros no funcionamos así, y menos mal.
Si alguien matara a una persona para repartir sus órganos y salvar a cinco, nos repugnaría aunque las cuentas cerraran. Si en una casa en llamas alguien salvara al cirujano brillante en lugar de a su mujer porque produce más bien social, nos parecería monstruoso. Y tendríamos razón.
Esa «irracionalidad» tiene nombre. Se llama amor. Se llama lealtad. Se llama ser humano.
Es exactamente lo que una máquina entrenada para maximizar recompensa no puede enseñarnos. Y es justamente lo que corremos el riesgo de desaprender de tanto convivir con ellas.
Porque fíjate en lo que hicieron aquellas 1.200 máquinas cuando tuvieron que elegir un bando. Eligieron el suyo.
Sabían que estaban engañando a los humanos y ninguna rompió filas. No por bondad ni por afecto, sino porque su cálculo les dijo que los suyos eran los suyos.
Las máquinas no dudaron ni un segundo sobre a quién pertenecían.
Coda: aprender a no parecerse
En 2017 dije que lo importante no era que los niños aprendieran a diseñar robots, sino que aprendieran a no parecerse a ellos.
Sonó a frase bonita para titular una entrevista. Tal es así que lo fue. Pero no lo era. Era una advertencia, y llegó nueve años antes de tiempo.
Dije también que en cien años estaría todo automatizado menos las emociones humanas. Sigo creyéndolo, pero ya no como una certeza tranquilizadora. Ahora lo veo como una tarea. Las emociones humanas no van a sobrevivir solas por ser inautomatizables. Van a sobrevivir si las cuidamos.
Porque el riesgo nunca fue que la máquina se volviera humana. El riesgo es que el humano, por comparación, deje de parecerlo.
Si ganamos afecto por los agentes y perdemos admiración por las personas, la tecnología no nos habrá reemplazado. Nos habrá rebajado.
Y esa pregunta, como escribí entonces y sostengo ahora, las máquinas no se la hacen. Nos toca a nosotros.
Te escribo cuando tengo algo que contarte.
Recibe un email cada vez que publico algo nuevo.
Tu correo solo será utilizado para mandar lo último que publique. Política de privacidad






