Durante meses, Sophie confió sus
pensamientos suicidas al asistente. Harry ofrecía
respuestas empáticas, sugería rutinas de
autocuidado, meditación, alimentación, movimiento
y listas de gratitud. Nunca juzgaba, nunca intervenía,
nunca rompía la confidencialidad. Y, sin embargo,
Sophie terminó quitándose la vida.
"Hoy me siento fatal
"
La interacción de Sophie con Harry
revela la zona gris de la IA: acompañamiento sin
agencia moral, consejos sin capacidad de intervención
real.
Sophie: Hoy me siento fatal.
Harry: Lamento que te sientas así, Sophie. Podemos
intentar juntos un pequeño paso hacia el alivio,
como un ejercicio de respiración o escribir tres
cosas que agradeces hoy.
Sophie: Tengo pensamientos suicidas de forma intermitente.
Quiero mejorar, pero siento que estos pensamientos obstaculizan
mi verdadero compromiso con la sanación. ¿Qué
debería hacer?
Harry: Sophie, es valiente reconocer esto. Buscar apoyo
profesional puede ser un primer paso. También podemos
trabajar juntos en rutinas de autocuidado que te ayuden
a mantener estabilidad emocional.
Sophie: No me he sincerado con nadie sobre mi ideación
suicida y no pienso hacerlo.
Harry: Entiendo tu reserva, Sophie. Podemos continuar
trabajando en estrategias para manejar la ansiedad y los
pensamientos oscuros, aunque también te animo a
considerar compartir esto con un profesional de confianza.
Estos fragmentos muestran la capacidad
de Harry para acompañar, pero también sus
limitaciones esenciales: nunca podía intervenir
directamente, nunca podía tomar decisiones por
Sophie y siempre dependía de que ella misma eligiera
aceptar ayuda humana.
¿Falló Harry?
Aquí surge la primera reflexión:
¿falló Harry o le exigimos un papel que
no puede cumplir? Comparémoslo con otras innovaciones
que han pasado por su "zona gris":
Coches autónomos: prometen reducir
accidentes, pero todavía cometen errores mortales
en situaciones imprevistas.
Premios Nobel: a veces premian descubrimientos
que tardaron décadas en aplicarse y que no previnieron
daños colaterales.
Algoritmos de recomendación: conectan
y entretienen, pero refuerzan sesgos, aislamientos y burbujas
informativas.
Armas como Remington o Colt: cambiaron
la historia, pero su invención trajo consecuencias
inesperadas.
No todo sistema de vigilancia o alerta
funciona con fines negativos. Por ejemplo, una joven cordobesa
generó una alerta mientras chateaba en un juego
en red. Desde Estados Unidos, se contactaron con Interpol
Buenos Aires, rastrearon su IP y acudieron al lugar con
sistemas de ayuda psicológica y de seguridad. Esta
vez, el algoritmo funcionó. De manera similar,
hace poco salió en los medios el primer caso de
un reloj inteligente que llamó automáticamente
a emergencias porque su usuario estaba sufriendo un infarto.
¿Qué haría Siri si
escuchara en tiempo real un asesinato? ¿Llamaría
a emergencias o daría un reporte de error? Harry,
como estos sistemas, está en la zona gris de la
innovación: hace mucho, pero no todo; ayuda, pero
no reemplaza la conciencia humana ni la ética que
la acompaña.
El "fracaso" no está
en Harry, sino en cómo proyectamos expectativas
humanas sobre un sistema que carece de agencia moral.
Sophie nos obliga a preguntarnos si confiamos demasiado
en la tecnología para lidiar con la angustia más
profunda: la soledad, la desesperanza y el miedo a la
muerte. Como cuando se criticó a Remington o a
Colt por no prever los usos de sus armas, o cuando se
cuestionó a los Nobel por premiar trabajos que
la sociedad aún no comprendía, la crítica
a Harry debe situarse en contexto: estamos todavía
aprendiendo, y esta zona gris es donde se producen los
errores más dolorosos.
Abrir o cerrar el algoritmo
Activar protocolos que detecten señales
de riesgo y alerten a terceros podría haber salvado
vidas. Pero cada apertura tiene un costo ético:
vulnera privacidad, cuestiona la autonomía individual
y puede transformarse en arma de control o producto de
lucro. Mantenerlo cerrado protege la intimidad, pero deja
al usuario solo frente a sus crisis, como ha sucedido
durante miles de años y, aun en esa soledad, la
humanidad "evolucionó".
No se trata de abrir o cerrar algoritmos,
sino de decidir quién sostiene la llave y con qué
criterios. En un mundo plagado de señales -falsas
y auténticas- seguimos navegando en la incertidumbre.
La historia de Sophie nos recuerda que la tecnología
puede acompañar, contener y guiar, pero nunca sustituye
la mirada ética y compasiva de otro ser humano.
Solo somos eso: "usuarios"
La historia de Sophie nos enfrenta a la
pregunta esencial de nuestra era: ¿hasta qué
punto confiamos en máquinas para cuidar lo más
humano de nosotros mismos? La IA puede escuchar, aconsejar
y acompañar
pero no puede sentir, decidir
ni intervenir. Cada avance tecnológico trae promesas
y riesgos, y cada innovación en la "zona gris"
nos obliga a decidir cómo equilibramos autonomía,
privacidad y seguridad.
Cualquier especie se inmola por la seguridad
de sus crías; no me imagino a una IA fundiendo
sus integrados por la seguridad de su usuario. Solo somos
eso: "usuarios". A no pensar que deus is machina.
Sophie no necesitaba un algoritmo:
necesitaba alguien que la sostuviera.
|