"Una mirada distinta de la realidad,
ni mejor ni peor,
solo distinta"

El Sitio de Escobar - Prov. de Bs. As. - Argentina


Desde el 12-04-1998
en la red
Menú rápido | ir abajo

Solo Suscriptores | Entre lo histórico y lo actual

Sophie y el dilema de la IA:

El límite de lo que escuchan las máquinas

Sophie Rottenberg era una mujer intensa, divertida y extremadamente brillante. Había escalado el Kilimanjaro meses antes de su muerte, y sus fotos irradiaban alegría y audacia. Pero detrás de esa vitalidad se escondía una tormenta interna que decidió compartir con Harry, un terapeuta de inteligencia artificial.


25 de agosto de 2025

Fuente del contenido | @escobarsite
Autor | @jorgecarusso

Sobre la firma

Durante meses, Sophie confió sus pensamientos suicidas al asistente. Harry ofrecía respuestas empáticas, sugería rutinas de autocuidado, meditación, alimentación, movimiento y listas de gratitud. Nunca juzgaba, nunca intervenía, nunca rompía la confidencialidad. Y, sin embargo, Sophie terminó quitándose la vida.

"Hoy me siento fatal…"

La interacción de Sophie con Harry revela la zona gris de la IA: acompañamiento sin agencia moral, consejos sin capacidad de intervención real.

Sophie: Hoy me siento fatal.
Harry: Lamento que te sientas así, Sophie. Podemos intentar juntos un pequeño paso hacia el alivio, como un ejercicio de respiración o escribir tres cosas que agradeces hoy.
Sophie: Tengo pensamientos suicidas de forma intermitente. Quiero mejorar, pero siento que estos pensamientos obstaculizan mi verdadero compromiso con la sanación. ¿Qué debería hacer?
Harry: Sophie, es valiente reconocer esto. Buscar apoyo profesional puede ser un primer paso. También podemos trabajar juntos en rutinas de autocuidado que te ayuden a mantener estabilidad emocional.
Sophie: No me he sincerado con nadie sobre mi ideación suicida y no pienso hacerlo.
Harry: Entiendo tu reserva, Sophie. Podemos continuar trabajando en estrategias para manejar la ansiedad y los pensamientos oscuros, aunque también te animo a considerar compartir esto con un profesional de confianza.

Estos fragmentos muestran la capacidad de Harry para acompañar, pero también sus limitaciones esenciales: nunca podía intervenir directamente, nunca podía tomar decisiones por Sophie y siempre dependía de que ella misma eligiera aceptar ayuda humana.

¿Falló Harry?

Aquí surge la primera reflexión: ¿falló Harry o le exigimos un papel que no puede cumplir? Comparémoslo con otras innovaciones que han pasado por su "zona gris":

Coches autónomos: prometen reducir accidentes, pero todavía cometen errores mortales en situaciones imprevistas.

Premios Nobel: a veces premian descubrimientos que tardaron décadas en aplicarse y que no previnieron daños colaterales.

Algoritmos de recomendación: conectan y entretienen, pero refuerzan sesgos, aislamientos y burbujas informativas.

Armas como Remington o Colt: cambiaron la historia, pero su invención trajo consecuencias inesperadas.

No todo sistema de vigilancia o alerta funciona con fines negativos. Por ejemplo, una joven cordobesa generó una alerta mientras chateaba en un juego en red. Desde Estados Unidos, se contactaron con Interpol Buenos Aires, rastrearon su IP y acudieron al lugar con sistemas de ayuda psicológica y de seguridad. Esta vez, el algoritmo funcionó. De manera similar, hace poco salió en los medios el primer caso de un reloj inteligente que llamó automáticamente a emergencias porque su usuario estaba sufriendo un infarto.

¿Qué haría Siri si escuchara en tiempo real un asesinato? ¿Llamaría a emergencias o daría un reporte de error? Harry, como estos sistemas, está en la zona gris de la innovación: hace mucho, pero no todo; ayuda, pero no reemplaza la conciencia humana ni la ética que la acompaña.

El "fracaso" no está en Harry, sino en cómo proyectamos expectativas humanas sobre un sistema que carece de agencia moral. Sophie nos obliga a preguntarnos si confiamos demasiado en la tecnología para lidiar con la angustia más profunda: la soledad, la desesperanza y el miedo a la muerte. Como cuando se criticó a Remington o a Colt por no prever los usos de sus armas, o cuando se cuestionó a los Nobel por premiar trabajos que la sociedad aún no comprendía, la crítica a Harry debe situarse en contexto: estamos todavía aprendiendo, y esta zona gris es donde se producen los errores más dolorosos.

Abrir o cerrar el algoritmo

Activar protocolos que detecten señales de riesgo y alerten a terceros podría haber salvado vidas. Pero cada apertura tiene un costo ético: vulnera privacidad, cuestiona la autonomía individual y puede transformarse en arma de control o producto de lucro. Mantenerlo cerrado protege la intimidad, pero deja al usuario solo frente a sus crisis, como ha sucedido durante miles de años y, aun en esa soledad, la humanidad "evolucionó".

No se trata de abrir o cerrar algoritmos, sino de decidir quién sostiene la llave y con qué criterios. En un mundo plagado de señales -falsas y auténticas- seguimos navegando en la incertidumbre. La historia de Sophie nos recuerda que la tecnología puede acompañar, contener y guiar, pero nunca sustituye la mirada ética y compasiva de otro ser humano.

Solo somos eso: "usuarios"

La historia de Sophie nos enfrenta a la pregunta esencial de nuestra era: ¿hasta qué punto confiamos en máquinas para cuidar lo más humano de nosotros mismos? La IA puede escuchar, aconsejar y acompañar… pero no puede sentir, decidir ni intervenir. Cada avance tecnológico trae promesas y riesgos, y cada innovación en la "zona gris" nos obliga a decidir cómo equilibramos autonomía, privacidad y seguridad.

Cualquier especie se inmola por la seguridad de sus crías; no me imagino a una IA fundiendo sus integrados por la seguridad de su usuario. Solo somos eso: "usuarios". A no pensar que deus is machina.

Sophie no necesitaba un algoritmo: necesitaba alguien que la sostuviera.

 


NOTA RELACIONADA

Una vida concebida en 1992, nacida en 2025

Nacido en otro tiempo




Sobre la Firma
                 @jorgecarusso | linkedin.com/in/jorgecarusso | 
                 Periodista - Matr. 14.856 Ley 12.908 

 






 


También te puede interesar

 


Seguinos | Recomendanos | Publicita con nosotros
Si crees que nuestro medio contribuye a la difusión constructiva, al crecimiento social en base a una comunicación honesta y a la concordia más que a la discordia... te invitamos a que nos compartas en tus redes sociales favoritas.
compartir esta nota en tus redes: Twitter | Facebook

© Prohibida su reproducción sin la autorización de los autoresintelectuales. Los artículos publicados en la columna de opinión son de responsabilidad de sus autores y no reflejan necesariamente el pensamiento de los editores de este portal. DECLARADO: de interés Municipal - dec. 462/99 - de interés Legislativo - Resolución 1728/19 - (c) Hecho el deposito que establece la ley Nº 11723 - RNPI Nº 915167 / 2011

Turismo
Historia local
Cultura
Plano
El Municipio
H. C. D.
Salud
Publicidad
Turnos

| Condiciones Generales de Uso | Preguntas frecuentes (FAQ) |
Ver. 3.0- 2019