Barrapunto

Tan probable como que si se da un tipo de arma capaz de destruir la humanidad entera, el Ser humano, al conocer el peligro, limite la construcción de esas armas.

¿Y cuál es la semejanza? No voy por ahí, sino que ante una inteligencia sobrehumana, si te dicen que la respuesta a la vida es 43, o que lo óptimo para el planeta es que el virus de la raza humana muera, o cualquier decisión trascendente, ¿cómo sabes que la intención última es el beneficio de la humanidad y su entorno, sino programando un algoritmo que cuadre con los valores humanos, y por tanto necesite de variables cuya elección, al ser humana, ya parten con un defecto de concepción?.

Hasta ahora los crecimientos exponenciales han tenido un límite porque dependían de algún recurso finito. En el caso de la singularidad el recurso es la inteligencia.

Hablas de conceptos muy abstractos, y no me parece mal, pero se pierde el fondo ¿qué es la inteligencia ilimitada? ¿Acaso no están establecidos los procesos lógicos del pensamiento, y lo que resta son mayores conexiones cibernéticas? Y cuando objetivamente se tengan en cuenta TODAS las variables y se disponga de un resultado, ¿quién se atreve a elegir un camino u otro en un mar de probabilidades, siendo varias elecciones válidas o probablemente exitosas? Al final vuelve a estar en manos de un humano decidir.

La IA sobrehumana puede servirnos para profundizar en el fractal llamado ciencia, pero la política (toma de decisiones), será igual de desastrosa y primarán intereses ajenos a la intención original. Y si no, dile a los políticos que a partir de ahora nos vamos a dejar gobernar por una súper IA (y dejarles sin trabajo), a ver si les apetece cambiar las leyes y la constitución.

En todo momento das por supuesto la finalidad de la IA es el beneficio de la humanidad. Visto así es evidente que la IA necesariamente tiene que estar supervisada por la inteligencia humana que debe ser quien toma las decisiones.
Pero no hay ningún motivo para creer que va a ser así. Nadie sabe si será posible crear una inteligencia artificial (de verdad) y como de inteligente será, pero desde luego es poco probable que su límite sea el beneficio de la humanidad.