Daniel Suarez: La decisión de matar no la debe tomar un robot

Como novelista, Daniel Suarez cuenta distopías del futuro. Pero en el escenario de TED Global, nos habla de una situación de la vida real de la que todos necesitamos saber más: el aumento de las armas robóticas autónomas de guerra. Los aviones no tripulados avanzados o 'drones', las armas automáticas y las herramientas de inteligencia artificial, sugiere, podrían tomar la decisión de hacer la guerra sin la intervención de los seres humanos.

Escribo novelas de suspenso
de ciencia ficción,

así que si digo
"robots asesinos",

probablemente podrían
pensar en algo así.

Pero en realidad no estoy
aquí para hablar de ficción.

Estoy aquí para hablar de
robots asesinos muy reales,

"drones" de combate autónomos.

Y no me refiero a robots
depredadores ni exterminadores,

que tienen a un humano tomando
decisiones de sus objetivos.

Estoy hablando de armas
robóticas totalmente autónomas

que toman decisiones
letales sobre seres humanos

por su propia cuenta.

De hecho existe un término
técnico para esto: autonomía letal.

Ahora, los robots asesinos
letales autónomos

pueden actuar de muchas
formas: volando, conduciendo,

o simplemente esperando al acecho.

Y la verdad es que se están convirtiendo
rápidamente en una realidad.

Estas son dos estaciones
automáticas de disparo

desplegadas actualmente en la zona
desmilitarizada entre Corea del Norte y del Sur

Ambas máquinas son
capaces de identificar

automáticamente un objetivo
humano y disparar contra él,

la de la izquierda a una distancia
de más de un kilómetro.

En ambos casos, todavía hay
un ser humano en el proceso

para tomar esa decisión
de disparo letal

pero no es un requisito
tecnológico, es una opción.

Y es en esa opción en
la que quiero centrarme,

porque cuando desplazamos
la toma de decisiones letales

de los humanos al software,

corremos el riesgo no sólo de
sacar a la humanidad de la guerra,

sino también el de cambiar
nuestro panorama social completamente,

lejos del campo de batalla.

Eso es porque la manera en que
los humanos resolvemos los conflictos

moldea nuestro panorama social.

Y así ha sido siempre
a lo largo de la historia.

Por ejemplo, estos eran los sistemas
de armamento más avanzados

en 1400 D.C.

El costo de la construcción y el mantenimiento
de ambos era muy elevados,

pero con ellos se podía
dominar a la población,

y eso se reflejaba en la distribución
del poder político en la sociedad feudal.

El poder ocupó un lugar primordial.

Y ¿qué cambió?
La innovación tecnológica.

Pólvora, cañón.

Y muy pronto, la armadura y
los castillos fueron obsoletos,

e importó menos a quién
se traía al campo de batalla

versus cuánta gente se traía
al campo de batalla.

Y conforme los ejércitos crecieron
en tamaño, los Estado-naciones surgieron

como un requisito político
y logístico de defensa.

Y conforme los líderes tuvieron
que depender más de su población,

empezaron a compartir el poder.

Se comenzó a formar
el gobierno representativo.

Repito, las herramientas que
utilizamos para resolver conflictos

dan forma a nuestro panorama social.

Las armas robóticas autónomas
son esas herramientas,

salvo que, al exigir que muy pocas
personas vayan a la guerra,

se corre el riesgo de re-centralizar
el poder en muy pocas manos,

posiblemente revirtiendo una tendencia
de cinco siglos hacia la democracia.

Creo que, sabiendo esto,

podemos tomar medidas decisivas para
preservar nuestras instituciones democráticas,

para hacer lo que los seres humanos
saben hacer mejor, que es adaptarse.

Pero el tiempo es un factor.

Setenta naciones están
desarrollando sus propios robots

de combate controlados a distancia

y como veremos, los drones de
combate controlados remotamente

son los precursores de
las armas robóticas autónomas.

Eso es porque una vez se han desplegado
drones piloteados remotamente

hay tres factores poderosos que
influyen en la toma de decisiones

lejos de los humanos y en
la misma plataforma del arma.

El primero de ellos es el diluvio
de vídeos que producen los robots.

Por ejemplo, en 2004, la flota de
drones de los Estados Unidos produjo

un total de 71 horas de vigilancia
con video para el análisis.

En el 2011, ésta se había
elevado a 300 mil horas,

superando la capacidad
humana para revisarla toda,

y aun ese número está a punto
de subir drásticamente.

El Gorgon Stare y los programas
Argus del Pentágono

pondrán hasta 65 cámaras que
operan independientemente

en cada plataforma de los drones,

y esto superaría enormemente
la capacidad humana para revisarlas.

Y eso significa que se necesitará
software de inteligencia visual

para escanear elementos de interés.

Y eso significa que muy pronto

los drones dirán a
los humanos qué mirar,

y no al revés.

Pero hay un segundo incentivo
poderoso que aleja

la toma de decisiones de los humanos
y la acerca a las máquinas,

y es la interferencia electromagnética,

cortando la conexión entre el robot

y su operador.

Vimos un ejemplo
de esto en 2011

Cuando un dron RQ-170
Sentinel norteamericano

se confundió en Irán debido a
un ataque de "suplantación" de GPS,

pero cualquier robot controlado remotamente
es susceptible a este tipo de ataques,

y eso significa que los drones

tendrán que asumir
más la toma de decisiones.

Sabrán el objetivo de la misión,

y reaccionarán a nuevas
circunstancias sin ayuda humana.

Ignorarán las señales de radio externas

y enviarán muy pocas suyas.

Lo que nos lleva,
realmente, al tercer

y más poderoso incentivo
de llevar la toma de decisiones

de los seres humanos a las armas:

negación plausible.

Vivimos en una economía global.

La fabricación de alta tecnología ocurre
en la mayoría de los continentes.

El ciberespionaje está impulsando
diseños muy avanzados

a lugares desconocidos,

y en ese ambiente,
es muy probable

que un diseño exitoso de drones
se reproduzca en fábricas contratadas,

y prolifere en el mercado negro.

Y en esa situación,
al investigar en los restos

de un ataque suicida de drone,
será muy difícil decir

quién envió esa arma.

Esto plantea la posibilidad muy real

de una guerra anónima.

Esto podría poner el equilibrio
geopolítico de cabeza,

y que a una nación le resulte
muy difícil activar su potencia de ataque

contra un atacante, lo cual
podría inclinar la balanza

en el siglo XXI de
la defensa hacia la ofensiva.

Podría hacer de la acción
militar una opción viable

no sólo para las naciones pequeñas,

sino para las organizaciones
criminales, las empresas privadas,

e incluso para individuos poderosos.

Podría crear un paisaje
de caudillos rivales

socavando el estado de
derecho y la sociedad civil.

Si la responsabilidad y la transparencia

son dos de los pilares
del gobierno representativo,

las armas robóticas autónomas
podrían socavar a ambos.

Pueden estar pensando que

los ciudadanos de naciones
con alta tecnología

tendrían la ventaja en
cualquier guerra robótica,

que los ciudadanos de esas naciones
serían menos vulnerables,

particularmente contra
los países en desarrollo.

Pero creo que en realidad
es exactamente lo contrario.

Creo que los ciudadanos de
las sociedades de alta tecnología

son más vulnerables
a las armas robóticas,

y la razón puede resumirse
en una palabra: datos.

Los datos empoderan a las
sociedades de alta tecnología.

Geolocalización por teléfono celular,
metadatos de telecomunicaciones,

redes sociales, correo electrónico, mensajes
de texto, datos de transacciones financieras,

datos de transporte, es una riqueza
de datos en tiempo real

sobre los movimientos y las interacciones
sociales de las personas.

En resumen, somos
más visibles para las máquinas

que ninguna otra persona
en la historia, y esto se adapta

perfectamente a las necesidades
de selección de las armas autónomas.

Lo que están viendo aquí

es un mapa de análisis de
los vínculos de un grupo social.

Las líneas indican la conectividad
social entre individuos.

Y estos tipos de mapas se pueden
generar automáticamente

basados en la la estela de datos
que la gente moderna deja.

Esto se utiliza normalmente para
el mercadeo de bienes y servicios

a un grupo objetivo específico,
pero esta es una tecnología de doble uso,

porque se define un grupo
objetivo en otro contexto.

Tenga en cuenta que
ciertos individuos sobresalen.

Estos son los ejes de las redes sociales.

Estos son los organizadores,
los creadores de opinión, los líderes,

y a estas personas también
se les puede identificar automáticamente

por sus patrones de comunicación.

En el caso de un vendedor,
este podría seleccionarlos

con muestras de productos,
intentando difundir su marca

a través de su grupo social.

Pero un gobierno represivo

buscando enemigos políticos
podría en cambio removerlos,

eliminarlos, destruir
su grupo social,

y aquellos que queden
perderían cohesión social

y organización.

En un mundo en que proliferan
las armas robóticas baratas,

las fronteras ofrecerían
muy poca protección

a los críticos de
los gobiernos distantes

o de organizaciones
criminales transnacionales.

Los movimientos populares
que buscan el cambio

puede detectarse tempranamente
para eliminar a sus líderes

antes de que sus ideas
adquieran masa crítica.

Y de lo que se trata en
un gobierno popular es

que las ideas alcancen masa critica.

Las armas letales anónimas
podrían hacer de la acción letal

una opción fácil para todo
tipo de intereses en juego.

Y esto pondría en jaque
a la libertad de expresión

y a la acción política popular,
la esencia de la democracia.

Y por esta razón necesitamos
un tratado internacional

sobre las armas robóticas y en
particular una prohibición mundial

sobre el desarrollo y
el despliegue de robots asesinos.

Ya tenemos tratados internacionales

sobre armas nucleares y biológicas,
que aunque imperfectos,

han funcionado en gran medida.

Pero las armas robóticas
pueden ser igual de peligrosas,

porque muy seguramente se utilizarán,

y también serían dañinas para
nuestras instituciones democráticas.

En noviembre de 2012, el Departamento
de Defensa de los Estados Unidos

emitió una directiva que exige

que un ser humano esté presente
en todas las decisiones letales.

Esto prohibió efectiva aunque temporalmente
las armas autónomas en el ejército estadounidense,

pero dicha directiva
debe hacerse permanente.

Y podría sentar las bases
para la acción global.

Porque necesitamos un
marco jurídico internacional

sobre armas robóticas.

Y lo necesitamos ahora,
antes de un ataque devastador

o un incidente terrorista que
haga que las naciones del mundo

se vean obligadas
a adoptar estas armas

antes de pensar
en las consecuencias.

Las armas robóticas autónomas
concentran demasiado poder

en muy pocas manos y pondría
en peligro la propia democracia.

No me malinterpreten,
creo que hay toneladas

de aplicaciones geniales para
los drones civiles desarmados:

control ambiental, búsqueda
y rescate, logística.

Si tenemos un tratado internacional
sobre armas robóticas,

¿cómo obtenemos los beneficios
de los drones y vehículos

autónomos y al mismo
tiempo nos protegernos

contra las armas robóticas ilegales?

Creo que el secreto
será la transparencia.

No debería existir una expectativa
de privacidad de un robot

en un lugar público.

(Aplausos)

Cada robot y drone deben tener

una identificación de fábrica
firmada criptográficamente

que pueda utilizarse para seguir
sus movimientos en los espacios públicos.

Tenemos placas en los coches,
números de matricula en los aviones.

Esto no es diferente.

Y todos los ciudadanos deberían
poder descargar una aplicación

que muestre la población de
drones y vehículos autónomos

moviéndose a través de espacios
públicos alrededor de ellos,

tanto en ese momento
como en un histórico.

Y los líderes civiles deben
desplegar sensores y drones civiles

para detectar los drones no autorizados,

y en lugar de enviar drones
asesinos propios para derribarlos,

deben notificar a
los humanos de su presencia.

Y en ciertas áreas
de muy alta seguridad,

tal vez los drones
civiles deban capturarlos

y arrastrarlos a una instalación
de eliminación de explosivos.

Pero tengan en cuenta que esto
es más un sistema inmunológico

que un sistema de armas.

Esto nos permitiría
valernos del uso

de drones y vehículos autónomos

y al mismo tiempo salvaguardar
nuestra abierta sociedad civil.

Hay que prohibir
el despliegue y desarrollo

de robots asesinos.

No caigamos en la tentación
de automatizar la guerra.

Los gobiernos autocráticos y
las organizaciones criminales

sin duda lo harán, pero nosotros no.

Las armas robóticas autónomas

concentrarían demasiado poder

en muy pocas manos invisibles,

y eso sería corrosivo para
un gobierno representativo.

Asegurémonos de que al
menos para las democracias,

los robots asesinos
sigan siendo ficción.

Gracias.

(Aplausos)

Gracias. (Aplausos)