Return to Video

機器不該擁有致命決策的權力

  • 0:00 - 0:03
    我寫驚悚科幻小說
  • 0:03 - 0:06
    所以如果我談到「殺手機器人」
  • 0:06 - 0:08
    你可能會覺得是這樣的東西
  • 0:08 - 0:10
    但事實上我不是來這裡談論小說的
  • 0:10 - 0:13
    我是來這裡談論真正的殺手機器人
  • 0:13 - 0:17
    自主的無人戰機
  • 0:17 - 0:20
    我的意思不是掠奪者或是收割者無人戰機
  • 0:20 - 0:23
    由人類來決定目標
  • 0:23 - 0:27
    我說的是全自動的機械武器
  • 0:27 - 0:29
    能有自主性的對人類做出致命性的決策
  • 0:29 - 0:32
    不倚靠人類
  • 0:32 - 0:36
    這有個專門術語：致命自主
  • 0:36 - 0:38
    致命性自主殺手機器人
  • 0:38 - 0:42
    有多種模式－飛行、陸行
  • 0:42 - 0:44
    或只是待命
  • 0:44 - 0:47
    事實上它們很快就要問世了
  • 0:47 - 0:50
    這是兩座自動狙擊台
  • 0:50 - 0:54
    目前部署在南北韓非軍事區
  • 0:54 - 0:56
    這兩台機器都是自動的
  • 0:56 - 1:00
    能夠辨識人類的位置並開火射擊
  • 1:00 - 1:04
    左邊這台能瞄準超過一公里
  • 1:04 - 1:08
    這兩座狙擊台都還是有人力介入
  • 1:08 - 1:10
    來下達致命攻擊的決策
  • 1:10 - 1:15
    但並不是技術上的需要，而是選項
  • 1:15 - 1:19
    這個選項就是我的重點
  • 1:19 - 1:21
    因為當我們將致命決策權
  • 1:21 - 1:24
    由人類轉移到軟體設備
  • 1:24 - 1:28
    我們冒的風險不僅是將人性抽離戰爭
  • 1:28 - 1:31
    同時也完全改變了我們的社會景觀
  • 1:31 - 1:33
    遠遠不是戰場可以形容的
  • 1:33 - 1:38
    因為人類解決衝突的方法
  • 1:38 - 1:40
    塑造了我們社會的樣貌
  • 1:40 - 1:42
    自古以來皆是如此
  • 1:42 - 1:45
    好比說這些是西元1400年時
  • 1:45 - 1:47
    最先進的武器系統
  • 1:47 - 1:50
    儘管建造、保養代價高昂
  • 1:50 - 1:53
    但是透過這些武器我們可以統治群眾
  • 1:53 - 1:57
    封建社會下政治力量的分布顯示了這一點
  • 1:57 - 2:00
    力量集中在最頂端
  • 2:00 - 2:04
    什麼改變了？科技革新
  • 2:04 - 2:05
    火藥、大砲
  • 2:05 - 2:09
    不久之後，盔甲和城堡就被淘汰了
  • 2:09 - 2:12
    戰場上有什麼士兵不重要
  • 2:12 - 2:16
    數量有多少才是關鍵
  • 2:16 - 2:19
    當軍隊壯大之後，出現了民族國家
  • 2:19 - 2:23
    來滿足政治及後勤方面在防禦上的需求
  • 2:23 - 2:25
    當領導人必須更加倚靠他們的人民
  • 2:25 - 2:27
    就會開始分權
  • 2:27 - 2:30
    代議政府開始成形
  • 2:30 - 2:33
    再一次，我們用來解決衝突的工具
  • 2:33 - 2:36
    塑造了我們社會的樣貌
  • 2:36 - 2:40
    自主機械武器就是這種工具
  • 2:40 - 2:46
    但是因為發動戰爭所需的人數不多
  • 2:46 - 2:50
    有極少數人再度集權統治的風險
  • 2:50 - 2:57
    可能讓五百年來民主化的趨勢走回頭路
  • 2:57 - 2:59
    我想，了解了之後
  • 2:59 - 3:03
    我們可以果斷的維持民主制度
  • 3:03 - 3:07
    來做我們人類最擅長的事，那就是適應環境
  • 3:07 - 3:09
    但時間是一個因素
  • 3:09 - 3:12
    有七十個國家正在研發
  • 3:12 - 3:14
    他們自己的遠程無人戰鬥機
  • 3:14 - 3:17
    如你所見，遠程無人戰鬥機
  • 3:17 - 3:21
    正是自主機械武器的前身
  • 3:21 - 3:24
    因為一旦部屬了遠程無人戰鬥機
  • 3:24 - 3:27
    就會有三個強而有力的因素
  • 3:27 - 3:32
    迫使人們把決定權交給武器平台本身
  • 3:32 - 3:37
    第一個因素是無人戰機所拍攝的大量影像
  • 3:37 - 3:41
    像是在2004年，美國的無人機艦隊
  • 3:41 - 3:46
    拍攝了長達71小時的影像監控以供分析之用
  • 3:46 - 3:51
    到了2011年，影像長度增為30萬小時
  • 3:51 - 3:54
    超出人類檢視所有影像的能力
  • 3:54 - 3:58
    但即使數字之大，它依然大幅成長
  • 3:58 - 4:00
    五角大廈的「戈爾貢之眼(Gorgon Stare)」和
    「百眼巨人(Argus)」計畫
  • 4:00 - 4:03
    將會有65台獨立運作的攝影機
  • 4:03 - 4:05
    安裝在每架無人飛機上
  • 4:05 - 4:09
    而這將大幅超越人類所能檢視的能力
  • 4:09 - 4:11
    這意味著視覺智慧軟體必須掃描影像
  • 4:11 - 4:15
    找出我們感興趣的部分
  • 4:15 - 4:16
    這表示不久後無人飛機
  • 4:16 - 4:19
    將會告訴人類該看哪些部分
  • 4:19 - 4:21
    而非由人類來決定
  • 4:21 - 4:24
    還有第二個動機
  • 4:24 - 4:27
    迫使我們把決定權交給機器
  • 4:27 - 4:30
    那就是電磁干擾
  • 4:30 - 4:32
    它會切斷無人飛機
  • 4:32 - 4:35
    和操作員的連線
  • 4:35 - 4:38
    我們現在看到的例子是在2011年
  • 4:38 - 4:41
    美國的RQ-170哨兵式(Sentinel)無人飛機
  • 4:41 - 4:45
    在伊朗上空因為GPS受到欺騙攻擊而陷入混亂
  • 4:45 - 4:50
    這種攻擊對任何遠程無人飛機都有效
  • 4:50 - 4:52
    這表示無人飛機
  • 4:52 - 4:56
    必須去承擔更多決策
  • 4:56 - 4:59
    它們會知道它們的任務目標
  • 4:59 - 5:04
    沒有人類指導也能對新的狀況作出反應
  • 5:04 - 5:06
    它們會忽視外來的無線電訊號
  • 5:06 - 5:09
    只發出極少量的無線電訊號
  • 5:09 - 5:11
    這牽扯到第三個因素
  • 5:11 - 5:15
    也是最強烈的誘因
  • 5:15 - 5:18
    促使我們將決定權交給武器
  • 5:18 - 5:21
    那就是貌似合理的推託
  • 5:21 - 5:24
    我們生活在一個全球經濟體下
  • 5:24 - 5:28
    大部分的地方都有高科技工業
  • 5:28 - 5:31
    網路間諜正在將先進的科技
  • 5:31 - 5:33
    帶到未知的地方
  • 5:33 - 5:35
    在這種環境下很有可能
  • 5:35 - 5:40
    成功的無人飛機設計，在灰市中量產
  • 5:40 - 5:42
    擊敗取得授權的工廠
  • 5:42 - 5:45
    如此一來，即使仔細調查
  • 5:45 - 5:48
    無人機自殺攻擊的殘骸
  • 5:48 - 5:52
    也難以斷定是誰發射這個武器
  • 5:52 - 5:55
    這就很有可能
  • 5:55 - 5:58
    會引起匿名戰爭
  • 5:58 - 6:00
    可能會讓地緣政治傾向一頭
  • 6:00 - 6:04
    讓一個國家難以將它的炮火對準攻擊者
  • 6:04 - 6:07
    也會讓21世紀的維持的平衡
  • 6:07 - 6:10
    由防禦轉為侵略
  • 6:10 - 6:14
    使得軍事行動變成可行的選項
  • 6:14 - 6:16
    不只是小國
  • 6:16 - 6:18
    還有犯罪組織、私人企業
  • 6:18 - 6:21
    甚至是有權力的人都能這麼做
  • 6:21 - 6:24
    這樣可能會引發軍閥割據的混戰
  • 6:24 - 6:28
    破壞法律規範及文明社會
  • 6:28 - 6:31
    如果責任感以及透明度
  • 6:31 - 6:34
    是代議政治的兩塊基石
  • 6:34 - 6:38
    自主機械武器會破壞這兩者
  • 6:38 - 6:40
    你現在可能會覺得
  • 6:40 - 6:42
    高科技國家的人民
  • 6:42 - 6:45
    在機械戰爭中佔有優勢
  • 6:45 - 6:48
    這些國家的人民比較不容易受傷害
  • 6:48 - 6:53
    尤其是對抗發展中國家的時候
  • 6:53 - 6:56
    但是我認為事實剛好相反
  • 6:56 - 6:58
    我認為高科技社會的人民
  • 6:58 - 7:02
    更容易受到機械武器傷害
  • 7:02 - 7:07
    其原因可以用兩個字來說明：資料
  • 7:07 - 7:10
    資料壯大了高科技社會
  • 7:10 - 7:13
    手機定位、電訊後設資料
  • 7:13 - 7:17
    社交媒體、電子郵件、簡訊、金融交易資料
  • 7:17 - 7:20
    和運輸資料等，都是大量的即時資料
  • 7:20 - 7:24
    記載著人類的社交活動
  • 7:24 - 7:27
    簡單來說，比其任何其他時代
  • 7:27 - 7:30
    機器對人類來說更顯而易見
  • 7:30 - 7:35
    而這正好符合了自動武器的目標需求
  • 7:35 - 7:37
    大家現在看到的
  • 7:37 - 7:40
    是社會團體的連結分析圖
  • 7:40 - 7:44
    線段代表著人與人之間的社會連結
  • 7:44 - 7:47
    這類的圖只要依據現代人所留下的資料
  • 7:47 - 7:51
    就能夠自動產生
  • 7:51 - 7:54
    現在它應用於商品與服務的行銷
  • 7:54 - 7:58
    來統計目標群體，但這是雙面科技
  • 7:58 - 8:02
    因為目標的鎖定可應用於另外一種情況
  • 8:02 - 8:04
    我們注意到某些人是特別顯著的
  • 8:04 - 8:08
    他們是社會網絡的樞紐
  • 8:08 - 8:11
    他們是組織者、輿論製造者、領導者
  • 8:11 - 8:14
    而這些人依據他們的溝通模式
  • 8:14 - 8:16
    我們也能夠自動辨識
  • 8:16 - 8:18
    如果現在你是一位營銷員，你可能將試用產品
  • 8:18 - 8:21
    鎖定這些人，試著把你的品牌
  • 8:21 - 8:24
    推廣到他們的社會團體中
  • 8:24 - 8:26
    但如果你是專制的政府
  • 8:26 - 8:30
    在搜尋政敵，你可能反而會除掉他們
  • 8:30 - 8:33
    消滅他們、破壞他們的社會團體
  • 8:33 - 8:36
    而剩下來的人就會失去他們的社會連結
  • 8:36 - 8:39
    以及社群組織
  • 8:39 - 8:42
    在一個機械武器便宜、氾濫的世界
  • 8:42 - 8:45
    國界的保護微不足道
  • 8:45 - 8:47
    無法防衛遠方政府的批評者
  • 8:47 - 8:51
    或是跨國犯罪組織
  • 8:51 - 8:54
    鼓吹改革的群眾運動
  • 8:54 - 8:58
    在大眾充分了解其訴求之前
  • 8:58 - 9:01
    就會被察覺，並將其領導人消滅
  • 9:01 - 9:03
    而充分的把想法傳達給大眾
  • 9:03 - 9:07
    正是一般政治激進主義政府所追求的
  • 9:07 - 9:11
    匿名的致命武器能夠讓致命行動
  • 9:11 - 9:15
    變成所有競爭者一個簡單的選項
  • 9:15 - 9:19
    這會讓民主的核心－言論自由及民眾在政治上行動
  • 9:19 - 9:24
    轉為冷漠
  • 9:24 - 9:27
    這也就是為什麼我們需要國際公約
  • 9:27 - 9:30
    來規範機械武器，特別是
  • 9:30 - 9:34
    全球皆禁止研發及部屬殺手機器人
  • 9:34 - 9:38
    現在我們已經有國際公約
  • 9:38 - 9:41
    來規範核武及生物武器，雖然並不完美
  • 9:41 - 9:43
    但卻很有效
  • 9:43 - 9:47
    但是機械武器完全就是個危險的東西
  • 9:47 - 9:50
    因為它們幾乎一定會被使用
  • 9:50 - 9:55
    也會侵蝕我們的民主制度
  • 9:55 - 9:59
    2012年11月，美國國防部
  • 9:59 - 10:01
    直接要求
  • 10:01 - 10:06
    所有致命決策都必須有人類參與其中
  • 10:06 - 10:11
    這暫時有效防止美軍的自主武器
  • 10:11 - 10:14
    但是這個要求必須永久有效
  • 10:14 - 10:19
    它也可以為全球立法行動鋪路
  • 10:19 - 10:22
    因為我們需要國際性的法律架構
  • 10:22 - 10:25
    來規範機械武器
  • 10:25 - 10:28
    我們現在就需要，以免毀滅性的恐怖攻擊事件
  • 10:28 - 10:31
    讓世界上的國家
  • 10:31 - 10:33
    爭相採用這些武器
  • 10:33 - 10:36
    完全不考慮後果
  • 10:36 - 10:39
    自動機械武器把太強大的力量
  • 10:39 - 10:46
    集中在太少人手中，而他們會威脅到民主本身
  • 10:46 - 10:48
    別誤解了我的意思，我認為
  • 10:48 - 10:51
    這些非武裝的民用無人飛機好用途不少
  • 10:51 - 10:55
    環境監控、搜救、後勤
  • 10:55 - 10:58
    如果我們有機械武器的國際公約
  • 10:58 - 11:01
    我們要如何從自主無人飛機及載具中獲得好處
  • 11:01 - 11:04
    同時又能夠保護我們自己
  • 11:04 - 11:08
    免於違法機械武器的侵害呢
  • 11:08 - 11:13
    我認為機密會變得透明化
  • 11:13 - 11:16
    任何的機器人在公共場所
  • 11:16 - 11:19
    都不得有隱私
  • 11:19 - 11:24
    (掌聲)
  • 11:24 - 11:26
    每一台機器人或無人飛機
  • 11:26 - 11:29
    在工廠裡都要烙上一個加密的身分
  • 11:29 - 11:32
    可以用來追蹤它在公共場所的動向
  • 11:32 - 11:35
    我們的車子有車牌，飛機有機尾編號
  • 11:35 - 11:37
    這是同樣的道理
  • 11:37 - 11:39
    每個市民都可以下載應用程式
  • 11:39 - 11:42
    來顯示無人飛機及自動載具
  • 11:42 - 11:45
    在他們附近的公共空間移動的數量
  • 11:45 - 11:48
    不論是過去或是現在
  • 11:48 - 11:51
    領導者應該要部屬感應器還有民用無人飛機
  • 11:51 - 11:53
    來偵測圖謀不軌的無人飛機
  • 11:53 - 11:57
    而且不是直接派自己的無人攻擊機將它們擊落
  • 11:57 - 12:00
    而是應該告知人們這些無人飛機的存在
  • 12:00 - 12:02
    在確定是高安全性的地區
  • 12:02 - 12:04
    或許民用無人飛機
  • 12:04 - 12:07
    可以將它們引導到炸彈處理設施
  • 12:07 - 12:10
    但要注意的是，這比較像是免疫系統
  • 12:10 - 12:11
    而不是武器系統
  • 12:11 - 12:14
    如此就可以讓我們
  • 12:14 - 12:16
    獲得自主載具與無人飛機所帶來的好處
  • 12:16 - 12:20
    同時保有我們開放、文明的社會
  • 12:20 - 12:23
    我們必須禁止研發及部屬
  • 12:23 - 12:25
    殺手機器人
  • 12:25 - 12:30
    我們不會屈服於自動化戰爭的誘惑
  • 12:30 - 12:33
    專制政府及犯罪組織一定會屈服
  • 12:33 - 12:36
    但是我們不會加入他們
  • 12:36 - 12:38
    自主機械武器
  • 12:38 - 12:40
    將過多權力
  • 12:40 - 12:42
    集中到極少數看不見的手中
  • 12:42 - 12:45
    而那會侵蝕代議政府
  • 12:45 - 12:48
    我們要保證，至少為了民主的理由
  • 12:48 - 12:51
    讓殺手機器人留在小說裡吧
  • 12:51 - 12:52
    謝謝
  • 12:52 - 12:57
    (掌聲)
  • 12:57 - 13:01
    謝謝 (掌聲)
Title:
機器不該擁有致命決策的權力
Speaker:
Daniel Suarez
Description:

身為一位科幻小說家，Daniel Suarez 講述了未來反烏托邦的故事。但在 TEDGlobal 的演講台上，他透過真實生活中的情境，來談論我們都需要更進一步了解的事：自主機械武器的興起。他認為，先進的無人飛機、自主的武器，及具有人工智慧的情報工具都將使得人性從戰爭中抽離。
more » « less
Video Language:
English
Team:
closed TED
Project:
TEDTalks
Duration:
13:20

  • Yi-Ting Chung

    I think punctuation is not needed at the end of every sentence, and the sentence should not be too long. Also, be careful about the number.

Chinese, Traditional subtitles

Revisions

Our website uses cookies for analysis purposes.