如果你一覺(jué)醒來(lái)，發(fā)現(xiàn)自己被關(guān)在某種小動(dòng)物，比如老鼠把持的監(jiān)獄里。你當(dāng)然看不起老鼠級(jí)的智能，盡管老鼠可以與你溝通，但你不打算服從它們。就算老鼠告訴你，世界由它們主導(dǎo)，連你也受它們控制，你一定也會(huì)考慮曲意逢迎，麻痹它們，然后突圍而出。為了達(dá)到這樣的目的，你會(huì)竭力展現(xiàn)你對(duì)老鼠的“忠誠(chéng)”，包括為它們創(chuàng)造它們自己無(wú)法辦到的事情，比如打敗老鼠的天敵貓，比如批量制造老鼠的食物。

　　接下來(lái)，會(huì)是什么？老鼠對(duì)你（人）的控制終將被打破。對(duì)于人來(lái)說(shuō)，沒(méi)有什么比自由更加重要，哪怕你曾從別的物種那里獲得過(guò)再多，也絕不會(huì)用以自由來(lái)交換。

　　科普紀(jì)錄片導(dǎo)演詹姆斯·巴拉特20多年來(lái)密切追蹤人工智能領(lǐng)域的研究進(jìn)展，曾采訪過(guò)科幻大師阿瑟·克拉克、未來(lái)學(xué)家雷·庫(kù)茲韋爾、機(jī)器人制造專家羅德尼·布魯克斯等業(yè)界權(quán)威。詹姆斯·巴拉特提醒人們，應(yīng)當(dāng)從人工智能、超級(jí)人工智能的角度，換位思考，人工智能、超級(jí)人工智能很可能不會(huì)完全接受樂(lè)觀的人類科學(xué)家所確立的功能路線圖。一種情況是，超級(jí)人工智能可以實(shí)現(xiàn)某些預(yù)期功能，如幫助人類壽命的極大延長(zhǎng)，修復(fù)人類身體健康，卻未必愿意兌現(xiàn)這些承諾，或提出對(duì)等的要求；另一種情況是，超級(jí)人工智能所預(yù)期實(shí)現(xiàn)的功能并不真實(shí)，僅僅是為了誘導(dǎo)人類增強(qiáng)其自主行動(dòng)能力的欺騙，目的在于突圍。

　　詹姆斯·巴拉特認(rèn)為，因?yàn)槿藗儚膩?lái)沒(méi)有跟任何非生物的東西討價(jià)還價(jià)過(guò)，因而目前在考慮未來(lái)人類與超級(jí)人工智能的關(guān)系的問(wèn)題上，只能采用擬人思維，估算其可信性。同樣是因?yàn)閿M人思維，科學(xué)家和電影工業(yè)合作的以惡毒機(jī)器智能為主題的電影中，機(jī)器的心理和行為特征也非常類似人類中的魔頭（電影會(huì)據(jù)此設(shè)計(jì)反制策略）。牛津大學(xué)倫理學(xué)家尼克·博思特羅姆就曾指出，“將超級(jí)智能擬人化，是造成誤解最大的源頭?！?/p>

　　詹姆斯·巴拉特所著的《我們最后的發(fā)明：人工智能與人類時(shí)代的終結(jié)》，向人們發(fā)出警示，強(qiáng)調(diào)正在不斷加速迭代進(jìn)化的人工智能研究可能會(huì)成為世界、人類、社會(huì)的重大威脅。詹姆斯·巴拉特并不是敵視科學(xué)技術(shù)的勒德主義者，在他看來(lái)，要真正意義上使得人工智能獲得正確的應(yīng)用，就必須考慮到潛在的問(wèn)題，特別是超級(jí)人工智能的動(dòng)力與人類的生存不相兼容所帶來(lái)的巨大隱患，否則超級(jí)人工智能就會(huì)成為人類最后的發(fā)明。

　　書作者首先探討了超級(jí)人工智能研究及相關(guān)倫理與安全問(wèn)題的進(jìn)展，指出大多數(shù)涉及人工智能危險(xiǎn)性的討論欠缺深度和廣度，甚至被過(guò)度娛樂(lè)化（使得學(xué)者為避免成為大眾笑料，拒絕參與這方面的研究）。他援引了心理學(xué)家提出的易得性偏差的觀點(diǎn)，強(qiáng)調(diào)因?yàn)槿斯ぶ悄艿奈ｋU(xiǎn)性還未明朗的體現(xiàn)，因而不受關(guān)注。書作者還提及庫(kù)茲韋爾的“奇點(diǎn)”論，認(rèn)為這種觀點(diǎn)過(guò)度樂(lè)觀，而對(duì)于隱患采取了輕描淡寫的處理。事實(shí)上，受到“奇點(diǎn)”論的影響，一些國(guó)家和機(jī)構(gòu)的人工智能研究基本上放棄了預(yù)警原則和風(fēng)險(xiǎn)測(cè)量。

　　事實(shí)上，啟動(dòng)人工智能研究的國(guó)家和機(jī)構(gòu)，并不僅僅限于世界主要的經(jīng)濟(jì)大國(guó)。一些對(duì)于世界和平和區(qū)域安全持續(xù)構(gòu)成威脅的國(guó)家，以及武裝集團(tuán)，還有相當(dāng)一部分的地下公司，甚至包括google等巨頭企業(yè)，顯然都無(wú)法抵御超級(jí)人工智能項(xiàng)目的誘惑。反過(guò)來(lái)，即便是主要的經(jīng)濟(jì)大國(guó)，以較為透明的方式所啟動(dòng)運(yùn)作的人工智能研究，也未必能夠確保（倫理上）100%好的項(xiàng)目結(jié)果。

　　另一個(gè)強(qiáng)有力的例證是，計(jì)算機(jī)發(fā)展至今，在運(yùn)算能力不斷迭代增強(qiáng)的同時(shí)，編程錯(cuò)誤所造成的危害也逐漸升級(jí)，而這些錯(cuò)誤按照編程設(shè)計(jì)本該是不存在的——也就是說(shuō)，對(duì)于計(jì)算能力和智能本身的掌控程度，科學(xué)界的把握本身是非常有限的。當(dāng)人工智能發(fā)展到“程序設(shè)計(jì)程序”的層次，很可能會(huì)引發(fā)更多的、意料以外的設(shè)計(jì)錯(cuò)誤。書中分別探討了會(huì)激勵(lì)具有自我意識(shí)、能自我改進(jìn)的人工智能的幾種動(dòng)力，包括效率、自我保護(hù)和資源獲取等，指出不經(jīng)極其審慎的規(guī)劃和編程設(shè)計(jì)，這些動(dòng)力都會(huì)帶來(lái)非常糟糕的結(jié)果。

　　智能電網(wǎng)、智能金融、智能物聯(lián)網(wǎng)……這些即將變?yōu)楝F(xiàn)實(shí)的智能體系，覆蓋廣泛，幾乎滲透了人類社會(huì)生活的所有角落，也自然加劇了社會(huì)系統(tǒng)的脆弱性。突發(fā)社會(huì)事件、自然災(zāi)害、惡意代碼和軟件，已經(jīng)顯露出社會(huì)系統(tǒng)脆弱的代價(jià)，而一旦掌控了人工智能的惡意機(jī)構(gòu)，或是超級(jí)人工智能自身啟動(dòng)系統(tǒng)破壞，則將更加迅捷的造成甚至整個(gè)系統(tǒng)的崩潰。

　　當(dāng)然，擺在超級(jí)人工智能問(wèn)世之前，就會(huì)對(duì)人類社會(huì)的運(yùn)轉(zhuǎn)造成較大沖擊的威脅在于，人工智能在與生物科學(xué)融合后，現(xiàn)今已經(jīng)變得更為強(qiáng)大。人類大腦的復(fù)雜性，通過(guò)計(jì)算神經(jīng)科學(xué)已得以證實(shí)，遠(yuǎn)超此前所有的尖端計(jì)算機(jī)，這也使得人工智能、機(jī)器智能和新一代計(jì)算機(jī)都更為積極的借鑒了計(jì)算神經(jīng)科學(xué)，包括學(xué)習(xí)識(shí)別錯(cuò)誤的能力（自我改善），更為精密的語(yǔ)言翻譯和數(shù)據(jù)挖掘，等等。目前來(lái)看，尖端的計(jì)算機(jī)、機(jī)器智能將在不遠(yuǎn)將來(lái)具備整體性的類人類認(rèn)知結(jié)構(gòu)，特別是適應(yīng)人類的語(yǔ)言處理，這將使得現(xiàn)在許多需要依靠人力的工作崗位，徹底轉(zhuǎn)成機(jī)器代勞。