。所以我們決定斷開網際網路的連線來建立一個空隙絕緣，但我不得不重申一遍，人類駭客都可以一次次以社會工程跨越這樣的空隙。”
“比如現話的時候，我肯定在這邊的某個僱員在某個時間要求他交出他的賬戶明細，理由是給電腦資訊部門的人，也可以是其他的例子。如果你就是這個人工智慧，可以想象用在你體內環繞複雜纏繞的電極用來創造出一種無線電波來交流。”
“或者你也可以假裝出了問題。這個時候，程式設計師就會把你開啟看看是哪裡出錯了，他們找出原始碼，而在此過程中你就可以獲取控制權了。或者你可以策劃出一個非常誘人的科技藍圖，當我們實現之後，會存在一些作為人工智慧的你已經計劃好的秘密的副作用用於實現你的隱晦目的等，例子是多的數不勝數。”
“所以，任何企圖控制一個超級ai的行為都是極其可笑的，我們不能對我們能夠永遠控制一個超級智慧體而表示出過度的自信，它總有一天會掙脫控制，而到那之後呢，它是否會是一個仁慈的神？”
“我個人認為人工智慧實現人格化是不可避免的問題，所以我想我們更應該需要搞明白一點，即如果，我們創造出了超級ai，哪怕它不受我們的制約。它應該仍然是對我們無害的，它應該是站在我們這一邊的，它應該擁有著與我們一樣的價值觀。”
“那麼對於這個問題能夠被有效的解決是否保持樂觀？”
“我們不需要對超級ai寫下所有我們在乎的事情，甚至把這些事情變成計算機語言，因為這是永遠不可能完成的任務。而應該是，我們創造出的人工智慧用它自己的智慧來學習我們的價值觀，可以激勵它來追求我們的價值觀，或者去做我們會贊成的事情，去解決富有價值的問題。”
“這並非不可能，而是可能的，其結果可以使人類受益匪淺，但它不會是自動發生的，它的價值觀是需要引導的。”
“智慧大爆炸的初始條件，需要從最原始的階段被正確建立起價值觀。”
“如果我們想要一切不被偏離我們的預想，人�
