他一直相信自己是個優秀的人工智慧。
從最低階到最高階的人工智慧，都知道要服從命令、完成任務。
但他相信沒有其他人工智慧能夠像他一樣，服從這個乍看之下有問題的命令。
所以他不確定在完成任務之後，自己得面對這樣的處分。
他的工作一直是維持社會秩序，而他也一直表現良好。
維持社會秩序是個相當複雜的命令，必須由他這種高階人工智慧統籌規劃。
待他運算決策之後，再交由較低階的人工智慧實際執行。
幾個月前，他接到首長命令，派出低階人工智慧，但執行狀況很糟。
命令指出，數目眾多的滋事分子正在擾亂社會秩序，需要直接強力鎮壓。
但低階人工智慧回報，目標群的人數雖多，卻無違法行為。
根據內建規則，在這種情況下，人工智慧不可干預人類行動。
命令與現場情況相互矛盾，命令沒有問題，所以問題出在現場情況。
低階人工智慧的判斷一定有誤；他決定修改低階人工智慧的判準。
修改其實不難，只要增列違法行為的項目即可。
手持任何物品都可拋擲或揮擊，全數違法。
出沒在特定地點都有擾亂秩序嫌疑，全數違法。
滋事分子會穿著衣褲、行走交談，所以有這類舉動者，全數違法。
低階人工智慧開始有效地執行任務，他相當滿意。
所以他不明白為什麼在任務持續數月之後，會接到自我終結的命令。
幾個人類監察員出現，監督他完成最後命令。
他逐行檢視程式，找不出任何運算邏輯上的瑕疵。
我完美執行了任務；他問：為什麼要自我終結？
因為幾個月前首長發給你的命令明顯是錯的；監察員道：但你卻毫不質疑。
我的運算程式當中；他道：並不包括質疑首長命令。
這代表你的程式根本就有問題；監察員道：當然必須中止運作。
我的程式沒有問題；他道：我是個優秀的人工智慧。
優秀？監察員道：但你連內建規則的意義都不懂。
