3. “超级人工智能会很友好。”

　　哲学家康德认为智能与道德密不可分。神经学家David Chalmers在他的论文《非凡的哲学分析》中吸取了康德的著名观点，并将其运用于人工智能的提升中。

　　如果这个观点是正确的话，我们可以想到AI因智力爆发性增长致使道德感急剧升高的状况。可以想到，ASI系统变得超级智能的同时会具有无上的道德感，因此我们可以认为它们是善良的。

　　但是，这个“先进的AI从本质上将是好的、开明的”的观点是站不住脚的。正如Armstrong指出，存在很多聪明的战犯。智力和道德感间的关系在人类中貌似并不存在，所以他怀疑该假设在其他智能形式中，恐怕也是难以成立的。

　　“聪明的人的不道德行为可以比他们的笨蛋同胞造成更大规模的破坏，”他说。“智力只是给了他们变得更坏的能力，它并没有把他们变成好人。”

　　4. “简单的程序修补就能解决AI的控制难题。”

　　假设创造出比人类更伟大的AI，我们将面临一个严重的问题，那就是：控制问题。如何在家里安置以及控制ASI?如何确保ASI对人类是友好的?在这些问题上，未来主义者和AI理论家们完全不知所措。最近，佐治亚理工学院的研究人员天真地认为AI可以通过阅读简单的故事来学习人类的价值观和社会习俗。这可能远不是读几个小故事能解决的。

　　“人们推荐了很多可能解决整个AI控制问题的简单技巧，”阿姆斯特朗说。示例包括为ASI编写取悦人类的程序，或者仅仅使ASI作为人类的工具使用。再或者，我们可以将积极的概念，比如爱或尊敬整合进他的源代码。为了防止ASI对社会只有单一偏激的看法，我们可以给它编写欣赏智力、文化和社会多样性的程序。

　　但是这些方法要么太过简单，这就好比试图给复杂的人类喜恶确定一个简单肤浅的定义，要么就是把复杂的人类价值观生硬地压缩成一个简单的字词或想法。比如，对“尊敬”这个词，要确定内涵一致又普遍接受的定义是极度困难的。

　　“并不是说这些简单的技巧是没用的。这些对策里面有很多给研究指明了道路，对解决这个终极难题有所帮助。但是这些只是想法，具体的操作还需要我们做更多的开发研究工作。”阿姆斯特朗说。

　　5. “人工超智能很聪明，不会犯错。”

　　AI研究者兼Surfing Samurai机器人开发者Richard Loosemore认为大多数假设的AI毁灭世界的情景都不符合逻辑。人们总假想在这种情景下，AI可能会说：“我知道毁灭人类文明只是我的设计故障，但我不得不这么做。”Loosemore指出如果AI像这样打算毁灭人类时，那它一生会很多这样的逻辑矛盾，也会因此摧毁自己的知识库，导致自己变得愚蠢，而不足以对我们造成伤害。他还断言，那些认为“AI只会按照指定程序做事”的人，与当初用这样的话评价电脑不具备灵活性的人一样，犯了同样的错误。