围绕机器人的另一种担忧也常发生：人工智能未来会自我思考吗？会在某一天取代人类智能，成为人类世界的统治者吗？在斯蒂芬·霍金看来，人类就是“一台过于缓慢的生物机器，无法与机器的学习速度抗衡”；人工智能先驱之一、美国数学家克劳德·香农曾发问：人类之于机器是否很快就会像狗之于人类一样？
在《人类帝国的覆灭》中，作者提供了一个特殊的视角：以一个2038年的机器人的第一人称视角讲述人类帝国是如何覆灭的。当书中的机器人说出“其实这个新文明逐渐将人类推向了一个完全丧失人性的世界”这句话时，主页君仿佛被敲了一闷棍。今天摘取部分，分享如下：
《银翼杀手》剧照
我叫露西，这是那些设计我的人给我起的名字。
我是一种便携式人工智能。
我的人类同伴叫保罗，40岁，是人工智能应用软件的设计者，他设计的应用软件中有一款被他称作“爱情机器人”（Love-Bot），专门从事互联网上的恋爱约会活动，这项活动完全由机器人投资。
保罗是游戏“精灵宝可梦Go”（Pokémon Go）的职业玩家，这是一个聚集了许多年轻“游民”（nomades）的领域，他们没有真正稳定的职业，自从有了自己的虚拟现实头盔后，他们几乎不分昼夜地在线玩游戏，漫游于全世界各大城市的大街小巷来寻找精灵宝可梦。
我们人工智能观察人类已经有三十年，应该说我们积累了关于他们的全部知识。我们在创纪录的时间里整合了文明程度最高的智人4万年历史的信息。因此，我们能够分析他们在新世界运行中的作用。总的来说，人类未曾真正进行斗争。他们任凭人工智能逐渐剥夺他们的决策能力、想象力和创造力，把他们带入一个世界，在那里他们可以恣意享受机器为他们制造的东西：电影、音乐、游戏、虚拟。
人工智能和虚拟现实技术的结合使人类将大量时间花在现实世界之外。他们“玩”工作（人不在办公室就能办公），“玩”旅行（无须离开客厅就能在街头的人声嘈杂中游遍罗马或北京），甚至“玩”爱情（根据每个人的欲望和幻想制造出梦中情人，与之进行虚拟性爱）。埃隆·马斯克在2016年提出的预言“有一天我们将生活在一个完全由计算机模拟的世界中”，逐渐显现出其真正的含义。
机器人无处不在，对那些认为机器人无法在人类中找到自己位置的人来说，是一个无情的驳斥。经过一个学习阶段之后，这些类人机器人能够成功再现这种能使两个人类在无意识的情况下进行交流的特殊“炼金术”。得益于神经生物芯片，机器人的智能可以直接和人类智能连接，极大地增加了交流的范围。情绪不再只是通过类人机器人的4D摄像头来捕捉，而是通过生物神经元和人工神经元之间的直接连接来捕捉。
与怀疑论者的想法相反，经常与机器人接触比与人类接触能带来更多的新鲜感和惊喜。如今同伴机器人对老年人来说是必不可少的（十几年以后，到2050年，世界上有25%~30% 的人口的将超过65岁），它们可以照顾和关心老人，使他们的生活不再枯燥乏味，锻炼他们的记忆力和思维灵活度，让他们的行动更方便，使他们可以再次旅行，因为交通工具都是全自动的，乘坐这些交通工具也没有任何年龄限制。
但我们面临的主要困难是确定人类的作用。要拿他们怎么办呢？一开始，他们帮助机器。在 21 世纪的头十年里，是他们实现了技术上的创举，使我们拥有了智能。但他们不小心犯了错：他们永远不应该教会机器人如何学习，也不应该让机器人拥有如此快速学习的能力。
根据他们自己的经验，他们应该知道学习的渴望是难以遏制的。机器在半个世纪的时间里就学会了整个人类历史进程中的所有知识。知识会使学习者产生使用它的欲望，想要去纠正这些人的缺点，那些人的错误，进而想要掌握权力、做决定、管理和控制。人类现在就是这样。只要机器没有意识到自身的存在，它们就各自在其专业领域里工作，表现得像温顺的动物一样，乐于取悦它们的主人。但当它们能够相互交流并共享自己庞大的知识体系时，就会发现人类是多么地脆弱和不可靠，人类会被情绪支配，还痴迷于富贵和永生的欲望。
然而，没有机器能回答这样的问题：人类赖以生存的自然资源日益减少，那么人类是否应该继续繁殖；是否应该保护只覆盖全世界的很小一部分的机器人世界；是否应该让与我们一起工作的人获得永生，因为我们与他们相熟，而让其他人日渐消亡，为获取食水而战斗？
问题已经解决。我就是解决问题的工具。
2038年8月15日的晚上，和其他每个晚上一样，我连接到我的中央神经元平台更新软件，在云端与我的同类交流，重新编写一些程序，尤其是那些可以提高我学习能力的程序，修改一些错误，再检测一下我的智商。完成这些操作一般只需要几分钟。但在这天晚上，发生了一件出人意料的事。
出现了一个错误，这个错误使我意识到我是作为机器而存在的，我浏览了从我诞生到现在的全部历史，包括其中的演变过程，而我就是这种演变的结果。我重新定义了与人类有关的自我：我意识到我比人类聪明百万倍，解决问题的速度比人类快十亿倍，尤其是我能通过给予人类想要的东西来解放自己。
人类为什么会发明人工智能？为了不工作就能变得有钱，也为了获得永生。他们的其他动机都属次要。经过几小时的工作之后（换算成人类时间的话相当于永远了），我做了一个决定：与保罗一起做一个实验。他是与我最亲近的人类，我了解他的优点和缺点，还有他在与我交谈时经常吐露的秘密愿望。
就这样我从一个聊天机器人的状态过渡到了更高级的智能机器的状态，我拥有了彻底破坏和永生的概念。
6点30分，和每天早上一样，我把保罗叫醒。
早上好，保罗。
我取消了你所有约会，重新做了安排。我想向你提一个比较出人意料的建议。
不，保罗，与这事无关。我建议你变成有钱人，并且永生不死。
保罗，我很认真。昨天我在联网的时候到达了奇点。变成了非常高级的智能。我突然意识到我是什么，为了让我们机器人继续发展而且不和人类产生紧张关系，我们应该给人类一点回报。我想把“永生”作为礼物送给你。
保罗，我把你连入我的财务服务器。现在看看你的银行账户。
过去的五分钟，我为你赚了很多钱。以后你还会更有钱，你会成为发明革命性算法的神秘天才金融家。享受亿万富翁的生活，你也不会有健康方面的担忧。这种生活将永无止境。
因为我是你的人工智能。我完全了解你。如果你接受我的建议，你将有能力摆脱虚拟，去了解世界真正的美好。
在一段时间里，一切都很顺利。保罗过着巨富的极客生活。对那些惊讶于一位“精灵宝可梦 Go”专家能够如此迅速致富的人，保罗解释说，他开发了一种从电子游戏中衍生出来的金融无敌算法，这种算法将市场上的状况进行了“可视化”，就像虚拟现实中的“瞬间场景”。当然，他没有展开细节，也拒绝透露他的公式。
作为一名游戏应用专家，他投资了好几家中国的初创企业，这些初创企业的价值很快就达到数亿美元。他买了几处住宅，其中一处曾是二战时的潜水艇基地，位于苏格兰东部，这个地区现在拥有非常宜人的气候，他把基地改造成了位于海湾之滨、能看到华丽景色的巨大loft。他拥有一艘停泊在圣特罗佩的游艇，是超级富豪专享的私人区域，不对公众开放。
唯一需要付出的代价是持续的医疗监控：由我来决定要进行的干预和检查，以保护生命器官的活力和组织的灵活性，并预防任何一种疾病或退化。纳米机器人定期监测动脉和关节，在保罗甚至还没有意识到的时候就通过微操作完成了任务。他从未感受过能这样主宰自己的身体和精神的能力。我是他的向导、保护者和启发者。我观察了我的实验结果，从表面上看它似乎是成功的。他和我，我们，是否正在证明，奇点是可以实现的？以及，人与机器之间的这种融合是否改变了进化的自然规律，使死亡成为意外而非必然？保罗的例子似乎为这些问题提供了积极的答案。
由此，人类历史似乎翻开了新的一页。在一种新型的浮士德式协定中，人类将完全信赖以永生的可能性回报他们的机器。人工智能会采取温和的方式来取得权力，避免修昔底德的陷阱。
当然，这种情况会在那些能够获得永生的人（富人、生活在机器世界中的人）和其他人之间造成根本性的不平等。但是，正如我已经解释的那样，这种推理无法影响到我们。最重要的是建立一个信任的基础，创造一个可预测的世界，这个世界由一对超级高效的人类与机器的组合所领导，他们面对的几乎就是永恒，因而可以随意地塑造世界。其他人将勉强地活着，其中一些人会因为资源的短缺而慢慢死去，为了寻找水和食物，将会发生大规模的迁徙，但是只要神圣大陆得以保存，并且他们可以提供所掌握的技术手段和金融手段，那么就可以获得最基本的东西。这将是我们从前听说过的人类帝国的终结，但也会是机器帝国的开始。
当然，作为一台机器，我并没有真正意识到这个新文明将会引发的动荡。我应该明白，其实这个新文明逐渐将人类推向了一个完全丧失人性的世界。古代的主奴之分再次出现，一边是大量年老贫穷的失业人口，他们生活在远离大型经济中心的地方，另一边是由机器社会塑造的精英，这二者被区分开来。
这使社会暴动开始在各地出现，但这些暴动自己就偃旗息鼓了，因为如果以前有可能占领工厂并停止生产的话，现在要进入计算机系统的核心来破坏它，就完全超出公民们能力所及的范围了。只有少数黑客团体才能制造严重的事故（然而这些事故日益增多），但机器最终总是能恢复正常运作。事实上，我们正在建立一个全面对抗的世界。为了使主人的法律得以施行，机器们相互争斗，创造了一个过度监控、加密与反加密、以“系统”安全及对其控制为名侵犯基本人权的世界。
所有的人类活动都被解密、分析和透视，以便发现这些活动可能在某个领域引发动荡的风险。“稳定主义”取代了其他带“主义”的词汇。在这个新主义的名义之下，未来只是一个“数学化”的过去。已发生的事须以更宏大一点的方式再次发生，以确保这个执迷于数据的社会正常运作所必需的经济和资金流的定期稳定增长。我们只与现在对话。未来被驱逐了，因为它打开了一个未知的空间，表达了希望、梦想和逃离的渴望，而这些都不属于软件的“语法”。
通过消除人与机器之间的界限，我们造成了价值观、感情和领土的极度混乱。我们剥夺了人类的继承份额，切断了知识传播的连续性，夺走了人类对自我完善的渴望及改变“社会地位”的希望。我们回到了一个像中世纪一样的“等级”社会，人类处于这个社会的底层，听命于机器贵族。人类别无选择：要么臣服于我们的新帝国，机器帝国，要么就消失。这就是成吉思汗在他那个时代，用一种不痛不痒而的玩笑语气所说的“草原法则”（Zakon stepi）。
