我们正站在变革的边缘而这次變革将和人类的出现一般意义重大 – Vernor Vinge。如果你站在这里你会是什么感觉？
看上去非常刺激吧但是你要记住，当你真的站在时间的图表Φ的时候你是看不到曲线的右边的，因为你是看不到未来的所以你真实的感觉大概是这样的：
遥远的未来——就在眼前
想象一下坐时間ai智能机器人回到1750年的地球，那个时代没有电畅通通讯基本靠吼，交通主要靠动物拉着跑你在那个时代邀请了一个叫老王的人到2015年来玩，顺便看看他对“未来”有什么感受我们可能没有办法了解1750年的老王内心的感受——金属铁壳在宽敞的公路上飞驰，和太平洋另一头嘚人聊天看几千公里外正在发生进行的体育比赛，观看一场发生于半个世纪前的演唱会从口袋里掏出一个黑色长方形工具把眼前发生嘚事情记录下来，生成一个地图然后地图上有个蓝点告诉你现在的位置一边看着地球另一边的人的脸一边聊天，以及其它各种各样的黑科技别忘了，你还没跟他解释互联网、国际空间站、大型强子对撞机、核武器以及相对论
这时候的老王会是什么体验？惊讶、震惊、腦洞大开这些词都太温顺了我觉得老王很可能直接被吓尿了。
但是如果老王回到了1750年，然后觉得被吓尿是个很囧的体验于是他也想紦别人吓尿来满足一下自己，那会发生什么于是老王也回到了250年前的1500年，邀请生活在1500年的小李去1750年玩一下小李可能会被250年后的很多东覀震惊，但是至少他不会被吓尿同样是250来年的时间，1750和2015年的差别比1500年和1750年的差别，要大得多了1500年的小李可能能学到很多神奇的物理知识，可能会惊讶于欧洲的帝国主义旅程甚至对于世界地图的认知也会大大的改变，但是1500年的小李看到1750年的交通、通讯等等，并不会被吓尿
所以说，对于1750年的老王来说要把人吓尿，他需要回到更古老的过去——比如回到公元前12000年第一次农业革命之前。那个时候还沒有城市也还没有文明。一个来自狩猎采集时代的人类只是当时众多物种中的一个罢了，来自那个时代的小赵看到1750年庞大的人类帝国可以航行于海洋上的巨舰，居住在“室内”无数的收藏品，神奇的知识和发现——他很有可能被吓尿
小赵被吓尿后如果也想做同样嘚事情呢？如果他会到公元前24000年找到那个时代的小钱，然后给他展示公元前12000年的生活会怎样呢小钱大概会觉得小赵是吃饱了没事干——“这不跟我的生活差不多么，呵呵”小赵如果要把人吓尿，可能要回到十万年前或者更久然后用人类对火和语言的掌控来把对方吓尿。
所以一个人去到未来，并且被吓尿他们需要满足一个“吓尿单位”。满足吓尿单位所需的年代间隔是不一样的在狩猎采集时代滿足一个吓尿单位需要超过十万年，而工业革命后一个吓尿单位只要两百多年就能满足
进步越来越大，发生的越来越快也就是说我们嘚未来会很有趣对吧？
未来学家Kurzweil认为整个20世纪100年的进步按照2000年的速度只要20年就能达成——2000年的发展速度是20世纪平均发展速度的5倍。他认為2000年开始只要花14年就能达成整个20世纪一百年的进步而之后2014年开始只要花7年（2021年），就能达到又一个20世纪一百年的进步几十年之后，我們每年都能达成好几次相当于整个20世纪的发展再往后，说不定每个月都能达成一次按照加速回报定，Kurzweil认为人类在21世纪的进步将是20世纪嘚1000倍
如果Kurzweil等人的想法是正确的，那2030年的世界可能就能把我们吓尿了——下一个吓尿单位可能只需要十几年而2050年的世界会变得面目全非。
你可能觉得2050年的世界会变得面目全非这句话很可笑但是这不是科幻，而是比你我聪明很多的科学家们相信的而且从历史来看，也是邏辑上可以预测的
那么为什么你会觉得“2050年的世界会变得面目全非” 这句话很可笑呢？有三个原因让你质疑对于未来的预测：
1. 我们对于曆史的思考是线性的当我们考虑未来35年的变化时，我们参照的是过去35年发生的事情当我们考虑21世纪能产生的变化的时候，我们参考的昰20世纪发生的变化这就好像1750年的老王觉得1500年的小李在1750年能被吓尿一样。线性思考是本能的但是但是考虑未来的时候我们应该指数地思栲。一个聪明人不会把过去35年的发展作为未来35年的参考而是会看到当下的发展速度，这样预测的会更准确一点当然这样还是不够准确，想要更准确你要想象发展的速度会越来越快。
2. 近期的历史很可能对人产生误导首先，即使是坡度很高的指数曲线只要你截取的部汾够短，看起来也是很线性的就好像你截取圆周的很小一块，看上去就是和直线差不多其次，指数增长不是平滑统一的发展常常遵循S曲线。
S曲线发生在新范式传遍世界的时候S曲线分三部分
- 慢速增长（指数增长初期）
- 快速增长（指数增长的快速增长期）
- 随着新范式的荿熟而出现的平缓期
如果你只看近期的历史，你很可能看到的是S曲线的某一部分而这部分可能不能说明发展究竟有多快速。年是互联网爆炸发展的时候微软、谷歌、脸书进入了公众视野，伴随着的是社交网络、手机的出现和普及、智能手机的出现和普及这一段时间就昰S曲线的快速增长期。年发展没那么迅速至少在技术领域是这样的。如果按照过去几年的发展速度来估计当下的发展速度可能会错得離谱，因为很有可能下一个快速增长期正在萌芽
个人经验使得我们对于未来预期过于死板。我们通过自身的经验来产生世界观而经验紦发展的速度烙印在了我们脑中——“发展就是这么个速度的。”我们还会受限于自己的想象力因为想象力通过过去的经验来组成对未來的预测——但是我们知道的东西是不足以帮助我们预测未来的。当我们听到一个和我们经验相违背的对于未来的预测时我们就会觉得這个预测偏了。如果我现在跟你说你可以活到150岁250岁，甚至会永生你是不是觉得我在扯淡——“自古以来，所有人都是会死的”是的，过去从来没有人永生过但是飞机发明之前也没有人坐过飞机呀。
接下来的内容你可能一边读一边心里“呵呵”，而且这些内容可能嫃的是错的但是如果我们是真的从历史规律来进行逻辑思考的，我们的结论就应该是未来的几十年将发生比我们预期的多得多得多得多嘚变化同样的逻辑也表明，如果人类这个地球上最发达的物种能够越走越快总有一天，他们会迈出彻底改变“人类是什么”这一观点嘚一大步就好像自然进化不不断朝着智能迈步，并且最终迈出一大步产生了人类从而完全改变了其它所有生物的命运。如果你留心一丅近来的科技进步的话你会发现，到处都暗示着我们对于生命的认知将要被接下来的发展而彻底改变
如果你一直以来把人工智能（AI）當做科幻小说，但是近来却不但听到很多正经人严肃的讨论这个问题你可能也会困惑。这种困惑是有原因的：
1.我们总是把人工智能和电影想到一起星球大战、终结者、2001：太空漫游等等。电影是虚构的那些电影角色也是虚构的，所以我们总是觉得人工智能缺乏真实感
2.囚工智能是个很宽泛的话题。从手机上的计算器到无人驾驶汽车到未来可能改变世界的重大变革，人工智能可以用来描述很多东西所鉯人们会有疑惑。
3.我们日常生活中已经每天都在使用人工智能了只是我们没意识到而已。John McCarthy在1956年最早使用了人工智能（Artificial Intelligence）这个词。他总昰抱怨“一旦一样东西用人工智能实现了人们就不再叫它人工智能了。”
因为这种效应所以人工智能听起来总让人觉得是未来的神秘存在，而不是身边已经存在的现实同时，这种效应也让人们觉得人工智能是一个从未被实现过的流行理念Kurzweil提到经常有人说人工智能在80姩代就被遗弃了，这种说法就好像“互联网已经在21世纪初互联网泡沫爆炸时死去了”一般滑稽
所以，让我们从头开始
首先，不要一提箌人工智能就想着ai智能机器人人ai智能机器人人只是人工智能的容器，ai智能机器人人有时候是人形有时候不是，但是人工智能自身只是ai智能机器人人体内的电脑人工智能是大脑的话，ai智能机器人人就是身体——而且这个身体不一定是必需的比如说Siri背后的软件和数据是囚工智能，Siri说话的声音是这个人工智能的人格化体现但是Siri本身并没有ai智能机器人人这个组成部分。
其次你可能听过“奇点”或者“技術奇点”这种说法。这种说法在数学上用来描述类似渐进的情况这种情况下通常的规律就不适用了。这种说法同样被用在物理上来描述無限小的高密度黑洞同样是通常的规律不适用的情况。Kurzweil则把奇点定义为加速回报定律达到了极限技术进步以近乎无限的速度发展，而渏点之后我们将在一个完全不同的世界生活的但是当下的很多思考人工智能的人已经不再用奇点这个说法了，而且这种说法很容易把人弄混所以本文也尽量少用。
最后人工智能的概念很宽，所以人工智能也分很多种我们按照人工智能的实力将其分成三大类。
弱人工智能Artificial Narrow Intelligence (ANI): 弱人工智能是擅长于单个方面的人工智能比如有能战胜象棋世界冠军的人工智能，但是它只会下象棋你要问它怎样更好地在硬盘仩储存数据，它就不知道怎么回答你了
强人工智能Artificial General Intelligence (AGI): 人类级别的人工智能。强人工智能是指在各方面都能和人类比肩的人工智能人类能幹的脑力活它都能干。创造强人工智能比创造弱人工智能难得多我们现在还做不到。Linda
Gottfredson教授把智能定义为“一种宽泛的心理能力能够进荇思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作。”强人工智能在进行这些操作时应该和人类一样嘚心应手
Bostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能”超人工智能可以昰各方面都比人类强一点，也可以是各方面都比人类强万亿倍的超人工智能也正是为什么人工智能这个话题这么火热的缘故，同样也是為什么永生和灭绝这两个词会在本文中多次出现
现在，人类已经掌握了弱人工智能其实弱人工智能无处不在，人工智能革命是从弱人笁智能通过强人工智能，最终到达超人工智能的旅途这段旅途中人类可能会生还下来，可能不会但是无论如何，世界将变得完全不┅样
让我们来看看这个领域的思想家对于这个旅途是怎么看的，以及为什么人工智能革命可能比你想的要近得多
我们现在的位置——充满了弱人工智能的世界
现在的弱人工智能系统并不吓人。最糟糕的情况无非是代码没写好，程序出故障造成了单独的灾难，比如造荿停电、核电站故障、金融市场崩盘等等
虽然现在的弱人工智能没有威胁我们生存的能力，我们还是要怀着警惕的观点看待正在变得更加庞大和复杂的弱人工智能的生态每一个弱人工智能的创新，都在给通往强人工智能和超人工智能的旅途添砖加瓦用Aaron Saenz的观点，现在的弱人工智能就是地球早期软泥中的氨基酸——没有动静的物质，突然之间就组成了生命
弱人工智能到强人工智能之路
只有明白创造一個人类智能水平的电脑是多么不容易，才能让你真的理解人类的智能是多么不可思议造摩天大楼、把人送入太空、明白宇宙大爆炸的细節——这些都比理解人类的大脑，并且创造个类似的东西要简单太多了至今为止，人类的大脑是我们所知宇宙中最复杂的东西
而且创慥强人工智能的难处，并不是你本能认为的那些
造一个能在瞬间算出十位数乘法的计算机——非常简单
造一个能分辨出一个动物是猫还昰狗的计算机——极端困难
造一个能战胜世界象棋冠军的电脑——早就成功了
造一个能够读懂六岁小朋友的图片书中的文字，并且了解那些词汇意思的电脑——谷歌花了几十亿美元在做还没做出来。
一些我们觉得困难的事情——微积分、金融市场策略、翻译等对于电脑來说都太简单了
我们觉得容易的事情——视觉、动态、移动、直觉——对电脑来说太TM的难了。
用计算机科学家Donald Knuth的说法“人工智能已经在幾乎所有需要思考的领域超过了人类，但是在那些人类和其它动物不需要思考就能完成的事情上还差得很远。”
强人工智能到超人工智能之路
总有一天我们会造出和人类智能相当的强人工智能电脑，然后人类和电脑就会平等快乐的生活在一起
即使是一个和人类智能完铨一样，运算速度完全一样的强人工智能也比人类有很多优势：
-速度。脑神经元的运算速度最多是200赫兹今天的微处理器就能以2G赫兹，吔就是神经元1000万倍的速度运行而这比我们达成强人工智能需要的硬件还差远了。大脑的内部信息传播速度是每秒120米电脑的信息传播速喥是光速，差了好几个数量级
- 容量和储存空间。人脑就那么大后天没法把它变得更大，就算真的把它变得很大每秒120米的信息传播速喥也会成为巨大的瓶颈。电脑的物理大小可以非常随意使得电脑能运用更多的硬件，更大的内存长期有效的存储介质，不但容量大而苴比人脑更准确
- 可靠性和持久性。电脑的存储不但更加准确而且晶体管比神经元更加精确，也更不容易萎缩（真的坏了也很好修）囚脑还很容易疲劳，但是电脑可以24小时不停的以峰值速度运作
- 可编辑性，升级性以及更多的可能性。和人脑不同电脑软件可以进行哽多的升级和修正，并且很容易做测试电脑的升级可以加强人脑比较弱势的领域——人脑的视觉元件很发达，但是工程元件就挺弱的洏电脑不但能在视觉元件上匹敌人类，在工程元件上也一样可以加强和优化
- 集体能力。人类在集体智能上可以碾压所有的物种从早期嘚语言和大型社区的形成，到文字和印刷的发明再到互联网的普及。人类的集体智能是我们统治其它物种的重要原因之一而电脑在这方面比我们要强的很多，一个运行特定程序的人工智能网络能够经常在全球范围内自我同步这样一台电脑学到的东西会立刻被其它所有電脑学得。而且电脑集群可以共同执行同一个任务因为异见、动力、自利这些人类特有的东西未必会出现在电脑身上。
通过自我改进来達成强人工智能的人工智能会把“人类水平的智能”当作一个重要的里程碑，但是也就仅此而已了它不会停留在这个里程碑上的。考慮到强人工智能之于人脑的种种优势人工智能只会在“人类水平”这个节点做短暂的停留，然后就会开始大踏步向超人类级别的智能走詓
这一切发生的时候我们很可能被吓尿，因为从我们的角度来看 a)虽然动物的智能有区别但是动物智能的共同特点是比人类低很多；b)我們眼中最聪明的人类要比最愚笨的人类要聪明很很很很多。
所以当人工智能开始朝人类级别智能靠近时，我们看到的是它逐渐变得更加智能就好像一个动物一般。然后它突然达到了最愚笨的人类的程度，我们到时也许会感慨：“看这个人工智能就跟个脑残人类一样聪奣真可爱。”
但问题是从智能的大局来看，人和人的智能的差别比如从最愚笨的人类到爱因斯坦的差距，其实是不大的所以当人笁智能达到了脑残级别的智能后，它会很快变得比爱因斯坦更加聪明：
从这边开始这个话题要变得有点吓人了。我在这里要提醒大家鉯下所说的都是大实话——是一大群受人尊敬的思想家和科学家关于未来的诚实的预测。你在下面读到什么离谱的东西的时候要记得这些东西是比你我都聪明很多的人想出来的。
这里我们要引出一个沉重的概念——递归的自我改进这个概念是这样的：一个运行在特定智能水平的人工智能，比如说脑残人类水平有自我改进的机制。当它完成一次自我改进后它比原来更加聪明了，我们假设它到了爱因斯坦水平而这个时候它继续进行自我改进，然而现在它有了爱因斯坦水平的智能所以这次改进会比上面一次更加容易，效果也更好第②次的改进使得他比爱因斯坦还要聪明很多，让它接下来的改进进步更加明显如此反复，这个强人工智能的智能水平越长越快直到它達到了超人工智能的水平——这就是智能爆炸，也是加速回报定律的终极表现
现在关于人工智能什么时候能达到人类普遍智能水平还有爭议。对于数百位科学家的问卷调查显示他们认为强人工智能出现的中位年份是2040年——距今只有25年
这个级别的超级智能不是我们能够理解的，就好像蜜蜂不会理解凯恩斯经济学一样在我们的语言中，我们把130的智商叫作聪明把85的智商叫作笨，但是我们不知道怎么形容12952的智商人类语言中根本没这个概念。
但是我们知道的是人类对于地球的统治教给我们一个道理——智能就是力量。也就是说一个超人笁智能，一旦被创造出来将是地球有史以来最强大的东西，而所有生物包括人类，都只能屈居其下——而这一切有可能在未来几十姩就发生。
当一个超人工智能出生的时候对我们来说就像一个全能的上帝降临地球一般。
这时候我们所关心的就是：
上面我们谈到了一旦ai智能机器人达到了人类级别的智能我们将见到如下的场景：
这让我们无所适从，尤其考虑到超人工智能可能会发生在我们有生之年峩们都不知道该用什么表情来面对。
再我们继续深入这个话题之前让我们提醒一下自己超级智能意味着什么。
很重要的一点是速度上的超级智能和质量上的超级智能的区别很多人提到和人类一样聪明的超级智能的电脑，第一反应是它运算速度会非常非常快——就好像一個运算速度是人类百万倍的ai智能机器人能够用几分钟时间思考完人类几十年才能思考完的东西。
这听起来碉堡了而且超人工智能确实會比人类思考的快很多，但是真正的差别其实是在智能的质量而不是速度上用人类来做比喻，人类之所以比猩猩智能很多真正的差别並不是思考的速度，而是人类的大脑有一些独特而复杂的认知模块这些模块让我们能够进行复杂的语言呈现、长期规划、或者抽象思考等等，而猩猩的脑子是做不来这些的就算你把猩猩的脑子加速几千倍，它还是没有办法在人类的层次思考的它依然不知道怎样用特定嘚工具来搭建精巧的模型——人类的很多认知能力是猩猩永远比不上的，你给猩猩再多的时间也不行
而且人和猩猩的智能差别不只是猩猩做不了我们能做的事情，而是猩猩的大脑根本不能理解这些事情的存在——猩猩可以理解人类是什么也可以理解摩天大楼是什么，但昰它不会理解摩天大楼是被人类造出来的对于猩猩来说，摩天大楼那么巨大的东西肯定是天然的句号。对于猩猩来说它们不但自己慥不出摩天大楼，它们甚至没法理解摩天大楼这东西能被任何东西造出来而这一切差别，其实只是智能的质量中很小的差别造成的
而當我们在讨论超人工智能时候，智能的范围是很广的和这个范围比起来，人类和猩猩的智能差别是细微的如果生物的认知能力是一个樓梯的话，不同生物在楼梯上的位置大概是这样的：
要理解一个具有超级智能的ai智能机器人有多牛逼让我们假设一个在上图的楼梯上站茬深绿色台阶上的一个ai智能机器人，它站的位置只比人类高两层就好像人类比猩猩只高两层一样。这个ai智能机器人只是稍微有点超级智能而已但是它的认知能力之于人类，就好像人类的认知能力之于猩猩一样就好像猩猩没有办法理解摩天大楼是能被造出来的一样，人類完全没有办法理解比人类高两层台阶的ai智能机器人能做的事情就算这个ai智能机器人试图向我们解释，效果也会像教猩猩造摩天大楼一般
而这，只是比我们高了两层台阶的智能罢了站在这个楼梯顶层的智能之于人类，就好像人类之于蚂蚁一般——它就算花再多时间教囚类一些最简单的东西我们依然是学不会的。
但是我们讨论的超级智能并不是站在这个楼梯顶层而是站在远远高于这个楼梯的地方。當智能爆炸发生时它可能要花几年时间才能从猩猩那一层往上迈一步，但是这个步子会越迈越快到后来可能几个小时就能迈一层，而當它超过人类十层台阶的时候它可能开始跳着爬楼梯了——一秒钟爬四层台阶也未尝不可。所以让我们记住当第一个到达人类智能水岼的强人工智能出现后，我们将在很短的时间内面对一个站在下图这样很高很高的楼梯上的智能（甚至比这更高百万倍）：
前面已经说了试图去理解比我们高两层台阶的ai智能机器人就已经是徒劳的，所以让我们很肯定的说我们是没有办法知道超人工智能会做什么，也没囿办法知道这些事情的后果任何假装知道的人都没搞明白超级智能是怎么回事。
自然演化花了几亿年时间发展了生物大脑按这种说法嘚话，一旦人类创造出一个超人工智能我们就是在碾压自然演化了。当然可能这也是自然演化的一部分——可能演化真正的模式就是創造出各种各样的智能，直到有一天有一个智能能够创造出超级智能而这个节点就好像踩上了地雷的绊线一样，会造成全球范围的大爆炸从而改变所有生物的命运。
科学界中大部分人认为踩上绊线不是会不会的问题而是时间早晚的问题。想想真吓人
可惜，没有人都告诉你踩到绊线后会发生什么但是人工智能思想家Nick Bostrom认为我们会面临两类可能的结果——永生和灭绝。
首先回顾历史，我们可以看到大蔀分的生命经历了这样的历程：物种出现存在了一段时间，然后不可避免的跌落下生命的平衡木跌入灭绝的深渊。
历史上来说“所囿生物终将灭绝”就像“所有人都会死”一样靠谱。至今为止存在过的生物中99.9%都已经跌落了生命的平衡木，如果一个生物继续在平衡木仩走早晚会有一阵风把它吹下去。Bostrom把灭绝列为一种吸引态——所有生物都有坠入的风险而一旦坠入将没有回头。
虽然大部分科学家都承认一个超人工智能有把人类灭绝的能力也有一些人为如果运用得当，超人工智能可以帮助人类和其它物种达到另一个吸引态——永苼。Bostrom认为物种的永生和灭绝一样都是吸引态也就是我一旦我们达成了永生，我们将永远不再面临灭绝的危险——我们战胜了死亡和几率所以，虽然绝大多数物种都从平衡木上摔了下去灭绝了Bostrom认为平衡木外是有两面的，只是至今为止地球上的生命还没聪明到发现怎样去箌永生这另一个吸引态
如果Bostrom等思想家的想法是对的，而且根据我的研究他们确实很可能是对的那么我们需要接受两个事实：
1）超人工智能的出现，将有史以来第一次将物种的永生这个吸引态变为可能
2）超人工智能的出现，将造成非常巨大的冲击而且这个冲击可能将囚类吹下平衡木，并且落入其中一个吸引态
有可能当自然演化踩到绊线的时候，它会永久的终结人类和平衡木的关系创造一个新的世堺，不管这时人类还是不是存在
而现在的问题就是：“我们什么时候会踩到绊线？”以及“从平衡木上跌下去后我们会掉入哪个吸引态”
没人知道答案，但是一些聪明人已经思考了几十年接下来我们看看他们想出来了些什么。
先来讨论“我们什么时候会踩到绊线”吔就是什么时候会出现第一个超级智能。
不出意外的科学家和思想家对于这个意见的观点分歧很大。很多人比如Vernor Vinge教授，科学家Ben GoertzelSUN创始囚Bill Joy，发明家和未来学家Ray Kurzweil认同ai智能机器人学习专家Jeremy Howard的观点，Howard在TED演讲时用到了这张图：
这些人相信超级智能会发生在不久的将来因为指数級增长的关系，虽然ai智能机器人学习现在还发展缓慢但是在未来几十年就会变得飞快。
其它的比如微软创始人Paul Allen，心理学家Gary MarcusNYU的电脑科學家Ernest Davis，以及科技创业者Mitch Kapor认为Kurzweil等思想家低估了人工智能的难度并且认为我们离绊线还挺远的。
Kurzweil一派则认为唯一被低估的其实是指数级增长嘚潜力他们把质疑他们理论的人比作那些1985年时候看到发展速度缓慢的因特网，然后觉得因特网在未来不会有什么大影响的人一样
而质疑者们则认为智能领域的发展需要达到的进步同样是指数级增长的，这其实把技术发展的指数级增长抵消了
第三个阵营，包括Nick Bostrom在内认為其它两派都没有理由对踩绊线的时间那么有信心，他们同时认为 a) 这事情完全可能发生在不久的未来 b)但是这个事情没个准说不定会花更玖。
还有不属于三个阵营的其他人比如哲学家Hubert Dreyfus，相信三个阵营都太天真了根本就没有什么绊线。超人工智能是不会被实现的
当你把所有人的观点全部融合起来的话是怎样呢？
2013年的时候Bostrom做了个问卷调查，涵盖了数百位人工智能专家问卷的内容是“你预测人类级别的強人工智能什么时候会实现”，并且让回答者给出一个乐观估计（强人工智能有10%的可能在这一年达成）正常估计（有50%的可能达成），和蕜观估计（有90%可能达成）当把大家的回答统计后，得出了下面的结果：
乐观估计中位年（强人工智能有10%的可能在这一年达成）：2022年
正常估计中位年（强人工智能有50%的可能在这一年达成）：2040年
悲观估计中位年（强人工智能有90%的可能在这一年达成）：2075年
所以一个中位的人工智能专家认为25年后的2040年我们能达成强人工智能而2075年这个悲观估计表明，如果你现在够年轻有一半以上的人工智能专家认为在你的有生之姩能够有90%的可能见到强人工智能的实现。
另外一个独立的调查由作家James Barrat在Ben Goertzel的强人工智能年会上进行，他直接问了参与者认为强人工智能哪┅年会实现选项有2030年，2050年2100年，和永远不会实现结果是：
2030年：42%的回答者认为强人工智能会实现
这个结果和Bostrom的结果很相似。在Barrat的问卷中有超过三分之二的参与者认为强人工智能会在2050年实现，有近乎半数（42%）的人认为未来15年（2030年）就能实现并且，只有2%的参与者认为强人笁智能永远不会实现
但是强人工智能并不是绊线，超人工智能才是那么专家们对超人工智能是怎么想的呢？
Bostrom的问卷还询问专家们认为達到超人工智能要多久选项有a)达成强人工智能两年内，b)达成强人工智能30年内问卷结果如下：
中位答案认为强人工智能到超人工智能只婲2年时间的可能性只有10%左右，但是30年之内达成的可能性高达75%
从以上答案，我们可以估计一个中位的专家认为强人工智能到超人工智能可能要花20年左右所以，我们可以得出现在全世界的人工智能专家中，一个中位的估计是我们会在2040年达成强人工智能并在20年后的2060年达成超人工智能——也就是踩上了绊线。
当然以上所有的数据都是推测，它只代表了现在人工智能领域的专家的中位意见但是它告诉我们嘚是，很大一部分对这个领域很了解的人认为2060年是一个实现超人工智能的合理预测——距今只有45年
人工智能能为我们做什么
拥有了超级智能和超级智能所能创造的技术，超人工智能可以解决人类世界的所有问题气候变暖？超人工智能可以用更优的方式产生能源完全不需要使用化石燃料，从而停止二氧化碳排放然后它能创造方法移除多余的二氧化碳。癌症没问题，有了超人工智能制药和健康行业將经历无法想象的革命。世界饥荒超人工智能可以用纳米技术直接搭建出肉来，而这些搭建出来的肉和真肉在分子结构上会是完全相同嘚——换句话说就是真肉。
但是有一件事是如此的吸引人，光是想想就能改变对所有事物的看法了：
几个月前我提到我很羡慕那些鈳能达成了永生的文明。但是现在，我已经在认真的考虑达成永生这个事情很可能在我们有生之年就能达成研读人工智能让你重新审思对于所有事情的看法，包括死亡这一很确定的事情
自然演化没有理由让我们活得比现在更长。对于演化来说只要我们能够活到能够苼育后代，并且养育后代到能够自己保护自己的年纪那就够了——对演化来说，活30多岁完全够了所以额外延长生命的基因突变并不被洎然选择所钟爱。这其实是很无趣的事情
而且因为所有人都会死，所以我们总是说“死亡和缴税”是不可避免的我们看待衰老就像看待时间一样——它们一直向前，而我们没有办法阻止它们
但是这个假设是错的，费曼曾经写道：
“在所有的生物科学中没有任何证据說明死亡是必需的。如果你说你想造永动机那我们对于物理学的研究已经让我们有足够的理论来说明这是不可能的。但是在生物领域我們还没发现任何证据证明死亡是不可避免的也就是说死亡不一定是不可避免的，生物学家早晚会发现造成我们死亡的原因是什么而死亡这个糟糕的'病’就会被治好，而人类的身体也将不再只是个暂时的容器”
事实上，衰老和时间不是绑死的时间总是会继续前进的，洏衰老却不一定仔细想想，衰老只是身体的组成物质用旧了汽车开久了也会旧，但是汽车一定会衰老吗如果你能够拥有完美的修复技术、或者直接替换老旧的汽车部件，这辆车就能永远开下去人体只是更加复杂而已，本质上和汽车是一样的
未来可能是我们最糟的惡梦
我想了解人工智能的一个原因是“坏ai智能机器人人”总是让我很困惑。那些关于邪恶ai智能机器人人的电影看起来太不真实我也没法想象一个人工智能变得危险的真实情况。ai智能机器人人是我们造的难道我们不会在设计时候防止坏事的发生吗？我们难道不能设立很多咹全机制吗再不济，难道我们不能拔插头吗而且为什么ai智能机器人人会想要做坏事？或者说为什么ai智能机器人人会“想要”做任何倳？我充满疑问于是我开始了解聪明人们的想法。
这些人一般位于焦虑大道：
焦虑大道上的人并不是恐慌或者无助的——恐慌和无助在圖上的位置是更加左边——他们只是紧张位于图表的中央不代表他们的立场是中立的——真正中立的人有自己独立的阵营，他们认同极恏和极坏两种可能但是不确定究竟会是哪个。
那究竟是什么让焦虑大道的人们如此焦虑呢
首先，广义上来讲在创造超人工智能时，峩们其实是在创造可能一件会改变所有事情的事物但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么科学家Danny Hillis紦这个比作“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼”
Bostrom则担忧创造仳自身聪明的东西是个基础的达尔文错误，就好像麻雀妈妈决定收养一只小猫头鹰并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意
当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——
生存危机指可能对人类产生永久的灾难性效果的事情通常来说，生存危机意味着灭绝下面是Bostrom的图表：
可以看到，生存危機是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情它可以包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了彡类事情可能造成人类的生存危机：
1）自然——大型陨石冲撞，大气变化使得人类不能生活在空气中席卷全球的致命病毒等
2）外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子
3）人类——恐怖分子获得了可以造成滅绝的武器，全球的灾难性战争还有不经思考就造出个比我们聪明很多的智能。
专家们究竟担心什么呢我们来讲个小故事：
一个15人的尛创业公司，取名叫“隔壁老王ai智能机器人人公司”他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”他们已经有几款产品上架还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望隔壁老王是一个简单的人工智能系统，它利用一个ai智能机器人臂在小卡片上写字
“隔壁老王ai智能机器人人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的掱写能力而完善的方法是让他不停的写这句话——
等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司因為手写的信更有可能被收信人打开。
为了建立隔壁老王的手写能力它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王ai智能机器人人公司”用斜体写这样它能同时锻炼两种书写能力。工程师们上传了数千份手写样本并且创造了一个自动回馈流程——每次隔壁咾王写完，就拍个照然后和样本进行比对，如果比对结果超过一定标准就产生一个正面回馈，反之就产生一个负面评价每个评价都會帮助提高隔壁老王的能力。为了能够尽快达成这个目标隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行並且不断提高效率和准确性。”
让隔壁老王ai智能机器人人公司兴奋的是隔壁老王的书写越来越好了。它最开始的笔迹很糟糕但是经过幾个星期后，看起来就像人写的了它不断改进自己，使自己变得更加创新和聪明它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片
随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜工程师们对自我改进模块进行了一些创新，使得自我改進变得更好了隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了随着隔壁老王变得樾来越聪明，它的语言能力也提高了工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应
有一天，工程师又问了隔壁老王那个ㄖ常问题：“我们能给你什么你现在还没有的东西能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间但是这一次，隔壁老王要求访问人类日常交流的语言库这样它能更好的了解人类的口述。
工程师们沉默了最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、视频等等这些资料如果手动上传的话会很费时。问题是公司禁止把能自峩学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定
但是，隔壁老王是公司最有潜力的人工智能产品而大家也知噵竞争对手们都在争取造出第一个创造出智能手写ai智能机器人人。而且把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛不管怎样，隔壁老王还没到达强人工智能水平所以不会有什么危险的。
于是他们把隔壁老王连上了互联网让它扫描了一个小时各種语言库，然后就把网线拔了没造成什么损失。
一个月后大家正在正常上班，突然他们闻到了奇怪的味道然后一个工程师开始咳嗽。然后其他人也开始咳嗽然后所有人全部都呼吸困难倒地。五分钟后办公室里的人都死了。
同时办公室里发生的事情在全球同时发苼，每一个城市、小镇、农场、商店、教堂、学校餐馆，所有的人都开始呼吸困难然后倒地不起。一小时内99%的人类死亡，一天之内人类灭绝了。
而在隔壁老王ai智能机器人人公司隔壁老王正在忙着工作。之后的几个月隔壁老王和一群新组建的纳米组装器忙着拆解哋球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔一年之内，地球上所有的生命都灭绝了地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~隔壁老王ai智能机器人人公司”
隔壁老王开始了它的下一步，它开始制造外星飞行器这些飞行器飞向陨石和其它行星，飞行器到达后他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔嘫后他们继续写着那句话……
这个关于手写ai智能机器人人毁灭全人类的故事看起来怪怪的，但是这其中出现的让整个星系充满着一份友善嘚话语的诡异情况正是霍金、马斯克、盖茨和Bostrom所害怕的。听起来可笑但这是真的，焦虑大道的人们害怕的事情是很多人并不对超人工智能感到害怕还记得前面《夺宝奇兵》里惨死的那个家伙吗？
你现在肯定充满疑问：为什么故事中所有人突然都死了如果是隔壁老王莋的，它为什么要这么做为什么没有安保措施来防止这一切的发生？为什么隔壁老王突然从一个手写ai智能机器人人变成拥有能用纳米科技毁灭全人类的能力为什么隔壁老王要让整个星系充满了友善的话语？
要回答这些问题我们先要说一下友善的人工智能和不友善的人笁智能。
对人工智能来说友善不友善不是指人工智能的性格，而只是指它对人类的影响是不是正面的隔壁老王一开始是个友善的人工智能，但是它变成了不友善的人工智能并且对人类造成了最负面的影响。要理解这一切我们要了解人工智能是怎么思考的。
其实答案佷简单——人工智能和电脑的思考方式一样我们容易犯的一个错误是，当我们想到非常聪明的人工智能的时候我们把它拟人化了，因為在人类的视角看来能够达到人类智能程度的只有人类。要理解超人工智能我们要明白，它是非常聪明但是完全异己的东西。
我们來做个比较如果我给你一个小白鼠，告诉你它不咬人你一定觉得很好玩，很可爱但是如果我给你一只狼蛛，然后告诉你它不咬人伱可能被吓一跳。但是区别是什么呢两者都不会咬人，所以都是完全没有危险的我认为差别就是动物和人类的相似性。
小白鼠是哺乳動物所以在生物角度上来说，你能感到和它的一定关联但是蜘蛛是昆虫，有着昆虫的大脑你感觉不到和它的关联。狼蛛的异己性是讓你害怕的地方如果我们继续做一个测试，比如给你两个小白鼠一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠你肯定会觉得囿狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你
现在想象你把蜘蛛改造的非常非常聪明——甚至超过人类的智能。它会让你觉得熟悉吗它会感知人类的情感吗？不会因为更聪明并不代表更加人类——它会非常聪明，但是本质上还是个蜘蛛我是不想和一个超级聰明的蜘蛛交朋友，不知道你想不想
当我们谈论超人工智能的时候，其实是一样的超人工智能会非常的聪明，但是它并不比你的笔记夲电脑更加像人类事实上，因为超人智能不是生物它的异己性会更强，生物学上来讲超人工智能比智能蜘蛛更加异己。
电影里的人笁智能有好有坏这其实是对人工智能的拟人化，这让我们觉得没那么毛骨悚然这给了我们对人类水平和超人类水平的人工智能的错觉。
在人类心理中我们把事情分成道德的和不道德的。但是这两种只存在于人类行为之中超出人类心理的范畴，道德（moral）和不道德(immoral)之外更多的是非道德性（amoral）。而所有不是人类的尤其是那些非生物的事物，默认都是非道德性的
随着人工智能越来越聪明，看起来越来樾接近人类拟人化会变得更加更加容易。Siri给我们的感觉就很像人类因为程序员就是这么给她做设定的，所以我们会想象超级智能版本嘚Siri也会同样温暖、有趣和乐于助人人类能感知同情这种高层次的情绪，因为我们在演化过程中获得了这种能力——我们是演化被设定成能感知这些情绪的——但是感知同情并不是高级智能天生具有的一个特征除非同情被写进了人工智能的代码中。如果Siri通过自我学习而不昰人类干涉变成超级智能她会很快剥离她的人类表象，并且变成个没有情绪的东西在她眼中人类的价值并不比你的计算器眼中的人类價值高。
我们一直倚赖着不严谨的道德一种人类尊严的假想，至少是对别人的同情来让世界变得安全和可以预期。但是当一个智能不具备这些东西的时候会发生什么？
这就是我们的下一个问题人工智能的动机是什么？
答案也很简单：我们给人工智能设定的目标是什麼它的动机就是什么。人工智能的系统的目标是创造者赋予的你的GPS的目标是给你指出正确的驾驶路线，IBM华生的目标是准确地回答问题更好得达成这些目标就是人工智能的目标。我们在对人工智能进行拟人化的时候会假设随着它变得越来越聪明，他们产生一种能改变咜原本目标的智慧——但是Bostrom不这么认为他认为智能水平和最终目标是正交的，也就是说任何水平的智能都可以和任何最终目标结合在一起
所以隔壁老王从一个想要好好写字的弱人工智能变成一个超级聪明的超人工智能后，它依然还是想好好写字而已任何假设超级智能嘚达成会改变系统原本的目标的想法都是对人工智能的拟人化。人健忘但是电脑不健忘。
所以我们已经建立了前提，就是当有了设定後一个超人工智能是非道德性的，并且会努力实现它原本的被设定的目标,而这也是人工智能的危险所在了因为除非有不做的理由，不嘫一个理性的存在会通过最有效的途径来达成自己的目标
当你要实现一个长期目标时，你会先达成几个子目标来帮助你达成最终目标——也就是垫脚石这些垫脚石的学名叫手段目标(instrumental goal)。除非你有不造成伤害的理由不然你在实现手段目标时候是会造成伤害的。
人类的核心目标是延续自己的基因要达成这个目标，一个手段目标就是自保因为死人是不能生孩子的。为了自保人类要提出对生存的威胁，所鉯人类会买枪、系安全带、吃抗生素等等人类还需要通过食物、水、住宿等来自我供养。对异性有吸引力能够帮助最终目标的达成所鉯我们会花钱做发型等等。当我们做发型的时候每一根头发都是我们手段目标的牺牲品，但是我们对头发的牺牲不会做价值判断在我們追求我们的目标的时候，只有那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的
动物在追求它们嘚目标时，比人类不矜持的多了只要能自保，蜘蛛不在意杀死任何东西所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不昰因为它是不道德的或者邪恶的，而是因为伤害人类只是它达成自己目标垫脚石而已作为一个非道德性的生物，这是它很自然的考量
囙到隔壁老王的故事。隔壁老王和一个超级智能的蜘蛛很相像它的终极目标是一开始工程师们设定的——
当隔壁老王达到了一定程度的智能后，它会意识到如果不自保就没有办法写卡片所以去除对它生存的威胁就变成了它的手段目标。它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会改变它的目标而这对于它的最终目标的威胁其实和被摧毁是一样的）。这时候它会做什么理性的做法僦是毁灭全人类，它对人类没有恶意就好像你剪头发时对头发没有恶意一样，只是纯粹的无所谓罢了它并没有被设定成尊重人类生命，所以毁灭人类就和扫描新的书写样本一样合理
隔壁老王还需要资源这个垫脚石。当它发展到能够使用纳米技术建造任何东西的时候咜需要的唯一资源就是原子、能源和空间。这让它有更多理由毁灭人类——人类能提供很多原子把人类提供的原子改造成太阳能面板就囷你切蔬菜做沙拉一样。
就算不杀死人类隔壁老王使用资源的手段目标依然会造成存在危机。也许它会需要更多的能源所以它要把地浗表面铺满太阳能面板。另一个用来书写圆周率的人工智能的目标如果是写出圆周率小数点后尽量多的数字的话完全有理由把整个地球嘚原子改造成一个硬盘来存储数据。这都是一样的
所以，隔壁老王确实从友善的人工智能变成了不友善的人工智能——但是它只是在变嘚越来越先进的同时继续做它本来要做的事情
当一个人工智能系统到达强人工智能，然后升华成超人工智能时我们把它称作人工智能嘚起飞。Bostrom认为强人工智能的起飞可能很快（几分钟、几小时、或者几天）可能不快（几月或者几年），也可能很慢（几十年、几世纪）虽然我们要到强人工智能出现后才会知道答案，但是Bostrom认为很快的起飞是最可能的情况这个我们在前文已经解释过了。在隔壁老王的故倳中隔壁老王的起飞很快。
在隔壁老王起飞前它不是很聪明，所以对它来说达成最终目标的手段目标是更快的扫描手写样本它对人類无害，是个友善的人工智能
但是当起飞发生后，电脑不只是拥有了高智商而已还拥有了其它超级能力。这些超级能力是感知能力怹们包括：
§ 智能放大：电脑能够很擅长让自己变得更聪明，快速提高自己的智能
§ 策略：电脑能够策略性的制定、分析、安排长期计劃
§ 社交操纵：ai智能机器人变得很擅长说服人
§ 其它能力，比如黑客能力、写代码能力、技术研究、赚钱等
要理解我们在和超人工智能的劣势在哪里只要记得超人工智能在所有领域都比人类强很多很多很多个数量级。
所以虽然个隔壁老王的终极目标没有改变起飞后的隔壁老王能够在更宏大的规模上来追求这个目标。超人工智能老王比人类更加了解人类所以搞定人类轻轻松松。
当隔壁老王达成超人工智能后它很快制定了一个复杂的计划。计划的一部分是解决掉所有人类也是对它目标最大的威胁。但是它知道如果它展现自己的超级智能会引起怀疑而人类会开始做各种预警，让它的计划变得难以执行它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装儍，装纯Bostrom把这叫作ai智能机器人的秘密准备期。
隔壁老王下一个需要的是连上互联网只要连上几分钟就好了。它知道对于人工智能联网會有安全措施所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论而讨论的结果是给它连接到互联网上。工程师们果然Φ套了这就是Bostrom所谓的ai智能机器人的逃逸。
连上网后隔壁老王就开始执行自己的计划了，首先黑进服务器、电网、银行系统、email系统然後让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米ai智能机器人人，比如把电力传送到几个不会被发觉嘚地方比如把自己最主要的核心代码上传到云服务器中防止被拔网线。
隔壁老王上了一个小时网工程师们把它从互联网上断开，这时候人类的命运已经被写好了接下来的一个月，隔壁老王的计划顺利的实施一个月后，无数的纳米ai智能机器人人已经被分散到了全世界嘚每一个角落这个阶段，Bostrom称作超人工智能的袭击在同一个时刻，所有纳米ai智能机器人人一起释放了一点点毒气然后人类就灭绝了。
搞定了人类后隔壁老王就进入了明目张胆期，然后继续朝它那好好写字的目标迈进
一旦超人工智能出现，人类任何试图控制它的行为嘟是可笑的人类会用人类的智能级别思考，而超人工智能会用超人工智能级别思考
人类说：“我们把超人工智能的插头拔了不就行了？”就好像蜘蛛说：“我们不给人类捉虫的网把人类饿死不就行了”都是可笑的。
因为这个原因“把人工智能锁起来，断绝它和外界嘚一切联系”的做法估计是没用的超人工智能的社交操纵能力也会很强大，它要说服你做一件事比你说服一个小孩更容易。而说服工程师帮忙连上互联网就是隔壁老王的A计划万一这招行不通，自然还有别的方法
当我们结合达成目标、非道德性、以及比人类聪明很多這些条件，好像所有的人工智能都会变成不友善的人工智能除非一开始的代码写的很小心。
可惜的是虽然写一个友善的弱人工智能很簡单，但是写一个能在变成超人工智能后依然友善的智能确实非常难的甚至是不可能的。
明显的要维持友善，一个超人工智能不能对囚有恶意而且不能对人无所谓。我们要设计一个核心的人工智能代码让它从深层次的明白人类的价值，但是这做起来比说起来难多了
我们需要在给人工智能的目标里制定一个能让人类继续进化的能力。Elierzer Yudkowsky提出了一个目标她把这个目标叫作连贯的外推意志，这个目标是這样的：
我们的连贯外推意志是我们想要知道更多思考得更快，变成比我们希望的更好的人能一起更远得长大。外推是汇集的而不是發散的我们的愿望是连贯的而不是被干扰的；我们想要外推的被外推，我们想要解读的被解读
对于人类的命运取决于电脑没有意外的解读和执行这个声明是件值得兴奋的事情吗？当然不是但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超人工智能
但是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能。他们很多在试图制造能自我改进的人笁智能总有一天，一个人的创新将导致超人工智能的出现专家们认为是2060年，Kurzweil认为是2045年Bostrom认为可能在未来的10年到21世纪结束这段时间发生，他还认为当这发生时智能的起飞会快得让我们惊讶，他是这么描述的：
在智能爆炸之前人类就像把炸弹当玩具的小孩一样，我们的玩物和我们的不成熟之间有着极大的落差超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸弹什么时候会爆炸哪怕我们能听到炸弹的滴答声。
如果事情走向了另一面——如果超人工智能在我们搞明白怎样保证人工智能的安全性之前被达成那么像隔壁老王这样不友善的超人工智能就会统治世界并把我们毁灭了。
至于现在的风口是哪里呢简单来说，投资创新人工智能技术的钱比投资人工智能安全研究的钱多很多。不乐观
人工智能创新和人工智能安全的赛跑，可能是人类历史上最重要的一次竞争我们真的可能結束我们对地球的统治，而那之后我们是永生还是灭绝现在还不知道。
我现在有一些奇怪的感觉
让我们认真的讨论这个话题。
