痴人、信徒、：深度学习三巨头等神经网络复兴史
现代神经网络、机器学习等AI技术背后的思想，可以追溯到第二次世界大战行将结束之际。彼时，学者们开始构建计算系统，旨在以类似于人类大脑的方式存储和处理信息。
这多亏一小撮“”的，他们不怕被视作蠢货，一直相经网络会这个世界，并改变人类的命运。
这是一个卧薪尝胆般的故事，主人公不止一人。而这些是他们记忆中的艰辛和突破。参与讲述的亲历大牛包括：
回首当年，现已身为机器学习“三巨头”之一的Yann LeCun说：“对Hinton、Bengio和我来说，这是一段的时期。我们虽然并不痛苦，但也许也会觉得悲伤，人们并不认为我们的想法更好。”
Geoffrey Hinton说他们一直相经网络，但当时外人认为搞神经网络简直是痴心妄想，“研究神经网络，想让它更好用的人寥寥无几。”
“什么是人性？人性就是一场奋斗，为了变得更好。我们不想停在自己已经走到一半的上，然后说，这就是宿命。”Sutton说。
Bengio说：我相信我们能够创造出比我们自身更聪明的机器，聪明到能够理解我们的价值观和体系，并按照对我们好的方式行动。
LeCun说：我不相信奇点的概念，这种好莱坞式的场景，比如某个在阿拉斯加的天才掌握了AI的秘密，然后造出了一种征服世界的机器人，都是可笑的。
神经网络的概念可追溯到上世纪40年代，当时被认为是一种模拟大脑神经元网络的计算系统。Frank Rosenblatt教授在20世纪50年代真正推动了这项工作，与美国海军等部门合作，开发了一种基于神经网络概念的机。
Rosenblatt称，此机不仅能学会识别图像这样的小任务，还能从理论上教机器走、说话和表达感情。
60年代末，Rosenblatt的同事兼中学同学、人工智能、达特茅斯会议的组织者Marvin Minsky（明斯基）写了本书，详细介绍了机和神经网络的局限性。
Rosenblatt的机能做些有趣的事情，但有些生不逢时，直到50年之后，这个才可行起来。虽然明斯基某种意义上讲一直是神经网络的信徒，但他也证明有些事情还是无决的。
明斯基和Seymour Papert的《机:计算几何学的介绍》当时基本上导致了这个领域衰亡。
Hinton曾经在卡内基梅隆大学(CMU)任教，后来成了大学的特聘教授，他一直于神经网络。
最终，他和同事们研发出了多层神经网络，或者叫深度神经网络。这是机器学习史上的里程碑事件，自此之后，深度学习开始作用于各行各业。
深度学习的另一名巨头，法国计算机科学家Yann LeCun曾花了一年时间在的Hinton实验室做博士后研究，之后去了的贝尔实验室。
从很小的时候起，我就被智能所吸引。我成长在20世纪60年代，当时太空探索很流行，第一代电脑也已出现，人工智能的概念已经兴起。所以当我开始学工程学的时候，我对AI这个新兴领域非常感兴趣。
我当时听说了机之后非常感兴趣，因为我很赞同学习是智能的组成部分，四处找资料想弄明白器的一切。
对工程师来说，如果你想了解智能，最有效的方法是尝试建立一个智能机器，这个过程会你专注在构成智能的关键部件上。
你想要的不仅仅是模仿生物智能或者人类大脑，因为有些功能可能正是由生物化学和生物学决定的，但与智能并无关系，真的。这就像羽毛对飞翔并没起什么关键作用，真正重要的是背后的空气动力学原理。
当时，你作为一个神经网络研究员去参加大型人工智能会议，而你并没有被学术界的核心所接受。这些太边缘了。
1985年，神经网络确实是门边缘学科，我在麦吉尔大学上的课都不教这个。我学的是经典的、符号化的人工智能（Symbolic AI），所以，想做神经网络，必须先教授来指导我。
好在我有的学金，基本上可以自己决定我要做的课题，对教授来说也没有任何损失。最终我们谈妥了：我可以做机器学习，但需要把它应用到他所关心的语音识别任务上。
1986年左右的时候，神经网络的研究出现一股小，一些物理学家也对这种模型感兴趣，提出了新的数学方法。
这些方法使这个领域再次高歌猛进，这在80年代后期和90年代早期吸引了很多人关注。部分人开始让基于神经网络的系统做一些实际的事情，比如信用卡欺诈检测等。
80年代末，一名叫Dean Pomerleau的CMU研究人员用神经网络构建了一辆可以上的自动驾驶汽车。LeCun在上世纪90年代用这项技术构建了一个可以识别手写数字的系统，之后被银行应用。
我们没有用同行的算法，他们用了我们的。LeCun本来是法国人，我们用过他的算法。他有很多有用的重要贡献。
我认识这些研究人员已经有很长时间了。第一次遇到Yoshua，是他发表了一项研究，和四年前我一个学生发表的东西是一样的，或者说差不多。
几年后，我们在一次会议上摊牌了，所有事实都摆了出来。当时在研讨会上有一场公开辩论，谁先做了什么很明显能看出来。这不是恶意的，只是在事实。你在科学中所做的事情就是事实。
当时的问题是，这些方法需要复杂的软件、大量数据和强大计算机来支持，没有多少人能接触到这些东西或者愿意花时间来完成。
对Hinton、Bengio和我来说，这是一段的时期。我们虽然并不痛苦，但也许也会觉得悲伤，人们并不认为我们的想法更好。
当然，我们一直相信它，也一直在研究它，但工程师们发现其他方法只需要小数据集就能逼近甚至超越它的性能时，就奔向了其他的阳关大道，把神经网络给定位成了痴心妄想。研究神经网络，想让它更好用的人寥寥无几。
2003年，Geoff在，被CIFAR招揽过去启动一个神经计算项目。于是，我们聚到了一起，决定努力奋斗，重新点燃我们这个领域的热情。
但是我们在发表研究之前，需要一个安全的地方来办班、开会、发展我们的想法。这个项目2004年正式启动，到2006年，就产出了非常有意思的论文。Geoff就在《科学》上发表了一篇。
2006年在，我们开发了一种训练多层神经网络的方法，同年在《科学》上发表了一篇论文，非常有影响力，也支撑了我们的观点，吸引了更多人的兴趣。
2009年，我实验室的两个学生开发了一种用深度神经网络做语音识别的方法，效果比当时已有的方法更好。
它只是好了一点点，但当时现存的技术已经30年毫无进展了。这些深度神经网络研究几个月就能取得稍好一点的成绩，实际上显然意味着几年之内就能取得更大的进展。
2009年，Hinton和当时微软的语音识别研究员邓力有过一次不经意的碰面。像当时大多数人一样，邓力推崇的是符号主义。在这条径下，你基本得逐条地构建语音识别系统，并将它们以特定行为编码——进展会非常慢。
Hinton当时提到，他用神经网络方法来进行语音识别的研究已经取得了真正的进展。这种方法可以通过分析语音数据库中存在的模式来完成字词识别，并且比符号主义逐条编排的方法更快。
邓力当时并不完全相信Hinton的话，但后来还是邀请他以及他的两位同事来微软开发这项技术。在微软，语音识别有了飞跃性的进步；2010年，同样的事情发生在谷歌。
随后，在2012年末，Hinton和他的两位学生在图像识别领域取得了重大突破，与此同时，他们了之前所有的技术。也正是从这时起，除微软和谷歌之外，其他公司开始意识到这些思想的潜力。
要记住，Hinton的这些思想其实并不年轻。在神经网络背后，其实是计算力和数据量发生了变化。在微软和谷歌这样的公司，你需要数千台机器协同运作，才能处理从文本到视频等等一切内容，巨大的数据量和计算力，也为神经网络的成功提供了土壤。
这恰恰是科学的特点。这是种哲学。在各种各样的技术被采纳之前，人们需要相信这些技术真正能发挥作用。当时，这些方法的名声并不好，人们说它们太吹毛求疵，还需要使用某些黑魔法。
看到计算力有如此稳定的提升，意义非常重大。现在，那些开发算法的人与那些开发更快计算机的人像是在赛跑。你可能需要提前计划，考虑5年甚至10年后可用的计算机状况，来调整自己的算法。
计算机需要能够意识到哪些是好的，哪些是坏的，因此你要给它一个叫做“励“的特定信号。如果励很高，那代表它是好的；励低的话，代表它是坏的。这是目标的源头。
要实现Geoff、Yann和我梦想中的那种无监督式学习，我们还有很长的要走。几乎每种用深度学习来打造的产品主要依赖的都是监督式学习，也就是计算机要被告知它们在数百万的案例中要做什么事情。
当然，人类可不是这样学习的；我们自动学习。我们会观察自身所处的世界。2岁的时候，我们就有关于物理、重力、压力等等的初级概念，但父母们从来没有教过我们牛顿定律。我们与世界进行交互，观察，并在某种程度上构建一个关于事物会如何依照我们的行为进行展开的模型。
我们的研究正在向非监督学习的阶段迈进，它与强化学习方面的工作相联系。我们不只是在观察世界，我们界中行动，并依据这些行动的效果来弄清楚它是如何起作用的。
我现在感兴趣的，是如何让机器向动物和人类一样高效地学习。当你学开车时，你知道要是你偏离道，就会有不好的事情发生。我们可以预知自己行为的后果，这意味着我们不需要去真正做那些不好的事情，就能认识到它是不好的事情。
所以我现在的目标就是找到一种训练机器的方式，让它们能通过观察来学习，以便能够构建这种对于世界的预知模型。每种动物都有自己对于的预知模型。动物越聪明，它们在这件事上就能干得越好。你可以说这种预知的能力，加上根据预知结果行动的能力，其实就是智慧的本质。
很有可能在未来3年、5年、10年、15年什么的，我们就会取得非常大的进展。在真正做出能接近人类智慧的系统之前，我们还要花费很长的时间。要几十年。
哪怕是机器变得非常聪明，甚至比我们还聪明，我也不认为人类就会失业。我们一直想让真正的人类来工作，那些工作是人与人之间的交往。我不想让一台机器人来照顾我的孩子，或是我的祖父母，抑或是在我生病时在医院照顾我。
我不是在害怕终结者。我相信我们能够创造出比我们自身更聪明的机器，聪明到能够理解我们的价值观和体系，并按照对我们好的方式行动。
我真正的担忧是人们会错误地使用AI，比如将它们用在军事武器上。像你在广告中看见的一样，它们已经被用来影响他人了。在某些于和伦理上不该使用AI的地方，我认为我们应该将其判定为非法。在集体层面，我们应该保持。
我认为，我们把这一领域称作“人工智能”是个非常大的错误。这个名字让它看上去与人类差异巨大，也不像是真正的智慧。它让人们把这些东西想象成过于奇异、陌生的事物，但实际上我们在做的是件非常“人性”的事情——重造人类智慧。
科学的是真理，但不是所有人都喜欢真理——特别是你拿到真理，发现并不是你想要的。这可能也是历史上教总是与科学发生冲突的原因。我觉得，当我们对自己的大脑了解得越多，情况可能也会如此。也可能，根本就不存在对意识的某种解释。一些人喜欢，一些人不喜欢，科学无法改变真理。
当变革来临时，总会有赢家和输家，而一场大变革就要来了。我觉得我们也会变成智慧机器。我们应该把AI当作自己，或是当作我们的后代。我们可以依照我们认为健康的方式来创造它们。
什么是人性？人性就是一场奋斗，为了变得更好。我们不想停在自己已经走到一半的上，然后说，这就是宿命。
在我们真正搞清楚它会是什么样子之前，对此的担心都是不成熟的。我不相信奇点的概念，那东西认为某天我们会学会制造超级智能机器，第二天那些机器就会自己创造出更聪明的机器，然后它们会起飞。
我想人们似乎忘了，所有的物质现象和社会现象都要面对摩擦力，因而指数型的增长进程并不能无限地进行下去。这种好莱坞式的场景，比如某个在阿拉斯加的天才掌握了AI的秘密，然后造出了一种征服世界的机器人，都是可笑的。
本质上说，提高生产力应该有益于之善。这件事变成坏事的唯一可能性是，社会拿走了生产力提升的全部，却只把它给了站在塔尖的那1%的人口。我住在的原因之一就是它的税收体系：如果你挣了很多钱，那国家就收你很多的税。我认为这非常棒。
我的主要观点是，未来是很难预测的。当你开始试图预测未来20年会发生什么事情，你基本就错得离谱了。但也有一些东西是可以预测的，比如——这项技术将会改变一切。
本文来源于ipfs