引用超12万次的神级论文，开启了AI新时代！

2012年，一篇名为ImageNet Classification with Deep Convolutional Neural Networks的论文引爆了人工智能（AI）领域，整个研究界都惊叹深度学习的巨大飞跃。

也是那年，对于那些认为深度学习已经碰壁的人，“深度学习教父”杰弗里·辛顿（Geoffrey Hinton）反驳道： “我们将看到机器人技术的巨大进步——灵巧、敏捷、更顺从的机器人可以像我们一样更高效、更温和地做事。”

从那之后，人工智能行业飞速发展，人工智能已经渗透到我们生活和生产的方方面面。

吴恩达 （Andrew Ng）认为： “人工智能将成为新的电力，并将在未来几年影响每个人的生活。”

这在一定程度上说明，把握AI在一定程度上就是把握未来。

吴军博士在被人问及预测未来的时候回答：

今天小编就和大家一起回顾过去十年AI是如何发展、如何改变我们的生活和世界的，希望大家可以从中获得些许感悟，以帮助我们更好地把握当下，抓住未来机遇。

首先，让我们一起回到2012年。

在李飞飞教授发起ImageNet竞赛的第三年，杰弗里·辛顿带着他的两个博士生， 亚历克斯·克里热夫斯基 （Alex Krizhevsky）和 伊利亚·苏茨克维尔 （Ilya Sutskever）参加了竞赛。

他们带来的开创性神经网络AlexNet，以比亚军低了10.8%的错误率一举夺得当年冠军。AlexNet论文后来被认为是 计算机视觉领域发表的最具影响力的论文之一 ，催生了更多使用CNN和GPU来加速深度学习的论文。

▲ LeNet和AlexNet卷积层、池化层和密集层的比较

（来源：AlexNet）

根据谷歌学术数据，截至目前（2022年12月）该论文已经被引用超过12万次。今年，它也获得了 NeurIPS 2022时间检验奖 （Test of Time Award），以表彰它在十年间做出的重大贡献。

AlexNet的出现，标志着深度学习开始改变整个AI领域。

与此同时，谷歌X实验室研究员构建了一个由16000颗处理器组成的神经网络，它具有10亿个连接，并在训练后可以准确地识别网络视频中的猫；谷歌大脑也在大规模图像识别方面取得了突破性进展；在2012年IEEE计算机视觉和模式识别会议（CVPR）上，关于卷积神经网络在多个图像数据库上的性能报告也让人颇为振奋。

总之，到了2013年的时候，如杰弗里·辛顿所说： 几乎所有的计算机视觉研究都转向了神经网络。 自然语言处理、文本生成、文本翻译和图像合成等方面诸多阻碍都被深度学习清扫干净了。

2014年，由 伊恩·古德费洛 （Ian Goodfellow）发明的 生成对抗网络 （Generative adversarial network，GAN）横空出世。它令人惊叹的视觉效果和训练稳定性提升迅速引起了业内关注，并且被成功应用到图像生成、照片修复、迁移学习、医疗等重要领域。

也是在那一年，伊恩·古德费洛的博士导师 约书亚·本吉奥 （Yoshua Bengio）发表的通过联合学习对齐和翻译进行神经机器翻译的论文颠覆了传统的机器翻译，并提出了 重要的概念“注意力” （attention）。

神经机器翻译不仅成为翻译和语言建模等文本任务不可或缺的一部分，同时也与GAN模型相互影响。

当年还发生过一件震动AI行业的事情：谷歌收购DeepMind。此次收购对谷歌有着里程碑式的意义，对谷歌在AI领域的崛起意义重大。

在2015年，它开源了日后成为机器学习明星框架的 TensorFlow 。

该框架由杰弗里·辛顿和 杰夫·迪恩 （Jeff Dean）领导团队在谷歌大脑专用机器学习系统DistBelief上重构而成，被谷歌50多个团队用于研究与生产。

2015年年底，OpenAI成立，并在后来逐渐成长为与谷歌抗衡的AI巨头公司。

2016年，谷歌更是放大招。DeepMind出品的AlphaGo击败了当时的围棋冠军李世石，这是 计算机围棋程序首次无让分击败人类围棋职业九段棋手 。

AlphaGo使用蒙特卡罗树搜索算法， 先通过机器学习获得知识， 再大量训练从人类和计算机游戏中获得的知识来找到它自己的下棋方法。

AlphaGo成长迅速， 在2017年就击败了当时世界排名第一的棋手柯洁。

2016年10月，另一AI巨头Facebook（2021年更名为Meta）开源了自己的机器学习框架 PyTorch ，广泛应用于计算机视觉和自然语言处理等应用。

PyTorch在很大程度上与TensorFlow是竞争关系，并且在后面几年中赶超TensorFlow成为更受欢迎的框架。

在当下流行的机器学习构建工具Hugging Face支持的100000多个模型中，有58907个是PyTorch模型，而TensorFlow模型只有4123个。

2017年，谷歌大脑继续发力，推出新的深度学习模型Transformer。因为它在架构上大规模使用 注意力机制 ，几乎成为NLP问题的首选模型。

Transformer 也凭借着在超大型网络中的计算优势，以超高的并行化减少了大量训练时间，击败了老牌的循环神经网络(RNN)。

同一年Facebook地AI实验室还爆出过一个“事故”——训练出来的两个对话机器人，在交谈时偏离了英语的使用并创建了自己的语言。该项目后来被关闭，整个事件当时在网络上引起了热烈的讨论。

2018年，谷歌在Transformer的基础上推出了BERT模型。这是一种双向上下文的文本嵌入模型，用于语言理解的深度双向变换的预训练。

BERT一经发布，其他基于Transformer的语言模型立马呈爆炸式地增长，人机对话、问答等领域每时每刻都在发生变化。

同一年流行的DeepFakes想必大家依然印象深刻，使用这种技术制作的虚假视频在网络上火得一塌糊涂，常人很难以视频内容辨别其真假。而它背后的技术正是基于深度学习和训练生成神经网络（例如自动编码器和GAN）架构。

之后 AI技术几乎渗透到了生活中的每一处 ，在医疗领域也取得了惊人的发展。

2019年，谷歌DeepMind算法支持的AI从X射线图像中发现乳腺癌的整体表现比人类医生要好，正确诊断率更高。研究人员称，该技术有望帮助临床医生更准确地发现乳腺癌，缓解因放射科医生短缺带来的医疗压力。

同时AI在游戏领域也表现优异，比如DeepMind的AlphaStar在《星际争霸2》中达到宗师级别，超过99.8%的人类玩家；OpenAI训练的AI在旧金山的一场现场比赛中击败了《刀塔2》当时的世界冠军队伍OG战队。

近几年AI发展似乎更务实。

2020年微软推出的DeepSpeed是PyTorch的开源深度学习优化库，致力于减少内存使用并在现有计算机硬件上训练具有更好并行性的大型分布式模型。

依托于DeepSpeed，微软推出了图灵自然语言生成（Turing-NLG）模型，拥有170亿参数，在许多下游NLP任务上的表现优于当时其他技术，包括BERT和GPT-2。

但在几个月后，OpenAI就发布了先进的自回归语言模型 GPT-3 。使用该模型生成的计算机代码、诗歌、小说和其他文本几乎与人类编写的没有区别，并且其参数量是 Turing-NLG 的10倍。

而OpenAI在2022年11月推出并火爆全网的问答交互机器人 ChatGPT ，相信大家都见识过了它的强大。它就是建立在GPT-3.5之上，并且通过监督学习和强化学习技术进行了微调。

2020年底，DeepMind的AI系统AlphaFold2在第14届国际蛋白质结构预测竞赛(CASP)中取得冠军，准确度远高于其他组。

诺贝尔奖获得者、英国皇家学会主席文基·拉玛克里希南（Venki Ramakrishnan）教授评价说： 这项计算工作代表了蛋白质折叠问题的惊人进步，这是生物学领域50年来的一项重大挑战。

在2021年中，虽然以GPT-3为代表的单独针对文本及图像等任务的深度学习模型备受瞩目，但AI模型在发现文本与图像间关系中取得了进步。

比如到现在依然火热的AI绘画，就是CLIP（contrastive language-image pre-training）与GAN相结合的成果；Facebook的多模式仇恨言论检测器能够根据文本、图像及视频等10种数据类型将模因（恶意图文）与其他图像–文本对准确划分为“良性”或“有害”。

同时模型也变得越来越大。谷歌的 Switch Transformer 将参数推上了一个可怕的高度，该模型拥有 1.6万亿个参数 ；而后我国研究团队也开始发力，北京智源人工智能研究院的 “悟道2.0”模型 包含 1.75万亿个参数 。

值得注意的是，数据显示，2020年我国在世界范围内的AI期刊论文引用次数首次超过了美国，而在之前几年，美国的AI会议论文引用次数一直（且明显）高于我国。

我们在全球AI发展中贡献了举足轻重的力量。

十年走来，AI几乎在我们生产和生活的所有领域都发挥了作用。以当下的趋势来看，未来它的作用只会更大。

当然，这次十年回顾只是一次简单的介绍，对于技术和发明这些技术的人都只是浅浅地提及。但通过这次回顾，我们能够感受和体会到 AI的复杂与变化 ，也能预见到它在当下和未来对技术人员发出的挑战并不简单。

面对挑战，勇往直前吧！

当然，有称手的武器是最好不过的了。而小编推荐的这本AI领域“大百科书”，《人工智能：现代方法（第4版）》。

作为AI领域的经典之作，为了适应AI领域的新变化，本书这次升级几乎重写了所有内容，并且新增了四分之一的新章节知识。

其中对 近十年AI领域的新成果和进展有更丰富的介绍 ，特别是深度学习方面的关键技术成果。具体新增和修订内容如下：

作者 斯图尔特·罗素 （Stuart Russell）和 彼得.诺维格 （Peter Norvig）都是世界著名的计算机科学家，这本书融合了他们对于AI的系统性观点，凝练了他们在过去几十年AI研究与教学积累下来的宝贵经验，有助于我们充分、深刻地认识AI。

此次更新，更是融入了他们近十年来对AI的重新思考，可以帮助我们更轻松、有效地理解时下流行的AI技术与思想，从而更好地融入AI行业。

本书不仅是 新手入门AI的理想教材 ，也是 AI从业者可常备案头的参考书 。其丰富的内容既能在学习时拓展和加深我们对AI的认知，也能对AI相关的工作进行指导。

同时，本书口碑上佳，不仅有国内外的无数专家学者倾力推荐，也在各读者榜单中获得优异成绩。

经典升级，口碑依旧， 相信它可以作为你畅游AI世界的称手武器。

“种一棵树最好的时机，一个是十年前，一个是当下。”

AI的上一个十年已经过去，下一个十年相信你必定会参与。在以人为本的AI领域中，千千万万个技术人员发挥着自己的智慧与勇气，推动着AI的前进与发展。

小编相信，只要你想，你也会成为影响AI发展中不可忽视的一分子。

如果入门深度学习，可以考虑人工智能领域爆火的《图解深度学习：可视化、交互式的人工智能指南》。

本书和经典名著“AI大百科全书” 《人工智能：现代方法 （第4版）》 是同一系列，都对内容广度和深度做了很好的平衡，分别关注深度学习和人工智能这两个庞大的主题。

可以说本书是《人工智能：现代方法（第4版）》深度学习主题的深入探索与扩展，两者搭配阅读效果更好。

这本书以其对深度学习背后主流技术的讲解，及精美的插图和有趣的类比，俘获了一众读者的心，在全球各地均斩获高分评价。

人工智能：现代方法 （第4版）》

往期好文

点击图片即可阅读全文

2022年度精选好书推荐