编辑推荐推荐书籍

广泛应用的贝叶斯神经网络是什么来历？
来源：互联网 (转载协议) 发布日期：2016-12-20 12:06 浏览：53330次专栏投稿值班编辑：QQ281688302

在刚刚过去的NIPS 2016会议上，剑桥大学信息工程学教授Zoubin Ghahramani为我们讲述了贝叶斯神经网络的发展历程。本文从研究背景和问题应用切入，介绍了贝叶斯神经网络的起源、黄金时期以及后来的复兴，并介绍了每个发展阶段的几篇关键研究，是一份简明扼要

赞助本站

在刚刚过去的NIPS 2016会议上，剑桥大学信息工程学教授Zoubin Ghahramani为我们讲述了贝叶斯神经网络的发展历程。本文从研究背景和问题应用切入，介绍了贝叶斯神经网络的起源、黄金时期以及后来的复兴，并介绍了每个发展阶段的几篇关键研究，是一份简明扼要的学习资料，能够帮你快速深入理解贝叶斯神经网络。

P4：上世纪八十年代的研究背景

《玻尔兹曼机》于1985年出版，1986年反向传播网络论文发表，接着1987年PDP大量出现。这一领域过去也被称为连接机制，NIPS是该领域的主要学术会议。

P5-P7：神经网络与深度学习简介

神经网络与深度学习系统在很多基准任务的表现优异，但是它也有以下缺陷：

需要大量数据（常常是数百万样本）

训练与部署的计算量大（云GPU资源）

不确定性表征得不太好

常常被对抗样本欺骗

对于优化很挑剔：非凸+架构选择，学习程序（procedure），初始化等等，还需要专家知识（expert knowledge）和实验

过程黑箱，无法解释，缺少透明性，很难信任其结果。

P8 -12：贝叶斯在这里有什么帮助

处理参数不确定性的所有来源

具备处理结构不确定性的能力

贝叶斯定理告诉我们要从数据（可衡量的量）当中做一些关于假设（不确定的量）的推理。

学习和预测都可以看作是推理的形式。

校正模型与预测不确定性：让系统知道它们何时不知道。

自动模型复杂性控制与结构学习（(Bayesian Occam's Razor)）

要清楚的一点是「贝叶斯」属于算法范畴，不是模型类。任何定义好的模型都可以用贝叶斯方法.

P13：贝叶斯神经网络

P14-16：贝叶斯神经网络的早期历史

贝叶斯神经网络的早期历史可以从以下几篇论文中了解：

John Denker, Daniel Schwartz, Ben Wittner, Sara Solla, RichardHoward, Lawrence Jackel, and John Hopfield. Large automaticlearning, rule extraction, and generalization. Complex Systems,1(5):877-922, 1987.

Nafitali Tishby，Esther Levin，and Sara A Solla. Consistent inference of probabilities in layered networks: Prediction and generalization. In IJCNN,1989.

P17- 20贝叶斯神经网络的黄金时期

David JC Mackay发表在神经计算（Neural Computation）上的一篇文章：A Pratical Bayesian Framework For Backpropagation Networks揭开了这一时期的序幕。

Neal, R.M. 1995年在多伦多大学的博士论文：Bayesian learning for neural networks. 这篇论文也奠定了贝叶斯神经网络 (BNN) 和高斯过程（Gaussian processes）以及自动相关决策机制（automatic relevance determination ,ARD）之间的关系。