![]() |
编辑推荐推荐书籍
广泛应用的贝叶斯神经网络是什么来历?
在刚刚过去的NIPS 2016会议上,剑桥大学信息工程学教授Zoubin Ghahramani为我们讲述了贝叶斯神经网络的发展历程。本文从研究背景和问题应用切入,介绍了贝叶斯神经网络的起源、黄金时期以及后来的复兴,并介绍了每个发展阶段的几篇关键研究,是一份简明扼要的学习资料,能够帮你快速深入理解贝叶斯神经网络。
P4:上世纪八十年代的研究背景
《玻尔兹曼机》于1985年出版,1986年反向传播网络论文发表,接着1987年PDP大量出现。这一领域过去也被称为连接机制,NIPS是该领域的主要学术会议。
P5-P7:神经网络与深度学习简介
神经网络与深度学习系统在很多基准任务的表现优异,但是它也有以下缺陷:
需要大量数据(常常是数百万样本)
训练与部署的计算量大(云GPU资源)
不确定性表征得不太好
常常被对抗样本欺骗
对于优化很挑剔:非凸+架构选择,学习程序(procedure),初始化等等,还需要专家知识(expert knowledge)和实验
过程黑箱,无法解释,缺少透明性,很难信任其结果。
P8 -12:贝叶斯在这里有什么帮助
处理参数不确定性的所有来源
具备处理结构不确定性的能力
贝叶斯定理告诉我们要从数据(可衡量的量)当中做一些关于假设(不确定的量)的推理。
学习和预测都可以看作是推理的形式。
校正模型与预测不确定性:让系统知道它们何时不知道。
自动模型复杂性控制与结构学习((Bayesian Occam's Razor))
要清楚的一点是「贝叶斯」属于算法范畴,不是模型类。任何定义好的模型都可以用贝叶斯方法.
P13:贝叶斯神经网络
P14-16:贝叶斯神经网络的早期历史
贝叶斯神经网络的早期历史可以从以下几篇论文中了解:
John Denker, Daniel Schwartz, Ben Wittner, Sara Solla, RichardHoward, Lawrence Jackel, and John Hopfield. Large automaticlearning, rule extraction, and generalization. Complex Systems,1(5):877-922, 1987.
Nafitali Tishby,Esther Levin,and Sara A Solla. Consistent inference of probabilities in layered networks: Prediction and generalization. In IJCNN,1989.
P17- 20贝叶斯神经网络的黄金时期
David JC Mackay发表在神经计算(Neural Computation)上的一篇文章:A Pratical Bayesian Framework For Backpropagation Networks揭开了这一时期的序幕。
Neal, R.M. 1995年在多伦多大学的博士论文:Bayesian learning for neural networks. 这篇论文也奠定了贝叶斯神经网络 (BNN) 和高斯过程(Gaussian processes)以及自动相关决策机制(automatic relevance determination ,ARD)之间的关系。
P21-24高斯过程与贝叶斯神经网络
高斯过程可被用于回归、分类、排名等。
将郎格文动力学(Langevin dynamics,一种MCMC的形式)与随机梯度下降(SGD)结合起来得到一个基于minibatch SGD的高度可扩展的近似MCMC算法。
这样一来,贝叶斯推断就能像运行嘈杂的SGD那样简单。
一个带有一层隐藏层和无数隐藏单元的神经网络和权重高斯先验
MacKay和Neal的贡献将特征与架构选择与高斯过程联系起来
P25- 28贝叶斯神经网络中的变分学习(variational learning)
Hinton的一篇论文推导出一个贝叶斯网络权重的对角高斯变分近似,但是用最小描述长度信息理论语言进行描述。
P29随机梯度朗格文动力学(Langevin Dynamics)
P30:贝叶斯神经网络的复兴
P31-32概率方法什么时候变得非常重要?
学习的很多方面都非常依赖于不确定性的细致表征
P33结论
概率模型为建立能从数据中学习的系统提供了通用框架
贝叶斯神经网络有很长的历史并且正在经历着复兴的浪潮
P35-36模型比较及学习模型结构
P37-39贝叶斯奥卡姆剃刀(Bayesian Occam's Razor)
模型类别太过简单就可能无法生成数据集。
模型类别较复杂可以生成很多可能的数据集,所以它们也不太可能随机生成某个特定的数据集。
P41-42边缘似然 (marginal likelihood) 和后验(posteriors)的近似方法(Approximation Methods)
拉普拉斯近似(Laplace Approximation)
贝叶斯信息准则(Bayesian Information Criterion,BIC)
变分近似(Variational approximations)
期望传播 (Expectation Propagation,EP)
马尔科夫蒙特卡洛方法(Markov chain Monte Carlo methods,MCMC)
序列蒙特卡洛方法(Sequential Monte Carlo,SMC)
精确抽样(Exact Sampling
相关内容
网友评论
最新资讯
本月热点
热门排行
-
人工神经网络有多强大 即将秒杀人类6大领域
阅读量:39372
推荐内容
- 2018第十四届中国郑州国际五金机电展览会
- 2018中国国际教育装备展览会
- 2018第七届中国(长春)国际茶产业博览会
- 2018广州艺术交易博览会
- 2018第十二届中国西安国际茶业博览会
- 2018湖南(春季)渔具展览会
- 2018第四届亚欧电力技术装备展览会
- 2018年汉诺威工业博览会
- 2018第17届中国(西部)国际口腔设备与材料展览会暨口腔医学学术会议
- 2018年英国考文垂遮阳展览会
- 2018中国国际调味品及食品配料博览会
- 2018中国武汉春季茶业博览交易会暨紫砂、陶瓷、茶具工艺品展
- 2018湖南教育装备展览会
- 2018第九届宁波国际铸造、锻造及压铸工业展览会
- 2018上海国际物业管理产业博览会暨2018中国(上海)国际物业管理高峰论坛
- 2018第二十届山东国际供热供暖、通风及空调技术与设备展览会
- 2018上海国际室内空气净化展
- 2018上海国际地坪维护保养展览会
- 2018上海国际零售业设计与设备展
- 2018第十九届上海国际清洁技术与设备博览会
- 2018第十七届南京安防展
- 2018第15届中国国际自助服务产品及自动售货系统展
- 第二届环球磁电展览会暨第二届环球电源变压器与绕线制造展览会/第二届环球磁性元器件与生产设备展览会
- 2018中国(武汉)国际美容美发美体化妆用品博览会
- 2018中国(上海)第二十三届国际船艇及其技术设备展览会暨2018上海国际游艇展
- 2018上海第二十六届中国国际建筑装饰展览会暨2018上海国际酒店及商业空间工程与设计展览会
- 2018年内蒙古第二十六届国际广告四新与传媒博览会暨LED及城市景观照明技术博览会
- 2018第十六届中国沈阳国际葡萄酒及烈酒展览会
- 2018第二十八届上海国际连锁加盟展览会
- 2018第二十九届沈阳国际食品机械、包装设备展览会
- 2018第十六届沈阳国际糖酒食品交易会
- 2018第20届山东国际给排水、水处理及管泵阀展览会
- 第11届巴基斯坦纺织服装机械展览会
- 2018中国食品产业博览会
- 2018韩国国际城市安全及消防装备博览会
- 全国汽车配件交易会暨全国汽车配件采购交易会
- 越南(胡志明市)国际汽车零配件及售后服务展览会
- 2018北京国际汽车工业展
- 2018中国(成都)电动车及新能源汽车展览会
- 2018中国(济南)车界国际汽车后市场博览会
- 2018第13届印度精细化工展览会
- 2018第十三届天津国际温泉泳池沐浴SPA及养生健康产业展览会
- 2018第17届中国(西部)国际口腔设备与材料展览会暨口腔医学学术会议
- 2018成都农博会肥料、农药、种子、农机专项展示订货会
- 第二十六届中国(深圳)国际礼品、工艺品、钟表及家庭用品展览会
- 2018第十一届中国东光纸箱机械国际博览会
- 2018第四届国际酵素产业博览会
- 2018上海国际油脂化工原料及设备展览会暨会议
- 2018第二十一届中国东北国际五金工具展览会
- 2018表面活性剂和洗涤剂展览会
- 第二十八届中国国际电子生产设备暨微电子工业展
- 2018第二十一届中国东北国际焊接、切割、激光技术及设备展览会
- 2018东北国际安全生产及劳动保护用品展览会
- 2018第二十一届中国东北动力传动与控制技术展览会
- 2018年德国工业博览会
- 2018东北国际数控机床与金属加工展览会
- 2018广西国际糖业技术设备交流展示会
- 2018(上海)国际营养健康产业博览会
- 2018年新加坡酒店用品展FOOD&HOTEL ASIA
- 2018年巴西圣保罗国际照明电气及灯具展览会
- 2018第三十二届中国国际塑料橡胶工业展览会
- 2018年土耳其国际家用纺织品展览会
- 2018新加坡国际酒店烘焙与食品展
- 2018年新加坡酒店设备、食品、餐饮展(FOOD&HOTEL ASIA)
- 2018年法国国际工程机械与建材机械展
- 2018年法国国际土木工程和建筑机械展览会INTERMAT 2018
- 2018年法国巴黎国际工程机械与建材机械博览会
- 第123届中国进出口商品交易会(第二期)
- 2018年汉诺威工业博览会
- 2018年德国汉诺威物流展
- 2018中国国际低碳科技成果交易博览会
- 第37届广州(锦汉)家居用品及礼品展览会
- 意大利米兰家具展览会