登录
雷锋网AI科技评论按：作为机器学习和计算神经科学的国际顶级学术会议NIPS，随着近些年人工智能的发展，也变得越来越火爆。从大会官方公布的一些数据就可以看出：NIPS 2017共收到3240篇论文投稿，有678篇论文被选中作为大会论文，比例20.9%，其中有40篇被选中进行口头报告（oral），112篇选为spotlight进行展示。毫不意外这些数字又创了大会历史新高。就在论文收录结果公布仅仅10天之后，官方数据显示注册名额已满！那么对于广大还没来得及注册或者没有机会去到前方会场的同学们来说，如何才能更进一步的了解本次NIPS的论文情况呢？
由雷锋网主办，清华数据派THU承办的第五期“GAIR大讲堂”在上周六邀请了5位NIPS 2017论文入选者，5位同学来到清华大学，为大家做本次NIPS 入选论文的介绍分享。五位嘉宾中年龄最小的还在读大四，最大的博士还没毕业，但是各自都在学术方向有了一定深度的研究。5位同学在活动现场做了细致的分享，广大同学们都表示受益匪浅，以下为本次活动的回顾总结。
嘉宾分享内容回顾
陆洲现场图
第一位分享的嘉宾是北京大学数学科学学院大四本科生陆洲，分享题目是从宽度来看神经网络的表达能力（The expressive power of neural networks : A view from the width）
他表示最近虽然有很多神经网络表达能力的相关研究工作，但多数注重于深度如何影响表达能力。
而这篇论文则从宽度入手，分别从宽度带来的相变，以及宽度与深度对效率的影响来做实验，得到了关于神经网络表达能力的新结果。
宽度与深度对效率的影响
他认为，研究深度学习表达能力，有助于我们对于给定任务，选择较优的网络框架。也是数学上解释深度学习的必要一环。
研究成果的意义
邓志杰现场图
第二位分享嘉宾是清华大学计算机系人智所博士生邓志杰，分享主题为：结构化生成对抗网络（Structured Generative Adversarial Networks）
研究工作是基于指定语义或结构信息的条件产生式建模。现有的模型在搭建条件生成器时，往往需要大量的标注数据作为监督信号，而且不能够准确地对生成样本的语义信息加以控制。
因此他们提出结构化生成对抗网络(SGAN) 来解决半监督条件产生式建模这个问题。
SGAN 假设数据 x 基于两个独立的隐变量 y 和 z 来生成： y 编码了指定的语义信息，z 包含其他的可变因素。SGAN 的训练要解决两个对抗游戏，它们能够保证模型中各部分收敛到数据的真实联合分布p(x, y)和p(x, z)。为了确保 y 和 z 的解耦和，SGAN 搭建了两个合作游戏，它们在隐空间上最小化重建误差。
他们进行了大量的实验来评估结构化生成对抗网络。实验表明 SGAN 能够学习出一个高度可控的条件生成器，以及数据的解耦和的表示。
SGAN 在半监督分类任务的多个数据集上都取得了很好的实验结果。得益于对 y 和 z 的分开建模，SGAN 能够生成高质量并且严格遵循指定语义的样本。此外，SGAN 还能被扩展来进行一些有趣的实验，包括图像演化和图像风格迁移。
陈键飞现场图
第三位分享嘉宾是清华大学计算机系人智所博士生陈键飞，分享主题是：样本匹配差异及其在深度学习中的应用（Population Matching Discrepancy and Applications in Deep Learning）
两个概率分布之间可导的距离估计是对很多深度学习任务重要的问题。其中一种距离估计是最大平均差异（MMD）。
但是MMD有对核半径敏感、梯度弱以及用于训练目标时mini batch过大等问题。
论文中的分享围绕这一问题，介绍了他们在NIPS 2017上提出的样本匹配差异（PMD）。
他们提出了PMD作为分布之间距离的估计，并提出了用PMD作为目标函数时学习分布参数的算法。PMD定义成两分布样本构成的二分图的最小匹配，证明了PMD是Wasserstein度量的强一致估计量。
实验中将PMD用于了两个深度学习问题，包括领域自适应和训练产生式模型。结果表明PMD克服了上述MMD的不足，并在效果和收敛速度上都超过了MMD。
汪跃现场图
第四位嘉宾是北京交通大学理学院博士生汪跃，分享主题是：马尔科夫情形下的GTD 策略评估算法有限样本误差分析 （Finite sample analysis of the GTD Policy Evaluation Algorithms in Markov Setting）
汪跃说自己虽然是数学专业，但是特别喜欢跟应用结合的相关领域。曾经做过一段时间与脑科学有关的影像遗传学方面的工作。最近感兴趣的方向主要集中在强化学习中的算法理论分析和算法设计等方面，以及优化算法相关的方向 。
策略评估是强化学习中一个重要的组成部分。策略评估的目标是估计给定策略的价值函数（从任一状态出发，依照给定的策略时，期望意义下未来的累计回报）。一个好的策略评估算法可以更准确的估计出当前策略的价值函数，并且有助于找到一个更好的策略。
当状态空间特别大或者是连续空间的时候，线性函数近似下的GTD策略评估算法非常常用。考虑到收集数据的过程非常耗费时间和代价，清楚的理解GTD算法在有限样本情况下的表现就显得非常重要。
之前的工作将GTD算法与鞍点问题建立了联系，并且在样本独立同分布和步长为定值的情况下给出了GTD算法的有限样本误差分析。但是，在实际的强化学习问题中，数据都是由马氏决策过程产生的，并不是独立同分布的。并且在实际中，步长往往也不一定是一个定值。
这篇论文中首先证明了在数据来自于马尔科夫链的情况下，鞍点问题的期望意义下和高概率意义下的有限样本误差，进而得到了更接近于实际情形下的GTD的算法的有限样本误差分析。从结果中可以看到， 在实际中的马尔科夫的情形下:
（1）GTD算法确实依然收敛；
（2）收敛的速率依赖于步长的设定和马尔科夫链的混合时间这一属性；
（3）通过混合时间的角度解释了经验回放这一技巧的有效性，其有效性可以理解成缩短了马尔科夫链的混合时间。
单小涵现场图
第五位分享嘉宾是中国科学院计算技术研究所博士生单小涵，分享主题是：带有ε-近似次模阈值函数的影响力最大化问题（Influence Maximization with epsilon-Almost Submodular Threshold Function ）
她分享的主要是社交网络影响力最大化算法研究。影响力最大化旨在从社交网络中选择K个种子节点，使得这k个种子节点通过传播产生的影响范围最大。这个问题已经被广泛研究，但是大多的工作专注于次模的影响力传播模型。然而许多现实的传播现象表明，在实际传播中非次模现象十分普遍。
分享开始时，她举了几个通俗的例子，介绍了目前几个用户规模较大的社交网络和三个经典的传播模型。
随后分别对三大传播模型的算法进行了介绍，而这篇论文的价值所在是作者在论文中提到了一种近次模函数，并以这类函数作为阈值，研究通用阈值模型下的影响力最大化问题。
实验结果：
活动现场图
嘉宾演讲完的提问环节，同学们表现非常踊跃积极，收获满满
内容分享结束后，几位嘉宾还同时分享了他们在顶会上发论文的心得与体会。在最后的问答环节中，现场有很多刚刚入学的研究生，就学习、未来学术研究方向以及怎样才能进到像微软亚研这样的大企业实习等方面遇到的问题请教了几位嘉宾，他们都耐心给出了解答，广大在场的同学们都收获良多。以上就是GAIR大讲堂NIPS清华专场 5位嘉宾分享的全部内容。AI科技评论为大家整理了本次活动现场PPT（可关注AI科技评论公众号，后台回复“清华PPT”即可获取下载地址和密码。）
发表评论
你还没有登录，请先登录 或 注册！