一文盘点NeurIPS'22杰出论文亮点！英伟达大佬一句话总结每篇重点( 三 ) Pine明敏发自凹非寺量子位|公众

文章图片
传统的检索系统是基于文档向量嵌入和最近邻搜索。
而NCI则使用了一个端到端的可微模型，极大地简化了搜索管道，并且有可能在单个框架中统一检索、排序和Q&A 。

文章图片
11、一种新的采样方法一句话总结：加州大学设计出一个最有效的算法从多个分布中进行采样，按需采样。

文章图片
研究利用随机零和博弈的方法研究了多重分布学习问题。
多重分布学习在机器学习公平性、联邦学习以及多主题协作中都有着重要的应用。
在这其中，分布可能是不平衡或重叠的，所以最佳的算法应该按需采样。
12、分布外样本（OOD）检测是可学习的吗？一句话总结：OOD检测在某些条件下是不可学习的，但是这些条件不适用于一些实际情况。
Jim表示，具体来讲，我们所熟悉的监督式学习的测试数据是内部分发的，但现实世界却是混乱的。
而这个研究运用PAC学习理论，提出了3个具体的不可能性定理，推断应用于实际环境中确定OOD检测的可行性。
更重要的是，此项工作还为现有的OOD检测方法提供了理论基础。
13、基于黎曼得分的生成模型（RSGMs）
文章图片
一句话总结：这是一类将模型扩展到黎曼流形的生成模型（与欧几里德空间中的数据相反）。
扩散模型目前已经在人工智能领域取得了很大的进展，不过大多数模型都被假设是一个扁平的流形。
但在机器人学、地球科学或蛋白质折叠等领域，数据也能很好地在黎曼流形上描述。
这项研究使得StableDiffusion有望应用在气候科学上。

文章图片
14、SGD的高维极限定理一句话总结：研究用一个统一的方法，了解在高维情况下具有恒定步长的随机梯度下降的缩放极限。

文章图片
【一文盘点NeurIPS'22杰出论文亮点！英伟达大佬一句话总结每篇重点】其核心贡献是发展一个统一的方法，在连续步长之下，使我们了解SGD在高维的比例限制。
研究团队还在目前正流行的模型中证明了这个方法，示例也展示了很好的效果：
包括收敛的多模态时间尺度以及收敛到次优解决方案，概率从随机初始化开始有界地远离零。
15、RODEO：减小估计梯度方法REINFORCE的方差。一句话总结：利用Stein算子控制变量来增强REINFORCE的性能。

文章图片
离散变量使神经网络不可微，所以估计梯度的一种常见方法是REINFORCE ，但这种方法又存在很大的方差。
本文提出了一种利用Stein算子控制变量增强REINFORCE的高性能方法：“RODEO” 。
并且，这种控制变量可以在线调整以最小化方差，并且不需要对目标函数进行额外的评估。
在基准生成建模任务中，例如训练二进制变分自动编码器，在具有相同数量的函数估计的情况下，研究的梯度估计器实现了有史以来最低的方差。
大佬来自英伟达，师从李飞飞总结这一超强线程的大佬Jim ，现就职于英伟达。