戴尔|高斯过程相关研究的新进展的8篇论文推荐（统计 +人工智能）大屏|键盘|5g通信

1、Low-Precision Arithmetic for Fast Gaussian ProcessesWesley J. Maddox Andres Potapczynski Andrew Gordon Wilson
arxiv 2207.06856
低精度算法对神经网络的训练产生了变革性的影响，降低了对计算量、内存和算力的需求。但是高斯过程（GPS）中却很少使用低精度的算法，这是因为GPS的复杂线性代数在低精确度中是不稳定的。论文研究了在半精度训练GPs时可能发生的不同的失效模式。为了避免这些失效模式，提出了一种多层面的方法，包括共轭梯度与重新正交化、混合精度和预处理。论文提出的这些方法在大范围设置的低精度下显著提高了共轭梯度的数值稳定性和实际性能，使GPs能够在10小时内在单个GPU上训练180万个数据点，而无需任何稀疏逼近。
2、Markovian Gaussian Process Variational AutoencodersHarrison Zhu Carles Balsells Rodas Yingzhen Li
arxiv 2207.05543
深度生成模型广泛用于高维时间序列的建模，如视频动画、音频和气候数据等。序列变分自编码器已被成功地应用于许多应用中，许多变体模型依赖于离散时间方法和递归神经网络(RNNs) 。连续时间方法最近获得了新的进展，在不规则采样时间序列的情况下，它们可以比离散时间方法更好地处理数据。这里其中一类是高斯过程变分自编码器(GPVAEs) ， VAE先验设置为高斯过程(GPs) ，允许通过核函数和潜在空间的可解释性对归纳偏差进行显式编码。但是GPVAEs的一个主要限制是它继承了与GPs相同的三次计算开销。在这篇论文中，利用马尔可夫GPs的等效离散状态空间表示，通过卡尔曼滤波和平滑实现线性时间GP求解器。通过测试任务显示，论文的方法表现良好，特别是优于基于rnn的模型。
3、Adaptive Nonlinear Regulation via Gaussian ProcessLorenzo Gentilini Michelangelo Bin Lorenzo Marconi
arxiv. 2206.12225
该论文通过提出基于学习的基于内部模型的设计策略来处理非线性系统的输出调节问题。从最近在提出的自适应内部模型设计技术中得到了一些灵感，并通过高斯过程回归器扩展它。基于学习的适应性是通过遵循“事件触发”的逻辑来执行的，这样可以使用混合工具来分析结果闭环系统。与最近中提出的方法不同，在论文方法中友元应该属于一个特定的有限维模型集，并且只需要理想稳态控制动作的平滑性。论文还通过数值模拟证明了所提出的方法如何优于以往的方法
4、Additive Gaussian Processes RevisitedXiaoyu Lu Alexis Boukouvalas James Hensman
arxiv 2206.09861
高斯过程模型是一类具有丰富表征能力并且灵活的非参数模型。通过使用加性结构的高斯过程，可以对复杂的响应进行建模，并同时保持可解释性。以前的工作表明，加性高斯过程模型需要高维相互作用项。论文提出了正交加性核(OAK) ，它对加性函数施加了一个正交约束，这使可识别的、低维的函数关系表示成为可能。将OAK核连接到函数方差分析分解，并使用改进的收敛速度更快稀疏计算方法。通过使用少量的可加性低维项，证明了OAK模型实现了与黑箱模型相似或更好的预测性能，同时保留了可解释性
5、Gradient-based explanations for Gaussian Process regression and classification modelsSarem Seitz
arxiv 2205.12797
高斯过程已被证明是一种可靠和有效的概率机器学习方法。由于最近和当前的进展，利用GPs对复杂数据进行建模变得越来越可行。如果你想在神经和深度学习方法找到一个有趣替代方案，高斯过程可以说是目前最先进的机器学习方法。人们对所谓的可解释方法越来越感兴趣——本质上是旨在使机器学习模型的决策过程对人类透明。当不合逻辑或有偏见的推理可能导致对人类实际不利的后果时，特别需要这种能够进行解释的方法。理想情况下，可解释的机器学习应该有助于发现模型中的缺陷，并帮助后续的调试过程。机器学习可解释性的一个活跃的研究方向是基于梯度的方法，它已成功地应用于复杂神经网络。考虑到GPs在差分条件下是封闭的，基于梯度的GPs可解释性是一个有前景的研究领域。本文主要通过梯度来解释GP分类器，与GP回归相反，导数GP并不能够直接获得。