百度入选ICML、IJCAI、ISIT等机器学习顶会的论文都在关注什么？( 六 ) 2021年

文章图片
15.基于语义共享模型的有监督跨模态检索
RethinkingLabel-WiseCross-ModalRetrievalfromASemanticSharingPerspective
有监督跨模态检索是当前多模态领域的研究热点，旨在利用一种模态的样本去检索其他模态相似语义的样本。由于不同模态特征表示的差异性（异构鸿沟），跨模态检索需要为不同模态学习语义一致的特征表示。传统方法通常使用真实标签和一致性损失来约束模态内和模态间的特征表示，但忽略了一致性损失对于各模态分类性能的影响。
本文重新思考了一致性损失对有监督跨模态检索的影响，发现由于不同模态的嵌入模型具有不同的泛化性能，使用一致性损失的端到端联合学习会导致各模态的分类性能下降，进而影响跨模态语义一致特征表示的学习。为此，本文提出一种基于语义共享分类模型的有监督跨模态检索方法，该模型直接采用基于自注意力的共享分类模型，并对两个模态进行迭代训练，保证各模态在共享模型上的分类性能，进而学习语义一致的特征表示，以此提升各模态的检索性能。实验表明，在图像-文字跨模态检索的标签任务上，所提方法在NDCG指标下取得了比现有技术更高的检索性能。

文章图片
百度ISIT2021论文
16.乱序稀疏信号恢复的理论分析和实际算法
SparseRecoverywithShuffledLabels:StatisticalLimitsandPracticalEstimators
我们首次考虑了在乱序情况下恢复稀疏信号。相较之前的工作(需要观测数量n大于二倍的信号长度p) ，我们的工作首次考虑了n小于p的情况。假设稀疏信号只有个非零元素，我们的目标是同时恢复排列关系和稀疏信号的支撑集两个信息。这个工作主要有三方面的贡献：
1）首次得到了正确恢复上述两个信息说需要的最少观测数量n和最低信噪比SNR 。值得注意的是，我们对上述SNR的最低要求给出了一个基于香农编码理论的非常直观的解释。大致思路是将观测关系建模成一个通信过程（如下图所示），基于香农的理论，正确的解码需要码率小于信道容量，借此我们可以得到关于SNR的最低要求。

文章图片
2）提出了一个基于遍历搜索的估计方法，并证明只要满足上述的最低要求，就可以得到正确的信息（在某些情况下）。
3）提出了一个实用的算法，并证明了在某些情况下我们的算法在第一步就能得到正确的信息。鉴于遍历搜索的算法有很大的时间复杂度，我们提出了一个相继更新支撑集和排列矩阵的迭代算法。
这方面的研究在数据库和数据隐私方面拥有非常广泛的应用。百度在该领域已经积累了不少世界领先的成果，包括：
lIEEETransInformationTheory2021,TheBenefitsofDiversity:PermutationRecoveryinUnlabeledSensingfromMultipleMeasurementVectorslICML2020,OptimalEstimatorforUnlabeledLinearRegressionlJMLR2020,Two-stageapproachtomultivariatelinearregressionwithsparselymismatcheddatalISIT2019,PermutationrecoveryfrommultiplemeasurementvectorsinunlabeledsensinglUAI2019,Asparserepresentation-basedapproachtolinearregressionwithpartiallyshuffledlabels17.针对一类带正则项的优化问题的基于矩阵缩略的快速优化算法
FROS:FastRegularizedOptimizationbySketching
本文提出了一种用矩阵缩略（sketching）的方式加速优化的通用方法。矩阵缩略是随机优化领域的重要方法，其主旨是通过矩阵缩略将原优化问题的数据矩阵进行压缩，从而得到一个较小规模的新优化问题。通过解小规模的新问题，矩阵缩略方法可以得到原优化问题的近似解。随机优化领域里已经充分研究了在凸优化问题上矩阵缩略的结果。然而，目前的方法局限在凸优化上，对于目标函数里有非凸正则项的情况，矩阵缩略的效果仍然是一个公开性问题。本文提出了针对非凸正则项的矩阵缩略方法，在理论上证明了矩阵缩略对于带非凸正则项的优化问题仍然可以有效地近似原问题的解。基于这个理论结果，本文进一步提出了一种迭代式的优化方法，在每一步迭代中都用矩阵缩略方法来逼近原问题的解。通过迭代使用矩阵缩略(图(a)) ，近似解可以以几何级数逼近原问题的解(图(b)) 。