一文盘点NeurIPS'22杰出论文亮点！英伟达大佬一句话总结每篇重点( 二 ) Pine明敏发自凹非寺量子位|公众

值得一提的是，该成果的模拟套件、数据库、算法代码、预训练模型，甚至注释工具，全部对外开源！
AI看了70000小时《我的世界》视频学会人类高级技巧，网友：它好痛苦

文章图片
5、LAION-5B：史上最大规模公共开放的多模态图文数据集
文章图片
一句话总结：一个包含58.5亿个CLIP过滤的图像-文本对数据集。
LAION-5B不用过多介绍了， StableDiffusion使用正是它。
该数据集获得了今年NeurIPS最杰出数据集论文奖。

文章图片
目前StableDiffusion2也已经上线了。
6、超越神经网络缩放定律：通过数据集修剪击败幂律
文章图片
一句话总结：通过仔细筛选训练示例、而不是盲目收集更多数据，有可能大大超越神经网络的缩放定律。
该研究中， Meta和斯坦福的学者们通过数据蒸馏，缩小数据集规模，但是保持模型性能不下降。
实验验证，在剪掉ImageNet20%的数据量后， ResNets表现和使用原本数据时的正确率相差不大。
研究人员表示，这也为AGI实现找出了一条新路子。
剪掉ImageNet20%数据量，模型性能不下降！Meta斯坦福等提出新方法，用知识蒸馏给数据集瘦身
7、让AI自己调超参数
文章图片
一句话总结：使用超级随机梯度下降法，实现自动调超参数。
谷歌大脑设计了一个基于AI的优化器VeLO ，整体由LSTM（长短期记忆网络）和超网络MLP（多层感知机）构成。
其中每个LSTM负责设置多个MLP的参数，各个LSTM之间则通过全局上下文信息进行相互协作。
采用元训练的方式， VeLO以参数值和梯度作为输入，输出需要更新的参数。
结果表明， VeLO在83个任务上的加速效果超过了一系列当前已有的优化器。
让AI自己调整超参数，谷歌大脑新优化器火了，自适应不同任务， 83个任务训练加速比经典Adam更快

文章图片
8、利用自然语言和程序抽象让机器学会人类归纳性偏好
文章图片
一句话总结：利用自然语言描述和引导程序，让智能体的行为更像人类。
论文表明，语言和程序中存储了大量人类抽象先验知识，智能体可以在元强化学习设置中学到这些归纳性偏好。
如下是是否使用人类抽象先验知识的对比：

文章图片
9、新方法提高扩散模型生成结果一句话总结：英伟达通过对扩散模型的训练流程进行分析，得到新的方法来提高最后生成的结果。

文章图片
此次研究提出了很多实用的方法改进了模型的生成效果：
一个新的采样过程，大大减少了合成过程中的采样步数；改进了训练过程中噪声水平的分布；其他一些改进方法，如non-leaking增强，即不会将生成分布暴露给生成器。 10、神经语料库索引器（NCI）一句话总结：NCI可以直接为特定的查询生成相关的文档标识符，并显著提高信息检索性能。