不盲追大模型与堆算力!马毅、曹颖、沈向洋提出理解 AI 的两个基本原理:简约性与自一致性( 六 )


作者团队已经证明 , 仅寻求内部简约和预测性表示就足以实现“自监督” , 允许结构自动出现在通过压缩闭环转录学习的最终表示中 。
例如 , 图9显示无监督数据转录学习自动区分不同类别的特征 , 为在大脑中观察到的类别选择性表示提供了解释 。 这些特征也为灵长类大脑中稀疏编码和子空间编码的广泛观察提供了合理的解释 。 此外 , 除了视觉数据建模 , 最近的神经科学研究表明 , 大脑中出现的其他结构化表示(例如“位置细胞”)也可能是以最压缩的方式编码空间信息的结果 。
可以说 , 最大编码率降低(MCR2)原理在精神上类似于认知科学中的“自由能最小化原理”(freeenergyminimizationprinciple) , 后者试图通过能量最小化为贝叶斯推理提供框架 。 但与自由能的一般概念不同 , 速率降低在计算上易于处理且可直接优化 , 因为它可以以封闭的形式表示 。 此外 , 这两个原理的相互作用表明 , 正确模型(类)的自主学习应该通过对这种效用的闭环最大化博弈来完成 , 而不是单独进行最小化 。 因此 , 他们相信 , 压缩闭环转录框架为如何实际实施贝叶斯推理提供了一个新的视角 。
这个框架也被他们认为阐明了大脑使用的整体学习架构 , 可以通过展开优化方案来构建前馈段 , 且不需要通过反向传播从随机网络中学习 。 此外 , 框架存在一个互补的生成部分 , 可以形成一个闭环反馈系统来指导学习 。
最后 , 框架揭示了许多对“预测编码”大脑机制感兴趣的神经科学家所寻求的难以捉摸的“预测错误”信号 , 这是一种与压缩闭环转录产生共振的计算方案:为了让计算更容易 , 应在表示的最后阶段测量传入和生成的观测值之间的差异 。
迈向更高层次的智能马毅等人的工作认为 , 压缩闭环转录与Hinton等人在1995年提出的框架相比 , 在计算上更易于处理和可扩展 。 而且 , 循环的学习非线性编码/解码映射(通常表现为深度网络) , 本质上在外部无组织的原始感官数据(如视觉、听觉等)和内部紧凑和结构化表示之间提供了一个重要的“接口” 。
不过 , 他们也指出 , 这两个原理并不一定能解释智能的所有方面 。 高级语义、符号或逻辑推理的出现和发展背后的计算机制仍然难以捉摸 。 直到今天 , 关于这种高级符号智能是可以从持续学习中产生还是必须进行硬编码 , 仍然存在争议 。
在三位科学家看来 , 诸如子空间之类的结构化内部表示是高级语义或符号概念出现的必要中间步骤——每个子空间对应一个离散的(对象)类别 。 如此抽象的离散概念之间的其他统计、因果或逻辑关系可以进一步简化建模为紧凑和结构化(比如稀疏)图 , 每个节点代表一个子空间/类别 。 可以通过自动编码来学习图形以确保自一致性 。
他们推测 , 只有在个体智能体学习的紧凑和结构化表示之上 , 高级智能(具有可共享的符号知识)的出现和发展才有可能 。 因此 , 他们建议 , 应该通过智能系统之间有效的信息交流或知识迁移来探索高级智能出现的新原理(如果高级智能存在的话) 。
此外 , 更高级别的智能应该与我们在本文中提出的两个原理有两个共同点:
可解释性:所有原理都应该有助于将智能的计算机制揭示为白盒 , 包括可测量的目标、相关的计算架构和学习表示的结构 。
可计算性:任何新的智能原理都必须在计算上易于处理和可扩展 , 可以通过计算机或自然物理实现 , 并最终得到科学证据的证实 。
不盲追大模型与堆算力!马毅、曹颖、沈向洋提出理解 AI 的两个基本原理:简约性与自一致性