通过这种方式 , 研究人员发现了新的算法 , 对于许多小的矩阵 , 用比标准的n^3乘法步骤更少的时间乘n × n矩阵 。 但是 , 那些不仅优于标准算法 , 而且优于斯特拉森的小矩阵算法的算法仍然是遥不可及的 。
算法介绍
DeepMind团队通过将张量分解转化为单人游戏来解决这个问题 。 他们从AlphaGo衍生出的深度学习算法开始 , AlphaGo在2016年学会了围棋 , 足以击败顶尖的人类棋手 。
所有的深度学习算法都是围绕着神经网络建立的:人工神经元的网络被分成几层 , 连接的强度可以变化 , 代表每一层神经元对下一层神经元的影响程度 。 这些连接的强度是在训练过程的多次迭代中调整的 , 在此过程中 , 神经网络学会将接收到的每个输入转换为帮助算法实现总体目标的输出 。
【算法|最近,人工智能推进了数学研究的进程,揭示了矩阵乘法的新可能性】在DeepMind的名为AlphaTensor的新算法中 , 输入代表通向有效矩阵乘法方案的步骤 。 神经网络的第一个输入是原始矩阵乘法张量 , 它的输出是AlphaTensor选择的第一次移动的第1个张量 。 该算法从初始输入中减去这个秩1张量 , 生成一个更新的张量 , 该张量作为新的输入反馈到网络中 。 这个过程不断重复 , 直到最终起始张量中的每一个元素都被降为零 , 这意味着不再有排在第1位的张量要去掉 。
在这一点上 , 神经网络已经发现了一个有效的张量分解 , 因为它在数学上保证了所有秩1张量的和完全等于起始张量 。 得到它的步骤可以转换回对应矩阵乘法算法的步骤 。
游戏是这样的:AlphaTensor反复地将一个张量分解为一组秩1分量 。 每次 , 如果AlphaTensor找到减少步数的方法 , 它就会获得奖励 。 但通往胜利的捷径根本不是凭直觉就能找到的 。
该团队现在有了一个算法 , 理论上可以解决他们的问题 。 他们只需要先训练一下 。
新路径
像所有的神经网络一样 , AlphaTensor需要大量的数据进行训练 , 但张量分解是一个众所周知的难题 。 很少有研究人员可以为网络提供有效分解的例子 。 相反 , 他们通过训练算法解决更简单的逆问题来帮助算法开始:将一堆随机生成的秩1张量相加 。
布朗大学的计算机科学家迈克尔·利特曼说:
DeepMind团队训练AlphaTensor分解代表12 × 12矩阵乘法的张量 。 它寻找普通实数矩阵相乘的快速算法 , 也寻找特定于更有约束的算法 , 称为模2算法 。
他们正在利用简单的问题为困难的问题生成更多的数据 。 将这种向后训练过程与强化学习相结合 , AlphaTensor在寻找有效分解时产生自己的训练数据 , 比单独的任何一种训练方法都要有效得多 。
研究人员通常从这个更有限但仍然广阔的空间开始 , 希望这里发现的算法可以适用于实数矩阵 。
这是基于两个数字的数学 , 所以矩阵元素只能是0或1 , 并且1 + 1 = 0 。
经过训练 , AlphaTensor在几分钟内重新发现了斯特拉森的算法 。 然后 , 它针对每种矩阵大小发现了多达数千种新的快速算法 。 这些算法与标准算法不同 , 但乘法步骤数相同 。
在一些案例中 , AlphaTensor甚至打破了现有的记录 。 它最令人惊讶
- 最近发现了件怪事|新买不久的256gb安卓手机居然快没储存空间了!
- 深度学习|「深度学习」:人工智能领域的崛起之路
- 光学防抖|卢伟冰谈友商最近发布的“旗舰”新品:OIS被砍掉了
- 算法|拥抱零信任 如何有效实施最小特权访问策略?
- 外卖小哥|联通沃卡惠:人工智能在物联网分析中的价值
- 最近智能手机市场比较热闹|红米官宣redminote12系列手机发布时间
- 最近的苹果是真的飘了|苹果ipad10首销即破发,粉丝吐槽最多
- |华为最新专利申请公布,多项专利都是关于人工智能领域!
- 太空舱造型惊艳,一款与众不同的蓝牙耳机:南卡小音舱
- 伊隆·马斯克|人工智能后国人在多少年之后将不会写字,马斯克的梦想是否能成为现实?