现在很多深度学习项目 , 开源是开源了 , 名义上每个人都可以训练 , 实则就好比在说 , 每个普通人都可以几年内奋斗成百万千万富翁 。 理论上人家这么说没啥可指摘的 , 开源出来的深度学习项目本来每个人都可以拿来训练的 , 而实际上则是 , 拿来训练的前提是有GPU , 也就是需要有钱 。
在大模型领域 , 没有最大 , 只有更大 。 现如今 , 十亿参数百亿参数都不值得让我们惊讶了 , 所以NLP领域再次向更高处冲锋 。 这次 , 机智客看相关资讯 , 是来自快手和苏黎世联邦理工学院研究人员的巨大成果 。 他们提出这么一个最新的也是最大的推荐系统Persia , 据称最高可支持100万亿级参数的模型训练 , 这货比目前最大的FB-ZionEX推荐系统还高出一个数量级 。
也正因为没有最大只有更大 , 为了能支持如此大的规模同时又保证效率和精度 , 此次研究成果提出了一种全新的混合训练算法:通过混合异步、同步机制对embedding层和dense层进行分别训练 。 正因为有如此算法 , 研究人员才表示 , 使用这套机制 , 任何人都可以很容易训练一个百万亿级参数量的模型 。
目前这个有论文 , 在代码托管平台也新建了项目 。 不得不说 , 现在的深度学习模型 , 已经渗入各个细分领域 , 而且在规模上 , 也是越来越大 。 推荐系统同样 , 也和其他大语言模型一样 , 类似人类万年不变的阶级思想一样 , 官大(参数量大)一级压死人 。
【陶闯|真卷啊,快手和国外团队开源最大最新推荐系统Persia,人皆可训练】现在和未来 , 我们人人活在大模型之下 , 我们的智能生活和智能推荐 , 都受大语言模型驱动 。 虽然我们普通个体受制于数据量和GPU硬件无法训练自己的模型 , 不过大树底下好乘凉 , 预训练的大模型庇护下 , 我们每个人都会受益 , 以后可能都会被大模型和AI摸准习性 , 从而形成自己的专属模型 , 和你自己一样懂你 。
- meta|搞Java怎么玩深度学习,生产环境用DL4J啊
- 病毒|客户电脑中病毒维修,我说装系统解决不了,客户:你技术不行啊!
- 高通骁龙|仅有骁龙8一个版本,三星Galaxy S22也无奈啊
- 电子商务|周鸿祎自称不理解员工35岁被职场抛弃,网友喊话:你倒是招啊
- 啥情况啊蒸鹅心啊是什么梗 啥情况啊蒸鹅心啊是什么意思
- chro|华为不消停,要自研浏览器内核?网友直呼:这个玩笑开得有点大啊
- 《我的侠客》自由地图爆料 什么叫武侠沙盒啊
- 5G|20p的屏幕色彩调成标准还可以啊,sRGB几乎全覆盖,色准也很强
- |不容易啊!魅蓝回归后首款手机终于来了
- 二极管|小小芯片,上千万个晶体管是怎么装上去怎么工作的?人类真牛啊