什么？单块GPU也能训练大模型了？还是20系就能拿下的那种？？？没开玩笑|单块gpu也能训练百亿参数大模型？( 三 ) 什么？单块GPU也能训练大模型

文章图片
这不，几个月后，已经安排好了~
背后团队：LAMB优化器作者尤洋领衔
看到这里，是不是觉得Colossal-AI确实值得标星关注一发？
实际上，这一国产项目背后的研发团队来头不小。
领衔者，正是LAMB优化器的提出者尤洋。

文章图片
他曾以第一名的成绩保送清华计算机系硕士研究生，后赴加州大学伯克利分校攻读CS博士学位。
拿过IPDPS/ICPP最佳论文、ACM/IEEEGeorgeMichaelHPCFellowship、福布斯30岁以下精英（亚洲2021）、IEEE-CS超算杰出新人奖、UC伯克利EECSLotfiA.Zadeh优秀毕业生奖。
在谷歌实习期间，凭借LAMB方法，尤洋曾打破BERT预训练世界纪录。
据英伟达官方GitHub显示， LAMB比Adam优化器快出整整72倍。微软的DeepSpeed也采用了LAMB方法。
2021年，尤洋回国创办潞晨科技——一家主营业务为分布式软件系统、大规模人工智能平台以及企业级云计算解决方案的AI初创公司。
团队的核心成员均来自美国加州大学伯克利分校、哈佛大学、斯坦福大学、芝加哥大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等国内外知名高校；拥有GoogleBrain、IBM、Intel、Microsoft、NVIDIA等知名厂商工作经历。
公司成立即获得创新工场、真格基金等多家顶尖VC机构种子轮投资。

文章图片
潞晨CSOProf.JamesDemmel为加州大学伯克利分校杰出教授、ACM/IEEEFellow ，同时还是美国科学院、工程院、艺术与科学院三院院士。
传送门：https://github.com/hpcaitech/ColossalAI

文章图片
责任编辑：上方文Q文章纠错
话题标签：RTX3090开源国产