算法|贾扬清：一个AI开发者的奇幻漂流软件|大数据|阿里巴巴

文章图片

文章图片

演讲人：贾扬清
演讲主题：一个AI开发者的奇幻漂流
活动：2021阿里灵杰AI工程化峰会（2012年12月3日）
对于绝大多数人来说，这一波AI浪潮兴许是从深度学习开始的。
2011年谷歌发表的一篇文章讲到，用16000个CPU和11个参数的连接来训练一个能够识别猫的模型。
今天AI算法和应用百花齐放，给我们带来了非常多的梦想；而这几年整个行业的起起伏伏，背后也有许多弯路和故事。今天我们已经习惯了刷脸支付，但是似乎有一些更加高冷的梦想，比如像无人驾驶，都还只在路上。
我叫贾扬清，今天是一个消费网红的年代，所以我们起了一个名字叫奇幻漂流。如果可以的话，我想把自己描述成一个AI老兵。在人工智能的上半场当中，我们的体验可能没有那么奇幻，因为基本上我们就像拓荒者一样，身兼多个角色，在尝试着把AI 算法跟应用能够逐渐落地。
我们做过算法研究员，从AlexNet开始到ResNet，到LSTM 到Transformer，各种各样的模型，我们都希望逐渐把它落地。

我们做过软件工程师，从各种各样的框架，像Torch、Theano、Caffe开始，到今天大家耳熟能详的Tensorflow和Pytorch ，我们相当于在不断重新设计一套又一套语言，让我们能够把算法高效地实现出来。

我们做过数据工程师，把图片、语音、自然语言、用户各种行为等数据做清洗做标注，把它放在无论是磁盘还是数仓的各种地方，然后再输入到各种算法当中去来做应用。
最后。我们也做过系统工程师，从GPU开始到各种各样嵌入式的系统。我们搭了大大小小的系统，让我们这些模型能够简单更高效地跑起来。
当然我们也在不断地看应用，搭一个webserver，做一个open API ，把上面训练出来的模型能够实际的做成一个像刷脸，或者说hopefully 自动驾驶这样的应用。

但是我们就在想，老兵们遇到的挑战是什么？今天事情越来越多，各种组件越来越复杂。我们会发现，要把全链路问题都像以前这样人拉肩扛地解掉会累死也不可能。今天AI的应用已经不是一个模型，一个算法那么的简单。

回到技术的角度，数据、算法、模型、以及最重要的人，我们有了怎样的一些变化？我们希望能够做什么样的进一步思考？我想从这几个角度来比较过去和今天有什么样的区别。
我们先说数据，以前我们在做图片存储的时候，我们就把图片都放到一个磁盘上面去。
会发现速度比较慢，于是我们又把它放到一个，比如说类似LevelDB数据库上面，回过头来看，我们会发现这些就是非常标准的KV数据库。
在洞察用户行为的时候，我们首先要从Hive的数仓里面做各种各样的处理，把数据从Java的环境里搬出来。再到Python的环境里做训练，而这个训练底层的实现又是C++的，类似这样的拉通，以及AI的模型标准等等，这一系列的问题都变得非常麻烦。
而在AI应用当中，怎么样把数据回流下来，进一步地再做新的训练，这些数据链路的质量都会决定了最终应用的质量。今天我们就会非常需要一个大数据和AI 一体化的平台来解决数据的全生命周期当中各种各样的问题。
软件就更是一个备受关注的领域。如果往回倒8年，我们经常听到“我的框架比你的快”这样的比较。那么多年过去之后，今天为止我们依然看见有很多框架在走着老路，重新设计一套语言，重新设计一个开发环境等等。我觉得今天我们不需要来重复地造轮子。软件，或者说框架，核心主要在于两个，一个是往下如何来兼容各种各样的硬件、不同的处理器、不同的新的芯片，另一个是往上如何实现更好的分布式开发。