下一代 AutoAI：从模型为中心，到数据为中心作者|李梅编辑|陈彩娴今年年初

文章图片
作者|李梅
编辑|陈彩娴
今年年初，知名AI学者吴恩达在接受IEEESpectrum的采访中，呼吁大家将目光从以模型为中心转向以数据为中心。深度学习问世以来，随着神经网络架构趋于固定和成熟，转而寻找改进数据的方法，已经成了AI研发的新出口。
近日， 2021年吴文俊人工智能科学进步一等奖获得者、云天励飞首席科学家王孝宇博士，在人工智能产业年会上作了题为“TowardsAutomatedArtificialIntelligence”的主题报告。报告中，王孝宇博士详述了AutoML/AutoAI的三个发展阶段，并介绍了他在云天励飞主导开发的自动化AI模型生产平台YMIR 。
王孝宇，现任云天励飞首席科学家，此前曾任Snap研究院计算机视觉主席， NEC美国研究院研究科学家。本科毕业于中国科技大学，后相继在美国密苏里大学获得统计学硕士与电子计算机工程博士，主要研究领域为计算机视觉、机器学习与数据挖掘等，是目前国内唯一一位在系统、芯片、算法三个方向获得吴文俊人工智能科技进步奖的AI学者。

文章图片
AI科技评论对王孝宇博士在吴文俊奖大会上的报告作了不改原意的整理，并围绕AutoAI对王孝宇博士进行了一次深入对话。
1AutoML/AutoAI的三个阶段
第一阶段：模型设计、调参自动化
当前，很多学者都已经注意到，学术界或者工业界的优秀人才所聚焦的研发，花费太多时间用于模型结构设计以及调参，但实际上它本不应该成为研究的主要内容。所以，有没有一种自动化的方法，让深度学习的网络架构在面对一个问题的时候，能自主的演化其架构？
今年，关心这个问题的学者们共同发起了第一届“自动化机器学习国际会议”（InternationalConferenceonAutomatedMachineLearning ， AutoMLConference2022），会议近期于2022年7月25日-7月27日在巴尔的摩举办。
在大会上，学者们概括出了自动化机器学习所涵盖的10个主题：
NeuralArchitectureSearch（NAS）
HyperparameterOptimization（HPO）
CombinedAlgorithmSelectionandHyperparameterOptimization（CASH）
AutomatedDataMining
AutomatedReinforcementLearning（AutoRL）
【下一代 AutoAI：从模型为中心，到数据为中心】Meta-LearningandLearningtoLearn
BayesianOptimizationforAutoML
EvolutionaryAlgorithmforAutoML
Multi-ObjectiveOptimizationforAutoML
AutoAI（includingAlgorithmConfigurationandSelection）
NAS研究的是神经网络结构的自动搜索和设计。 HyperparameterOptimization（超参数优化）自动化的目标是在我们训练神经网络的时候，不必再去费时挑参数，去考虑哪一个参数好一点、哪一个参数差一点，而是可以自动预测和寻找。 CASH是个更难的问题，指我们要解决一个具体问题时，可以自动化地选择哪些机器学习方法，而不是自己手动设计。
第二阶段：简单模型训练的软件化
如果说第一阶段的自动化主要面向专业的算法研究人员，第二阶段的系统化则面向一般的AI从业人员。他的主要目标是在给定标注好的数据的情况下，通过可视化的操作界面实现模型的训练。但第二阶段只是个美好的故事，很难实际应用，因为他缺乏对算法在实际场景中不断迭代的支持。
第三阶段：数据迭代自动化
在算法设计自动化的基础上，正在发生一些变化。在去年的NeurIPS会议上，知名人工智能科学家吴恩达举办了一个workshop ，讨论“模型和数据到底哪一个更重要” 。在设计化的工业生产中，他的观点是，以模型为中心（Model-centric）的技术研发已经转化成以数据为中心（Data-centric）的技术研发。