人工智能|IEEE Fellow姚新:在多目标动态优化问题中,演化计算仍有独特优势( 二 )


「这(预测素数)在数学界都是一个巨大的挑战,但 Fogel 在66年就已经想出用机器来预测,而不是靠人来算。」姚新感叹。
人工智能|IEEE Fellow姚新:在多目标动态优化问题中,演化计算仍有独特优势
文章插图

图注:Lawrence J. Fogel
1964年,德国柏林工业大学的两位学生 Ingo Rechenberg 与 Hans-Paul Schwefel 提出进化策略(Evolution strategies);1975年,美国密歇根大学的 John Henry Holland 借鉴了达尔文的生物进化论与孟德尔的遗传定律思想,提出「遗传算法」(Genetic algorithms)。两者后来均成为演化计算的重要分支。
尤其是遗传算法。在《Adaptation in Natural and Artificial Systems》一书中,John Holland 十分强调「适应性」(adaptation),以及如何用遗传算法来研究计算程序的自适应与自动搜索。基于达尔文物种选择理论的问题分析方法,遗传算法开始于一定数量的初始点,每一个节点均具有随机生成的特征,成功生成的节点会被合并、生成新的「智能体」,该「智能体」具有双亲的特征。
遗传算法的高明之处,一是提供了研究进化论的空间与研究自然现象的独特方法,二是利用进化论的思想进行计算机函数优化,让计算机开始具有通过「繁衍」来适应与学习的机制。
人工智能|IEEE Fellow姚新:在多目标动态优化问题中,演化计算仍有独特优势
文章插图

图注:John Henry Holland
不过,由于当时计算机的容量小、运算速度慢、符号AI研究火热等因素,演化计算的这些早期理论并没有引起太多人的注意。
直到80年代,传统人工智能的解题局限性开始凸显;与此同时,计算机的速度得到显著提高,演化计算开始被用于解决实际问题,在机器学习、工程优化与过程控制等领域取得了极大成功,重新吸引了研究者的目光,在许多国家掀起了演化计算的研究热潮。
2006年,NASA的ST-5航天器便使用了演化算法来设计空间、自动寻找更高效的X-band天线设计方案。由两种进化算法(实值参数向量与树结构生成表示)「繁衍」出的性能最优的天线经过构造与测试,均优于手工设计的天线。而且,只需要调整适应函数,他们就可以在不到一个月的时间内快速进化出一套新的天线(如下图):
人工智能|IEEE Fellow姚新:在多目标动态优化问题中,演化计算仍有独特优势
文章插图

此外,2008年北京鸟巢体育馆的钢结构在设计的过程中也使用了演化计算,通过遗传算法迭代而成,整体结构十分稳固:
人工智能|IEEE Fellow姚新:在多目标动态优化问题中,演化计算仍有独特优势
文章插图

「而演化计算的最近一次大发展,是在2015年以后。」姚新指出。深度学习崛起后,演化计算与人工智能的其他分支结合,形成新的研究方向,比如「演化神经网络」、「演化机器人」。
姚新指出,学习与进化是生物适应的两大基本形式,两者理应相互增益。他解释:
「大多数深度学习模型首先是设计一个结构,然后训练权值,但实际上,没有一个生物的大脑在学习的过程中是结构固定、权值变化的。所有生物的大脑学习都是结构上的学习,而不是调调参数。从上世纪90年代开始,研究演化算法的人就强调,神经网络的学习应该是结构与参数的同时学习,而不是先设计一个结构、然后再去做参数的优化。」
演化计算至少有4个主要分支:遗传算法、演化编程、进化策略与遗传编程。此外,演化计算中还有一些「小而美」的分支,比如共生演化、差分演化、蚁群算法和粒子群算法等等。姚新指出,AlphaGo与对抗学习的许多思想,与80年代末、90年代初演化计算研究者所提出的对抗性思想完全是同源而生,只是实现的手段不一样。
除了对抗性思想,演化计算在多目标优化与决策问题上也有着独特的优势。比如,将一个大规模的深度学习模型安装在手机上,目标1:高性能;目标2:模型安装要控制在手机耗电量可承受的范围内;目标3:安全…这种场景与运筹学中常遇到的优化问题相似,但是,多目标演化算法可以在一次运行中找到整个Pareto front的近似解集,而不仅仅是一个解。这样可以为决策者提供不同的折衷方案并方便决策者比较各种方案。传统方法的缺点之一就是每次算法运行只能找到一个解。