焦李成院士：进化优化与深度学习的思考( 二 ) 作者丨焦李成整理丨维克多?编

文章图片
如上图所示，群体智能的思想起源很早，其代表性的方法包括蚁群优化、粒子群优化、免疫算法、萤火虫算法等等。利用进化优化求解复杂问题，主要是利用它的并行性、奇异性、易修改性、高度的非线性以及广泛的应用性等特点，从而匹配NP难问题和组合爆炸问题。

文章图片
此外，在进化优化算法发展的过程中，自然免疫学理论为人工免疫进化优化提供了坚实的理论基础。从信息负表示算法到免疫进化算法，再到人工免疫的网络、克隆选择算法，以及树突细胞算法，让进化优化算法有了“利用先验知识，具有容错性、免疫性、鲁棒性”等特点，使其和实际问题更加靠近，能够在动态中寻求最优解。
生物免疫同样也证明了这一点，生物诺奖的领域也为发展新的算法提供了坚实的理论基础。 “在记忆中学习，在遗忘中加速”使最优解算法更加有效，符合优胜劣汰的根本思想。
人工免疫系统模型的特点是：学习记忆性、多样性、分布性、容错性和被动免疫性。这也为构造高效、鲁棒、容错的算法提供了生物的基础。人工免疫系统方法应用在各个领域，已经有非常好的表现，希望它能够和进化计算、深度学习结合起来，共同推动领域发展。
提及进化，一定离不开类脑的感知和认知，离不开神经网络以及深度学习。 2021年诺贝尔医学奖颁给了DavidJulius和ArdemPatapoutian ，当时给出的获奖理由是：
人体对热、冷和触觉的感知能力对我们的生存至关重要，并且支撑着我们与周围世界的互动。他们发现了“温度和触觉的受体” 。
这给我们带来了“类脑感知与认知研究非常有意义”的启示。从类脑的感知到认知是长时间的过程，而认知科学是一门对心智及其过程进行多学科研究的科学，如果说感知包含视觉、听觉、触觉、味觉等，而认知是教会我们理解、思考、推断、决策，那么如何对心智及其过程进行准确而全面的观察是认知科学的基础，也是巨大的挑战。 TomasoA.Poggio教授认为：人工智能过去的突破来自于神经科学，将来的突破也来自于神经科学。
2
类脑表征学习与优化

文章图片
回忆类脑的感知和认知，首先要了解脑的生物机理和基本特性。如上图所示，人脑的六个特性是近20年生物界最新发现：稀疏性、学习性、选择性、方向性、知识性和多样性。
稀疏性：1996年， Olshausen和Field在《Nature》上发文提出神经元稀编学说；2007年， Svoboda和Brecht在《Science》上发表论文，用白鼠实验验证了神经元“稀疏编码”假说。
学习性：2011年，美国MIT学者Tenenbaum与CMU、Berkeley、Standford大学等人在《Science》上指出：人类能从少量的数据学到一般化的知识，即具有“抽象知识”的学习能力。
选择性：2011年， Pieter.R等在《Science》发文提出：经实验证明，猴子大脑细胞具有自主控制注意区域的能力；2012年XilinZhang在《Neuron》上发文提出视觉信息加工的初期具有显著注意机制。
方向性：2015年ArsenyFinkelstein在《Nature》上指出生物大脑中存在能感知方向与位置信息的方位角和倾斜角细胞；2020年JoshuaJacobsi等人在《Neuron》上发表观点提出在人脑内侧额叶中发现了一种以自我为中心空间定位的神经编码模式。这群神经元在空间和情景记忆中发挥重要作用。