人工智能 遗传算法(人工智能遗传算法论文)

 

从生物学里找计算的模型，一直是人工智能的研究方向之一，学术上大致有两条传承的脉络：一条是麦卡洛克和皮茨的神经网络，演化到今天成了深度学习；另一条是冯诺伊曼的细胞自动机，历经遗传算法、遗传编程，其中一条支线最后演变成了今天的强化学习。

1. 霍兰德和遗传算法

霍兰德（John Holland）本科在麻省理工学院学物理，毕业后在IBM工作了一年半，老板是达特茅斯会议的策划者之一罗切斯特（Nathaniel Rochester）。霍兰德研究生的专业一开始是数学，后来在IBM做夏季实习生时认识了麦卡锡，是麦卡锡教会他下围棋。霍兰德准备动手写关于代数和逻辑的博士论文时，遇见了在哲学系任教的伯克斯（Arthru Burks），后来成了伯克斯的学生，伯克斯是冯诺依曼细胞自动机遗著的编者，霍兰德受老师伯克斯的影响也是自然的。

对霍兰德影响最大的一本书是英国统计学家费舍（Ronald Fisher）的《自然选择的遗传理论》（The Genetical Theory of Natural Selection）。无神论者道金斯（Richard Dawkins）称费舍是达尔文之后最伟大的生物学家。费舍把孟德尔的遗传理论和达尔文的自然选择结合起来。霍兰德由此得到启发：进化和遗传是族群学习的过程，机器学习可以此为模型。

伴随20世纪80年代后期神经网络的复兴，遗传算法也作为一种生物学启发（biology-inspired）的算法，得到更多的认可，同时也有更多的实际应用。1985年第一次遗传算法国际会议召开，这个学科算是有了自己的共同体。1997年IEEE开办了《进化计算杂志》(IEEE Transactionson Evolutionary Computation)，遗传算法也算是进入主流了吧。

2. 遗传编程

在遗传算法中，种群是数据，更进一步的想法是：如果种群变成程序的话，进化是不是仍然可行呢？霍兰德的学生寇扎（John Koza）在1987年给出了一个思路，并把它命名为遗传编程（Genetic Programming）。

遗传算法的稳定性一直就是研究课题，遗传编程的数学性质自然更加复杂。寇扎等人给国际机器学习大会的投稿多次被拒，理由是遗传编程的性能常常还不如一些简单的搜索算法，在大规模的实际问题上无法实用。

遗传算法和遗传编程这一脉，在神经网络低谷时，虽然也受到波及，但并没有像神经网络那样备受打击。而在神经网络咸鱼翻身后，也没有爬得那么高。

3. 强化学习

巴托（Andy Barto）在霍兰德手下得了博士后就被麦克·阿比卜（Michael Arbib）招到麻省大学计算机系，此时的麻省大学正在阿比卜领导下成为人工智能的重镇，计算机系开始分为理论、系统（包括软件和硬件）和控制论三个方向，而控制论后来成为人工智能。这种分法后来也是所有计算机系的标配。

巴托在麻省大学的第一个博士生就是萨顿（Richard Sutton），萨顿本科在斯坦福大学学的心理学，研究动物怎么适应环境一直是他的兴趣。和老师霍兰德不同，巴托和萨顿关心更原始但也更抽象的可适应性。一个刚出生的孩子，怎么学会对环境的适应。在监督式学习中，目标是清楚的。但婴儿不知道目标是什么，不知道自己要什么。通过与外部世界的不断交互，婴儿受到奖励或惩罚，由此强化对外部世界的认知。

强化学习的理论基础之一是马尔科夫决策过程。强化学习的主体是Agent, Agent和环境互动。强化学习就是Agent根据经验改变策略以期达到长期最大奖赏的过程。强化学习的另一个理论基础是动态规划。贝尔曼（Bellman）在20世纪50年代就发明了动态规划。萨顿和巴托也承认在强化学习早期，受到动态规划的启发。

强化学习作为机器学习的一个分支，一直没得到重视。谷歌的AlphaGo赢了李世石之后，强化学习作为AlphaGo的核心算法，一夜之间成为显学。这当然要归功于萨顿和巴托多年的坚持。

互联网小常识：电子邮件系统使用的协议主要有：简单邮件传送协议（SMTP,端口25）；邮局协议第三版（POP3，端口110）；Internet消息访问协议版本4(IMAP4，端口143)，可以用telnet IP port的方法测试服务是否正常。

巴托的可适应系统实验室，在神经网络不景气时，曾经收留过一批无家可归的学术浪人，其中就有吴恩达的老师乔丹。事实上，吴恩达的成名作就是用强化学习来控制无人直升机。为了和巴托合作写他们那本强化学习的经典教科书，萨顿一度回到母校担任研究科学家（一种没有终身教职的研究性职位），后来他去了加拿大阿尔伯塔大学（Alberta）计算机系，迅速把那里建成强化学习的大本营。谷歌收购的DeepMind团队中最核心的几个人都是萨顿的学生，席尔瓦（David Silver）就是萨顿的大弟子，而自称AlphaGo之手的黄士杰也曾在萨顿手下做过两年博士后。

4. 计算向自然学习还是自然向计算学习

哈佛大学的理论计算机科学家、图灵奖获得者瓦连特（Leslie Valiant）曾经从计算的角度研究过机器学习和进化，他把进化当作学习的特例。Livnat和Papadimitriou认为有性繁殖不太容易达到最优点，而无性繁殖才更像是优化算法，他们把遗传算法比作有性繁殖，模拟退火算法比作无性繁殖。他们认为，尽管性并不是从群体中挑选最优选手的算法，但却可以提高种群的平均水平。性所优化的不是个体，而是混合程度（mixability）。这不仅解释了遗传算法的表现，也引发了人们从计算的角度思考生物学的问题。单从这个意义上，这个讨论就是有意义的。

如果说遗传算法是微观地向生物内部机制学习的话，强化学习则是更为宏观地向自然学习。瓦连特的方法企图把微观和宏观整合起来，为学习提供一个更为基础的数学框架。

5. 计算理论与生物学

无论是遗传算法、深度学习还是强化学习，都缺乏计算理论的基础。生物学激发的学科都是模拟自然，它们都不需要解释，不需要了解内部原理，而只要能查看输出结果，就够了。数学大概是所有学科中离生物学最远的学科。

数学家蔡汀（Gregory Chaitin）是IBM顶峰期培养的一堆理论家之一。他企图用算法信息论解释进化论，他的成果被他写成一本科普小册子《证明达尔文》。

蔡汀把自己的新理论称为元生物学（metabiology）。目前元生物学还比较原始，进化论里的很多概念还没有被解释，比如Papadimitriou关心的性。但有蔡汀这样的数学家关注生物学，会让我们更加放心。

本文来自读书笔记：《人工智能简史》——尼克

互联网小常识：常用的无线局域网标准主要包括：蓝牙标准、HiperLAN标准和IEEE802.11标准。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186