随着高新技术的飞速发展和科学研究的高度交叉融合，现代智能控制理论面临的一个挑战性的问题就是：当控制对象具有一定智能行为时，如何设计控制器使得闭环系统稳定且动态性能优异？这也是新一代人工智能的一个核心研究课题，引起了控制论、博弈论、人工智能等多个领域专家学者的极大关注。传统的控制技术，如PID控制、LQG控制很难适用于日益复杂（不确定、网络化、智能化、多尺度、多模式、随机性、非线性、时变性等）的控制对象，急需建立新的研究框架和范式。

北京大学工学院王龙课题组与美国哈佛大学Martin A. Nowak课题组合作，在博弈动力学（game dynamics）研究方面取得重要突破。他们探讨了个体行为与环境交互作用下的博弈动力学，揭示了环境状态反馈能够极大地促进合作行为的演化。该成果以“Evolutionary Dynamics with Game Transitions”为题于2019年11月26日在线发表于国际顶尖学术期刊《美国科学院院刊》（Proceedings of the National Academy of Sciences）上。

从微生物群体、群居动物到人类社会，合作现象普遍存在于自然界中。各层次的生命组织，从基因、基因组、染色体、真核细胞到多细胞组织，都依赖合作维持生存和发展。合作行为通常会降低个体自身的利益，理解群体合作行为的演化是一个经典难题，已经引起演化生物学、物理学、经济学、社会学、心理学、生态学、计算机科学等领域学者的广泛关注。相关成果涉及到进化计算、集群智能、气候变化、资源利用、疾病治疗、智能交通系统、移动传感器网络、多机器人协作控制乃至商贸谈判、军备竞赛、大国博弈等诸多重大问题。

传统上，对合作演化的探讨主要集中在静态的交互环境中，即在演化过程中个体所处环境的状态是恒定不变的。近年来，大量实证研究表明，环境的状态通常随着时间发生改变。因此，个体行为影响了环境的状态，环境的状态反过来也影响了个体的行为决策，形成一个人在回路（human-in-the-loop）的反馈控制系统。一个自然的问题便是：个体行为和环境状态的交互作用如何影响了合作行为的演化？

图1. 博弈切换下的演化动力学框架

北京大学系统与控制研究中心王龙课题组与美国哈佛大学Martin A. Nowak 课题组合作，借鉴混杂系统（hybrid systems）控制的思想，提出了博弈切换的演化动力学框架，即不同的博弈模式对应不同的环境状态，个体的行为和当前时间进行的博弈共同决定下一时间进行的博弈。基于此研究框架，他们研究了网络结构群体的合作演化，提出了边嵌入的对估计方法（edge-embedded pair approximation）, 并结合扩散近似（diffusion approximation），解析地建立了网络上合作演化的一个基本判据：当合作行为产生的收益b与其代价c的比值超过k-h时，合作行为能够演化，其中k是每个个体的平均邻居数量，h刻画了博弈切换的影响。即使合作在任何单一的博弈模式下都无法演化，这样的博弈切换——合作导致相对高价值的博弈，而背叛导致相对低价值的博弈——能够促进合作演化。特别地，这些博弈模式之间很小的差异也能够显著地促进合作演化。这项工作一方面反映了环境反馈对合作演化的促进作用，为高度连接的复杂系统中大规模合作的涌现提供了理论解释；另一方面也表明可以通过调控环境的状态实现群体的合作。

图2. 博弈切换促进合作行为的演化

王龙课题组成员、北京大学工学院2014级在读博士生苏奇为本文第一作者，Alex McAvoy博士、王龙教授和Martin A. Nowak教授为本文共同通讯作者，北京大学为本文第一单位。本研究得到了国家自然科学基金、国家建设高水平大学公派研究生项目的支持。