2d仿真机器人足球整体性能的优化与实现_毕业论文(编辑修改稿)

2d仿真机器人足球整体性能的优化与实现_毕业论文(编辑修改稿)内容摘要：

志线等。 其中球和球员都具有大小、位置、速度、加速度等属性，球员则还有方向、耐力等属 性。 球员与球的属性每个周期末更新一次，计算的依据是动力学定律。 如果球教练 球员 球员 Socket Socket Socket 消息板 裁判 球场仿真 显示 滁州学院本科毕业设计 5 员与球员或球之间发生重叠，则作碰撞处理。 裁判模块依据比赛规则控制比赛的进程。 由于仿真比赛环境具有动态、实时、不确定、多主体对抗等特点，比赛不可能按照事先的设计按部就班的进行，还需要在比赛中有一个 “ 智能 ” 裁判。 目前这个内嵌的人工裁判只是部分实现，可以检测一些简单的形式，如进球、界外球、越位等。 然而，还 是有一些很难检测的状态，如双方对峙、谁都不踢球，这就需要一个 人为 裁判。 所有的参赛球队都必须遵守一个 “ 绅士协定 ” ，包括不能利用比赛漏洞等有碍比赛 公平的做法。 消息板模块负责客户端之间的通讯。 每个客户端程序通过 UDP 的 socket 来连接 server。 同样，通过 socket，客户端程序可以发送命令来控制球员，也可以接受球员的感知信息。 rcssserver 采用离散化模式运行，即所有程序运行都是以仿真周期为单位。 在每个仿真周（ simulatorstep，缺省为 100毫秒）结束前， server 收集所有球员程序的行为请求，直到每个周期末才统一执行并更新场上信息。 在每个周期的开始， server 根据各个球员的状态（包括可视范围、获得时间等）发送相应的已更新的场上信 息，体现了球员感知信息和行动的异步性。 如果一个球员在一个周期内发送了多于一条的独立行为请求， server 将只执行第一个。 因此，球为了保证执行自己的真实意图，每周期就只能发送一条独立行为请求；另一方面，如果球员在一个周期内没有发送行为请求，他将失去该周期的行动机会，对于这样一个实时对抗的环境无疑是很不利的。 在 rcssserver 平台上比赛时，所有仿真比赛场景都可以通过一个可视化程序 rcssmonitor 显示在电脑屏幕上。 它通过一个特殊的端口（缺省为 6000）直接和服务器端连接，获得比一般球员程序更全面、更准 确的信息，使得用户可以生动地看到比赛的整个过程，并且可以控制比赛的进程。 另外，球场和球场上的对象都是二维的，任何对象都没有高度的概念。 球用一个实心原点表示。 场上每个队员用一个圆圈表示，从圆心处引出两条线段，红色线段代表球员脖子的朝向，黑色线段代表球员身体的朝向。 当球员体力低于 2400 时圆圈一周会变成红色代表此球员体力不支。 如图 22 所示。 图 22 球场界面 滁州学院本科毕业设计 6 球员客户端 一个球员客户端程序通过 UDP 接口连接到服务器端。 通过这个接口，客户端程序可以发送命令来控制场上的一个球员行动以及接收到这名球员 的感知信息。 换句话说，一个球员客户端就是球员的大脑：从服务器端接收到感知信息，并且发送命令到服务器端 [5]。 如果球员程序都是独立的进程，通过一个特定的端口和服务器端连接。 当一个球员程序和服务器端建立好连接以后，所有通讯信息都通过这个端口传输。 一个球队最多可以连接 12 名队员，其中包括 11 名队员（其中一个是守门员）和 1 名场上教练。 这些球员程序向服务器端发送请求执行相应行为（如踢球、转身、跑步等），服务器端分析处理这些请求，相应的更新场上比赛状态。 另一方面，服务器端给所有队员提供他们可以感知到的信息，如球员可以 看到的视觉信息、球员自身的状态信息等。 由于服务器端实际上是一种以离散时间片（或称为周期）为时间单位工作的实时系统，球员程序必须在每个指定仿真周期内及时做出决策并及时将请求发送给服务器端，否则将错过执行动作的机会。 这就要求球员决策要有比较高的实时性。 正式比赛中每个客户端程序只能控制一个场上队员。 因此，要组成一支球队就需要同样数量的程序分别控制每个队员。 球员之间的通讯必须经过比赛平台按照 say 和 hear 命令协议执行，而且通讯环境具有单信道、窄带宽等特点。 仿真比赛平台的一个目的就是要评估多智能体系统，智能体之间 的高效通讯也是其中的一个判别标准。 为了尽可能模拟现实环境，比赛平台还加了很多限制。 比如，每个队员都有一定的视野范围，每次只能获得局部信息，即包括可视范围内的对象信息，而且是有随机噪音的；每个球员都有自己的体力值，随跑动衰减，每周期可以自动恢复一些，这样就限制球员要注意调整跑动速度，合理分配体力，也更符合现实。 另外，为了反映出实际比赛中球以及球员运动的不确定性， server 还引入了风及噪声的干扰及对行为参数的干扰，使比赛更趋于真实，正如现实比赛很难无风和噪声的干扰，快速跑动中的队员不太可能急转弯等等，但这也 增大了准确建模的难度 [6]。 仿真平台主要特点 通过上面的介绍可以看到， RoboCup 仿真平台提供了一个很好的、全分布的、包括合作与对抗的多智能体实时环境，非常有挑战性。 其具体特点总结如下： （ 1）状态空间极大：仅仅考虑 22 个球员的位置和速度情况：每个队员的位置范围处于 68105的赛场上，最大速度为 ，保留到小数点后一位，再加上速度方向的考虑，共有 680105010360=109种可能，这样就存在（ 109） 22=10198个状态，如果再增加足球状态等信息，则状态空间将更为巨大。 （ 2）动 态、实时、不确定的环境：在服务器端，整个系统按照 100 毫秒的周期运转，所有的球员都必须按照则个周期运行，意味着球员的所有决策必须实时完成，由于多智能体的存在，环境在动态的变化，无法预知。 （ 3）感知和行为异步：由于比赛时间以周期为单位离散，感知和行为就无法同步，所以光靠传统人工智能方法使用感知来激发行动是远远不够的。 （ 4）球员能力受限：场上所有球员的能力都是参照真实球员有所限制的，如体力、加速度、最滁州学院本科毕业设计 7 大速度、惯性等。 （ 5）视觉受限：每个球员的视觉都是局部的，受到球员视角和视距的限制，也就是说球员在任何时刻 都只能获得一部分球场上的信息，这就给球员正确分析场上形势，进而产生决策带来了困难。 （ 6）通讯受限：球员之间的通讯环境具有单信道、窄带宽等特点，即每队球员公用一条信道，每个球员一个周期内只能 “听 ”到队友一条消息，而且信道容量很有限（缺省为 10 字节）。 （ 7）多智能体的对抗与合作：本方智能体是合作关系，要协调个体目标与全局目标的冲突；而对抗智能体的竞争关系则意味着执行任务时要遇到更多的障碍。 RoboCup 仿真比赛充分体现了人类足球的特点，也集中了许多人工智能领域关注的重点问题。 用户可以运用包括数学建模、搜索 推理、数据挖掘、机器学习、动态规划等各种知识、技术来开发球队，并通过该平台进行实践、检验，很好的推动了相关学科理论的研究。 3 多智能体系统架构 多智能体系统是多个自主智能体的集合，当这些智能体为了一个共同的目标协调合作时，称之为形成了一个团队。 一个有共同目标的多智能体系统需要在设计之初就从整体上考虑其协作方法 [7]。 本章首先 站在团队整体的高度，结合具体的领域知识，探讨基于站位和通讯的 协作 策略；然后介绍了智能体所采用的混合型体系结构；最后从程序设计的角度说明系统架构的具体实现。 团队整体策略 足球比 赛 是 个集体的项目，由 11 个场上队员共同完成多进球赢得比赛的任务。 但是，每个智能体只拥有局部的视觉，而且其执行的动作也只能直接影响到局部的环境。 如何进行全局决策，达到多智能体间的配合，必须是基于领域知识的合作，可以通过预定义模式或实时通讯完成。 在仿真比赛中，预定义模式一般由阵型体现，通过阵型的概念对智能体进行角色分配，使其在全场比赛中保持协调。 阵型通过提供一个事先制定的准则从宏观上对智能体行为进行控制，让所有的智能体都按照该准则行动，从而整个球队体现出一定的协调性。 另一方面，由 RoboCup 中通讯带宽受到极大 限制，仿真比赛的实时动态特性让通讯只能是作为配合的辅助作用。 角色和阵型 角色的概念和真实人类足球比赛中的概念相仿，代表一个球员在比赛中承担的责任，如前锋、中场、后卫、守门员等。 每种角色都包括了这个角色的一些性质，如活动区域、初始位置等，当然不同角色的活动区域可以相互重叠。 每个角色都有不同的行为模式，每个智能体的行为决策会受到它当前扮演角色的影响。 阵型是一组特定角色的集合，如果把参加足球比赛的球员进行角色细分，可以分为诸如左前锋、右后卫等 11 个不同的角色。 阵型 最主要的任务是定义各个角色的场上位 置，使智能体的分布能对赛场有尽可能大的 覆盖，同时维护在比赛过程中阵型的衔接。 我们基于 FCP 的 SBSP 策略进行站位的训练， SBSP 要求阵型在定义角色的同时，定义每个角色的基本位置 Home（ x,y），对足球的吸引权重 Weight（ x,y），还有对双方越位线的考虑等。 如果足球的位置为 Ball（ x,y），简化的说，角色的场上位置应该是： 滁州学院本科毕业设计 8 Positioning（ x,y） =Home（ x,y） +Weight（ x,y） *Ball（ x,y） 这种方法保证了比赛过程中队形的协调，不会出现很多智能体集中于某一处（比如围着足球）导致其他的空当，基本可以覆盖场上大概空间。 但是，这种加权和的方法缺少灵活性，如果需要对某些敏感区域进行细节调整，比如重新考虑双方禁区范围内的站位，就需要增加（条件，规则）进行补充。 基于 SBSP 的站位系统是预定义的，而比赛情况总是千变万化的，智能体扮演的角色和对应的站位还可以根据实际情况变换。 比赛时，由于控球、盯人等原因，使智能体偏离原扮演角色所处的区域，导致场上出现空当无人防守，此时就需要其他智能体能够弥补这个角色缺失引起的危险。 偏离原角色的智能体因位置的改变选择了其他角色的行为，比如中场球员在带球长驱直 入后，考虑到实际情况（比如单刀等）选择前锋行为，此时，一方面前锋的角色会出现重叠，另一方面中场线也会因为该球员的缺失减弱了中场能力，应该让被重叠的前锋或者其他的不重要角色去扮演缺失的中场角色，以免被对方乘虚反击。 除了基本确定位置的方法，球员站位时还应该考虑一些场上的基本情况，如是否越位，实际站位的时候就应该把上述情况综合起来考虑，如图 31 所示为完整的站位策略。 同时为了应对场上千变万化的情况，还应该制定多种站位策略，在不同的情况下采用不同的站位策略，增强球队的实战能力。 智能体除了因为角色变化产生站位调整外 ，智能体的异构类型也可作调整。 阵型规定了角色的任务，也间接的提出了对角色的素质要求，选择更符合角色能力要求的异构智能体可以在比赛开始时确定，更佳方法则应该根据比赛情况进行微调。 比赛过程中可以进行最多三次换人，将更符合要求的异构智能体换上场，充当对应角色，这一点可以通过在线教练来完成。 局部通讯模型 RoboCup 仿真平台模拟了低带宽不可靠的通讯能力，每条消息最多包括 10 个字节的可见字符（共 1074种可能），而且在 50 米之内只能听到分别来自每一个队伍的最多一条消息。 因此，队员间的合作无法主要依靠通 讯完成，通讯只能作为配合的辅助作用。 由于智能体对环境的感知是局部的，不同的智能体可能拥有对环境的不同认识，因此通讯的主要作用是保证每个智能体所独立维护的世界模型的一致性。 另外，在某些时候，通讯还被用于传递辅助决策信息。 解决以局部视觉来维护全局世界模型是一个非常迫切的问题，因为，当所有智能体都按照相同的整体策略框架来进行决策时，如果基于相同的世界模型作为决策依据，对其他智能体的预测就比较准确，那么就会使整个球队体现出一定的协调性。 通过视觉参数的设置和视觉动作的调整来维护世界模型是智能体的底层工作。 根据智能体 的决策结果，即他要做的基本动作（奔跑、转身、踢球等）以及他所希望观察到的多个目标，每个目标赋予一定的收益，在不和基本动作冲突前提下的综合收益最大的视线即为目标方向 [8]，这使得智能体能够维护场上的大部分信息。 我们借用图 52 的分区方式，以图中的 10 个边界点和其他 22 个运动对象的实时位置作为期望目标，根据目标的重要程度和目标在世界模型中的更新程度综合给出其收益，选择能获取最大收益的视觉动作，以转头指令（ turn_neck）实现这个动作。 但是，先验知识相对动态比赛存在的缺陷，最大收益视觉动作必定会滁州学院本科毕业设计 9 放弃某些目标位 置，为了弥补可能缺失的信息，以通讯的方式进行有益补充。 通 过 球 的 位 置 及 吸引 力 得 到 站 位 位 置Y 位 置 是 否 超 出边 场是 否 需 要 在 球后 面是 否 在 球 的 后面是 否 超 出 X 最 大值 是 否 小 于 X 最 小值是 否 越 位得 到 最 终 站 位 位 置把 边 场 设 置 为 Y 位置把 球 的 X 位 置 设 置为 自 身 的 X把 X 最 大 值 设 置 为自 身 的 Ｘ把 Ｘ 最 小 值 设 置 为自 身 的 Ｘ把 越 位 线 设 置 为 自身 的 Ｘ 图 31 阵型决定站位流程图 由于每条通讯消息长度的限制，不可能交流全部的世界模型；另一方面，智能体的全局协调由阵型指导，而智能体的动作只能影响局部环境。 因此，我们将通讯作为对小范围局部配合的补充，由于消息内容是局部区域的世界模型，运动对象（足球和球员）的位置比较接近，因此，采用类似于差分的近距离编码方式，可以传递更多的信息量，比如每次可以传送四个球员的位置信息。 为了进一步的。