第29卷 增刊 航 空 学 报 Vol. 29 Sup. 2008年 5月 ACTA AERONAUTICA ET ASTRONAUTICA SINICA May 2008
文章编号: 1000-6893(2008)增-S135-07
有人机/无人机协同任务控制系统
彭辉, 相晓嘉, 吴立珍, 朱华勇
(国防科学技术大学 机电工程与自动化学院, 湖南 长沙 410073)
Cooperative Mission Control System for a Manned Vehicle and
Unmanned Aerial Vehicle
Peng Hui, Xiang Xiaojia, Wu Lizhen, Zhu Huayong
(School of Mechatronics and Automation, National University of Defense Technology, Changsha 410073, China) 摘 要：针对有人机/无人机协同任务控制系统的设计和实现问题展开研究。结合有人机/无人机协同控制过程的特点, 提出了基于自然语言接口方式的有人机/无人机协同任务控制系统结构。在此基础上, 分析了系统模块的关键内容, 设计了面向有人机与无人机交互过程的任务指令格式, 提出了基于优先级的任务模式调度策略, 针对无人机的典型任务模式, 讨论了航路规划的计算方法选择, 最后构建了有人机/无人机协同任务仿真环境。仿真试验结果验证了整体方法的可行性。 关键词：有人机；无人机；协同任务控制；人-机交互接口 中图分类号：TP237.5 文献标识码：A
Abstract: This paper discusses the design and development of a manned vehicle/unmanned aerial vehicle (UAV) cooperative mission control system. Firstly the cooperative task control process of a manned vehicle/UAV is analyzed. Then a manned vehicle/UAV mission control system architecture based on natural language interface is presented. Some key problems of the system modules are analyzed and the formatted codes of task instruction are designed for the interaction between human operator and UAV. This paper proposes a priority-based task scheduling strategy and gives a discussion to UAV route planning algorithm selection for different mission modes. At last, an implementation of simulation environment for cooperative mission control system is presented. Simulation results demonstrate the validity of the approach.
Key words: manned vehicle; unmanned aerial vehicle; cooperative mission control; human-machine interface
随着无人机(Unmanned Aerial Vehicle, UAV)
[1]
系统在战场上的广泛使用, 有人机/无人机协同执行任务的问题逐渐受到了国外研究机构和学者的普遍关注。在美国国防先期研究计划局(DARPA)和美国空军提出的软件使能控制计划(Soft
[2-3]
ware Enabled Control, SEC)的研究中, 波音公司和麻省理工学院的研究人员研制出有人驾驶战斗机F-15E对无人机的制导系统(Manned toUnmanned Aircraft Guidance System), 通过协同飞行试验, 验证了有人机驾驶员采用语音指令控制无人机的方法, 无人机可以在有人机驾驶员的指挥下对突然改变的计划做出及时反应, 避开意外威胁, 飞向目的地并执行任务。
英国QinetiQ公司采用“基于智能体的推理(Agent-based Reasoning)”方法, 实现了有人机
收稿日期：2007-09-12；修订日期：2007-12-24 通讯作者：彭辉 E-mail: [email protected]
对无人机机群的战术层次的协调和控制, 通过实验验证了一架狂风战斗机引导BAC 1-11无人机替代机和3架仿真无人机对地面移动目标执行模
[4-6]
拟攻击的过程。
美国陆军航空应用技术部(AATD)开展的有
[7]
人机/无人机通用结构计划 (Manned/UnmannedCommon Architecture Program, MCAP), 目的是为有人机/无人机建立通用的任务处理框架, 以增强有人机与无人机的协同工作能力。该计划由波音公司和洛-格公司合作进行, 针对“阿帕奇”直升机和“影子-200”战术无人机, 开展有人机/无人机平台协同作战试验和研发, 验证有人机和无人机的协同互操作性, 以增加整体系统的作战效能。
从国外的研究情况可以看出：有人机/无人机协同控制是一个十分复杂的问题, 涉及到平台自主控制、链路通信、人机交互和人机智能融合
S136 航 空 学 报 第29卷
等多方面内容。目前国内对有人机/无人机协同任务控制的研究尚处于探索阶段。本文的主要工作以1架有人机和1架无人机在部分未知的环境中协同执行区域侦察任务为背景, 详细讨论了有人机/无人机协同任务控制系统的系统结构设计和仿真实现, 该系统使得有人机飞行员能够发布任务级语音命令给无人机, 通过有效的人-机交互接口, 语音命令转换为无人机可执行的任务指令, 通过在线的任务管理调度和实时路径决策, 生成无人机执行任务的航路点数据, 从而引导无人机规避威胁和执行任务。
域, 然后无人机自主侦察搜索, 收集目标图像情报, 并将侦察情报实时反馈给有人机进行评估, 有人机根据情况决定是否实施打击任务。整个任务完成后, 有人机发出指令控制无人机返航。 1.2 系统要求
针对上述任务想定, 有人机/无人机的协同主要表现为有人机对无人机的任务控制, 即有人机在无人机任务执行过程中对其飞行、通信、载荷和任务等多个层面进行有效监管、指挥和控制。因此, 协同任务控制系统需要满足以下要求：
(1) 有人机和无人机之间良好的互联、互通、互操作。有人机能够传输作战指令、控制命令给无人机, 必要时还可以控制无人机的飞行。同时无人机能够将情报数据、态势信息和任务状态信息及时反馈给有人机。
(2) 简单、灵活、有效的人-机交互接口。有人机飞行员工作负荷大, 为能够及时、有效地组织有人机与无人机之间的协同, 必须提供简单、灵活的人机接口, 使得有人机可以对无人机的行为实施必要的干预, 同时又不给有人机带来额外负担。人-机接口提供的信息必须有利于有人机和无人机的相互理解, 便于有人机飞行员做出实时决策。
(3) 无人机平台的自主规划和控制。无人机能够适应战场复杂环境, 能够对态势变化、系统故障等突发事件做出合理有效的反应, 能够理解有人机的作战指令, 自主规划形成可以执行的任务动作和飞行航迹。
1.3 协同任务控制的交互过程
1 系统总体结构设计
1.1 任务想定
本文的有人机主要指有人作战飞机(如单座、双座战斗机或直升机), 而非预警机或其他空中指挥平台。针对有人作战飞机, 有人机/无人机之间的协同方式可以分为1架有人机和1架无人机, 1架有人机和多架无人机以及多架有人机和多架无人机混编等多种类型。本文针对1架有人机和1架无人机协同控制问题, 参考SEC计划的
[2-3]
任务背景, 提出如图1所示的任务想定。
图1 任务想定示意图 Fig. 1 Mission scenario
如图1所示, 在某区域内可能存在敌方目标,
1架有人机和1架无人机将协同搜集目标区域的情报信息。由于作战环境是未知的, 存在一定风险, 因此由有人机指挥无人机协同执行侦察任务。在有人机的命令下, 无人机离开盘旋空域飞向指定任务空域, 有人机以安全高度和安全距离跟随飞行。飞行过程中, 无人机能够感知突发威胁, 并实时修正航迹, 同时通知有人机威胁位置。逼近任务区域时, 无人机将根据有人机发送的任务区域进/出口条件和控制指令进入任务区
有人机和无人机实体在执行任务过程中承担不同职责, 通过相互之间的信息交互, 实现任务的协同。其中每个实体都可能发起交互, 例如有人机操作员向无人机下达任务命令过程, 无人机探测到突发威胁时向有人机操作人员汇报过程等。针对一架有人机和一架无人机, 可将协同任务控制的交互过程分为以下3类：
(1) 发布任务的交互过程。有人机向无人机下达任务命令, 无人机接收、理解命令并发送确认信息。如果命令无法识别, 还需要有人机重新发送任务命令。
(2) 查询信息的交互过程。有人机操作员询问无人机任务执行状况, 无人机回传任务、状态信息。该过程可以按时间间隔自动发起, 也可以
增刊 彭辉等：有人机/无人机协同任务控制系统 S137
由有人机根据需要随时发起。
(3) 探测到突发威胁的交互过程。无人机探测到突发威胁时, 需要将威胁情报通知有人机, 有人机调整航路和发布变更无人机任务指令。 1.4 系统总体结构
根据有人机/无人机协同任务控制的要求和交互过程的特点, 采用语音控制方法是目前实现人-机协同的重要手段, 如波音公司和麻省理工学
[2-3]
院SEC项目的系统结构。基于上述分析, 协同任务控制系统主要分为4部分, 包括人-机交互接口、链路通信接口、任务管理和调度以及实时路径决策和航路规划模块。系统的总体结构如图2所示。
文格式传输。
任务管理和调度模块解析任务指令, 形成一系列无人机能够执行的任务模式集合, 并根据自身情况和任务要求对任务模式进行管理和调度, 确定当前待执行任务模式, 同时返回任务确认信息给有人机。
实时路径决策和航路规划模块根据当前待执行的任务模式、战场态势和感知信息, 计算下一航路点, 引导无人机从一个任务位置运动到另一个任务位置。
下面对协同任务控制系统关键模块的具体内容进行分析讨论, 而对于构成平台控制本身的其他功能模块, 不是本文研究重点, 因此在图2中采用统一的方框列出。
2 人-机交互接口
采用基于自然语言方式的人-机交互接口, 可以确保有人机和无人机之间有效的通信, 减少人-机交互过程中人的负担。人-机交互接口模块包括4个主要部分：人-机交互界面为有人机飞行员提供有效的语音命令、文本命令输入和无人机响应信息, 以及状态信息的图形化输出显示；语音识别模块将语音命令识别为文本命令；文本命令理解模块对文本命令进行分析和理解, 提取该命令的关键任务数据；任务指令编码模块将任务数据转换为无人机可执行的特定任务指令。目前语音识别和语言理解的研究已有大量理论和方法, 并且出现了很多成熟产品和实际应用, 如美
[8]
国Brigham Young大学的研究小组, 采用基于语音的手持PDA无人机控制接口, 使用“左转”、“爬高”、“向北”等简单语音命令, 实现对小型无人机的控制。因此下面重点讨论人-机交互接口中的任务命令集合设计问题和指令编码转换等关键问题。 2.1 任务命令集合
有人机/无人机的协同过程主要基于控制命令来完成。在不同情况下, 人对无人机所发送的控制命令内容不同：在任务负担轻的情况下, 可以发送飞行控制指令如“左转”、“爬高”来控制无人机；而在任务负担较重情况下, 则需下达任务级指令。当有人机与不同自主能力的无人机协同时,控制命令的力度和内容更不相同。为此, 任务命令的设计必须适应不同层次的控制要求, 设计良好的命令集合可以简化系统实现的复杂性。
图2 有人机/无人机协同任务控制系统结构 Fig. 2 Cooperative mission control system architecture for
a manned vehicle and UAV
人-机交互接口采用自然语言交互方式, 通过有效的人-机交互界面、语音识别和文本命令理解模块, 接收、理解和识别有人机飞行员的语音命令, 提取关键任务参数, 将其转化为无人机能够识别的任务指令, 反之亦然。它使得有人机飞行员可以采用传统的语音方式下达任务层控制命令, 如“搜索1号区域的敌方阵地”, 而无需发布底层导航控制指令, 如“右转”或“加速”等。从而降低有人机与无人机交互过程中人的工作负担, 提高了任务效能。
链路通信接口实现任务指令、平台状态等信息的数据链格式转换, 使所有信息按照数据链报
S138 航 空 学 报 第29卷
任务命令集合的设计包括3方面内容： (1) 定义有人机命令用语集。实际在有人机相互通信时, 存在一套规范用语。因此, 针对有人机与无人机协同执行任务过程中可能用到的语句, 需要为有人机飞行员定义一套标准命令用语集, 其命令应包含无人机执行任务所需的数据信息(如任务区域、任务类型等), 并对其进行规范化处理。
(2) 定义无人机指令集。针对无人机飞行控制、管理和决策的要求以及任务的需求, 定义无人机可理解、执行的指令集合, 该指令按照特定格式编码, 包括任务指令和呼叫、应答指令, 不同任务指令对应无人机不同的任务模式。
(3) 任务命令格式转换。实现有人机语言命令和无人机可执行的编码指令之间的格式转换。同时需要定义预先任务数据库, 便于数据的查找与转换。如将“搜索1号区域的敌方阵地”这一语言命令转化为编码指令时, 则需在预先数据库中查询1号区域的具体坐标数据。 2.2 指令编码
为便于采用数据链进行指令传输, 减少格式转换的复杂性, 无人机指令的格式参考Link-16数据链的报文格式, 采用面向比特的设计, 指令长度可变。以区域侦察指令为例, 其编码格式如图3所示。
目标跟踪号、飞行航向、速度、高程、目标类型、任务时间要求、任务区域位置(经度, 纬度,高度)、区域类型(方形/圆形)、区域大小和方位、突发威胁位置、半径等信息, 其中位置数据的长度是可调的, 以适合不同场合的精度要求。
3 任务管理和调度
任务管理和调度模块集中处理无人机的所有任务指令, 它结合人-机交互接口, 使得有人机操作员能够在协同任务过程中动态调整无人机的任务。任务管理调度的重点在于任务的描述和任务调度的策略。 3.1 任务模式
无人机的任务由一系列任务作业构成, 每个任务作业称之为任务模式。任务模式采用特定数据结构来存储无人机的任务作业信息, 每一个任务模式对应于某阶段内无人机的特定控制过程或状态。任务模式与无人机任务指令对应, 对于每一个任务模式, 在任务指令中提供任务模式的入口/出口条件, 以及任务基本信息。针对单架无人机, 定义了一系列基本任务模式, 如表1所示。
表1 单机基本任务模式
Table 1 Basic mission mode for a single UAV
序号1 2 3 4 5 6 7
模式名称 起降 直飞到某点 盘旋等待 区域搜索侦查 威胁规避 目标攻击 返航
关键参数
机场位置、跑道方位、风向、时间 下一航路点、巡航速度、高度、时间盘旋方式、时间、速度、高度、位置区域位置、形状、时间、目标类型 威胁位置、威胁程度、威胁范围 目标位置、目标类型、武器类型
基地位置
3.2 任务模式的优先级调度策略
图 3 无人机指令编码格式
Fig. 3 Formatted codes of UAV task instruction
图3中每条指令由指令头和指令参数两部分组成。指令头为固定长度40 bit, 描述了指令类型、指令发送者、指令接收者等信息；指令参数设计为变长度以减少数据传输量节省带宽。针对不同类型的任务, 指令参数内容不同, 主要包括
任务管理和调度模块采用串行方式运行, 使用列表来管理一系列任务模式, 同一时刻不存在两个任务模式并行执行。对每个任务模式都设定了一个优先级参数, 参数值越小, 任务模式的优先程度越低, 优先级参数的取值与任务之间的偏序关系、任务紧急程度以及有人机的指令要求相关。“新任务模式”添加到无人机的任务模式列表后, 由任务调度器按照其优先级来调整任务执行的次序, 通常情况下, 优先级高的任务就会先
增刊 彭辉等：有人机/无人机协同任务控制系统 S139
执行。当前任务模式完成后, 将从任务列表中删除。新任务模式可以由有人机下达的指令产生, 也可以由无人机根据战场态势和威胁情况自主产生(如突发威胁的威胁规避, 失去联系后的返航等)。在完成任务模式的调度过程之后, 无人机将发送任务确认信息给有人机, 然后将当前模式数据发送给路径决策和航路规划模块。
4 路径决策和航路规划
通过人-机交互接口和任务管理调度模块, 将有人机飞行员的命令逐步分解, 转化为一系列无人机能够执行的任务模式, 针对当前任务模式, 路径决策和航路规划模块为无人机规划出飞行路径和航迹。对于无人机的航路规划问题, 目前已有大量的研究成果和算法, 如混合主动线性规划
[2-3][9][10]
方法(MILP)、A*算法、人工势场法、概率
[11-12][8,13][14]
图法、Voronoi图法和遗传算法等, 算法各有优劣, 适用于不同场合。本文不详细讨论航路规划算法的设计, 而是针对无人机的典型任务模式, 讨论航路规划的算法选择问题。
(1) 巡航模式。巡航模式下的航路规划是在任务空间内寻找从当前点到下一目标点的可飞航线, 使航线满足相关约束(如燃油消耗、风险代价、平台性能约束、环境约束和避碰等), 并在某种性能指标度量下最优。大多数情况下, 无人机都处于巡航模式, 因此航路规划采用预先规划为主, 动态调整为辅, 在有人机/无人机协同执行任务前规划出初步航路。预规划对时间的要求不高, 可采用比较耗时但能得到最优解的航路规划算法, 如A*算法、遗传算法、进化算法等。
(2) 威胁规避模式。在飞行过程中出现突发情况, 则转入威胁规避模式。此时无人机的航路需要在原航路基础上动态调整, 要求航路规划求解速度快, 在有效时间内尽快得到可行解以引导无人机规避威胁, 因此可采用图搜索算法, 如Vor-onoi图法、概率地图法等。
(3) 盘旋等待模式。无人机处于盘旋等待时,其航路通常是固定的, 因此可采用确定性的计算方法。如图4(a)所示, 在给定盘旋区域大小、盘旋方式(如8字型/圆型)、区域进入点等条件后, 可根据平台转弯半径约束R来计算盘旋模式下的关键航路点(Way Point, WP)。
(4) 区域侦察搜索模式。对于特定区域的侦察搜索可以有多种可选模式, 包括固定搜索模式、随机搜索模式、概率搜索模式等, 不同模式
下, 航路的计算方法不同。固定搜索模式(包括扫
描线模式、螺旋模式等)下航路也是确定的, 如图4(b)所示。对于随机搜索模式, 根据无人机最大转弯角为ϕ和最小直飞距离L的限制, 由当前位置和飞行航向, 实时搜索2ϕ扇面范围内的可行路径,
在m
个等分方向内随机确定下一航路点, 如图4(c)所示。在此基础上, 概率搜索模式则每次扩展k阶航路点, 然后按照一定的目标发现概率和代价函数, 采用相关搜索算法如A*算法确定当前最佳的局部路径点集合作为任务航路。
图 4 特定任务模式下的航路计算
Fig. 4 Way point computation in special mission mode
5 仿真实现
基于本文的设计, 在windows环境下建立了有人机/无人机协同任务仿真环境。仿真环境运行界面如图5所示。
图 5 有人机/无人机协同任务仿真环境
Fig. 5 Cooperative mission simulation environment for a
manned vehicle/UAV
S140 航 空 学 报 第29卷
整个仿真环境基于VC++6.0编程实现, 由有人机平台仿真模块、无人机平台仿真模块、无人机任务管理模块和有人机人-机交互界面模块组成, 各模块采用局域网互联。平台的运动仿真采用6自由度模型, 有人机的运动采用手柄控制, 有人机操作员通过人-机交互界面发送任务指令, 无人机任务管理模块实现平台任务调度和航路规划功能, 并将导航信息发送到无人机平台仿真模块实现对无人机的控制。
针对1.1节的任务想定, 在仿真环境中进行有人机、无人机协同试验, 仿真环境运行的结果如图6所示。初始无人机在固定区域盘旋, 接收到有人机的任务命令后, 无人机从盘旋模式转为巡航模式, 按预先规划的航线避开威胁, 飞向1号任务区域。到达任务区后采用扫描线模式对区域进行侦察搜索, 搜索过程中有人机下达新任务指令“取消当前任务, 对2号区域进行侦察”, 无人机收到指令后立即中止当前任务, 以最优路径飞向2号区域执行侦察任务, 飞行过程中无人机感知到突发威胁, 转入到规避模式紧急避开威胁, 并将威胁信息告知有人机。任务完成后, 有人机发送返航指令, 有人机和无人机一同返回基地。由仿真试验可以看出, 在整个任务执行过程中, 有人机都处于安全地带, 通过协同任务控制系统指挥无人机执行任务, 充分发挥了人的决策优势和无人机的特点, 实现了以最小的风险完成作战任务。
人机协同任务控制系统结构, 并对系统模块的关键内容进行研究, 在此基础上构建了有人机/无人机协同任务仿真环境, 通过仿真试验验证了整体方法的可行性, 为有人机/无人机协同任务控制的研究奠定了思路。
目前的研究主要针对1架有人机与1架无人机的协同问题, 未来将面临1架有人机与多架不同类型、携带不同载荷的无人机协同作战, 涉及的问题更为复杂。为此下一步的工作将围绕以下几方面展开：①设计功能可扩展、模块化的协同控制体系结构；②分析协同控制过程, 研究有人机与无人机之间的鲁棒性对话策略, 实现更好的有人机与无人机交互控制；③针对战场环境和语音样本, 研究语音识别机理, 实现指令的精确识别和理解；④针对复杂作战环境, 深入研究任务/路径规划算法, 提高平台的自主能力；⑤从人机工效学角度, 研究更有效的信息反馈和感知方式,使飞行员能够更方便自然地指挥无人机, 提高有人机和无人机的协同能力。
参 考 文 献
[1] U.S. Office of the Secretary of Defense. Unmanned
aircraft system roadmap 2005-2030[R]. A572734, 2005. [2] Valenti M, Schouwenaars T, Kuwata Y, et al. Imple-mentation of a manned vehicle-UAV mission system [R]. AIAA 2004-5142, 2004.
[3] Schouwenaars T, Valenti M, Feron E, et al. Linear pro-gramming and language processing for human/un-manned aerial vehicle team missions[J]. Journal of Guidance, Control, and Dynamics, 2006, 29(2):303-313.
[4] Roberto D, Richard L. Flexible UAV/UCAV mission
management using emerging technologies[C]//Com-mand and Control Research and Technology Sympo-sium. US Naval Postgraduate School, 2002.
图 6 仿真运行结果 Fig. 6 Simulation result
[5] Howitt S L, Richards D. The human machine interface
for airborne control of UAVs[R]. AIAA-2003-6593, 2003.
[6] 吴蔚. 英国狂风完成控制4架无人机的模拟试飞
[EB/OL]. (2007-04-06)[2007-06-09]. http://www.aero-info.com.cn/.
Wu Wei. UK successfully completed the flight demon-stration of a TIARA capable of controlling 4 unmanned aircraft [EB/OL]. (2007-04-06)[2007-06-09]. http:// www.aeroinfo.com.cn/. (in Chinese)
6 结论与展望
有人机/无人机协同作战可以实现优势互
补、分工协作, 将各自的效能发挥到最大。本文以1架有人机和1架无人机协同执行侦察任务为背景, 提出了基于自然语言接口方式的有人机/无
增刊 彭辉等：有人机/无人机协同任务控制系统 S141
[7] Donald W. Manned/unmanned common architecture
program (MCAP): a review[C]//Proceedings of the 22nd Digital Avionics Systems Conference. 2003: 6.B.4/1-6.B.4/7.
[8] Randal B, Derek K, Morgan Q, et al. Autonomous ve-hicle technologies for small fixed wing UAVS [EB/OL]. http://www.et.byu.edu/~dbk4/papers/BeardEtAl04.pdf. [9] Robert J S, Peggy G. Robust algorithm for real-time
route planning[J]. IEEE Transactions on Aerospace and Electronic System, 2000, 36(3): 869-878.
[10] Baras J S, Tan X B, Hovareshti P. Decentralized con-trol of autonomous vehicles[C]//Proceedings of the 42nd IEEE Conference on Decision and Control. 2003: 1532-1537.
[11] Atilla D. Probabilistic approach in path planning for
UAVs[C]//Proceedings of the 2003 IEEE International Symposium on Intelligent Control. 2003: 608-613. [12] Pettersson P O, Doherty P. Probabilistic roadmap based
path planning for an autonomous unmanned helicop-ter[J]. Journal of Intelligent and Fuzzy Systems, 2006, 17(4): 395-405.
[13] Butenko S, Murphey R, Pardalos P. Cooperative control:
models, applications and algorithms[M]. Kluwer: Aca-demic Publishers, 2003: 95-111.
[14] Nikolos I K, Valavanis K P, Tsourveloudis N C, et al.
Evolutionary algorithm based offline/online path plan-ner for UAV navigation[J]. IEEE Transactions on Sys-tems, Man, and Cybernetics-Part B: Cybernetics, 2003, 33(6): 898-912. 作者简介：
彭辉(1980－ ) 男, 博士研究生。主要研究方向：多无人机协同控制、有人机/无人机协同控制。 Tel: 0731-4573391-803 E-mail: [email protected]
相晓嘉(1980－ ) 男, 硕士, 讲师。主要研究方向：多无人战斗机任务规划、协同控制。
吴立珍(1982－ ) 男, 博士研究生。主要研究方向：多无人战斗机任务控制。
朱华勇(1971－ ) 男, 博士, 教授, 硕士生导师。主要研究方向：无人战斗机任务规划、任务控制。
(责任编辑：张利平)
第29卷 增刊 航 空 学 报 Vol. 29 Sup. 2008年 5月 ACTA AERONAUTICA ET ASTRONAUTICA SINICA May 2008
文章编号: 1000-6893(2008)增-S135-07
有人机/无人机协同任务控制系统
彭辉, 相晓嘉, 吴立珍, 朱华勇
(国防科学技术大学 机电工程与自动化学院, 湖南 长沙 410073)
Cooperative Mission Control System for a Manned Vehicle and
Unmanned Aerial Vehicle
Peng Hui, Xiang Xiaojia, Wu Lizhen, Zhu Huayong
(School of Mechatronics and Automation, National University of Defense Technology, Changsha 410073, China) 摘 要：针对有人机/无人机协同任务控制系统的设计和实现问题展开研究。结合有人机/无人机协同控制过程的特点, 提出了基于自然语言接口方式的有人机/无人机协同任务控制系统结构。在此基础上, 分析了系统模块的关键内容, 设计了面向有人机与无人机交互过程的任务指令格式, 提出了基于优先级的任务模式调度策略, 针对无人机的典型任务模式, 讨论了航路规划的计算方法选择, 最后构建了有人机/无人机协同任务仿真环境。仿真试验结果验证了整体方法的可行性。 关键词：有人机；无人机；协同任务控制；人-机交互接口 中图分类号：TP237.5 文献标识码：A
Abstract: This paper discusses the design and development of a manned vehicle/unmanned aerial vehicle (UAV) cooperative mission control system. Firstly the cooperative task control process of a manned vehicle/UAV is analyzed. Then a manned vehicle/UAV mission control system architecture based on natural language interface is presented. Some key problems of the system modules are analyzed and the formatted codes of task instruction are designed for the interaction between human operator and UAV. This paper proposes a priority-based task scheduling strategy and gives a discussion to UAV route planning algorithm selection for different mission modes. At last, an implementation of simulation environment for cooperative mission control system is presented. Simulation results demonstrate the validity of the approach.
Key words: manned vehicle; unmanned aerial vehicle; cooperative mission control; human-machine interface
随着无人机(Unmanned Aerial Vehicle, UAV)
[1]
系统在战场上的广泛使用, 有人机/无人机协同执行任务的问题逐渐受到了国外研究机构和学者的普遍关注。在美国国防先期研究计划局(DARPA)和美国空军提出的软件使能控制计划(Soft
[2-3]
ware Enabled Control, SEC)的研究中, 波音公司和麻省理工学院的研究人员研制出有人驾驶战斗机F-15E对无人机的制导系统(Manned toUnmanned Aircraft Guidance System), 通过协同飞行试验, 验证了有人机驾驶员采用语音指令控制无人机的方法, 无人机可以在有人机驾驶员的指挥下对突然改变的计划做出及时反应, 避开意外威胁, 飞向目的地并执行任务。
英国QinetiQ公司采用“基于智能体的推理(Agent-based Reasoning)”方法, 实现了有人机
收稿日期：2007-09-12；修订日期：2007-12-24 通讯作者：彭辉 E-mail: [email protected]
对无人机机群的战术层次的协调和控制, 通过实验验证了一架狂风战斗机引导BAC 1-11无人机替代机和3架仿真无人机对地面移动目标执行模
[4-6]
拟攻击的过程。
美国陆军航空应用技术部(AATD)开展的有
[7]
人机/无人机通用结构计划 (Manned/UnmannedCommon Architecture Program, MCAP), 目的是为有人机/无人机建立通用的任务处理框架, 以增强有人机与无人机的协同工作能力。该计划由波音公司和洛-格公司合作进行, 针对“阿帕奇”直升机和“影子-200”战术无人机, 开展有人机/无人机平台协同作战试验和研发, 验证有人机和无人机的协同互操作性, 以增加整体系统的作战效能。
从国外的研究情况可以看出：有人机/无人机协同控制是一个十分复杂的问题, 涉及到平台自主控制、链路通信、人机交互和人机智能融合
S136 航 空 学 报 第29卷
等多方面内容。目前国内对有人机/无人机协同任务控制的研究尚处于探索阶段。本文的主要工作以1架有人机和1架无人机在部分未知的环境中协同执行区域侦察任务为背景, 详细讨论了有人机/无人机协同任务控制系统的系统结构设计和仿真实现, 该系统使得有人机飞行员能够发布任务级语音命令给无人机, 通过有效的人-机交互接口, 语音命令转换为无人机可执行的任务指令, 通过在线的任务管理调度和实时路径决策, 生成无人机执行任务的航路点数据, 从而引导无人机规避威胁和执行任务。
域, 然后无人机自主侦察搜索, 收集目标图像情报, 并将侦察情报实时反馈给有人机进行评估, 有人机根据情况决定是否实施打击任务。整个任务完成后, 有人机发出指令控制无人机返航。 1.2 系统要求
针对上述任务想定, 有人机/无人机的协同主要表现为有人机对无人机的任务控制, 即有人机在无人机任务执行过程中对其飞行、通信、载荷和任务等多个层面进行有效监管、指挥和控制。因此, 协同任务控制系统需要满足以下要求：
(1) 有人机和无人机之间良好的互联、互通、互操作。有人机能够传输作战指令、控制命令给无人机, 必要时还可以控制无人机的飞行。同时无人机能够将情报数据、态势信息和任务状态信息及时反馈给有人机。
(2) 简单、灵活、有效的人-机交互接口。有人机飞行员工作负荷大, 为能够及时、有效地组织有人机与无人机之间的协同, 必须提供简单、灵活的人机接口, 使得有人机可以对无人机的行为实施必要的干预, 同时又不给有人机带来额外负担。人-机接口提供的信息必须有利于有人机和无人机的相互理解, 便于有人机飞行员做出实时决策。
(3) 无人机平台的自主规划和控制。无人机能够适应战场复杂环境, 能够对态势变化、系统故障等突发事件做出合理有效的反应, 能够理解有人机的作战指令, 自主规划形成可以执行的任务动作和飞行航迹。
1.3 协同任务控制的交互过程
1 系统总体结构设计
1.1 任务想定
本文的有人机主要指有人作战飞机(如单座、双座战斗机或直升机), 而非预警机或其他空中指挥平台。针对有人作战飞机, 有人机/无人机之间的协同方式可以分为1架有人机和1架无人机, 1架有人机和多架无人机以及多架有人机和多架无人机混编等多种类型。本文针对1架有人机和1架无人机协同控制问题, 参考SEC计划的
[2-3]
任务背景, 提出如图1所示的任务想定。
图1 任务想定示意图 Fig. 1 Mission scenario
如图1所示, 在某区域内可能存在敌方目标,
1架有人机和1架无人机将协同搜集目标区域的情报信息。由于作战环境是未知的, 存在一定风险, 因此由有人机指挥无人机协同执行侦察任务。在有人机的命令下, 无人机离开盘旋空域飞向指定任务空域, 有人机以安全高度和安全距离跟随飞行。飞行过程中, 无人机能够感知突发威胁, 并实时修正航迹, 同时通知有人机威胁位置。逼近任务区域时, 无人机将根据有人机发送的任务区域进/出口条件和控制指令进入任务区
有人机和无人机实体在执行任务过程中承担不同职责, 通过相互之间的信息交互, 实现任务的协同。其中每个实体都可能发起交互, 例如有人机操作员向无人机下达任务命令过程, 无人机探测到突发威胁时向有人机操作人员汇报过程等。针对一架有人机和一架无人机, 可将协同任务控制的交互过程分为以下3类：
(1) 发布任务的交互过程。有人机向无人机下达任务命令, 无人机接收、理解命令并发送确认信息。如果命令无法识别, 还需要有人机重新发送任务命令。
(2) 查询信息的交互过程。有人机操作员询问无人机任务执行状况, 无人机回传任务、状态信息。该过程可以按时间间隔自动发起, 也可以
增刊 彭辉等：有人机/无人机协同任务控制系统 S137
由有人机根据需要随时发起。
(3) 探测到突发威胁的交互过程。无人机探测到突发威胁时, 需要将威胁情报通知有人机, 有人机调整航路和发布变更无人机任务指令。 1.4 系统总体结构
根据有人机/无人机协同任务控制的要求和交互过程的特点, 采用语音控制方法是目前实现人-机协同的重要手段, 如波音公司和麻省理工学
[2-3]
院SEC项目的系统结构。基于上述分析, 协同任务控制系统主要分为4部分, 包括人-机交互接口、链路通信接口、任务管理和调度以及实时路径决策和航路规划模块。系统的总体结构如图2所示。
文格式传输。
任务管理和调度模块解析任务指令, 形成一系列无人机能够执行的任务模式集合, 并根据自身情况和任务要求对任务模式进行管理和调度, 确定当前待执行任务模式, 同时返回任务确认信息给有人机。
实时路径决策和航路规划模块根据当前待执行的任务模式、战场态势和感知信息, 计算下一航路点, 引导无人机从一个任务位置运动到另一个任务位置。
下面对协同任务控制系统关键模块的具体内容进行分析讨论, 而对于构成平台控制本身的其他功能模块, 不是本文研究重点, 因此在图2中采用统一的方框列出。
2 人-机交互接口
采用基于自然语言方式的人-机交互接口, 可以确保有人机和无人机之间有效的通信, 减少人-机交互过程中人的负担。人-机交互接口模块包括4个主要部分：人-机交互界面为有人机飞行员提供有效的语音命令、文本命令输入和无人机响应信息, 以及状态信息的图形化输出显示；语音识别模块将语音命令识别为文本命令；文本命令理解模块对文本命令进行分析和理解, 提取该命令的关键任务数据；任务指令编码模块将任务数据转换为无人机可执行的特定任务指令。目前语音识别和语言理解的研究已有大量理论和方法, 并且出现了很多成熟产品和实际应用, 如美
[8]
国Brigham Young大学的研究小组, 采用基于语音的手持PDA无人机控制接口, 使用“左转”、“爬高”、“向北”等简单语音命令, 实现对小型无人机的控制。因此下面重点讨论人-机交互接口中的任务命令集合设计问题和指令编码转换等关键问题。 2.1 任务命令集合
有人机/无人机的协同过程主要基于控制命令来完成。在不同情况下, 人对无人机所发送的控制命令内容不同：在任务负担轻的情况下, 可以发送飞行控制指令如“左转”、“爬高”来控制无人机；而在任务负担较重情况下, 则需下达任务级指令。当有人机与不同自主能力的无人机协同时,控制命令的力度和内容更不相同。为此, 任务命令的设计必须适应不同层次的控制要求, 设计良好的命令集合可以简化系统实现的复杂性。
图2 有人机/无人机协同任务控制系统结构 Fig. 2 Cooperative mission control system architecture for
a manned vehicle and UAV
人-机交互接口采用自然语言交互方式, 通过有效的人-机交互界面、语音识别和文本命令理解模块, 接收、理解和识别有人机飞行员的语音命令, 提取关键任务参数, 将其转化为无人机能够识别的任务指令, 反之亦然。它使得有人机飞行员可以采用传统的语音方式下达任务层控制命令, 如“搜索1号区域的敌方阵地”, 而无需发布底层导航控制指令, 如“右转”或“加速”等。从而降低有人机与无人机交互过程中人的工作负担, 提高了任务效能。
链路通信接口实现任务指令、平台状态等信息的数据链格式转换, 使所有信息按照数据链报
S138 航 空 学 报 第29卷
任务命令集合的设计包括3方面内容： (1) 定义有人机命令用语集。实际在有人机相互通信时, 存在一套规范用语。因此, 针对有人机与无人机协同执行任务过程中可能用到的语句, 需要为有人机飞行员定义一套标准命令用语集, 其命令应包含无人机执行任务所需的数据信息(如任务区域、任务类型等), 并对其进行规范化处理。
(2) 定义无人机指令集。针对无人机飞行控制、管理和决策的要求以及任务的需求, 定义无人机可理解、执行的指令集合, 该指令按照特定格式编码, 包括任务指令和呼叫、应答指令, 不同任务指令对应无人机不同的任务模式。
(3) 任务命令格式转换。实现有人机语言命令和无人机可执行的编码指令之间的格式转换。同时需要定义预先任务数据库, 便于数据的查找与转换。如将“搜索1号区域的敌方阵地”这一语言命令转化为编码指令时, 则需在预先数据库中查询1号区域的具体坐标数据。 2.2 指令编码
为便于采用数据链进行指令传输, 减少格式转换的复杂性, 无人机指令的格式参考Link-16数据链的报文格式, 采用面向比特的设计, 指令长度可变。以区域侦察指令为例, 其编码格式如图3所示。
目标跟踪号、飞行航向、速度、高程、目标类型、任务时间要求、任务区域位置(经度, 纬度,高度)、区域类型(方形/圆形)、区域大小和方位、突发威胁位置、半径等信息, 其中位置数据的长度是可调的, 以适合不同场合的精度要求。
3 任务管理和调度
任务管理和调度模块集中处理无人机的所有任务指令, 它结合人-机交互接口, 使得有人机操作员能够在协同任务过程中动态调整无人机的任务。任务管理调度的重点在于任务的描述和任务调度的策略。 3.1 任务模式
无人机的任务由一系列任务作业构成, 每个任务作业称之为任务模式。任务模式采用特定数据结构来存储无人机的任务作业信息, 每一个任务模式对应于某阶段内无人机的特定控制过程或状态。任务模式与无人机任务指令对应, 对于每一个任务模式, 在任务指令中提供任务模式的入口/出口条件, 以及任务基本信息。针对单架无人机, 定义了一系列基本任务模式, 如表1所示。
表1 单机基本任务模式
Table 1 Basic mission mode for a single UAV
序号1 2 3 4 5 6 7
模式名称 起降 直飞到某点 盘旋等待 区域搜索侦查 威胁规避 目标攻击 返航
关键参数
机场位置、跑道方位、风向、时间 下一航路点、巡航速度、高度、时间盘旋方式、时间、速度、高度、位置区域位置、形状、时间、目标类型 威胁位置、威胁程度、威胁范围 目标位置、目标类型、武器类型
基地位置
3.2 任务模式的优先级调度策略
图 3 无人机指令编码格式
Fig. 3 Formatted codes of UAV task instruction
图3中每条指令由指令头和指令参数两部分组成。指令头为固定长度40 bit, 描述了指令类型、指令发送者、指令接收者等信息；指令参数设计为变长度以减少数据传输量节省带宽。针对不同类型的任务, 指令参数内容不同, 主要包括
任务管理和调度模块采用串行方式运行, 使用列表来管理一系列任务模式, 同一时刻不存在两个任务模式并行执行。对每个任务模式都设定了一个优先级参数, 参数值越小, 任务模式的优先程度越低, 优先级参数的取值与任务之间的偏序关系、任务紧急程度以及有人机的指令要求相关。“新任务模式”添加到无人机的任务模式列表后, 由任务调度器按照其优先级来调整任务执行的次序, 通常情况下, 优先级高的任务就会先
增刊 彭辉等：有人机/无人机协同任务控制系统 S139
执行。当前任务模式完成后, 将从任务列表中删除。新任务模式可以由有人机下达的指令产生, 也可以由无人机根据战场态势和威胁情况自主产生(如突发威胁的威胁规避, 失去联系后的返航等)。在完成任务模式的调度过程之后, 无人机将发送任务确认信息给有人机, 然后将当前模式数据发送给路径决策和航路规划模块。
4 路径决策和航路规划
通过人-机交互接口和任务管理调度模块, 将有人机飞行员的命令逐步分解, 转化为一系列无人机能够执行的任务模式, 针对当前任务模式, 路径决策和航路规划模块为无人机规划出飞行路径和航迹。对于无人机的航路规划问题, 目前已有大量的研究成果和算法, 如混合主动线性规划
[2-3][9][10]
方法(MILP)、A*算法、人工势场法、概率
[11-12][8,13][14]
图法、Voronoi图法和遗传算法等, 算法各有优劣, 适用于不同场合。本文不详细讨论航路规划算法的设计, 而是针对无人机的典型任务模式, 讨论航路规划的算法选择问题。
(1) 巡航模式。巡航模式下的航路规划是在任务空间内寻找从当前点到下一目标点的可飞航线, 使航线满足相关约束(如燃油消耗、风险代价、平台性能约束、环境约束和避碰等), 并在某种性能指标度量下最优。大多数情况下, 无人机都处于巡航模式, 因此航路规划采用预先规划为主, 动态调整为辅, 在有人机/无人机协同执行任务前规划出初步航路。预规划对时间的要求不高, 可采用比较耗时但能得到最优解的航路规划算法, 如A*算法、遗传算法、进化算法等。
(2) 威胁规避模式。在飞行过程中出现突发情况, 则转入威胁规避模式。此时无人机的航路需要在原航路基础上动态调整, 要求航路规划求解速度快, 在有效时间内尽快得到可行解以引导无人机规避威胁, 因此可采用图搜索算法, 如Vor-onoi图法、概率地图法等。
(3) 盘旋等待模式。无人机处于盘旋等待时,其航路通常是固定的, 因此可采用确定性的计算方法。如图4(a)所示, 在给定盘旋区域大小、盘旋方式(如8字型/圆型)、区域进入点等条件后, 可根据平台转弯半径约束R来计算盘旋模式下的关键航路点(Way Point, WP)。
(4) 区域侦察搜索模式。对于特定区域的侦察搜索可以有多种可选模式, 包括固定搜索模式、随机搜索模式、概率搜索模式等, 不同模式
下, 航路的计算方法不同。固定搜索模式(包括扫
描线模式、螺旋模式等)下航路也是确定的, 如图4(b)所示。对于随机搜索模式, 根据无人机最大转弯角为ϕ和最小直飞距离L的限制, 由当前位置和飞行航向, 实时搜索2ϕ扇面范围内的可行路径,
在m
个等分方向内随机确定下一航路点, 如图4(c)所示。在此基础上, 概率搜索模式则每次扩展k阶航路点, 然后按照一定的目标发现概率和代价函数, 采用相关搜索算法如A*算法确定当前最佳的局部路径点集合作为任务航路。
图 4 特定任务模式下的航路计算
Fig. 4 Way point computation in special mission mode
5 仿真实现
基于本文的设计, 在windows环境下建立了有人机/无人机协同任务仿真环境。仿真环境运行界面如图5所示。
图 5 有人机/无人机协同任务仿真环境
Fig. 5 Cooperative mission simulation environment for a
manned vehicle/UAV
S140 航 空 学 报 第29卷
整个仿真环境基于VC++6.0编程实现, 由有人机平台仿真模块、无人机平台仿真模块、无人机任务管理模块和有人机人-机交互界面模块组成, 各模块采用局域网互联。平台的运动仿真采用6自由度模型, 有人机的运动采用手柄控制, 有人机操作员通过人-机交互界面发送任务指令, 无人机任务管理模块实现平台任务调度和航路规划功能, 并将导航信息发送到无人机平台仿真模块实现对无人机的控制。
针对1.1节的任务想定, 在仿真环境中进行有人机、无人机协同试验, 仿真环境运行的结果如图6所示。初始无人机在固定区域盘旋, 接收到有人机的任务命令后, 无人机从盘旋模式转为巡航模式, 按预先规划的航线避开威胁, 飞向1号任务区域。到达任务区后采用扫描线模式对区域进行侦察搜索, 搜索过程中有人机下达新任务指令“取消当前任务, 对2号区域进行侦察”, 无人机收到指令后立即中止当前任务, 以最优路径飞向2号区域执行侦察任务, 飞行过程中无人机感知到突发威胁, 转入到规避模式紧急避开威胁, 并将威胁信息告知有人机。任务完成后, 有人机发送返航指令, 有人机和无人机一同返回基地。由仿真试验可以看出, 在整个任务执行过程中, 有人机都处于安全地带, 通过协同任务控制系统指挥无人机执行任务, 充分发挥了人的决策优势和无人机的特点, 实现了以最小的风险完成作战任务。
人机协同任务控制系统结构, 并对系统模块的关键内容进行研究, 在此基础上构建了有人机/无人机协同任务仿真环境, 通过仿真试验验证了整体方法的可行性, 为有人机/无人机协同任务控制的研究奠定了思路。
目前的研究主要针对1架有人机与1架无人机的协同问题, 未来将面临1架有人机与多架不同类型、携带不同载荷的无人机协同作战, 涉及的问题更为复杂。为此下一步的工作将围绕以下几方面展开：①设计功能可扩展、模块化的协同控制体系结构；②分析协同控制过程, 研究有人机与无人机之间的鲁棒性对话策略, 实现更好的有人机与无人机交互控制；③针对战场环境和语音样本, 研究语音识别机理, 实现指令的精确识别和理解；④针对复杂作战环境, 深入研究任务/路径规划算法, 提高平台的自主能力；⑤从人机工效学角度, 研究更有效的信息反馈和感知方式,使飞行员能够更方便自然地指挥无人机, 提高有人机和无人机的协同能力。
参 考 文 献
[1] U.S. Office of the Secretary of Defense. Unmanned
aircraft system roadmap 2005-2030[R]. A572734, 2005. [2] Valenti M, Schouwenaars T, Kuwata Y, et al. Imple-mentation of a manned vehicle-UAV mission system [R]. AIAA 2004-5142, 2004.
[3] Schouwenaars T, Valenti M, Feron E, et al. Linear pro-gramming and language processing for human/un-manned aerial vehicle team missions[J]. Journal of Guidance, Control, and Dynamics, 2006, 29(2):303-313.
[4] Roberto D, Richard L. Flexible UAV/UCAV mission
management using emerging technologies[C]//Com-mand and Control Research and Technology Sympo-sium. US Naval Postgraduate School, 2002.
图 6 仿真运行结果 Fig. 6 Simulation result
[5] Howitt S L, Richards D. The human machine interface
for airborne control of UAVs[R]. AIAA-2003-6593, 2003.
[6] 吴蔚. 英国狂风完成控制4架无人机的模拟试飞
[EB/OL]. (2007-04-06)[2007-06-09]. http://www.aero-info.com.cn/.
Wu Wei. UK successfully completed the flight demon-stration of a TIARA capable of controlling 4 unmanned aircraft [EB/OL]. (2007-04-06)[2007-06-09]. http:// www.aeroinfo.com.cn/. (in Chinese)
6 结论与展望
有人机/无人机协同作战可以实现优势互
补、分工协作, 将各自的效能发挥到最大。本文以1架有人机和1架无人机协同执行侦察任务为背景, 提出了基于自然语言接口方式的有人机/无
增刊 彭辉等：有人机/无人机协同任务控制系统 S141
[7] Donald W. Manned/unmanned common architecture
program (MCAP): a review[C]//Proceedings of the 22nd Digital Avionics Systems Conference. 2003: 6.B.4/1-6.B.4/7.
[8] Randal B, Derek K, Morgan Q, et al. Autonomous ve-hicle technologies for small fixed wing UAVS [EB/OL]. http://www.et.byu.edu/~dbk4/papers/BeardEtAl04.pdf. [9] Robert J S, Peggy G. Robust algorithm for real-time
route planning[J]. IEEE Transactions on Aerospace and Electronic System, 2000, 36(3): 869-878.
[10] Baras J S, Tan X B, Hovareshti P. Decentralized con-trol of autonomous vehicles[C]//Proceedings of the 42nd IEEE Conference on Decision and Control. 2003: 1532-1537.
[11] Atilla D. Probabilistic approach in path planning for
UAVs[C]//Proceedings of the 2003 IEEE International Symposium on Intelligent Control. 2003: 608-613. [12] Pettersson P O, Doherty P. Probabilistic roadmap based
path planning for an autonomous unmanned helicop-ter[J]. Journal of Intelligent and Fuzzy Systems, 2006, 17(4): 395-405.
[13] Butenko S, Murphey R, Pardalos P. Cooperative control:
models, applications and algorithms[M]. Kluwer: Aca-demic Publishers, 2003: 95-111.
[14] Nikolos I K, Valavanis K P, Tsourveloudis N C, et al.
Evolutionary algorithm based offline/online path plan-ner for UAV navigation[J]. IEEE Transactions on Sys-tems, Man, and Cybernetics-Part B: Cybernetics, 2003, 33(6): 898-912. 作者简介：
彭辉(1980－ ) 男, 博士研究生。主要研究方向：多无人机协同控制、有人机/无人机协同控制。 Tel: 0731-4573391-803 E-mail: [email protected]
相晓嘉(1980－ ) 男, 硕士, 讲师。主要研究方向：多无人战斗机任务规划、协同控制。
吴立珍(1982－ ) 男, 博士研究生。主要研究方向：多无人战斗机任务控制。
朱华勇(1971－ ) 男, 博士, 教授, 硕士生导师。主要研究方向：无人战斗机任务规划、任务控制。
(责任编辑：张利平)