AR技术在航天领域中的应用综述

刘一帆，吕建峰，于忠良

(1. 中国航天科技集团公司五院总体部，北京 100190；
2. 哈尔滨工业大学自主智能无人系统工信部重点实验室，黑龙江 哈尔3滨 150000)

航天技术和航天设备的发展对于国民生活的影响日益凸显，对国家安全的重要性更是不言而喻。但是在航天器的工作过程中依旧面临许多难题和挑战，具体体现在以下几个方面[1]：

航天设备的制造和发射成本高、研发周期长，这对航天器的生产制造以及更新换代过程造成较大影响；
航天设备属于高度集成的精密设备，在复杂的太空工作环境下，即使单点故障也可能造成航天器性能变差甚至完全失效。由于航天设备工作状态的特殊性，对于航天器的在线升级十分困难。由于航天器携带燃料有限，航天器的使用寿命受到了较大限制。

以上种种问题促使一些国家开始在轨服务方面的工作，这些工作多由航天员来完成，但是恶劣的太空环境极易给航天员带来危险，航天员也难以掌握多种航天器的维护知识。

随着新技术的产生的发展，增强现实[2][45][46](Augmented Reality，AR)技术为上述问题提供了一个新的解决思路，并在实际应用过程中取得了很好的结果。AR是一种将虚拟信息与真实世界巧妙融合的技术，通过摄像头和传感器将真实场景进行数据采集，并传入处理器对其进行分析和重构，再通过AR头显或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算。

增强现实技术用于航天器维修可以有效提高装配、维修效率[52]。通过AR技术与机械臂控制技术的配合，航天员可以在太空舱内完成一些简单的在轨保障服务。同时，通过可视化的指令操作，可以简化航天员在执行在轨服务过程中记忆大量操作指令的过程，提高工作效率。

增强现实技术在提出的短短几年间，受到了世界各地学者们广泛的关注，其应用领域也遍布娱乐、媒体、医疗、商务、教学、军事、工程制造等等各方各面，成为了近年来的一个研究热点。针对增强现实辅助的装备研发、装配、操作、维修过程，世界各国的航空航天制造公司以及科研单位都进行了尝试和验证并取得了较好的应用效果。

2.1 国外AR技术的研究现状

2.1.1 AR技术在航天装备研发中的应用

1) 面向研发过程的AR技术研究

航空航天设备具有高设计精度、高复杂度的特点，在装备部件设计过程中，通过AR技术辅助可以简化设计流程，提高研发工作效率，同时保障各个设计部件与装备整体的关联性。

欧洲航天局[3](ESA)正在使用AR技术来探索大脑如何解释诸如重力等信息，一项名为“引力参考”(gravity References)的实验正在探索微重力是如何影响人类在空间环境中抓取或操纵物体的能力。通过这项研究能够推进设备仿生与远程操作技术的进步，可以广泛引用于航空航天、医疗、建筑工程等领域。

波音公司[4]已经将AR技术应用于777和787飞机的设计上。通过VR/AR技术，完成了对飞机外型、结构、性能的设计，所得到的方案与实际飞机的偏差小于1‰英寸，设计错误修改量减少90%、研发周期缩短50%、综合成本降低60%。

空客集团联合戴姆勒公司[5]，利用索尼智能眼镜开发的AR系统，利用来自计算流体力学(CFD)软件和温度传感器等数据输入，实现座椅空间气流温度的可视化，助力设计人员进行机舱内座舱开发。

NASA使用AR技术辅助进行火星探测车的设计[6]，设计过程能够对任意微小部件进行放大显示，并且能够在设计过程中与设计模型进行更多的交互。同时在一些危险操作上，利用AR技术可以保证设计的安全性，并为真实安装过程积累经验，提高最终安装的成功率。

与此同时，NASA还与微软联合组建团队打造 OnSight同传系统[7]，把AR应用到从“好奇号火星探测器”传回的视觉数据上。通过对火星环境的3D 模拟，创造出一个虚拟与现实的结合体，这样科学家就可以在地球上直接操作火星中的虚拟环境，从而更加直观的进行科学工作。

2) 面向装配与维修过程的AR技术研究

基于AR技术的装备装配与维修技术也是工程制造领域AR技术的主要应用方向之一。在一些危险的装配和维修工作中，缺乏经验的工人会因经验不足而使工作失败，甚至因此而受伤。借助AR技术，可以对工人进行实时指导，对一些危险操作提出警告，提高工作的安全性和效率。

波音公司首先将AR技术应用于飞机制造中电力线缆的连接和接线器的装配过程[8]，开发了一套辅助布线AR系统，能够实时识别电缆电路信息，并引导工人在正确的线路上组装线缆，或者连接线头。

空客利用AR技术辅助操作工人完成高密度布线工作[9]，在此过程中对超过6 万个管线定位托架的安装质量进行管理，使A380 机身 8 万个托架的检查时间从3 周减少到了 3 天。

美国洛马公司使用基于智能眼镜的AR 平台[10]加速 F-22 和 F-35 的维修过程，检测员能够通过眼镜看到投影于战斗机上的零件编号和计划，在飞机旁边就可以记录要修理的区域，减少操作错误。

2012 年新加坡国立大学开发出了一套可编程的AR辅助维修系统[11]，该系统可以将操作人员的相关业务知识、业务水平、业务素质等与虚拟维修信息进行有效整合，能够根据实际维修环境对虚拟维修过程进行修改，使系统更加适用于实际的维修环境。

2013年阿尔及利亚先进技术发展中心[12]开发出了一套基于AR技术的维修系统，该系统能够将3D虚拟物体与实际设备关联匹配，降低了工作环境变化对维修诱导过程产生的 影响，增强了诱导维修过程的可靠性和准确性。

除此之外，德国的Fraunhofer[12]计算机图形学研究所利用识别标志物的方式，将增强现实技术应用于汽车门锁的装配工序中。美国哥伦比亚大学[14]也成功的将增强现实技术应用于美国陆军的装备维修诱导系统中。日本航空[15]应用AR 设备训练员工，通过模拟飞机大型喷气发动机 3D 互动模型让员工迅速掌握结构知识和维护技能，涉及工种包括飞机设备维护和飞行员，能够训练员工更全面地了解飞机设施，提高工作效率。

3) 面向操作过程的AR技术研究

AR能为使用者带来更好的交互式、沉浸式的使用体验，伴随着AR技术应用的日益广泛，面向操作过程的AR技术发展也得到了进步。

NASA[16]已经将VR设备送上了国际空间站，通过AR技术培训宇航员的相关技能。NASA表示，目前关于AR技术的应用还处于初级阶段，但是在未来几年之内，基于AR技术的各项产品和服务将会该机构员工的标配。

2020年SpaceX公司的龙飞船[17]进行载人发射是世界航天史上首次全方位利用社交媒体和VR技术实现“人人参与”的载人航天发射活动。观众可以身临其境地沉浸其中，通过鼠标移动可以实现在发射现场以及飞船内的沉浸式体验。

美国罗克韦尔柯林斯[18]公司为F-35战斗机驾驶员开发了一种AR头盔，该AR头盔借助安装在飞机上不同位置的摄像机组采集信息并重建飞机模型，并通过头盔内置显示器进行显示。驾驶员能够对战斗机飞行状态有一个360度的体验，有利于飞行员对飞机战斗状态做出评估，简化信息获取的流程，从而更好地把握战机，取得胜利。

德国慕尼黑理工大学[19]研制了一种应用在飞机上的搭配激光雷达系统的AR设备，针对人眼能见度较低的情况，采用激光雷达采集环境信息，并通过AR设备为驾驶员提供飞机环境参数。

2.1.2 AR技术的其它领域的应用

AR技术除了上述在航空航天领域的应用之外，在众多公司企业参与的民用领域也取得了较大的成果。

在基于AR技术的硬件产品开发方面，微软[20]的 HoloLens能够在无需预先编码的情况下帮员工更快的学会新技能，集成图片、视频和3D模型为员工打造个性化的培训课程，最大限度提升培训效果。

Magic Leap公司开发Magic Leap One[21]拥有数字光场、视觉感知、持续对象、声场音频、高性能芯片组和下一代界面等特性，为探索人体解剖学开辟了新的途径。

苹果ARKit 3.5[22]利用 iPad Pro 上全新的激光雷达扫描仪和深度感应系统，通过配套的APP辅助使用者进行三维视频游戏、三维动画设计开发等工作。

Google Glass Enterprise Edition 2[23]是一款AR可穿戴设备，帮助使用者实时方便的进行各类学习工作以及娱乐活动。

在一些专业软件方面，Unity 3D[24]是由Unity Technologies开发的交互图型化开发软件，用户可以轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等音视频作品。同时，Unity支持ARKit和Magic Leap One并推出了一个名为AR Foundation的多平台API帮助实现跨平台的产品开发。

Innoactive[25]开发了一套AR工具可以帮助使用者创建、管理和部署AR培训环境，通过将员工和培训师在虚拟环境中聚在一起，可以增强企业内部的跨部门沟通交流，并节省大量的培训费用。

2.2 国内AR技术的研究现状

我国AR技术相比于国外的研究进展较慢，在我国航天器研制工作中，基于AR的技术研究大多集中在高校的科研单位，鲜见与航天器产品工程结合的应用研究，整体来看尚处于起步探索阶段。

2.2.1 航空航天领域AR技术的应用

中航通用飞机有限责任公司基于AR技术研制了可视化协调决策平台系统，实现了多模块的协同仿真和多部门协同设计等工作，并于2012年珠海航展中首次采用沉浸式轻量化虚拟现实技术完整展示了一款新设计的整机虚拟样机数字模型。

南京航空航天大学[27]以民用航空器维修为背景，构建了面向过程的维修作业系统。该系统通过向现场维修人员提供所需的文字和图像作为维修任务的线索，从而帮助工人理解维修任务、提高认知能力。

哈尔滨工业大学的张世杰团队[28]于2017年通过对典型卫星装配工作的详细需求分析，提出了一种基于可穿戴增强现实的卫星装配诱导系统。实现了增强现实装配信息可视化显示、装配效果增强显示、装配过程诱导等功能，解决了传统卫星装配工作中采用纸版技术手册带来的不便之处。

航空工业成都飞机工业有限责任公司开发了一套飞机装配作业 AR 智能引导系统，初步实现了飞机液压系统管路装配过程的实时引导和装配结果的智能检查。

中国空间技术研究院总体部基于AR技术实现了模型可视化和虚拟演技试验，通过仿真过程模拟实物装配步骤，减少设计反复以及物理试验产生的成本，提高物理产品的好用易用性。

中国航天员科研训练中心通过AR技术辅助航天员进行训练，可以帮助航天员对训练环境的有效感知和记忆，同时虚拟训练过程可以减轻操作失误时的影响，将低危险性。

2.2.2 国内其它领域的AR技术应用

除航空航天领域之外，国内的众多企业高校也集中优势资源对AR技术在各个方面的应用进行了探索，并取得了一定成绩。

北京理工大学的王涌天团队[32]提出了一种基于投影式红外标志点的方法用于室内大范围增强现实跟踪注册，满足系统实时跟踪注册的要求。北京交通大学的岳建海团队[33]利用基于计算机视觉的目标跟踪方法，结合动车组维修作业场景的特点，将增强现实技术应用于动车组的维护工作中。电子科技大学[33]基于AR技术开发了一套辅助维修系统，其中包括图像识别与跟踪定位、虚拟信息数据库、图像融合与显示等重要部分。该系统能够将辅助信息实时叠加显示在该标识物上，从而实现维修辅助信息的指导。广东工业大学[35]的研究人员利用颜色进行判断检测，在增强现实环境中以打印机为例进行维修系统的设计。

此外，国内诸多互联网公司结合自身业务，同样推出了多款AR应用和服务。阿里巴巴[36]开发了基于AR的产品介绍功能，并在支付宝、淘宝、天猫等多个渠道采用该技术来推动产品销售。网易[37]主要在游戏设计、3D电影制作等领域采用AR技术，有效的推动电影制作产业的发展。商汤[38]将AR技术应用在了公共安全管理和智慧区域运营等方面，提升了人们的生活体验。视+与华为[39]合作开发了AR模块，并将该技术在华为手机上进行了部署。太虚AR[40]开发了多款SDK组件，并免费向AR工具开发者开放，共同推动AR技术的普及和应用。

随着我国空间事业不断发展，航天器研制呈现出任务愈发复杂、重量体积不断增加、结构形式多样等新特点，AR技术作为现在新兴技术之一，在解决航天设备研制过程中带来的新问题新挑战方面，将会发挥越来越大的作用。与此同时，AR技术在应用过程面临的一些问题和解决方案也值得关注和讨论。

3.1 AR技术应用在航天器研发过程的技术难点

AR技术在航天领域的应用主要包括三个方面：航天系统中虚拟与现实环境融合、航天系统中实时交互以及航天器的三维注册[41][47]。近年来，虽然众多科研工作者针对上述三个问题开展了大量研究，并取得了一定成果，但是依然有许多问题亟待解决。

3.1.1 航天系统中虚拟与现实环境融合

虚拟与现实的环境融合[42]是指虚拟物体图现实世界三维坐标的融合，并且能够准确获得虚拟物体在指定视角下的二维投影。其中，主要问题在于虚拟物体所处虚拟环境和现实环境的光照和场景不一致所导致的匹配结果不准确，虚拟感较强。

3.1.2 航天系统中实时交互

AR技术在应用过程中与人的实时交互是十分重要的一环，因此如何实现快捷、方便、准确的人机交互是AR技术需要解决的一个重要问题[43]。基于AR的人机交互的发展方向应该是采用手势或人类行为的自动识别来直接进行交互，AR系统能够通过对人类行为的自主识别，给出对应的建议和指导信息。现阶段下，这种信息的检测大多是通过第三方设备，例如手套，或者佩戴颜色标记来实现，距离理想的裸手识别依然有较大差距。

3.1.3 航天器的三维注册

航天器的三维注册[44][51]是增强现实技术的基础，也是虚实融合效果的基本要求，三维注册一般是通过估计摄像机在世界坐标系下的位姿，并通过该位姿来获取虚拟物体在当前视角下的投影图像，再通过图像合成完成投影一致的二维图像，实现三维注册。三维注册技术的难点在于对多传感器的支持和融合结果的准确和稳定。

3.2 AR技术应用在航天器研发过程的关键技术分析

针对2.1节中提出的技术难点，AR技术在航天器研发过程的应用需要突破以下三项关键技术：多源技术融合技术[48]、目标检测和模式识别技术[49]、三维模型匹配技术[50]。

3.2.1 多源信息融合技术

虚拟物体建模是虚拟环境与现实环境融合以及人机交互过程的基础，航天器中的每个部件在设计过程中可能用到不同的设计建模以及分析软件，如何将多源软件信息进行融合构建整个航天器的虚拟模型是AR技术的基础。在这个过程中需要获取航天器各个部件的数字化设计信息，保证数据的一致性和同步更新，建立航天器系统结构和部组件数据库，操作程序与步骤文档数据库，开发多源软件数据融合以及渲染平台，实现模型的3D显示和多通道显示。

3.2.2 目标检测和模式识别技术

目标检测和模式识别技术是人机交互技术的基础，其中主要包括裸手检测、行人检测、手势识别、人体姿势识别、行为理解等多个子任务组成，目前可用的方法包括模板匹配算法或者基于神经网络的检测算法，一般来说，基于神经网络的方式其检测准确性要高于模板匹配的方式，但实时性可能较差，因此应该根据具体的应用需求和指标来确定具体实施方案。

3.2.3 三维模型匹配技术

三维模型匹配技术也是AR技术的基础技术之一，其中包括虚拟环境匹配与真实环境的三维匹配、同一模型不同视角的匹配、以及二维投影到三维模型的匹配等多个子任务，该技术是实现虚拟现实环境融合和三维注册过程的重要一环。三维模型匹配算法可能涉及压缩感知、三维坐标转换、关键点特征提取，三维模型重构等多个技术细节，也是目标比较热门的研究方向。

国外在航天领域中已经广泛的采用AR技术来支持航天器模型设计、装配维修过程仿真、航天器在轨服务以及人员培训等方面，但我国对于AR技术开展的应用研究还比较少，并且已有的研究大多是一些初级的应用，并不能完全发挥AR技术的优势。为此本文针对AR技术在航天领域的应用提出以下几个研究方向。

4.1 AR 技术在空间交会对接中的应用

我国航天器空间交会对接方案分为自动控制和手动控制两种模式，其中在手动控制模式中，需要航天员能够准确快速得获取航天器的飞行状态，并且在有扰动的情况下准确控制航天器的位姿。在这一过程中AR技术可以辅助航天员进行信息获取，将航天器的全局飞行状态现实在航天员视野内，并在航天器位姿偏离时发出警告和指导。另一方面，AR技术还可以辅助进行航天员对接操作培训，保障航天员对实际工作环境的熟练程度。最后，在出现紧急情况时，还可以利用远程异地同步协同增强技术由地面工作人员指导完成航天器对接任务。

4.2 AR 技术在载人登月中的应用

对于载人登月，由于月球表面无大气层，呈真空状态，登月舱下降过程中，没有月球大气的气动阻力可供利用，只能靠缓冲减速火箭进行减速，在逼近月球表面时需要航天员的手动操作予以配合。增强现实技术在载人登月中的应用主要有以下两点：首先在地面的载人登月模拟训练中，可以利用增强现实技术在地面环境中叠加虚拟的月球环境为航天员提供相对丰富而完整的登月任务模拟，达到身临其境的感觉，提高训练质量。其次在载人登月手控操作过程中可以利用增强现实技术通过计算机数据处理叠加虚拟的手控操作指导信息至航天员的视野中，使航天员更加直观地了解操作过程，达到精确操控、减少失误的目的，实现载人登月任务的顺利完成。

4.3 AR 技术在出舱活动中的应用

在航天员出仓活动执行在轨任务时，增强现实技术能够在出舱活动的训练过程中将虚拟的操作信息和方法叠加到航天员的视野中，使航天员快速适应训练过程，在实际出舱活动中可以在航天员实际看到的场景中利用增强现实技术将摄像机拍摄到的场景经计算机处理后叠加对航天员有用的虚拟信息至航天员的视野中，辅助航天员进行出舱活动，实现出舱活动和在轨生活的双重要求。此外，在舱外设备出现故障的情况下，可以使用遥控机械摄像拍摄到设备，利用增强现实技术将维修操作信息、方法和过程等信息直观地显示给航天员，使航天员首先在舱内完成设备的维修训练与操作，以便在出舱后能够快速准确地完成维修任务。

4.4 AR 技术应急返回手控操作中的应用

在任何航天任务中，都需要充分考虑到故障事件的发生，故障发生时可能会要求航天员手动操控返回，此时，航天员的手动返回控制能力就至关重要。在紧急情况下，要求航天员在操作过程中能够直观、简单的实现手动控制，而在这个过程中可以利用增强现实技术将摄像机拍摄到场景经计算机处理后与飞船飞行参数以及地面技术人员的指导信息相结合，将最直观、最简单的操作过程与操作方法显示到航天员的视野中，缩短航天员的思考时间，减少航天员在紧急情况下的操作失误，实现安全返回。此外此时可以利用远程异地协同增强现实技术将地面技术人员的操作规范、步骤、方法等以直观、形象的方式展示给航天员，实现载人航天任务的圆满完成。

AR技术的具有诸多技术优势，能够为航天器设备研发的各个过程中提供有效的支持，加快航天器的设计与生产效率。本文以AR技术在航天设备中的应用为主题，讨论了国内外AR技术的应用现状，并着重描述了AR技术在航天领域的应用情况。此外本文针对AR技术在应用过程中的技术难点和关键技术进行分析，介绍了相关概念和主要技术问题。最后针对我国航天领域AR技术应用现状，提出了今后AR技术可能的应用方向以及合理建议。通过本文的研究内容，能够对国内外航天领域AR技术应用有大致了解，并对AR技术在国内航天领域的发展前景有初步认识。

猜你喜欢 航天器航天员航天 2022 年第二季度航天器发射统计国际太空(2022年7期)2022-08-16春节前写给航天员的一封信军事文摘(2022年8期)2022-05-25我的航天梦儿童时代(2022年4期)2022-04-19航天梦，我的梦军事文摘(2021年22期)2022-01-18我的航天员手记军事文摘(2020年24期)2020-02-06我要当航天员小哥白尼(趣味科学)(2019年10期)2020-01-182019 年第二季度航天器发射统计国际太空(2019年9期)2019-10-23来吧，少年航天员军事文摘(2019年18期)2019-09-25逐梦航天日学苑创造·A版(2019年8期)2019-08-152018 年第三季度航天器发射统计国际太空(2018年12期)2019-01-28

相关热词搜索：航天 综述 领域