基于认知科学的虚拟现实系统应用与教学实践——以VR,智慧仓储实务实训系统为例

王 喆，黄 娟,2，杨 晗，何 强，李世鑫

（1.四川旅游学院 经济管理学院，四川 成都 610100；
2.西南交通大学 交通运输与物流学院，四川 成都 610031）

数智化时代教育必须不断更新以反映数字时代的任务与技能，而作为教学设计者的教师在学习中的作用正发生变化。如何给学生提供学习的外部条件，这些外部条件包括引起注意的手段、先行组织者、新信息、学习和应用的情境、反馈与迁移。数字技术已给人们如何学、学什么、何时学、何处学带来了巨大的变化。在个体水平上，学生具备“数字素养”意味着具有理解和使用信息技术的能力。为充分利用数字时代的优势，教育工作者及教育科技开发者需要重新思考学习、教育的取向，并决定技术如何能给每一方面予以支持[1]。

1.1 认知工具

认知工具是一般化的计算机工具，或者是可用于多种情境和领域的工具，旨在参与并促进认知过程。它们是支持、引导、扩展其用户的思维过程的心理和计算设备，而且它们是可用于多种学科领域的知识建构与促进工具。作为认知工具的计算机技术代表了对传统的技术观念的一次重要扩展[2]。使用这些工具建构知识基础的过程，称为建构主义，这些过程将会使学习者更为投入，并在学习者身上产生更有意义、更有迁移能力的知识。

有效认知工具的设计应当基于当前的认知心理学研究。对任何认知工具而言，视觉成分是一个十分重要的特点。通过图形界面的操作，认知工具可使学生生成概念网络、图表、层次结构、图片、表格符号系统及其他。这些视觉成分不仅提供了思想的具体表征（在这种表征中，意义可以被索引和解释），还促进了对心理模型的有意义建构和外化。使用认知工具来建构心理模型是由意识、有目的的活动，要求学生主动的心理参与。据此，以计算机为中介的心理模型所表征的理解就更容易获取、更灵活，而且最重要的是更有用。

1.2 虚拟仿真技术

虚拟仿真是一种可以诱发个体建构一个相似于真实三维世界心智场景的任何系统，该系统是通过模拟真实世界的刺激，包括影像、声光、触觉、动作反馈等，与个体的交流互动来达成。运用虚拟仿真技术开发虚拟环境或虚拟世界应考虑三种特性：功能性即应该清晰定义虚拟环境，并以实际模拟来传达产品的功能和动态行为；
互动性即与人类相关功能的模拟必须要逼真，否则虚拟人物必须出现在虚拟环境中；
环境性即虚拟环境可以使用离线电脑模拟来进行，或者离线与在线即时模拟的结合。虚拟仿真依沉浸感与其提供的临场感可区分为非沉浸式、半沉浸式和完全沉浸式虚拟仿真三种类型[3]。

虚拟仿真应用于学校教育的优点包括：助力学生能够游戏化、模拟化、视觉化、再现化、多重使用等进行探索教学，可持续学习动机与探索能力[4-7]。而协助教育工作者针对虚拟仿真的使用时机决策模型步骤包括：一是确立具体的课程目标。二是确定课程目标需使用虚拟现实或电脑模拟方式而可以达成的目标，确认使用虚拟仿真的原因和优点，并列出选择清单。三是对选择清单中的每个课程目标，执行子步骤：（1）决定课程目标要求的真实程度，以非常抽象到非常真实为尺度来衡量；
（2）决定课程目标要求的沉浸感与临场感；
（3）决定与虚拟仿真互动的形式与设备。四是选择虚拟仿真的软体、硬体和传输系统。五是设计并创建虚拟环境即依课程目标的要求，虚拟环境由教育科技开发者或教师、学生共同来创造、预建构或修改。六是使用学生测试小组来评估虚拟环境，依评估结果修改虚拟环境直到成功达成课程目标。七是使用目标人群评估虚拟环境并持续不断地进行修改完善。

2.1 学习的认知理论

从心智参与学习的认知理论所设想的加工顺序来看，作用于学习者感受器的刺激所产生的神经活动模式被感觉登记器简要地“登记”。接下来信息被转换成另一种形式并记录在短时记忆中，在这里储存的是原始刺激的突出特征。短时记忆的容量是有限的，但被保存的信息可得到内部的复述而继续保存。在下一个阶段，当信息进入长时记忆储存时，发生了一种叫语义编码的重要转换。在这种转换中，信息根据其意义储存。当要求学习者做出行为表现时，其所储存的信息（或知识技能）必须被搜索并被提取出来。所提取的信息通过反应生成器可能会被直接转换成行为输出，学习者的行为表现本身引发了一种依赖于外部反馈的过程（包括熟悉的强化）。而与此同时所提取的信息被送到工作记忆（短时记忆）并与其他输入的信息整合在一起，从而能对新信息进行编码[8]。

2.2 心智与身体的关系

具身认知认为作为认知载体的人的身体亦参与到学习与认知过程中，即人的学习与认知具有涉身性。身体作为认知的主体具有体验性，认知不仅是由环境中物体与身体交互产生，而且具身认知具有环境嵌入性。与建构主义相比，具身认知不仅强调学习是学习者主动进行意义建构的过程，更加重视身体在学习过程中起到的重要作用。一方面，具身认知这门科学已经证明了心智的运作和身体感觉之间有着不可分割的关系，阐述了身体对心智造成的强大影响。另一方面，人当做出动作和看到某人做出相同动作时，镜像神经元都会被刺激。镜像神经元的存在意味着，它帮助动作系统扮演我们所观察到的行为，这是为了让动作系统合理地认识我们身边正在发生的事情。神经系统科学和心理学的最新突破皆证明心智并不是一个跟身体和环境相分离的抽象信息处理器，心智在很大程度上被身体和运动影响着。

综上，完整的认知过程，不仅包括传统身心二元论下学习认知过程，还应该包括身体的知觉、感觉、身体体验，及动作参与等共同过程。通过构建真实（拟真）的学习环境、设计合理的人机交互方式，让学生的身体感官和动作参与到心智认知过程中，以增加人机（物）环境之间的有意义交互，将有益于学生完成知识的内化[9-10]。

3.1 VR 智慧仓储实务实训系统概述

VR 智慧仓储实务实训系统参考京东库（仓储系统）基于虚拟仿真技术进行开发设计，其导学模块为学习者熟悉VR 手柄操作提供先导体验，之后进入京东库（仓储系统）内部，认知、设计、流程、规划和角色五个全息面板与产品的五个教学模块对应。其中，认知模块可了解学习场景中已设置的位置点知识，包含仓库中各个工作区域的知识和常用设施设备的知识；
设计模块可从仓库作业流程作为出发点，学习了解仓库作业中各流程的设计原则；
流程模块可用实操的形式，了解仓储作业的基本流程；
规划模块通过上帝视角，选择正确的物流设备进行仓储的规划设计；
角色模块中，可通过菜单进行角色选择，到相应的仓储流程场景进行角色扮演操作，更快速地掌握仓库中各种角色在实际作业中的岗位职责和需要执行的任务。

3.2 VR 智慧仓储实务实训系统中认知教学模块

VR 智慧仓储实务实训系统中认知教学模块主要交互形式是通过手柄触发相应模块全息面板认知对象名称按钮（或在仓库场景中通过手柄移动到光标点触发进行认知），在仓库场景中主要以文字方式陈述介绍认知对象包括：平衡式叉车、越库区、质检区、消防设施、退货区、转包装区、周转箱、纸箱封箱机、纸箱、滑块分拣线、打印贴标机、多物料拣选台、打包复核区、分拣区、拣选区、越库拣选区、自动化立库、电子播种墙、配送车、智能穿戴设备、阁楼式货架、Kiva 机器人、VR 设备、AR 拣货设备。VR 智慧仓储实务实训系统中设计教学模块主要交互形式是通过手柄触发相应模块全息面板流程环节设计名称按钮（或在仓库场景中通过手柄移动到光标点触发进行认知），并在仓库场景中主要以文字方式陈述介绍相应设计原则。流程模块共有9 个流程，包含消防作业流程、收货入库作业流程、立库作业流程、拣选作业流程、复核打包作业流程、出库发货作业流程、转包装作业流程、盘点作业流程和货到人拣选作业流程。可以在主操作场景中触发流程模块全息面板，进入到流程操作模式，仓库场景中有每一个流程的任务点，通过移动触发流程任务点，进入流程任务。规划模块与角色模块与前述设施设备及仓储流程操作重复，主要检测设施设备配置和不同角色任务分配。

综上，沉浸式VR 智慧仓储实务实训系统教学划分为理论认知以及实践认知两大部分，不同的认知学习体验通过相应的认知教学模块来实现。其中的理论认知主要通过在仓库场景中透过相应模块全息面板以文字方式陈述介绍来进行学习了解，实践认知则主要通过在仓库场景中透过相应模块全息面板引导提示下进入流程任务来进行虚拟实操体验学习。

4.1 信息生动度对学习认知的影响

从知识信息的传递来看，必然伴有生动特质即生动性：是否足够有趣而能够刺激情感；
是否足够具体而能够激发想象力；
是否在时间和空间上足够接近信息接受者。相关研究认为带有生动特质的信息能够让人在编码时投入超过其应得比例的认知资源，从而增强对该信息的记忆和正面态度。基于前述VR 智慧仓储实务实训系统所涉及相关知识信息以三种信息生动度类型的学习材料来让三个对比组学生（2019 级物流工程专业随机抽取受试者，每组十名学生，各组学生不交重）进行学习（体验）。学习材料统一为涉及仓储的相关设备介绍、仓储作业区相应环节设备需求、仓储复合打包作业概述及操作步骤等三部分，并以三种信息生动度类型：纯文字学习材料、图文并茂学习材料（仓储中相关设备图片及作业场景背景图片）、沉浸式VR 虚拟场景学习形式让相对应组别的学生进行无教师指导下的自学（体验），如图1 所示，各组别的学生对应学习材料学习时间都为25分钟，学习后随即进行纸面答题测分（如见图2 所示）。

图1 三种信息生动度类型的学习材料（对应不同学生组别）

图2 不同组别受试学生学习后答题表现（总分100 分）

从图2 来看，与纯文字组相比，图文并茂组受试学生答题总分更高，说明带有生动特质的信息能够让人在编码时投入超过其应得比例的认知资源，从而增强对该信息的记忆和正面态度。证实了过往的研究即发现当文字信息包含与之匹配的图片时，受试者对这个信息的理解和记忆都会得到强化，这也被称作“图片优势效应”。但沉浸式VR 虚拟场景学习体验组受试学生答题总分比另外两个对比组受试学生答题测分明显偏低。有限注意力模型（Limited Capacity Mode）l 认为一个人总体的认知资源是有限的，怎样处理信息取决于我们能够分配的认知资源和这个信息所要求的认知配比。也就是说，如果处理过程中的某一步骤消耗了较大量的认知资源，那么剩下的环节（如储存和激活信息）则将因为得不到足够的认知资源而被削弱。从沉浸式VR虚拟场景学习体验组受试学生测后访谈来看，受试学生皆表示沉浸式VR 学习需要穿戴式设备，且虚拟场景的学习需要手柄操控和身体动态变化，一定程度上增加了认知负荷[11]；
再加上虚拟现实技术变化场景、拟真环境，提供图文、声像并茂的多种感官综合刺激等丰富的信息生动度其实某种程度上转移了受试学生的注意力。但是沉浸式VR 虚拟场景学习体验组复合打包作业概述及操作步骤部分答题测分最高，说明受试者的感官和身体动作参与到实践认知过程中，有益于学生完成知识的内化。

启示：沉浸式VR 目前大都属于应用场景定制，不同个体VR 学习进度不同且占用时间较长，交互式VR 独立操作设备目前还难以支持学生集中并行（分别）学习。而针对高校集中化班级授课，前期理论讲解结合课程思政，教师本身的知识经验、对外输出能力，教学方法与工具应用的多样性、扩充性和灵活性对于学生在教师指导下的系统性理论学习仍然具有优势。而现有教育工作者针对沉浸式虚拟仿真VR 的使用时机可在系统理论授课（仓储管理课）后面的实训环节开展，通过沉浸式应用场景实操，加强实践认知内化。

4.2 学习认知心理感受评价

VR 智慧仓储实务实训系统的学习心理感受包括对新技术的接纳和认可、满意度、临场感、学习成效自我感知等方面[12]。Davis 的技术接受模型认为，影响个人对技术接受的因素主要包括感知有用性和感知易用性，感知有用性和感知易用性能促使个人积极使用该项技术，增加对技术的接受程度，包括感知易用性、感知有用性和认可度三个子项。满意度主要用于测量学习者的心理满足感和由此带来的愉悦感，学习满意度参照了Rechardson 和Swan 开发的学习满意度量表，包括愉悦体验、视听舒适度和交互便利性三个子项。临场感类别只考虑空间临场感一个子项，参照了Witmer 和Singer 的“临场感调查问卷”。自我成效感知包括了动机激发、学习成效和使用意愿三个子项。让2019 级物流工程专业两个班结合仓储管理课程实训进行心理感受量表填写。经统计，在技术接受度以及自我成效上，VR 智慧仓储实务实训系统能够为学生接受和使用意愿；
但在满意度和临场感上的测量结果具有显著性差异，综合来看，2019 级物流工程专业学生临场感心理感受较好，在满意度上呈现不同心理感受（系统改进方向）。

启示：VR 智慧仓储实务实训系统能提供友好的界面、形象直观的互动式学习环境，结合知识与技能在实际场景中的应用提供图文、声像并茂的多种感官综合刺激等，影响教学模式；
可以创设虚拟学习环境，使教学气氛更加活跃、自然、亲切，影响学习方式。从启发式教学来看，通过身临其境的、自主控制的人机交互，由视觉、听觉、触觉获取，提供生动活泼的直观形象思维素材、展现学生不能在校直接体验到的事物等。学生能从思维、情感和行为多方面地参与教学活动。从探究式教学来看，以解决问题为中心的教学形式，虚拟仿真在实训教学中可以让学生进入问题存在的环境，有针对性地建构虚拟情境，引导学生进行探究。

4.3 虚实结合强化学习与认知迁移

4.3.1 人机协作（协同）能力培养。从仓储的变革来看，生产供应功能、城市服务功能、蓄水池功能、货物集散功能、库存管理功能、应急储备功能叠加在一起，需求量增加，给仓储业提出更高的要求。伴随着人们需求的多样化，大件仓储、冷链仓储、生鲜仓储、短链仓储等，交易更多、规模更小。时效更紧迫，订单处理时间越来越短，留给仓储各环节操作的时间日益压缩。

随着云计算、大数据、物联网、5G 技术的发展，机器被赋予越来越高、越来越多样化的智能，局部作业的无人化程度必然会越来越高。尽管机器具备了更高的智能性和自主决策能力，但其无法像人一样进行高度复杂、柔性的作业，更加不具备人的主观能动性、无法完成创造性的工作；
并且从应用角度来看，成本依然较高，高度智能化机器（人）尤甚。综合机器智能作业效率与成本，及机器从事高度柔性作业仍然受限等因素，智能物流中心等场景下物流系统的全自动化、无人化作业仍较难大范围落地，因此人机协同成为主流选择。而面向人工智能时代，培养高素质应用型人才，人机协作（协同）能力成为培养的方向。无论是人辅助机器，还是机器辅助人，其主要特征或出发点是充分发挥人与机器各自优势，互相配合，共同作业，最终完成既定的物流任务和目标。

4.3.2 认知控制下知识与能力的迁移。大脑用精密的神经机制生成计划、追踪计划实施情况，影响大脑在连接目标和正确行动间各种状态。科学家将这些机制和过程命名为“认知控制”或“执行功能”。认知控制过程处于认知和行动之间模糊地带，它影响着认知向行动的转换，而非只影响两者中的任意一方。认知控制功能是真实存在的功能类别，它将认知和行动分开，在大脑里自成体系。认知心理学家将计算机程序及其控制结构类比为人类认知控制，对理解人类认知控制有着指引作用[13]。虽然计算机隐喻在识别控制过程价值以及其在功能层面上的表现形式等方面卓有成效，但也有其局限性。人的思维并非计算机程序，人脑和计算机大有不同。认知控制理论亦存在一种可行的方式即通过经验获取策略和计划，在正确的情况下被检索出来，并在特定的情况下被认知控制系统精心设计以使用，心理学家将这种能力称为“迁移”。

一方面，人类进化的过程中没有形成与生俱来的任务执行程序。认知控制让任务的执行富有衍生性，这意味着我们不仅可以构思而且可以执行以前从未碰到的任务。另一方面，认知控制通过在一个组合性的行动结构上操作来实现其衍生性，用组合和重组我们之前完成任务的预编译部分，从而来执行新任务。组合性能够根据需要将旧任务中有用的部分带到新任务中，而不必再重新熟悉整个任务。在这种情况下，迁移有着积极作用，因为大脑在一种情境下学到的东西可通过有益的方式运用于新的情境。认知神经科学家称这种能力为“未来情景思维”，其与我们个人的记忆能力密不可分，这种记忆被称为“情景记忆”。正是这种建立在过去情景记忆系统基础上的未来情景思维系统，使我们能够制定高级计划和目标。而丰富的未来情景思维可以利用我们已储备的有关事实和经验的丰富知识。未来情景思维系统和组合行动控制系统，两个系统相辅相成。未来情景思维使我们构想更复杂的未来目标，而控制系统可以组织该思考过程，并将其与复杂的新动作进行匹配。虽然每个系统自身都可能逐渐发生改变，但如果两个系统同时发生改变，我们完成任务的能力就会加速变化[14]。

4.3.3 虚实结合“货到人”拣选作业仿真实训。通过VR 智慧仓储实务实训系统进入“货到人”拣选作业流程之后，虚拟仿真场景中导引偶引导查看“货到人”拣选作业开始界面。导引偶展示拣选单，学生需要使用手柄触发选择拣选单开始拣选。AGV机器人驶向对应货品的货架，导引偶引导学生观看AGV 工作过程。AGV 将货架托运到拣选台前，导引偶引导学生到达拣选台前。学生需用手持扫描拣选台上的周转箱，将周转箱信息导入到电脑中。系统会点亮“货到人”拣选货架上的数显板，在每个货位上显示货品拣选数量，学生用手柄在货位上拣选相应数量的货品，货位上的数字会自动减小，然后将货物放到周转箱中，使用手柄触发货位上按钮，表示该货位物品拣选完成。“货到人”货架上所需拣选的货品拣选完成，全部按下拣选货位的按钮，AGV 自动拖走该货架。学生走到拣选台前，将货品清单放入周转箱，将周转箱推到输送线上，“货到人”拣选作业流程完成，VR 场景中会弹出结果反馈界面，提示用户当前操作成绩等信息，如图3 所示。

图3 VR 智慧仓储实务实训系统——“货到人”拣选作业虚拟仿真

冷链物流智慧化实训基地占地面积为645 平方米，现有设备总价值245.3 万元，主要仪器设备共162 台（套）。其中除VR智慧仓储实务实训系统外，智能拣货区引进电子拣选系统、智能搬运机器人调度软件系统、AGV 机器人、RFID 设备等智能化软硬件，让学生通过真实场景操作培养学生的创新精神与创造能力，如图4 所示。结合仓储管理课程实训，在学生完成前述VR 智慧仓储实务实训系统——“货到人”拣选作业虚拟仿真任务后，为实现知识与能力的迁移，进行人机协作“货到人”类Kiva 情境学习。在冷链物流智慧化实训基地打造基于AGV 机器人“货到人”真实场景中，AGV 机器人通过顶升结构等将货架抬起，然后拖着货架/货箱移动到拣货员（学生）身边——“货架/货箱到人”，学生可以进行在库盘点等操作实训[15]。

图4 基于AGV 机器人“货到人”真实场景

启示：从技术角度而言，目前的物流系统自动化只是处于数据智驱的弱人工智能阶段，只能在数据充足的情况下应对单一的问题、具体的事情。机器人集中运用在物流业最耗成本、最耗时间、最耗人力的环节。机器人革新，而非革人。人工智能并非是取代人工劳作，而是辅助人工作业。一方面，人机协作（协同）才能全面提升仓储、运输、配送环节的作业效率。另一方面，转向强人工智能实现推理性的机器人落地还很遥远。为培养高素质应用型人才，通过虚实结合交互场景学习引发交互的深度变革，超越了时空局限，以改变交互方式，重塑交互内容，丰富交互体验，符合认知控制下知识与能力迁移规律，实现人机互协应用培养。

本文以学习者认知视角和计算机虚拟仿真技术作为认知工具以支持学习者数字化学习为背景，从学习的认知理论、心智与身体关系下具身认知，把握基于认知科学的学习认知过程；
以VR 智慧仓储实务实训系统为例，分析了其理论认知以及实践认知不同的认知学习相对应的认知教学模块，结合仓储管理课程进行了VR 智慧仓储实务实训系统使用性分析：（1）基于VR 智慧仓储实务实训系统所涉及相关知识信息，以三种信息生动度类型的学习材料实验分析了不同组别学生学习与认知结果，得出仓储管理课程结合沉浸式VR 使用时机建议。（2）针对仓储管理课程实训环节使用VR智慧仓储实务实训系统的学习心理感受包括对新技术的接纳和认可、满意度、临场感、学习成效自我感知等方面进行了评价，得出系统改进建议。（3）面向智慧仓储物流系统中人机协作（协同）能力培养，仓储管理课程基于虚实结合交互场景实训学习，以实现认知控制下知识与能力的迁移，为培养适应新时代数智化物流创新型应用型人才进行了教学实践探索。

数字化时代虚拟仿真技术支持下新时代的新型教学形态，需要对学习与认知控制过程的深入解析，需要对心智与身体关系的深入理解，需要对教之人机协同、习之自成系统、用之虚实转换的深入实践，特别是人机交互-协作（协同）与虚拟仿真/虚实结合技术深度融合如何广泛应用于学校教育教学实践并适用于不同学段、学科的教学，还有待进一步地深入研究。

猜你喜欢流程智慧模块28通道收发处理模块设计成都信息工程大学学报(2022年3期)2022-07-21“选修3—3”模块的复习备考中学生数理化(高中版.高考理化)(2022年5期)2022-06-01吃水果有套“清洗流程”今日农业(2021年10期)2021-07-28违反流程 致命误判劳动保护(2018年5期)2018-06-05本刊审稿流程国际医学放射学杂志(2016年4期)2016-08-22析OGSA-DAI工作流程办公自动化(2016年18期)2016-08-20有智慧的羊小天使·一年级语数英综合(2014年6期)2014-07-22智慧派智慧与创想(2013年7期)2013-11-18集成水空中冷器的进气模块汽车与新动力(2012年1期)2012-03-25智慧决定成败网球俱乐部(2009年9期)2009-07-16

相关热词搜索：认知科学 虚拟现实 系统