CN112947752B - 一种基于智能设备的协同式人机交互控制方法 - Google Patents
一种基于智能设备的协同式人机交互控制方法 Download PDFInfo
- Publication number
- CN112947752B CN112947752B CN202110175968.8A CN202110175968A CN112947752B CN 112947752 B CN112947752 B CN 112947752B CN 202110175968 A CN202110175968 A CN 202110175968A CN 112947752 B CN112947752 B CN 112947752B
- Authority
- CN
- China
- Prior art keywords
- maintenance
- virtual
- information
- server
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 title claims abstract description 45
- 238000012423 maintenance Methods 0.000 claims abstract description 225
- 238000003745 diagnosis Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 16
- 230000006399 behavior Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于智能设备的协同式人机交互方法，包括：检测***检测到设备发生故障后进行故障诊断并将诊断信息发送至服务器进行处理，服务器根据诊断信息生成维修方案发送至客户端虚拟维修平台进行共享；维修人员通过客户端向服务器发送注册登录或登录信息，登陆成功后选择维修请求信息进入所述虚拟维修平台，选择虚拟场景及虚拟场景中的维修对象；维修人员穿戴可穿戴设备进行维修操作，可穿戴设备实时采集维修人员的维修动作并上传至服务器，服务器对维修人员的实时操作信息进行分析和处理后，将其转换为虚拟虚拟场景中虚拟手模型的虚拟维修操作信息；判断维修作业是否完成，当维修作业完成后退出所述虚拟维修平台，结束维修交互过程。
Description
技术领域
本发明涉及人机交互技术领域，特别涉及一种基于智能设备的协同式人机交互方法。
背景技术
虚拟现实(简称VR)是一门具有前沿性的多学科交叉的研究方向，综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感，具有与环境完善的交互能力，并有助于启发构思。一个完整的虚拟现实***，主要由模拟环境***、感知***、人机交互***和传感设备等若干子***组成。人机交互***是指人产生的一切行为动作的数据，通过***自动分析与处理，再实时响应生成内容并反馈到人的各种感官器官上；传感设备主要是在虚拟现实应用中用到的各种交互设备和传感器，比如位置、速度、温度等。人机交互、人机互动(简称HCI或HMI)，是一门研究***与用户之间的交互关系的学问。***可以是各种各样的机器，也可以是计算机软件。
随着现代机电产品和装备的复杂性逐渐增长，保障费用和维修费用大幅增长，维修工作对保持机电产品和装备的完好性和可用性起着非常重要的作用。因此，复杂产品和装备的维修问题引起了工业界的重视。传统装备的维修训练、实施、评估和验证工作通常都是在实际装备上进行。
以虚拟现实为基础进行维修操作，为解决大型装备的维修训练难题提供了有效途径。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于智能设备的协同式人机交互控制方法。
为了达到上述发明目的，本发明采用的技术方案为：
本公开提供一种基于智能设备的协同式人机交互方法，包括以下步骤：
检测***检测到至少一个设备发生故障后进行故障诊断并将诊断信息发送至服务器进行处理，所述服务器根据所述诊断信息生成维修方案发送至客户端虚拟维修平台进行共享；
至少一个维修人员通过所述客户端向所述服务器发送注册登录或登录信息，登陆成功后选择维修请求信息进入所述虚拟维修平台，选择虚拟场景及虚拟场景中的维修对象；
所述维修人员穿戴可穿戴设备进行维修操作，所述可穿戴设备实时采集所述维修人员的维修动作并上传至所述服务器，所述服务器对所述维修人员的实时操作信息进行分析和处理后，将其转换为虚拟虚拟场景中虚拟手模型的虚拟维修操作信息；
当有多个维修人员登陆虚拟维修平台对同一故障进行协同维修时，所述虚拟维修平台获取所述多个维修人员与维修对象、维修资源之间的交互行为信息，将所述交互行为信息对所述多个维修人员进行共享并对多个维修人员之间的协同配合进行控制和管理；
判断维修作业是否完成，当维修作业完成后退出当前虚拟场景，结束维修交互过程；
其中，所述虚拟维修平台通过所述服务器、所述客户端、所述可穿戴设备和虚拟现实设备搭建；通过对所述设备所处的环境信息进行网格化重构，生成所述虚拟场景并保存至服务器，所述虚拟场景中包括至少一个维修对象和至少一个维修资源；
所述可穿戴设备包括：数据手套、空间位置追踪设备、立体眼镜。
本公开的一实施例中，还包括：
结束维修交互过程后对所述维修人员的维修操作过程质量、多个维修人员的协同配合程度进行分析和评价。
本公开的一实施例中，还包括：
结束维修交互过程后将所述维修交互过程上传至所述服务器作为历史维修数据进行保存，所述维修人员可在历史维修记录中对所述历史维修数据进行调用学习。
本公开的一实施例中，还包括:
至少一个参观者通过客户端向服务器发送注册登录或登录信息，登陆成功后选择观看请求信息进入所述虚拟维修平台，选择虚拟场景和虚拟场景中的维修对象对维修人员的虚拟维修操作进行参观。
本公开的一实施例中，所述参观者可通过语音设备与所述维修人员进行互动。
本公开的一实施例中，所述维修方案中包括维修处理步骤和维修对象中各个零部件的大小、形状、材质、重量及相应的搬运力和拆装力的大小。
本公开的一实施例中，所述虚拟手的模型通过3DS MAX软件、编程软件和图形接口软件来建立并数据手套进行信息交互。
本公开的一实施例中，所述数据手套与所述空间位置追踪设备电连接，所述数据手套通过传感器实时采集所述维修人员各手指关节部位的运动数据，所述空间位置追踪设备获取所述维修人员的手部空间移动信息，通过所述运动数据和所述空间移动信息将所述维修人员的手姿态实时传递给所述虚拟场景中的所述虚拟手。
本公开的一实施例中，所述数据手套还用于接收所述虚拟手与所述维修对象的接触信息。
本公开的一实施例中，通过异构数据信息映射转换、时间同步和信息补偿技术提高维修人员与虚拟场景交互时的一致性。
本公开的有益效果为：
维修人员通过穿戴可穿戴设备可在虚拟维修平台上对设备的故障进行虚拟维修操作体验，并可模拟实现与其他维修人员的之间的交互，不消耗现实资源和能量，缩短维修训练时间，降低维修训练成本，增强了虚拟操作训练的效果，对推动数字化维修和维修训练技术的发展具有重要的意义。
附图说明
图1为本发明中基于智能设备的协同式人机交互方法步骤流程图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
本发明实施例中提供了一种基于智能设备的协同式人机交互方法，可以包括以下步骤：
步骤S101：检测***检测到至少一个设备发生故障后进行故障诊断并将诊断信息发送至服务器进行处理，所述服务器根据所述诊断信息生成维修方案发送至客户端虚拟维修平台进行共享；
步骤S102：至少一个维修人员通过所述客户端向所述服务器发送注册登录或登录信息，登陆成功后选择维修请求信息进入所述虚拟维修平台，选择虚拟场景及虚拟场景中的维修对象；
步骤S103：所述维修人员穿戴可穿戴设备进行维修操作，所述可穿戴设备实时采集所述维修人员的维修动作并上传至所述服务器，所述服务器对所述维修人员的实时操作信息进行分析和处理后，将其转换为虚拟虚拟场景中虚拟手模型的虚拟维修操作信息；
步骤S104：当有多个维修人员登陆虚拟维修平台对同一故障进行协同维修时，所述虚拟维修平台获取所述多个维修人员与维修对象、维修资源之间的交互行为信息，将所述交互行为信息对所述多个维修人员进行共享并对多个维修人员之间的协同配合进行控制和管理；
步骤S105：判断维修作业是否完成，当维修作业完成后退出当前虚拟场景，结束维修交互过程；
其中，所述虚拟维修平台通过所述服务器、所述客户端、所述可穿戴设备和虚拟现实设备搭建；通过对所述设备所处的环境信息进行网格化重构，生成所述虚拟场景并保存至服务器，所述虚拟场景中包括至少一个维修对象和至少一个维修资源；
所述可穿戴设备包括：数据手套、空间位置追踪设备、立体眼镜。
上述方法中，维修人员通过穿戴可穿戴设备可在虚拟维修平台上对设备的故障进行虚拟维修操作体验，并可模拟实现与其他维修人员的之间的交互，不消耗现实资源和能量，缩短维修训练时间，降低维修训练成本，增强了虚拟操作训练的效果，对推动数字化维修和维修训练技术的发展具有重要的意义。
下面，将参考图1对本示例实施方式中的各个部分进行更详细的说明。
具体的，在步骤S101中，当检测***检测到至少一个设备发生故障后，对设备的故障进行诊断并将诊断信息发送至服务器中进行处理，所述服务器中存储有故障信息库，所述故障信息库中包括多种故障类型及与所述故障类型对应的故障维修方案，所述服务器根据所述争端信息匹配故障信息库中的故障类型，从而生成所述故障类型对应的维修方案，并将所述维修方案发送至客户端的虚拟维修平台上共享。
在步骤S102中，想要或需要进行维修训练的维修人员通过所述客户端向所述服务器发送注册登录或登录信息，在登陆成功后选择请求维修信息进入所述虚拟维修平台，进入后选择所需的虚拟场景及想要进行维修的维修对象；所述虚拟场景中可以包括多个维修对象，虚拟维修平台也可以包括多个虚拟场景，当某个维修对象所需的维修人员个数足够后，该维修对象会进行锁定，不能再被其他维修人员选取，当某个虚拟场景中的多个维修对象均已被足够人数的维修人员选择，则该虚拟场景锁定，不能再被其他维修人员选择。
在步骤S103中，维修人员穿戴可穿戴设备后开始进行维修操作，可穿戴设备通过实时采集所述维修人员的维修动作并实时上传至所述服务器，所述服务器对所述维修人员的实时操作信息进行分析及处理后使其在虚拟场景中的虚拟手模型上进行体现。
在步骤S104中，当同一个维修对象有多个维修人员进行交互配合维修时或同一个虚拟场景中有多个维修人员进行交互配合维修时，虚拟维修平台实时获取所述多个维修人员与维修对象、维修资源之间的交互行为信息显示在虚拟虚拟场景中，所述虚拟平台上还可以有语音交互单元，使得多个维修人员可语音进行沟通和维修行为分别配，提高维修的效率，所述维修资源包括多个维修工具，如扳手、千斤顶、钢锯等，当然并不限于此。
在步骤S105中，判断未丢作业是否完成可以是当维修人员结束维修操作选择后或虚拟维修平台检测到维修方案已完成后，当维修作业完成后退出当前虚拟场景结束维修交互过程。
所述虚拟维修平台通过所述服务器、所述客户端、所述可穿戴设备和虚拟现实设备搭建；通过对所述设备所处的环境信息进行网格化重构，生成所述虚拟场景并保存至服务器，所述虚拟场景中包括至少一个维修对象和至少一个维修资源；
所述可穿戴设备可以包括：数据手套、空间位置追踪设备、立体眼镜，当然还可以包括其他可穿戴设备，当然并不限于此。
本公开的一实施例中，还可以包括：结束维修交互过程后对所述维修人员的维修操作过程质量、多个维修人员的协同配合程度进行分析和评价。具体的，结束维修交互过程后对维修人员的操作过程质量如维修效率、维修动作标准程度等进行分析评价，多个维修人员时还可对多个维修人员的配合熟练度进行分析评价，根据评价结果可对维修人员进行打分，分数高于预设值的维修人员可认为其合格，可以允许进行实体设备的维修操作。
本公开的一实施例中，还可以包括：结束维修交互过程后将所述维修交互过程上传至所述服务器作为历史维修数据进行保存，所述维修人员可在历史维修记录中对所述历史维修数据进行调用学习。将所述历史维修数据进行保存，维修人员可进行调用，对历史维修的过程进行复习。
本公开的一实施例中，还可以包括:至少一个参观者通过客户端向服务器发送注册登录或登录信息，登陆成功后选择观看请求信息进入所述虚拟维修平台，选择虚拟场景和虚拟场景中的维修对象对维修人员的虚拟维修操作进行参观。具体的，所述参观者可以是当前不能参与虚拟维修训练的维修人员，也可以是维修指导老师。
本公开的一实施例中，所述参观者可通过语音设备与所述维修人员进行互动。具体的，当参观者是维修指导老师时，可通过语音对虚拟维修过程进行指导。
本公开的一实施例中，所述维修方案中还可以包括维修处理步骤和维修对象中各个零部件的大小、形状、材质、重量及相应的搬运力和拆装力的大小。
本公开的一实施例中，所述虚拟手的模型通过3DS MAX软件、编程软件和图形接口软件来建立并数据手套进行信息交互。具体的，数据手套测得的人手数据后利用3DS MAX软件映射到虚拟场景中简历虚拟手的模型。
本公开的一实施例中，所述数据手套与所述空间位置追踪设备电连接，所述数据手套通过传感器实时采集所述维修人员各手指关节部位的运动数据，所述空间位置追踪设备获取所述维修人员的手部空间移动信息，通过所述运动数据和所述空间移动信息将所述维修人员的手姿态实时传递给所述虚拟场景中的所述虚拟手。
本公开的一实施例中，所述数据手套还用于接收所述虚拟手与所述维修对象的接触信息。大大增强了维修人员的互动性和沉浸感，所述数据手套可以是力反馈数据手套，当然并不限于此。
本公开的一实施例中，通过异构数据信息映射转换、时间同步和信息补偿技术提高维修人员与虚拟场景交互时的一致性。
智能构建仿真虚拟场景，解决了现有操作难以动态反应维修方案的问题，在虚拟环境中创造一个可控制的虚拟世界，使用户借助化身进入虚拟世界中，体验操作的经历，通过客户端实现多个场景对象之间的联系，实现一个虚拟社区，现有的虚拟设备大多都是与空气进行交互，不能给操作者更为真实的实操体验，数据手套通过传感器，给用户提供操作过程中的触觉体验，更加真实；通过客户端获取、分析、处理和发送操作输入数据信息，并接收故障维修仿真模块和三维立体视景仿真模块的数据信息和状态更新，设备接收到用户输入的请求指令，响应该指令并执行对应动作，实现与其他场景用户之间的数据通信和交互控制；采用虚拟现实交互相结合，不消耗现实资源和能量，缩短维修训练时间，降低维修训练成本，增强了虚拟操作训练的效果；对推动数字化维修和维修训练技术的发展具有重要的意义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种基于智能设备的协同式人机交互方法，其特征在于，包括以下步骤：
检测***检测到至少一个设备发生故障后进行故障诊断并将诊断信息发送至服务器进行处理，所述服务器根据所述诊断信息生成维修方案发送至客户端虚拟维修平台进行共享；
至少一个维修人员通过所述客户端向所述服务器发送注册登录或登录信息，登陆成功后选择维修请求信息进入所述虚拟维修平台，选择虚拟场景及虚拟场景中的维修对象，所述虚拟维修平台包括多个虚拟场景，所述虚拟场景中包括多个维修对象，当某个维修对象所需的维修人员个数足够后，该维修对象会进行锁定，不能再被其他维修人员选取，当某个虚拟场景中的多个维修对象均已被足够人数的维修人员选择，则该虚拟场景锁定，不能再被其他维修人员选择；
所述维修人员穿戴可穿戴设备进行维修操作，所述可穿戴设备实时采集所述维修人员的维修动作并上传至所述服务器，所述服务器对所述维修人员的实时操作信息进行分析和处理后，将其转换为虚拟场景中虚拟手模型的虚拟维修操作信息；
当有多个维修人员登陆虚拟维修平台对同一故障进行协同维修时，所述虚拟维修平台获取所述多个维修人员与维修对象、维修资源之间的交互行为信息，将所述交互行为信息对所述多个维修人员进行共享并对多个维修人员之间的协同配合进行控制和管理；
维修人员进行结束维修操作选择后，或虚拟维修平台检测到所述维修方案已完成后，判断维修作业完成，当维修作业完成后退出当前虚拟场景，结束维修交互过程；
其中，所述虚拟维修平台通过所述服务器、所述客户端、所述可穿戴设备和虚拟现实设备搭建；通过对所述设备所处的环境信息进行网格化重构，生成所述虚拟场景并保存至服务器，所述虚拟场景中包括至少一个维修对象和至少一个维修资源；
所述可穿戴设备包括：数据手套、空间位置追踪设备、立体眼镜。
2.根据权利要求1所述的一种基于智能设备的协同式人机交互方法，其特征在于，还包括：
结束所述维修操作后对所述维修人员的维修操作过程质量、多个维修人员的协同配合程度进行分析和评价。
3.根据权利要求2所述的一种基于智能设备的协同式人机交互方法，其特征在于，还包括：
结束维修交互过程后将所述维修交互过程上传至所述服务器作为历史维修数据进行保存，所述维修人员可在历史维修记录中对所述历史维修数据进行调用学习。
4.根据权利要求3所述的一种基于智能设备的协同式人机交互方法，其特征在于，还包括:
至少一个参观者通过客户端向服务器发送注册登录或登录信息，登陆成功后选择观看请求信息进入所述虚拟维修平台，选择虚拟场景和虚拟场景中的维修对象对维修人员的虚拟维修操作进行参观。
5.根据权利要求4所述的一种基于智能设备的协同式人机交互方法，其特征在于，所述参观者可通过语音设备与所述维修人员进行互动。
6.根据权利要求5所述的一种基于智能设备的协同式人机交互方法，其特征在于，所述维修方案中包括维修处理步骤和维修对象中各个零部件的大小、形状、材质、重量及相应的搬运力和拆装力的大小。
7.根据权利要求1-6任一项所述的一种基于智能设备的协同式人机交互方法，其特征在于，所述虚拟手模型通过3DS MAX软件、编程软件和图形接口软件来建立并与数据手套进行信息交互。
8.根据权利要求7所述的一种基于智能设备的协同式人机交互方法，其特征在于，所述数据手套与所述空间位置追踪设备电连接，所述数据手套通过传感器实时采集所述维修人员各手指关节部位的运动数据，所述空间位置追踪设备获取所述维修人员的手部空间移动信息，通过所述运动数据和所述空间移动信息将所述维修人员的手姿态实时传递给所述虚拟场景中的所述虚拟手。
9.根据权利要求8所述的一种基于智能设备的协同式人机交互方法，其特征在于，所述数据手套还用于接收所述虚拟手与所述维修对象的接触信息。
10.根据权利要求9所述的一种基于智能设备的协同式人机交互方法，其特征在于，通过异构数据信息映射转换、时间同步和信息补偿技术提高维修人员与虚拟场景交互时的一致性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110175968.8A CN112947752B (zh) | 2021-02-09 | 2021-02-09 | 一种基于智能设备的协同式人机交互控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110175968.8A CN112947752B (zh) | 2021-02-09 | 2021-02-09 | 一种基于智能设备的协同式人机交互控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112947752A CN112947752A (zh) | 2021-06-11 |
| CN112947752B true CN112947752B (zh) | 2024-05-07 |
Family
ID=76244567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110175968.8A Active CN112947752B (zh) | 2021-02-09 | 2021-02-09 | 一种基于智能设备的协同式人机交互控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112947752B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862481B (zh) * | 2023-08-31 | 2023-12-05 | 深圳风向标教育资源股份有限公司 | 基于虚拟场景的车辆维修评估方法、设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136204A (zh) * | 2011-02-25 | 2011-07-27 | 中国人民解放军第二炮兵工程学院 | 大型装备虚拟维修分布交互仿真支撑平台及协同维修方法 |
| CN104504958A (zh) * | 2014-12-22 | 2015-04-08 | 中国民航大学 | 飞机数字化协同虚拟维护训练器及协同维修方法 |
| CN110502119A (zh) * | 2019-08-28 | 2019-11-26 | 国网上海市电力公司 | 基于虚拟现实的变压器故障案例可视化交互方法与*** |
| CN110599603A (zh) * | 2019-09-20 | 2019-12-20 | 上海大学 | 基于增强现实的机械设备可视化交互与设备状态监控***及其方法 |
| KR102165692B1 (ko) * | 2019-07-23 | 2020-11-04 | 한화시스템 주식회사 | 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법 |
-
2021
- 2021-02-09 CN CN202110175968.8A patent/CN112947752B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136204A (zh) * | 2011-02-25 | 2011-07-27 | 中国人民解放军第二炮兵工程学院 | 大型装备虚拟维修分布交互仿真支撑平台及协同维修方法 |
| CN104504958A (zh) * | 2014-12-22 | 2015-04-08 | 中国民航大学 | 飞机数字化协同虚拟维护训练器及协同维修方法 |
| KR102165692B1 (ko) * | 2019-07-23 | 2020-11-04 | 한화시스템 주식회사 | 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법 |
| CN110502119A (zh) * | 2019-08-28 | 2019-11-26 | 国网上海市电力公司 | 基于虚拟现实的变压器故障案例可视化交互方法与*** |
| CN110599603A (zh) * | 2019-09-20 | 2019-12-20 | 上海大学 | 基于增强现实的机械设备可视化交互与设备状态监控***及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| TECNOMATIX***在核电维修中的应用研究;刘吉双;陈飞;叶清;蔡国辉;袁鑫;;设备管理与维修;20170106(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112947752A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Segura et al. | Visual computing technologies to support the Operator 4.0 | |
| Wolfartsberger et al. | A virtual reality supported 3D environment for engineering design review | |
| CN107656505A (zh) | 使用增强现实设备控制人机协作的方法、装置和*** | |
| US20120167014A1 (en) | Visual surrogate for indirect experience and apparatus and method for providing the same | |
| Jones et al. | Towards a situated, multimodal interface for multiple UAV control | |
| Marín et al. | The UJI online robot: An education and training experience | |
| CN107257946B (zh) | 用于虚拟调试的*** | |
| CN113752264A (zh) | 基于数字孪生的机械臂智能装备控制方法及*** | |
| KR20210043621A (ko) | 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법 | |
| CN112947752B (zh) | 一种基于智能设备的协同式人机交互控制方法 | |
| CN111341166A (zh) | 应急演练***的控制方法及*** | |
| Zhang et al. | Evaluation of auditory and visual feedback on task performance in a virtual assembly environment | |
| US7496411B2 (en) | Functional object data, functional object imaging system, and object data transmitting unit, object data receiving unit and managing unit for use in the functional object imaging system | |
| Su et al. | Development of an effective 3D VR-based manipulation system for industrial robot manipulators | |
| Morris et al. | An xri mixed-reality internet-of-things architectural framework toward immersive and adaptive smart environments | |
| CN110142769B (zh) | 基于人体姿态识别的ros平台在线机械臂示教*** | |
| Avizzano et al. | A multi-finger haptic interface for visually impaired people | |
| CN109754654A (zh) | 基于虚拟现实的历史课题指导***、方法及装置 | |
| JPH11328243A (ja) | プラント設計支援システム | |
| Zhang et al. | Design and application of electric power skill training platform based on virtual reality technology | |
| Wang et al. | Construction of Human-Robot Cooperation Assembly Simulation System Based on Augmented Reality | |
| CN107738256A (zh) | 一种手把手仿人示教机器人编程*** | |
| CN112233208B (zh) | 机器人状态处理方法、装置、计算设备和存储介质 | |
| Kirakosian et al. | Immersive simulation and training of person-to-3d character dance in real-time | |
| US20200171387A1 (en) | Multiplayer teleportation and summoning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |