CN106843150A - 一种工业现场仿真模拟方法和装置 - Google Patents
一种工业现场仿真模拟方法和装置 Download PDFInfo
- Publication number
- CN106843150A CN106843150A CN201710114493.5A CN201710114493A CN106843150A CN 106843150 A CN106843150 A CN 106843150A CN 201710114493 A CN201710114493 A CN 201710114493A CN 106843150 A CN106843150 A CN 106843150A
- Authority
- CN
- China
- Prior art keywords
- user
- industrial equipment
- virtual
- real
- operational order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
- G05B19/4069—Simulating machining process on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31444—Compare actual manufacturing sequence with simulated sequence, correct actual
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种工业现场仿真模拟方法和装置,所述方法包括:显示可供展示的虚拟工业设备;接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。本发明实施例通过模拟工业设备操作的真实场景,使用户有身临其境的感觉,便于用户学习和理解工业设备的实际结构和操作方法,很大程度上解决在车间训练中由于设备少,材料不足,耗材贵而产生的供需矛盾,减小机器的损耗,增大零件成品率。
Description
技术领域
本发明涉及机械制造和信息技术领域,尤指一种工业现场仿真模拟方法和装置。
背景技术
现代机械制造技术已得到越来越广泛的应用,我国的机械制造技术水平与发达国家相比还有一定差距,21世纪机械制造技术的发展方向可用“三化”来概括,即全球化、虚拟化和绿色化。
以往的机械加工危险性高,对操作人员技术要求过硬。所以前期的训练十分重要,然而由于大型机械设备的场地限制,人们只能通过师傅带领的方式亲自来到工厂来操作,并且纯机械设备没有指令提示,只能通过运转位置来判断当前机器状态。这样不仅效率低,还容易损坏机器设备,对于训练来说有一定的难度。
目前也有一些虚拟机械加工训练的***或方法,但是其都是通过相关动画软件设计的,主要以模拟工厂、企业产品的操作流程做演示,对于外行人员来说实用性不强,而且其训练是以教程的训练形式进行训练,理论性比较强,与实际的机械加工还有很大差距。
发明内容
为了解决上述技术问题,本发明提供了一种工业现场仿真模拟方法和装置,通过混合现实或增强现实的技术,可以模拟工业设备操作的真实场景。
为了达到本发明目的,本发明提供了一种工业现场仿真模拟方法,包括:
显示可供展示的虚拟工业设备;
接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;
接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。
可选地,所述方法还包括:
接收用户的调整指令,根据所述调整指令对所述虚拟工业设备进行如下一种或多种组合的调整操作:
缩放、旋转、位移。
可选地,所述方法还包括:
通过混合现实或增强现实的方式显示所述虚拟工业设备每个部分的信息。
可选地,所述接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示的步骤中,
若所述操作指令有误,则进行操作错误提示。
可选地,所述进行操作错误提示之后,还包括:
若用户继续执行错误操作,则演示所述错误操作的后果。
可选地,所述方法还包括:
接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工厂沙盘与用户所在的真实场景相融合;
接收用户的操作指令,按照所述用户的操作指令展示所述虚拟工厂沙盘中的一个或多个细节。
可选地,所述方法还包括:
将虚拟工业设备与真实工业设备相关联,通过真实工业设备上设置的传感器获取所述真实工业设备的信息,通过混合现实或增强现实的方式在所述真实工业设备上同步叠加虚拟拓展信息。
可选地,所述方法还包括:
用户操作所述真实工业设备时,通过混合现实或增强现实的方式显示如下提示信息中的一种或多种:
加工提示、加工指引、操作错误提示。
本发明还提供了一种工业现场仿真模拟装置,包括:
菜单模块,用于显示可供展示的虚拟工业设备;
定位模块,用于接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;
展示模块,用于接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。
可选地,所述装置还包括:
调整模块,用于接收用户的调整指令,根据所述调整指令对所述虚拟工业设备进行如下调整操作中的一种或多种组合:
缩放、旋转、位移。
本发明实施例包括:显示可供展示的虚拟工业设备;接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。本发明实施例通过模拟工业设备操作的真实场景,使用户有身临其境的感觉,便于用户学习和理解工业设备的实际结构和操作方法,很大程度上解决在车间训练中由于设备少,材料不足,耗材贵而产生的供需矛盾,减小机器的损耗,增大零件成品率。
进一步地,可以对所述虚拟工业设备进行缩放、旋转、位移等调整操作,可以将虚拟工业设备放置在用户希望的任意位置,而且用户可以以多角度、多方位详细观察工业设备结构。
进一步地,通过混合现实或增强现实的方式显示所述虚拟工业设备每个部分的信息,可以使用户加深对工业设备的了解。
进一步地,当操作指令有误,进行操作错误提示,可以避免用户在操作真实工业设备时,出现类似错误;以及,若用户继续执行错误操作,演示所述错误操作的后果,使用户对操作错误的后果有更深刻的认识。
进一步地,通过沙盘的方式显示工厂的整体结构和各个细节,使用户对工厂的整体和细节有直观的认识和理解。
进一步地,通过混合现实或增强现实的方式在所述真实工业设备上同步叠加虚拟拓展信息,可以使得用户在操作真实工业设备时,以直观的形式获取工业设备的真实信息。
进一步地,当用户操作所述真实工业设备时,采用加工提示、加工指引、或操作错误提示的方式,指导用户操作工业设备,一方面用户通过实际操作时,可以根据指导进行操作,提高了用户的实际操作水平,另一方面也避免由于误操作导致工业设备损坏,并且提高了零件成品率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例的工业现场仿真模拟方法流程图;
图2为本发明实施例的工业现场仿真模拟装置示意图;
图3为本发明应用实例的工业现场仿真模拟方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
工业仿真,是对实体工业的一种虚拟。具体来说就是将实体工业中的各个模块转化成数据整合到一个虚实混合的体系中去,在这个体系中模拟实现工业作业中的每一项工作和流程,并与之实现各种交互。
本发明实施例基于增强现实技术(AR)或混合现实技术(MR),所述增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。所述混合现实技术技术结合了虚拟现实技术(VR)与AR的优势,通过在真实环境中引入虚拟场景信息,在虚拟和现实之间为用户搭起一个交互反馈的信息回路,以增强用户体验的真实感。
如图1所示,本发明实施例的工业现场仿真模拟方法包括:
步骤101,显示可供展示的虚拟工业设备;
步骤102,接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;
步骤103,接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。
本发明实施例通过模拟工业设备操作的真实场景,使用户有身临其境的感觉,便于用户学习和理解工业设备的实际结构和操作方法,很大程度上解决在车间训练中由于设备少,材料不足,耗材贵而产生的供需矛盾,减小机器的损耗,增大零件成品率。
本发明实施例中的工业设备可以是机床、仓储设备、物流转运设备、包装设备、传输设备、机器人、仪器仪表等可以放置在固定位置的设备。其中,机床可以包括车床、铣床、磨床、刨床、钻床等等。
本发明实施例的装置可以通过增强现实显示设备/混合现实显示设备(例如HoloLens)实现,通过增强现实显示设备/混合现实显示设备实时扫描室内环境,可以在眼前的空间内置放一比一虚拟工业设备,并使其功能同真实工业设备一样可交互操作,加工零件。如果单纯做演示的话,可以采用移动终端,例如手机、IPAD等实现,只是浸入感比专业的增强现实显示设备/混合现实显示设备稍差。
用户所使用的指令(选择指令、操作指令、调整指令等)可以采用语音、凝视、或手势的方式。其中,手势还可以包括点击、拖拽等。例如,用户可以通过语音的方式,使虚拟工业设备执行相应的指令。用户还可以通过点击的方式,确定虚拟工业设备的摆放位置,以及使虚拟工业设备运行所选定的指令。
可选地,所述方法还包括:
接收用户的调整指令,根据所述调整指令对所述虚拟工业设备进行如下一种或多种组合的调整操作:
缩放、旋转、位移。
例如,用户可以通过拖拽的方式,对虚拟工业设备进行缩放、旋转、或位移调整。通过对所述虚拟工业设备进行缩放、旋转、位移等调整操作,可以将虚拟工业设备放置在用户希望的任意位置,而且用户可以以多角度、多方位详细观察工业设备结构。
可选地,所述方法还包括:
通过混合现实或增强现实的方式显示所述虚拟工业设备每个部分的信息。
其中,可以显示所述虚拟工业设备每个部分的名称、各部分的相关介绍,还可以显示虚拟工业设备每个部分的尺寸参数。
例如,用户可以通过凝视的方式,触发悬浮标注,从而介绍各部分功能。
通过混合现实或增强现实的方式显示所述虚拟工业设备每个部分的信息,可以使用户加深对工业设备的了解。
所述步骤103中,用户可以通过操作指令(例如通过手势)操作工业设备,观看工业设备运行过程,还可以将虚拟加工完成的零件拿在手中观察。
可选地,所述步骤103中,若所述操作指令有误,则进行操作错误提示。若用户继续执行错误操作,则演示所述错误操作的后果。
当操作指令有误,进行操作错误提示,可以避免用户在操作真实工业设备时,出现类似错误;以及,若用户继续执行错误操作,演示所述错误操作的后果,使用户对操作错误的后果有更深刻的认识。
可选地,所述方法还包括:
接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工厂沙盘与用户所在的真实场景相融合;
接收用户的操作指令,按照所述用户的操作指令展示所述虚拟工厂沙盘中的一个或多个细节。
通过沙盘的方式显示工厂的整体结构和各个细节,使用户对工厂的整体和细节有直观的认识和理解。
可选地,所述方法还包括:
将虚拟车床与真实工业设备相关联,通过真实工业设备上设置的传感器获取所述真实工业设备的信息,通过混合现实或增强现实的方式在所述真实工业设备上同步叠加虚拟拓展信息。
所述虚拟拓展信息可包括:工业设备各部件名称、介绍,还可以包括在用户操作时,各部件的实时参数,例如、旋转速度、进给速度、温度等。
通过混合现实或增强现实的方式在所述真实工业设备上同步叠加虚拟拓展信息,可以使得用户在操作真实工业设备时,以直观的形式获取工业设备的真实信息。
可选地,所述方法还包括:
用户操作所述真实工业设备时,通过混合现实或增强现实的方式显示如下提示信息中的一种或多种:
加工提示、加工指引、操作错误提示。
当用户操作所述真实工业设备时,采用加工提示、加工指引、或操作错误提示的方式,指导用户操作工业设备,一方面用户通过实际操作时,可以根据指导进行操作,提高了用户的实际操作水平,另一方面也避免由于误操作导致工业设备损坏,并且提高了零件成品率。
本发明实施例可以用于机械制造者和学者等人员的工业仿真演示及教学,利用混合现实技术或增强现实技术的交互性和真实性,让使用者进入到混合世界当中,反复地进行全程或分解项目训练,直到对技能要求的掌握和了解。也可通过虚拟训练的过程,及时了解在操作过程中出现的多样性和不确定性,以便在真实操作时做到有的放矢。通过逼真的模拟练***。
如图2所示,本发明实施例的工业现场仿真模拟装置包括:
菜单模块21,用于显示可供展示的虚拟工业设备;
定位模块22,用于接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;
展示模块23,用于接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。
本发明实施例通过模拟工业设备操作的真实场景,使用户有身临其境的感觉,便于用户学习和理解工业设备的实际结构和操作方法,很大程度上解决在车间训练中由于设备少,材料不足,耗材贵而产生的供需矛盾,减小机器的损耗,增大零件成品率。
本发明实施例中的工业设备可以是机床、仓储设备、物流转运设备、包装设备、传输设备、机器人、仪器仪表等可以放置在固定位置的设备。其中,机床可以包括车床、铣床、磨床、刨床、钻床等等。
本发明实施例的装置可以通过增强现实显示设备/混合现实显示设备(例如HoloLens)实现,通过增强现实显示设备/混合现实显示设备实时扫描室内环境,可以在眼前的空间内置放一比一虚拟工业设备,并使其功能同真实工业设备一样可交互操作,加工零件。如果单纯做演示的话,可以采用移动终端,例如手机、IPAD等实现,只是浸入感比专业的增强现实显示设备/混合现实显示设备稍差。
用户所使用的指令(选择指令、操作指令、调整指令等)可以采用语音、凝视、或手势的方式。其中,手势还可以包括点击、拖拽等。例如,用户可以通过语音的方式,使虚拟工业设备执行相应的指令。用户还可以通过点击的方式,确定虚拟工业设备的摆放位置,以及使虚拟工业设备运行所选定的指令。
可选地,所述装置还包括:
调整模块,用于接收用户的调整指令,根据所述调整指令对所述虚拟工业设备进行如下调整操作中的一种或多种组合:
缩放、旋转、位移。
例如,用户可以通过拖拽的方式,对虚拟工业设备进行缩放、旋转、或位移调整。通过对所述虚拟工业设备进行缩放、旋转、位移等调整操作,可以将虚拟工业设备放置在用户希望的任意位置,而且用户可以以多角度、多方位详细观察工业设备结构。
可选地,所述展示模块23,还用于通过混合现实或增强现实的方式显示所述虚拟工业设备每个部分的信息。
其中,可以显示所述虚拟工业设备每个部分的名称、各部分的相关介绍,还可以显示虚拟工业设备每个部分的尺寸参数。
例如,用户可以通过凝视的方式,触发悬浮标注,从而介绍各部分功能。
通过混合现实或增强现实的方式显示所述虚拟工业设备每个部分的信息,可以使用户加深对工业设备的了解。
通过展示模块23,用户可以通过操作指令(例如通过手势)操作工业设备,观看工业设备运行过程,还可以将虚拟加工完成的零件拿在手中观察。
可选地,所述展示模块23,还用于若所述操作指令有误,则进行操作错误提示。
可选地,所述展示模块23,还用于若用户继续执行错误操作,则演示所述错误操作的后果。
当操作指令有误,进行操作错误提示,可以避免用户在操作真实工业设备时,出现类似错误;以及,若用户继续执行错误操作,演示所述错误操作的后果,使用户对操作错误的后果有更深刻的认识。
可选地,所述装置还包括:
沙盘模块,用于接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工厂沙盘与用户所在的真实场景相融合;
所述展示模块23,还用于接收用户的操作指令,按照所述用户的操作指令展示所述虚拟工厂沙盘中的一个或多个细节。
通过沙盘的方式显示工厂的整体结构和各个细节,使用户对工厂的整体和细节有直观的认识和理解。
可选地,所述装置还包括:
关联模块,用于将虚拟车床与真实工业设备相关联,通过真实工业设备上设置的传感器获取所述真实工业设备的信息;
所述展示模块23,还用于通过混合现实或增强现实的方式在所述真实工业设备上同步叠加虚拟拓展信息。
所述虚拟拓展信息可包括:工业设备各部件名称、介绍,还可以包括在用户操作时,各部件的实时参数,例如、旋转速度、进给速度、温度等。
通过混合现实或增强现实的方式在所述真实工业设备上同步叠加虚拟拓展信息,可以使得用户在操作真实工业设备时,以直观的形式获取工业设备的真实信息。
可选地,所述方法还包括:
所述展示模块23,还用于用户操作所述真实工业设备时,通过混合现实或增强现实的方式显示如下提示信息中的一种或多种:
加工提示、加工指引、操作错误提示。
当用户操作所述真实工业设备时,采用加工提示、加工指引、或操作错误提示的方式,指导用户操作工业设备,一方面用户通过实际操作时,可以根据指导进行操作,提高了用户的实际操作水平,另一方面也避免由于误操作导致工业设备损坏,并且提高了零件成品率。
下面以采用混合现实显示设备HoloLens为例进一步说明本发明:
搭建虚拟仿真现场:根据前期数据测量及后期处理所获得的真实工业场景数据导入到仿真软件中搭建而成、设置交互方式及关键动画、测试并导入混合现实显示设备、通过头部四颗传感器实时探测环境并自动搭建环境模型、将预先搭建的工业仿真场景实时叠加到真实空间中,并通过仿真平台,运行模拟生产的仿真***,使用者一方面通过头戴混合现实显示器观察工业现场运行情况,另一方面通过手势操作具有报错提醒的虚拟工业场景内的机械设备,从而完成虚拟零件加工过程,该操作自由,是具有真实声音模拟及误操作提示的,在进行虚拟零部件加工时,可以得到近似真实加工的感受。最终实现在真实场景中布置搭建一个虚拟工业现场,并能够进行***中各台设备间协调统一的仿真运转。
具体地,实现本发明应用实例的准备工作有:
一、准备素材:
1、现场测绘:测量机身尺寸,画简易草图记录;
2、参考图片:以三视图为主,实地拍摄(注意透视关系及镜头畸变)以及大量细节图;
3、材质贴图:例如机身注意事项、关键参数关键物等平行拍摄(导入到图片处理软件细调,使多个贴图统一、真实);
4、了解运作方式:找到专业人员,详细了解操作步骤(例如手柄、盖板以何种方式、方向旋转或移动,会产生什么效果),机器运作方式,注意事项等;
5、运转动画:录下使用流程,机器如何运转,方便后续参照创建3维运作动画。
二、后期处理
1、制作模型:
将数据、参考图导入到模型软件中,根据图片及测量好的尺寸创建模型。
2、制作动画:
根据之前录制的视频制作动画:有些加工行为并非实时计算得出来的,而是事先录入的模型动画,使用动画软件中的关键帧功能,做出动作动画,通过设定触发事件,播放对应的加工动画,行为节奏与真实相同。
其中大多交互动画都是通过预先录制,较为简单的旋转位移动画可通过代码实现控制。
3、开发
在开发引擎中删除主相机,放置HoloLens的组件相机:Main Camera Prefab。渲染背景改为纯黑,因为HoloLens中黑色即透明,不会遮挡到真实视野。调整坐标为原点即初始画面位置。
放置调节主体文件,例如工业设备、环境光等物体,使其真实、统一。
添加HoloLens核心组件:GazeManager.cs、GestureManager.cs、HandsManager.cs和KeywordManager.cs即可实现HoloLens中的三大操作方式:语音、凝视、手势。将凝视改为可视化指针。
集成输入组件:场景放入HoloLens的组件CursorWithFeedback Prefab,使对应物体表面可被凝视触发,并可显示、修改当前状态。
创建脚本语言并赋予场景主体文件,通过配置语音命令触发事件,输入触发文字,使用者可通过语音控制操作。
修改渲染参数:修改渲染属性,使此应用渲染为HoloLens的3D应用,修改画质,匹配HoloLens对应的性能开销。
修改发布平台,选择HoloLens对应的输出接口,发布程序包。
4、导入HoloLens进行运行测试,并进行多次调节。
其中,HoloLens设备显示视角较窄,可通过手势缩放方式,可以将工业设备缩小摆放到桌子上进行使用操作。HoloLens设备手势较少,可将旋转手柄、拧紧卡盘等操作集成为点击交互方式,并配合真实旋转操作动画等。另外,将同一手柄用到的多个功能整合为操作菜单,供使用者选择当前所要做的操作。
需要说明的是,采用HoloLens设备只是本发明的一种实施方式,本发明并不限于此,可采用各种增强现实/混合现实显示设备实现本发明。本发明实施例中,可通过图形、文字,指引使用者下一步操作;按照真实使用流程,规范虚拟工业设备使用方法,出现失误操作,会出现报错交互场景,将真实可发生状态录入进去。让使用者自由操作,并可观察误操作带来的后果;集成三维动画,把规范的演示操作录入,让使用者观看身临其境的教程。
如图3所示,以工业设备为车床实现为例进行说明:
步骤301,HoloLens自动实时扫描空间环境,搭建场景模型,放置虚拟工厂程序菜单。该菜单为图像化菜单,显示了可供展示的多个虚拟工业设备。
步骤302,从菜单中拖拽出想要操作的虚拟工业设备,放置在合适的地方。
步骤303,可以对虚拟工业设备进行调整,包括缩放、旋转和位移。该调整操作在任何时间都可进行。
步骤304,在虚拟工业设备未运行时,可进行展示操作,包括各部件的名称、用途等介绍,还可以展示工作台各轴的位置及角度变化。
步骤305,以所选择的虚拟工业设备为车床为例,运行车床加工流程。
步骤306,放置工件、辅料等材料。
步骤307,使用锁紧扳手,上紧三抓卡盘。
步骤308,启动总电源。启动总电源之后,可以打开冷却泵,并取消急停操作。
步骤309,启动电机。
步骤310,调节电机正/反转。
步骤311,判断是否取走锁紧扳手,若否,则执行步骤312,若是,则执行步骤313。
步骤312,将扳手归位。若不将扳手归位,可演示扳手飞出的动画。
步骤313,演示相应的加工动画。
加工动画演示过程中,用户可选择急停,此处停止演示加工动画。用户解开急停时,并重新启动电机时,继续播放加工动画。
步骤314,加工动画演示完成。
步骤315,可拿起工件成品进行观赏,还可以对工件进行旋转、位移、缩放等操作。
其中,步骤315执行完成之后,还可以继续执行步骤302及之后的操作。
现有技术的虚拟机械加工训练的***或方法观看体验一般,沉浸感差,与现实世界没有交互。使用灵活度差,都是事先录入的几个模版,几乎没什么可操作性。本发明实施例具有如下优点:
1、与真实世界融合,可嵌套至真实工业设备上,进行同步加工提示、加工指引、操作错误提示指引。
2、沉浸感更好,用户看起来就是自己的世界,有一小块空地就可以使用,甚至于坐下来,把虚拟工业设备放到桌子上进行使用、学习。
3、可玩性高:即用起来灵活,真实工业设备具有的功能,虚拟工业设备都可以具备,用户可以对虚拟工业设备进行各种操作,遇到不规范操作会触发错误流程,将真实可发生的事情以动画的形式展现出来,这么做有什么危险,让使用者能够深刻体验、认识到。
下面以几个应用实例说明本发明:
1、学生课前预习:在宿舍掏出手机,打开虚拟工厂APP,摄像头自动检测桌面上的二维码进行空间定位。透过手机屏幕将X5030A铣床叠加放到桌子上,观看铣床的各个零部件介绍,及3维动画操作教程,并通过各个角度对铣床进行试加工,将遇到的问题在第二天课上提出,以得到更多的技能。
2、学习小组带上HoloLens,对课上使用的CA6136普通车床进行复习,将虚拟机床拖出放到人们中间,练习今天学到的车外圆,而将工件卡紧之后忘了将其归位,直接启动电机,此时报错:请将三爪卡盘扳手归位,否则甩出伤人!忽视这条消息,继续操作,扳手果然甩了出来,飞到同学眼前,把他吓了一跳。在将三爪卡盘扳手归位之后,电机正常运转,零件加工完成。这位同学下次再加工时就会记住这时犯的错误。
3、通过对CA6136普通车床进行加装传感器,把虚拟车床信息嵌套关联在真实机床上,在眼前显示机床的各模块组成部分及使用介绍,而操作真实机床时,眼前展示的是机床的旋转参数,工件与车刀接触点的温度,以及此时车刀的进给速度等参数,当加快进给量时,设备检测到进给速度数与所需速度不匹配,弹出警告窗口:当前进给速度过快,请降低z轴走刀速度。
4、开会时,将微缩的虚拟工厂沙盘,放在桌面上,进行沙盘点兵,观看演示整个生态产业链,并可随意点击任意环节观看细节演示。点开其中的汽车装配厂房,场景影像放大,当前画面正对车门装配进行实时同步,查看motoman机器手臂的车门安装进度。
综上所述,本发明实施例的基于混合现实或增强现实的工业现场仿真模拟方法和装置,真实、交互性强、无场地条件限制,并且可重复利用,其工业仿真模拟现场是通过实际参数测量获得真实模型数据导入到仿真软件中搭建而成,其运转逻辑也符合真实工业设备,操作者通过空中手势操控可交互的仿真场景,从而完成虚拟加工过程,所述手势操作是具有错误提示的,在进行虚拟零部件加工时,使用者误操作可触发的仿真错误动画。而且,可以以沙盘的形式展示内部工厂流水线,并细化到内部的各式机械设备。通过实时扫描环境空间搭建地形模型。虚拟场景中的设备,可以根据使用者需要,布置在真实环境中,并从视觉上与真实环境融合,可以更好地进行工业场景还原。
显然,本领域的技术人员应该明白,上述的本发明实施例的模块或步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种工业现场仿真模拟方法,包括:
显示可供展示的虚拟工业设备;
接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;
接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收用户的调整指令,根据所述调整指令对所述虚拟工业设备进行如下一种或多种组合的调整操作:
缩放、旋转、位移。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过混合现实或增强现实的方式显示所述虚拟工业设备每个部分的信息。
4.根据权利要求1所述的方法,其特征在于,所述接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示的步骤中,
若所述操作指令有误,则进行操作错误提示。
5.根据权利要求1所述的方法,其特征在于,所述进行操作错误提示之后,还包括:
若用户继续执行错误操作,则演示所述错误操作的后果。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工厂沙盘与用户所在的真实场景相融合;
接收用户的操作指令,按照所述用户的操作指令展示所述虚拟工厂沙盘中的一个或多个细节。
7.根据权利要求1~6中任意一项所述的方法,其特征在于,所述方法还包括:
将虚拟工业设备与真实工业设备相关联,通过真实工业设备上设置的传感器获取所述真实工业设备的信息,通过混合现实或增强现实的方式在所述真实工业设备上同步叠加虚拟拓展信息。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
用户操作所述真实工业设备时,通过混合现实或增强现实的方式显示如下提示信息中的一种或多种:
加工提示、加工指引、操作错误提示。
9.一种工业现场仿真模拟装置,其特征在于,包括:
菜单模块,用于显示可供展示的虚拟工业设备;
定位模块,用于接收用户的选择指令,通过混合现实或增强现实的方式将用户所选择的虚拟工业设备与用户所在的真实场景相融合;
展示模块,用于接收用户的操作指令,使所述虚拟工业设备根据所述操作指令,进行相应的操作展示。
10.根据权利要求9所述的装置,其特征在于,还包括:
调整模块,用于接收用户的调整指令,根据所述调整指令对所述虚拟工业设备进行如下调整操作中的一种或多种组合:
缩放、旋转、位移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710114493.5A CN106843150A (zh) | 2017-02-28 | 2017-02-28 | 一种工业现场仿真模拟方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710114493.5A CN106843150A (zh) | 2017-02-28 | 2017-02-28 | 一种工业现场仿真模拟方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106843150A true CN106843150A (zh) | 2017-06-13 |
Family
ID=59137375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710114493.5A Pending CN106843150A (zh) | 2017-02-28 | 2017-02-28 | 一种工业现场仿真模拟方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106843150A (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368314A (zh) * | 2017-07-19 | 2017-11-21 | 哈尔滨工业大学 | 基于移动ar的机械制造工艺课程设计教学辅助***及开发方法 |
CN107562817A (zh) * | 2017-08-16 | 2018-01-09 | 北京深数科技有限公司 | 一种股票量化交易的方法、装置、设备及存储介质 |
CN107589838A (zh) * | 2017-08-30 | 2018-01-16 | 广东盘古信息科技股份有限公司 | 以vr方法结合播放sop视频指导作业的方法 |
CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
CN107797665A (zh) * | 2017-11-15 | 2018-03-13 | 王思颖 | 一种基于增强现实的三维数字沙盘推演方法及其*** |
CN107885336A (zh) * | 2017-11-30 | 2018-04-06 | 成都飞机工业(集团)有限责任公司 | 映射真实生产情况的虚拟车间模型与信息融合显示方法 |
CN107977080A (zh) * | 2017-12-05 | 2018-05-01 | 北京小米移动软件有限公司 | 产品使用展示方法及装置 |
CN108009739A (zh) * | 2017-12-14 | 2018-05-08 | 沈阳工业大学 | 一种智能机加车间生产计划与调度一体化方法 |
CN108156217A (zh) * | 2017-11-20 | 2018-06-12 | 福建睿能科技股份有限公司 | 一种横机的监控方法,终端及存储设备 |
CN108228027A (zh) * | 2017-12-29 | 2018-06-29 | 努比亚技术有限公司 | 一种信息处理的方法、设备及计算机可读存储介质 |
CN108389459A (zh) * | 2018-03-15 | 2018-08-10 | 湖南工业大学 | 一种基于虚拟现实的印刷模拟*** |
CN108388391A (zh) * | 2018-02-24 | 2018-08-10 | 广联达科技股份有限公司 | 部件显示方法、***、增强现实显示装置和计算机介质 |
CN109298685A (zh) * | 2017-07-25 | 2019-02-01 | 西门子(中国)有限公司 | 数字化工厂实现方法、数字化工厂实现***和数字化工厂 |
CN109410299A (zh) * | 2017-08-15 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置和计算机存储介质 |
CN109522223A (zh) * | 2018-10-26 | 2019-03-26 | 惠州市德赛西威汽车电子股份有限公司 | 一种车载Android多媒体主机的自动测试方法和*** |
CN109557930A (zh) * | 2017-09-27 | 2019-04-02 | 中国石油化工股份有限公司 | 一种基于vr的水下机器人操作控制***及方法 |
CN109615958A (zh) * | 2018-12-04 | 2019-04-12 | 深圳市诺信连接科技有限责任公司 | 交互式vr影像的处理方法及vr |
CN109696915A (zh) * | 2019-01-07 | 2019-04-30 | 上海托华机器人有限公司 | 一种测试方法和*** |
CN109859538A (zh) * | 2019-03-28 | 2019-06-07 | 中广核工程有限公司 | 一种基于混合现实的关键设备培训***及方法 |
CN110047148A (zh) * | 2019-04-10 | 2019-07-23 | 珠海梅西互动技术有限公司 | 一种虚拟机器人工作站的仿真互动可视化***及实现方法 |
CN111142673A (zh) * | 2019-12-31 | 2020-05-12 | 维沃移动通信有限公司 | 场景切换方法及头戴式电子设备 |
CN111341166A (zh) * | 2018-12-18 | 2020-06-26 | 国家电投集团科学技术研究院有限公司 | 应急演练***的控制方法及*** |
CN111414225A (zh) * | 2020-04-10 | 2020-07-14 | 北京城市网邻信息技术有限公司 | 三维模型远程展示方法、第一终端、电子设备及存储介质 |
CN111599292A (zh) * | 2020-06-08 | 2020-08-28 | 浙江商汤科技开发有限公司 | 一种历史场景的呈现方法、装置、电子设备及存储介质 |
CN111629205A (zh) * | 2020-07-28 | 2020-09-04 | 天津美腾科技股份有限公司 | 一种应用于工业相机模拟测试的***和方法 |
CN111966068A (zh) * | 2020-08-27 | 2020-11-20 | 上海电机***节能工程技术研究中心有限公司 | 电机产线增强现实监控方法、装置、电子设备及存储介质 |
CN114546118A (zh) * | 2022-02-21 | 2022-05-27 | 国网河北省电力有限公司保定供电分公司 | 一种基于vr技术的安全提示方法、装置、介质以及设备 |
CN115796027A (zh) * | 2022-11-26 | 2023-03-14 | 宝钢工程技术集团有限公司 | 一种运用虚拟现实技术提高冷轧机组更换轴承效率的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104471629A (zh) * | 2012-06-13 | 2015-03-25 | 赛百瑞索路信有限公司 | 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置 |
CN106066633A (zh) * | 2015-04-24 | 2016-11-02 | Jpw工业有限公司 | 与机床一起使用的可穿戴显示装置 |
-
2017
- 2017-02-28 CN CN201710114493.5A patent/CN106843150A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104471629A (zh) * | 2012-06-13 | 2015-03-25 | 赛百瑞索路信有限公司 | 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置 |
CN106066633A (zh) * | 2015-04-24 | 2016-11-02 | Jpw工业有限公司 | 与机床一起使用的可穿戴显示装置 |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368314A (zh) * | 2017-07-19 | 2017-11-21 | 哈尔滨工业大学 | 基于移动ar的机械制造工艺课程设计教学辅助***及开发方法 |
CN107368314B (zh) * | 2017-07-19 | 2020-07-07 | 哈尔滨工业大学 | 基于移动ar的机械制造工艺课程设计教学辅助***及开发方法 |
CN109298685A (zh) * | 2017-07-25 | 2019-02-01 | 西门子(中国)有限公司 | 数字化工厂实现方法、数字化工厂实现***和数字化工厂 |
CN109298685B (zh) * | 2017-07-25 | 2020-11-27 | 西门子(中国)有限公司 | 数字化工厂实现方法、数字化工厂实现***和数字化工厂 |
CN109410299B (zh) * | 2017-08-15 | 2022-03-11 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置和计算机存储介质 |
CN109410299A (zh) * | 2017-08-15 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置和计算机存储介质 |
CN107562817A (zh) * | 2017-08-16 | 2018-01-09 | 北京深数科技有限公司 | 一种股票量化交易的方法、装置、设备及存储介质 |
CN107589838A (zh) * | 2017-08-30 | 2018-01-16 | 广东盘古信息科技股份有限公司 | 以vr方法结合播放sop视频指导作业的方法 |
CN109557930A (zh) * | 2017-09-27 | 2019-04-02 | 中国石油化工股份有限公司 | 一种基于vr的水下机器人操作控制***及方法 |
CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
CN107797665B (zh) * | 2017-11-15 | 2021-02-02 | 王思颖 | 一种基于增强现实的三维数字沙盘推演方法及其*** |
CN107797665A (zh) * | 2017-11-15 | 2018-03-13 | 王思颖 | 一种基于增强现实的三维数字沙盘推演方法及其*** |
CN108156217A (zh) * | 2017-11-20 | 2018-06-12 | 福建睿能科技股份有限公司 | 一种横机的监控方法,终端及存储设备 |
CN107885336A (zh) * | 2017-11-30 | 2018-04-06 | 成都飞机工业(集团)有限责任公司 | 映射真实生产情况的虚拟车间模型与信息融合显示方法 |
CN107885336B (zh) * | 2017-11-30 | 2021-04-27 | 成都飞机工业(集团)有限责任公司 | 映射真实生产情况的虚拟车间模型与信息融合显示方法 |
CN107977080A (zh) * | 2017-12-05 | 2018-05-01 | 北京小米移动软件有限公司 | 产品使用展示方法及装置 |
CN107977080B (zh) * | 2017-12-05 | 2021-03-30 | 北京小米移动软件有限公司 | 产品使用展示方法及装置 |
CN108009739A (zh) * | 2017-12-14 | 2018-05-08 | 沈阳工业大学 | 一种智能机加车间生产计划与调度一体化方法 |
CN108228027A (zh) * | 2017-12-29 | 2018-06-29 | 努比亚技术有限公司 | 一种信息处理的方法、设备及计算机可读存储介质 |
CN108388391A (zh) * | 2018-02-24 | 2018-08-10 | 广联达科技股份有限公司 | 部件显示方法、***、增强现实显示装置和计算机介质 |
CN108388391B (zh) * | 2018-02-24 | 2020-06-30 | 广联达科技股份有限公司 | 部件显示方法、***、增强现实显示装置和计算机介质 |
CN108389459A (zh) * | 2018-03-15 | 2018-08-10 | 湖南工业大学 | 一种基于虚拟现实的印刷模拟*** |
CN109522223A (zh) * | 2018-10-26 | 2019-03-26 | 惠州市德赛西威汽车电子股份有限公司 | 一种车载Android多媒体主机的自动测试方法和*** |
CN109615958A (zh) * | 2018-12-04 | 2019-04-12 | 深圳市诺信连接科技有限责任公司 | 交互式vr影像的处理方法及vr |
CN111341166A (zh) * | 2018-12-18 | 2020-06-26 | 国家电投集团科学技术研究院有限公司 | 应急演练***的控制方法及*** |
CN109696915B (zh) * | 2019-01-07 | 2022-02-08 | 上海托华机器人有限公司 | 一种测试方法和*** |
CN109696915A (zh) * | 2019-01-07 | 2019-04-30 | 上海托华机器人有限公司 | 一种测试方法和*** |
CN109859538A (zh) * | 2019-03-28 | 2019-06-07 | 中广核工程有限公司 | 一种基于混合现实的关键设备培训***及方法 |
CN110047148A (zh) * | 2019-04-10 | 2019-07-23 | 珠海梅西互动技术有限公司 | 一种虚拟机器人工作站的仿真互动可视化***及实现方法 |
CN110047148B (zh) * | 2019-04-10 | 2024-01-26 | 珠海惠中智能技术有限公司 | 一种虚拟机器人工作站的仿真互动可视化***及实现方法 |
CN111142673A (zh) * | 2019-12-31 | 2020-05-12 | 维沃移动通信有限公司 | 场景切换方法及头戴式电子设备 |
CN111414225A (zh) * | 2020-04-10 | 2020-07-14 | 北京城市网邻信息技术有限公司 | 三维模型远程展示方法、第一终端、电子设备及存储介质 |
CN111414225B (zh) * | 2020-04-10 | 2021-08-13 | 北京城市网邻信息技术有限公司 | 三维模型远程展示方法、第一终端、电子设备及存储介质 |
CN111599292A (zh) * | 2020-06-08 | 2020-08-28 | 浙江商汤科技开发有限公司 | 一种历史场景的呈现方法、装置、电子设备及存储介质 |
CN111629205B (zh) * | 2020-07-28 | 2020-11-20 | 天津美腾科技股份有限公司 | 一种应用于工业相机模拟测试的***和方法 |
CN111629205A (zh) * | 2020-07-28 | 2020-09-04 | 天津美腾科技股份有限公司 | 一种应用于工业相机模拟测试的***和方法 |
CN111966068A (zh) * | 2020-08-27 | 2020-11-20 | 上海电机***节能工程技术研究中心有限公司 | 电机产线增强现实监控方法、装置、电子设备及存储介质 |
CN114546118A (zh) * | 2022-02-21 | 2022-05-27 | 国网河北省电力有限公司保定供电分公司 | 一种基于vr技术的安全提示方法、装置、介质以及设备 |
CN115796027A (zh) * | 2022-11-26 | 2023-03-14 | 宝钢工程技术集团有限公司 | 一种运用虚拟现实技术提高冷轧机组更换轴承效率的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106843150A (zh) | 一种工业现场仿真模拟方法和装置 | |
CN104778872B (zh) | 用于机械臂遥操作人机交互研究的仿真实验训练平台 | |
CN108646926A (zh) | 机械制造模具虚拟装配培训***及培训方法 | |
Webel et al. | Augmented reality training for assembly and maintenance skills | |
CN107368314B (zh) | 基于移动ar的机械制造工艺课程设计教学辅助***及开发方法 | |
CN107831831B (zh) | 一种电力企业员工业务内容培训*** | |
CN107577159A (zh) | 扩增实境仿真*** | |
CN109961520A (zh) | 一种基于第三视角技术的vr/mr教室及其构建方法 | |
CN110162179A (zh) | 一种智能感知虚拟装配*** | |
CN112669671B (zh) | 一种基于实物交互的混合现实飞行仿真*** | |
Yasui et al. | Immersive virtual reality supporting content for evaluating interface using oculus rift and leap motion | |
CN107838921A (zh) | 一种基于vr的机器人培训*** | |
CN105898275A (zh) | 虚拟现实图像校准方法及装置 | |
Wang et al. | An augmented reality application framework for complex equipment collaborative maintenance | |
CN110457227A (zh) | 辅助开发人员或学生进行vr应用开发的***及开发方法 | |
Friz | Design of an Augmented Reality User Interface for an Internet based Telerobot using Multiple Monoscopic Views | |
Ong et al. | A brief introduction of VR and AR applications in manufacturing | |
TWI622864B (zh) | 開放型互動式3d工具機模擬系統及其方法 | |
Tripicchio et al. | A 6-DOF haptic manipulation system to verify assembly procedures on CAD models | |
Wagner et al. | ProVAR assistive robot interface | |
Bickel | 3D realtime simulation and VR-tools in the manufacturing industry | |
Sitko et al. | Perceptive review of augmented reality applications and their outlooks in the forging industry | |
CN115229814B (zh) | 潜水器收放***中机械手仿真***的设计方法及控制方法 | |
Clergeaud et al. | 3D collaborative interaction for aerospace industry | |
Xia | New thinking on the “VR+” path of virtual reality industry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170613 |
|
RJ01 | Rejection of invention patent application after publication |