CN113641239A - 用于沉浸式人机交互的方法 - Google Patents
用于沉浸式人机交互的方法 Download PDFInfo
- Publication number
- CN113641239A CN113641239A CN202110455411.XA CN202110455411A CN113641239A CN 113641239 A CN113641239 A CN 113641239A CN 202110455411 A CN202110455411 A CN 202110455411A CN 113641239 A CN113641239 A CN 113641239A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- virtual
- simulation
- simulated
- plc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004088 simulation Methods 0.000 claims abstract description 98
- 230000008859 change Effects 0.000 claims abstract description 20
- 230000000704 physical effect Effects 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract 3
- 238000012806 monitoring device Methods 0.000 claims description 26
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 4
- 230000035515 penetration Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000008846 dynamic interplay Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims 2
- 230000001276 controlling effect Effects 0.000 claims 1
- 230000001105 regulatory effect Effects 0.000 claims 1
- 238000012800 visualization Methods 0.000 abstract description 10
- 238000004574 scanning tunneling microscopy Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000009776 industrial production Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
- G05B19/4069—Simulating machining process on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40131—Virtual reality control, programming of manipulator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40356—Kinetic energy, content and distribution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Programmable Controllers (AREA)
Abstract
本发明涉及用于在虚拟现实中与工业自动化装置的虚拟机械操作件沉浸式人机交互的方法和设施，通过与操作件交互将输入信息传至工业自动化装置的组件。在用于刚体模拟的模拟装置中为操作件建模，将操作件映射在虚拟现实中，由虚拟现实检测与显示的操作件的交互，从检测的虚拟交互的第一参数计算关于对操作件的模拟物理作用的第二参数，将第二参数传至模拟装置，借助建模的操作件由模拟装置将第二参数用于模拟操作件的至少一部分的运动，决定是否通过模拟的运动产生操作件的开关状态改变，至少在开关状态改变的情况下将开关状态或开关状态改变作为输入信息报给组件。由此确保机器模拟和机器可视化间的严格区分并真实记录和映射操作件的虚拟操作。
Description
技术领域
本发明涉及用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的方法以及用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的设施。
背景技术
在工业环境中，诸如虚拟和增强现实(VR、AR)的沉浸式技术或诸如CAVE(洞穴式自动虚拟环境)的虚拟环境变得越来越重要。沉浸式表示虚拟现实在很大程度上被认为是真实的。特别地，在虚拟现实中的机器(特别是机器或机器控制器或在此使用的操作和监视设备)的用户界面和操作件的交互可视化实现了充满希望的应用。
在虚拟试运行期间，在编程或“上传”到真实机器之前，要在模拟环境中测试机器或相关工业自动化组件(可编程逻辑控制器、操作和监视设备等)的控制程序和参数化，以便尽早发现错误并防止可能的间接损失。在虚拟训练中，操作人员学习如何用机器模拟来操作机器，以减少真实机器的培训和停机时间。虚拟用户测试用于优化机器或工业装置的可用性。
在该背景下，必须找到在沉浸式环境(例如虚拟现实头盔)内尽量真实地提供人机界面以及人与机之间的交互的可行方案。培训应用特别要求用户在虚拟现实中遇到与以后在真实机器处遇到的情况相同的交互象征。
在当前的常规***中，虚拟的现实(VR(虚拟现实)、AR(增强现实))中人机交互的模拟大部分是通过预定义的交互例程(例如脚本)实现的。这些在用于创建虚拟现实的***中已完全定义。例如，如果要映射按钮，则将其运动行为(例如可移动性)在用于虚拟显示的***中永久编程，并由用户通过相应的输入(例如按下虚拟现实控制器上的按钮，即一种远程控制)触发。虚拟现实的***由此触发通常与机器或操作和监视设备的技术功能直接关联的事件。在上述例子中，例如检测按钮***作以及进给件被接通等等。在此，在虚拟现实***侧因此重新实现了人机界面与机器控制器的逻辑互连，即为了可视化目的而两次实现了机器构造的一个方面。
由于通常避免这种附加的工程规划开销，因此在商用的工业虚拟现实***中的交互可行方案通常非常受限。
在虚拟现实***中在用户和操作件(例如按钮)之间的交互的限定与这些脚本的集成还具有以下缺点，即在模拟的装置改变并因此改变了真实的操作件的情况下，每次必须调适虚拟现实的***。
发明内容
因此，本发明的目的是给出用于在沉浸式环境中对人机交互进行真实模拟的设施和方法，其中一方面应减少工程规划开销并且另一方面应能在虚拟现实中尽可能逼真地操纵机械操作件。
当前目的的根据本发明的解决方案的核心构思在于，严格保持机器模拟和机器可视化(即虚拟现实***)的分离，其中通过物理中介或交互模拟对机械操作件进行通用处理，并且其中必要时实现操作和监视***(HMI(人机界面)***)的屏幕输出到机器可视化中的集成。
该目的尤其通过本发明的方法和设施来实现。
在此提出一种用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的方法，其中通过与操作件的交互将输入信息传输至工业自动化装置的组件。在第一步骤中，在用于刚体模拟的模拟装置中对机械操作件进行建模，其中在第二步骤中，将机械操作件映射在虚拟现实中，其中在第三步骤中，通过虚拟现实检测与被显示的操作件的交互，其中从检测到的虚拟交互的第一参数计算关于作用于操作件的模拟物理作用的第二参数，其中在第四步骤中，将第二参数传送至模拟装置，其中在第五步骤中，借助于建模的操作件通过模拟装置将第二参数用于模拟操作件的至少一部分的运动，其中决定是否通过模拟的运动产生操作件的开关状态改变，并且其中在第六步骤中，至少在开关状态改变的情况下将开关状态或开关状态改变作为输入信息报告给组件。通过该方法确保了机器模拟和机器可视化的严格分离。这导致在使用不同的沉浸式环境(VR头盔、CAVE、平板电脑、AR头盔)方面具有更大的灵活性，可以在多个节点处更好地分配计算负载并改善数据一致性，因为机器行为被连续地描述在设计***中，其中机器专用技术保留在模拟环境中，也就是保存在工程规划***中。通过这种分离能够更容易在虚拟现实中实施机器的可访问性和“可用性”的交互式优化。
该目的还通过一种用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的设施来实现，其中，该设施设置成借助于与操作件的交互将输入信息传输至工业自动化装置的组件，设施具有用于生成和可视化虚拟现实的***，并且其中，机械操作件被映射在虚拟现实中。在此设有用于机械操作件的刚体模拟的模拟装置，其中，虚拟现实设置用于检测与被显示的操作件的交互，其中设计从检测到的虚拟交互的第一参数计算关于作用于操作件的模拟物理作用的第二参数，其中，虚拟现实设置用于将第二参数传送至模拟装置，其中模拟装置设置用于根据第二参数借助于建模的操作件来模拟操作件的至少一部分的运动，其中，模拟装置设计用于决定是否通过模拟的运动产生操作件的开关状态改变，并且其中，模拟装置设置用于至少在实现的开关状态改变的情况下将开关状态改变或开关状态作为输入信息报告给组件。通过这种设施，可以实现已根据该方法说明的优点。
根据本发明的方法的有利的改进方案及其优点也相应地适用于根据本发明的设施，并且反之亦然。有利的变体方案既可以单独实施，也可以在适合的组合中实施。
在模拟中，有利地将模拟的有质量物体、特别是杠杆、按钮、开关或其他的可移动元件用作操作件的至少一部分。因此，与操作件(用户界面上的软按键、传感器按钮、光栅或类似物)的无显著质量的物体相比，可以更好地模拟许多真实操作件的操作行为。特别地，这减少了由于意外“触摸”而可能发生的操作错误。在现有技术中，为了映射这样的按钮等，人们必须拿起真实的操作件，而用于游戏机等的控制器类型的所谓的虚拟现实控制器可以通过模拟有质量物体来真实地映射机械解决方案的动力。在此，至少将力、力转矩对或另外的动力交互动态作用作为第二参数施加到模拟的有质量物体上。虚拟操作动作能通过如下方式进一步近似于真实操作动作，即经由虚拟现实利用映射的操作件将关于虚拟手或虚拟手指或其他身体部位的方向和穿透的第一值确定为第一参数，其中随后从这些第一值计算第二参数以计算作用于模拟的有质量物体的模拟作用。
如果工业自动化装置包括带有屏幕输出的设备，则该设备的几何体也被映射在虚拟现实中。屏幕输出是在工业自动化装置的模拟环境中生成的，尤其是通过对操作和监视设备(HMI模拟)的模拟生成的，并且以用于制成的视频纹理(“像素缓冲器”)的图像文件、流等形式传输至虚拟现实，并在此显示在虚拟操作和监视设备的示出的壳体几何体或示出的屏幕表面中。这表示，对操作和监视设备或甚至带有其原始程序代码的真实操作和监视设备的真实模拟可以生成屏幕输出，从而在其中只能仿制一个壳体、例如一个面板或另外的工业操作站，并且虚拟现实可以从外部获得屏幕内容作为图像并将其输出到显示的壳体上。因此，在该有利变体方案中，虚拟现实不用于生成屏幕输出或其内容，其反而可以从专门的模拟***、甚至真实单元获得。因此，具有屏幕输出的设备可以是真实的设备，也可以是模拟的操作和监视设备，其中虚拟现实的输入和/或从动力学刚体模拟生成的模拟工业过程的输入参数和/或状态信息可用于真实的或模拟的操作和监视设备，其中，将真实的或模拟的操作和监视设备的输出传输至虚拟现实并在该处利用或以操作和监视站的成像进行显示。如果将真实的操作和监视设备集成到工业自动化装置的模拟中，则这也称为“硬件在环(hardware-in-the-loop)集成”。这表示将一个真实的***链接到一个模拟***，这在几乎不包含机械件的***中特别有用，例如用于操作和监视任务的计算机通常是这种情况。
在一个有利的变体方案中，(仿真的或模拟的)虚拟可编程逻辑控制器可以用作组件，其中，该虚拟可编程逻辑控制器执行被设定用于真实自动化装置的自动化程序，并且其中，在虚拟可编程逻辑控制器中执行该自动化程序时，可以将确定的改变要求用于修改自动化程序，并且其中将已改变的自动化程序用在真实自动化装置中。因此，通过利用虚拟现实操作模拟***所获得的经验可以导致自动化程序的改进，从而可以优化由其操作的真实自动化装置。
在一个有利的变体方案中，将用于工业过程或工业生产的模拟装置与虚拟可编程逻辑控制器连接，其中该虚拟可编程逻辑控制器借助与过程模拟装置的双向数据交换来调节和/或控制利用过程模拟装置模拟的工业过程或工业生产。
在一个有利的实施方式中，通过用于刚体模拟的模拟装置将关于模拟的运动的第二参数或第三参数传输至虚拟现实，由此根据传输的参数来适配操作件的显示。由此，例如是压力按钮、杠杆或者开关的操作件的运动可以在虚拟现实中真实地显示出来。优点在于，用户通过其在操作件上的操作动作获得直接的视觉反馈以及可能的声音反馈。这在为训练目的构造的***中是特别有利的，因为可以用其完全和真实地(“沉浸式”)训练复杂的操作模式。
附图说明
下面借助附图阐述根据本发明的方法的实施例。该实施例同时用于阐述根据本发明的设施。
图1示出了虚拟现实的示意图。该虚拟现实具有示出的带有虚拟机械或机电的操作件的工业控制面板、以及带有刚体模拟、虚拟控制器及操作和监视设备仿真的模拟环境。
具体实施方式
在图1中，在左侧示出模拟环境SU，在本示例中，该模拟环境SU包括用于刚体模拟STM的模拟装置、操作和监视设备HMI-E的仿真(HMI模拟；HMI＝人机接口)以及模拟的可编程逻辑控制器V-PLC(虚拟可编程逻辑控制器)。如图所示，上述三个单元可以作为单独进程在公共硬件平台上运行，但是它们也可以是完全独立的***，其可以通过数据网络进行通信。特别地，还能在数据云中实现所示的单个或所有模拟装置。此外，可以特别用非模拟的可编程逻辑控制器或操作和监视设备代替虚拟可编程逻辑控制器V-PLC和/或对操作和监视设备HMI-E的仿真，因此涉及硬件在环装置。
在图的右侧示出了沉浸式环境IU，也就是说，用户可以在其中具有真实的虚拟体验，尤其可以体验工业自动化装置的组件的操作的环境。在本示例中，沉浸式环境IU包括用于生成虚拟现实的特殊计算机***(未示出)、数据眼镜VR-HS(虚拟现实显示器)、未示出的用于检测手或其他身体部位的运动的装置、以及在此未显示的运动空间。与模拟环境SU分开地建立用于产生沉浸式环境IU的计算机***。两个***之间只有数据连接。
将示意图简化为基本件。特别地，虚拟可编程逻辑控制器V-PLC通常具有到另一模拟***的数据连接，以用于要控制的工业过程或工业生产。以这样的方式设计模拟环境SU，从而在功能上充分地模拟工业自动化装置并且可以在模拟中操作工业自动化装置。
为了在虚拟现实(沉浸式环境IU)中显示工业自动化装置，假定自动化世界中的大多数元素已经在数字孪生的范畴中以结构伴随的形式作为模拟环境SU的模拟模型存在，由此使得机器或者元素的所有技术上相关的方面都可以通过适当的模拟器映射。这涉及几何、即机器的几何描述，其例如呈数据的形式，其还包括操作设备(面板、开关等)，包括用于刚体力学的多体模拟，其中可以模拟机器的所有机械部件在外力作用下的运动，其还包括机械操作元件(如按钮或调节轮)的动力。还假设通过操作和监视设备HMI-E的模拟可以模拟并生成操作***的图形用户界面。虚拟可编程逻辑控制器V-PLC模拟机器或设备的所有控制程序的流程行为。因此，该控制器还与多体模拟、尤其是刚体模拟STN、仿真的操作和监视设备HMI-E以及用于工业过程或工业生产的模拟(未显示)通信。
沉浸式环境IU用于机器模型的图形表示(渲染)和通用用户输入NI(用户交互)的处理、手和头部位置的跟踪(尤其是光标坐标C-KOR)以及反馈的显示(特别是示出的操作件的改变的位置L)，而包括人机界面的机器的操作行为的所有方面以及操作和监视设备的显示都被映射在模拟环境SU内。为了可视化，将机器的几何描述(几何体G)以简化的形式传输至沉浸式环境IU中并在沉浸式环境中显示，沉浸式环境在实施例中作为操作面板的壳体。
针对人机交互，将机械操作元件(杠杆、按钮、旋钮)与虚拟的操作元件(例如操作屏幕上的软按键)和显示器等进行区分。
下面示例性地说明在沉浸式环境IU中检测到的用户的手指的人机交互、即用户交互NI。操作件例如是按钮，比如紧急停止按钮，其在左下方的沉浸式环境IU中示出的操作面板的几何体G上以圆圈示出。
沉浸式环境IU一旦检测到用户手指与所示操作件的碰撞或穿透，就会建立检测到的虚拟交互的第一参数。例如，这可以是穿透的方向和“深度”。根据这些第一参数，通过在操作件上的模拟物理作用来计算第二参数。这表示例如根据交互NI的运动来确定力F。例如，这可以通过确定通过虚拟操作路径的成比例的力F来实现，也就是确定操作件被手指穿透的力。然而，也可以假设动力，使得致动过程的速度成比例地包括在力F或假定的脉冲(此处未使用)等中。
然后，将操作件和第二参数(此处示例性地为力F)的标识从沉浸式环境IU(即用于虚拟现实的专用计算机***)传输至模拟环境SU、特别是在用于刚体模拟STM的模拟装置中。
机械操作元件或操作件在刚体模拟STM中显示为有质量物体，可以通过在其运动学自由度(旋转、平移)的范畴中施加力和转矩来使其移动。因此，这里考虑操作件的开关逻辑、即按钮，因此其可以根据按钮主体的当前位置来表示。为此，根据数据技术将用于模拟装置STM的机械操作件建模为例如具有模拟能力的数字孪生、方程***、模拟对象等。在刚体模拟STM中，操作装置或其可移动部件现在对应于第二参数，也就是说，由操作过程确定的力F或者脉冲等被运用到操作件和任何与之连接的弹簧、锁定元件等的模拟的有质量物体上。
刚体模拟STM计算操作件的得出的运动，在此处示出的按钮的情况下计算按钮头部的运动，其在图中由坐标X表示。如果计算的运动(坐标X)超过阈值(此处：X>0)，则确定操作件已更改其状态，这特别表示开关已触发或已按下“紧急停止”。开关状态或操作件当前有效的开关状态的这种改变被传送到虚拟可编程逻辑控制器V-PLC并用信号传输至(虚拟)输入端。
虚拟可编程逻辑控制器V-PLC中可以运行自动化程序，其例如控制生产站。一旦开关状态改变被信号传输到该V-PLC控制器，自动化程序即会做出相应的反应，例如以实施紧急停止的方式。有关自动化程序的新“紧急停止”状态的相应信息也被传输至仿真的控制和监视设备HMI-E。由此，操作和监视设备HMI-E的画面输出发生改变，例如在画面等处输出红色的停止信号，并将该改变后的画面输出处理为改变后的图像数据或改变后的部分图像数据。以下将这些图像数据称为像素缓冲器PB。像素缓冲器PB被传输至沉浸式环境IU并在那里以视频纹理VT的形式显示在具有几何体G的屏幕区域上，以使沉浸式环境IU的用户具有对带有几何体G和像素缓冲器PB的屏幕内容的真实控制面板的印象。为了在所示的操作面板上处理其他输入，可以将光标坐标C-KOR和相应的已注册输入(例如虚拟触摸屏上的触摸)传输至仿真的操作和监视设备HMI-E。
根据在此选择的示例，虚拟可编程逻辑控制器V-PLC还可以将停止模拟工业过程的信息转发到工业过程的模拟(未显示)。如果在模拟中未正确执行此操作，则自动化程序中可能存在错误，该错误由虚拟可编程逻辑控制器V-PLC处理。然后可以优化自动化程序，直到其正常运行为止。这样优化的自动化程序然后可以用于真实自动化装置中的修正。
借助刚体模拟STM，可以根据按钮主体的当前位置来表示按钮的开关逻辑，并例如以布尔信号(或替代地作为与偏差X成比例的模拟或数字信号)提供给虚拟可编程逻辑控制器V-PLC。从外部看，通过在按钮主体上施加压力触发机器功能，其恰好对应于用户的真实期望。针对沉浸式环境IU的侧，确定力转矩对就足够了，该力转矩对被传输到模拟环境SU、特别是刚体模拟STM并在那里施加到相应的刚体模拟。操作元件的由此得出的改变随后传递回沉浸式环境IU以进行可视化。这表示，所示的操作件然后相应地改变其在显示器中的位置，以便向用户提供适当的反馈。可以从用户的“跟踪的”手部运动确定这种交互动力，并在碰撞分析的意义上考虑与操作元件的几何表示的接近程度。
虚拟的操作元件(例如GUI小部件、传感器按钮、虚拟按钮等)是所示几何图形的操作屏幕的一部分，并通过操作和监视设备HMI-E的仿真在模拟环境SU中被处理。通常，该仿真HMI-E会消耗来自标识设备的这些输入事件(光标坐标C-KOR、鼠标的击键、触摸输入等)，并将屏幕输出呈现在像素缓冲器PB中，其在真实的机器处在显示器(HMI面板)上将以屏幕输出(视频纹理)的形式显示。为了在沉浸式环境IU的方面实现此行为，根据需要将像素缓冲器PB从模拟环境SU转移到沉浸式环境IU，并在那里以视频纹理的形式集成机器几何体(几何体G)的显示中。作为回报，交互所必需的输入事件(光标坐标C-KOR、击键)也从用户的身体运动和/或虚拟现实硬件(例如控制器)的适当交互可行方式生成，并通过网络传输至模拟环境SU中。
机器模拟和机器可视化的严格分离可提高不同沉浸式环境(VR头盔、CAVE、平板电脑、AR头盔)的灵活性。也可以在多个节点处分配处理负载。由于在设计***中一致地描述了机器行为，专有技术仍保留在模拟环境中，尤其在计划了模拟工业自动化装置的软件和硬件的基础工程***中，因此提高了数据一致性。
人机交互的通过力/转矩(交互动力)的物理方面的调解可以对机械操作元件进行非常常规的处理。尤其在沉浸式环境中，不需要任何有关可能需要手动建模的机器设计功能方面的信息。根据对物理模拟精度的要求，操作元件的行为还与真实情况完全相同，培训应用从其中受益。通过将HMI仿真嵌入到三维可视化的机器几何结构(视频纹理)中，还可以真实地映射整个HMI***，这里还要求不将有关操作***内部逻辑的任何信息传输至沉浸式环境中。
Claims (16)
1.一种用于在虚拟现实(IU)中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互(NI)的方法，
其中，通过与所述操作件的交互将输入信息传输至所述工业自动化装置的组件(V-PLC)，
其特征在于，
在第一步骤中，在用于刚体模拟的模拟装置(STM)中对机械操作件进行建模，
在第二步骤中，将机械操作件映射在所述虚拟现实(IU)中，
在第三步骤中，通过所述虚拟现实(IU)检测与被显示的所述操作件的交互，其中，从检测到的虚拟交互的第一参数计算关于作用于所述操作件的模拟物理作用的第二参数(F)，
在第四步骤中，将所述第二参数传送至所述模拟装置(STM)，
在第五步骤中，借助于建模的所述操作件，通过所述模拟装置(STM)将所述第二参数(F)用于模拟所述操作件的至少一部分的运动(X)，其中，决定是否通过模拟的所述运动(X)产生所述操作件的开关状态改变，并且
在第六步骤中，至少在开关状态改变的情况下将开关状态或开关状态改变作为输入信息报告给所述组件(V-PLC)。
2.根据权利要求1所述的方法，其特征在于，在所述模拟中将模拟的有质量物体用作为所述操作件的至少一部分，所述有质量物体特别是杠杆、按钮、开关或其他的可移动元件，其中，至少将力、力转矩对或另外的动力交互动态作用作为所述第二参数(F)施加到模拟的所述有质量物体上。
3.根据前述权利要求中任一项所述的方法，其特征在于，利用映射的所述操作件，通过所述虚拟现实(IU)将关于手或手指的方向和穿透的第一值确定为所述第一参数并且用于计算所述第二参数(F)。
4.根据前述权利要求中任一项所述的方法，其特征在于，所述工业自动化装置包括具有屏幕输出(PB)的设备，其中，所述屏幕输出被传输至所述虚拟现实(IU)并在所述虚拟现实中显示。
5.根据权利要求4所述的方法，其特征在于，所述设备是模拟的操作和监视设备(HMI-E)，其中，使用来自所述虚拟现实(IU)的输入和/或在所述第六步骤中被传输的用于所述模拟的操作和监视设备(HMI-E)的输入参数，并且其中，将所述模拟的操作和监视设备(HMI-E)的输出传输至所述虚拟现实(IU)并利用操作和监视站(G)的成像显示在所述虚拟现实处。
6.根据前述权利要求中任一项所述的方法，其特征在于，将虚拟可编程逻辑控制器(V-PLC)用作所述组件(V-PLC)，其中，所述虚拟可编程逻辑控制器(V-PLC)执行被设定用于真实自动化装置的自动化程序，并且其中，在所述虚拟可编程逻辑控制器(V-PLC)中执行所述自动化程序时将确定的改变要求用于修改所述自动化程序，并且其中，将已改变的所述自动化程序用在所述真实自动化装置中。
7.根据权利要求6所述的方法，其特征在于，将用于工业过程的过程模拟装置与所述虚拟可编程逻辑控制器(V-PLC)连接，其中，所述虚拟可编程逻辑控制器(V-PLC)借助与所述过程模拟装置的双向数据交换来调节和/或控制利用所述过程模拟装置模拟的工业过程。
8.根据前述权利要求中任一项所述的方法，其特征在于，通过所述模拟装置(STM)将关于模拟的所述运动(X)的所述第二参数(F)或第三参数传输至所述虚拟现实(IU)，随后通过所述虚拟现实根据传输的参数来适配所述操作件的显示。
9.一种用于在虚拟现实(IU)中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互(NI)的设施，
其中，所述设施设置成由于与操作件的交互(NI)将输入信息传输至所述工业自动化装置的组件(V-PLC)，
所述设施具有用于生成和可视化所述虚拟现实(IU)的***，并且
其中，机械操作件被映射在所述虚拟现实(IU)中，
其特征在于，
设有用于机械操作件的刚体模拟的模拟装置(STM)，
所述虚拟现实(IU)设置用于检测与被显示的所述操作件的交互(NI)，其中设置有，从检测到的虚拟交互的第一参数计算关于作用于所述操作件的模拟物理作用的第二参数(F)，
所述虚拟现实(IU)设置用于将所述第二参数(F)传送至所述模拟装置(STM)，
所述模拟装置(STM)设置用于根据所述第二参数(F)借助于建模的所述操作件来模拟所述操作件的至少一部分的运动(X)，其中，所述模拟装置(STM)设计用于决定是否通过模拟的所述运动(X)产生所述操作件的开关状态改变，并且
所述模拟装置(STM)设置用于至少在实现开关状态改变的情况下将开关状态改变或开关状态作为输入信息报告给所述组件(V-PLC)。
10.根据权利要求9所述的设施，其特征在于，在所述模拟装置(STM)中，机械操作件具有模拟的有质量物体、特别是杠杆、按钮或开关，其中，所述模拟装置(STM)设置用于至少将力、力转矩对或另外的动力交互动态作用作为所述第二参数(F)施加到模拟的所述有质量物体上。
11.根据权利要求9或10所述的设施，其特征在于，所述工业自动化装置包括具有屏幕输出(PB)的设备，其中设置有，将所述屏幕输出(PB)传输至所述虚拟现实(IU)并在所述虚拟现实中显示。
12.根据权利要求9至11中任一项所述的设施，其特征在于，设备是模拟的操作和监视设备(HMI-E)，其中设置有，使用来自所述虚拟现实(IU)的输入和/或在第六步骤中被传输的用于所述模拟的操作和监视设备(HMI-E)的输入参数，并且其中设置有，将所述模拟的操作和监视设备的输出(PB)传输至所述虚拟现实(IU)并利用操作和监视站(G)的成像显示在所述虚拟现实处。
13.根据权利要求9至12中任一项所述的设施，其特征在于，所述组件(V-PLC)是虚拟可编程逻辑控制器(V-PLC)，其中，所述虚拟可编程逻辑控制器(V-PLC)包括被设定用于真实自动化装置的自动化程序，并且其中设置有，在所述虚拟可编程逻辑控制器(V-PLC)中执行所述自动化程序时将确定的改变要求用于修改所述自动化程序，并且将已修改的所述自动化程序用在所述真实自动化装置中。
14.根据权利要求13所述的设施，其特征在于，将用于工业过程的过程模拟装置与所述虚拟可编程逻辑控制器(V-PLC)连接，其中，所述虚拟可编程逻辑控制器(V-PLC)设置用于借助与所述过程模拟装置的双向数据交换来调节和/或控制利用所述过程模拟装置模拟的工业过程。
15.根据权利要求9至14中任一项所述的设施，其特征在于，所述模拟装置(STM)设置用于将关于模拟的所述运动(X)的所述第二参数(F)或第三参数传输至所述虚拟现实(IU)，随后设置有，通过所述虚拟现实(IU)根据传输的参数来适配所述操作件的显示。
16.根据权利要求9至15中任一项所述的设施，其特征在于，在所述设施中设有用于生成所述虚拟现实(IU)的单独计算装置，所述单独计算装置具有单独硬件和/或单独软件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20171528.1A EP3904984B1 (de) | 2020-04-27 | 2020-04-27 | Verfahren für eine immersive mensch-maschine-interaktion |
| EP20171528.1 | 2020-04-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113641239A true CN113641239A (zh) | 2021-11-12 |
Family
ID=70470862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110455411.XA Pending CN113641239A (zh) | 2020-04-27 | 2021-04-26 | 用于沉浸式人机交互的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210333786A1 (zh) |
| EP (1) | EP3904984B1 (zh) |
| CN (1) | CN113641239A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024033695A1 (en) * | 2022-08-09 | 2024-02-15 | Instituto Tecnológico y de Estudios Superiores de Monterrey | Simulation system and method |
| DE102022122955A1 (de) | 2022-09-09 | 2024-03-14 | Krones Aktiengesellschaft | Verfahren und Vorrichtung zum simulierten Umgang in Echtzeit mit einer Behälterbehandlungsmaschine |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009022B2 (en) * | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
| US11256224B2 (en) * | 2014-10-01 | 2022-02-22 | Rockwell Automation Technologies, Inc. | Virtual design engineering |
| CN106680827A (zh) * | 2016-11-04 | 2017-05-17 | 乐视控股（北京）有限公司 | 一种密闭空间中的定位***以及相关方法和装置 |
| US10735691B2 (en) * | 2016-11-08 | 2020-08-04 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| DE102017203329A1 (de) * | 2017-03-01 | 2018-09-06 | Siemens Aktiengesellschaft | Verfahren und Simulationsvorrichtung zur Simulation zumindest eines Bauteils |
-
2020
- 2020-04-27 EP EP20171528.1A patent/EP3904984B1/de active Active
-
2021
- 2021-04-26 US US17/239,806 patent/US20210333786A1/en active Pending
- 2021-04-26 CN CN202110455411.XA patent/CN113641239A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20210333786A1 (en) | 2021-10-28 |
| EP3904984B1 (de) | 2023-03-01 |
| EP3904984A1 (de) | 2021-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104002296B (zh) | 机器人模拟器、机器人示教装置以及机器人示教方法 | |
| De Giorgio et al. | Human-machine collaboration in virtual reality for adaptive production engineering | |
| US10751877B2 (en) | Industrial robot training using mixed reality | |
| Nee et al. | Virtual and augmented reality applications in manufacturing | |
| Safaric et al. | Telerobotics experiments via internet | |
| KR20030024681A (ko) | 3차원 휴먼 컴퓨터 인터페이스 | |
| CN104470687A (zh) | 机器人模拟器、机器人示教装置以及机器人示教方法 | |
| CN113641239A (zh) | 用于沉浸式人机交互的方法 | |
| Berkelman et al. | Interaction with a real time dynamic environment simulation using a magnetic levitation haptic interface device | |
| CN107257946B (zh) | 用于虚拟调试的*** | |
| Jen et al. | VR-Based robot programming and simulation system for an industrial robot | |
| Lambrecht et al. | Markerless gesture-based motion control and programming of industrial robots | |
| Ehmann et al. | The idea of Virtual Teach-In in the field of industrial robotics | |
| CN109213306B (zh) | 一种机器人远程控制平台及其设计方法 | |
| US10940589B2 (en) | Haptic system and operating method | |
| Araque et al. | Augmented reality motion-based robotics off-line programming | |
| Sibona et al. | PoinTap system: a human-robot interface to enable remotely controlled tasks | |
| JP3076841B1 (ja) | 実環境適応型ロボットの教示プログラム作成方法 | |
| Niesen et al. | Virtual dynamic prototyping for operator interface design | |
| Liu et al. | Data and model hybrid-driven virtual reality robot operating system | |
| RU2813444C1 (ru) | Система взаимодействия человек-робот на основе смешанной реальности | |
| Bejczy | Challenges of human-robot communication in telerobotics | |
| Gîrbacia et al. | AR-based off-line programming of the RV-M1 robot | |
| Nahari | Creating a Data Acquisition Platform for Robot Skill Training | |
| Boud et al. | A new method for off-line robot programming: Applications and limitations using a virtual environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |