CN106157377B - 一种面向智能制造的实时三维可视化虚拟监控的匹配方法 - Google Patents
一种面向智能制造的实时三维可视化虚拟监控的匹配方法 Download PDFInfo
- Publication number
- CN106157377B CN106157377B CN201610699665.5A CN201610699665A CN106157377B CN 106157377 B CN106157377 B CN 106157377B CN 201610699665 A CN201610699665 A CN 201610699665A CN 106157377 B CN106157377 B CN 106157377B
- Authority
- CN
- China
- Prior art keywords
- real
- virtual
- scene
- time
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012800 visualization Methods 0.000 title claims abstract description 21
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 28
- 238000011022 operating instruction Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向智能制造的实时三维可视化虚拟监控的匹配方法，该方法通过前馈反馈复合控制的行为状态匹配，以实时数据驱动，实现面向智能化制造车间的三维虚拟监控；首先将车间各被监控智能设备的动作序列分解，然后根据运行逻辑将动作序列排序，通过前馈控制方法预测虚拟模型下一步动作，接着根据智能设备实时反馈的状态数据结合预测动作进行优化匹配，从而得到当前运动指令并驱动三维模型；通过该方法能够有效提高三维可视化虚拟监控中模型动作的实时性和准确性，实现对虚拟场景的优化，从而提高对制造车间的三维虚拟监控的实时性和真实场景感。
Description
技术领域
本发明属于控制方法技术领域，尤其是一种面向智能制造的实时三维可视化虚拟监控的匹配方法。
背景技术
可视化作为智能制造中的一个重要技术，近年来越来越受到人们的关注及重视。实时三维可视化虚拟监控与视频监控的本质区别在于两点：区别一，实时三维可视化虚拟监控在电脑里所表现的物理场景是通过三维建模技术实现的，因此称为“虚拟监控”。中国发明专利“面向实时虚拟监控的数字化车间三维建模方法”（专利申请号：201510684216.9）详细说明了如何进行面向实时虚拟监控的三维建模技术；区别二，实时三维可视化虚拟监控是由实时数据驱动反应各个设备的物理状态和性能，而视频监控只能表现各个设备的外观外貌。
但目前的可视化多集中在二维的图表展示，对于三维可视化虚拟监控的方法和策略也有相关的报道。例如中国发明专利“面向实时虚拟监控的数字化车间三维建模方法”（专利申请号：201510684216.9）专注于可视化监控中物理空间到虚拟空间的3D映射建模方法；中国发明专利“超大规模智能电能表自动化检测仿真模拟***”（专利申请号：201210442989.2）专注于整个模拟***的搭建和unity3D的特点优势；中国发明专利“基于Unity3D的电能表自动检定调度策略测试方法”（专利申请号：201310178410.0）专注于车间中各个物流设备调度策略的仿真实现；中国发明专利“一种3D产品在线体验***”（专利申请号：201210417098.1）专注于产品3D展示，然而三维的可视化主要用于离线仿真，没有实时状态数据驱动，缺少实时性；以上的报道也均不涉及如何通过实时状态数据驱动提供三维虚拟模型动作的实时性。但是目前的智能制造中数字化车间缺乏实时透明化的管控，迫切需要建设一套面向数字化车间的可视化三维虚拟监控***。与此同时，三维虚拟可视化监控中的三维模型要求实时数据驱动，然而由于数据采集、传输以及处理都需要消耗一定的时间，更重要的是，通过传感器传递上来的数据是反映当前智能设备的动作特征，所以受到数据驱动的虚拟模型动作必然具有较大的延时，因此有必要提出一种新的行为状态匹配方法来满足实时性要求；解决三维可视化虚拟监控中受到数据驱动的虚拟模型动作具有较大延时的问题是本领域技术人员厄待解决的技术难题。
发明内容
针对上述现有技术的不足，本发明提供了一种面向智能制造的实时三维可视化虚拟监控的匹配方法，能够解决三维可视化虚拟监控中受到数据驱动的虚拟模型动作具有较大延时的问题，提高了虚拟场景和实际场景的同步性，从而实现场景优化。
为解决上述技术问题，本发明采用的一个技术方案是：一种面向智能制造的实时三维可视化虚拟监控的匹配方法，包括以下步骤：
1）前馈控制部分：对实际场景中的设备动作进行预测，将预测动作作为前馈输出给虚拟场景中的设备模型，将虚拟场景与实际物理场景相匹配，使得虚拟场景内设备动作与实际设备动作保持一致，通过前馈控制方法对模型动作进行预测，使得虚拟场景与实际物理场景的数据相匹配，有效地提高了动作实时性；
2）反馈控制部分：通过实际场景中设备实时的数据状态对虚拟场景中的设备模型的动作进行修正，修正内容由下面步骤3）实现，将状态偏差作为反馈输出；
3）结合前馈控制和反馈控制，得到输入模型的动作指令，从而驱动虚拟场景的设备模型运动，根据反馈结果，如果虚拟设备模型动作延迟或者超前于实际设备动作，则相应提高或降低虚拟场景中设备模型的动作速率，使虚拟场景与物理场景的同步；通过前馈反馈复合的方式来得到输入的动作指令，从而优化整个虚拟场景。
进一步，所述的步骤1）的具体步骤为：
（1.1）将物理空间中制造车间设备的动作序列分解，按照工艺要求和作业行为规则排序为1，2，3……n，其中n为最后一步动作；
（1.2）在t 0时刻，读取外部传感器数据，得到当前外部动作输入；
（1.3）将当前外部动作输入与分解的动作序列进行比较，找到动作序列中与外部动作输入一致的动作，记为s，把序列中下一个动作s+1作为预测t 1时刻的下一步动作，将预测动作作为前馈输出。
进一步，所述的步骤2）的具体步骤为：得到实际场景中t 0时刻的实时状态数据，并从虚拟场景中读取当前虚拟模型状态信息，该状态信息为上一次循环最后t -1 时刻步骤3）输入后所得，将虚拟模型状态信息与实际场景中设备的实时状态数据进行比较，根据坐标位置判断虚拟模型动作是否延迟或者超前，得到当前场景状态偏差e，将偏差作为反馈输出。
进一步，步骤3）结合前馈和反馈输出，得到虚拟场景中接下来的运行指令，当偏差为0时，直接将步骤1）得到的前馈输出作为运行指令；当偏差不为0时，虚拟设备模型动作延迟或者超前于实际设备动作，则相应提高或降低虚拟场景中设备模型的动作速率。
进一步，上述得到的运行指令主要为前馈输出的预测动作，同时带有对模型动作速率的调整指令。
附图说明
图1是本发明一种面向智能制造的实时三维可视化虚拟监控的匹配方法的方法示意图；
图2是本发明一种面向智能制造的实时三维可视化虚拟监控的匹配方法的虚拟监控的步骤流程图。
具体实施方法
下面结合附图对本发明的实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，实施方式提及的内容并非对本发明的限定。
本发明的一种面向智能制造的实时三维可视化虚拟监控的匹配方法，应用于3D可视化的虚拟监控***，是一种将前馈和反馈相结合的方式，通过采用物联网技术采集的数据来驱动虚拟场景中智能设备的模型运动，具体步骤如下：
1）前馈控制部分，主要用于对实际场景中设备动作进行预测，将预测动作作为前馈输出给虚拟场景中的设备模型，使得虚拟场景与实际物理场景相匹配；
2）反馈控制部分，主要通过实际场景中设备实时的状态数据对虚拟场景中的设备模型动作进行修正，将状态偏差作为反馈输出，对虚拟模型行为修正，实现了实际场景与三维虚拟场景的优化匹配；
3）结合前馈输出和反馈输出，得到输入模型的动作指令，从而驱动虚拟场景的设备模型运动。
实施例1
如图1以及图2所示，以车间中AGV运输任务为例，具体步骤如下：
1）AGV的位置信息通过RFID技术读取，首先将AGV运输路径分成多个小段，每一个小段以RFID射频卡为基准，确保每一段上都有射频卡；通过上位机服务器得到当前AGV运输任务的具体行走路线，从而将分解的小路径段按照任务运行要求排序；当AGV运行过程中读到射频卡时，根据当前位置信息预测AGV要走的下一条路径，将下一条路径的射频***作为前馈输出；
2）当AGV运行过程中读到射频卡时，此时虚拟场景中AGV模型刚好走到该位置或者略有偏差，如果刚好走到该位置则偏差为0，将此时虚拟场景中的AGV位置信息作为反馈输入和实际读到的射频卡位置相比较，得出位置偏差并作为反馈输出；
3）结合前馈和反馈的输出，得到虚拟场景中AGV模型接下来的运行指令，偏差为0，则直接由前馈输出得到运行指令；如果偏差不为0，编写程序指令对虚拟场景中AGV速度进行暂时调整，当有延迟时，根据偏差量的大小相应提高速度，当超前时，相应减小速度，从而消除偏差，使得虚拟场景与实际场景匹配。
实施例2
以车间中机械手工作任务为例，具体步骤如下：
1）机械手上装有角度传感器和位置传感器，可以对当前机械手位置和角度进行精确感知。首先按照工艺要求建立机械手的动作序列。在机械手运行过程中，当上一个工序动作即将结束时，对照动作序列预测下一步动作，并将其作为前馈输出；
2）在上一个工序动作即将结束时，根据实时的位置传感器和角度传感器的信息以及虚拟场景中机械手现在的坐标位置得出当前位置偏差，将偏差作为反馈输出；
3）结合前馈和反馈的输出，得到虚拟场景中机械手模型接下来的动作指令，偏差为0，则直接由前馈输出得到动作指令；如果偏差不为0，编写程序指令对虚拟场景中机械手动作速率进行暂时调整，当有延迟时，根据偏差量的大小相应提高速率，当超前时，相应减小速率，从而消除偏差，使得虚拟场景与实际场景匹配。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所述方法，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (3)
1.一种面向智能制造的实时三维可视化虚拟监控的匹配方法，其特征在于包括以下步骤：
1）前馈控制部分：对实际场景中的设备动作进行预测，将预测动作作为前馈输出给虚拟场景中的设备模型，将虚拟场景与实际物理场景相匹配，使得虚拟场景内设备动作与实际设备动作保持一致，具体步骤如下：
（1.1）将物理空间中制造车间设备的动作序列分解，按照工艺要求和作业行为规则排序为1，2，3……n，其中n为最后一步动作；
（1.2）在t 0时刻，读取外部传感器数据，得到当前外部动作输入；
（1.3）将当前外部动作输入与分解的动作序列进行比较，找到动作序列中与外部动作输入一致的动作，记为s，把序列中下一个动作s+1作为预测t 1时刻的下一步动作，将预测动作作为前馈输出；
2）反馈控制部分：通过实际场景中设备实时的数据状态对虚拟场景中的设备模型的动作进行修正，将状态偏差作为反馈输出，具体步骤如下：
得到实际场景中t 0时刻的实时状态数据，并从虚拟场景中读取当前虚拟模型状态信息，将虚拟模型状态信息与实际场景中设备的实时状态数据进行比较，根据坐标位置判断虚拟模型动作是否延迟或者超前，得到当前场景状态偏差e，将偏差作为反馈输出；
3）结合前馈控制和反馈控制，得到输入模型的动作指令，从而驱动虚拟场景的设备模型运动，根据反馈结果，如果虚拟设备模型动作延迟或者超前于实际设备动作，则相应提高或降低虚拟场景中设备模型的动作速率，使虚拟场景与物理场景的同步。
2.根 据权利要求1所述的一种面向智能制造的实时三维可视化虚拟监控的匹配方法，其特征在于，步骤3）结合前馈和反馈输出，得到虚拟场景中接下来的运行指令，当偏差为0时，直接将步骤1）得到的前馈输出作为运行指令；当偏差不为0时，虚拟设备模型动作延迟或者超前于实际设备动作，则提高或降低虚拟场景中设备模型的动作速率。
3.根 据权利要求2所述的一种面向智能制造的实时三维可视化虚拟监控的匹配方法，其特征在于，得到的运行指令主要为前馈输出的预测动作，同时带有对模型动作速率的调整指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610699665.5A CN106157377B (zh) | 2016-08-22 | 2016-08-22 | 一种面向智能制造的实时三维可视化虚拟监控的匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610699665.5A CN106157377B (zh) | 2016-08-22 | 2016-08-22 | 一种面向智能制造的实时三维可视化虚拟监控的匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106157377A CN106157377A (zh) | 2016-11-23 |
| CN106157377B true CN106157377B (zh) | 2019-07-09 |
Family
ID=57343354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610699665.5A Active CN106157377B (zh) | 2016-08-22 | 2016-08-22 | 一种面向智能制造的实时三维可视化虚拟监控的匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106157377B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107861478B (zh) | 2017-10-17 | 2018-08-14 | 广东工业大学 | 一种智能车间平行控制方法及*** |
| CN107870600B (zh) * | 2017-10-17 | 2018-10-19 | 广东工业大学 | 一种智能车间透明监控方法及*** |
| CN107832497B (zh) * | 2017-10-17 | 2018-08-28 | 广东工业大学 | 一种智能车间快速定制设计方法及*** |
| CN108170077A (zh) * | 2018-02-01 | 2018-06-15 | 南京航空航天大学 | 一种面向数字化车间的实时3d可视化监控*** |
| CN109375595B (zh) * | 2018-10-25 | 2020-11-10 | 北京理工大学 | 一种车间可视化监控方法、装置及设备 |
| CN110631631A (zh) * | 2019-08-30 | 2019-12-31 | 南京中车浦镇城轨车辆有限责任公司 | 一种生产车间状态信息实时检测方法及*** |
| CN115390663B (zh) * | 2022-07-27 | 2023-05-26 | 上海合壹未来文化科技有限公司 | 一种虚拟人机交互方法、***、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102120325A (zh) * | 2010-01-08 | 2011-07-13 | 哈尔滨理工大学 | 新型遥操作远端机器人控制平台及方法 |
| CN103745648A (zh) * | 2013-12-30 | 2014-04-23 | 上海市机械施工集团有限公司 | 盾构机双模型仿真设备与方法 |
| CN103995929A (zh) * | 2014-05-15 | 2014-08-20 | 国家电网公司 | 一种智能用电成果展示*** |
| CN105260547A (zh) * | 2015-10-20 | 2016-01-20 | 南京航空航天大学 | 面向实时虚拟监控的数字化车间三维建模方法 |
-
2016
- 2016-08-22 CN CN201610699665.5A patent/CN106157377B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102120325A (zh) * | 2010-01-08 | 2011-07-13 | 哈尔滨理工大学 | 新型遥操作远端机器人控制平台及方法 |
| CN103745648A (zh) * | 2013-12-30 | 2014-04-23 | 上海市机械施工集团有限公司 | 盾构机双模型仿真设备与方法 |
| CN103995929A (zh) * | 2014-05-15 | 2014-08-20 | 国家电网公司 | 一种智能用电成果展示*** |
| CN105260547A (zh) * | 2015-10-20 | 2016-01-20 | 南京航空航天大学 | 面向实时虚拟监控的数字化车间三维建模方法 |
Non-Patent Citations (1)
| Title |
|---|
| 加入预测信息的反馈误差学习模型及其仿真研究;阮晓钢等;《***仿真学报》;20061130;第18卷(第11期);对比文件摘要，第1、3节，图1，图2 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106157377A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106157377B (zh) | 一种面向智能制造的实时三维可视化虚拟监控的匹配方法 | |
| Xu | Machine Tool 4.0 for the new era of manufacturing | |
| Kadir et al. | Towards high-fidelity machining simulation | |
| Zhang et al. | Application framework of digital twin-driven product smart manufacturing system: A case study of aeroengine blade manufacturing | |
| US11644803B2 (en) | Control system database systems and methods | |
| Zhu et al. | A cyber-physical production system framework of smart CNC machining monitoring system | |
| CN109947052B (zh) | 一种基于数字化ar技术的虚拟工厂制造执行***及方法 | |
| Hentz et al. | An enabling digital foundation towards smart machining | |
| CN105945946A (zh) | 一种基于g代码编程的六轴机械手运动控制方法 | |
| CN104252153A (zh) | Cnc加工程序生成***及方法 | |
| Elkaseer et al. | Approaches to a practical implementation of industry 4.0 | |
| Čech et al. | Digital twins and ai in smart motion control applications | |
| CN112585544B (zh) | 用于人工智能的基于可编程逻辑控制器的模块化加速模块 | |
| US20210026327A1 (en) | Intelligent predictive engine for management and optimization of machining processes for a computer numerical control (cnc) machine tool | |
| Ahmad et al. | Generation of safe and intelligent tool-paths for multi-axis machine-tools in a dynamic 2D virtual environment | |
| Lynn et al. | Realization of the 5-axis machine tool digital twin using direct servo control from cam | |
| Ahmad et al. | 3D safe and intelligent trajectory generation for multi-axis machine tools using machine vision | |
| Liu et al. | Data-driven and AR assisted intelligent collaborative assembly system for large-scale complex products | |
| KR102567947B1 (ko) | G-code를 이용한 3D 프린팅 관리 방법 및 장치 | |
| Ko et al. | A study on manufacturing facility safety system using multimedia tools for cyber physical systems | |
| Rahul et al. | Integrating virtual twin and deep neural networks for efficient and energy-aware robotic deburring in industry 4.0 | |
| Monek et al. | DES and IIoT fusion approach towards real-time synchronization of physical and digital components in manufacturing processes | |
| US10762699B2 (en) | Machining parameter automatic generation system | |
| Blank et al. | Hybrid environment reconstruction improving user experience and workload in augmented virtuality teleoperation | |
| CN111723473A (zh) | 一种三维可视化协同仿真*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |