CN108090572A - 一种海上风电场增强现实***及其控制方法 - Google Patents
一种海上风电场增强现实***及其控制方法 Download PDFInfo
- Publication number
- CN108090572A CN108090572A CN201711250639.5A CN201711250639A CN108090572A CN 108090572 A CN108090572 A CN 108090572A CN 201711250639 A CN201711250639 A CN 201711250639A CN 108090572 A CN108090572 A CN 108090572A
- Authority
- CN
- China
- Prior art keywords
- instrument
- module
- target instrument
- virtual
- electric field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005684 electric field Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000003862 health status Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 3
- 230000000704 physical effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000018199 S phase Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 claims 1
- 238000013500 data storage Methods 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种海上风电场增强现实***及其控制方法，***包括：场景获取模块，包括AR设备，用于获取海上风电场中的目标器械；跟踪模块，用于根据操作人员视角和AR设备中相机的位置计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据；虚拟融合与显示模块，配合跟踪模块，将虚拟对象与真实场景进行合并处理，将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，并最终显示给用户。本发明的海上风电场增强现实***通过将辅助操作人员工作的虚拟对象叠加到真实的场景中，从而帮助了操作人员在现场进行运维问题的决策与操作，提高了操作人员的工作效率，保障了风电场正常的工作。
Description
技术领域
本发明属于AR相关技术设计开发领域或属于海上风电场可视化运维决策***领域，尤其是涉及一种海上风电场增强现实***及其控制方法。
背景技术
海上风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(Augmented Reality增强现实)相关技术设计开发海上海上风电场可视化运维决策***，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，根据现场情况制定相应的运维策略。AR技术依据实际现场环境与设备状态设计触发点，将实时运行数据嵌入AR显示界面中，实现集控数据与现实场景并存，从而获得人机交互的体感。在基于AR的可视化运维决策***中现场维护人员通过所佩戴的AR设备对所要维修的对象进行识别，将相关的结构信息和实时运行数据附加在真实场景之上，制造出虚拟数据与现实场景共存的场景，帮助维护人员在现场进行运维问题决策与操作。
有鉴于此，特提出本发明。
发明内容
本发明要解决的技术问题在于克服现有技术的不足，提供一种海上风电场增强现实***，通过将辅助操作人员工作的虚拟对象叠加到真实的场景中，从而帮助了操作人员在现场进行运维问题的决策与操作，提高了操作人员的工作效率，保障了风电场正常的工作。
为解决上述技术问题，本发明采用技术方案的基本构思是：
一种海上风电场增强现实***，包括：
场景获取模块，包括AR设备，用于获取海上风电场中的目标器械；
跟踪模块，用于根据操作人员视角和AR设备中相机的位置计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据；
虚拟融合与显示模块，配合跟踪模块，将虚拟对象与真实场景进行合并处理，将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，并最终显示给用户。
优选的，海上风电场增强现实***还包括有人机交互模块和控制模块；
所述的人机交互模块包括摄像装置和/或音频接收装置，用于接收操作者的手势或语音信息确定操作者意图；所述的控制模块用于通过人机交互模块确定的操作者意图，控制虚拟融合与显示模块进行相应的响应。
优选的，所述的海上风电场增强现实***还包括有数据存储模块，所述的数据存储模块存储有海上风电场各器械对应的虚拟对象，所述的虚拟对象包括各器械的虚拟内部结构、各器械内部部件虚拟运行姿态、各器械的运行参数数据、各器械的拆装动画、各器械历史信息中的任意一项或几项。
优选的，所述的数据存储模块内存储的为三维模型，各三维模型为根据海上风电场各器械实际物理属性制作纹理和材质数据渲染出的虚拟三维模型，数据存储模块对具有动态运动的机械建立其动态运动模型；
所述虚拟融合与显示模块将所述的三维模型或运动模型显示在真实场景中的目标器械上或显示在目标器械的设定方向位置处。
优选的，所述的数据存储模块针对海上风电场运维过程中的拆卸组装任务，建立从目标器械拆卸成零件以及将零件组装成目标器械的动态时序动画，虚拟融合与显示模块将该动画显示在真实的场景中所述的目标器械上或目标器械的设定方向位置处，以便指导操作人员正确地执行操作任务。
优选的，海上风电场各器械配置有环境感知传感器和状态检测传感器，所述的增强现实***还包括有通信模块用于获取到各传感器的检测信息，所述的虚拟融合与显示模块，将各传感器的检测信息显示在真实场景中各器械上或各器械的设定方向位置处，以提示用户。
通过上述方案，有利于辅助用户在巡视风电场的过程中，快速知悉各电器设备的工作状态，从而有利于操作者在现场进行运维问题决策与操作。
优选的，所述数据存储模块内存储有各器械的电路原理图、电路连接图、开关开合时序、工作历史数据信息，所述的控制模块还用于根据人机交互模块的指令控制将相应信息显示在操作者佩戴的AR设备上，辅助操作者进行维修检测工作；
所述的通信模块与控制模块通信连接，所述的数据存储模块内存储有各器械的额定工作参数，所述的状态检测模块检测各器械的工作状态信息，所述的控制器根据各传感器的检测结果与各器械的额定工作参数确定各器械运行健康状态，并在检测到某器械存在运行风险时通过AR设备提示用户。
本发明的另一目的在于提供一种应用于上述的海上风电场增强现实***的控制方法，包括：采用场景获取模块获取海上风电场中的目标器械，采用跟踪模块得到将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据，最终采用虚拟融合与显示模块根据所述坐标转换数据将虚拟对象与真实场景进行合并处理，将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，并最终显示给用户。
优选的，跟踪模块对场景获取模块获取的目标器械进行初始化过程：得到目标器械在实际场景中的精确位姿；在目标器械与操作人员相对运动时，跟踪模块对目标器械进行边沿跟踪实时计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据。
优选的，数据存储模块中存储有对目标器械的模型预先建立的点云数据，所述初始化过程包括：确定目标器械在AR设备中相机采集的图像中的位置，提取目标器械在所述图像中的点云数据，最后将得到的点云数据与数据存储模块中存储的点云数据进行点云匹配，得到点云集间的精确变换关系；
在目标器械与操作人员相对运动时，跟踪模块执行以下步骤：
S1、进行边沿跟踪，确定目标器械运动之后的位姿；
S2、使用SLAM算法对目标器械所在新的图像位置进行点云提取；
S3、点云匹配，确定目标器械的精确位姿。
采用上述技术方案，本发明具有以下有益效果：
本发明的海上风电场增强现实***通过将辅助操作人员工作的虚拟对象叠加到真实的场景中，从而帮助了操作人员在现场进行运维问题的决策与操作，提高了操作人员的工作效率，保障了风电场正常的工作。海上风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(Augmented Reality增强现实)相关技术设计开发海上海上风电场可视化运维决策***，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，根据现场情况制定相应的运维策略。AR技术依据实际现场环境与设备状态设计触发点，将实时运行数据嵌入AR显示界面中，实现集控数据与现实场景并存，从而获得人机交互的体感。在基于AR的可视化运维决策***中现场维护人员通过所佩戴的AR设备对所要维修的对象进行识别，将相关的结构信息和实时运行数据附加在真实场景之上，制造出虚拟数据与现实场景共存的场景，帮助维护人员在现场进行运维问题决策与操作。
下面结合附图对本发明的具体实施方式作进一步详细的描述。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1是本发明的对目标器械进行跟踪的初始化过程步骤图；
图2是本发明的对目标器械进行边沿跟踪的跟踪过程步骤图。
需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
本实施提供一种海上风电场增强现实***，包括：
场景获取模块，包括AR设备，用于获取海上风电场中的目标器械；该场景获取模块优选为设置在风电场现场的图像视频采集装置或为操作者穿戴的AR设备，操作者可以在风电现场中进行作业，也可以是在远程观看风电现场中的图像视频采集装置采集的图像视频信息的基础上进行远程操作或培训学习。
跟踪模块，用于根据操作人员视角和AR设备中相机的位置计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据；
虚拟融合与显示模块，配合跟踪模块，将虚拟对象与真实场景进行合并处理，将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，并最终显示给用户。
优选的，海上风电场增强现实***还包括有人机交互模块和控制模块；
所述的人机交互模块包括摄像装置和/或音频接收装置，用于接收操作者的手势或语音信息确定操作者意图；所述的控制模块用于通过人机交互模块确定的操作者意图，控制虚拟融合与显示模块进行相应的响应。
优选的，所述的海上风电场增强现实***还包括有数据存储模块，所述的数据存储模块存储有海上风电场各器械对应的虚拟对象，所述的虚拟对象包括各器械的虚拟内部结构、各器械内部部件虚拟运行姿态、各器械的运行参数数据、各器械的拆装动画、各器械历史信息中的任意一项或几项。
优选的，所述的数据存储模块内存储的为三维模型，各三维模型为根据海上风电场各器械实际物理属性制作纹理和材质数据渲染出的虚拟三维模型，数据存储模块对具有动态运动的机械建立其动态运动模型；
所述虚拟融合与显示模块将所述的三维模型或运动模型显示在真实场景中的目标器械上或显示在目标器械的设定方向位置处。
优选的，所述的数据存储模块针对海上风电场运维过程中的拆卸组装任务，建立从目标器械拆卸成零件以及将零件组装成目标器械的动态时序动画，虚拟融合与显示模块将该动画显示在真实的场景中所述的目标器械上或目标器械的设定方向位置处，以便指导操作人员正确地执行操作任务。
优选的，海上风电场各器械配置有环境感知传感器和状态检测传感器，所述的增强现实***还包括有通信模块用于获取到各传感器的检测信息，所述的虚拟融合与显示模块，将各传感器的检测信息显示在真实场景中各器械上或各器械的设定方向位置处，以提示用户。
通过上述方案，有利于辅助用户在巡视风电场的过程中，快速知悉各电器设备的工作状态，从而有利于操作者在现场进行运维问题决策与操作。
优选的，所述数据存储模块内存储有各器械的电路原理图、电路连接图、开关开合时序、工作历史数据信息，所述的控制模块还用于根据人机交互模块的指令控制将相应信息显示在操作者佩戴的AR设备上，辅助操作者进行维修检测工作；
所述的通信模块与控制模块通信连接，所述的数据存储模块内存储有各器械的额定工作参数，所述的状态检测模块检测各器械的工作状态信息，所述的控制器根据各传感器的检测结果与各器械的额定工作参数确定各器械运行健康状态，并在检测到某器械存在运行风险时通过AR设备提示用户。
实施例二
本实施例提供一种应用于上述实施例一中的的海上风电场增强现实***的控制方法，包括：采用场景获取模块获取海上风电场中的目标器械，采用跟踪模块得到将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据，最终采用虚拟融合与显示模块根据所述坐标转换数据将虚拟对象与真实场景进行合并处理，将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，并最终显示给用户。
优选的，跟踪模块对场景获取模块获取的目标器械进行初始化过程：得到目标器械在实际场景中的精确位姿；在目标器械与操作人员相对运动时，跟踪模块对目标器械进行边沿跟踪实时计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据。
优选的，数据存储模块中存储有对目标器械的模型预先建立的点云数据，所述初始化过程包括：确定目标器械在AR设备中相机采集的图像中的位置，提取目标器械在所述图像中的点云数据，最后将得到的点云数据与数据存储模块中存储的点云数据进行点云匹配，得到点云集间的精确变换关系；
在目标器械与操作人员相对运动时，跟踪模块执行以下步骤：
S1、进行边沿跟踪，确定目标器械运动之后的位姿；
S2、使用SLAM算法对目标器械所在新的图像位置进行点云提取；
S3、点云匹配，确定目标器械的精确位姿。
实施例三
本实施例三在实施例二的基础上进一步详细公开跟踪模块对场景获取模块获取的目标器械进行初始化过程，参见图1所述，具体包括以下步骤：
A1001、根据已知目标器械的模型，预先建立其点云数据库，存储在数据存储模块中；
A1002、确定目标器械在相机(AR设备的相机)采集的图像中的位置，提取目标器械在图像中的点云数据；
A1003、将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。
优选的，所述的目标器械的模型为3D模型，通过选择该3D模型的不同视角，生成多视角点云数据库，并记录各视角下目标器械的位姿。可以采用slam软件库或PCL等实现。
优选的，将相机采集的图像与预先准备好的目标器械的图像做ORB匹配，得到目标器械在图像中的大致位置。
优选的，对预先准备好的目标器械的图像进行ORB特征点提取并与相机采集的图像进行匹配，包括：分别获取该两图像的特征点，得到特征描述子，并判断两图像的特征描述子之间的欧式距离是否小于设定阈值，若判断结果为是，则判断两图像相匹配，否则判断两图像不匹配；
所述的ORB特征点提取包括以下步骤：
A1、将预先准备好的目标器械的图像生成图像高斯金字塔；
A2、根据步骤A1中得到的图像生成DOG金字塔；
A3、对步骤A2得到的图像进行空间极值点检测，得到在尺度空间和二维图像空间上都是局部极值点的若干关键点；
A4、在步骤A3中得到的关键点中，以每一个关键点像素p为中心，半径为3做圆，圆形上有16个像素点分别为：p1、p2、...p16；
A5、定义一个阈值，计算p1、p9与中心p的像素差，若它们绝对值都小于设定阈值，则判断p点不可能是特征点，除去，否则，p点为候选点，需进一步判断；
A6、若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；
A7、计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则p为特征点；
A8、对图像进行非极大值抑制：计算特征点处的得分值，判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的s值，若p是邻域所有特征点中响应值最大的，则保留；
其中得分计算公式为：
其中p表示中心点的像素值，value表示以p为中心的领域内的特征点的像素值，S表示得分，t表示阈值；所述的特征点的s值为16个点与中心差值的绝对值总和；
A9、以步骤A8中所保留的特征点为中心，取SxS的邻域窗口，在窗口内随机选取一对点，比较二者像素的大小，进行如下二进制赋值；
其中，p(x)，p(y)分别是随机点x＝(u1,v1),y＝(u2,v2)的像素值；
A10、在窗口中随机选取N对随机点，重复二进制赋值，得到特征描述子；
A11、对步骤A8中筛选后的每一特征点，均得到一个256bit的二进制编码。
优选的，步骤A1包括以下步骤：
A101、将预先准备好的目标器械的图像扩大一倍，作为高斯金字塔的第一组第一层，将第一组第一层图像经高斯卷积得到第一组第二层，高斯卷积的公式为：
其中，(x,y)为像素点的坐标，σ为正态分布的标准偏差，优选设定为1.6；
A102、将σ乘以一个比例系数k，得到新的σ，用它来平滑第一组第二层的图像，重复该步骤，最后得到L层图像，在同一组中，每一层图像的尺寸都是一样的，只是平滑系数不一样；
A103、将第一组倒数第三层图像作比例因子为2的降采样，得到的图像作为第二组第一层，然后进行步骤A102和A103，得到第二组的L层图像；
A104、根据上述过程，反复执行，得到一共O组，每组L层，共计O*L个图像；
在步骤A2中，由步骤A1中，得到的图像高斯金字塔中的第一组第二层减第一组第一层得到DOG金字塔第一组第一层，高斯金字塔中的第一组第三层减第一组第二层得到DOG金字塔第一组第二层，以此类推，逐组逐层生成每一个差分图像，所有的差分图像构成差分DOG金字塔，即DOG金字塔的第O组第I层图像是高斯金字塔的第O组I+1层减第O组I层得到的；
步骤A3中，还包括以下步骤：
A301、在DOG金字塔图像中，所有像素点与它3*3邻域内的8个点做比较；
A302、各像素点再和上下相邻两层图像中相同位置的像素点的3*3领域内的2*9个点做比较；
A303、保证关键点在尺度空间和二维图像空间上都是局部极值点。
优选的，所述的提取目标器械在图像中的点云数据，包括在确定目标器械在图像中的位置后，使用SLAM算法提取物体点云；
所述的SLAM算法采用LSD-SLAM算法、ORB-SLAM算法、RGBD-SLAM2算法、ElasticFusion算法中的任意一种算法；
优选的,SLAM算法选用ORB-SLAM算法。
优选的，当采用单目SLAM算法时，单目SLAM提取的特征点开始为二维点，需要使用三角化的方法求取特征点的深度信息，得到特征点的深度信息后，从而得到点云数据。
优选的，所述将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系包括采用点云匹配的算法，得到精确的物***姿信息：
该点云匹配的算法包括以下步骤：
A401、点云特征点选取过程：
A402、计算特征描述子过程；
A403、匹配特征点，对点云进行粗匹配，得到粗匹配的坐标变化T和尺度变换S；
A404、迭代优化过程。
优选的，步骤A401还包括以下步骤：
A411、查询一次点云获取得到的数据中每一个点pi半径ri内所有点，并计算权值：
wij为三维点pi领域内任一点pj的权值，公式中pi,pj分别代表两点的三维坐标向量；
A412、根据权值计算方差矩阵
其中，T为求转值；
A413、计算方差矩阵的特征值特征值按照从大到小顺序排列；
A414、设置阈值ε1和ε2保留满足和的点为关键点；
步骤S402还包括以下步骤：
A421、寻找满足步骤A414的关键点pi的r半径范围内所有点，假设点的个数为ni；
A422、计算ni个点的法向量；
A423、根据ni个点计算关键点pi的特征描述子；
其中，计算任意两点Ds和Dt以及它们对应的法线ns和nt之间的特征如下：
α＝V·nt；
θ＝arctan(W·ns，U·nt)；
d＝||Dt-Ds||；
其中，U,V,W分别代表三维直角坐标系中的三个坐标轴的单位向量，其中ns与U方向相同，φ为U方向和Ds与Dt连线方向间的夹角，α为nt与V方向的夹角，θ为nt在U‐V平面上的投影与U方向的夹角，d为Ds与Dt两点间的欧氏距离，计算关键点pi的r半径领域内的任意两点间的α、φ、θ、d为作为关键点pi的特征。
优选的，步骤A404包括以下步骤：
A441、设pi＝(xi,yi,zi),qj＝(xj,yj,zj)为三维空间中两个3D点，他们的欧氏距离为：
为求解任意两个点云集P和Q的旋转矩阵R和坐标变换T，对于点云P中的任一特征点pi,和Q中与pi所对应的特征点qj，有qj＝Rpi+T，利用最小二乘法求最优解得误差E为：
其中N代表两个点云中匹配的特征点总量，使用最小二乘法求解使误差E最小的R与T；
A442、平行移动和旋转分离：先对坐标变换T进行初始估算，分别得到点集P和Q的中心：
A443、构造点集P和Q的协方差矩阵：
其中代表点云中心化矩阵，qi T为向量的转置；
A444、由协方差矩阵构造4x4对称矩阵：
其中，I3是3x3单位矩阵；
其中，Δ为指代符号，代表Q(∑P,Q)；
A445、计算Q(∑P,Q)的特征值和特征向量，其最大特征值对应的特征向量即为最佳旋转向量qR＝[q0q1q2q3]T；
A446、计算最佳平移向量：
A447、将旋转矩阵和平移向量叠加在点云Q上，之后再带入式：
其中，若误差小于设定阈值，则迭代结束，否则继续重复以上步骤；迭代结束之后，所得到的旋转矩阵与平移向量即是目标器械的初始位置，初始化过程结束。
实施例四
本实施例四在实施例二和实施例三的基础上，进一步对在目标器械与操作人员相对运动时，跟踪模块对目标器械进行边沿跟踪实时计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据的过程进行详细说明：
所述的AR设备为操作人员穿戴的AR眼镜，参见图2所示，该边沿跟踪过程包括以下步骤：
S1、进行边沿跟踪，确定目标器械运动之后的位姿；
S2、使用SLAM算法对目标器械所在新的图像位置进行点云提取；
S3、点云匹配，确定目标器械的精确位姿。
优选的，在步骤S1中，包括实时检测目标器械的边沿以确定目标器械的位置，其中检测目标器械边沿的步骤为：
S101、对相机采集的图像做高斯平滑处理；
S102、计算得到图像的全局梯度；
S103、对图形进行保留局部梯度最大的点，而抑制非极大值；
S104、用双阈值算法检测和连接图像边缘；
S105、获得目标器械新的轮廓位置，更新目标器械位姿信息。
优选的，在步骤S101中，对图像进行高斯平滑处理采用高斯平滑函数为：
令g(x，y)为平滑后的图像，用h(x，y，σ)对图像f(x，y)进行平滑处理，即：
g(x，y)＝h(x，y，σ)*f(x，y)；
在步骤S102中，还包括以下步骤：
S1021、使用一阶有限差分计算x和y方向的偏导数f′x(x，y)和f′y(x，y)，由此得到偏导数矩阵Gx(x，y)和Gy(x，y)，公式如下：
f′x(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2；
f′y(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2；
S1022、进一步求有限差分的均值，以在图像中的同一点计算x和y的偏导数梯度，其中，幅值和方位角可用直角坐标到极坐标的坐标转化公式来计算：
θ[x，y]＝arctan(Gx(x，y)/Gy(x，y))；
其中，M[x，y]反映了图像的边缘强度；θ[x，y]反映了边缘的方向，使得M[x，y]取得局部最大值的方向θ[x,y]，就反映了边缘的方向；
步骤S103中对图形进行保留局部梯度最大的点，而抑制非极大值包括：比较每一点上的领域的中心像素M[x,y]与沿着梯度线的两个像素相比，如果M[x,y]的梯度值不比沿梯度线的两个相邻像素梯度值大，则令M[x,y]＝0，从而得到非极大值抑制图像；
步骤S104中用双阈值算法检测和连接图像边缘包括：对步骤S103中得到的非极大值抑制图像作用两个阈值th1和th2，其中，th1＝0.4th2；
把梯度值小于th1的像素的灰度值设为0，得到图像1，然后把梯度值小于th2的像素的灰度值设为0，得到图像2,以图像2为基础，以图像1为补充来连结图像的边缘；
其中，所述连接图像的边缘的具体步骤如下：
S1041、对图像2进行扫描，当遇到一个非零灰度的像素p(x,y)时，跟踪以p(x,y)为开始点的轮廓线，直到轮廓线的终点q(x,y)；
S1042、考察图像1中与图像2中q(x,y)点位置对应的点s(x,y)的8邻近区域，如果在s(x,y)点的8邻近区域中有非零像素s(x,y)存在，则将其包括到图像2中，作为r(x,y)点；
S1043、从r(x,y)开始，重复上述步骤，直到在图像1和图像2中都无法继续为止；
S1044、完成对包含p(x,y)的轮廓线的连结之后，将这条轮廓线标记为已经访问，进入步骤S1041，寻找下一条轮廓线，重复上述步骤，直到图像2中找不到新轮廓线为止。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。
Claims (10)
1.一种海上风电场增强现实***，其特征在于，包括：
场景获取模块，包括AR设备，用于获取海上风电场中的目标器械；
跟踪模块，用于根据操作人员视角和AR设备中相机的位置计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据；
虚拟融合与显示模块，配合跟踪模块，将虚拟对象与真实场景进行合并处理，将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，并最终显示给用户。
2.根据权利要求1所述的一种海上风电场增强现实***，其特征在于，还包括有人机交互模块和控制模块；
所述的人机交互模块包括摄像装置和/或音频接收装置，用于接收操作者的手势或语音信息确定操作者意图；所述的控制模块用于通过人机交互模块确定的操作者意图，控制虚拟融合与显示模块进行相应的响应。
3.根据权利要求1或2所述的一种海上风电场增强现实***，其特征在于，还包括有数据存储模块，所述的数据存储模块存储有海上风电场各器械对应的虚拟对象，所述的虚拟对象包括各器械的虚拟内部结构、各器械内部部件虚拟运行姿态、各器械的运行参数数据、各器械的拆装动画、各器械历史信息中的任意一项或几项。
4.根据权利要求3所述的一种海上风电场增强现实***，其特征在于，所述的数据存储模块内存储的为三维模型，各三维模型为根据海上风电场各器械实际物理属性制作纹理和材质数据渲染出的虚拟三维模型，数据存储模块对具有动态运动的机械建立其动态运动模型；
所述虚拟融合与显示模块将所述的三维模型或运动模型显示在真实场景中的目标器械上或显示在目标器械的设定方向位置处。
5.根据权利要求3或4所述的一种海上风电场增强现实***，其特征在于，所述的数据存储模块针对海上风电场运维过程中的拆卸组装任务，建立从目标器械拆卸成零件以及将零件组装成目标器械的动态时序动画，虚拟融合与显示模块将该动画显示在真实的场景中所述的目标器械上或目标器械的设定方向位置处，以便指导操作人员正确地执行操作任务。
6.根据权利要求1-5任一所述的一种海上风电场增强现实***，其特征在于，海上风电场各器械配置有环境感知传感器和状态检测传感器，所述的增强现实***还包括有通信模块用于获取到各传感器的检测信息，所述的虚拟融合与显示模块，将各传感器的检测信息显示在真实场景中各器械上或各器械的设定方向位置处，以提示用户。
7.根据权利要求3-6任一所述的一种海上风电场增强现实***，其特征在于，所述数据存储模块内存储有各器械的电路原理图、电路连接图、开关开合时序、工作历史数据信息，所述的控制模块还用于根据人机交互模块的指令控制将相应信息显示在操作者佩戴的AR设备上，辅助操作者进行维修检测工作；
所述的通信模块与控制模块通信连接，所述的数据存储模块内存储有各器械的额定工作参数，所述的状态检测模块检测各器械的工作状态信息，所述的控制器根据各传感器的检测结果与各器械的额定工作参数确定各器械运行健康状态，并在检测到某器械存在运行风险时通过AR设备提示用户。
8.一种应用于上述权利要求1-7任一所述的海上风电场增强现实***的控制方法，其特征在于，包括：采用场景获取模块获取海上风电场中的目标器械，采用跟踪模块得到将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据，最终采用虚拟融合与显示模块根据所述坐标转换数据将虚拟对象与真实场景进行合并处理，将虚拟对象叠加到真实的场景中所述的目标器械上或目标器械的设定方向位置处，并最终显示给用户。
9.根据权利要求8所述的控制方法，其特征在于，跟踪模块对场景获取模块获取的目标器械进行初始化过程：得到目标器械在实际场景中的精确位姿；在目标器械与操作人员相对运动时，跟踪模块对目标器械进行边沿跟踪实时计算将虚拟对象从虚拟坐标系到所述目标器械坐标或目标器械设定方向位置处的坐标转换数据。
10.根据权利要求9所述的控制方法，其特征在于，数据存储模块中存储有对目标器械的模型预先建立的点云数据，所述初始化过程包括：确定目标器械在AR设备中相机采集的图像中的位置，提取目标器械在所述图像中的点云数据，最后将得到的点云数据与数据存储模块中存储的点云数据进行点云匹配，得到点云集间的精确变换关系；
在目标器械与操作人员相对运动时，跟踪模块执行以下步骤：
S1、进行边沿跟踪，确定目标器械运动之后的位姿；
S2、使用SLAM算法对目标器械所在新的图像位置进行点云提取；
S3、点云匹配，确定目标器械的精确位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711250639.5A CN108090572B (zh) | 2017-12-01 | 2017-12-01 | 一种海上风电场增强现实***的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711250639.5A CN108090572B (zh) | 2017-12-01 | 2017-12-01 | 一种海上风电场增强现实***的控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108090572A true CN108090572A (zh) | 2018-05-29 |
| CN108090572B CN108090572B (zh) | 2022-05-06 |
Family
ID=62172495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711250639.5A Active CN108090572B (zh) | 2017-12-01 | 2017-12-01 | 一种海上风电场增强现实***的控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090572B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712233A (zh) * | 2018-12-27 | 2019-05-03 | 华自科技股份有限公司 | 管线故障显示方法、***、ar设备和存储介质 |
| CN109732606A (zh) * | 2019-02-13 | 2019-05-10 | 深圳大学 | 机械臂的远程控制方法、装置、***及存储介质 |
| CN109840882A (zh) * | 2018-12-24 | 2019-06-04 | 中国农业大学 | 基于点云数据的站位匹配方法及装置 |
| CN110031880A (zh) * | 2019-04-16 | 2019-07-19 | 杭州易绘科技有限公司 | 基于地理位置定位的高精度增强现实方法及设备 |
| BE1026509B1 (de) * | 2018-08-02 | 2020-03-04 | North China Electric Power Univ Baoding | Verfahren zur bestimmung eines windturbinenziels |
| CN111401154A (zh) * | 2020-02-29 | 2020-07-10 | 同济大学 | 一种基于ar的物流精准配送透明化辅助作业装置 |
| CN112446799A (zh) * | 2019-09-03 | 2021-03-05 | 全球能源互联网研究院有限公司 | 一种基于ar设备虚拟交互的电网调度方法和*** |
| CN112686399A (zh) * | 2020-12-24 | 2021-04-20 | 国网上海市电力公司 | 一种基于增强现实技术的配电室火灾应急抢修方法及*** |
| CN112686254A (zh) * | 2020-12-31 | 2021-04-20 | 山西三友和智慧信息技术股份有限公司 | 一种基于红外卫星云图的台风中心定位方法 |
| CN113269832A (zh) * | 2021-05-31 | 2021-08-17 | 长春工程学院 | 面向极端天气环境的电力作业增强现实导航***和方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009036782A1 (en) * | 2007-09-18 | 2009-03-26 | Vrmedia S.R.L. | Information processing apparatus and method for remote technical assistance |
| EP2405402A1 (en) * | 2010-07-06 | 2012-01-11 | EADS Construcciones Aeronauticas, S.A. | Method and system for assembling components |
| CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导***的诱导方法 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105158927A (zh) * | 2015-09-28 | 2015-12-16 | 大连楼兰科技股份有限公司 | 智能眼镜在汽车维保过程中的零件拆卸的方法 |
| CN106845502A (zh) * | 2017-01-23 | 2017-06-13 | 东南大学 | 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法 |
| CN107331220A (zh) * | 2017-09-01 | 2017-11-07 | 国网辽宁省电力有限公司锦州供电公司 | 基于增强现实的变电设备运维仿真培训***和方法 |
-
2017
- 2017-12-01 CN CN201711250639.5A patent/CN108090572B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009036782A1 (en) * | 2007-09-18 | 2009-03-26 | Vrmedia S.R.L. | Information processing apparatus and method for remote technical assistance |
| EP2405402A1 (en) * | 2010-07-06 | 2012-01-11 | EADS Construcciones Aeronauticas, S.A. | Method and system for assembling components |
| CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导***的诱导方法 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105158927A (zh) * | 2015-09-28 | 2015-12-16 | 大连楼兰科技股份有限公司 | 智能眼镜在汽车维保过程中的零件拆卸的方法 |
| CN106845502A (zh) * | 2017-01-23 | 2017-06-13 | 东南大学 | 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法 |
| CN107331220A (zh) * | 2017-09-01 | 2017-11-07 | 国网辽宁省电力有限公司锦州供电公司 | 基于增强现实的变电设备运维仿真培训***和方法 |
Non-Patent Citations (3)
| Title |
|---|
| HYUNGGI JO1 ETAL: "Efficient 3D Mapping with RGB-D Camera Based on Distance Dependent Update", 《2016 16TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS》 * |
| 王灿进等: "局部不变特征匹配的并行加速技术研究", 《液晶与显示》 * |
| 白雪冰等: "结合快速鲁棒性特征改进 ORB 的特征点匹配算法", 《计算机应用》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BE1026509B1 (de) * | 2018-08-02 | 2020-03-04 | North China Electric Power Univ Baoding | Verfahren zur bestimmung eines windturbinenziels |
| CN109840882A (zh) * | 2018-12-24 | 2019-06-04 | 中国农业大学 | 基于点云数据的站位匹配方法及装置 |
| CN109712233A (zh) * | 2018-12-27 | 2019-05-03 | 华自科技股份有限公司 | 管线故障显示方法、***、ar设备和存储介质 |
| CN109732606A (zh) * | 2019-02-13 | 2019-05-10 | 深圳大学 | 机械臂的远程控制方法、装置、***及存储介质 |
| CN110031880A (zh) * | 2019-04-16 | 2019-07-19 | 杭州易绘科技有限公司 | 基于地理位置定位的高精度增强现实方法及设备 |
| CN112446799A (zh) * | 2019-09-03 | 2021-03-05 | 全球能源互联网研究院有限公司 | 一种基于ar设备虚拟交互的电网调度方法和*** |
| CN112446799B (zh) * | 2019-09-03 | 2024-03-19 | 全球能源互联网研究院有限公司 | 一种基于ar设备虚拟交互的电网调度方法和*** |
| CN111401154A (zh) * | 2020-02-29 | 2020-07-10 | 同济大学 | 一种基于ar的物流精准配送透明化辅助作业装置 |
| CN111401154B (zh) * | 2020-02-29 | 2023-07-18 | 同济大学 | 一种基于ar的物流精准配送透明化辅助作业装置 |
| CN112686399A (zh) * | 2020-12-24 | 2021-04-20 | 国网上海市电力公司 | 一种基于增强现实技术的配电室火灾应急抢修方法及*** |
| CN112686254A (zh) * | 2020-12-31 | 2021-04-20 | 山西三友和智慧信息技术股份有限公司 | 一种基于红外卫星云图的台风中心定位方法 |
| CN112686254B (zh) * | 2020-12-31 | 2022-08-09 | 山西三友和智慧信息技术股份有限公司 | 一种基于红外卫星云图的台风中心定位方法 |
| CN113269832A (zh) * | 2021-05-31 | 2021-08-17 | 长春工程学院 | 面向极端天气环境的电力作业增强现实导航***和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108090572B (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090572A (zh) | 一种海上风电场增强现实***及其控制方法 | |
| CN109003253B (zh) | 神经网络点云生成*** | |
| CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
| CN107993287A (zh) | 一种目标跟踪的自动初始化方法 | |
| CN106156778B (zh) | 用于识别机器视觉***的视野中的已知对象的方法 | |
| CN104115192B (zh) | 三维近距离交互的改进或与其有关的改进 | |
| CN110135319A (zh) | 一种异常行为检测方法及其*** | |
| CN109558879A (zh) | 一种基于点线特征的视觉slam方法和装置 | |
| CN104063677B (zh) | 用于估计人体姿态的设备和方法 | |
| CN108109208A (zh) | 一种海上风电场增强现实方法 | |
| CN107958466A (zh) | 一种Slam算法优化基于模型的跟踪方法 | |
| CN104392228A (zh) | 基于条件随机场模型的无人机图像目标类检测方法 | |
| Bu et al. | Pedestrian planar LiDAR pose (PPLP) network for oriented pedestrian detection based on planar LiDAR and monocular images | |
| JP2012526334A (ja) | 可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法 | |
| Saeedi et al. | Multiple robot simultaneous localization and mapping | |
| CN117036612A (zh) | 一种基于神经辐射场的三维重建方法 | |
| CN111126116A (zh) | 无人船河道垃圾识别方法及*** | |
| JP5027030B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
| Jayaraman et al. | Shapecodes: self-supervised feature learning by lifting views to viewgrids | |
| Hedjam et al. | Change detection from unlabeled remote sensing images using Siamese ANN | |
| Munkelt et al. | A model driven 3D image interpretation system applied to person detection in video images | |
| CN101661625A (zh) | 基于一幅标准图像生成各视角下样本图像的方法 | |
| CN105700402B (zh) | 基于人员检测的嵌入式控制***、设备和方法 | |
| Phan et al. | Towards 3D human posture estimation using multiple kinects despite self-contacts | |
| CN114972335A (zh) | 一种用于工业检测的图像分类方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |