CN110383274B - 识别设备的方法、装置、***、存储介质、处理器和终端 - Google Patents

识别设备的方法、装置、***、存储介质、处理器和终端 Download PDF

Info

Publication number
CN110383274B
CN110383274B CN201880013239.9A CN201880013239A CN110383274B CN 110383274 B CN110383274 B CN 110383274B CN 201880013239 A CN201880013239 A CN 201880013239A CN 110383274 B CN110383274 B CN 110383274B
Authority
CN
China
Prior art keywords
information
equipment
identified
layout
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880013239.9A
Other languages
English (en)
Other versions
CN110383274A (zh
Inventor
徐蔚峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN110383274A publication Critical patent/CN110383274A/zh
Application granted granted Critical
Publication of CN110383274B publication Critical patent/CN110383274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及识别设备的方法、装置、***、存储介质、处理器和终端。识别设备的方法包括：获取包括待识别设备的图像数据或视频数据；根据图像数据或视频数据获取待识别设备的特征信息；获取多个设备类型的CAD模型数据；根据特征信息和CAD模型数据获取识别待识别设备的目标类型的类型信息；获取设备布局文件，设备布局文件表示多个设备类型的多个设备之间的布局关系；以及根据目标类型和布局关系获取识别待识别设备的目标设备的设备信息。本申请通过图像识别技术和设备的模型和布局设计文件数据，高效识别现场的设备。

Description

识别设备的方法、装置、***、存储介质、处理器和终端
技术领域
本申请涉及设备管理领域。具体地，本申请涉及识别设备的方法、装置、***、存储介质、处理器和终端。
背景技术
管理控制和数据获取(SCADA)***是可以管理和控制现场设备和操作的***。SCADA***广泛应用于电力，燃气，化工冶金，铁路等各个行业。它可以实现数据采集、设备控制、参数调整、测量等功能。
随着物联网技术的发展，越来越多的设备连接到SCADA***或其他类似***来提供信息。工作人员难以选择他们想要的信息。特别是在车间、仓库、管道、机器等现场，人工识别和手动选择信息需要花费大量时间。类似的设备会使工作人员感到困惑，会造成工作人员从***中获取错误的信息。
如今，随着增强现实技术的发展，图像处理技术正变得越来越成熟。许多移动设备具有用于设备识别的图像处理能力。使用诸如QR码、图形卡等指示符是简化识别过程和解决唯一性问题的常用方法。
在基于图像处理的方法中，使用图像处理来确定目标对象的特征点或特征形状，很难识别相似的对象。一个区域中的许多设备是相同的类型，这是设备识别的常见情况。基于图像处理的方法难以识别多个相似设备中的具体目标设备。
在基于QR码的方法中，使用QR码来识别和跟踪具有增强现实设备的对象，对象的信息包含在与该对象关联的QR码中。设备具有图像捕获单元和图像处理单元，可以解码QR码以获得该对象的信息。换句话说，在识别操作之前需要进行很多准备工作，例如生成QR码并粘贴在每个对象上。
在基于对象指示符的方法中，使用对象指示符来映射虚拟环境与现实世界之间的对象的关系，识别体用于识别增强现实***和方法中的预设对象。摄像机使用识别体捕获现实世界的图像，并将这些识别体的位置设置为虚拟世界中的基准映射点。然后在虚拟世界和现实世界之间进行对象的映射。在这种方法中，识别体是映射所必需的，需要大量的准备工作。
在图形标记卡的方法中，图形标记卡用于识别分布式控制***中的数据采集点。一个标记卡仅与一个数据采集点匹配。因此，在标记卡制作中将花费大量时间。
发明内容
本申请实施例提供了识别设备的方法、装置、***、存储介质、处理器和终端，以至少解决现有技术中不能有效识别现场的同类型设备的问题。
根据本申请实施例的一个方面，提供了识别设备的方法，包括：获取包括待识别设备的图像数据或视频数据；根据图像数据或视频数据获取待识别设备的特征信息；获取多个设备类型的CAD模型数据；根据特征信息和CAD模型数据获取识别待识别设备的目标类型的类型信息；获取设备布局文件，设备布局文件表示多个设备类型的多个设备之间的布局关系；以及根据目标类型和布局关系获取识别待识别设备的目标设备的设备信息。
以这样的方式，以图像识别结合CAD模型和设备布局文件的方式有效识别设备。
根据本申请的示例性实施例，获取待识别设备的目标设备信息包括：根据布局文件确定目标类型的设备是多个设备；根据布局文件确定目标类型的设备与相关设备之间的至少一个关系相关联的设备类型的数量；确定相关联的设备类型的数量最大的第一关系；获取与第一关系相关联的相关设备的图像数据或视频数据；根据相关设备的图像数据或视频数据获取相关设备的特征信息；根据相关设备的特征信息和CAD模型数据获取识别相关设备的类型信息；将相关设备的类型信息和第一关系与布局文件表示的布局关系做比较，确定待识别设备是布局文件表示的以第一关系与相关设备相关联的目标设备。
以这样的方式，在现场存在多个同种类型的设备时根据设备之间的关系确定具体目标设备。
根据本申请的示例性实施例，获取包括待识别设备的图像数据或视频数据包括：检测图像数据或视频数据中是否存在多个设备；如果存在多个设备，则显示用于选择多个设备中的一个设备作为待识别设备的交互界面；接收选择多个设备中的一个设备的输入；根据输入确定所选择的设备是待识别设备。
以这样的方式，在图像数据或视频数据包括多个设备时确定待识别的设备。
根据本申请的示例性实施例，方法还包括：根据待识别设备的识别信息生成待识别设备的属性信息；显示属性信息。
以这样的方式，向用户显示用户需要的待识别设备的相关信息。
根据本申请的示例性实施例，特征信息是从图像数据或视频数据提取的待识别设备的特征点或特征形状。
以这样的方式，将图像数据或视频数据用于图像识别以与数据库中的数据对比。
根据本申请实施例的另一方面，还提供了识别设备的装置，包括：图像获取单元，被配置为获取包括待识别设备的图像数据或视频数据；对象识别单元，包括：特征提取模块，被配置为根据图像数据或视频数据获取待识别设备的特征信息；模型获取模块，被配置为获取多个设备类型的CAD模型数据；类型识别模块，被配置为根据特征信息和CAD模型数据获取识别待识别设备的目标类型的类型信息；布局获取模块，被配置为获取设备布局文件，设备布局文件表示多个设备类型的多个设备之间的布局关系；以及设备识别模块，被配置为根据目标类型和布局关系获取识别待识别设备的目标设备的设备信息。
以这样的方式，以图像识别结合CAD模型和设备布局文件的方式有效识别设备。
根据本申请实施例的另一方面，还提供了识别设备的***，包括：模型数据库，包括多个设备类型的CAD模型数据；布局设计文件数据库，包括设备布局文件，设备布局文件表示多个设备类型的多个设备之间的布局关系；以及识别设备的装置，装置包括：图像获取单元，被配置为获取包括待识别设备的图像数据或视频数据；对象识别单元，包括：特征提取模块，被配置为根据图像数据或视频数据获取待识别设备的特征信息；模型获取模块，被配置为从模型数据库获取CAD模型数据；类型识别模块，被配置为根据特征信息和CAD模型数据获取识别待识别设备的目标类型的类型信息；布局获取模块，被配置为从布局设计文件数据库获取设备布局文件；以及设备识别模块，被配置为根据目标类型和布局关系获取识别待识别设备的目标设备的设备信息。
以这样的方式，以图像识别结合CAD模型和设备布局文件的方式有效识别设备。
根据本申请的示例性实施例，***还包括：管理控制和数据获取***，被配置为从对象识别单元获取识别信息，并且根据待识别设备的识别信息生成待识别设备的属性信息；以及信息显示单元，被配置为显示属性信息。
以这样的方式，向用户显示用户需要的待识别设备的相关信息。
根据本申请实施例的另一方面，还提供了存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的方法。
根据本申请实施例的另一方面，还提供了处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的方法。
根据本申请实施例的另一方面，还提供了终端，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行上述任意一项的方法。
根据本申请实施例的另一方面，还提供了计算机程序产品，计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，计算机可执行指令在被执行时使至少一个处理器执行上述任一项的方法。
以这样的方式，以计算机程序的方式实施根据本申请的实施例，高效识别设备。
在本申请实施例中，提供了使用CAD模块进行快速设备识别的技术方案，能够识别设备的类型，进而确定该设备类型具体设备。如果存在多个类似的设备并且难以识别，则将使用由相机获取的设备的布局信息和真实环境图像来确定待识别设备的唯一性，以至少解决难以快速识别设备的技术问题，实现了高效识别和管理设备的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施方式的识别设备的方法的流程图；
图2是根据本申请示例性实施方式的获取待识别设备的目标设备信息的方法的流程图；
图3是根据本申请另一示例性实施方式的获取待识别设备的目标设备信息的方法的流程图；
图4是根据本申请示例性实施方式的获取包括待识别设备的图像数据或视频数据的方法的流程图；
图5是根据本申请实施方式的识别设备的装置的框图；
图6是根据本申请实施方式的识别设备的***的框图；
图7是根据本申请示例性实施方式的识别设备的***的框图；
附图文字说明：
S102～S112，步骤；
S202～S214，步骤；
S302～S312，步骤；
S402～S408，步骤；
1，识别设备的***；
4，识别设备的装置；
41，图像获取单元；
43，对象识别单元；
431，特征提取模块；
433，模型获取模块；
435，类型识别模块；
437，布局获取模块；
439，设备识别模块；
6，模型数据库；
8，布局设计文件数据库；
10，管理控制和数据获取***；
12，信息显示单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块或单元。
根据本申请实施例，提供了识别设备的方法。图1是根据本申请实施方式的识别设备的方法的流程图。如图1所示，根据本申请实施方式的识别设备的方法包括：步骤S102，获取包括待识别设备的图像数据或视频数据。具体地，采用相机拍摄待识别的设备，获取待识别设备的图像或者视频。例如，可以采用手机、平板电脑等移动终端上设置的相机拍摄待识别设备。接下来，执行步骤S104，根据图像数据或视频数据获取待识别设备的特征信息。图像和视频中包含了设备的外形，能够获取关于设备的结构的特征信息，在现场有多种类型的设备，例如机床、电机等设备，不同类型的设备的外形是不同的，因此不同类型的设备具备不同的特征信息。接下来执行步骤S106，获取多个设备类型的CAD模型数据。CAD模型数据包含了每类设备的建模数据，表示设备的结构特征。接下来进行步骤S108，根据特征信息和CAD模型数据获取识别待识别设备的目标类型的类型信息。通过拍摄的特征信息和CAD模型数据之间的比对，可以确定匹配的数据代表设备属于某一类设备。进一步地，执行步骤S110，获取设备布局文件，设备布局文件表示多个设备类型的多个设备之间的布局关系。布局文件包括布局各个设备的信息，能够知晓何种类型的设备具体是什么设备，还包括例如表示了设备的周围布置了哪些其他设备、设备的逻辑连接关系、设备的物理连接关系等反映了设备布局关系的信息，特定的设备被布置在现场的特定位置，因此在布局文件中具有特定的布局关系。以及进行步骤S112，根据目标类型和布局关系获取识别待识别设备的目标设备的设备信息。将根据CAD模型确定的设备类型与布局文件中包括的设备类型进行比对，匹配的数据表示待识别数据为布局文件中的具体设备。以这样的方式，以图像识别结合CAD模型和设备布局文件的方式有效识别设备。
图2是根据本申请示例性实施方式的获取待识别设备的目标设备信息的方法的流程图。如图2所示，根据本申请的示例性实施方式，获取待识别设备的目标设备信息包括：步骤S202，根据布局文件确定目标类型的设备是多个设备。若布局文件中显示同一种类型的设备存在多个，那么执行设备的筛选过程，从多个设备中筛选出用户希望得到的具体目标设备识别结果。进行步骤S204，根据布局文件确定目标类型的设备与相关设备之间的至少一个关系相关联的设备类型的数量。设备与相关设备之间的关系例如是空间关系、逻辑连接关系、物理连接关系等。例如，设备可以布置在相关设备的左侧、右侧、上侧等，也可以向相关设备传输数据、向相关设备传递物品、处于相关设备的流程上游或下游等，也可以通过数据线与相关设备相连。接着进行步骤S206，确定相关联的设备类型的数量最大的第一关系。以如下关系为例，设备具备关系1和关系2，若设备通过关系1与x个相关设备关联，通过关系2与y个相关设备关联，x大于y，则关系1为第一关系。选择数量最大的第一关系为了在筛选的过程中能够剔除更多的不匹配选项，提升筛选速度。接着进行步骤S208，获取与第一关系相关联的相关设备的图像数据或视频数据。通过相机对相关设备进行拍摄，获取其图像或视频。接着进行步骤S210，根据相关设备的图像数据或视频数据获取相关设备的特征信息，步骤S212根据相关设备的特征信息和CAD模型数据获取识别相关设备的类型信息。这里同样采用图像处理的特征识别与CAD模型进行比对以确定相关设备的设备类型。接着进行步骤S212，将相关设备的类型信息和第一关系与布局文件表示的布局关系做比较，确定待识别设备是布局文件表示的以第一关系与相关设备相关联的目标设备。前面的步骤已经确定了与待识别设备相关联的相关设备分别是哪些类型，在布局文件中，具体的设备执行具体的工作，具体的设备的相关设备是特定的，因此，根据与待识别设备具有特定关系的相关设备的类型，能够确定待识别设备具体为布局文件中的哪一个设备，从而实现设备识别。以这样的方式，在现场存在多个同种类型的设备时根据设备之间的关系确定具体目标设备。
本申请的筛选设备的方法还可以以如下的方式示出。图3是根据本申请另一示例性实施方式的获取待识别设备的目标设备信息的方法的流程图。如图3所示，示出了从确定同一类型的对象存在多个而开始筛选到得到筛选结果的过程。如果两个或多个对象是相同类型，则显示单元将告知在该区域中有更多相似对象。然后目标对象筛选进程将被启动。假设相似对象的数量是N，对象的类型是Ti(i＝1，2，...，n)，并且在该区域中有n种对象，目标对象类型是T1。每个对象之间的关系是Rj(j＝1，2，...，m)，并且类型为T1的对象与其他对象有m种关系。
在步骤S302，确定具有对象类型的最大数量的关系Rx。
找出具有对象类型的最大量G(x)的关系Rx。具有关系Rx的对象类型的量是G(x)＝SUMPRODUCT(1/COUNTIF((Rx，Ti)，(Rx，Ti)))。(Rx，Ti)是与目标对象的关系的集。SUMPRODUCT是返回相应数组乘积之和的函数，COUNTIF是返回满足条件的元素数的函数。
例如：有4个T1类型的对象，所有T1类型的对象都有2种关系：R1和R2，有3个对象T1、T2和T3以关系R1与T1关联，并且有2个对象T2和T3以关系R2与T1关联。可以得出G1＝3且G2＝2，那么Rx＝R1。
在步骤S304，拍摄具有关系Rx的相关对象的图像或视频。例如采用人机界面显示消息，指示用户再次进行拍摄。
在步骤S306，识别具有关系Rx的相关对象的对象类型(设备类型)。识别的方法采用前述的识别设备类型的方法。
在步骤S308，借助关系(Rj，Ti)筛选对象列表并更新列表。即，若拍摄的相关对象的对象类型与布局文件中的相关对象的对象类型匹配，则保留布局文件中的对象作为候选；若不匹配，则不保留该对象。
在步骤S310，判断是否列表中只有一个对象。若判断结果为是，说明列表中的该对象就是待识别设备的具体目标对象，筛选和识别过程在步骤S312结束，确定识别的目标对象。若判断结果为否，则步骤回到S304，继续迭代地进行筛选，以进一步筛选出想要的目标对象。
此外，如果存在两个以上的对象(或设备)在同一个区域中具有相同的关系，那么可以在扩展关系中应用目标对象筛选进程，例如祖父关系等，进一步对比目标对象的相关设备与相关设备的相关设备的关系，因为每个对象在一个区域中具有其唯一布局关系。
此外，若在筛选前已经发现两个以上的设备属于相同类型，也可以跳过筛选步骤，向用户显示得到的同类型的设备，允许用户选择具体的设备。
另外，布局文件可以是流程设计文件，可以用来表示流程中的逻辑关系，例如上游和下游关系，这些文件都是在工厂设计时产生的关系文件，如果用户希望同时采用各种关系文件，根据本申请实施方式的技术方案也是可行的。
图4是根据本申请示例性实施方式的获取包括待识别设备的图像数据或视频数据的方法的流程图。如图4所示，根据本申请另一示例性实施方式的获取包括待识别设备的图像数据或视频数据包括：步骤S402，检测图像数据或视频数据中是否存在多个设备，步骤S404，如果存在多个设备，则显示用于选择多个设备中的一个设备作为待识别设备的交互界面，步骤S406，接收选择多个设备中的一个设备的输入，以及步骤S408，根据输入确定所选择的设备是待识别设备。以这样的方式，在图像数据或视频数据包括多个设备时确定待识别的设备。
根据本申请的示例性实施例，方法还包括：根据待识别设备的识别信息生成待识别设备的属性信息；显示属性信息。例如，在得到识别结果后，向管理控制和数据获取***发送关于识别结果的信息，管理控制和数据获取***生成用户需要的识别的设备的信息，发送给显示单元，以向用户显示，以这样的方式，向用户显示用户需要的待识别设备的相关信息。
根据本申请的示例性实施例，特征信息是从图像数据或视频数据提取的待识别设备的特征点或特征形状。以这样的方式，将图像数据或视频数据用于图像识别以与数据库中的数据对比。
根据本申请实施例的另一方面，还提供了识别设备的装置。图5是根据本申请实施方式的识别设备的装置的框图。如图5所示，根据本申请实施方式的识别设备的装置4包括：图像获取单元41，被配置为获取包括待识别设备的图像数据或视频数据；对象识别单元43，包括：特征提取模块431，被配置为根据图像数据或视频数据获取待识别设备的特征信息；模型获取模块433，被配置为获取多个设备类型的CAD模型数据；类型识别模块435，被配置为根据特征信息和CAD模型数据获取识别待识别设备的目标类型的类型信息；布局获取模块437，被配置为获取设备布局文件，设备布局文件表示多个设备类型的多个设备之间的布局关系；以及设备识别模块439，被配置为根据目标类型和布局关系获取识别待识别设备的目标设备的设备信息。根据本申请实施方式的识别设备执行上述方法，在此不再赘述。
根据本申请实施例的另一方面，还提供了识别设备的***。图6是根据本申请实施方式的识别设备的***的框图。如图6所示，根据本申请实施方式的识别设备的***1包括：模型数据库6，包括多个设备类型的CAD模型数据；布局设计文件数据库8，包括设备布局文件，设备布局文件表示多个设备类型的多个设备之间的布局关系；以及识别设备的装置4，装置包括：图像获取单元41，被配置为获取包括待识别设备的图像数据或视频数据；对象识别单元43，包括：特征提取模块431，被配置为根据图像数据或视频数据获取待识别设备的特征信息；模型获取模块433，被配置为从模型数据库获取CAD模型数据；类型识别模块435，被配置为根据特征信息和CAD模型数据获取识别待识别设备的目标类型的类型信息；布局获取模块437，被配置为从布局设计文件数据库获取设备布局文件；以及设备识别模块439，被配置为根据目标类型和布局关系获取识别待识别设备的目标设备的设备信息。
图7是根据本申请示例性实施方式的识别设备的***的框图。根据本申请的示例性实施例，根据本申请示例性实施方式的识别设备的***1还包括：管理控制和数据获取***10，被配置为从对象识别单元获取识别信息，并且根据待识别设备的识别信息生成待识别设备的属性信息；以及信息显示单元12，被配置为显示属性信息。
此外，对象识别单元43和信息显示单元12既可以设置在相同设备上，例如都设置在移动电话、平板上，也可以分别设置在不同设备上，例如，对象识别单元43设置在远程的中央计算机上，或者设置在管理控制和数据获取***10上，或者设置在单独的计算机上。
在根据本申请实施方式的识别设备的***1中，使用图像获取单元41获取目标对象(或设备)的图像或视频。然后，图像获取单元41将图像或视频数据发送到对象识别单元43，对象识别单元43处理从对象的图像获得的对象的图像或视频，并且图像处理包括特征提取和其他相关处理。对象识别单元43通过从模型数据库6(CAD模型库)和拍摄的目标对象的特征点/形状特征来识别目标对象的类型。对象识别单元43通过布局设计文件数据库8中的信息识别某个目标对象，然后对象识别单元43将目标对象基本信息，如对象名称、对象类型等发送给管理控制和数据获取***10，要求向用户提供信息。管理控制和数据获取***10根据来自对象识别单元43的请求获得对象信息，将对象信息发送给信息显示单元12，向用户显示目标对象的信息。以这样的方式，以图像识别结合CAD模型和设备布局文件的方式有效识别设备。
根据本申请实施例的另一方面，还提供了存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述方法。
根据本申请实施例的另一方面，还提供了处理器，处理器用于运行程序，其中，程序运行时执行上述方法。
根据本申请实施例的另一方面，还提供了终端，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行上述方法。
根据本申请实施例的另一方面，还提供了计算机程序产品，计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，计算机可执行指令在被执行时使至少一个处理器执行上述方法。
以这样的方式，以计算机程序的方式实施根据本申请的实施例，高效识别设备。
根据本申请实施方式的技术方案能够根据CAD模型和存储对象/设备关系的布局设计文件数据库容易地识别对象/设备。布局设计文件数据库通常是在工厂或厂房设计时已经创建的，因此相比与QR码等识别方式节省了大量准备工作。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元或模块可以是或者也可以不是物理上分开的，作为单元或模块显示的部件可以是或者也可以不是物理单元或模块，即可以位于一个地方，或者也可以分布到多个网络单元或模块上。可以根据实际的需要选择其中的部分或者全部单元或模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元或模块可以集成在一个处理单元或模块中，也可以是各个单元或模块单独物理存在，也可以两个或两个以上单元或模块集成在一个单元或模块中。上述集成的单元或模块既可以采用硬件的形式实现，也可以采用软件功能单元或模块的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.识别设备的方法，其特征在于，包括：
获取包括待识别设备的图像数据或视频数据；
根据所述图像数据或视频数据获取所述待识别设备的特征信息；
获取多个设备类型的CAD模型数据；
根据所述特征信息和所述CAD模型数据获取识别所述待识别设备的目标类型的类型信息；
获取设备布局文件，所述设备布局文件表示多个设备类型的多个设备之间的布局关系；以及
根据所述目标类型和所述布局关系获取所述待识别设备的目标设备的设备信息，所述获取所述待识别设备的目标设备的设备信息包括：
根据所述布局文件确定所述目标类型的设备是多个设备；
根据所述布局文件确定所述目标类型的设备与相关设备之间的至少一个关系相关联的设备类型的数量；
确定相关联的设备类型的数量最大的第一关系；
获取与所述第一关系相关联的所述相关设备的图像数据或视频数据；
根据所述相关设备的图像数据或视频数据获取所述相关设备的特征信息；
根据所述相关设备的特征信息和所述CAD模型数据获取识别所述相关设备的类型信息；
将所述相关设备的类型信息和所述第一关系与所述布局文件表示的所述布局关系做比较，确定所述待识别设备是所述布局文件表示的以所述第一关系与所述相关设备相关联的目标设备。
2.根据权利要求1所述的方法，其特征在于，获取包括待识别设备的图像数据或视频数据包括：
检测所述图像数据或视频数据中是否存在多个设备；
如果存在多个设备，则显示用于选择多个所述设备中的一个设备作为所述待识别设备的交互界面；
接收选择多个所述设备中的一个设备的输入；
根据所述输入确定所选择的设备是所述待识别设备。
3.根据权利要求1至2中任一项所述的方法，其特征在于，所述方法还包括：
根据所述待识别设备的识别信息生成所述待识别设备的属性信息；
显示所述属性信息。
4.根据权利要求1至2中任一项所述的方法，其特征在于，所述特征信息是从所述图像数据或视频数据提取的所述待识别设备的特征点或特征形状。
5.识别设备的装置(4)，其特征在于，包括：
图像获取单元(41)，被配置为获取包括待识别设备的图像数据或视频数据；
对象识别单元(43)，包括：
特征提取模块(431)，被配置为根据所述图像数据或视频数据获取所述待识别设备的特征信息；
模型获取模块(433)，被配置为获取多个设备类型的CAD模型数据；
类型识别模块(435)，被配置为根据所述特征信息和所述CAD模型数据获取识别所述待识别设备的目标类型的类型信息；
布局获取模块(437)，被配置为获取设备布局文件，所述设备布局文件表示多个设备类型的多个设备之间的布局关系；以及
设备识别模块(439)，被配置为根据所述目标类型和所述布局关系获取所述待识别设备的目标设备的设备信息；所述获取所述待识别设备的目标设备的设备信息包括：
根据所述布局文件确定所述目标类型的设备是多个设备；
根据所述布局文件确定所述目标类型的设备与相关设备之间的至少一个关系相关联的设备类型的数量；
确定相关联的设备类型的数量最大的第一关系；
获取与所述第一关系相关联的所述相关设备的图像数据或视频数据；
根据所述相关设备的图像数据或视频数据获取所述相关设备的特征信息；
根据所述相关设备的特征信息和所述CAD模型数据获取识别所述相关设备的类型信息；
将所述相关设备的类型信息和所述第一关系与所述布局文件表示的所述布局关系做比较，确定所述待识别设备是所述布局文件表示的以所述第一关系与所述相关设备相关联的目标设备。
6.识别设备的***(1)，其特征在于，包括：
模型数据库(6)，包括多个设备类型的CAD模型数据；
布局设计文件数据库(8)，包括设备布局文件，所述设备布局文件表示多个设备类型的多个设备之间的布局关系；以及
识别设备的装置(4)，所述装置包括：
图像获取单元(41)，被配置为获取包括待识别设备的图像数据或视频数据；
对象识别单元(43)，包括：
特征提取模块(431)，被配置为根据所述图像数据或视频数据获取所述待识别设备的特征信息；
模型获取模块(433)，被配置为从所述模型数据库(6)获取所述CAD模型数据；
类型识别模块(435)，被配置为根据所述特征信息和所述CAD模型数据获取识别所述待识别设备的目标类型的类型信息；
布局获取模块(437)，被配置为从所述布局设计文件数据库(8)获取所述设备布局文件；以及
设备识别模块(439)，被配置为根据所述目标类型和所述布局关系获取所述待识别设备的目标设备的设备信息；所述获取所述待识别设备的目标设备的设备信息包括：
根据所述布局文件确定所述目标类型的设备是多个设备；
根据所述布局文件确定所述目标类型的设备与相关设备之间的至少一个关系相关联的设备类型的数量；
确定相关联的设备类型的数量最大的第一关系；
获取与所述第一关系相关联的所述相关设备的图像数据或视频数据；
根据所述相关设备的图像数据或视频数据获取所述相关设备的特征信息；
根据所述相关设备的特征信息和所述CAD模型数据获取识别所述相关设备的类型信息；
将所述相关设备的类型信息和所述第一关系与所述布局文件表示的所述布局关系做比较，确定所述待识别设备是所述布局文件表示的以所述第一关系与所述相关设备相关联的目标设备。
7.根据权利要求6所述的***，其特征在于，还包括：
管理控制和数据获取***(10)，被配置为从所述对象识别单元(43)获取识别信息，并且根据所述待识别设备的识别信息生成所述待识别设备的属性信息；以及
信息显示单元(12)，被配置为显示所述属性信息。
8.存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的方法。
9.处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至4中任意一项所述的方法。
10.终端，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至4中任意一项所述的方法。
11.计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据权利要求1至4中任一项所述的方法。
CN201880013239.9A 2018-09-27 2018-09-27 识别设备的方法、装置、***、存储介质、处理器和终端 Active CN110383274B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/108066 WO2020061939A1 (zh) 2018-09-27 2018-09-27 识别设备的方法、装置、***、存储介质、处理器和终端

Publications (2)

Publication Number Publication Date
CN110383274A CN110383274A (zh) 2019-10-25
CN110383274B true CN110383274B (zh) 2023-10-27

Family

ID=68248589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013239.9A Active CN110383274B (zh) 2018-09-27 2018-09-27 识别设备的方法、装置、***、存储介质、处理器和终端

Country Status (4)

Country Link
US (1) US10643111B2 (zh)
EP (1) EP3660703B1 (zh)
CN (1) CN110383274B (zh)
WO (1) WO2020061939A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472559B (zh) * 2020-03-31 2022-06-21 阿里巴巴集团控股有限公司 设备配置方法、装置、设备和存储介质
CN111724138A (zh) * 2020-06-24 2020-09-29 苏宁云计算有限公司 单据作业流程的管理方法、装置、计算机设备和存储介质
CN111738691A (zh) * 2020-06-24 2020-10-02 苏宁云计算有限公司 单据清分方法、装置、以及计算机设备和存储介质
CN113970888A (zh) * 2020-07-07 2022-01-25 华为技术有限公司 家居设备控制方法、终端设备及计算机可读存储介质
CN112148769A (zh) * 2020-09-15 2020-12-29 浙江大华技术股份有限公司 数据的同步方法、装置、存储介质以及电子装置
CN112969021B (zh) * 2020-10-30 2022-03-15 上海称意包装设备有限公司 利用内容搜索的继电器控制平台及方法
CN112506347B (zh) * 2020-12-10 2024-06-11 中国科学院沈阳计算技术研究所有限公司 面向加工过程监控的混合现实交互方法
CN113505777B (zh) * 2021-07-20 2023-05-02 深圳市拓普泰克技术股份有限公司 键盘布局版本检测方法、装置、设备和存储介质
CN113839833B (zh) * 2021-09-24 2023-12-05 北京天融信网络安全技术有限公司 静默设备的识别方法、装置及计算机设备、存储介质
CN114332035B (zh) * 2021-12-30 2024-06-25 中国科学院力学研究所 空泡内部介质参数的测量方法
CN114820944B (zh) * 2022-05-07 2023-04-25 数字太空(北京)科技股份公司 一种三维场景构建方法、装置、电子设备及存储介质
CN115965797B (zh) * 2022-12-27 2023-12-08 北京国电光宇机电设备有限公司 一种智能装配零部件自动识别方法及***
CN115984470B (zh) * 2022-12-30 2023-11-28 江苏创英医疗器械有限公司 一种基于图像识别技术的种植牙建模方法及***
CN116957309B (zh) * 2023-09-21 2024-01-09 深圳市明心数智科技有限公司 一种纺织场景动态监测方法、***及介质
CN117710864A (zh) * 2023-12-25 2024-03-15 深圳技术大学 一种基于新媒体艺术视频的设备识别方法、***及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710549A (zh) * 2012-06-12 2012-10-03 上海量明科技发展有限公司 通过摄像建立通信连接关系的方法、终端及***
CN107784310A (zh) * 2017-11-08 2018-03-09 浙江国自机器人技术有限公司 设备状态信息获取方法、装置、***、存储介质及机器人

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5749435B2 (ja) * 2009-12-28 2015-07-15 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
CN103093011B (zh) * 2011-11-02 2016-02-17 同济大学 基于cad模型的特征识别算法
US9858658B2 (en) * 2012-04-19 2018-01-02 Applied Materials Israel Ltd Defect classification using CAD-based context attributes
CN104462656B (zh) * 2014-11-12 2017-04-05 南京航空航天大学 飞机蒙皮零件特征识别方法
US10296693B2 (en) * 2014-12-11 2019-05-21 Mentor Graphics Corporation Three-dimensional composite solid component modeling
US10394967B2 (en) * 2015-06-18 2019-08-27 Siemens Product Lifecycle Management Software Inc. Method and apparatus for automatically assembling components in a computer-aided design (CAD) environment
CN105718663B (zh) * 2016-01-21 2018-08-21 广东电网有限责任公司佛山供电局 配电网autocad设计图自动识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710549A (zh) * 2012-06-12 2012-10-03 上海量明科技发展有限公司 通过摄像建立通信连接关系的方法、终端及***
CN107784310A (zh) * 2017-11-08 2018-03-09 浙江国自机器人技术有限公司 设备状态信息获取方法、装置、***、存储介质及机器人

Also Published As

Publication number Publication date
EP3660703C0 (en) 2023-06-07
EP3660703A1 (en) 2020-06-03
US10643111B2 (en) 2020-05-05
CN110383274A (zh) 2019-10-25
US20200104649A1 (en) 2020-04-02
WO2020061939A1 (zh) 2020-04-02
EP3660703B1 (en) 2023-06-07
EP3660703A4 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
CN110383274B (zh) 识别设备的方法、装置、***、存储介质、处理器和终端
JP5134664B2 (ja) アノテーション装置
CN108536467B (zh) 代码的定位处理方法、装置、终端设备及存储介质
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN105867612B (zh) 显示管理方法和关联计算机程序产品及电子设备
CN109902923A (zh) 一种资产管理的方法和设备
CN115482340A (zh) 三维场景建模方法、装置、计算机设备和存储介质
CN112258507A (zh) 互联网数据中心的目标对象检测方法、装置和电子设备
CN112070456A (zh) 下发任务的方法、终端设备、机器人及存储介质
CN111080781A (zh) 一种三维地图显示方法及移动终端
JP5707238B2 (ja) 画像検索装置及び画像検索システム
CN102521621A (zh) 基于图像匹配与地理位置信息来获取信息的方法及***
JP7309171B2 (ja) 光学式認識コード読取装置、方法及びプログラム
CN108960861B (zh) 产品保真验证方法及装置、存储介质、处理器
CN113744396B (zh) 基于三维地图建立模型的方法、装置、设备和存储介质
JP6210554B2 (ja) 認識装置、認識プログラム及び認識方法
CN114239774A (zh) 一种变电站设备台账与实景同步方法、装置及计算机设备
CN112734254A (zh) 变电站施工的风险预警方法、装置和计算机设备
CN109302670B (zh) 设备信息显示方法、服务器、装置和***
CN110852770B (zh) 数据处理方法、装置、计算设备及显示设备
CN115908117B (zh) 一种二维建筑模型图像生成方法及***
CN112328073B (zh) 基于增强现实设备的评标方法、装置、***和计算机设备
JP2013156909A (ja) 形状モデル生成装置及び作業前後対応画像判定システム
CN111767275B (zh) 数据的处理方法及装置、数据处理***
CN112516593B (zh) 抽卡方法、抽卡***及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant