CN110796738A - 巡检设备状态跟踪的三维可视化方法及装置 - Google Patents

巡检设备状态跟踪的三维可视化方法及装置 Download PDF

Info

Publication number
CN110796738A
CN110796738A CN201910898913.2A CN201910898913A CN110796738A CN 110796738 A CN110796738 A CN 110796738A CN 201910898913 A CN201910898913 A CN 201910898913A CN 110796738 A CN110796738 A CN 110796738A
Authority
CN
China
Prior art keywords
inspection equipment
target
dimensional visualization
picture
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910898913.2A
Other languages
English (en)
Other versions
CN110796738B (zh
Inventor
刘贵芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Platinum Stone Interspace Technology Ltd
Original Assignee
Beijing Platinum Stone Interspace Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Platinum Stone Interspace Technology Ltd filed Critical Beijing Platinum Stone Interspace Technology Ltd
Priority to CN201910898913.2A priority Critical patent/CN110796738B/zh
Publication of CN110796738A publication Critical patent/CN110796738A/zh
Application granted granted Critical
Publication of CN110796738B publication Critical patent/CN110796738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种巡检设备状态跟踪的三维可视化方法、装置、电子设备及计算机可读存储介质，涉及巡检技术领域。该方法包括：控制巡检设备获取目标对象的目标画面，目标画面中包括异常区域；在三维可视化环境中，基于巡检设备的状态信息将巡检设备的虚拟代理的方位和朝向匹配至巡检设备；基于虚拟代理的方位和朝向，确定虚拟代理在三维可视化环境中指向的目标区域；在所述三维可视化环境中的所述目标区域附近显示所述目标画面。本公开帮助提高了巡检效率和巡检精度，降低了巡检成本。

Description

巡检设备状态跟踪的三维可视化方法及装置
技术领域
本公开涉及巡检技术领域，具体而言，涉及一种巡检设备状态跟踪的三维可视化方法、巡检设备状态跟踪的三维可视化装置、电子设备以及计算机可读存储介质。
背景技术
三维数字可视化技术在工业制造、建筑设计、模拟仿真等领域越来越多的得到应用。当前的三维数字可视化软件主要是把目标场景的三维模型加载展示，并能够进行一定的交互操作及查看模型的相关数据。
随着对工业生产安全的要求越来越严格，需要更加及时、准确的检查生产环境和生产设备。自动巡检设备(机器人、无人机)的出现帮助人们更加高效的完成巡检工作，降低了人力要求。随着巡检设备越来越多，巡检数据也越来越丰富，如何将巡检结果及时有效地呈现在工程人员面前，以帮助工程人员了解当前生产情况、准确的管理工厂，是一个很有必要的工作。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种巡检设备状态跟踪的三维可视化方法、装置、电子设备及计算机可读存储介质，以将巡检结果及时的反映在三维数字可视化环境中。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种巡检设备状态跟踪的三维可视化方法，包括：
控制所述巡检设备获取目标对象的目标画面，所述目标画面中包括异常区域；
在三维可视化环境中，基于所述巡检设备的状态信息将所述巡检设备的虚拟代理的方位和朝向匹配至所述巡检设备；
基于所述虚拟代理的方位和朝向，确定所述虚拟代理在所述三维可视化环境中指向的目标区域；
在所述三维可视化环境中的所述目标区域附近显示所述目标画面。
在本公开的一种示例性实施例中，所述控制所述巡检设备获取目标对象的目标画面包括：
控制所述巡检设备的相机获取目标对象的第一画面；
在所述第一画面中存在异常区域时，调整所述相机朝向所述目标对象的角度，以使所述异常区域位于所述相机拍摄画面的中心位置；
控制所述相机获取所述目标对象的目标画面。
在本公开的一种示例性实施例中，所述异常区域位于所述相机拍摄画面的中心位置包括：
所述异常区域所在的矩形区域的中心位于所述相机拍摄画面的中心位置。
在本公开的一种示例性实施例中，所述异常区域位于所述相机拍摄画面的中心位置包括：
在所述异常区域的数量为两个以上时，所有所述异常区域所在的矩形区域的中心的共同中心位于所述相机拍摄画面的中心位置。
在本公开的一种示例性实施例中，所述异常区域位于所述相机拍摄画面的中心位置包括：
在所述相机拍摄画面所在坐标系中，各所述异常区域所在的矩形区域的中心坐标分别为：
A0(x0，y0)，A1(x1，y1)，A2(x2，y2)……An-1(xn-1，yn-1)，其中所述异常区域的数量为N个；
则所有所述异常区域所在的矩形区域的中心的共同中心的坐标为：
C0((x0+x1+x2+…+xn-1)/N,(y0+y1+y2+…+yn-1)/N))；
所述相机拍摄画面的中心坐标为C1，调整所述相机朝向所述目标对象的角度，以使C0等于C1。
在本公开的一种示例性实施例中，所述巡检设备的状态信息包括所述巡检设备的位置、所述巡检设备的相机的朝向。
在本公开的一种示例性实施例中，所述确定所述虚拟代理在所述三维可视化环境中指向的目标区域包括：
在所述三维可视化环境中，所述虚拟代理在其朝向方向向前发出延伸线，所述延伸线与所述目标对象的虚拟代理的表面相交形成交点，所述目标区域为包含所述交点的区域。
根据本公开的第二个方面，提供一种巡检设备状态跟踪的三维可视化装置，包括：
目标画面获取模块，用于控制所述巡检设备获取目标对象的目标画面，所述目标画面中包括异常区域；
巡检状态同步模块，用于在三维可视化环境中，基于所述巡检设备的状态信息将所述巡检设备的虚拟代理的方位和朝向匹配至所述巡检设备；
目标区域确定模块，用于基于所述虚拟代理的方位和朝向，确定所述虚拟代理在所述三维可视化环境中指向的目标区域；
目标画面显示模块，用于在所述三维可视化环境中的所述目标区域附近显示所述目标画面。
根据本公开的第三个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的巡检设备状态跟踪的三维可视化方法。
根据本公开的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的巡检设备状态跟踪的三维可视化方法。
本示例性实施例提供的巡检设备状态跟踪的三维可视化方法、装置、电子设备及计算机可读存储介质中，可以控制巡检设备获取目标对象的包括异常区域的目标画面，并在三维可视化环境中将巡检设备的虚拟代理的方位和朝向匹配至巡检设备，并在虚拟代理指向的目标区域附近显示所述目标画面。本公开一方面，能够自动获取巡检目标对象的含有异常区域的目标画面，从而获得准确的巡检结果，提高了巡检精度，节省了人工操作；另一方面，可以将巡检结果匹配至三维可视化环境中相应的目标区域并展示出来，以方便工程人员准确的定位巡检结果并查看巡检结果，提高了巡检效率，降低了巡检成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种巡检设备状态跟踪的三维可视化方法及装置的示例性***架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图；
图3示意性示出了根据本公开的一个实施例的巡检设备状态跟踪的三维可视化方法的流程图；
图4示意性示出本公开示例性实施例中巡检设备状态跟踪的三维可视化模拟环境示意图；
图5、图6示意性示出本公开示例性实施例中调整巡检设备相机获取目标画面的过程图；
图7示意性示出本公开示例性实施例中确定虚拟代理在三维可视化环境中指向的目标区域的示意图；
图8示意性示出本公开示例性实施例中巡检设备状态跟踪的三维可视化装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种巡检设备状态跟踪的三维可视化方法及装置的示例性***架构的示意图。
如图1所示，***架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的巡检设备状态跟踪的三维可视化方法一般由服务器105执行，相应地，巡检设备状态跟踪的三维可视化装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的巡检设备状态跟踪的三维可视化方法也可以由终端设备101、102、103执行，相应的，巡检设备状态跟踪的三维可视化装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。
图2示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。
需要说明的是，图2示出的电子设备的计算机***200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机***200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有***操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3-图7所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述：
本示例实施方式首先提供了一种巡检设备状态跟踪的三维可视化方法。该巡检设备状态跟踪的三维可视化方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。
图3示意性示出了根据本公开的一个实施例的巡检设备状态跟踪的三维可视化方法的流程图。
参考图3所示，该巡检设备状态跟踪的三维可视化方法可以包括以下步骤：
步骤S310.控制所述巡检设备获取目标对象的目标画面，所述目标画面中包括异常区域；
步骤S320.在三维可视化环境中，基于所述巡检设备的状态信息将所述巡检设备的虚拟代理的方位和朝向匹配至所述巡检设备；
步骤S330.基于所述虚拟代理的方位和朝向，确定所述虚拟代理在所述三维可视化环境中指向的目标区域；
步骤S340.在所述三维可视化环境中的所述目标区域附近显示所述目标画面。
本示例性实施例提供的巡检设备状态跟踪的三维可视化方法、装置、电子设备及计算机可读存储介质中，可以控制巡检设备获取目标对象的包括异常区域的目标画面，并在三维可视化环境中将巡检设备的虚拟代理的方位和朝向匹配至巡检设备，并在虚拟代理指向的目标区域附近显示所述目标画面。
本公开一方面，能够自动获取巡检目标对象的含有异常区域的目标画面，从而获得准确的巡检结果，提高了巡检精度，节省了人工操作；另一方面，可以将巡检结果匹配至三维可视化环境中相应的目标区域并展示出来，以方便工程人员准确的定位巡检结果并查看巡检结果，提高了巡检效率，降低了巡检成本。
通常，巡检设备可以自动或者由人员控制实现位置移动。巡检设备可以包括无人机、地面运行的机器人等。巡检设备可以配有定位***，以便***随时监控巡检设备的位置、运动状态等。巡检设备还可以配备有各种传感器，例如视觉传感器、热敏传感器、烟雾传感器等，以实现数据采集的功能。
在本示例实施例中，为了获得巡检的目标画面，巡检设备可以配备有用于拍摄巡检对象画面的相机，且该相机可以相对于巡检设备转动，以实现拍摄视角的变化。
此外，巡检设备可以配置有计算单元，以对采集到的数据(画面、温度等)进行分析识别，从而给出巡检结果。还可以将巡检采集的数据上传至服务器，由服务器完成分析识别的任务并给出巡检结果。
本示例实施例中，所述三维可视化***可以实时跟踪巡检设备状态，并反馈控制巡检设备。其中，所述巡检设备状态可以包括：巡检设备的***状态、运动状态、方位等自身的状态信息，还可以包括巡检环境中被检测目标的缺陷状态等。
图4示意性示出本公开示例性实施例中巡检设备状态跟踪的三维可视化模拟环境示意图；图5、图6示意性示出本公开示例性实施例中调整巡检设备相机获取目标画面的过程图；图7示意性示出本公开示例性实施例中确定虚拟代理在三维可视化环境中指向的目标区域的示意图。
下面，结合图3-图7对本示例实施方式的货架调度方法进行更加详细的说明。
在步骤S310中，控制所述巡检设备获取目标对象的目标画面，所述目标画面中包括异常区域。
首先，对本示例实施例中的方法所应用的三维可视化模拟环境进行描述。参照图4中所示，401为三维可视化软件的操作命令窗口，402为三维模拟区域，403、404、405为模拟环境中的虚拟物体，虚拟物体代表了真实环境中的物体，并具有真实环境物体预设的各种属性数据。406是巡检设备在三维可视化模拟环境中的虚拟代理。408为巡检设备获取到的目标画面，且该目标画面中包括异常区域。
需要补充的是，在三维可视化***中，***可以实时跟踪巡检设备状态，并根据设备状态中的方位信息控制虚拟代理406的方位，具体可以包括虚拟代理406的位置和朝向。其中，所述虚拟代理406的朝向即可以为相机拍摄画面的朝向。
在本示例实施例中，控制所述巡检设备获取目标对象的目标画面可以包括：
控制所述巡检设备的相机获取目标对象的第一画面；
在所述第一画面中存在异常区域时，调整所述相机朝向所述目标对象的角度，以使所述异常区域位于所述相机拍摄画面的中心位置；
控制所述相机获取所述目标对象的目标画面。
其中，目标对象可以为在巡检环境中的各种物体或人员，例如厂房、设备、车辆、物品、工作人员及外来可疑人员等。第一画面可以为巡检设备在执行巡检任务对预设的目标对象的目标区域进行拍摄的画面，当然也可为巡检设备在执行巡检任务时，对目标对象的非目标区域偶然发现存在可疑情况时拍摄的画面，或是对非目标对象偶然发现存在可疑情况时拍摄的画面，关于第一画面本公开对此不作特殊限定。
进一步，在相机拍摄到第一画面后，通过初步识别分析如果发现第一画面中存在异常区域，则可以调整相机朝向目标对象的角度，以使异常区域位于相机拍摄画面的中心位置，并控制相机获取目标对象的目标画面。
其中，参照图5、图6所示，调整相机朝向目标对象的角度以获取目标画面的具体方法可以包括：
相机拍摄到第一画面508，通过对第一画面508的初步识别分析，发现存在两个异常区域，并用恰好包裹各异常区域的矩形框将各异常区域框出，如区域A和区域B。
区域A和区域B的中心坐标位于画面所在坐标系上的坐标位置，可以设为A(x0，y0)和B(x1，y1)，则这两个区域共同的中心坐标可以为C0：((x0+x1)/2,(y0+y1)/2))。此外，拍摄画面的中心坐标可以设为C1。
则可以通过判断两个异常区域共同的中心坐标C0与画面的中心坐标C1是否相等，来判断异常区域是否位于相机拍摄画面的中心位置。
一种情况是，如果C0与画面的中心坐标C1相等，则可以确定异常区域位于相机拍摄画面的中心位置，则当前拍摄画面即为目标画面。
另一种情况是，如果C0与画面的中心坐标C1不相等，那么可以继续调整相机的拍摄角度，相应的各异常区域在画面中的坐标也会相应变化，即A(x0，y0)和B(x1，y1)的坐标在变化，则C0也会变化，直到C0与C1相等，即C0＝C1，即使全部异常区域位于相机拍摄画面的中心位置，满足然后控制相机获取目标对象的拍摄画面，即为目标画面。
进一步的，在相机角度调整过程中，随着画面的移动，相机可以按照一定频率获取当前的第一画面，***可以对当前第一画面进行实时的识别分析，以判断画面中是否存在异常区域。并在存在异常区域时，计算全部异常区域所在矩形区域的中心坐标的共同中心坐标，并判断该共同中心坐标与拍摄画面的中心坐标是否相等。
此外，在一些实施例中，随着画面的移动，画面中可能会出现新的异常区域，还可能会有异常区域离开画面。下面，会以产生新的异常区域为例，阐述异常区域中心校正的过程：
针对图5中的第一画面508，在进行相机角度调整时，发现有新的异常区域C进入画面，则区域C的坐标可以设为C(x2，y2)，则这三个区域共同的中心坐标可以为C0：((x0+x1+x2)/3,(y0+y1+y2)/3))，继续调整相机角度，直到C0与C1相等，从而获得如图6中的画面，画面608即为所需要的目标画面。
进一步的，当画面中出现N个异常区域的时候，各异常区域所在的矩形区域的中心坐标可以分别为：A0(x0，y0)，A1(x1，y1)，A2(x2，y2)……An-1(xn-1，yn-1)，则所有异常区域所在的矩形区域的中心的共同中心的坐标可以为C0((x0+x1+x2+…+xn-1)/N,(y0+y1+y2+…+yn-1)/N))，则调整相机朝向目标对象的角度，使C0等于C1。
在步骤S320中，在三维可视化环境中，基于所述巡检设备的状态信息将所述巡检设备的虚拟代理的方位和朝向匹配至所述巡检设备。
本步骤中，为了将所获得的目标画面匹配至三维可视化环境中相应的位置，需要在三维可视化环境中，首先确定巡检设备的虚拟代理的方位和朝向，进而确定目标画面的位置。
其中，巡检设备的状态信息可以包括巡检设备的位置、巡检设备的相机的朝向，还可以巡检设备的***状态、运动状态以及巡检环境中被检测目标的缺陷状态等。
在确定当前获取目标画面的巡检设备的状态信息后，可以基于状态信息，调整巡检设备的虚拟代理406的方位和朝向。具体而言，可以将巡检设备的位置、巡检设备相机的朝向连同巡检设备的其他信息传递至三维可视化模拟环境中的虚拟代理406，虚拟代理406在模拟环境中调节自己的位置和朝向以匹配巡检设备。其中，虚拟代理与真实巡检设备的方位信息匹配方法还可以参照在导航地图应用中虚拟代理与汽车的匹配过程，本公开在此不做特殊限定。
在步骤S330中，基于所述虚拟代理的方位和朝向，确定所述虚拟代理在所述三维可视化环境中指向的目标区域；
当确定巡检设备的虚拟代理406的方位和朝向后，为了在三维可视化环境中确定目标画面需要匹配的位置，也就是确定三维可视化环境中是哪个物体的哪个区域是相机拍摄的目标画面的区域，本示例实施例还可以采用下列方法：
在三维可视化环境中，参照图7所示，虚拟代理406在其朝向方向向前发出延伸线407，所述延伸线407与所述目标对象的虚拟代理404的表面相交形成交点T，则目标区域可以为包含交点T的区域。
具体而言，在三维可视化模拟环境中，虚拟射线407可以与模拟环境中的物体进行碰撞检测。首先可以在虚拟环境中为每个物体设置一个长方体包围盒，如图4、图7中所示的403、404、405等。虚拟射线407在发射方向与模拟环境中物体的包围盒首次碰撞，所形成的交点T，即可确认为目标点。则包含所示交点T的区域，即可确认为虚拟代理406在所述三维可视化环境中指向的目标区域。其中目标区域的范围大小可以预先设置。
在步骤S340中，在所述三维可视化环境中的所述目标区域附近显示所述目标画面。
进一步的，如图4、图7所示，可以在模拟环境中的目标区域附近显示所述目标画面408。该目标画面可以为如步骤S310中所获得的目标画面。此外，为了方便查看，该目标画面的显示位置，可以在三维可视化环境中，在不遮挡目标点或目标区域的前提下，尽量靠近目标区域。还可以随着当前虚拟环境显示画面视角的变化，对目标画面的显示位置进行微调，以适应人眼的观察习惯。
需要补充的是，该目标画面可以在一标识框中进行显示，标识框的形状可以为矩形，还可以为其他形状。标识框中可以显示真实巡检设备获取的目标画面，还可以显示对目标画面进行图像处理后其他类型的图像画面，本公开在此不做特殊限定。
综上所述，根据本公开提供巡检设备状态跟踪的三维可视化方法，可以控制巡检设备准确获取包含异常区域目标画面，并将目标画面在三维可视化环境中的相应位置显示出来。通过这种直观的显示方式，用户能够清楚、实时的看到巡检设备在三维可视化环境中的实际检测结果，提高了巡检效率和巡检精度、降低了巡检成本、从而帮助提高了生产的安全性。
本公开还提供了一种巡检设备状态跟踪的三维可视化装置。如图8所示，该巡检设备状态跟踪的三维可视化装置800可以包括：
目标画面获取模块810，用于控制所述巡检设备获取目标对象的目标画面，所述目标画面中包括异常区域；
巡检状态同步模块820，用于在三维可视化环境中，基于所述巡检设备的状态信息将所述巡检设备的虚拟代理的方位和朝向匹配至所述巡检设备；
目标区域确定模块830，用于基于所述虚拟代理的方位和朝向，确定所述虚拟代理在所述三维可视化环境中指向的目标区域；
目标画面显示模块840，用于在所述三维可视化环境中的所述目标区域附近显示所述目标画面。
需要说明的是，上述巡检设备状态跟踪的三维可视化装置中各模块的具体细节已经在对应的巡检设备状态跟踪的三维可视化方法中进行了详细描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种巡检设备状态跟踪的三维可视化方法，其特征在于，包括：
控制所述巡检设备获取目标对象的目标画面，所述目标画面中包括异常区域；
在三维可视化环境中，基于所述巡检设备的状态信息将所述巡检设备的虚拟代理的方位和朝向匹配至所述巡检设备；
基于所述虚拟代理的方位和朝向，确定所述虚拟代理在所述三维可视化环境中指向的目标区域；
在所述三维可视化环境中的所述目标区域附近显示所述目标画面。
2.根据权利要求1所述巡检设备状态跟踪的三维可视化方法，其特征在于，所述控制所述巡检设备获取目标对象的目标画面包括：
控制所述巡检设备的相机获取目标对象的第一画面；
在所述第一画面中存在异常区域时，调整所述相机朝向所述目标对象的角度，以使所述异常区域位于所述相机拍摄画面的中心位置；
控制所述相机获取所述目标对象的目标画面。
3.根据权利要求2所述巡检设备状态跟踪的三维可视化方法，其特征在于，所述异常区域位于所述相机拍摄画面的中心位置包括：
所述异常区域所在的矩形区域的中心位于所述相机拍摄画面的中心位置。
4.根据权利要求2所述巡检设备状态跟踪的三维可视化方法，其特征在于，所述异常区域位于所述相机拍摄画面的中心位置包括：
在所述异常区域的数量为两个以上时，所有所述异常区域所在的矩形区域的中心的共同中心位于所述相机拍摄画面的中心位置。
5.根据权利要求3或4所述巡检设备状态跟踪的三维可视化方法，其特征在于，所述异常区域位于所述相机拍摄画面的中心位置包括：
在所述相机拍摄画面所在坐标系中，各所述异常区域所在的矩形区域的中心坐标分别为：
A0(x0，y0)，A1(x1，y1)，A2(x2，y2)……An-1(xn-1，yn-1)，其中所述异常区域的数量为N个；
则所有所述异常区域所在的矩形区域的中心的共同中心的坐标为：
C0((x0+x1+x2+…+xn-1)/N,(y0+y1+y2+…+yn-1)/N))；
所述相机拍摄画面的中心坐标为C1，调整所述相机朝向所述目标对象的角度，以使C0等于C1。
6.根据权利要求5所述巡检设备状态跟踪的三维可视化方法，其特征在于，所述巡检设备的状态信息包括所述巡检设备的位置、所述巡检设备的相机的朝向。
7.根据权利要求6所述巡检设备状态跟踪的三维可视化方法，其特征在于，所述确定所述虚拟代理在所述三维可视化环境中指向的目标区域包括：
在所述三维可视化环境中，所述虚拟代理在其朝向方向向前发出延伸线，所述延伸线与所述目标对象的虚拟代理的表面相交形成交点，所述目标区域为包含所述交点的区域。
8.一种巡检设备状态跟踪的三维可视化装置，其特征在于，包括：
目标画面获取模块，用于控制所述巡检设备获取目标对象的目标画面，所述目标画面中包括异常区域；
巡检状态同步模块，用于在三维可视化环境中，基于所述巡检设备的状态信息将所述巡检设备的虚拟代理的方位和朝向匹配至所述巡检设备；
目标区域确定模块，用于基于所述虚拟代理的方位和朝向，确定所述虚拟代理在所述三维可视化环境中指向的目标区域；
目标画面显示模块，用于在所述三维可视化环境中的所述目标区域附近显示所述目标画面。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的巡检设备状态跟踪的三维可视化方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的巡检设备状态跟踪的三维可视化方法。
CN201910898913.2A 2019-09-23 2019-09-23 巡检设备状态跟踪的三维可视化方法及装置 Active CN110796738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910898913.2A CN110796738B (zh) 2019-09-23 2019-09-23 巡检设备状态跟踪的三维可视化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910898913.2A CN110796738B (zh) 2019-09-23 2019-09-23 巡检设备状态跟踪的三维可视化方法及装置

Publications (2)

Publication Number Publication Date
CN110796738A true CN110796738A (zh) 2020-02-14
CN110796738B CN110796738B (zh) 2023-04-25

Family

ID=69439832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910898913.2A Active CN110796738B (zh) 2019-09-23 2019-09-23 巡检设备状态跟踪的三维可视化方法及装置

Country Status (1)

Country Link
CN (1) CN110796738B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447416A (zh) * 2020-04-10 2020-07-24 北京旷视机器人技术有限公司 监控视频的展示方法、装置和电子***
CN112669487A (zh) * 2020-12-21 2021-04-16 北京佳讯飞鸿电气股份有限公司 跟踪目标方法和巡检机器人
CN112866579A (zh) * 2021-02-08 2021-05-28 上海巡智科技有限公司 数据采集方法、装置及可读存储介质
CN113310407A (zh) * 2021-07-02 2021-08-27 四川华能宝兴河水电有限责任公司 一种高坝大库水电站泄洪闸门动态监测方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054099A (ja) * 1999-08-10 2001-02-23 Secom Co Ltd 画像監視システム
JP2005323229A (ja) * 2004-05-11 2005-11-17 Yamatake Corp 巡回方法および巡回システム
JP2006338187A (ja) * 2005-05-31 2006-12-14 Secom Co Ltd 監視装置
CN105259899A (zh) * 2015-12-01 2016-01-20 国网重庆市电力公司电力科学研究院 一种变电站巡检机器人的控制***
US20160328887A1 (en) * 2015-05-04 2016-11-10 The Trustees Of Columbia University In The City Of New York Systems and methods for providing assistance for manipulating objects using virtual proxies and virtual replicas
CN106909169A (zh) * 2017-03-30 2017-06-30 广东容祺智能科技有限公司 一种全自动电力巡线无人机***
US20170243399A1 (en) * 2016-02-19 2017-08-24 The Boeing Company Methods for Localization Using Geotagged Photographs and Three-Dimensional Visualization
JP2018088065A (ja) * 2016-11-28 2018-06-07 株式会社Ｎｔｔファシリティーズ 情報可視化システム、情報可視化方法、及びプログラム
US20180157455A1 (en) * 2016-09-09 2018-06-07 The Boeing Company Synchronized Side-by-Side Display of Live Video and Corresponding Virtual Environment Images
CN109141647A (zh) * 2018-08-01 2019-01-04 北京百度网讯科技有限公司 机房温度监测方法和装置
CN109190921A (zh) * 2018-08-10 2019-01-11 广东电网有限责任公司 一种监控信息处理方法和装置
CN110139037A (zh) * 2019-05-20 2019-08-16 深圳铂石空间科技有限公司 对象监测方法及装置、存储介质和电子设备
CN110188643A (zh) * 2019-05-21 2019-08-30 北京市商汤科技开发有限公司 一种信息显示方法及装置、存储介质
CN110223270A (zh) * 2019-04-26 2019-09-10 五邑大学 一种使用地理标记照片和三维可视化进行定位的方法
CN110223413A (zh) * 2019-06-12 2019-09-10 深圳铂石空间科技有限公司 智能巡检方法、装置、计算机存储介质和电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054099A (ja) * 1999-08-10 2001-02-23 Secom Co Ltd 画像監視システム
JP2005323229A (ja) * 2004-05-11 2005-11-17 Yamatake Corp 巡回方法および巡回システム
JP2006338187A (ja) * 2005-05-31 2006-12-14 Secom Co Ltd 監視装置
US20160328887A1 (en) * 2015-05-04 2016-11-10 The Trustees Of Columbia University In The City Of New York Systems and methods for providing assistance for manipulating objects using virtual proxies and virtual replicas
CN105259899A (zh) * 2015-12-01 2016-01-20 国网重庆市电力公司电力科学研究院 一种变电站巡检机器人的控制***
US20170243399A1 (en) * 2016-02-19 2017-08-24 The Boeing Company Methods for Localization Using Geotagged Photographs and Three-Dimensional Visualization
US20180157455A1 (en) * 2016-09-09 2018-06-07 The Boeing Company Synchronized Side-by-Side Display of Live Video and Corresponding Virtual Environment Images
JP2018088065A (ja) * 2016-11-28 2018-06-07 株式会社Ｎｔｔファシリティーズ 情報可視化システム、情報可視化方法、及びプログラム
CN106909169A (zh) * 2017-03-30 2017-06-30 广东容祺智能科技有限公司 一种全自动电力巡线无人机***
CN109141647A (zh) * 2018-08-01 2019-01-04 北京百度网讯科技有限公司 机房温度监测方法和装置
CN109190921A (zh) * 2018-08-10 2019-01-11 广东电网有限责任公司 一种监控信息处理方法和装置
CN110223270A (zh) * 2019-04-26 2019-09-10 五邑大学 一种使用地理标记照片和三维可视化进行定位的方法
CN110139037A (zh) * 2019-05-20 2019-08-16 深圳铂石空间科技有限公司 对象监测方法及装置、存储介质和电子设备
CN110188643A (zh) * 2019-05-21 2019-08-30 北京市商汤科技开发有限公司 一种信息显示方法及装置、存储介质
CN110223413A (zh) * 2019-06-12 2019-09-10 深圳铂石空间科技有限公司 智能巡检方法、装置、计算机存储介质和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SONG HAIHUA 等: "Application and realization of power line panorama based on the geographic information", 《POWER SYSTEM TECHNOLOGY》 *
李谧 等: "三维可视化技术在水电站运维管理中的应用", 《电子技术与软件工程》 *
郭栋等: "机动卫勤分队三维可视化战备物资管理***的设计", 《医疗卫生装备》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447416A (zh) * 2020-04-10 2020-07-24 北京旷视机器人技术有限公司 监控视频的展示方法、装置和电子***
CN111447416B (zh) * 2020-04-10 2022-06-21 北京旷视机器人技术有限公司 监控视频的展示方法、装置和电子***
CN112669487A (zh) * 2020-12-21 2021-04-16 北京佳讯飞鸿电气股份有限公司 跟踪目标方法和巡检机器人
CN112866579A (zh) * 2021-02-08 2021-05-28 上海巡智科技有限公司 数据采集方法、装置及可读存储介质
CN113310407A (zh) * 2021-07-02 2021-08-27 四川华能宝兴河水电有限责任公司 一种高坝大库水电站泄洪闸门动态监测方法

Also Published As

Publication number Publication date
CN110796738B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN110796738B (zh) 巡检设备状态跟踪的三维可视化方法及装置
CN108830894B (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
WO2022120567A1 (zh) 一种基于视觉引导的自动化标定***
US11017558B2 (en) Camera registration in a multi-camera system
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
CN108604379A (zh) 用于确定图像中的区域的***及方法
US9639942B2 (en) Information processing apparatus, information processing method, and storage medium
US11108964B2 (en) Information processing apparatus presenting information, information processing method, and storage medium
CN112549034B (zh) 一种机器人任务部署方法、***、设备和存储介质
CN110555838A (zh) 基于图像的零件故障检测方法及装置
Ding et al. Research on computer vision enhancement in intelligent robot based on machine learning and deep learning
US9990739B1 (en) Method and device for fisheye camera automatic calibration
CN112288825A (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
EP3566949B1 (en) Aiding maneuvering of obscured objects
Ziaei et al. Real-time markerless Augmented Reality for Remote Handling system in bad viewing conditions
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
CN112668428A (zh) 车辆变道的检测方法、路侧设备、云控平台和程序产品
CN114972421A (zh) 车间物料识别追踪与定位方法、***
WO2022198508A1 (zh) 镜头异常提示方法、装置、可移动平台及可读存储介质
CN115982824A (zh) 施工现场工人空间管理方法、装置、电子设备及存储介质
CN115908581A (zh) 一种车载相机俯仰角标定方法、装置、设备及存储介质
CN113808186B (zh) 训练数据生成方法、装置与电子设备
CN113011212B (zh) 图像识别方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant