CN113191326A - 跨平台远程协助方法、***、电子设备及存储介质 - Google Patents

跨平台远程协助方法、***、电子设备及存储介质 Download PDF

Info

Publication number
CN113191326A
CN113191326A CN202110569841.4A CN202110569841A CN113191326A CN 113191326 A CN113191326 A CN 113191326A CN 202110569841 A CN202110569841 A CN 202110569841A CN 113191326 A CN113191326 A CN 113191326A
Authority
CN
China
Prior art keywords
information
executed
server
terminal
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110569841.4A
Other languages
English (en)
Other versions
CN113191326B (zh
Inventor
姜力荣
尹文基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shiyan Information Technology Co ltd
Original Assignee
Shanghai Shiyan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shiyan Information Technology Co ltd filed Critical Shanghai Shiyan Information Technology Co ltd
Priority to CN202110569841.4A priority Critical patent/CN113191326B/zh
Publication of CN113191326A publication Critical patent/CN113191326A/zh
Application granted granted Critical
Publication of CN113191326B publication Critical patent/CN113191326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种跨平台远程协助方法、***、电子设备及存储介质，所述方法包括：所述服务器根据设备型号信息和故障信息匹配故障操作信息，发送所述故障操作信息至所述终端；所述服务器端根据所述故障操作信息获取所述设备中待执行操作部件的图像特征；所述服务器根据所述第一视频信息、所述设备的图像特征和特征提取算法进行匹配，以获取所述第一视频信息中的所述待执行操作部件；所述服务器根据所述匹配结果生成第二视频信息，发送所述第二视频信息至所述终端；所述显示器用于显示所述第二视频信息，所述第二视频信息包括所述故障操作信息和所述待执行操作部件，所述方法能够根据现场的视频信息确认故障设备的类型和操作指南，提高现场维护效率。

Description

跨平台远程协助方法、***、电子设备及存储介质
技术领域
本申请涉及无线通信技术领域，尤其涉及一种跨平台远程协助方法、***、电子设备及存储介质。
背景技术
随着技术的进步，电子设备的复杂度正变得越来越高，电气设备试验中需要严格按规程和步骤操作，需要记录大量的试验现象和实验数据，高压试验同时需要专业技术人员监督指导。试验操作对数据记录、现象观测和人员安全有直接影响。同时，试验设备故障也需要及时处理，使试验进程能尽快恢复。试验操作不当可能引发事故或灾害，危害财产和人身安全。
目前，在出现紧急情况时，相关技术中通过共享画面的方式进行操作维护。但是，在一些情况下，无法通过画面判断故障的类型或者需要下一步执行的操作。发明内容
有鉴于此，有必要提供一种跨平台远程协助方法、***、电子设备及存储介质，能够至少克服以上缺陷之一。
第一方面，本申请实施例提供一种跨平台远程协助方法，包括服务器和终端，所述服务器与所述终端通信连接，其特征在于，所述终端包括摄像头、显示器和数据接口，所述方法包括：所述服务器获取来自所述摄像头的第一视频信息和来自所述数据接口的设备运行信息；所述服务器根据所述设备运行信息和卷积神经网络进行匹配，以获取设备型号信息和故障信息；所述服务器根据所述设备型号信息和所述故障信息匹配故障操作信息，发送所述故障操作信息至所述终端；所述服务器端根据所述故障操作信息获取所述设备中待执行操作部件的图像特征；所述服务器根据所述第一视频信息、所述设备中待执行操作部件的图像特征和特征提取算法进行匹配，以获取所述第一视频信息中的所述待执行操作部件；所述服务器根据所述待执行操作部件和所述第一视频信息生成第二视频信息，发送所述第二视频信息至所述终端；所述显示器用于显示所述第二视频信息，所述第二视频信息包括所述故障操作信息和所述待执行操作部件。
根据本申请的一个实施例，所述方法还包括：所述服务器切割所述第一视频信息以获取第一图像信息，根据定向快速旋转算法将所述设备中待执行操作部件的图像特征与所述第一图像进行匹配，以获取所述待执行操作部件在所述第一图像中的位置。
根据本申请的一个实施例，所述方法还包括：根据待执行操作的顺序编号所述待执行操作部件；高亮所述待执行操作部件。
根据本申请的一个实施例，若所述第二视频信息中无法显示全部所述待执行操作部件，则在所述显示器显示所述无法显示的所述待执行操作部件的名称及所述编号。
根据本申请的一个实施例，所述方法还包括：所述服务器获取所述终端的位置信息和所述待执行操作部件的位置信息；所述服务器根据所述终端的位置信息和所述待执行操作部件的位置信息生成导航信息，并发送所述导航信息和所述待执行操作部件的位置信息至所述终端。
根据本申请的一个实施例，所述方法还包括：所述显示器显示所述导航信息，并根据所述待执行操作部件的位置信息显示所述待执行操作部件的位置。
根据本申请的一个实施例，所述特征提取算法为定向快速旋转算法。
根据本申请的一个实施例，所述方法还包括：所述终端使用语音播报所述故障操作信息
第二方面，本申请实施例提供一种跨平台远程协助***，包括：服务器和终端，所述终端和所述服务器通信连接；所述服务器用于获取来自所述摄像头的第一视频信息和来自所述数据接口的设备运行信息，以及；所述服务器还用于根据所述设备运行信息和卷积神经网络进行匹配，以获取设备型号信息和故障信息，以及；所述服务器还用于根据所述设备型号信息和所述故障信息匹配故障操作信息，发送所述故障操作信息至所述终端包括显示器，以及；所述服务器端还用于根据所述故障操作信息获取所述设备中待执行操作部件的图像特征，以及；所述服务器还用于根据所述第一视频信息、所述设备的图像特征和特征提取算法进行匹配，以获取所述第一视频信息中的所述待执行操作部件，以及；所述服务器还用于根据所述匹配结果生成第二视频信息，发送所述第二视频信息至所述终端，所述终端用于获取来自所述服务器的障操作信息，所述终端还用于显示所述第二视频信息，所述第二视频信息包括所述故障操作信息和所述待执行操作部件。
第三方面，本申请实施例提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现第一方面所述的跨平台远程协助方法。
第四方面，本申请实施例一种计算机可读存储介质，包括指令，所述指令指示设备执行如第一方面所述的跨平台远程协助方法。
本申请实施方式提供的跨平台远程协助方法、***、电子设备及存储介质，能够根据现场的视频信息确认故障设备的类型和操作指南，并在视频中显示待操作的部件，以提高现场维护时的效率。
附图说明
图1为本申请一实施例提供的跨平台远程协助***示意图。
图2为本申请一实施例提供的终端示意图
图3为本申请另一实施例提供的终端示意图。
图4为本申请另一实施例提供的终端示意图。
图5为本申请一实施例提供的跨平台远程协助方法流程图。
图6为本申请另一实施例提供的跨平台远程协助方法流程图。
主要元件符号说明
终端 100
服务器 200
摄像头 110
显示器 120
待操作部件a 121
待操作部件b 122
待操作部件c 123
待操作部件d 124
具体实施方式
下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。
需要说明的是，本申请实施例中“至少一个”是指一个或者多个，多个是指两个或两个以上。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请中的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
需要说明的是，本申请实施例中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
基于本申请中的实施方式，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施方式，都是属于本申请保护的范围。
随着技术的进步，电子设备的复杂度正变得越来越高，电气设备试验中需要严格按规程和步骤操作，需要记录大量的试验现象和实验数据，高压试验同时需要专业技术人员监督指导。试验操作对数据记录、现象观测和人员安全有直接影响。同时，试验设备故障也需要及时处理，使试验进程能尽快恢复。试验操作不当可能引发事故或灾害，危害财产和人身安全。
目前，在出现紧急情况时，相关技术中通过共享画面的方式进行操作维护。但是，在一些情况下，无法通过画面判断故障的类型或者需要下一步执行的操作。
因此，本申请实施例提供一种跨平台远程协助方法、***、电子设备及存储介质，能够根据现场的视频信息确认故障设备的类型和操作指南，并在视频中显示待操作的部件，以提高现场维护时的效率。
下面结合附图，对申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1是本申请一实施例提供的跨平台远程协助***框图。如图1所示的跨平台远程协助***，至少包括以下部分：终端100、摄像头110、显示器120及服务器200。其中，终端100包括摄像头110和显示器120。终端100与服务器200通信连接。
可以理解的是，所述数据接口包括但不限于于USB、type-C、SATA等任何可以实现设备间通信的接口。终端100还可以通过无线通信与待维护设备进行连接。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM（Global System of Mobilecommunication，全球移动通讯***）、GPRS（General Packet Radio Service，通用分组无线服务）、CDMA2000（Code Division Multiple Access 2000，码分多址2000）、WCDMA（Wideband Code Division Multiple Access,宽带码分多址）、TD-SCDMA（Time Division-Synchronous Code Division Multiple Access，时分同步码分多址）、FDD-LTE（FrequencyDivision Duplexing-LongTerm Evolution，频分双工长期演进）和TDD-LTE（TimeDivision Duplexing-LongTerm Evolution，分时双工长期演进）、5G（the FifthGeneration of Communication protocol）、物联网（Internet of Things，IoT）等。
在本申请实施例中，终端100可以是手机（mobile phone）、平板电脑（Pad）、带无线收发功能的电脑、虚拟现实（Virtual Reality，VR）终端、增强现实（Augmented Reality，AR）终端、工业控制（industrial control）中的无线终端、无人驾驶（self driving）中的无线终端、远程医疗（remote medical）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端等等。本申请的实施例对应用场景不做限定。终端100有时也可以称为接入终端、UE单元、UE站、移动站、移动台、远方站、远程终端、移动设备、UE终端、无线通信设备、UE代理或UE装置等。本申请实施例并不限定。
本申请实施例中，服务器200可以是一台服务器或多台服务器组成的服务器集群或云计算中心。
在本申请实施例中，终端100通过摄像头110获取第一视频信息，所述第一视频信息为待维护的设备的现场视频信息。终端100还包括数据接口，所述数据接口通信连接待维护的设备，以获取设备运行信息。终端100将获取到的第一视频信息，即现场视频信息及设备运行信息发送至服务器200。所述服务器200根据所述设备运行信息和卷积神经网络进行匹配，以获取设备型号信息和故障信息。
在本实施例中，服务器200可以在获取设备型号信息和故障信息后，对故障信息进行分析，获取故障的部件，及对应的待执行修理操作。服务器200将待执行的修理操作发送至终端100。服务器200将数据库中存储的待执行操作部件进行图像特征提取，并根据提取的特征与第一视频信息进行比对，以获取第一视频信息中对应的部件。将对应的部件与第一视频信息进行整合，以形成第二视频信息，发送所述第二视频信息至所述终端100。可以理解的是，第二视频信息是服务器200根据第一视频信息中进行图像处理后形成的，且第二视频信息中包括待执行修理操作的部件，以及对应的修理方法。操作人员可以根据第二视频信息中待修理操作的部件及其中包括的修理方法进行作业。
在本申请实施例中，所述特征提取算法具体为应用定向快速旋转算法（OrientedFAST and Rotated BRIEF，ORB）。可以理解的是，ORB是一种非常快速的算法，可以从检测到的关键点创建特征向量，进而实现图像识别。
可以理解的是，在获取待执行操作部件的图像特征时，首先将第一视频信息切割为图像。对切割的图像进行错切变换，即首先在X方向进行顺时针的错切变换，然后在Y方向进行顺时针的错切变换，最后再到X方向进行顺时针错切变换，最终得到旋转角度以后的图像数据。在进行图像旋转时，可以应用旋转矩阵对图片进行旋转。可以理解的是，旋转矩阵在旋转角度较小的情况下可以通过两次错切变化得到旋转效果的图片，在旋转角度较大的情况下可以通过三次错切得到等价旋转效果图像（较小角度小于15度，较大角度在90度之内），对于旋转角度超过90度，首先旋转特殊角度90，180，270，然后在旋转剩下的角度数。90，180，270是特殊角度，可以通过简单的矩阵变换得到。将旋转后的图像作为ORB算法中的训练图像对ORB算法进行训练。
可以理解的是，在进行训练时，训练图像中的每一个关键点都有一个中心、一个大小和一个角度。中心决定图像中每个关键点的位置；每个关键点的大小由BRIEF用于创建其特征向量的patch大小决定；角度表示由rBRIEF决定的关键点的方向。一旦找到训练图像的关键点并计算出相应的ORB描述符，就可以对查询图像执行相同的操作。
可以理解的是，在完成ORB算法训练后，该服务器200可以对第一视频进行切割，以得到第一图像。随后，根据数据库中存储的待执行操作部件模型进行图像特征提取，并应用ORB算法对待执行操作部件的图像特征与第一图像进行匹配，从而识别出第一图像中的待执行操作部件。本申请实施例提供的跨平台远程协助方法，可以根据现场图像和数据库内存储的待执行操作部件图像进行匹配，提供包括待操作部件和故障操作信息视频信息，并可以提示操作人员待执行操作设备的位置和具体操作，无需远程人工干预，提高了操作的效率。
可以理解的是，由于可能存在多个待执行操作部件，因此，可以同时提取多个待执行操作部件的图像特征与第一图像进行比对，进而实现多个待执行操作部件的特征识别。
可以理解的是，由于待执行操作部件可能被其他部件覆盖，服务器200在检测到待执行操作部件被其他部件覆盖时，根据其他部件的特征进行识别，并提示需要先执行拆除作业才能执行进一步的操作。提高了跨平台远程协助方法的适用性，避免因设备的构造而无法识别对应部件。
可以理解的是，由于ORB算法具有一些很好的特性，如尺度不变性，即能够检测图像中的对象，而不管其大小；旋转不变性，即能够检测图像中的对象而不管它们的方向如何；光照不变性，即能够检测图像中的对象，而不管其亮度如何、噪音不变性，即它能够检测图像中的对象，即使图像有一定程度的噪声。由于工业现场可能出现光照强度较差，或者因为信号较差而造成的视频具有较大的噪音，因此在进行部件识别时具有较大的优势。
在本申请实施例中，由于图像计算处于服务器200端，因此，终端100无需进行复杂的算法计算，只需要具由摄像头110和显示器120，并将摄像头110获得的视频信息传输至服务器200。服务器200在进行处理后，将对应的第二视频信息传输回终端100，终端100在显示器120上显示对应的第二视频信息。同时，由于计算集中在服务器200端，因此无需针对性的设置调整终端100，终端100可以使用原有的设备架构而无需进行改变，可以仅通过安装对应的应用来实现本申请实施例中示出的功能。例如，终端100的应用***可以是：IOS、Android、Windows、Linux、MacOS等，本申请在此不做限制。
可以理解的是，终端100与服务器200的通信方式与终端200与待维护设备进行无线连接时的连接方式相同，在此不在赘述。
图2是本申请一实施例提供的终端100的示意图。如图2所示，所述终端100至少包括：显示器120、待操作部件a121以及待操作部件b122。
在本申请实施例中，待操作部件a121以及待操作部件b122均具有相应的编号，该编号为服务器200根据部件的待执行操作的顺序进行的编号。可以理解的是，图2中的待操作部件a121采用了高亮模式，以提示操作人员待执行操作的部件。
在本申请实施例中，若所述第二视频信息中无法呈现全部所述待执行操作部件，则略过所述待执行操作部件的编号。即，当所述显示屏无法显示全部待执行操作部件时，根据实际需要的顺序进行编号显示，而非屏幕中的部件的显示的顺序进行编号。
可以理解的是，在存在多个待操作部件时，根据操作顺序对所述待操作部件进行编号，可以提示操作人员对应的操作顺序。避免操作人员因无法按照正确的顺序操作待操作部件，而造成操作耗时较长甚至设备损坏。
可以理解的是，待操作部件a121采用了高亮模式，可以提示操作人员当前需要处理的部件。同时，操作人员可以将第二视频与现场情况进行比对，由于采用了高亮，使得待操作部件a121更加容易被区分出来，避免了操作人员因误识别错误的部件，而造成相应的损失。
可以理解的是，第二视频中还可以采用闪烁灯方式提醒操作人员待操作部件a121的位置，本申请在此不做限制。
图3是本申请一实施例提供的终端100的示意图。与图2相比，图3中所述终端100至少还包括：待操作部件c123以及待操作部件d124。
在本申请实施例中，若所述第二视频信息中无法显示全部所述待执行操作部件，则在所述显示器显示所述无法显示的所述待执行操作部件的名称及所述编号。
可以理解的是，由于设备各个部件所处的现场范围可能较大，因此可能存在显示器120中无法显示全部待操作部件的情况。而仅对显示器120中显示的部件进行标号，可能会造成无法根据实际操作顺序进行编号。本实施例中的待操作部件c123以及待操作部件d124均采用虚线标注，以提示操作人员需要先寻找对应的部件，才能执行对应的操作。操作人员可以切换终端100中摄像头110的角度，以寻找下一个操作部件，在找到对应的部件之后，可以进行维护等操作。
图4是本申请一实施例提供的终端100的示意图。与图3相比，图4中所述终端100至少还包括：待操作部件c123以及待操作部件d124。
在本申请实施例中，终端100还包括定位模块。所述定位模块可以可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(global navigationsatellite system，GLONASS)，北斗卫星导航***（beidou navigation satellitesystem，BDS），准天顶卫星***(quasi-zenith satellite system，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。
在本申请实施例中，所述跨平台远程协助***的功能包括：所述服务器获取所述终端的位置信息和所述待执行操作部件的位置信息；所述服务器根据所述终端的位置信息和所述待执行操作部件的位置信息生成导航信息，并发送所述导航信息和所述待执行操作部件的位置信息至所述终端。
在本申请实施例中，所述跨平台远程协助***的功能包括：所述显示器显示所述导航信息，并根据所述待执行操作部件的位置信息显示所述待执行操作部件的位置。
可以理解的是，在图3中实施例的基础上，若存在下一个待操作部件距离较远的情况，则可能出现操作人员无法通过切换视频角度的方式找到对应的操作部件。因此，图4中示出的实施例可以利用终端100中的定位模块，将对应的定位信息发送至服务器200，服务器200根据获取到的定位信息和下一个待操作部件的位置信息生成导航信息。
在本实施例中，显示器120内还显示了待操作部件c123以及待操作部件d124的位置。操作人员可以根据显示器120内显示的导航信息寻找对应的操作部件，以完成维修等操作，避免了反复寻找的过程。提高了操作时的效率，同时，也避免了操作人员因无法找到对应的部件而造成时间上的浪费。
在本申请实施例中，可能存在操作人员在找到对应的部件进行操作时，无法实时看着显示器120内的操作指示信息的情况，因此，终端100内还设置有语音播报模块。所述终端100使用语音播报所述故障操作信息。操作人员可以在找到待操作的部件后，语音播报操作信息，无需在操作时进一步观看显示器120，提高了操作时的效率。避免了在操作时需要观看显示器120而带来的潜在风险。
图5是本申请一实施例提供的跨平台远程协助方法流程示意图。如图5所示的跨平台远程协助方法，至少包括以下步骤：S100：获取第一视频信息和设备运行信息。S200：获取设备型号信息和故障信息。S300：获取故障操作信息，发送故障操作信息。S400：获取待执行操作部件的图像特征。S500：获取待执行操作部件。S600：显示待执行操作部件。
S100：获取第一视频信息和设备运行信息。
在本申请实施例中，首先获取第一视频信息和设备运行信息。其中，第一视频信息是待操作设备的现场信息。
S200：获取设备型号信息和故障信息。
在本申请实施例中，可以根据卷积神经网络（Convolutional Neural Networks,CNN）来获取设备型号信息和故障信息。具体为将设备运行信息的数据流输入CNN网络，CNN网络根据数据流中的特征数据进行特征提取，将提取到的特征与数据库内存储的特征信息进行比对。若存在相同的特征，则可以认为是相同类型的设备或者为相同厂商的设备，调用相关类型的设备数据或者相应厂商的设备数据进行再次特征对比。直至找到匹配度最高的设备特征，在数据库内根据设备特征溯源对应的设备型号和相应的故障信息。
S300：获取故障操作信息，发送故障操作信息。
在本申请实施例中，根据设备型号和相应的故障信息进行查询，以获取故障操作信息，例如，操作手册，操作指南等信息，并发送故障操作信息。根据故障操作信息获取待执行操作部件。例如，当供电设备存在供电不稳的情况时，需要依次检查变压器、供电线路等设施，则变压器和供电线路为待执行操作部件。
S400：获取待执行操作部件的图像特征。
在本申请实施例中，服务器200根据故障操作信息获取需要执行相应操作的待执行操作部件，在数据库中找到部件的模型图片，根据部件的图像特性进行特征提取。
S500：获取待执行操作部件。
在本申请实施例中，在第一视频信息中识别出对应的待执行操作部件，将待执行操作部件进行标注，与原第一视频信息进行封装，以形成第二视频信息。
S600：显示待执行操作部件。
在本申请实施例中，显示第二视频信息。其中，第二视频信息中标注了待执行操作部件。
在本申请实施例中，跨平台远程协助方法包括：所述服务器获取来自所述摄像头的第一视频信息和来自所述数据接口的设备运行信息；所述服务器根据所述设备运行信息和卷积神经网络进行匹配，以获取设备型号信息和故障信息；所述服务器根据所述设备型号信息和所述故障信息匹配故障操作信息，发送所述故障操作信息至所述终端；所述服务器端根据所述故障操作信息获取所述设备中待执行操作部件的图像特征；所述服务器根据所述第一视频信息、所述设备的图像特征和特征提取算法进行匹配，以获取所述第一视频信息中的所述待执行操作部件；所述服务器根据所述匹配结果生成第二视频信息，发送所述第二视频信息至所述终端，所述终端包括显示器；所述显示器用于显示所述第二视频信息，所述第二视频信息包括所述故障操作信息和所述待执行操作部件。
图6是本申请一实施例提供的跨平台远程协助方法流程示意图。如图6所示的跨平台远程协助方法，至少包括以下步骤：S700：获取终端位置信息和待执行操作部件位置信息。S800：生成导航信息。S900：发送导航信息和待执行操作部件位置信息。
S700：获取终端位置信息和待执行操作部件位置信息。
在本申请实施例中，在可以获取位置信息时，获取来自终端的位置信息和待执行操作部件位置信息。
S800：生成导航信息。
在本申请实施例中，根据终端的位置信息和待执行操作部件位置信息生成对应的方位信息和导航信息。
S900：发送导航信息和待执行操作部件位置信息。
在本申请实施例中，发送终端与待执行操作部件之间的导航信息与待执行操作部件的绝对位置信息发送至终端。
在本申请实施例中，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现第一方面所述的跨平台远程协助方法。
可以理解的是，电子设备可以是终端100或者服务器200。
在本申请实施例中，一种计算机可读存储介质，包括指令，所述指令指示设备执行如第一方面所述的跨平台远程协助方法。例如，所述指令指示设备执行如图5中步骤S100至S600中示出的跨平台远程协助方法，或者，如图6中步骤S700-S900示出的跨平台远程协助方法。
在本发明的一个实施例所涉及的电子设备中工作的程序可以是对中央处理器（Central Processing Unit，CPU）等进行控制从而实现本发明的一个方案所涉及的上述实施方式的功能的程序（使计算机发挥作用的程序）。然后，由这些装置处理的信息在进行其处理时暂时存储于随机存取存储器（Random Access Memory，RAM），之后，储存于只读存储器（Read Only Memory，Flash ROM）等各种ROM、硬盘驱动器（Hard Disk Drive：HDD）中，根据需要通过CPU来进行读出、修正、写入。
需要说明的是，也可以通过计算机来实现上述实施方式的电子设备的一部分。在该情况下，可以将用于实现该控制功能的程序记录于计算机可读记录介质，通过将记录于该记录介质的程序读入计算机***并执行来实现。
需要说明的是，此处所提到的“计算机***”是指内置于电子设备的计算机***，采用包括OS、***设备等硬件的计算机***。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机***的硬盘等存储装置。
而且，“计算机可读取的记录介质”可以包括：像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的介质；像作为此情况下的服务器、客户端的计算机***内部的易失性存储器那样在固定时间内保存程序的介质。此外，上述程序可以是用于实现上述功能的一部分的程序，而且也可以是能通过与已记录在计算机***中的程序进行组合来实现上述功能的程序。
此外，上述实施方式中的电子设备也能实现为由多个装置构成的集合体（装置组）。构成装置组的各装置可以具备上述实施方式的电子设备的各功能或各功能块的一部分或全部。作为装置组，具有电子设备的全部各功能或各功能块即可。
本技术领域的普通技术人员应当认识到，以上的实施方式仅是用来说明本申请，而并非用作为对本申请的限定，只要在本申请的实质精神范围之内，对以上实施例所作的适当改变和变化都落在本申请要求保护的范围之内。

Claims (11)

1.一种跨平台远程协助方法，包括服务器和终端，所述服务器与所述终端通信连接，其特征在于，所述终端包括摄像头、显示器和数据接口，所述方法包括：
所述服务器获取来自所述摄像头的第一视频信息和来自所述数据接口的设备运行信息；
所述服务器根据所述设备运行信息和卷积神经网络进行匹配，以获取设备型号信息和故障信息；
所述服务器根据所述设备型号信息和所述故障信息匹配故障操作信息，发送所述故障操作信息至所述终端；
所述服务器端根据所述故障操作信息获取所述设备中待执行操作部件的图像特征；
所述服务器根据所述第一视频信息、所述设备中待执行操作部件的图像特征和特征提取算法进行匹配，以获取所述第一视频信息中的所述待执行操作部件；
所述服务器根据所述待执行操作部件和所述第一视频信息生成第二视频信息，发送所述第二视频信息至所述终端；
所述显示器用于显示所述第二视频信息，所述第二视频信息包括所述故障操作信息和所述待执行操作部件。
2.如权利要求1所述的跨平台远程协助方法，其特征在于，所述方法还包括：
所述服务器切割所述第一视频信息以获取第一图像信息，根据定向快速旋转算法将所述设备中待执行操作部件的图像特征与所述第一图像进行匹配，以获取所述待执行操作部件在所述第一图像中的位置。
3.如权利要求2所述的跨平台远程协助方法，其特征在于，所述方法还包括：
根据待执行操作的顺序为所述待执行操作部件编号；
高亮所述待执行操作部件。
4.如权利要求3所述的跨平台远程协助方法，其特征在于，若所述第二视频信息中无法显示全部所述待执行操作部件，则在所述显示器显示所述无法显示的所述待执行操作部件的名称及所述编号。
5.如权利要求4所述的跨平台远程协助方法，其特征在于，所述方法还包括：
所述服务器获取所述终端的位置信息和所述待执行操作部件的位置信息；
所述服务器根据所述终端的位置信息和所述待执行操作部件的位置信息生成导航信息，并发送所述导航信息和所述待执行操作部件的位置信息至所述终端。
6.如权利要求5所述的跨平台远程协助方法，其特征在于，所述方法还包括：
所述显示器显示所述导航信息，并根据所述待执行操作部件的位置信息显示所述待执行操作部件的位置。
7.如权利要求1所述的跨平台远程协助方法，其特征在于，所述特征提取算法为定向快速旋转算法。
8.如权利要求1所述的跨平台远程协助方法，其特征在于，所述方法还包括：
所述终端使用语音播报所述故障操作信息。
9.一种跨平台远程协助***，其特征在于，包括：服务器和终端，所述终端和所述服务器通信连接；
所述服务器用于获取来自所述摄像头的第一视频信息和来自所述数据接口的设备运行信息，以及；所述服务器还用于根据所述设备运行信息和卷积神经网络进行匹配，以获取设备型号信息和故障信息，以及；所述服务器还用于根据所述设备型号信息和所述故障信息匹配故障操作信息，发送所述故障操作信息至所述终端，以及；所述服务器端还用于根据所述故障操作信息获取所述设备中待执行操作部件的图像特征，以及；所述服务器还用于根据所述第一视频信息、所述设备的图像特征和特征提取算法进行匹配，以获取所述第一视频信息中的所述待执行操作部件，以及；所述服务器还用于根据所述匹配结果生成第二视频信息，发送所述第二视频信息至所述终端，
所述终端用于获取来自所述服务器的障操作信息，所述终端还用于显示所述第二视频信息，所述第二视频信息包括所述故障操作信息和所述待执行操作部件。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令时实现权利要求1至8任意一项所述的方法。
11.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示设备执行如权利要求1至7中任一项所述的跨平台远程协助方法。
CN202110569841.4A 2021-06-15 2021-06-15 跨平台远程协助方法、***、电子设备及存储介质 Active CN113191326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110569841.4A CN113191326B (zh) 2021-06-15 2021-06-15 跨平台远程协助方法、***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110569841.4A CN113191326B (zh) 2021-06-15 2021-06-15 跨平台远程协助方法、***、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113191326A true CN113191326A (zh) 2021-07-30
CN113191326B CN113191326B (zh) 2024-07-12

Family

ID=76984864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110569841.4A Active CN113191326B (zh) 2021-06-15 2021-06-15 跨平台远程协助方法、***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113191326B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470786A (zh) * 2007-12-28 2009-07-01 ***助在线信息技术有限公司 用于在线帮助的透明窗体隐私保护的装置和方法
CN103823458A (zh) * 2014-03-17 2014-05-28 广东华南计算技术研究所 设备远程诊断装置及其诊断方法与***
CN107480797A (zh) * 2017-10-09 2017-12-15 成都深冷凌泰机电科技有限公司 一种lng加气机故障诊断排除***及其操作方法
CN107784885A (zh) * 2017-10-26 2018-03-09 歌尔科技有限公司 基于ar设备的操作培训方法及ar设备
US20180159979A1 (en) * 2016-12-01 2018-06-07 TechSee Augmented Vision Ltd. Remote distance assistance system and method
CN110673726A (zh) * 2019-09-23 2020-01-10 浙江赛伯乐众智网络科技有限公司 Ar远程专家协助方法及***
US20200141607A1 (en) * 2017-07-14 2020-05-07 Daikin Industries, Ltd. Operating system, information processing device, control system, and infrared output device
JP2020107928A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 リモート支援システム
CN111752442A (zh) * 2020-08-11 2020-10-09 腾讯科技（深圳）有限公司 显示操作引导信息的方法、装置、终端及存储介质
CN112018892A (zh) * 2020-09-04 2020-12-01 南京太司德智能电气有限公司 一种电力运维远程指导***
CN112288889A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 指示信息展示方法、装置、计算机设备及存储介质
CN112328420A (zh) * 2020-10-26 2021-02-05 南京燚麒智能科技有限公司 一种设备故障检测的方法、装置和***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470786A (zh) * 2007-12-28 2009-07-01 ***助在线信息技术有限公司 用于在线帮助的透明窗体隐私保护的装置和方法
CN103823458A (zh) * 2014-03-17 2014-05-28 广东华南计算技术研究所 设备远程诊断装置及其诊断方法与***
US20180159979A1 (en) * 2016-12-01 2018-06-07 TechSee Augmented Vision Ltd. Remote distance assistance system and method
US20200141607A1 (en) * 2017-07-14 2020-05-07 Daikin Industries, Ltd. Operating system, information processing device, control system, and infrared output device
CN107480797A (zh) * 2017-10-09 2017-12-15 成都深冷凌泰机电科技有限公司 一种lng加气机故障诊断排除***及其操作方法
CN107784885A (zh) * 2017-10-26 2018-03-09 歌尔科技有限公司 基于ar设备的操作培训方法及ar设备
JP2020107928A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 リモート支援システム
CN110673726A (zh) * 2019-09-23 2020-01-10 浙江赛伯乐众智网络科技有限公司 Ar远程专家协助方法及***
CN111752442A (zh) * 2020-08-11 2020-10-09 腾讯科技（深圳）有限公司 显示操作引导信息的方法、装置、终端及存储介质
CN112018892A (zh) * 2020-09-04 2020-12-01 南京太司德智能电气有限公司 一种电力运维远程指导***
CN112328420A (zh) * 2020-10-26 2021-02-05 南京燚麒智能科技有限公司 一种设备故障检测的方法、装置和***
CN112288889A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 指示信息展示方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUNFENG LIU等: "Remote Fault Diagnosis Based on Virtual Instrument Technology", 《PROCEEDINGS OF THE 10TH INTERNATIONAL CONFERENCE ON COMPUTER SUPPORTED COOPERATIVE WORK IN DESIGN》, 4 December 2006 (2006-12-04), pages 1 - 5 *
孙寒冰等: "基于IETM的远程协同故障诊断资源相关研究", 《PROCEEDINGS OF 14TH CHINESE CONFERENCE ON SYSTEM SIMULATION TECHNOLOGY & APPLICATION》, vol. 14, 11 August 2012 (2012-08-11), pages 924 - 928 *

Also Published As

Publication number Publication date
CN113191326B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
US9710946B2 (en) Method and apparatus for displaying point of interest
CN105608693B (zh) 车载全景环视的标定***及方法
US20230260274A1 (en) Image display system, terminal, method, and program for determining a difference between a first image and a second image
CN110673726B (zh) Ar远程专家协助方法及***
CN109034418B (zh) 作业现场信息传输方法及***
US11734954B2 (en) Face recognition method, device and electronic equipment, and computer non-volatile readable storage medium
US20190088256A1 (en) Human-machine interaction method and apparatus based on artificial intelligence
US20210319250A1 (en) Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN110609913A (zh) 信息处理方法及其装置、电子设备和介质
US20180032793A1 (en) Apparatus and method for recognizing objects
CN104424352B (zh) 向用户终端提供代理服务的***和方法
CN108717711B (zh) 一种轨道交通故障图像分析方法、装置和***
CN112383956A (zh) 急救定位方法及***
CN107295489A (zh) 伪基站短信识别方法、装置、设备及存储介质
US9286543B2 (en) Characteristic point coordination system, characteristic point coordination method, and recording medium
CN113191326B (zh) 跨平台远程协助方法、***、电子设备及存储介质
US10801854B2 (en) Navigation system for the visually impaired and method thereof
CN109190466A (zh) 一种人员实时定位的方法和设备
CN112383734A (zh) 视频处理方法、装置、计算机设备和存储介质
CN115661493B (zh) 一种对象位姿的确定方法及装置、设备及存储介质
WO2021047249A1 (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN114218288B (zh) 一种行车路线推荐方法、装置、存储介质及终端
CN115756256A (zh) 信息标注的方法、***、电子设备以及存储介质
KR20200022285A (ko) 증강현실 서비스를 위한 도로분야 3차원 정보모델 매핑 장치 및 그 방법
US20230289928A1 (en) Image augmentation apparatus, control method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant