CN116319727A - 一种远程在线标记方法及*** - Google Patents

一种远程在线标记方法及*** Download PDF

Info

Publication number
CN116319727A
CN116319727A CN202310233620.9A CN202310233620A CN116319727A CN 116319727 A CN116319727 A CN 116319727A CN 202310233620 A CN202310233620 A CN 202310233620A CN 116319727 A CN116319727 A CN 116319727A
Authority
CN
China
Prior art keywords
marking
time
equipment
live real
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310233620.9A
Other languages
English (en)
Inventor
赵凤艳
张洪军
王军
张振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nelda Technology Co ltd
Original Assignee
Beijing Nelda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nelda Technology Co ltd filed Critical Beijing Nelda Technology Co ltd
Priority to CN202310233620.9A priority Critical patent/CN116319727A/zh
Publication of CN116319727A publication Critical patent/CN116319727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请公开了一种远程在线标记方法及***。本方法首先建立与终端MR设备之间的通信关系，基于通信关系获取MR设备所采集的现场实时视频数据，并进行视频图像显示；然后在视频图像显示界面中对现场实时画面进行标记处理，得到标记后的图像信息；最后将标记后的图像信息通过通信关系同步给MR设备进行展示。本发明可以与终端MR设备进行图像、语音等实时交互，帮助现场人员通过MR设备得到远程指导人员的有效指导。

Description

一种远程在线标记方法及***
技术领域
本发明涉及通信技术领域，特别涉及一种远程在线标记方法及***。
背景技术
在进行远程设备操控时，传统通常是通过设备现场所拍摄的画面发送到远程指导人员端显示，远程指导人员看到的是平面的显示图像，并且指导也只能通过语音进行，在复杂检修场景中，远程指导人员通过语音图像与现场人员进行交流时，容易出现对设备指导定位不精准从而产生误操作事件。
然而，现有通过传输现场语音和视频不能很好的将指导建议反馈给现场人员，现场人员需要更加精准的指导。
发明内容
基于此，本申请实施例提供了一种远程在线标记方法及***，可以与终端MR设备进行图像、语音等实时交互，帮助现场人员通过MR设备得到远程指导人员的有效指导。
第一方面，提供了一种远程在线标记方法，该方法包括：
建立与终端MR设备之间的通信关系，基于所述通信关系获取MR设备所采集的现场实时视频数据，并进行视频图像显示；
在视频图像显示界面中对现场实时画面进行标记处理，得到标记后的图像信息；
将所述标记后的图像信息通过所述通信关系同步给MR设备进行展示。
可选地，所述建立与终端MR设备之间的通信关系，包括：
建立与终端MR设备之间http协议通信。
可选地，建立与终端MR设备之间的通信关系之后，所述方法还包括：
获取MR设备所采集的现场实时音频数据；基于所述现场实时音频数据在视频图像显示界面中对现场实时画面进行标记处理。
可选地，在视频图像显示界面中对现场实时画面进行标记处理至少包括：
对现场实时画面进行画框、标记箭头、标记颜色处理。
可选地，在视频图像显示界面中对现场实时画面进行标记处理包括：
通过程序语言完成标记功能。
第二方面，提供了一种远程在线标记***，该***包括：
获取模块，用于建立与终端MR设备之间的通信关系，基于所述通信关系获取MR设备所采集的现场实时视频数据，并进行视频图像显示；
标记模块，用于在视频图像显示界面中对现场实时画面进行标记处理，得到标记后的图像信息；
同步模块，用于将所述标记后的图像信息通过所述通信关系同步给MR设备进行展示。
可选地，获取模块建立与终端MR设备之间的通信关系，包括：
建立与终端MR设备之间http协议通信。
可选地，所述获取模块还包括：
获取MR设备所采集的现场实时音频数据；基于所述现场实时音频数据在视频图像显示界面中对现场实时画面进行标记处理。
可选地，标记模块在视频图像显示界面中对现场实时画面进行标记处理至少包括：
对现场实时画面进行画框、标记箭头、标记颜色处理。
可选地，标记模块在视频图像显示界面中对现场实时画面进行标记处理包括：
通过程序语言完成标记功能。
本申请实施例提供的技术方案带来的有益效果至少包括：
(1)在远程辅助***上，通过程序语言编写，将现场画面做动态标记，使现场人员可以通过MR设备直接观看到标记后的画面，得到更精准的指导。
(2)基于MR设备有效的提升了远程与现场之间的信息传输的实时性与全面性，提升了整体的工作效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
图1为本申请实施例提供的一种远程在线标记方法的架构图；
图2为本申请实施例提供的一种远程在线标记方法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本发明的描述中，术语“包括”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包括了一系列步骤或单元的过程、方法、***、产品或设备不必限于已明确列出的那些步骤或单元，而是还可包含虽然并未明确列出的但对于这些过程、方法、产品或设备固有的其它步骤或单元，或者基于本发明构思进一步的优化方案所增加的步骤或单元。
目前的远程辅助***仅可以与终端MR设备进行图像、语音等实时交互，但仅通过传输现场语音和视频不能很好的将指导建议反馈给现场人员，现场人员需要更加精准的指导。本申请在远程辅助***基础上，将现场画面做动态标记，使现场人员可以通过MR设备直接观看到标记后的画面，得到更精准的指导。
如图1，其示出了远程在线标记方法的架构图，本申请公开了一种远程在线标记方法，可应用于图1中的远程辅助***中，通过远程辅助***实现标记图像信息，以及与MR端设备的具体信息交互。具体地，请参考图2，其示出了本申请实施例提供的一种远程在线标记方法的流程图，该方法可以包括以下步骤：
步骤101，建立与终端MR设备之间的通信关系，基于通信关系获取MR设备所采集的现场实时视频数据，并进行视频图像显示。
在本步骤中，通过远程辅助***与终端MR设备之间的通信协议，将现场的视频图像传输到远程辅助***界面上。
在本申请可选的实施例中，不单获取现场的视频图像，还包括获取MR设备所采集的现场实时音频数据；标记人员可以基于现场实时音频数据在视频图像显示界面中对现场实时画面进行标记处理。
步骤102，在视频图像显示界面中对现场实时画面进行标记处理，得到标记后的图像信息。
在远程辅助***界面上，通过程序语言完成标记功能，远程指导人员在现场实时画面上选取标记功能的各种标记进行标记处理，标记至少包括画框、箭头、标记颜色等。
其中，程序的实现主要基于UnityAPI-Vector2进行实现，以箭头和圆圈为例：箭头：Vector2.Angle(point.startPoint,Vector2.right)；圆圈：newVector2(Mathf.Abs(point.x-startPoint.x),Mathf.Abs(point.y-startPoint.y))。
步骤103，将标记后的图像信息通过通信关系同步给MR设备进行展示。
将标记后的图像信息，通过协议同步给MR设备端，指导现场人员操作。
在本申请实施例中，MR端设备与远程辅助***之间通过http协议进行通信。
其中，远程辅助***可以对应于多个MR端设备，可对各个MR端设备的型号、数量、位置、使用状态等进行管理，可添加删除修改等。
MR端设备具体可利用头戴式设备对现场情况进行记录、拍照等信息采集，实现现场应急与远程辅助***的实时音视频通讯，实现高清音视频数据的实时同步传输，同时远程指导人员对现场作业人员进行指导，可以看出，MR端设备支持现场拍照、现场录像、GPS定位、可视化显示、语音表单、视频通话功能。
综上可以看出，增加了远程在线标记功能，并基于MR设备有效的提升了远程与现场之间的信息传输的实时性与全面性，提升了整体的工作效率。
本申请实施例还提供的一种远程在线标记***，其可以是上述远程辅助***或是远程辅助***的子***。***包括：
获取模块，用于建立与终端MR设备之间的通信关系，基于所述通信关系获取MR设备所采集的现场实时视频数据，并进行视频图像显示；
标记模块，用于在视频图像显示界面中对现场实时画面进行标记处理，得到标记后的图像信息；
同步模块，用于将所述标记后的图像信息通过所述通信关系同步给MR设备进行展示。
在本申请可选的实施例中，获取模块建立与终端MR设备之间的通信关系，包括建立与终端MR设备之间http协议通信。
在本申请可选的实施例中，获取模块还包括获取MR设备所采集的现场实时音频数据；基于现场实时音频数据在视频图像显示界面中对现场实时画面进行标记处理。
在本申请可选的实施例中，标记模块在视频图像显示界面中对现场实时画面进行标记处理至少包括对现场实时画面进行画框、标记箭头、标记颜色处理。
在本申请可选的实施例中，标记模块在视频图像显示界面中对现场实时画面进行标记处理包括通过程序语言完成标记功能。
本申请实施例提供的远程在线标记***用于实现上述远程在线标记方法，关于远程在线标记***的具体限定可以参见上文中对于远程在线标记方法的限定，在此不再赘述。上述远程在线标记***中的各个部分可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种远程在线标记方法，其特征在于，所述方法包括：
建立与终端MR设备之间的通信关系，基于所述通信关系获取MR设备所采集的现场实时视频数据，并进行视频图像显示；
在视频图像显示界面中对现场实时画面进行标记处理，得到标记后的图像信息；
将所述标记后的图像信息通过所述通信关系同步给MR设备进行展示。
2.根据权利要求1所述的方法，其特征在于，所述建立与终端MR设备之间的通信关系，包括：
建立与终端MR设备之间http协议通信。
3.根据权利要求1所述的方法，其特征在于，建立与终端MR设备之间的通信关系之后，所述方法还包括：
获取MR设备所采集的现场实时音频数据；基于所述现场实时音频数据在视频图像显示界面中对现场实时画面进行标记处理。
4.根据权利要求1所述的方法，其特征在于，在视频图像显示界面中对现场实时画面进行标记处理至少包括：
对现场实时画面进行画框、标记箭头、标记颜色处理。
5.根据权利要求1所述的方法，其特征在于，在视频图像显示界面中对现场实时画面进行标记处理包括：
通过程序语言完成标记功能。
6.一种远程在线标记***，其特征在于，所述***包括：
获取模块，用于建立与终端MR设备之间的通信关系，基于所述通信关系获取MR设备所采集的现场实时视频数据，并进行视频图像显示；
标记模块，用于在视频图像显示界面中对现场实时画面进行标记处理，得到标记后的图像信息；
同步模块，用于将所述标记后的图像信息通过所述通信关系同步给MR设备进行展示。
7.根据权利要求6所述的***，其特征在于，获取模块建立与终端MR设备之间的通信关系，包括：
建立与终端MR设备之间http协议通信。
8.根据权利要求6所述的***，其特征在于，所述获取模块还包括：
获取MR设备所采集的现场实时音频数据；基于所述现场实时音频数据在视频图像显示界面中对现场实时画面进行标记处理。
9.根据权利要求6所述的***，其特征在于，标记模块在视频图像显示界面中对现场实时画面进行标记处理至少包括：
对现场实时画面进行画框、标记箭头、标记颜色处理。
10.根据权利要求6所述的***，其特征在于，标记模块在视频图像显示界面中对现场实时画面进行标记处理包括：
通过程序语言完成标记功能。
CN202310233620.9A 2023-03-03 2023-03-03 一种远程在线标记方法及*** Pending CN116319727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310233620.9A CN116319727A (zh) 2023-03-03 2023-03-03 一种远程在线标记方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310233620.9A CN116319727A (zh) 2023-03-03 2023-03-03 一种远程在线标记方法及***

Publications (1)

Publication Number Publication Date
CN116319727A true CN116319727A (zh) 2023-06-23

Family

ID=86835575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310233620.9A Pending CN116319727A (zh) 2023-03-03 2023-03-03 一种远程在线标记方法及***

Country Status (1)

Country Link
CN (1) CN116319727A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277451A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar实现远程指导现场排查故障的方法及设备
CN108322475A (zh) * 2018-02-27 2018-07-24 成都普望智能科技有限公司 一种基于mr直播的设备远程协作维修方法及***
CN113114971A (zh) * 2021-06-16 2021-07-13 国能信控互联技术有限公司 辅助远程协作的头显设备、远程协同***及其控制方法
CN115268658A (zh) * 2022-09-30 2022-11-01 苏芯物联技术(南京)有限公司 一种基于增强现实的多方远程空间圈画标记方法
JP2022186346A (ja) * 2021-06-04 2022-12-15 綜合警備保障株式会社 遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277451A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar实现远程指导现场排查故障的方法及设备
CN108322475A (zh) * 2018-02-27 2018-07-24 成都普望智能科技有限公司 一种基于mr直播的设备远程协作维修方法及***
JP2022186346A (ja) * 2021-06-04 2022-12-15 綜合警備保障株式会社 遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム
CN113114971A (zh) * 2021-06-16 2021-07-13 国能信控互联技术有限公司 辅助远程协作的头显设备、远程协同***及其控制方法
CN115268658A (zh) * 2022-09-30 2022-11-01 苏芯物联技术(南京)有限公司 一种基于增强现实的多方远程空间圈画标记方法

Similar Documents

Publication Publication Date Title
CN107223246B (zh) 图像标注方法、装置及电子设备
EP3905203B1 (en) Method and apparatus for processing video, and storage medium
CN105320695B (zh) 图片处理方法及装置
CN107239252A (zh) 一种led显示屏自动连屏方法
CN104010124A (zh) 一种显示滤镜效果的方法、装置和移动终端
CN113259597B (zh) 图像处理方法、装置、设备、介质及程序产品
DE112011105928T5 (de) Bildaufnahmevorrichtung, Verfahren zur Steuerung derselben und Programm
JP7511026B2 (ja) 画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器
CN110111241A (zh) 用于生成动态图像的方法和装置
CN107493460A (zh) 一种图像采集方法及***
CN116319727A (zh) 一种远程在线标记方法及***
CN112118600B (zh) 一种5g独立组网sa架构下的流量牵引***
CN115633147A (zh) 一种基于5g多视角的多人远程协作指导***
CN109617946A (zh) 将图像中自定义文字识别结果数据自动上传的方法及拍照设备
CN114979035A (zh) 监控视频存储方法及装置、电子设备及存储介质
CN111858992B (zh) 基于gps和标签信息的水利工程照片管理方法及***
CN113411543A (zh) 一种多路监控视频融合显示方法及***
US7908319B2 (en) Information display apparatus and information display method
JP2014212439A (ja) 表示制御装置、制御方法およびプログラム
CN113906727A (zh) 全景回放的方法、装置和***、拍摄设备、可移动平台
CN220528120U (zh) 一种图像拼接装置
CN212675543U (zh) 一种低识别复杂度的视觉识别编程拼图
CN105727457B (zh) 一种放射治疗参数验证装置和放射治疗设备及验证方法
CN111142810B (zh) 图像处理***以及图像处理方法
CN111654676B (zh) 一种协作拍摄***及其拍摄方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination