CN107888934A - 一种基于ar技术的变电技能直播*** - Google Patents

一种基于ar技术的变电技能直播*** Download PDF

Info

Publication number
CN107888934A
CN107888934A CN201711176959.0A CN201711176959A CN107888934A CN 107888934 A CN107888934 A CN 107888934A CN 201711176959 A CN201711176959 A CN 201711176959A CN 107888934 A CN107888934 A CN 107888934A
Authority
CN
China
Prior art keywords
model
video
module
audio
power transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711176959.0A
Other languages
English (en)
Inventor
李军锋
肖叶枝
冯伟夏
赵永强
何双伯
郝腾飞
夏爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Education and Training Assessment Center of Guangdong Power Grid Co Ltd
Original Assignee
Education and Training Assessment Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Education and Training Assessment Center of Guangdong Power Grid Co Ltd filed Critical Education and Training Assessment Center of Guangdong Power Grid Co Ltd
Priority to CN201711176959.0A priority Critical patent/CN107888934A/zh
Publication of CN107888934A publication Critical patent/CN107888934A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于AR技术的变电技能直播***，包括：主播端、服务器端和用户端；主播端包括音视频采集模块；服务器端包括图像识别模块和模型载入模块；用户端包括模型叠加显示模块。主播端采集本地音视频并发送至服务器，图像识别模块提取收到的音视频中的变电设备图像并识别其型号，模型载入模块根据型号提取3D建模文件，将3D建模文件与音视频混流发送至用户端，模型叠加显示模块通过AR.js框架把3D建模文件中的模型覆盖显示在视频之上。本发明相对于传统变电技能的直播教学方式有较大的改进，使教员可采取全新的教学方式，增强教员与学员之间的互动性，提高学员的学习积极性。

Description

一种基于AR技术的变电技能直播***
技术领域
本发明涉及直播***领域，更具体地，涉及一种基于AR技术的变电技能直播***。
背景技术
随着移动互联网技术的发展和应用，人们的生活、工作方式发生了翻天覆地的变化，其中获取知识的方式和途径，也随着在线教育行业的出现和发展，而发生了巨大的变化，直播***在电网培训中也得以广泛应用，因为电网运行的安全性越来越突出、越来越重要，电网事故可能造成的影响范围、社会和政治影响也愈来愈大。变电站运行人员承担的电网安全、稳定、经济运行的责任，需要提高变电站现场运行人员的综合素质和技能水平，以保证其掌握新型设备运行特性和驾驭电网运行的能力。但目前生产运行部门的人员更新比较频繁、专业水平参差不齐、人为误操作事故仍不能杜绝，因此，加强变电站运行人员日常培训和实操训练，提升生产运行人员的技能水平，已成为各级电力部门的一项重要工作。当前，变电站运行人员日常培训和实操训练主要是基于网络直播平台，讲师通过理论知识、实际设备操作过程展示给学员观看、学习。
传统的直播培训在变电设备操作培训中存在互动性差，无法充分调动和激发学员的学习热情而导致培训效果达不到预期目标。传统的直播培训还存在无法保持完整地显示变电设备及其相关部件的问题。
发明内容
本发明为克服上述现有技术所述的互动性差、无法激发学员的学习热情以及变电设备在视频中显示的问题，提供一种基于AR技术的变电技能直播***。
为解决上述技术问题，本发明的技术方案如下：
一种基于AR技术的变电技能直播***，包括：主播端、服务器端和用户端；
所述主播端包括音视频采集模块；
所述服务器端包括图像识别模块和模型载入模块；
所述用户端包括模型叠加显示模块；
所述主播端采集现场音视频数据，并将数据发送至所述服务器端，所述服务器端的所述图像识别模块对音视频数据进行解析，以及读取视频中变电设备的型号，所述模型载入模块用所述视频中变电设备的型号调取相应的3D建模文件，将所述3D建模文件与所述音视频数据通过混流方式推送到所述用户端，所述用户端在本地显示带有3D模型的音视频。
为了在保证视频质量的同时流畅地上传至服务器，优选的，所述音视频采集模块在所述音视频数据发送前，对所述音视频数据进行压缩编码。
为了自动精确地识别变电设备的轮廓，将其从视频图像中切割出来以便识别，优选的，所述图像识别模块通过基于OpenCV的findContours算法，对图像进行切割并尝试识别；
如果识别成功，所述图像识别模块将所述视频中变电设备的型号发送至所述模型载入模块；
如果识别失败，给出建议重新扫描或手工调取所述视频中变电设备的型号的提示，主播人员重复进行所述提示的操作，直至识别成功，所述图像识别模块将所述视频中变电设备的型号发送至所述模型载入模块。
为了将收到的3D模型显示在本地的视频画面上，优选的，所述模型叠加显示模块显示带有3D模型的音视频的方式为AR.js框架。
与现有技术相比，本发明技术方案的有益效果是：
本发明将主播端上传的音视频进行加工处理，首先读取出音视频中的变电设备的型号，然后将相应型号的变电设备的预存3D建模文件提取出来，将其中的变电设备的3D模型通过整合，覆盖在音视频上，使学员能在观看主播端现场录制的音视频的同时，观看音视频中变电设备的3D模型。主播端的教员可以通过与3D模型配合，更方便地表达教学内容，学员也可以通过此种教学方式，更直观地看懂和理解教员要表达的内容，提高学习的热情。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于AR技术的变电技能直播***示意图；
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于AR技术的变电技能直播***，包括：主播端、服务器端和用户端；主播端包括音视频采集模块；服务器端包括图像识别模块和模型载入模块；用户端包括模型叠加显示模块。
在开展变电技能的直播教学的时候，教员通过主播端、带有处理器的设备以及摄像头等设备配合，实时采集现场教学音视频数据。为了在保证视频质量的同时流畅地上传至服务器，音视频采集模块在音视频数据发送前，带有处理器的设备对音视频数据进行压缩编码。带有处理器的设备在录制并处理现场音视频数据之后，将音视频数据发送至服务器端。
服务器端的图像识别模块对音视频数据进行解析，对视频画面进行处理。为了自动精确地识别变电设备的轮廓，将其从视频图像中切割出来以便识别，图像识别模块通过基于OpenCV的findContours算法，对图像进行切割，使用trainAndTest函数来创建并训练模型，图像识别模块对训练模型进行尝试识别；
如果识别成功，图像识别模块将视频中变电设备的型号发送至模型载入模块；
如果识别失败，给出建议重新扫描或手工调取视频中变电设备的型号的提示，主播人员重复进行提示的操作，直至识别成功，图像识别模块将视频中变电设备的型号发送至模型载入模块。
模型载入模块用视频中变电设备的型号调取相应的3D建模文件，3D建模文件是已经过预处理的js文件，以便于在web界面上的加载。模型载入模块还将3D建模文件与音视频数据通过混流方式推送到用户端。
用户端收到模型和音视频的数据后，在本地显示带有3D模型的音视频。为了实现将收到的3D模型覆盖显示在本地的视频画面上，本地的模型叠加显示模块采用了AR.js框架。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于AR技术的变电技能直播***，其特征在于，包括：主播端、服务器端和用户端；
所述主播端包括音视频采集模块；
所述服务器端包括图像识别模块和模型载入模块；
所述用户端包括模型叠加显示模块；
所述主播端采集现场音视频数据，并将数据发送至所述服务器端，所述服务器端的所述图像识别模块对音视频数据进行解析，以及读取视频中变电设备的型号，所述模型载入模块用所述视频中变电设备的型号调取相应的3D建模文件，将所述3D建模文件与所述音视频数据通过混流方式推送到所述用户端，所述用户端在本地显示带有3D模型的音视频。
2.根据权利要求1所述的基于AR技术的变电技能直播***，其特征在于，所述音视频采集模块在所述音视频数据发送前，对所述音视频数据进行压缩编码。
3.根据权利要求1所述的基于AR技术的变电技能直播***，其特征在于，所述图像识别模块通过基于OpenCV的findContours算法，对图像进行切割并尝试识别；
如果识别成功，所述图像识别模块将所述视频中变电设备的型号发送至所述模型载入模块；
如果识别失败，给出建议重新扫描或手工调取所述视频中变电设备的型号的提示，主播人员重复进行所述提示的操作，直至识别成功，所述图像识别模块将所述视频中变电设备的型号发送至所述模型载入模块。
4.根据权利要求1所述的基于AR技术的变电技能直播***，其特征在于，所述模型叠加显示模块显示带有3D模型的音视频的方式为AR.js框架。
CN201711176959.0A 2017-11-22 2017-11-22 一种基于ar技术的变电技能直播*** Pending CN107888934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711176959.0A CN107888934A (zh) 2017-11-22 2017-11-22 一种基于ar技术的变电技能直播***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711176959.0A CN107888934A (zh) 2017-11-22 2017-11-22 一种基于ar技术的变电技能直播***

Publications (1)

Publication Number Publication Date
CN107888934A true CN107888934A (zh) 2018-04-06

Family

ID=61778268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711176959.0A Pending CN107888934A (zh) 2017-11-22 2017-11-22 一种基于ar技术的变电技能直播***

Country Status (1)

Country Link
CN (1) CN107888934A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271534A (zh) * 2018-10-19 2019-01-25 武汉斗鱼网络科技有限公司 一种直播数据识别框架、方法、服务器及存储介质
CN110620955A (zh) * 2018-06-19 2019-12-27 宏正自动科技股份有限公司 直播***及其直播方法
CN113852517A (zh) * 2021-09-06 2021-12-28 天翼数字生活科技有限公司 一种基于ar的信号强度可视化***和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习***及方法
CN105405168A (zh) * 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置
CN105955449A (zh) * 2016-04-18 2016-09-21 展视网（北京）科技有限公司 增强现实制品及其识别方法、装置和增强现实设备
CN106254848A (zh) * 2016-07-29 2016-12-21 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的学习方法及终端
CN106485956A (zh) * 2016-09-29 2017-03-08 珠海格力电器股份有限公司 一种演示电子设备功能的方法、装置和智能终端
CN106601043A (zh) * 2016-11-07 2017-04-26 爱可目（北京）科技股份有限公司 一种基于增强现实的多媒体互动教育设备及方法
CN106910244A (zh) * 2017-02-20 2017-06-30 广东电网有限责任公司教育培训评价中心 电力设备内部构造现场认知方法和装置
CN106910251A (zh) * 2017-03-22 2017-06-30 朱海涛 基于ar和移动终端的模型仿真方法
CN107204031A (zh) * 2017-04-27 2017-09-26 腾讯科技（深圳）有限公司 信息展示方法及装置
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习***及方法
CN105405168A (zh) * 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置
CN105955449A (zh) * 2016-04-18 2016-09-21 展视网（北京）科技有限公司 增强现实制品及其识别方法、装置和增强现实设备
CN106254848A (zh) * 2016-07-29 2016-12-21 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的学习方法及终端
CN106485956A (zh) * 2016-09-29 2017-03-08 珠海格力电器股份有限公司 一种演示电子设备功能的方法、装置和智能终端
CN106601043A (zh) * 2016-11-07 2017-04-26 爱可目（北京）科技股份有限公司 一种基于增强现实的多媒体互动教育设备及方法
CN106910244A (zh) * 2017-02-20 2017-06-30 广东电网有限责任公司教育培训评价中心 电力设备内部构造现场认知方法和装置
CN106910251A (zh) * 2017-03-22 2017-06-30 朱海涛 基于ar和移动终端的模型仿真方法
CN107204031A (zh) * 2017-04-27 2017-09-26 腾讯科技（深圳）有限公司 信息展示方法及装置
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620955A (zh) * 2018-06-19 2019-12-27 宏正自动科技股份有限公司 直播***及其直播方法
CN110620955B (zh) * 2018-06-19 2022-04-12 宏正自动科技股份有限公司 直播***及其直播方法
CN109271534A (zh) * 2018-10-19 2019-01-25 武汉斗鱼网络科技有限公司 一种直播数据识别框架、方法、服务器及存储介质
CN113852517A (zh) * 2021-09-06 2021-12-28 天翼数字生活科技有限公司 一种基于ar的信号强度可视化***和方法

Similar Documents

Publication Publication Date Title
CN112562433B (zh) 一种基于全息终端的5g强互动远程专递教学***的工作方法
CN105405325A (zh) 一种网络教学方法及***
US20180247550A1 (en) Image synchronous display method and device
CN107731032A (zh) 一种音视频切换方法、装置以及远程多点互动教学***
CN107888934A (zh) 一种基于ar技术的变电技能直播***
CN109118854A (zh) 一种全景沉浸式直播互动教学***
CN107277442A (zh) 一种基于智能全景实时视频vr巡检监控装置及监控方法
CN101783889A (zh) 一种实时抠像及视频监视和采集方法
CN106023689A (zh) 一种教学管理***
CN111723558A (zh) 文档展示方法、装置、电子设备以及存储介质
CN113132741A (zh) 一种虚拟直播***和方法
CN112911221B (zh) 一种基于5g和vr视频的远程实景仓储监管***
CN107845143A (zh) 一种基于虚拟现实的装修现场展示***
CN110676937A (zh) 智慧安全用电运维管理***
CN109862375B (zh) 云录播***
CN117424924A (zh) 一种基于元宇宙互动的巡视增强方法
CN108683629A (zh) 视频传输、播放方法、存储介质、处理器和终端
CN204697201U (zh) 一种远程提讯***
WO2021115255A1 (zh) 一种评测vr体验临场感的方法、装置及***
CN112396718A (zh) 基于ar技术的现场施工安全及质量监督研究***
CN116880699A (zh) 一种多人沉浸式教学互动***
CN107613127A (zh) 一种智能控制移动端图像视频采集便捷实时播放设备
CN205726152U (zh) 一种互联网视频互动***
CN103702090A (zh) 一种多功能视讯***及其运行方法
CN109672944A (zh) 监狱的电化教育管理***及管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406

RJ01 Rejection of invention patent application after publication