CN103595954A - 一种基于位置信息的多视频图像融合处理的方法及*** - Google Patents

一种基于位置信息的多视频图像融合处理的方法及*** Download PDF

Info

Publication number
CN103595954A
CN103595954A CN201210292372.7A CN201210292372A CN103595954A CN 103595954 A CN103595954 A CN 103595954A CN 201210292372 A CN201210292372 A CN 201210292372A CN 103595954 A CN103595954 A CN 103595954A
Authority
CN
China
Prior art keywords
video
video source
fusion
source
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210292372.7A
Other languages
English (en)
Inventor
王春明
李会茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liu Wei
Original Assignee
BEIJING ZHONGDIAN HUAYUAN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ZHONGDIAN HUAYUAN TECHNOLOGY Co Ltd filed Critical BEIJING ZHONGDIAN HUAYUAN TECHNOLOGY Co Ltd
Priority to CN201210292372.7A priority Critical patent/CN103595954A/zh
Publication of CN103595954A publication Critical patent/CN103595954A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种基于位置信息的多视频图像融合处理的方法及***，包括多个视频源设备、业务控制***和客户端。业务控制***参考各视频源的位置信息，针对位置相邻的多个视频源，判断其视频画面内容是否有包含关系，即全局和局部的关系。业务控制***将全局视频源画面作为底图，将其他视频源的局部画面，按照其与该全局视频源的相对位置关系，叠加显示在全局画面之上；对于视频画面没有包含关系的多路视频源输入的视频画面，按照视频源之间的相对位置关系，排列显示在客户端界面对应位置上。本方案可帮助用户在观看多路视频的同时，掌握全局与局部的视频图像，及各图像在空间的实际位置及相互关系，提高了用户管理效率。

Description

一种基于位置信息的多视频图像融合处理的方法及***
技术领域
本发明涉及视频图像处理技术领域，具体讲是一种基于位置信息的多视频图像融合处理的方法及***。
背景技术
随着国民经济及城市建设的快速发展，各种视频***越来越多的应用到人们的生活及工作的各方面。
其中，视频监控***是一种常见的视频应用***，已在城市治安管理、交通管理得到了大量的实际应用。典型视频监控***一般由前端监控设备、业务管理平台及监控客户端构成。
前端监控设备部署在监控现场，实现对各类信息采集的功能，如视频、音频、视频智能分析等信息以及相关参数的采集和控制。
业务管理平台实现对整个***及业务流程的管理、控制，以及报警处理、录像、录像回放、用户管理等功能。
监控客户端部署在用户侧，实现监控视频集中显示、录像查询回放、业务***管理的功能，典型的监控客户端包括监控大屏幕、PC机等。
随着应用的逐步深入，每个视频监控***的规模越来越大，从几十个到上百个，甚至更多。为了方便用户管理员快速检索视频内容，一般监控***提供分屏的方式提供多画面输出显示的方式，如九分屏、十六分屏等方式；但是随着监控客户端同时输出视频路数的增加，也带来了新的问题，目前监控客户端只是将多路视频显示在大屏幕上，并没有按照实际的部署方式或相对位置关系对各路视频进行管理，所以，用户管理员在观看视频的时候，无法将显示的视频内容与该路视频在空间中的实际位置，以及各个前端监控设备的相对位置关系建立对应关系，特别的，如果各路前端监控设备监控的场景类似的情况下，用户管理人员更加无法通过监控客户端显示的视频判断其对应的实际位置。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于位置信息的多视频图像，视频业务控制***通过采集GPS、RFID等位置信息***输入的视频源的位置信息，将视频***中的多个视频源的视频信号，按照视频源在***中的实际空间位置，以及视频源设备之间的相对位置，进行视频显示的融合处理，方便用户管理员在查看视频的同时，掌握视频源在整个视频***中的空间位置以及与其他视频源的相对位置。
本发明的目的之一是，提供一种基于位置信息的多视频图像融合处理***，所述的***包括以下组成部分：如图1所示，视频源设备101将采集的视频流传输给业务控制***102，业务控制***102将采集到的视频流进行融合处理后传输给客户端103，由客户端103显示视频内容。视频采集终端包含：视频模块1011，用来提供视频、音频、视频智能分析等信息以及相关参数的采集和控制；位置模块1012，可以是GPS模块、RFID模块或其他定位模块，用来获取位置信息。业务控制***包含，视频信息处理引擎1021，用于实现所述多视频图像融合处理***的多个视频源的视频数据的接收、存储等视频处理功能；位置信息处理引擎1022，用于管理所述多视频图像融合处理***的多个视频源的所在位置信息及相对位置；视频融合处理模块1023，用于根据多路视频源的相对位置关系，完成多路视频源的融合显示处理功能；用户交互处理模块1024，用于接收客户端103用户的业务控制请求，并向客户端103提供视频融合显示的控制功能。如图2所示，视频融合处理模块包括：视频标定管理模块201，用于根据多个视频源的位置信息，完成视频源在客户端监控画面上显示位置的标定工作；用户控制管理模块202，用于接收客户端输入的视频显示控制指令；视频融合管理模块203，基于视频源的相对位置关系，管理各种不同的视频融合显示方式，并与各视频源的实际相对位置关系对应；图像显示管理模块204，根据视频融合管理模块203的视频融合显示策略，完成多路视频源的融合显示功能，并输出给客户端进行显示。
本发明的目的之一是，提供一种基于位置信息的多视频图像融合处理方法，所述的方法包括以下步骤：
业务控制***对输入的多路视频源的位置信息进行检索，并按照位置相邻关系对视频源进行分组；
业务控制***对于位置相邻的每组视频源的视频图像进行图像匹配，对于视频图像包含有其他视频源拍摄区域或画面的视频源定义为全局视频源，拍摄区域或画面被包含在全局视频源中的视频源定义为局部视频源；
业务控制***判断每组视频源中是否有全局视频源；
如果该组视频源中存在全局视频源，则业务控制***根据记录的每个局部视频源与全局视频源在世界坐标系中的相对位置关系，计算出每个局部视频源在全局视频源图像象素坐标系中的相对位置，完成位置标定；业务***在底图上标定出的局部视频源的位置上，按照适当的显示比例叠加显示局部视频源图像，完成视频融合处理的显示；
如果该组视频源中不存在全局视频源，则根据业务***记录的每个局部视频源的相对位置关系，并按照客户端的显示分辨率，完成各视频源在客户端显示屏幕上的位置标定；业务***按照标定出的各视频源的相对位置，按照适当的显示比例，排列显示在客户端显示界面上，完成视频融合处理的显示。
本发明的有益效果在于，有效地展现多个位置上有关联的视频源输入的视频图像，使得用户在观看多路视频的时候，可同时掌握全局与局部的视频图像，以及各视频图像在空间上的实际位置及相互关系，提高了用户管理效率。
附图说明
图1是本发明的多视频图像融合处理***的结构框图
图2是本发明的多视频图像融合处理***视频融合处理模块的结构框图
图3是本发明基于位置信息的多视频图像的融合处理流程图
具体实施方式
下面结合附图说明本发明的具体实施方式。如图1所示，所述一种基于位置信息的多视频图像融合处理的***由以下几个部分构成：
视频源设备101将采集的视频流传输给业务控制***102，业务控制***102将采集到的视频流进行融合处理后传输给客户端103，由客户端显示视频内容。视频采集终端包含：视频模块1011，用来提供视频、音频、视频智能分析等信息以及相关参数的采集和控制；位置模块1012，可以是GPS模块、RFID模块或其他定位模块，用来获取位置信息。业务控制***包含，视频信息处理引擎1021，用于实现所述多视频图像融合处理***的多个视频源的视频数据的接收、存储等视频处理功能；位置信息处理引擎1022，用于管理所述多视频图像融合处理***的多个视频源的所在位置信息及相对位置；视频融合处理模块1023，用于根据多路视频源的相对位置关系，完成多路视频源的融合显示处理功能；用户交互处理模块1024，用于接收客户端103用户的业务控制请求，并向客户端103提供视频融合显示的控制功能。
如图2所示，视频融合处理模块包括：视频标定管理模块201，用于根据多个视频源的位置信息，完成视频源在客户端监控画面上显示位置的标定工作；用户控制管理模块202，用于接收客户端输入的视频显示控制指令；视频融合管理模块203，基于视频源的相对位置关系，管理各种不同的视频融合显示方式，并与各视频源的实际相对位置关系对应；图像显示管理模块204，根据视频融合管理模块203的视频融合显示策略，完成多路视频源的融合显示功能，并输出给客户端进行显示。
如图3所示，所述一种基于位置信息的多视频图像融合处理的方法，包含以下步骤：
1）业务控制***读取输入的多路视频源数据；
2）检索各视频源的位置信息；
3）判断是否有位置相邻的视频源，如果满足条件则进入步骤4，否则，将输入的多路视频源图像在客户端直接分别进行显示；
4）按照位置的相邻关系将视频源进行分组；
5）将组内视频源输入的视频图像进行一一匹配，如果某视频源图像中包含组内其他视频源的图像内容或其显示的区域，则认为该视频源为全局视频源。判读每组视频源输入的视频图像中是否包含全局图像，如果满足条件则进入步骤6，否则，则进入步骤9；
6）选择全局图像作为***融合显示的底图；
7）将该视频组内的非全局图像，按照其在世界坐标系中相对于全局视频图像视频源的相对坐标关系，计算出其在全局图像象素坐标系中的相对位置；
8）利用摄像机的标定结果，将非全局图像叠加在全局图像上；
9）对于不包含全局图像的视频组，按照视频源之间在世界坐标系的相对位置关系，标定各视频源在客户端的不同显示位置；
10）按照排列好的显示位置，将该组视频源进行排列显示。
特别的，当一组视频源中有N个视频源提供全局图像，N>1，则业务控制***按照以上所述的方法步骤，形成分别以N路全局图像为底图的多路视频融合显示的图像。
再特别的，当一组视频源图像中存在多个层次的图像包含关系，例如，某路视频源的视频图像是包含某些视频源图像的全局图像，但同时也是其他某些视频源的所包含的局部视频图像，则业务控制***继续对该组视频源进行细分，直到视频组内只包含有一层全局和局部关系为止，同一个视频源允许在多个位置相邻的视频组中存在。

Claims (3)

1.一种基于位置信息的多视频图像融合处理的方法，其特征是，所述的方法包括以下步骤：
业务控制***对输入的多路视频源的位置信息进行检索，并按照位置相邻关系对视频源进行分组；
业务控制***对于位置相邻的每组视频源的视频图像进行图像匹配，对于视频图像包含有其他视频源拍摄区域或画面的视频源定义为全局视频源，拍摄区域或画面被包含在全局视频源中的视频源定义为局部视频源；
业务控制***判断每组视频源中是否有全局视频源；
如果该组视频源中存在全局视频源，则业务控制***根据记录的每个局部视频源与全局视频源在世界坐标系中的相对位置关系，计算出每个局部视频源在全局视频源图像象素坐标系中的相对位置，完成位置标定；业务***在底图上标定出的局部视频源的位置上，按照适当的显示比例叠加显示局部视频源图像，完成视频融合处理的显示；
如果该组视频源中不存在全局视频源，则根据业务***记录的每个局部视频源的相对位置关系，并按照客户端的显示分辨率，完成各视频源在客户端显示屏幕上的位置标定；业务***按照标定出的各视频源的相对位置，按照适当的显示比例，排列显示在客户端显示界面上，完成视频融合处理的显示。
2.一种基于位置信息的多视频图像融合处理的***，其特征是，该***包括：
视频源设备将采集的视频流传输给业务控制***，业务控制***将采集到的视频流进行融合处理后传输给客户端，由客户端显示视频内容；
视频采集终端包含：视频模块，用来提供视频、音频、视频智能分析等信息以及相关参数的采集和控制；位置模块，可以是GPS模块、RFID模块或其他定位模块，用来获取位置信息。
业务控制***包含，视频信息处理引擎，用于实现所述多视频图像融合处理***的多个视频源的视频数据的接收、存储等视频处理功能；位置信息处理引擎，用于管理所述多视频图像融合处理***的多个视频源的所在位置信息及相对位置；视频融合处理模块，用于根据多路视频源的相对位置关系，完成多路视频源的融合显示处理功能；用户交互处理模块，用于接收客户端用户的业务控制请求，并向客户端提供视频融合显示的控制功能。
3.根据权利要求2所述的***，其特征是，所述的视频融合处理模块包括：
视频标定管理模块，用于根据多个视频源的位置信息，完成视频源在客户端监控画面上显示位置的标定工作；
用户控制管理模块，用于接收客户端输入的视频显示控制指令；
视频融合管理模块，基于视频源的相对位置关系，管理各种不同的视频融合显示方式，并与各视频源的实际相对位置关系对应；
图像显示管理模块，根据视频融合管理模块的视频融合显示策略，完成多路视频源的融合显示功能，并输出给客户端进行显示。
CN201210292372.7A 2012-08-16 2012-08-16 一种基于位置信息的多视频图像融合处理的方法及*** Pending CN103595954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210292372.7A CN103595954A (zh) 2012-08-16 2012-08-16 一种基于位置信息的多视频图像融合处理的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210292372.7A CN103595954A (zh) 2012-08-16 2012-08-16 一种基于位置信息的多视频图像融合处理的方法及***

Publications (1)

Publication Number Publication Date
CN103595954A true CN103595954A (zh) 2014-02-19

Family

ID=50085920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210292372.7A Pending CN103595954A (zh) 2012-08-16 2012-08-16 一种基于位置信息的多视频图像融合处理的方法及***

Country Status (1)

Country Link
CN (1) CN103595954A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104375509A (zh) * 2014-12-11 2015-02-25 山东大学 一种基于rfid和视觉的信息融合定位***及方法
CN106055610A (zh) * 2016-05-25 2016-10-26 维沃移动通信有限公司 语音信息的检索方法及移动终端
CN109151341A (zh) * 2018-09-27 2019-01-04 中国船舶重工集团公司第七0九研究所 一种嵌入式平台多源高清视频融合实现***及方法
CN109873980A (zh) * 2019-01-24 2019-06-11 深圳市景阳信息技术有限公司 视频监控方法、装置及终端设备
CN111371985A (zh) * 2019-09-17 2020-07-03 杭州海康威视***技术有限公司 视频播放方法、装置、电子设备及存储介质
CN112188269A (zh) * 2020-09-28 2021-01-05 北京达佳互联信息技术有限公司 视频播放方法和装置以及视频生成方法和装置
CN113556515A (zh) * 2021-07-20 2021-10-26 铜仁市市政公用设施管理处 一种用于园林建筑工程管理的监控装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191934A (ja) * 2003-12-25 2005-07-14 Funai Electric Co Ltd 監視カメラ、監視カメラシステム
CN101272456A (zh) * 2007-03-24 2008-09-24 阎跃军 定位导航信息与图像信息融合的便携式数字拍摄***
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和***
CN101312526A (zh) * 2008-06-26 2008-11-26 天津市亚安科技电子有限公司 全景联动视频监控装置及其全景图像的拼接方法
CN101646067A (zh) * 2009-05-26 2010-02-10 华中师范大学 数字化全空间智能监控***及方法
CN101710976A (zh) * 2009-11-16 2010-05-19 中国电信股份有限公司 安防管理***及监控方法
CN101778236A (zh) * 2009-01-14 2010-07-14 北京风格九州文化传播有限公司 时空关联多路视频管理方法
CN102256111A (zh) * 2011-07-17 2011-11-23 西安电子科技大学 多通道全景视频实时监控***及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191934A (ja) * 2003-12-25 2005-07-14 Funai Electric Co Ltd 監視カメラ、監視カメラシステム
CN101272456A (zh) * 2007-03-24 2008-09-24 阎跃军 定位导航信息与图像信息融合的便携式数字拍摄***
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和***
CN101312526A (zh) * 2008-06-26 2008-11-26 天津市亚安科技电子有限公司 全景联动视频监控装置及其全景图像的拼接方法
CN101778236A (zh) * 2009-01-14 2010-07-14 北京风格九州文化传播有限公司 时空关联多路视频管理方法
CN101646067A (zh) * 2009-05-26 2010-02-10 华中师范大学 数字化全空间智能监控***及方法
CN101710976A (zh) * 2009-11-16 2010-05-19 中国电信股份有限公司 安防管理***及监控方法
CN102256111A (zh) * 2011-07-17 2011-11-23 西安电子科技大学 多通道全景视频实时监控***及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104375509A (zh) * 2014-12-11 2015-02-25 山东大学 一种基于rfid和视觉的信息融合定位***及方法
CN106055610A (zh) * 2016-05-25 2016-10-26 维沃移动通信有限公司 语音信息的检索方法及移动终端
CN106055610B (zh) * 2016-05-25 2020-02-14 维沃移动通信有限公司 语音信息的检索方法及移动终端
CN109151341A (zh) * 2018-09-27 2019-01-04 中国船舶重工集团公司第七0九研究所 一种嵌入式平台多源高清视频融合实现***及方法
CN109873980A (zh) * 2019-01-24 2019-06-11 深圳市景阳信息技术有限公司 视频监控方法、装置及终端设备
CN111371985A (zh) * 2019-09-17 2020-07-03 杭州海康威视***技术有限公司 视频播放方法、装置、电子设备及存储介质
CN112188269A (zh) * 2020-09-28 2021-01-05 北京达佳互联信息技术有限公司 视频播放方法和装置以及视频生成方法和装置
CN113556515A (zh) * 2021-07-20 2021-10-26 铜仁市市政公用设施管理处 一种用于园林建筑工程管理的监控装置

Similar Documents

Publication Publication Date Title
CN103595954A (zh) 一种基于位置信息的多视频图像融合处理的方法及***
CN108960566B (zh) 一种交通可视化监控***
CN102819578B (zh) 视频侦查嫌疑目标分析***及方法
JP6399324B1 (ja) 塵芥収集車における映像管理システム
CN107958490B (zh) 用于无线通信装置的免提增强现实
CN108446015B (zh) 基于混合现实的展会展览方法及展会***
CN101710976B (zh) 安防管理***及监控方法
CN103607568A (zh) 立体街景视频投影方法及***
CN107846623B (zh) 一种视频联动方法和***
TW200602859A (en) Method for searching image differences in recorded video data of surveillance system
EP2034715A1 (en) Overlay information presentation device and overlay information presentation system
CN109274926A (zh) 一种图像处理方法、设备及***
CN103959220B (zh) 一种实现增强现实的方法及用户设备
JP2016213810A (ja) 画像表示システム、情報処理装置、プログラム、画像表示方法
CN104885441A (zh) 图像处理装置和方法、以及程序
US20140049654A1 (en) Information providing system, information providing device, image capture device, and computer program
CN104412324A (zh) 显示装置
CN114241415B (zh) 车辆的位置监控方法、边缘计算设备、监控设备及***
Al-Jabi et al. Toward mobile AR-based interactive smart parking system
JP2015210713A (ja) ドライブレコーダおよびこれを用いたクラウド型道路情報等運用システム
EP3934232A1 (en) Imaging system
CN102157183B (zh) 一种在便捷式电子设备的视频播放器上实现视频截图的方法
JP7293174B2 (ja) 道路周辺物監視装置、道路周辺物監視プログラム
AU2014200677A1 (en) Method and system for gaze detection and advertisement information exchange
CN103390294A (zh) 行车记录器及其录影影像嵌入地理资讯的应用方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: LIU WEI

Free format text: FORMER OWNER: BEIJING ZHONGDIAN HUAYUAN TECHNOLOGY CO., LTD.

Effective date: 20140516

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Wang Chunming

Inventor after: Li Huiru

Inventor after: Liu Wei

Inventor before: Wang Chunming

Inventor before: Li Huiru

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: WANG CHUNMING LI HUIRU TO: WANG CHUNMING LI HUIRU LIU WEI

Free format text: CORRECT: ADDRESS; FROM: 100011 CHAOYANG, BEIJING TO: 100096 CHANGPING, BEIJING

TA01 Transfer of patent application right

Effective date of registration: 20140516

Address after: 100096 new dragon city 25-2-1305, Beijing, Changping District

Applicant after: Liu Wei

Address before: 100011 Beijing City, Chaoyang District Xi'an two District 13 Li anzhen Bridge No. 7 Building 1 layer

Applicant before: Beijing Zhongdian Huayuan Technology Co., Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140219