CN111770326B - 一种全景视频投射的室内三维监控方法 - Google Patents

一种全景视频投射的室内三维监控方法 Download PDF

Info

Publication number
CN111770326B
CN111770326B CN202010569873.XA CN202010569873A CN111770326B CN 111770326 B CN111770326 B CN 111770326B CN 202010569873 A CN202010569873 A CN 202010569873A CN 111770326 B CN111770326 B CN 111770326B
Authority
CN
China
Prior art keywords
dimensional
video
dimensional model
projection
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010569873.XA
Other languages
English (en)
Other versions
CN111770326A (zh
Inventor
黄先锋
张帆
徐亮
舒威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhai Dashi Intelligence Technology Co ltd
Wuhan University WHU
Original Assignee
Wuhai Dashi Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhai Dashi Intelligence Technology Co ltd filed Critical Wuhai Dashi Intelligence Technology Co ltd
Priority to CN202010569873.XA priority Critical patent/CN111770326B/zh
Publication of CN111770326A publication Critical patent/CN111770326A/zh
Application granted granted Critical
Publication of CN111770326B publication Critical patent/CN111770326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种全景视频投射的室内三维监控方法，包括：室内三维模型建立、视频流获取以及三维投射及融合这些步骤；本发明能够根据监控区域的二维设计图得到该区域的三维模型，且能将视频流投射到三维模型上且与三维模型进行融合，使得多个多个监控区域内的的视频流结合到一起通过三维投射的方式直观表达出来，相比于传统的全景相机只能显示对应的视频框的方式更加直观。

Description

一种全景视频投射的室内三维监控方法
技术领域
本发明涉及监控领域，具体涉及一种全景视频投射的室内三维监控方法。
背景技术
随着社会经济发展增长，社会良好的生活环境建立，人们逐渐认识到安全防范是生活中不可缺少的一部分，现如今室内监控在我们生活中随处可见。
现有的室内监控方法都是在多个房间需布设多个全景相机，全景相机只能分别显示其监控的对应区域的视频框，全景相机与全景相机之间的相对位置关系无法直观体现，即多个全景相机监控的整个区域无法结合在一起直观表达出来。
发明内容
本发明针对现有技术中室内监控方法存在无法将多个全景相机监控的整个区域结合在一起直观表达出来的技术问题，本发明提供一种全景视频投射的室内三维监控方法。
本发明解决上述技术问题的技术方案如下：
一种全景视频投射的室内三维监控方法，包括：
室内三维模型建立：根据监控区域的实际场景建立该区域的三维模型；
视频流获取：获取单个监控区域内的视频流，将获取的视频流发送至服务器；以及
三维投射及融合：通过服务器将所述视频流投射到三维模型上且与三维模型进行融合。
进一步的，所述三维投射及融合具体包括以下步骤：
S1，根据全景相机安装的位置和朝向角度建立三维坐标系，通过全景相机所拍摄到的视频流中的视频帧及全景相机光心指向确定监控区域内每个物点三维坐标(X,Y,Z)对应的像坐标；
S2，基于S1中的三维坐标系，通过全景相机得到监控区域内的畸变图像；
S3，根据S2中的畸变图形，以S1中每个像坐标对应的物点的三维坐标(X,Y,Z)通过坐标转换得到物点在全景相机拍摄的视频帧中对应的像点坐标(Xuv,Yuv)；利用该像点坐标得到物点在三维模型中对应位置的视频帧的像素值；
S4，在三维模型表面对应位置上添加S3所算得的物点的视频帧的像素值，实现视频帧三维投射到三维模型上；
S5，调整全景相机的三维位置和朝向角度，完成视频流的视频帧在三维模型上的全景投射，从而实现视频流与三维模型的重合。
进一步的，所述S3中坐标转化步骤为：
设全景相机安装位置的三维坐标为(X0,Y0,Z0)，物点的三维坐标为(X,Y,Z)，视频帧像素的坐标为(Xuv,Yuv)，r为投射半径，w为视频帧的宽度，h为视频帧的高度，λ和α是物点光线方向与全景相机安置方向在相机的水平和垂直方向夹角；
Xuv＝α*sinλ*2r/(w*π)+0.5
Yuv＝α*cosλ*2r/(h*π)+0.5；
其中
Figure BDA0002549157510000031
Figure BDA0002549157510000032
进一步的，所述S3和S4之间还包括视频流的视频帧的像素值进行校正。
进一步的，全景相机的视频帧与三维模型进行融合还包括：对所述视频帧进行噪声消除、色彩亮度调整及配准。
进一步的，所述三维模型包括自定义信息。
进一步的，所述三维模型与实际监控区域原型成一比一的比例。
有益效果：本发明能够根据监控区域的二维设计图得到该区域的三维模型，且能将视频流投射到三维模型上且与三维模型进行融合，使得多个多个监控区域内的的视频流结合到一起通过三维投射的方式直观表达出来，相比于传统的全景相机只能显示对应的视频框的方式更加直观。
附图说明
图1为本发明一种全景视频投射的室内三维监控方法步骤示意图；
图2为本发明一种全景视频投射的室内三维监控方法中三维投射及融合步骤示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种全景视频投射的室内三维监控方法，包括以下步骤：
室内三维模型建立：根据监控区域的实际场景建立该区域的三维模型；具体的，本实施例根据监控区域的二维设计图得到该区域的三维模型；将一个空间内的二维设计图用三维软件进行处理，得到一个三维立体图，以该三维立体图作为该区域的三维模型；
视频流获取：获取单个监控区域内的视频流，将获取的视频流发送至服务器；一个大的监控区域分为多个小的监控区域，将每个监控区域内的视频流分别采集发送至服务器；以及
三维投射及融合：先将视频流获取中得到的视频流投射到三维模型上，然后将三维模型上投射出来的视频流进行融合，使得得到的监控显示具有三维效果，使得多个区域内的监控画面进行综合，显示效果更加直观和立体。
进一步的，三维投射及融合具体包括以下步骤：
S1，根据全景相机安装的位置和朝向角度建立三维坐标系，通过全景相机所拍摄到的视频流中的视频帧及全景相机光心指向确定监控区域内每个物点三维坐标(X,Y,Z)对应的像坐标；
S2，基于S1中的三维坐标系，通过全景相机得到监控区域内的畸变图像，该畸变图像为全景图，本实施例涉及的全景图包括视场角为360度×180度的半全景图，也包含视场角为360度×360度全全景图，本实施例优选360度×180度举例说明相关步骤，利用视场角为360度×360度全全景图也可以进行相应的全景视频投射得到类似的室内三维监控效果；
S3，根据S2中的畸变图形，以S1中每个像坐标对应的物点的三维坐标(X,Y,Z)通过坐标转换得到物点在全景相机拍摄的视频帧中对应的像点坐标(Xuv,Yuv)；利用该像点坐标得到物点在三维模型中对应位置的视频帧的像素值；本实施例中坐标转换有多种方式，本实施例优选使用以下方法：设全景相机安装位置的三维坐标为(X0,Y0,Z0)，物点的三维坐标为(X,Y,Z)，视频帧像素的坐标为(Xuv,Yuv)，r为投射半径，w为视频帧的宽度，h为视频帧的高度，λ和α是物点光线方向与全景相机安置方向在相机的水平和垂直方向夹角；
Xuv＝α*sinλ*2r/(w*π)+0.5
Yuv＝α*cosλ*2r/(h*π)+0.5；
其中
Figure BDA0002549157510000051
Figure BDA0002549157510000052
S4，在三维模型表面对应位置上添加S3所算得的物点的视频帧的像素值，实现视频帧三维投射到三维模型上；
S5，调整全景相机的三维位置和朝向角度，使得整个监控区域内的每个小区域的投射的视频帧相互衔接，完成视频流的视频帧在三维模型上的全景融合，从而实现视频流的重合。
为了使得显示效果更佳且S4中添加的像素值更加精准，在S3和S4之间还包括对视频帧进行噪声消除、色彩亮度调整及配准及视频流的视频帧的像素值进行校正；具体的，本实施例采用的校正方法为双线性内插法。
进一步的，为了满足用户更多需求，本实施例的三维模型包括自定义信息；具体的该自定义信息包括三维模型的背景颜色及模型内可添加的装饰品等等。
在实际应用过程中，我们优选三维模型与实际监控区域原型成一比一的比例；其原因是一般二维设计图纸的原件上标有固定的尺寸，该尺寸与实物是一比一的方式标注的，因此我们对该二维设计图直接进行拉伸处理就可以得到对应的三维模型，不仅省时省力，且投射效果较佳。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种全景视频投射的室内三维监控方法，其特征在于，包括：
室内三维模型建立：根据监控区域的实际场景建立该区域的三维模型；
视频流获取：获取单个监控区域内的视频流，将获取的视频流发送至服务器；以及
三维投射及融合：通过服务器将所述视频流投射到三维模型上且与三维模型进行融合；
其特征在于，所述三维投射及融合具体包括以下步骤：
S1，根据全景相机安装的位置和朝向角度建立三维坐标系，通过全景相机所拍摄到的视频流中的视频帧及全景相机光心指向确定监控区域内每个物点三维坐标(X，Y，Z)对应的像坐标；
S2，基于S1中的三维坐标系，通过全景相机得到监控区域内的畸变图像；
S3，根据S2中的畸变图形，以S1中每个像坐标对应的物点的三维坐标(X，Y，Z)通过坐标转换得到物点在全景相机拍摄的视频帧中对应的像点坐标(Xuv,Yuv)；利用该像点坐标得到物点在三维模型中对应位置的视频帧的像素值；
S4，在三维模型表面对应位置上添加S3所算得的物点的视频帧的像素值，实现视频帧三维投射到三维模型上；
S5，调整全景相机的三维位置和朝向角度，完成视频流的视频帧在三维模型上的全景投射，从而实现视频流与三维模型的重合；
所述S3中坐标转化步骤为：
设全景相机安装位置的三维坐标为(X0,Y0,Z0)，物点的三维坐标为(X,Y,Z)，视频帧像素的坐标为(Xuv,Yuv)，r为投射半径，w为视频帧的宽度，h为视频帧的高度，λ和α是物点光线方向与全景相机安置方向在相机的水平和垂直方向夹角；
Xuv＝α*sinλ*2r/(w*π)+0.5
Yuv＝α*cosλ*2r/(h*π)+0.5；
其中
Figure FDA0003418916150000021
Figure FDA0003418916150000022
2.根据权利要求1所述的一种全景视频投射的室内三维监控方法，其特征在于，所述S3和S4之间还包括视频流的视频帧的像素值进行校正。
3.根据权利要求2所述的一种全景视频投射的室内三维监控方法，其特征在于，全景相机的视频帧与三维模型进行融合还包括：对所述视频帧进行噪声消除、色彩亮度调整及配准。
4.根据权利要求1所述的一种全景视频投射的室内三维监控方法，其特征在于，所述三维模型包括自定义信息。
5.根据权利要求1所述的一种全景视频投射的室内三维监控方法，其特征在于，所述三维模型与实际监控区域原型成一比一的比例。
CN202010569873.XA 2020-06-20 2020-06-20 一种全景视频投射的室内三维监控方法 Active CN111770326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010569873.XA CN111770326B (zh) 2020-06-20 2020-06-20 一种全景视频投射的室内三维监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010569873.XA CN111770326B (zh) 2020-06-20 2020-06-20 一种全景视频投射的室内三维监控方法

Publications (2)

Publication Number Publication Date
CN111770326A CN111770326A (zh) 2020-10-13
CN111770326B true CN111770326B (zh) 2022-03-29

Family

ID=72721455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010569873.XA Active CN111770326B (zh) 2020-06-20 2020-06-20 一种全景视频投射的室内三维监控方法

Country Status (1)

Country Link
CN (1) CN111770326B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833788B (zh) * 2021-01-07 2022-07-08 深圳许多米科技有限公司 一种枪体定位方法、装置、设备、***及可读存储介质
CN113132708B (zh) * 2021-04-22 2022-02-22 贝壳找房(北京)科技有限公司 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN112995523B (zh) * 2021-04-30 2021-07-30 武汉特斯雷信息技术有限公司 一种在线自助业务环境检测方法及***
CN116311087B (zh) * 2023-05-23 2023-08-08 深圳市鑫莱达安防技术有限公司 基于摄像机组的监控方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合***和方法
CN106709868A (zh) * 2016-12-14 2017-05-24 云南电网有限责任公司电力科学研究院 一种图像拼接方法及装置
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
CN109615663A (zh) * 2018-12-12 2019-04-12 深圳市至高通信技术发展有限公司 全景视频校正方法及终端
CN109903227A (zh) * 2019-02-21 2019-06-18 武汉大学 基于相机几何位置关系的全景影像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合***和方法
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
CN106709868A (zh) * 2016-12-14 2017-05-24 云南电网有限责任公司电力科学研究院 一种图像拼接方法及装置
CN109615663A (zh) * 2018-12-12 2019-04-12 深圳市至高通信技术发展有限公司 全景视频校正方法及终端
CN109903227A (zh) * 2019-02-21 2019-06-18 武汉大学 基于相机几何位置关系的全景影像拼接方法

Also Published As

Publication number Publication date
CN111770326A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111770326B (zh) 一种全景视频投射的室内三维监控方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
TWI397317B (zh) 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
US7131733B2 (en) Method for creating brightness filter and virtual space creation system
CN104246795A (zh) 用于超广角透镜图像的自适应透视修正的方法和***
CN101938605A (zh) 生成全景视频的方法
CN101938599A (zh) 生成互动的动态全景影像的方法
CN101726855A (zh) 基于立方体投影对鱼眼图像畸变校正方法
CN107730556A (zh) 一种枪球联动坐标定位方法
CN107580203B (zh) 沉浸式主动立体投影透视变换矩阵求解方法
CN103533318A (zh) 一种建筑外表面投影方法
CN107358577A (zh) 一种立方体全景图的快速拼接方法
CN107545537A (zh) 一种从稠密点云生成3d全景图片的方法
CN104363421B (zh) 实现多角度摄像头监控效果的方法和装置
CN114071104B (zh) 基于着色器实现多投影机投影渐变融合的方法
CN104317144B (zh) 大型正交多幕投影***光辐射快速补偿方法
US10802390B2 (en) Spherical omnipolar imaging
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
KR20190019059A (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
CN104539893B (zh) 实现虚拟云台监控效果的方法、装置及***
CN109587464A (zh) 一种户外大幅面互动投影方法
CN109461116A (zh) 一种基于opengl的720全景展开监控方法
CN111629194B (zh) 一种基于神经网络的全景视频转6dof视频的方法及***
CN109391802A (zh) 一种实现实时vr功能的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230925

Address after: 430205 room 01, 4 / F, building B2, phase II of financial background service center base construction project, No. 77, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee after: WUHAI DASHI INTELLIGENCE TECHNOLOGY CO.,LTD.

Patentee after: WUHAN University

Address before: 430000 Room 01, 02, 8 Floors, Building B18, Building 2, Financial Background Service Center, 77 Guanggu Avenue, Wuhan Donghu New Technology Development Zone, Hubei Province

Patentee before: WUHAI DASHI INTELLIGENCE TECHNOLOGY CO.,LTD.