CN106296584B - 一种全景拼接图与局部视频或图像融合显示的方法 - Google Patents

一种全景拼接图与局部视频或图像融合显示的方法 Download PDF

Info

Publication number
CN106296584B
CN106296584B CN201610635319.0A CN201610635319A CN106296584B CN 106296584 B CN106296584 B CN 106296584B CN 201610635319 A CN201610635319 A CN 201610635319A CN 106296584 B CN106296584 B CN 106296584B
Authority
CN
China
Prior art keywords
panoramic
image
pan
video
tilt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610635319.0A
Other languages
English (en)
Other versions
CN106296584A (zh
Inventor
刘光盐
杨迪航
李捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Puwei cloud Technology Co.,Ltd.
Original Assignee
PUWELL TECHNOLOGIES (HANGZHOU) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PUWELL TECHNOLOGIES (HANGZHOU) Co Ltd filed Critical PUWELL TECHNOLOGIES (HANGZHOU) Co Ltd
Priority to CN201610635319.0A priority Critical patent/CN106296584B/zh
Publication of CN106296584A publication Critical patent/CN106296584A/zh
Application granted granted Critical
Publication of CN106296584B publication Critical patent/CN106296584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种全景拼接图与局部视频或图像融合显示的方法。该方法通过PTZ像机当前视频或某张截图的拍摄角度（水平角Pan，俯仰角Tilt），以及拍摄范围（镜头视场角、变倍Zoom），计算图像区域在全景拼接模型的具***置，然后更新全景图像中相应区域内的内容，当拍摄角度和范围改变时，更改全景图像中的相应区域，而原先视频覆盖的区域还原回全景拼接图。该方法改善解决全景拼接图与局部视频或图像融合显示的人机体验。

Description

一种全景拼接图与局部视频或图像融合显示的方法
技术领域
本发明涉及一种全景拼接图与局部视频或图像融合显示的方法。
背景技术
常用的监控摄像机中，有一种PTZ像机如图1，虽然镜头的拍摄范围有限，但由于装在可旋转的云台上，可以实现水平和俯仰的转动，拓展监控范围。
为了实现对周围环境的概括了解，拼接技术经常出现在这类PTZ像机的应用领域，通过将像机在不同角度拍摄的图片进行拼接，得到一张覆盖范围极大甚至是全景的图片。如图2。但拼接的图像是静止的，不可能实时更新，因而仍然需要接个像机视频综合使用。
视频图像与全景拼接图像的配合使用，需要使用者切换，并抽象定位融合视频在全景拼接图像的内容。人机体验上仍然有诸多不便。
目前运用于PTZ像机的拼接模型多包括柱面模型，球面模型等，通过特征匹配，球坐标变换等方法，实现PTZ像机图片序列在模型上的拼接组合。如图3，为PTZ相机通过柱面模型拼接的环带全景图。
全景拼接图可以直接2D显示，也可以通过3D引擎进行变换，变成虚拟PTZ显示。如图4，由3D引擎获取的4个方向上的虚拟PTZ图像。
除此以外，也有一种在PTZ装置中加入全景镜头的产品，直接由辅助镜头生成全景图。
发明内容
为了解决上述的技术问题，本发明的目的是提供一种全景拼接图与局部视频或图像融合显示的方法，该方法改善解决这种分离式的人机体验。
为了实现上述的目的，本发明采用了以下的技术方案：
一种全景拼接图与局部视频或图像融合显示的方法，该方法包括以下的步骤：
a)根据全景拼接的算法，得到全景拼接图像素坐标系Rpano与拼接模型坐标系Rmodel的对应关系Fp-m；
b)获取PTZ像机视频当前帧或某张截图的拍摄角度Pan和Tilt；
c)根据PTZ像机拍摄范围和变倍，获取当前帧或某张截图的水平方向拍摄角度范围Rangepan以及垂直方向上的拍摄角度范围Rangetilt，以及分辨率(Widv，Heiv)；
d)根据Pan、Tilt、Rangepan和Rangetilt，获取模型坐标系Rmodel与PTZ像机的像素坐标系Rpt的对应关系Fm-pt；
e)选定显示方式，在显示全景拼接图的同时，根据对应关系Fp-m和Fm-pt计算全景图中各个位置是否在PTZ像机的当前拍摄范围内，如果在范围内，则通过内容替换、内容覆盖和/或内容融合方法，显示PTZ像机的当前视频帧或截图；如果在范围外，则显示原始拼接图的内容。
作为优选，本发明的的全景拼接图为2D显示全景拼接图或3D显示全景拼接图。
作为优选，全景拼接图为2D显示全景拼接图时，
Rpano为笛卡尔坐标系
Figure GDA0002292798370000021
Rmodel为归一化极坐标系
Figure GDA0002292798370000022
Fp-m：
Figure GDA0002292798370000023
作为进一步改进，全景拼接图为2D显示全景拼接图时，步骤d)中，
Fm-pt：
Figure GDA0002292798370000024
其中：
Dis＝Widv*0.5/tan(Rpan*0.5)或者
Dis＝Heiv*0.5/tan(Rtilt*0.5)，
作为优选，全景拼接图为3D显示全景拼接图时，
Rpano为笛卡尔坐标系
Figure GDA0002292798370000026
Rmodel为笛卡尔坐标系
Figure GDA0002292798370000027
Figure GDA0002292798370000028
Fm-p：
Figure GDA0002292798370000029
作为进一步改进，全景拼接图为3D显示全景拼接图时，步骤d)中，
Figure GDA0002292798370000031
Figure GDA0002292798370000032
Fm-pt：
其中：
Figure GDA0002292798370000034
本发明由于采用了上述的技术方案，通过PTZ像机当前视频或某张截图的拍摄角度(水平角Pan，俯仰角Tilt)，以及拍摄范围(镜头视场角、变倍Zoom)，计算图像区域在全景拼接模型的具***置，然后更新全景图像中相应区域内的内容，当拍摄角度和范围改变时，更改全景图像中的相应区域，而原先视频覆盖的区域还原回全景拼接图。该方法改善解决全景拼接图与局部视频或图像融合显示的人机体验。
附图说明
图1为PTZ摄像机图像。
图2为PTZ摄像机拼接图像。
图3为环带全景图。
图4为多角度下虚拟PTZ技术图。
图5为笛卡尔坐标系视频投影图。
图6为环带拼接图和摇头机视频帧内容图。
图7为视频帧所在范围图。
图8为2D显示全景拼接与视频帧融合结果图。
图9为3D显示全景拼接与视频帧融合结果图。
具体实施方式
下面结合附图对本发明的具体实施方式做一个详细的说明。
本发明的涉及到参数解释如下：
xpano：全景拼接图像素坐标值X分量，左上角为0，右下角为Widpano
ypano：全景拼接图像素坐标值Y分量，左上角为0，右下角为Heipano
Widpano：全景拼接图宽
Heipano：全景拼接图高
Pm：极坐标系拼接模型的水平角分量
Tm：极坐标系拼接模型的俯仰角分量
Pv：摇头机云台的水平角分量
Tv：摇头机云台的俯仰角分量
Rpan：视频图像水平方向的视场角度
Rtilt：视频图像垂直方向的视场角度
Widv：视频图像宽
Heiv：视频图像水高
xpt：视频图像素坐标值X分量，左上角为0，右下角为Widv
ypt：视频图像素坐标值X分量，左上角为0，右下角为Heiv
xm：3D显示时，笛卡尔坐标系拼接模型的归一化方向向量的X分量
ym：3D显示时，笛卡尔坐标系拼接模型的归一化方向向量的Y分量
zm：3D显示时，笛卡尔坐标系拼接模型的归一化方向向量的Z分量笛卡尔坐标系视频投影图5，镜头光轴为X轴。
实施例1 2D显示全景拼接与摇头机视频的融合
摇头机只有Pan、Tilt两个自由度，没有Zoom
a)获取柱面全景环带与拼接模型坐标系转换关系Fp-m
Rpano为笛卡尔坐标系
Rmodel为归一化极坐标系
Figure GDA0002292798370000042
Fp-m：
Figure GDA0002292798370000043
b)通过私有信息或协议，获取摇头机视频当前帧的拍摄角度
Figure GDA0002292798370000044
c)获取摇头机拍摄范围
Figure GDA0002292798370000045
以及视频分辨率
Figure GDA0002292798370000046
其中必须满足Heiv＝Widv*tan(Rtilt*0.5)/tan(Rpan*0.5)或者Rtilt＝atctan(Heiv/Widv*tan(Rpan*0.5))*2；
d)获取模型坐标系Rmodel与摇头机视频像素坐标系Rpt的对应关系Fm-pt，
Fm-pt：
Figure GDA0002292798370000051
其中：
Dis＝Widv*0.5/tan(Rpan*0.5)或者
Dis＝Heiv*0.5/tan(Rtilt*0.5)；
如果xpt∈(0，Widv)并且ypt∈(0，Heiv)，则全景拼接图中该位置内容被融合替换成视频当前帧的响应内容。如下图：图6显示全景拼接图和摇头机当前视频帧；图7显示计算出的摇头机当前视频所在位置；图8为融合最终结果。
实施例2 3D显示全景拼接与摇头机视频的融合
摇头机只有Pan、Tilt两个自由度，没有Zoom。而3D显示，有模型坐标系为原始坐标系，分别计算模型不同位置对应的球面拼接图位置和摇头机视频位置。
a)获取球面拼接模型与拼接图的坐标系转换关系Fm-p
Rpano为笛卡尔坐标系
Rmodel为笛卡尔坐标系
Figure GDA0002292798370000054
Figure GDA0002292798370000055
Fm-p：
Figure GDA0002292798370000056
b)通过私有信息或协议，获取摇头机视频当前帧的拍摄角度
Figure GDA0002292798370000057
c)获取摇头机拍摄范围
Figure GDA0002292798370000058
以及视频分辨率
Figure GDA0002292798370000059
其中必须满足Heiv＝Widv*tan(Rtilt*0.5)/tan(Rpan*0.5)或者Rtilt＝atctan(Heiv/Widv*tan(Rpan*0.5))*2；
d)获取模型坐标系Rmodel与摇头机视频像素坐标系Rpt的对应关系Fm-pt
Figure GDA0002292798370000061
Figure GDA0002292798370000062
Figure GDA0002292798370000063
Fm-pt：
Figure GDA0002292798370000064
其中：
Figure GDA0002292798370000065
如果xpt∈(0，Widv)并且ypt∈(0，Heiv)，则全景拼接图中该位置内容被融合替换成视频当前帧的响应内容。如图9为融合最终结果。

Claims (3)

1.一种全景拼接图与局部视频或图像融合显示的方法，其特征在于该方法包括以下的步骤：
a)根据全景拼接的算法，得到全景拼接图像素坐标系Rpano与拼接模型坐标系Rmodel的对应关系Fp-m；
b)获取PTZ像机视频当前帧或某张截图的拍摄角度Pan和Tilt；
c)根据PTZ像机拍摄范围和变倍，获取当前帧或某张截图的水平方向拍摄角度范围Rangepan以及垂直方向上的拍摄角度范围Rangetilt，以及分辨率(Widv，Heiv)；
d)根据Pan、Tilt、Rangepan和Rangetilt，获取模型坐标系Rmodel与PTZ像机的像素坐标系Rpt的对应关系Fm-pt；
e)选定显示方式，在显示全景拼接图的同时，根据对应关系Fp-m和Fm-pt计算全景图中各个位置是否在PTZ像机的当前拍摄范围内，如果在范围内，则通过内容替换、内容覆盖和/或内容融合方法，显示PTZ像机的当前视频帧或截图；如果在范围外，则显示原始拼接图的内容。
2.根据权利要求1所述的一种全景拼接图与局部视频或图像融合显示的方法，其特征在于全景拼接图为2D显示全景拼接图或3D显示全景拼接图。
3.根据权利要求1所述的一种全景拼接图与局部视频或图像融合显示的方法，其特征在于步骤d)中，
Figure FDA0002292798360000011
Dis＝Widv*0.5/tan(Rpan*0.5)或者
Dis＝Heiv*0.5/tan(Rtilt*0.5)，
Figure FDA0002292798360000012
其中：
xpt：视频图像素坐标值X分量，左上角为0，右下角为Widv
ypt：视频图像素坐标值X分量，左上角为0，右下角为Heiv
Rpan：视频图像水平方向的视场角度
Rtilt：视频图像垂直方向的视场角度
Widv：视频图像宽
Heiv：视频图像高
Pm：极坐标系拼接模型的水平角分量
Tm：极坐标系拼接模型的俯仰角分量
Pv：云台的水平角分量
Tv：云台的俯仰角分量。
CN201610635319.0A 2016-08-02 2016-08-02 一种全景拼接图与局部视频或图像融合显示的方法 Active CN106296584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610635319.0A CN106296584B (zh) 2016-08-02 2016-08-02 一种全景拼接图与局部视频或图像融合显示的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610635319.0A CN106296584B (zh) 2016-08-02 2016-08-02 一种全景拼接图与局部视频或图像融合显示的方法

Publications (2)

Publication Number Publication Date
CN106296584A CN106296584A (zh) 2017-01-04
CN106296584B true CN106296584B (zh) 2020-02-07

Family

ID=57665469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610635319.0A Active CN106296584B (zh) 2016-08-02 2016-08-02 一种全景拼接图与局部视频或图像融合显示的方法

Country Status (1)

Country Link
CN (1) CN106296584B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109116433B (zh) * 2018-09-03 2020-02-04 深圳市华讯方舟太赫兹科技有限公司 一种安检设备及其成像方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置
CN103327217A (zh) * 2012-03-23 2013-09-25 杭州普维光电技术有限公司 一种视频处理方法及装置
CN103716595A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN103971375A (zh) * 2014-05-22 2014-08-06 中国人民解放军国防科学技术大学 一种基于图像拼接的全景凝视相机空间标定方法
CN104184994A (zh) * 2014-08-15 2014-12-03 杭州普维光电技术有限公司 一种摄像机与高速球关联控制方法
CN105469379A (zh) * 2014-09-04 2016-04-06 广东中星电子有限公司 视频目标区域遮挡方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076238B2 (en) * 2013-08-21 2015-07-07 Seiko Epson Corporation Intelligent weighted blending for ultrasound image stitching

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置
CN103327217A (zh) * 2012-03-23 2013-09-25 杭州普维光电技术有限公司 一种视频处理方法及装置
CN103716595A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN103971375A (zh) * 2014-05-22 2014-08-06 中国人民解放军国防科学技术大学 一种基于图像拼接的全景凝视相机空间标定方法
CN104184994A (zh) * 2014-08-15 2014-12-03 杭州普维光电技术有限公司 一种摄像机与高速球关联控制方法
CN105469379A (zh) * 2014-09-04 2016-04-06 广东中星电子有限公司 视频目标区域遮挡方法和装置

Also Published As

Publication number Publication date
CN106296584A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
US9479732B1 (en) Immersive video teleconferencing robot
US10192284B2 (en) Method for managing surveillance system with aid of panoramic map, and associated apparatus
JP5659305B2 (ja) 画像生成装置および画像生成方法
US10297005B2 (en) Method for generating panoramic image
US7429997B2 (en) System and method for spherical stereoscopic photographing
JP5454674B2 (ja) 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
JP5865388B2 (ja) 画像生成装置および画像生成方法
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
GB2593335A (en) Method and apparatus for 3-D auto tagging
JP2008083786A (ja) 画像生成装置および画像生成方法
JPWO2013069049A1 (ja) 画像生成装置および画像生成方法
CN103971375A (zh) 一种基于图像拼接的全景凝视相机空间标定方法
JP7204346B2 (ja) 情報処理装置、システム、情報処理方法及びプログラム
US10719995B2 (en) Distorted view augmented reality
CN106296584B (zh) 一种全景拼接图与局部视频或图像融合显示的方法
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置
JP2017529709A (ja) オプティカルフロー場を構築する方法
JP2019101563A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10935878B2 (en) Image processing apparatus, image processing method, and program
CN110796690B (zh) 图像匹配方法和图像匹配装置
JP2020071854A (ja) 画像処理装置、画像処理方法及びプログラム
Dasgupta et al. An augmented-reality-based real-time panoramic vision system for autonomous navigation
JP7480941B2 (ja) 映像合成装置
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
KR20120125037A (ko) 감시 시스템 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 506, block C, 5 / F, building 3, No. 351, Changhe Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Puwei cloud Technology Co.,Ltd.

Address before: 310052, room 4, building 2, building 500, No. 402 Qiu Yi Road, Hangzhou, Zhejiang, Binjiang District

Patentee before: Puwell Technologies Co.,Ltd.