CN103179333A

CN103179333A - 一种360度全景摄像机的图像环视浏览方法与设备

Info

Publication number: CN103179333A
Application number: CN 201110440850
Authority: CN
Inventors: 詹万政
Original assignee: CHANGSHA KEZUN INFORMATION TECHNOLOGY Co Ltd
Current assignee: CHANGSHA KEZUN INFORMATION TECHNOLOGY Co Ltd
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2013-06-26

Abstract

本发明涉公开了360度全景摄像机的图像环视浏览方法与设备。该***设备可直接连接监视器进行监控。设备包括：顶视全景摄像机、监视器和外部控制设备，其中顶视全景摄像机包括相互连接的全景成像器件和图像处理电路板，所述图像处理电路板上连接有网络数据通讯接口，电源接口和其它附加接口。在此基础上，本发明还公开了一种新的环视图像的变换方法以及基于此方法的全景图像交互和浏览方式，环视图像的变换方法把全向图像展开成适合人眼观察习惯。根据本发明提供的方案，可实现能直接连接视频监视器的全景摄像机，实现360度全视野的监控和浏览。

Description

一种360度全景摄像机的图像环视浏览方法与设备

技术领域

本发明涉及视频监控技术，特指一种360度全景摄像机的图像环视浏览方法与设备。

背景技术

全景监控技术利用鱼眼镜头或折反射全向成像装置，生成包含空间360度全方位场景信息的全向图，对全向图进行变换可生成适合于人眼直接观察的全景图像。凭借360度全方位视野的优点，全景监控技术在视频监控领域得到广泛的应用。全景图像包含360度全方向图像，但是不符合人眼观察习惯，在获取全向图像后需要对全向图像进行处理，展开成符合人眼观察习惯的全景图像，这一阶段需要使用特殊的计算机图像校正和变换算法进行处理。顶视360度摄像机拍摄的视频图像又是360度全方位场景信息中比较特殊的，由于其拍摄方式是从上至下的，即便是通过变换算法得到了变换得到了全景图像，如何浏览观看这种全景图像是一个问题。

发明内容

本发明要解决的技术问题在于：对于顶视360度摄像机成像模型，为了避免鱼眼图像变形严重，并且针对顶视这种特定图像数据采集模式，提出一种新的环视图像的变换方法，在满足了视场范围要求的同时，给用户提供了一种符合观看习惯的，易于操作的浏览模式。因此，这种镜头设计提供了更好的分布来覆盖顶视360度全景成像区域，有效提高了顶视鱼眼镜头成像的图像质量和视觉效果。

为解决上述技术问题，本发明在图像采集方面采取的技术方案是：一种顶视鱼眼摄像机的全景图像采集***，其中包括顶视全景摄像机、监视器和外部控制设备，其中顶视全景摄像机包括相互连接的全景成像器件和图像处理电路板，所述图像处理电路板上连接有网络数据通讯接口，电源接口和其它附加接口；图像处理电路板经网络接口与监视器连接，所述图像处理电路板还经数据通讯接口与外部控制设备的控制端连接。其中，所述全景成像器件采用的是鱼眼镜头，所述成像组件可以为CCD成像组件或CMOS成像组件。

相应的，本发明还提出了一种用于顶视鱼眼摄像机采集到图像的环视浏览模式，包括以下两个方面：

（1）对顶视全景图像的局部区域，进行变换得到环视图像的环视变换算法；

（2）通过全景图像和变换图像显示窗口的交互，操作虚拟PTZ实现局部区域环视变换和对360度全景场景的连续浏览。

环视变换方法指：对于顶视全景摄像机拍摄到的顶视全景图像中的感兴趣区域，在其它显示窗口中变换成为更符合人眼观看习惯的环视图像的一种变换方法。

操作虚拟PTZ进行局部区域变换方法指：一个显示窗口作为一个虚拟PTZ摄像机窗口，通过操作虚拟PTZ的位置和角度确定全景图像中感兴趣的局部区域，然后对这个局部区域图像进行环视变换并且显示在显示窗口中。虚拟PTZ区域可以是全景图像中任意位置的一个矩形区域。虚拟PTZ区域可以固定在某个区域，也可按照连续移动的方式在全景中动态扫描显示。这里也可以是多个虚拟PTZ区域可以配合显示。配合显示是指多个虚拟PTZ窗口负责放大显示不同的区域，如N个虚拟PTZ窗口分别负责放大显示顶视360度全景的N个选定部分。

本发明提出的全景图像交互方式指以下两种方法：

首先是对于通过操作全景图像来操作虚拟PTZ。具体的，通过点击和拖动全景图像来操作虚拟PTZ，点击可确定虚拟PTZ的对感兴趣区域的位置，拖动实现在虚拟PTZ动态扫描显示感兴趣区域，通过实时计算变换表，实现对全景图像各个区域的连续浏览。

再者对于通过操作变换图像的显示窗口来操作虚拟PTZ。具体的，通过拖动变换图像显示窗口的环视图像来操作虚拟PTZ，实现在虚拟PTZ动态扫描显示感兴趣区域，通过实时计算变换表，连续实现对全景图像各个区域的浏览。

本发明提出的全景图像交互方式通过以下两种途径实现：

对于通过计算机监控终端等设备实施交互的模式，是指利用鼠标和外部设备控制虚拟PTZ，对全景摄像机从网络传输来的图像进行变换。具体来说，全景摄像机的图像采集***把采集到的图像通过网络传输到计算机监控终端，在计算机监控终端上完成上述全景图像交互方式。

对于相机嵌入式***的控制模式，外部控制设备利用摄像机提供的网络接口控制全景摄像机，通过更改虚拟PTZ的位置以更改虚拟PTZ的移动；全景摄像机的图像处理电路板按照更改后的操控和参数进行全景图像的局部环视变换，然后输出和传输所得到的视频图像给计算机监控终端。

附图说明：

图1是本发明所述360度全景摄像机的图像环视浏览交互***示意图；

图2是本发明所述360度全景摄像机示意图；

图3是本发明所述环视变换算法效果示意图；

图4是本发明所述360度全景摄像机采集到的全景图像；

图5是本发明所述经过环视变换算法变换后得到局部放大图像；

图6是本发明所述操作全景图像窗口实现虚拟PTZ交互及浏览示意图；

图7是本发明所述操作变换图像显示窗口实现虚拟PTZ交互及浏览示意图；

图8是本发明所述全景加多个变换图像显示窗口实现虚拟PTZ交互及浏览示意图；

具体实施方式：

以下将结合实施例和附图对本发明做进一步详细说明。

如图1所示，360度全景摄像机包括：全景成像器件，图像处理电路板，网络接口，串口，电源接口和其他接口。360度全景成像器件可以由成像组件连接鱼眼镜头组成。所述成像组件为：CCD成像组件，或CMOS成像组件。全景图像的环视变换在本发明提出的***中，有两种方式实现，摄像机嵌入式***实现变换和监控计算机终端实现变换。

摄像机工作原理和图像变换的原理：全景成像器件采集周围360视野的图像，得到全景图像，全景图像输入图像处理电路板进行变换处理，全景图像和环视变换后的数字图像输出至网络输出接口，网络输出接口连接终端监视器进行视频的显示。外部控制设备通过网络接口控制全景摄像机的虚拟PTZ对全景图像进行变换。

图像变换在监控计算机终端实现的原理：全景成像器件采集周围360视野的图像，得到全景图像通过网络传输到计算机监控终端之后。计算机监控终端通过鼠标、键盘等外部设备控制操作全景摄像机的虚拟PTZ对全景图像进行变换，并且在终端显示出来。

外部控制设备为：摇杆等装置，或终端计算机。

全景图像环视变换是指将全景成像器件获得的360度全景图像变换成符合人眼观察习惯的环视图像的过程。基本原理是按照柱面投影的原理把0至360度场景的图像映射到柱面图像上，这样生成的柱面图像为长条状，与常用显示比例相差很大，不适宜直接显示。

本发明提出的具体环视变换算法如下：

360度球面全景图像变换到环视图像的核心是球面全景图像的反投影变换方法。当选定全景图像中某个位置的时候，其在球面(球面半径为

)的坐标为：

角为原点连接点

的直线与x,y平面的夹角，角为其与x,z平面的夹角。

将世界坐标系选装到凝视对准的反投影平面，可得到点

在旋转后的坐标为：

那么过点

的参数方程为

又已知：

，且

令

可得到变换后图像中点对应原图的像素点

位置的值：

基于以上全景图像变换环视图像的基本原理，本发明公开了几种适用于图像环视浏览的方法。

对于通过操作全景图像来实现虚拟PTZ交互及浏览。图 6中，一个窗口显示360全景图像，通过计算机监控终端设备或者其他控制设备，在全景图像上选定虚拟PTZ区域，并且确定区域大小后。另一个窗口就选定的区域进行环视变换，并把变换后的图像显示出来。同样的，通过计算机监控终端设备或者其他控制设备，在全景图像上拖动虚拟PTZ区域，就可以实现在虚拟PTZ动态扫描显示感兴趣区域，通过实时计算变换表，在另一个窗口中实现环视变换后图像的连续浏览。

对于通过操作变换后图像的显示窗口来实现虚拟PTZ交互及浏览。图7中，一个窗口显示360全景图像，另一个窗口对虚拟PTZ区域进行环视变换，并把变换后的图像显示出来。通过计算机监控终端设备或者其他控制设备，在变换后图像的显示窗口上拖动，也可以实现虚拟PTZ区域移动，就可以实现在虚拟PTZ动态扫描显示感兴趣区域，通过实时计算变换表，在另一个窗口中实现环视变换后图像的连续浏览。

图8中，有一个窗口显示为360度全景图像，其它三个显示窗口为3个感兴趣的区域环视变换后的图像，我们称之为虚拟PTZ区域，分别为虚拟PTZ区域1、虚拟PTZ区域2、虚拟PTZ区域3。这3个虚拟PTZ区域的位置及大小不相关。同理，这个方法可以推广到N个感兴趣区域，并且通过N个相对应的显示窗口显示出来。

Claims

1.一种360度全景摄像机设备，其特征是，包括全景摄像机、计算机监控终端和外部控制设备，其中全景模拟摄像机包括全景成像器件，图像处理电路板，网络接口，串口，电源接口和其他接口；全景成像器件所采集的图像由图像处理电路板进行展开处理，通过网络接口输出；计算机监控终端和外部控制设备通过网络接口操作全景摄像机的环视图像变换和浏览；

根据权利要求1所述全景摄像机，其特征是，全景成像器件可以由成像组件连接鱼眼镜头组成。

2.根据权利要求1所述全景摄像机，其特征是，外部控制设备可为计算机监控终端或者摇杆装置或其他可操作PTZ位置和移动的装置。

3.根据权利要求1所述全景图像环视变换方法，其特征是，将360度全景图像感兴趣区域变换成环视图像，该图像符合人眼观察习惯。

4.根据权利要求1所述全景变换及显示方法，其特征是，具体的方法包括（1）全景加1个虚拟PTZ变换图像窗口的显示方法；（2）全景加N个虚拟PTZ变换图像窗口的显示方法。

5.根据权利要求5所述虚拟PTZ显示方法，全景图像和虚拟PTZ变换窗口有以下几种交互方法：定位全景图像的感兴趣区域，在变换图像窗口显示该区域经过环视变换后的图像；在全景图像上移动虚拟PTZ，变化窗口显示连续变化的图像；在变换窗口上移动虚拟PTZ，也可实现连续的全景图像浏览。

6.根据权利要求5所述虚拟PTZ显示方法，其特征是，显示窗口作为一个虚拟的PTZ摄像机窗口，显示全景图像中感兴趣的局部区域，即虚拟PTZ区域，并且按照权利要求6所述方法进行虚拟PTZ的交互。

7.根据权利要求5所述全景加N个虚拟PTZ显示方法，其特征是，全景窗口与N个虚拟PTZ窗口按照比例有序排列在整个显示窗口中，多个虚拟PTZ窗口显示不同的感兴趣区域。

8.并且按照权利要求6所述方法进行虚拟PTZ的交互。

9. 根据权利要求1所述360度全景摄像机设备，其特征是，变换交互方法可由计算机监控终端或摇杆等外部控制设备进行控制设定。