CN111541850A - 一种全景电子云台矫正方法及装置 - Google Patents
一种全景电子云台矫正方法及装置 Download PDFInfo
- Publication number
- CN111541850A CN111541850A CN202010666242.XA CN202010666242A CN111541850A CN 111541850 A CN111541850 A CN 111541850A CN 202010666242 A CN202010666242 A CN 202010666242A CN 111541850 A CN111541850 A CN 111541850A
- Authority
- CN
- China
- Prior art keywords
- panoramic
- image
- longitude
- latitude
- spherical surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明公开了一种全景电子云台矫正方法及装置,包括以下步骤:采集全景图像或视频,并同步获取全景相机的姿态角;将采集到的全景图像按经纬度图像展开后,投影到球面上;根据姿态角,将球面绕轴旋转到预设位置,将新位置的球面展开为经纬度图像即可获得矫正后的全景图像。本发明能有效解决拍摄过程中的抖动以及全景相机摆放角度不固定导致拍摄出的画面不符合人的观看习惯的问题,确保最终拍摄的全景视频可以给观看者带来舒适的并且完全沉浸式的视觉体验。
Description
技术领域
本发明属于电子技术领域,具体涉及一种全景电子云台矫正方法及装置。
背景技术
作为一种新型的图像记录方式,全景相机可以记录360度大范围图像,并以独特的播放方式进行显示,带给观看者身临其境的视觉体验,因而在多个领域得到应用和追捧。在使用全景相机的过程中,有时需要手持拍摄,或架在一些移动的设备上,如自行车、汽车或无人机等,录制全景视频时不可避免地会存在抖动,因而最终的全景视频画面会因为抖动的影响而使观看者眩晕或不适;全景视频播放时通常以水晶球模式、小行星模式等进行拖动播放,或配合陀螺仪传感器自动播放,但是需要拍摄时设备是垂直于地面摆放,这样拍摄出的画面在播放时是符合人的观看视角和观看习惯的,而在实际使用时,由于各种因素无法使得设备摆放合适,所以后期观看拍摄出的画面也会给观看者带来不适感。
本发明提出了一种全景电子云台矫正方法以解决以上问题。
发明内容
针对上述技术问题,本发明公开了一种全景电子云台矫正方法及装置,用于解决拍摄过程中的抖动以及拍摄视角不固定的问题。
一种全景电子云台矫正方法,其特征在于,包括以下步骤:
步骤1:利用相机设备采集全景图像,并同步获取相机设备的姿态角;
步骤2:将采集到的全景图像按经纬度图像展开后,投影到球面上;
步骤2中将采集到的全景图像按经纬度图像展开后,投影到球面上包括以下步骤:
步骤2-1:将全景图像按经纬度图像展开,使全景图像的宽度与球面的经度对应;
步骤2-2:将全景图像按经纬度图像展开,使全景图像的高度与球面的纬度对应;
步骤2-3:使经纬度全景图像上的点经过投影得到球面上一点;
步骤3:根据步骤1得到的姿态角,将步骤2的球面绕轴旋转到预设位置,将新位置的球面展开为经纬度图像。
更进一步的,步骤1中利用相机设备采集全景图像,并同步获取全景相机的姿态角具体为:利用相机设备采集全景图像,并同步采集一组姿态角数据。
更进一步的,步骤2-3利用下式使经纬度全景图像上的点经过投影得到球面上一点:
根据图像坐标与经纬度坐标之间的对应关系,可得:
根据经纬度坐标与三维世界坐标之间的关系,可得:
更进一步的,所述球面为椭球面,所述椭球面利用下式表示:
更进一步的,步骤2-3利用下式使经纬度全景图像上的点经过投影得到椭球面上一点:
根据图像坐标与经纬度坐标之间的对应关系,可得:
根据经纬度坐标与三维世界坐标之间的关系,可得:
更进一步的,步骤3中根据得到的姿态角,将球面绕轴旋转到预设位置,将新位置的球面展开为经纬度图像,包括以下步骤:
步骤3-2:由姿态角计算得到R,根据上式计算得到旋转后新位置点的三维坐标值后,按逆序的方式由计算出新位置点对应的经纬度坐标,由经纬度坐标计算
出图像坐标系下的新位置坐标,将位置上的灰度值读取并填充到的位
置上,最终得到矫正后的全景图像。
更进一步的,步骤2-1中将全景图像按经纬度图像展开,使全景图像宽度方向与球面的经度对应,所述经度范围为-180°~180°;步骤2-2中所述的将全景图像按经纬度图像展开,全景图像的高度方向与球面的纬度对应,所述纬度范围为-90°~90°。
更进一步的,步骤1中利用相机设备采集全景图像,并同步获取全景相机的姿态角修改为利用相机设备采集全景图像,并同步获取全景相机的姿态角,其中,同步获取全景相机的姿态角具体为:按全景视频的帧率采集姿态角数据,即一帧图像对应一组姿态角数据。
有益效果:本发明的全景电子云台矫正方法能有效解决全景图像拍摄过程中的抖动以及全景相机摆放角度不固定导致拍摄出的画面不符合人的观看习惯的问题,确保最终拍摄的全景视频可以给观看者带来舒适的并且完全沉浸式的视觉体验。
本发明还公开了一种全景电子云台成像装置,包括图像采集模块、姿态角获取模块、图像处理模块、电子云台矫正模块、压缩编码模块、存储模块和传输模块,
所述电子云台矫正模块同时连接图像处理模块、姿态角获取模块和压缩编码模块;
所述图像处理模块同时连接电子云台矫正模块和图像采集模块;
所述压缩编码模块同时连接电子云台矫正模块、传输模块和存储模块;
所述图像采集模块,用于通过多组成像单元采集原始图像;
所述姿态角获取模块,用于同步记录全景相机的姿态角;
所述图像处理模块,用于将采集得到的原图处理得到全景图像;
所述电子云台矫正模块,用于将全景图像根据如上所述的全景电子云台矫正方法进行矫正;
所述压缩编码模块,用于将图像数据进行压缩;
所述存储模块,用于存储图像和姿态角数据;
所述传输模块,用于将矫正后的图像数据传输至其他终端进行播放展示。
有益效果:本发明的全景电子云台矫正装置提供了一整套对的全景图像成像装置,其能有效解决全景图像拍摄过程中的抖动以及全景相机摆放角度不固定导致拍摄出的画面不符合人的观看习惯的问题,确保最终拍摄的全景视频可以给观看者带来舒适的并且完全沉浸式的视觉体验。
附图说明
图1:本发明全景电子云台矫正方法成像流程图;
图2:本发明全景电子云台矫正方法经纬度展开图;
图3:本发明全景电子云台矫正方法三维展开图;
图4:本发明具备电子云台功能的全景装置示意图。
具体实施方式
下面结合附图对本发明做进一步阐述。
图1为一种全景电子云台矫正方法的成像流程图,具体步骤如下:
步骤1:采集全景图像或视频,并同步获取全景相机的姿态角。
具体的,在本发明实施例中,全景相机采集原始图像,并同步采集一组姿态角数据;若全景相机录制视频,则按录制视频的帧率采集姿态角数据,即一帧图像对应一组姿态角数据。姿态角包含俯仰角、横滚角、偏航角,分别对应相机设备绕x轴的旋转、绕y轴的旋转以及绕z轴的旋转。全景相机采集得到的原始图像经算法处理后得到全景图像。
步骤2:将采集到的全景图像按经纬度图像展开后,投影到球面上。
具体的,本发明实施例中,将全景图像按经纬度图像展开,如图2所示,全景图像的宽高比为2:1。全景图像宽度方向与球面的经度对应,经度范围为-180~180度,全景图像的高度方向与球面的纬度对应,纬度范围为-90~90度,经纬度的角度范围也是满足2:1。 如图2和图3所示,经纬度全景图像上的P点经过投影得到球面上的P1点。
根据经纬度坐标与三维世界坐标之间的关系,可得:
其中,步骤2中球面还可以采用椭球面替代,原理同上。
其中,椭球面利用下式表示:
利用椭球面替代球面可以在更好的记录矫正过程中对图像变换的过程进行直观化的展示和记录,并可以更好的对图形矫正过程中的图像畸形进行修正。
步骤3:根据姿态角,将球面绕轴旋转到预设位置,将新位置的球面展开为经纬度图像;
R由姿态角计算得到,根据式(1)(2)(3)可以计算得到旋转后新位置点的三维坐标值,后按逆序的方式由可以计算出新位置点对应的经纬度坐标,由经纬度坐标
可以计算出图像坐标系下的新位置坐标,则将位置上的灰度值读取并填充到位置上即可得到矫正后的全景图像。
请参照图4,具备电子云台功能的全景装置流程图,包括图像采集模块,用于通过多组成像单元采集原始图像;姿态角获取模块,用于同步记录全景相机的姿态角;图像处理模块,用于将采集得到的原图处理得到全景图像;电子云台矫正模块,用于将全景图像根据姿态角数据矫正成稳定的且符合人观察视角的全景图像。
该装置还包括压缩编码模块,用于将图像数据进行压缩,减少数据传输带宽或存储空间的需求。
该装置还包括存储模块,用于存储图像和姿态角数据。
该装置还包括传输模块,用于将矫正后的图像数据传输至其他终端进行播放展示。
Claims (9)
1.一种全景电子云台矫正方法,其特征在于,包括以下步骤:
步骤1:利用相机设备采集全景图像,并同步获取相机设备的姿态角;
步骤2:将采集到的全景图像按经纬度图像展开后,投影到球面上;
步骤2中将采集到的全景图像按经纬度图像展开后,投影到球面上包括以下步骤:
步骤2-1:将全景图像按经纬度图像展开,使全景图像的宽度与球面的经度对应;
步骤2-2:将全景图像按经纬度图像展开,使全景图像的高度与球面的纬度对应;
步骤2-3:使经纬度全景图像上的点经过投影得到球面上一点;
步骤3:根据步骤1得到的姿态角,将步骤2的球面绕轴旋转到预设位置,将新位置的球面展开为经纬度图像。
2.根据权利要求1所述的全景电子云台矫正方法,其特征在于,步骤1中利用相机设备采集全景图像,并同步获取全景相机的姿态角具体为:利用相机设备采集全景图像,并同步采集一组姿态角数据。
7.根据权利要求1所述的全景电子云台矫正方法,其特征在于,步骤2-1中将全景图像按经纬度图像展开,使全景图像宽度方向与球面的经度对应,所述经度范围为-180°~180°;步骤2-2中所述的将全景图像按经纬度图像展开,全景图像的高度方向与球面的纬度对应,所述纬度范围为-90°~90°。
8.根据权利要求1所述的全景电子云台矫正方法,其特征在于,步骤1中利用相机设备采集全景图像,并同步获取全景相机的姿态角修改为利用相机设备采集全景图像,并同步获取全景相机的姿态角,其中,同步获取全景相机的姿态角具体为:按全景视频的帧率采集姿态角数据,即一帧图像对应一组姿态角数据。
9.一种全景电子云台成像装置,其特征在于,包括图像采集模块、姿态角获取模块、图像处理模块、电子云台矫正模块、压缩编码模块、存储模块和传输模块,
所述电子云台矫正模块同时连接图像处理模块、姿态角获取模块和压缩编码模块;
所述图像处理模块同时连接电子云台矫正模块和图像采集模块;
所述压缩编码模块同时连接电子云台矫正模块、传输模块和存储模块;
所述图像采集模块,用于通过多组成像单元采集原始图像;
所述姿态角获取模块,用于同步记录全景相机的姿态角;
所述图像处理模块,用于将采集得到的原图处理得到全景图像;
所述电子云台矫正模块,用于将全景图像根据如权利要求1-8任一项所述的电子云台矫正方法进行矫正;
所述压缩编码模块,用于将图像数据进行压缩;
所述存储模块,用于存储图像和姿态角数据;
所述传输模块,用于将矫正后的图像数据传输至其他终端进行播放展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010666242.XA CN111541850A (zh) | 2020-07-13 | 2020-07-13 | 一种全景电子云台矫正方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010666242.XA CN111541850A (zh) | 2020-07-13 | 2020-07-13 | 一种全景电子云台矫正方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111541850A true CN111541850A (zh) | 2020-08-14 |
Family
ID=71978372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010666242.XA Pending CN111541850A (zh) | 2020-07-13 | 2020-07-13 | 一种全景电子云台矫正方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111541850A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113286081A (zh) * | 2021-05-18 | 2021-08-20 | 中国民用航空总局第二研究所 | 机场全景视频的目标识别方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160042244A1 (en) * | 2014-08-07 | 2016-02-11 | Ricoh Company, Ltd. | Image feature extraction method and system |
CN106303417A (zh) * | 2016-08-12 | 2017-01-04 | 长沙冰眼电子科技有限公司 | 用于无人平台的增强全景监控方法 |
CN106507094A (zh) * | 2016-10-31 | 2017-03-15 | 北京疯景科技有限公司 | 校正全景视频显示视角的方法及装置 |
CN109064391A (zh) * | 2018-08-02 | 2018-12-21 | 哈尔滨市舍科技有限公司 | 一种全景图像处理方法和全景图像处理装置 |
-
2020
- 2020-07-13 CN CN202010666242.XA patent/CN111541850A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160042244A1 (en) * | 2014-08-07 | 2016-02-11 | Ricoh Company, Ltd. | Image feature extraction method and system |
CN106303417A (zh) * | 2016-08-12 | 2017-01-04 | 长沙冰眼电子科技有限公司 | 用于无人平台的增强全景监控方法 |
CN106507094A (zh) * | 2016-10-31 | 2017-03-15 | 北京疯景科技有限公司 | 校正全景视频显示视角的方法及装置 |
CN109064391A (zh) * | 2018-08-02 | 2018-12-21 | 哈尔滨市舍科技有限公司 | 一种全景图像处理方法和全景图像处理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113286081A (zh) * | 2021-05-18 | 2021-08-20 | 中国民用航空总局第二研究所 | 机场全景视频的目标识别方法、装置、设备及介质 |
CN113286081B (zh) * | 2021-05-18 | 2023-04-07 | 中国民用航空总局第二研究所 | 机场全景视频的目标识别方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106507094B (zh) | 校正全景视频显示视角的方法及装置 | |
US11528468B2 (en) | System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view | |
US20220256081A1 (en) | Panoramic camera | |
WO2021012856A1 (zh) | 一种全景图像的拍摄方法 | |
CN106464804B (zh) | 成像***、成像装置、计算机程序和*** | |
US8031223B2 (en) | Virtual reality camera | |
CN106296589B (zh) | 全景图像的处理方法及装置 | |
WO2018214707A1 (zh) | 一种视频画面的输出、查看方法及装置 | |
CN101938599A (zh) | 生成互动的动态全景影像的方法 | |
JP2000032319A (ja) | カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 | |
CN108038820B (zh) | 一种实现子弹时间拍摄效果的方法、装置及全景相机 | |
JP2015173424A (ja) | 映像配信システムおよび映像表示装置 | |
WO2012166593A2 (en) | System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view | |
WO2017112800A1 (en) | Macro image stabilization method, system and devices | |
JP7031280B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
CN108933896A (zh) | 基于惯性测量单元的全景视频稳像的方法及*** | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
KR101704362B1 (ko) | 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법 | |
TWI615808B (zh) | 全景即時影像處理方法 | |
JPH0463092A (ja) | 3次元シーン表示システム | |
CN111541850A (zh) | 一种全景电子云台矫正方法及装置 | |
US20220230275A1 (en) | Imaging system, image processing apparatus, imaging device, and recording medium | |
US11128814B2 (en) | Image processing apparatus, image capturing apparatus, video reproducing system, method and program | |
JP7487464B2 (ja) | 画像処理装置、撮像装置、動画再生システム、方法およびプログラム | |
JP6901580B2 (ja) | パノラマ画像または映像の水平較正方法、システムおよび携帯端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200814 |
|
RJ01 | Rejection of invention patent application after publication |