CN110086994A - 一种基于相机阵列的全景光场的综合*** - Google Patents
一种基于相机阵列的全景光场的综合*** Download PDFInfo
- Publication number
- CN110086994A CN110086994A CN201910398468.3A CN201910398468A CN110086994A CN 110086994 A CN110086994 A CN 110086994A CN 201910398468 A CN201910398468 A CN 201910398468A CN 110086994 A CN110086994 A CN 110086994A
- Authority
- CN
- China
- Prior art keywords
- image
- light field
- camera
- global
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000003595 spectral effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012876 topography Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011112 process operation Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于相机阵列的全景光场的综合***,包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备,相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机,本发明的有益效果:本发明通过将高分辨率的光场图像合起来,从而可得到高分辨率光场视频,在处理光照图像的过程中通过对焦单元依据该原始光场影像的影像内容以在产生该对焦影像前预先判定该对焦影像中像素是否需要进行对焦处理,以节省不必要的对焦运算时间,进而提升整体的处理速度,从而使得该***可快速对焦获得高分辨率光场视频。
Description
技术领域:
本发明属于成像处理技术领域,特别涉及一种基于相机阵列的全景光场的综合***。
背景技术:
阵列式相机,就是用多个小镜头来代替一个大镜头的拍摄效果,其原理和阵列式天文望远镜及昆虫的复眼类似。相比于传统的相机来说,阵列式相机的视野更广,拍出的照片也更大,同时其体积更小,所谓光场,就是指光在每一个方向通过每一个点的光量。光场是一种先进的捕捉,拼接和渲染算法。通过为静态捕捉图像生成运动视差和非常逼真的纹理和光照,使用光场技术,可以让虚拟现实原型机得以模拟出像人类的眼睛那样,可以基于距离对物体进行聚焦的效果,但是由于目前聚焦速度上的限制,对焦速度较慢,同时光场视频的像素不高也是目前需要解决的问题。
发明内容:
本发明的目的就在于为了解决上述问题而提供一种基于相机阵列的全景光场的综合***,解决了目前现有的问题。
为了解决上述问题,本发明提供了一种技术方案:
一种基于相机阵列的全景光场的综合***,包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备。
作为优选,所述相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机。
作为优选,所述对焦处理单元包括以下步骤S1至S5:
S1、接收原始光场影像;
S2、根据原始光场影像产生特征影像;
S3、从该原始光场影像产生原始对焦影像;
S4、指定该原始光场影像中的对焦位置;
S5、依据该对焦位置计算并更新该原始对焦影像之像素值,进而产生重对焦影像。
作为优选,所述图像处理单元包括以下步骤S1至S4:
S1、块匹配:采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块;
S2、变换和配准:将每个局部图像变换到所述全局参考图像中的对应块上,并对每个局部图像和其对应块进行图像配准,以获得所述预定场景的全局高分辨率图像;
S3、图像超分辨:对低分辨率的全局光场图像进行放大设定倍数的上采样,得到采样后低分辨率光场图像,对所述采样后低分辨率光场图像进行傅里叶变换,得到第一频谱图像,将所述第一频谱图像进行低通滤波;以及对所述全局高分辨率图像进行高通滤波,得到第二频谱图像;
S4、融合恢复:将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换,得到全局高分辨率光场图像。
作为优选,所述十六个局部相机均匀圆周排布,每两个局部相机之间的夹角为22.5°。
作为优选,所述全局光场相机以及所述多个局部相机同步地分别获取预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频,并存储于所述存储介质中。
作为优选,所述储存介质包括计算机程序,所述计算机程序被处理器加载执行时,实现对焦处理以及图像处理中的流量存储。
作为优选,所述电子处理设备包括处理器,所述处理器用于加载执行所述计算机程序,以使所述电子设备执行实现对焦处理操作以及图像处理操作。
作为优选,所述局部相机均匀安装在控制处理平台上,所述控制处理平台包括遥控触发器、用于局部相机和闪光灯的同步控制器、USB集线器、交换机和集成电源***,同时也包含有伺服电机和滑台,滑台可控制局部电相机的水平移动。
本发明的有益效果:本发明通过将高分辨率的光场图像合起来,从而可得到高分辨率光场视频,在处理光照图像的过程中通过对焦单元依据该原始光场影像的影像内容以在产生该对焦影像前预先判定该对焦影像中像素是否需要进行对焦处理,以节省不必要的对焦运算时间,进而提升整体的处理速度,从而使得该***可快速对焦获得高分辨率光场视频。
附图说明:
为了易于说明,本发明由下述的具体实施及附图作以详细描述。
图1是阵列相机立体全景拼接径向设计的硬件结构示意图;
图2是立体全景拼接算法流程示意图;
图3是本发明的视频成像综合***的工作流程示意图。
具体实施方式:
如图1-3所示,本具体实施方式采用以下技术方案:一种基于相机阵列的全景光场的综合***,包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备。
其中,所述相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机。
其中,所述对焦处理单元包括以下步骤S1至S5:
S1、接收原始光场影像;
S2、根据原始光场影像产生特征影像;
S3、从该原始光场影像产生原始对焦影像;
S4、指定该原始光场影像中的对焦位置;
S5、依据该对焦位置计算并更新该原始对焦影像之像素值,进而产生重对焦影像。
其中,所述图像处理单元包括以下步骤S1至S4:
S1、块匹配:采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块;
S2、变换和配准:将每个局部图像变换到所述全局参考图像中的对应块上,并对每个局部图像和其对应块进行图像配准,以获得所述预定场景的全局高分辨率图像;
S3、图像超分辨:对低分辨率的全局光场图像进行放大设定倍数的上采样,得到采样后低分辨率光场图像,对所述采样后低分辨率光场图像进行傅里叶变换,得到第一频谱图像,将所述第一频谱图像进行低通滤波;以及对所述全局高分辨率图像进行高通滤波,得到第二频谱图像;
S4、融合恢复:将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换,得到全局高分辨率光场图像。
其中,所述十六个局部相机均匀圆周排布,每两个局部相机之间的夹角为22.5°。
其中,所述全局光场相机以及所述多个局部相机同步地分别获取预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频,并存储于所述存储介质中。
其中,所述储存介质包括计算机程序,所述计算机程序被处理器加载执行时,实现对焦处理以及图像处理中的流量存储。
其中,所述电子处理设备包括处理器,所述处理器用于加载执行所述计算机程序,以使所述电子设备执行实现对焦处理操作以及图像处理操作。
其中,所述局部相机均匀安装在控制处理平台上,所述控制处理平台包括遥控触发器、用于局部相机和闪光灯的同步控制器、USB集线器、交换机和集成电源***,同时也包含有伺服电机和滑台,滑台可控制局部电相机的水平移动,调节不同局部相机的远近距离。
本发明通过将高分辨率的光场图像合起来,从而可得到高分辨率光场视频,在处理光照图像的过程中通过对焦单元依据该原始光场影像的影像内容以在产生该对焦影像前预先判定该对焦影像中像素是否需要进行对焦处理,以节省不必要的对焦运算时间,进而提升整体的处理速度,从而使得该***可快速对焦获得高分辨率光场视频。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内,本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于相机阵列的全景光场的综合***,其特征在于:包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备。
2.根据权利要求1所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机。
3.根据权利要求3所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述对焦处理单元包括以下步骤S1至S5:
S1、接收原始光场影像;
S2、根据原始光场影像产生特征影像;
S3、从该原始光场影像产生原始对焦影像;
S4、指定该原始光场影像中的对焦位置;
S5、依据该对焦位置计算并更新该原始对焦影像之像素值,进而产生重对焦影像。
4.根据权利要求2所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述图像处理单元包括以下步骤S1至S4:
S1、块匹配:采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块;
S2、变换和配准:将每个局部图像变换到所述全局参考图像中的对应块上,并对每个局部图像和其对应块进行图像配准,以获得所述预定场景的全局高分辨率图像;
S3、图像超分辨:对低分辨率的全局光场图像进行放大设定倍数的上采样,得到采样后低分辨率光场图像,对所述采样后低分辨率光场图像进行傅里叶变换,得到第一频谱图像,将所述第一频谱图像进行低通滤波;以及对所述全局高分辨率图像进行高通滤波,得到第二频谱图像;
S4、融合恢复:将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换,得到全局高分辨率光场图像。
5.根据权利要求2所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述十六个局部相机均匀圆周排布,每两个局部相机之间的夹角为22.5°。
6.根据权利要求2所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述全局光场相机以及所述多个局部相机同步地分别获取预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频,并存储于所述存储介质中。
7.根据权利要求1所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述储存介质包括计算机程序,所述计算机程序被处理器加载执行时,实现对焦处理以及图像处理中的流量存储。
8.根据权利要求1所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述电子处理设备包括处理器,所述处理器用于加载执行所述计算机程序,以使所述电子设备执行实现对焦处理操作以及图像处理操作。
9.根据权利要求1所述的一种基于相机阵列的全景光场的综合***,其特征在于:所述局部相机均匀安装在控制处理平台上,所述控制处理平台包括遥控触发器、用于局部相机和闪光灯的同步控制器、USB集线器、交换机和集成电源***,同时也包含有伺服电机和滑台,滑台可控制局部电相机的水平移动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910398468.3A CN110086994A (zh) | 2019-05-14 | 2019-05-14 | 一种基于相机阵列的全景光场的综合*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910398468.3A CN110086994A (zh) | 2019-05-14 | 2019-05-14 | 一种基于相机阵列的全景光场的综合*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110086994A true CN110086994A (zh) | 2019-08-02 |
Family
ID=67420080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910398468.3A Pending CN110086994A (zh) | 2019-05-14 | 2019-05-14 | 一种基于相机阵列的全景光场的综合*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110086994A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225221A (zh) * | 2020-01-15 | 2020-06-02 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
CN115103125A (zh) * | 2022-07-13 | 2022-09-23 | 北京拙河科技有限公司 | 导播方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140347548A1 (en) * | 2013-05-21 | 2014-11-27 | National Taiwan University | Method and system for rendering an image from a light-field camera |
JP2017050819A (ja) * | 2015-09-04 | 2017-03-09 | Kddi株式会社 | パノラマ画像データの生成装置、生成方法及びプログラム |
CN107450265A (zh) * | 2017-01-24 | 2017-12-08 | 叠境数字科技(上海)有限公司 | 光场全景相机 |
CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像***及视频处理方法 |
CN208572260U (zh) * | 2018-08-06 | 2019-03-01 | 四川省广播电视科研所 | 一种全景摄像***相机阵列结构 |
-
2019
- 2019-05-14 CN CN201910398468.3A patent/CN110086994A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140347548A1 (en) * | 2013-05-21 | 2014-11-27 | National Taiwan University | Method and system for rendering an image from a light-field camera |
JP2017050819A (ja) * | 2015-09-04 | 2017-03-09 | Kddi株式会社 | パノラマ画像データの生成装置、生成方法及びプログラム |
CN107450265A (zh) * | 2017-01-24 | 2017-12-08 | 叠境数字科技(上海)有限公司 | 光场全景相机 |
CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像***及视频处理方法 |
CN208572260U (zh) * | 2018-08-06 | 2019-03-01 | 四川省广播电视科研所 | 一种全景摄像***相机阵列结构 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225221A (zh) * | 2020-01-15 | 2020-06-02 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
CN111225221B (zh) * | 2020-01-15 | 2021-12-14 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
CN115103125A (zh) * | 2022-07-13 | 2022-09-23 | 北京拙河科技有限公司 | 导播方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5871862B2 (ja) | 3d深度情報に基づいたイメージぼかし | |
CN104980644B (zh) | 一种拍摄方法及装置 | |
KR102013978B1 (ko) | 이미지들의 융합을 위한 방법 및 장치 | |
CN101872491B (zh) | 基于光度立体的自由视角重光照方法和*** | |
CN112311965B (zh) | 虚拟拍摄方法、装置、***及存储介质 | |
CN102148965B (zh) | 多目标跟踪特写拍摄视频监控*** | |
US10116879B2 (en) | Method and apparatus for obtaining an image with motion blur | |
JP6090786B2 (ja) | 背景差分抽出装置及び背景差分抽出方法 | |
JP2019535167A (ja) | 広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法 | |
CN105072314A (zh) | 一种可自动跟踪目标的虚拟演播室实现方法 | |
CN101082766A (zh) | 一种快速采集全景图像的设备和方法 | |
CN105530431A (zh) | 一种反射式全景成像***及方法 | |
CN104917973B (zh) | 动态曝光调整方法及其电子装置 | |
CN111355878A (zh) | 一种终端、拍摄方法及存储介质 | |
CN105791688A (zh) | 移动终端及成像方法 | |
CN105657394A (zh) | 基于双摄像头的拍摄方法、拍摄装置及移动终端 | |
CN110086994A (zh) | 一种基于相机阵列的全景光场的综合*** | |
JP2016504828A (ja) | 単一のカメラを用いて3d画像を取り込む方法およびシステム | |
Ainsworth et al. | Acquisition of stereo panoramas for display in VR environments | |
CN105827932A (zh) | 一种图像合成方法和移动终端 | |
CN104539893B (zh) | 实现虚拟云台监控效果的方法、装置及*** | |
CN105467741A (zh) | 一种全景拍照方法及终端 | |
CN114245006B (zh) | 一种处理方法、装置及*** | |
Chugunov et al. | Neural spline fields for burst image fusion and layer separation | |
Alzayer et al. | DC2: Dual-camera defocus control by learning to refocus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |
|
RJ01 | Rejection of invention patent application after publication |