CN109076200A - 全景立体视频***的校准方法和装置 - Google Patents
全景立体视频***的校准方法和装置 Download PDFInfo
- Publication number
- CN109076200A CN109076200A CN201680078559.3A CN201680078559A CN109076200A CN 109076200 A CN109076200 A CN 109076200A CN 201680078559 A CN201680078559 A CN 201680078559A CN 109076200 A CN109076200 A CN 109076200A
- Authority
- CN
- China
- Prior art keywords
- camera
- cameras
- camera array
- array
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种摄像头阵列校准方法,该摄像头阵列包括多个摄像头,该多个摄像头用于拍摄多个图像以生成全景图,其中,该多个摄像头之间的相对位置基本恒定,所述方法包括:将摄像头阵列从第一位置移动到第二位置;测量摄像头阵列上的参考点在第一位置和第二位置之间的齐次变换矩阵;由所述摄像头阵列的第一摄像头和第二摄像头在所述第一位置和第二位置处拍摄图像;以及根据由所述第一摄像头和第二摄像头在所述第一位置和第二位置处拍摄的图像,确定该第一摄像头和第二摄像头之间的齐次变换矩阵。该方法还包括:识别由所述第一摄像头在所述第一位置和第二位置处拍摄的图像中的特征;以及根据该特征,估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
Description
技术领域
本发明涉及用于拍摄、处理、压缩及显示3D全景立体视频的全景立体视频***,尤其涉及对全景立体视频***内的摄像头阵列进行校准的方法和装置。
背景技术
多摄像头阵列已经在立体视觉和全景视频***中得到广泛使用。恰当校准此类摄像头的外部参数为运行任何复杂视觉或视频算法的先决条件,这是因为当摄像头间的空间关系未精确定义时此类算法往往遭遇失败。当摄像头视场(FOV)内存在较大重叠区域时,现有的摄像头校准方法表现良好。然而,当重叠区域较小或者甚至不存在重叠区域时,此类现有方法往往因重叠区域的低分辨率或因无法在重叠区域内找出共同图案而无能为力。
因此,需要一种对重叠视场较小或甚至无重叠视场的摄像头进行校准的可靠方法。
发明内容
为了解决现有技术中的问题,本发明实施方式提供一种对全景立体视频***中各摄像头具有较小共同视场或甚至没有共同视场的摄像头阵列进行校准的方法和装置。
根据本发明一种实施方式,提供一种图像获取装置,该图像获取装置用于拍摄图像以生成全景图,该图像获取装置包括:摄像头阵列,该摄像头阵列包括多个摄像头,所述多个摄像头用于拍摄多个图像以生成全景图,其中,该多个摄像头之间的相对位置基本恒定;以及用于校准所述多个摄像头的摄像头校准单元,其中,当所述摄像头阵列从第一位置移动至第二位置时,所述多个摄像头用于在所述第一位置和第二位置处拍摄图像,所述摄像头校准单元根据由第一摄像头和第二摄像头在所述第一位置和第二位置处所拍摄的图像,确定该第一摄像头和第二摄像头之间的齐次变换矩阵。
优选地,所述摄像头校准单元用于识别由所述第一摄像头在所述第一位置和第二位置处所拍摄的图像中的特征,并根据该特征估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
优选地,所述摄像头阵列设置为从所述第一位置随机移动至所述第二位置。
优选地,在所述第一位置处的所述摄像头阵列的轴线与在所述第二位置处的该摄像头阵列的轴线不平行。
优选地,所述第一摄像头和第二摄像头具有不重叠的视场。
根据本发明另一实施方式,提供一种摄像头阵列校准方法,该摄像头阵列包括多个摄像头,该多个摄像头用于拍摄多个图像以生成全景图,其中,该多个摄像头之间的相对位置基本恒定,所述方法包括:将所述摄像头阵列从第一位置移动到第二位置;测量所述摄像头阵列上的参考点在所述第一位置和第二位置之间的齐次变换矩阵;由所述摄像头阵列的第一摄像头和第二摄像头分别在所述第一位置和第二位置处拍摄图像;以及根据所述第一摄像头和第二摄像头在所述第一位置和第二位置处所拍摄的图像,确定该第一摄像头和第二摄像头之间的齐次变换矩阵。
优选地,所述方法还包括:识别由所述第一摄像头在所述第一位置和第二位置处所拍摄的图像中的特征;以及根据该特征,估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
优选地,所述方法还包括:将所述摄像头阵列从所述第一位置随机移动至所述第二位置。
优选地,在所述第一位置处的所述摄像头阵列的轴线与所述摄像头阵列在所述第二位置处的所述摄像头阵列的轴线不平行。
优选地,所述第一摄像头和第二摄像头具有不重叠的视场。
根据本发明实施方式,所述摄像头阵列内的摄像头仅需通过在不同位置上同时拍摄照片便可实现有效而精确的校准,并且这些摄像头无需具有重叠视场。
附图说明
为了更好地说明本发明实施方式的技术特征,以下结合附图对本发明各种实施方式进行简单描述。
图1为根据本发明实施方式的全景立体视频***的例示示意图。
图2为根据本发明实施方式的全景立体视频***中的摄像头阵列的例示示意图。
图3为根据本发明实施方式的全景立体视频***中的数据处理单元的例示示意图。
图4为根据本发明实施方式的全景立体视频拼接方法的例示流程图。
图5为根据本发明实施方式的全景立体视频显示方法的例示流程图。
图6为根据本发明实施方式摄像头阵列在校准过程中从起点位置移动至终点位置的例示示意图。
图7为根据本发明实施方式的摄像头阵列校准方法的例示流程图。
具体实施方式
为了更好地说明本发明实施方式的目的、技术特征及优点,以下结合附图对本发明各种实施方式进行进一步的描述。容易理解的,附图仅用于说明本发明例示实施方式,本领域技术人员可在不脱离本发明原理的前提下获得其他附图。
根据本发明实施方式,提供一种具有多摄像头视频拍摄、数据处理、立体视频编码、传输及3D显示功能的全景立体视频***。该全景立体视频***采用实时多角度视频拍摄,图像修正和预处理,以及基于关注区域(ROI)的立体视频压缩。在传输和解码过程之后,使用头戴式显示器(HMD)耳机显示左右视场。
1.***概述
图1为根据本发明实施方式的全景立体视频***的例示示意图。全景立体视频***采用摄像头阵列拍摄3D全景视频,并将所拍摄的3D全景视频显示于3D电视或头戴式虚拟现实显示装置上。如图1所示,全景立体视频***包括数据采集单元200,数据处理单元300及数据显示单元400。数据采集单元200包括摄像头阵列210内的多个摄像头以及摄像头校准单元220。数据处理单元300包括数据预处理单元310及高级立体视频转码单元320。数据显示单元400包括解码单元410及显示器耳机420。
2.数据采集单元
如图1所示,数据采集单元200包括摄像头阵列210内的多个摄像头,以及对摄像头阵列210进行校准的摄像头校准单元220。
2.1摄像头阵列
图2为根据本发明实施方式的全景立体视频***内的摄像头阵列的例示示意图。
如图2所示,摄像头阵列210具有安装于正八边形安装框架上的16个高清晰度摄像头c1~c16,该八边形的每个侧面上安装有一对摄像头。每个侧面上的两个摄像头,如c1和c2,具有平行光轴且相互间隔距离d。摄像头阵列210所采集的原始视频数据经线缆发送于计算机,以供进一步处理。所述摄像头的参数列于下表1。
表1
需要注意的是,虽然所述摄像头阵列在图2中示为正八边形,但是在本发明其他实施方式中,该摄像头阵列也可设置为其他形状。具体而言,在本发明的一种实施方式中,各摄像头安装于刚性框架上,从而使得该多个摄像头之间的相对位置基本恒定。在本发明的一种其他实施方式中,所述摄像头基本设于同一平面上,例如设于多边形的各侧面上。
2.2摄像头校准
为了将各摄像头拍摄的图像拼接在一起并生成3D效果,需要同时获得这些摄像头的内部和外部参数。该外部参数包括各摄像头之间的旋转和平移,从而使得由不同摄像头拍摄的图像能沿水平方向得到修正和对齐。此外,各摄像头拍摄的图像可能存在失真,为了获得无失真的图像,需要了解各摄像头的失真参数。这些参数可在摄像头校准过程中获得。
2.2.1内部和失真参数的校准
各摄像头的内部和失真参数可通过各种方法获得,例如Zhengyou Zhang所提出的校准方法。此外,MatLab等工具可用于获得此类参数。
2.2.2外部参数的校准
在获得各摄像头的内部参数之后,采用基于运动恢复结构的方法获得各摄像头之间的旋转和平移。该方法具有如下优点:
高效性:无需逐对校准摄像头。相反,所有摄像头在校准过程中均同时拍摄一个场景,而且可同时获得所有摄像头的外部参数。
精确性:在基于图案的校准方法中,需要由两个相邻的摄像头对图案进行拍摄,这往往造成该图案的分辨率及校准精度降低。在本发明的基于运动恢复结构的方法中,每一摄像头的运动均可通过独立估算而获得上述参数,并且相邻的摄像头无需具有重叠视场。因此,各摄像头可放置于离待拍摄场景更近的位置,从而实现更高的精度。
可扩展性:由于本发明方法的相邻摄像头不需要重叠视场,因此其甚至可以适用于以背靠背姿态设置的摄像机。
2.3数据采集方法
来自所述16个摄像头的数据在采集后通过软件保存,然后提供至所述数据处理单元。各摄像头拍摄的每一帧的图像数据可通过FFmpeg和DirectShow(或称DShow)等而被软件收集。每个摄像头拍摄的各帧在压缩后保存为视频文件。由于摄像头的个数为多个,因此需要利用时间戳等,使得各摄像头拍摄的各帧同步。例如,各摄像头所拍摄的每一帧都可在添加时间戳后置于队列中,从而使得其与具有相同时间戳的其他各帧同步。同步后的各帧编码为视频流后本地保存,或者经网络同时传输。
3.数据处理单元
如图1所示,数据处理单元300包括数据预处理单元310和高级立体视频转码单元320。
图3为根据本发明实施方式的全景立体视频***内的数据处理单元的例示示意图。如图3所示,数据预处理单元310包括:用于使各摄像头拍摄的图像同步的时间轴同步311;用于解码原始视频流的若干解码器312;用于原始视频修正的若干修正器313;用于实施包括降噪和编辑在内的视频处理的编码器314;用于将各视频拼接成全景视频的拼接单元。数据预处理单元310向高级立体视频转码单元320输出左眼视频和右眼视频。高级立体视频转码单元320生成视频的运动映射321和纹理映射322。混合关注区域(ROI)生成单元323根据该运动映射321和纹理映射322识别视频中的关注区域。比特分配单元324根据识所别出的关注区域分配比特,HEVC编码单元325对视频进行编码。H.265打包器326将编码后的视频进行打包,以供传输。
图4为根据本发明实施方式的全景立体视频的拼接方法的例示流程图。
3.1失真校正和预处理
根据校准过程中获得的失真参数,将各摄像头拍摄的各帧卷曲,以获得无失真帧。为了提高图像对齐和拼接的精度,需首先对各帧进行滤波以减少噪声。
3.2图像对齐
对设于所述八边形每个侧面的每对摄像头进行图像对齐,而且将每对摄像头拍摄的图像沿水平方向对齐。根据本发明一种实施方式,各对摄像头所拍摄的每一帧均卷曲至与该对摄像头的光轴平行的平面。
4.全景视频拼接
所述摄像头阵列具有8对摄像头。在将所有左侧摄像头拍摄的各帧均投影至圆柱体上后,将其拼接成全景图像。通过在左侧各摄像头拍摄的所有帧上重复上述步骤,可获得全景视频。通过以相同方式对右侧各摄像头拍摄的帧进行处理,可获得另一全景视频。此两全景视频形成全景立体视频。
5.数据显示单元
如图1所示,数据显示单元400包括解码单元410和显示器耳机420。在通过编解码***后,所述全景立体视频播放于显示器耳机420之上,该显示器耳机可以为可穿戴虚拟现实(VR)设备,例如Oculus VR公司提供的此类设备。所述全景立体视频分别渲染于该Oculus设备的左眼显示器和右眼显示器上。该全景立体视频的显示区域可根据检测装置的移动进行调节,以模拟虚拟现实中的视角变化。
图5为根据本发明实施方式的全景立体视频显示方法的例示流程图。如图5所示,在步骤501中,首先将编码视频流解码为YUV。在步骤502中,根据Oculus传感器数据,进行位置计算和视场选择。在步骤503中,对左眼和右眼图像进行分别渲染。在步骤504中,将所渲染的图像显示于所述Oculus显示耳器机上。
图6为根据本发明实施方式摄像头阵列在校准过程中从起点位置移动至终点位置的例示示意图。如图6所示,在该校准过程中,所述摄像头阵列从起点位置移动到终点位置,其中,该摄像头阵列在所述起点位置上的轴线与其在所述第二位置上的轴线不平行。
可选地,除了上述摄像头之外,所述摄像头阵列还与可用于获得该摄像头阵列的运动的惯性测量单元(IMU)相连接。该IMU可以为运动传感器。该IMU可设于所述摄像头阵列的固定位置上。例如,其可设于所述摄像头阵列的中心,或者与其中一个摄像头设于同一位置上。
或者,所述摄像头阵列从起点位置到终点位置的运动也可通过其他手段测量,并分别发送于所述校准单元。
需要注意的是,虽然图6仅示出了所述起点位置和终点位置,但是所述摄像头阵列在移动过程中可经历若干位置。优选地,该摄像头阵列在所述校准过程中可经历的所述起点位置、终点位置和任何其他位置为随机选择的位置。具体而言,通过使所述摄像头阵列移动经过若干位置,可进一步提供校准精度。以下,利用下述符号,对该校准方法进行进一步的描述:
pi,k:第k次移动后摄像头i的位置;
Xi,j:摄像头i和j之间的齐次变换矩阵,其中,
Ai,k:摄像头i从位置k过渡到位置k+1的齐次变换矩阵,
其中,知为pi,k和pi,k+1的相对旋转和变换;
Xi:摄像头i和IMU之间的齐次变换矩阵,
Bk:IMU从位置k过渡到位置k+1的齐次变换矩阵,
在以下计算中,所有摄像头均按照带有失真的针孔摄像头模型建模,且其内在矩阵Ki和失真参数kci假设为已知参数。
根据本发明一种实施方式,所述校准方法包括如下步骤:
1.n次移动所述摄像头阵列,并使所有摄像头在每一位置处同时拍摄照片。记录IMU数据,并获得Bk。其中,为了获得更好的性能,最好避免绕平行旋转轴的旋转;
2.利用运动恢复结构方法,计算其中,k表示所述摄像头阵列的第k次移动;
3.针对所有的n次移动,计算可令最小的其中,d为SO(3)的某一恰当定义的距离度量值;
4.针对所有次移动及所有摄像头的某一误差极限γ,找出满足
∠(uikl,Yikl)≤γ
的其中,来自以上步骤3,uikl和vikl为摄像头i在位置k和k+1之间的第l个对应点,可通过二分法找出最佳
5.通过下述等式获得摄像头i和摄像头j之间的外部参数,
图7为根据本发明实施方式的摄像头阵列校准方法的例示流程图。如图7所示,该校准包括如下步骤:
步骤701:将所述摄像头阵列从第一位置移动到第二位置。
步骤702:确定该摄像头阵列在所述第一位置和第二位置之间的移动。其中,该摄像头阵列的移动可利用该摄像头阵列在所述第一位置和第二位置之间的参考点的齐次变换矩阵确定。
步骤703:由第一摄像头和第二摄像头在所述第一位置和第二位置拍摄图像。其中,我们仅需利用此两摄像头在所述两位置上拍摄照片即可。
步骤704:计算所述第一摄像头从所述第一位置至所述第二位置的旋转。其中,可使用运动恢复结构方法首先识别由所述第一摄像头在所述第一位置和第二位置上拍摄的图像中的特征,然后根据识别出的该图像中的特征的位置,计算所述第一摄像头从所述第一位置至所述第二位置的旋转。
步骤705:通过最小化已定义的距离,确定所述第一摄像头和所述参考点之间的旋转。
步骤706:通过再投影误差的最小化,确定所述第一摄像头和所述参考点之间的变换。
步骤707:根据所述第一摄像头和第二摄像头在所述第一位置和第二位置上拍摄的图像,确定该第一摄像头和第二摄像头之间的齐次变换矩阵。其中,可根据以上步骤中所确定的参数,计算所述第一摄像头和第二摄像头之间的相对旋转和平移。
上述校准方法具有如下优点:
1.高效性:无需逐对校准摄像头,也无需为了校准而将所述框架拿起,仅需在不同位置对场景进行同时拍摄即可。
2.精确性:在基于图案的校准方法的设置中,两个摄像头的重叠视场常常远离该两摄像头,然而由于需要将图案设于此两摄像头的共同视场区域内,因此图案分辨率极低,从而对校准精度造成不良影响。与此相反,本发明方法对不同摄像头的运动分别进行独立地计算,而且摄像头视场无需具有共同区域。因此,摄像头可放置于离场景更近的位置,从而实现更高的校准精度。
3.可扩展性:由于运动恢复结构方法不需要摄像头具有重叠视场,因此本发明方法甚至可以适用于背靠背设置的摄像头。如此,可通过计算任意摄像头坐标至参考摄像机坐标的变换而减小累积误差。
总之,根据本发明实施方式,所述摄像头阵列内的摄像头仅需通过在不同位置上同时拍摄照片便可实现有效而精确的校准,而且这些摄像头无需具有重叠视场。
上述各种模块、单元和部件可实施为:专用集成电路(ASIC);电子电路;组合逻辑电路;现场可编程门阵列(FPGA);执行代码的处理器(共享、专用或成组);或者提供上述功能的其他合适硬件部件。所述处理器可以为Intel公司的微处理器,或者为IBM公司的大型计算机。
需要注意的是,上述功能当中的一项或多项可由软件或固件实施,该软件或固件存储于存储器内并由处理器执行,或者存储于程序存储器内并由处理器执行。此外,该软件或固件可存储和/或传输于任何计算机可读介质之内,以供指令执行***、装置或设备使用或与其结合使用,该指令执行***、装置或设备例如为基于计算机的***、含处理器的***或者其他可从所述指令执行***、装置或设备中获取指令并对其加以执行的***。在本文语境中,“计算机可读介质”可以为任何可含有或存储供所述指令执行***、装置或设备使用或用于与其结合使用的介质。该计算机可读介质可包括,但不限于,电子、磁性、光学、电磁、红外或半导体***、装置或设备,便携式计算机磁盘(磁性),随机存取存储器(RAM)(磁性),只读存储器(ROM)(磁性),可擦除可编程只读存储器(EPROM)(磁性),CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW等便携式光盘,或袖珍闪存卡、安全数字卡、USB存储装置、记忆棒等闪存。
上述各种本发明实施方式仅为优选实施方式,并不旨在限制本发明的范围,而且本发明范围涵盖不脱离本发明精神和原则的任何修饰、等同及改进方案。
Claims (26)
1.一种图像获取装置,其特征在于,所述图像获取装置用于拍摄图像以生成全景图,所述图像获取装置包括:
摄像头阵列,所述摄像头阵列包括多个摄像头,所述多个摄像头用于拍摄多个图像以生成全景图,其中,所述多个摄像头之间的相对位置基本恒定;以及
摄像头校准单元,所述摄像头校准单元用于校准所述多个摄像头,
其中,当所述摄像头阵列从第一位置移动至第二位置时,所述多个摄像头用于在所述第一位置和所述第二位置处拍摄图像,所述摄像头校准单元根据由第一摄像头和第二摄像头在所述第一位置和所述第二位置处所拍摄的图像,确定所述第一摄像头和所述第二摄像头之间的齐次变换矩阵。
2.如权利要求1所述的图像获取装置,其特征在于,所述摄像头校准单元用于识别由所述第一摄像头在所述第一位置和第二位置处所拍摄的图像中的特征,并根据所述特征估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
3.如权利要求1所述的图像获取装置,其特征在于,所述摄像头校准单元通过最小化已定义距离来确定所述第一摄像头和参考点之间的旋转。
4.如权利要求3所述的图像获取装置,其特征在于,所述摄像头校准单元通过将再投影误差最小化来确定所述第一摄像头和所述参考点之间的变换。
5.如权利要求1所述的图像获取装置,其特征在于,所述摄像头阵列从所述第一位置随机移动至所述第二位置。
6.如权利要求1所述的图像获取装置,其特征在于,在所述第一位置处的所述摄像头阵列的轴线与在所述第二位置处的所述摄像头阵列的轴线不平行。
7.如权利要求1所述的图像获取装置,其特征在于,还包括用于测量所述摄像头阵列的运动的传感器。
8.如权利要求7所述的图像获取装置,其特征在于,所述传感器位于所述摄像头阵列上的参考点处,并用于测量该摄像头阵列上的参考点从所述第一位置至所述第二位置的旋转和变换。
9.如权利要求1所述的图像获取装置,其特征在于,所述摄像头校准单元用于接收所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的所述旋转和变换。
10.如权利要求1所述的图像获取装置,其特征在于,所述第一摄像头和所述第二摄像头具有不重叠的视场。
11.如权利要求1所述的图像获取装置,其特征在于,所述多个摄像头基本位于一个平面上。
12.如权利要求11所述的图像获取装置,其特征在于,所述多个摄像头位于正八边形的各边上。
13.如权利要求11所述的图像获取装置,其特征在于,所述八边形的每一边均包括具有平行光轴的两个摄像头,且所述图像获取装置用于生成立体全景图。
14.一种摄像头阵列校准方法,其特征在于,所述摄像头阵列包括多个摄像头,所述多个摄像头用于拍摄多个图像以生成全景图,其中,所述多个摄像头之间的相对位置基本恒定,所述方法包括:
将所述摄像头阵列从第一位置移动到第二位置;
测量所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的齐次变换矩阵;
由所述摄像头阵列的第一摄像头和第二摄像头分别在所述第一位置和所述第二位置处拍摄图像;以及
根据由所述第一摄像头和所述第二摄像头在所述第一位置和所述第二位置处所拍摄的图像,确定所述第一摄像头和所述第二摄像头之间的齐次变换矩阵。
15.如权利要求14所述的方法,其特征在于,还包括:
识别由所述第一摄像头在所述第一位置和所述第二位置处所拍摄的图像中的特征;以及
根据所述特征,估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
16.如权利要求14所述的方法,其特征在于,还包括:
通过最小化已定义距离来确定所述第一摄像头和所述参考点之间的旋转。
17.如权利要求16所述的方法,其特征在于,还包括:
通过将再投影误差最小化来确定所述第一摄像头和所述参考点之间的变换。
18.如权利要求17所述的方法,其特征在于,还包括:
将所述摄像头阵列从所述第一位置随机移动至所述第二位置。
19.如权利要求14所述的方法,其特征在于,在所述第一位置处的所述摄像头阵列的轴线与在所述第二位置处的所述摄像头阵列的轴线不平行。
20.如权利要求14所述的方法,其特征在于,还包括:
由传感器测量所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的齐次变换矩阵。
21.如权利要求20所述的方法,其特征在于,所述传感器位于所述摄像头阵列上的参考点处,并用于测量该摄像头阵列上的参考点从所述第一位置至所述第二位置的旋转和变换。
22.如权利要求14所述的方法,其特征在于,还包括:
接收所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的所述旋转和变换。
23.如权利要求14所述的方法,其特征在于,所述第一摄像头和所述第二摄像头具有不重叠的视场。
24.如权利要求14所述的方法,其特征在于,所述多个摄像头基本位于一个平面上。
25.如权利要求24所述的方法,其特征在于,所述多个摄像头位于正八边形的各边上。
26.如权利要求24所述的方法,其特征在于,所述八边形的每一边均包括具有平行光轴的两个摄像头,且所述方法还包括:
利用由所述摄像头阵列所拍摄的图像生成立体全景图。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/070712 WO2017120776A1 (en) | 2016-01-12 | 2016-01-12 | Calibration method and apparatus for panoramic stereo video system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109076200A true CN109076200A (zh) | 2018-12-21 |
CN109076200B CN109076200B (zh) | 2021-04-23 |
Family
ID=59310625
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680078559.3A Active CN109076200B (zh) | 2016-01-12 | 2016-01-12 | 全景立体视频***的校准方法和装置 |
CN201680078524.XA Active CN108886611B (zh) | 2016-01-12 | 2016-01-13 | 全景立体视频***的拼接方法和装置 |
CN201680078558.9A Active CN108886598B (zh) | 2016-01-12 | 2016-01-18 | 全景立体视频***的压缩方法和装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680078524.XA Active CN108886611B (zh) | 2016-01-12 | 2016-01-13 | 全景立体视频***的拼接方法和装置 |
CN201680078558.9A Active CN108886598B (zh) | 2016-01-12 | 2016-01-18 | 全景立体视频***的压缩方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (3) | US10636121B2 (zh) |
EP (3) | EP3403403B1 (zh) |
CN (3) | CN109076200B (zh) |
WO (3) | WO2017120776A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113965698A (zh) * | 2021-11-12 | 2022-01-21 | 白银银珠电力(集团)有限责任公司 | 一种用于消防物联网的监控图像校准处理方法、装置和*** |
CN115209181A (zh) * | 2022-06-09 | 2022-10-18 | 咪咕视讯科技有限公司 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10694102B2 (en) * | 2016-07-22 | 2020-06-23 | Immervision, Inc. | Method to capture, store, distribute, share, stream and display panoramic image or video |
WO2018136951A1 (en) * | 2017-01-23 | 2018-07-26 | Virtual Diamond Boutique Inc. | System, method and computer-accessible medium for displaying a three-dimensional digital version of an object |
JP7159057B2 (ja) * | 2017-02-10 | 2022-10-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
EP3586313A1 (en) * | 2017-02-27 | 2020-01-01 | Thomson Licensing | Method, system and apparatus for visual effects |
CN108886616A (zh) * | 2017-12-27 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 视频编码的方法、装置和计算机*** |
KR20200122323A (ko) * | 2018-02-17 | 2020-10-27 | 드림뷰, 인크. | 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법 |
WO2019225681A1 (ja) * | 2018-05-23 | 2019-11-28 | パナソニックIpマネジメント株式会社 | 校正装置および校正方法 |
US10878276B2 (en) * | 2018-06-05 | 2020-12-29 | Hrl Laboratories, Llc | Method and system for detecting change of context in video streams |
US20200226787A1 (en) * | 2019-01-14 | 2020-07-16 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN109887036A (zh) * | 2019-01-21 | 2019-06-14 | 广州市安晓科技有限责任公司 | 一种汽车环视全景的半自动标定***及方法 |
CN110796012B (zh) * | 2019-09-29 | 2022-12-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
CN110749994A (zh) * | 2019-10-25 | 2020-02-04 | 江苏荣策士科技发展有限公司 | 一种穿透式hmd眼镜 |
CN111193920B (zh) * | 2019-12-31 | 2020-12-18 | 重庆特斯联智慧科技股份有限公司 | 一种基于深度学习网络的视频画面立体拼接方法和*** |
CN111464805B (zh) * | 2020-03-13 | 2021-08-10 | 宁波大学 | 一种基于全景显著性的立体全景视频快速编码方法 |
CN111935474A (zh) * | 2020-08-17 | 2020-11-13 | 广东申义实业投资有限公司 | 一种参展式发光转盘及其图像摄取方法 |
US11677979B2 (en) * | 2020-08-24 | 2023-06-13 | Tencent America LLC | Freeview video coding |
US11758101B2 (en) * | 2020-08-25 | 2023-09-12 | Samsung Electronics Co., Ltd. | Restoration of the FOV of images for stereoscopic rendering |
US11900561B2 (en) | 2020-11-25 | 2024-02-13 | Electronics And Telecommunications Research Institute | Deep learning-based image stitching method and apparatus |
CN112637601B (zh) * | 2020-12-14 | 2023-01-03 | 天津光电通信技术有限公司 | 基于鱼眼全景视频的编码方法及装置 |
CN112884844B (zh) * | 2021-01-13 | 2023-02-03 | 深圳市豪恩汽车电子装备股份有限公司 | 全景影像***的标定方法、装置及计算机可读存储介质 |
CN113573058B (zh) * | 2021-09-23 | 2021-11-30 | 康达洲际医疗器械有限公司 | 一种基于时空显著性融合的帧间图像编码方法 |
KR20230115819A (ko) * | 2022-01-27 | 2023-08-03 | 삼성전자주식회사 | 파노라마 이미지를 생성하기 위한 전자 장치 및 그 동작 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140139674A1 (en) * | 2012-11-21 | 2014-05-22 | Fujitsu Limited | Image processing apparatus and image processing method |
WO2015179574A1 (en) * | 2014-05-20 | 2015-11-26 | Nextvr Inc. | Methods and apparatus including or for use with one or more cameras |
US20150363971A1 (en) * | 2013-05-23 | 2015-12-17 | Google Inc. | Systems and Methods for Generating Three-Dimensional Models Using Sensed Position Data |
Family Cites Families (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002065763A2 (en) | 2001-02-12 | 2002-08-22 | Carnegie Mellon University | System and method for manipulating the point of interest in a sequence of images |
US20040001138A1 (en) | 2002-06-27 | 2004-01-01 | Weerashinghe W.A. Chaminda P. | Stereoscopic panoramic video generation system |
US7119816B2 (en) | 2003-03-31 | 2006-10-10 | Microsoft Corp. | System and method for whiteboard scanning to obtain a high resolution image |
EP1679659A1 (en) | 2005-01-06 | 2006-07-12 | Thomson Licensing | Method and device for selecting quantization parameters in a picture using side information |
US8014034B2 (en) | 2005-04-13 | 2011-09-06 | Acd Systems International Inc. | Image contrast enhancement |
KR100739730B1 (ko) | 2005-09-03 | 2007-07-13 | 삼성전자주식회사 | 3d 입체 영상 처리 장치 및 방법 |
US7697839B2 (en) | 2006-06-30 | 2010-04-13 | Microsoft Corporation | Parametric calibration for panoramic camera systems |
AU2010206977B2 (en) | 2009-01-26 | 2016-02-25 | Interdigital Vc Holdings, Inc. | Frame packing for video coding |
US20110255589A1 (en) | 2009-08-03 | 2011-10-20 | Droplet Technology, Inc. | Methods of compressing data and methods of assessing the same |
US20110069148A1 (en) | 2009-09-22 | 2011-03-24 | Tenebraex Corporation | Systems and methods for correcting images in a multi-sensor system |
US9445072B2 (en) * | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
US10095953B2 (en) * | 2009-11-11 | 2018-10-09 | Disney Enterprises, Inc. | Depth modification for display applications |
US20110235706A1 (en) | 2010-03-25 | 2011-09-29 | Texas Instruments Incorporated | Region of interest (roi) video encoding |
US20120154518A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | System for capturing panoramic stereoscopic video |
CN102592124B (zh) * | 2011-01-13 | 2013-11-27 | 汉王科技股份有限公司 | 文本图像的几何校正方法、装置和双目立体视觉*** |
CN102055982B (zh) | 2011-01-13 | 2012-06-27 | 浙江大学 | 三维视频编解码方法及装置 |
US20120236934A1 (en) | 2011-03-18 | 2012-09-20 | Qualcomm Incorporated | Signaling of multiview video plus depth content with a block-level 4-component structure |
US8581961B2 (en) | 2011-03-31 | 2013-11-12 | Vangogh Imaging, Inc. | Stereoscopic panoramic video capture system using surface identification and distance registration technique |
EP2695385B8 (en) * | 2011-04-08 | 2016-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Capturing panoramic or semi-panoramic 3d scenes |
CN102243432A (zh) | 2011-06-28 | 2011-11-16 | 浙江工业大学 | 全景立体摄像装置 |
US9153025B2 (en) | 2011-08-19 | 2015-10-06 | Adobe Systems Incorporated | Plane detection and tracking for structure from motion |
KR101638173B1 (ko) * | 2011-09-06 | 2016-07-12 | 한국전자통신연구원 | 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법 |
US8928729B2 (en) | 2011-09-09 | 2015-01-06 | Disney Enterprises, Inc. | Systems and methods for converting video |
US9041709B2 (en) * | 2011-11-01 | 2015-05-26 | Koninklijke Philips N.V. | Saliency based disparity mapping |
KR102090106B1 (ko) | 2011-11-11 | 2020-03-17 | 지이 비디오 컴프레션, 엘엘씨 | 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩 |
US20130176390A1 (en) | 2012-01-06 | 2013-07-11 | Qualcomm Incorporated | Multi-hypothesis disparity vector construction in 3d video coding with depth |
US9392274B2 (en) | 2012-03-22 | 2016-07-12 | Qualcomm Incorporated | Inter layer texture prediction for video coding |
EP2834788A4 (en) | 2012-04-02 | 2016-01-13 | Intel Corp | SYSTEMS, METHODS, AND COMPUTER PROGRAM PRODUCTS FOR CHANGING PICTURE DISTANCE PARAMETERS IN A MULTICAMERA SYSTEM |
US9131208B2 (en) * | 2012-04-06 | 2015-09-08 | Adobe Systems Incorporated | Opt-keyframe reconstruction for robust video-based structure from motion |
CN103516995A (zh) | 2012-06-19 | 2014-01-15 | 中南大学 | 一种基于orb特征的实时全景视频拼接方法和装置 |
EP2880630B1 (en) * | 2012-08-02 | 2020-09-02 | HERE Global B.V. | Three-dimensional plane panorama creation through hough-based line detection |
US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
US20140098185A1 (en) | 2012-10-09 | 2014-04-10 | Shahram Davari | Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources |
CN103020985B (zh) | 2012-11-12 | 2015-12-09 | 华中科技大学 | 一种基于场量分析的视频图像显著性检测方法 |
TWI602152B (zh) | 2013-02-06 | 2017-10-11 | 聚晶半導體股份有限公司 | 影像擷取裝置及其影像處理方法 |
CN103108187B (zh) | 2013-02-25 | 2016-09-28 | 清华大学 | 一种三维视频的编码方法、解码方法、编码器和解码器 |
CN103179405B (zh) | 2013-03-26 | 2016-02-24 | 天津大学 | 一种基于多级感兴趣区域的多视点视频编码方法 |
US20140300691A1 (en) * | 2013-04-04 | 2014-10-09 | Panasonic Corporation | Imaging system |
US9398215B2 (en) | 2013-04-16 | 2016-07-19 | Eth Zurich | Stereoscopic panoramas |
US9667990B2 (en) | 2013-05-31 | 2017-05-30 | Qualcomm Incorporated | Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation |
CN104424642B (zh) | 2013-09-09 | 2017-09-12 | 华为软件技术有限公司 | 一种视频显著性区域检测方法及*** |
US9509979B2 (en) * | 2013-11-26 | 2016-11-29 | Mobileye Vision Technologies Ltd. | Stereo auto-calibration from structure-from-motion |
WO2015085406A1 (en) | 2013-12-13 | 2015-06-18 | 8702209 Canada Inc. | Systems and methods for producing panoramic and stereoscopic videos |
KR101537174B1 (ko) * | 2013-12-17 | 2015-07-15 | 가톨릭대학교 산학협력단 | 스테레오스코픽 영상에서의 주요 객체 검출 방법 |
US9552061B2 (en) * | 2014-03-26 | 2017-01-24 | Microsoft Technology Licensing, Llc | Eye gaze tracking using binocular fixation constraints |
US9911454B2 (en) | 2014-05-29 | 2018-03-06 | Jaunt Inc. | Camera array including camera modules |
WO2015200822A1 (en) * | 2014-06-26 | 2015-12-30 | Huawei Technologies Co., Ltd | Method and device for reducing a computational load in high efficiency video coding |
US9973694B1 (en) * | 2014-08-21 | 2018-05-15 | Jaunt Inc. | Image stitching to form a three dimensional panoramic image |
US9870617B2 (en) * | 2014-09-19 | 2018-01-16 | Brain Corporation | Apparatus and methods for saliency detection based on color occurrence analysis |
US10257494B2 (en) | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
CN104580933A (zh) | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 基于特征点的多尺度实时监控视频拼接装置及拼接方法 |
CN105049850B (zh) | 2015-03-24 | 2018-03-06 | 上海大学 | 基于感兴趣区域的hevc码率控制方法 |
CN104822058B (zh) | 2015-04-14 | 2016-08-17 | 宁波大学 | 一种立体图像显著图提取方法 |
US9877016B2 (en) * | 2015-05-27 | 2018-01-23 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
WO2017092007A1 (en) * | 2015-12-03 | 2017-06-08 | SZ DJI Technology Co., Ltd. | System and method for video processing |
WO2017098090A1 (en) * | 2015-12-12 | 2017-06-15 | Aalto University Foundation | Calibration technique for capturing panoramic images |
EP3398163A4 (en) * | 2016-01-03 | 2019-10-16 | Humaneyes Technologies Ltd. | ASSEMBLING IMAGES IN A PANORAMIC IMAGE |
EP3451675A4 (en) * | 2016-04-26 | 2019-12-04 | LG Electronics Inc. -1- | METHOD FOR TRANSFERRING 360 DEGREE VIDEOS, METHOD FOR RECEIVING 360 DEGREE VIDEOS, DEVICE FOR TRANSMITTING 360 DEGREE VIDEOS AND DEVICE FOR RECEIVING 360 DEGREE VIDEOS |
US10447993B2 (en) | 2016-09-27 | 2019-10-15 | Laduma, Inc. | Stereoscopic 360 degree digital camera systems |
CN109587203A (zh) * | 2017-09-29 | 2019-04-05 | 索尼公司 | 信息处理设备和方法、电子装置以及计算机可读介质 |
US10902556B2 (en) * | 2018-07-16 | 2021-01-26 | Nvidia Corporation | Compensating for disparity variation when viewing captured multi video image streams |
-
2016
- 2016-01-12 US US16/069,181 patent/US10636121B2/en active Active
- 2016-01-12 EP EP16884339.9A patent/EP3403403B1/en active Active
- 2016-01-12 CN CN201680078559.3A patent/CN109076200B/zh active Active
- 2016-01-12 WO PCT/CN2016/070712 patent/WO2017120776A1/en active Application Filing
- 2016-01-13 EP EP16884365.4A patent/EP3403400B1/en active Active
- 2016-01-13 US US16/069,183 patent/US10489886B2/en active Active
- 2016-01-13 WO PCT/CN2016/070823 patent/WO2017120802A1/en active Application Filing
- 2016-01-13 CN CN201680078524.XA patent/CN108886611B/zh active Active
- 2016-01-18 EP EP16884543.6A patent/EP3403401B1/en active Active
- 2016-01-18 WO PCT/CN2016/071238 patent/WO2017120981A1/en active Application Filing
- 2016-01-18 US US16/069,185 patent/US10643305B2/en active Active
- 2016-01-18 CN CN201680078558.9A patent/CN108886598B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140139674A1 (en) * | 2012-11-21 | 2014-05-22 | Fujitsu Limited | Image processing apparatus and image processing method |
US20150363971A1 (en) * | 2013-05-23 | 2015-12-17 | Google Inc. | Systems and Methods for Generating Three-Dimensional Models Using Sensed Position Data |
WO2015179574A1 (en) * | 2014-05-20 | 2015-11-26 | Nextvr Inc. | Methods and apparatus including or for use with one or more cameras |
Non-Patent Citations (1)
Title |
---|
BO LI等: "A Multiple-Camera System Calibration Toolbox Using A Feature Descriptor-Based Calibration Pattern", 《2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113965698A (zh) * | 2021-11-12 | 2022-01-21 | 白银银珠电力(集团)有限责任公司 | 一种用于消防物联网的监控图像校准处理方法、装置和*** |
CN113965698B (zh) * | 2021-11-12 | 2024-03-08 | 白银银珠电力(集团)有限责任公司 | 一种用于消防物联网的监控图像校准处理方法、装置和*** |
CN115209181A (zh) * | 2022-06-09 | 2022-10-18 | 咪咕视讯科技有限公司 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
CN115209181B (zh) * | 2022-06-09 | 2024-03-22 | 咪咕视讯科技有限公司 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3403400A4 (en) | 2019-10-09 |
US10489886B2 (en) | 2019-11-26 |
EP3403403A1 (en) | 2018-11-21 |
CN108886598A (zh) | 2018-11-23 |
US20190028707A1 (en) | 2019-01-24 |
EP3403401A1 (en) | 2018-11-21 |
CN108886611A (zh) | 2018-11-23 |
US20190035055A1 (en) | 2019-01-31 |
EP3403401A4 (en) | 2019-06-12 |
EP3403400A1 (en) | 2018-11-21 |
EP3403401B1 (en) | 2021-10-13 |
CN109076200B (zh) | 2021-04-23 |
WO2017120981A1 (en) | 2017-07-20 |
WO2017120776A1 (en) | 2017-07-20 |
US10636121B2 (en) | 2020-04-28 |
US10643305B2 (en) | 2020-05-05 |
CN108886598B (zh) | 2020-08-25 |
WO2017120802A1 (en) | 2017-07-20 |
EP3403403B1 (en) | 2023-06-07 |
EP3403403A4 (en) | 2019-08-21 |
CN108886611B (zh) | 2021-07-09 |
US20190028693A1 (en) | 2019-01-24 |
EP3403400B1 (en) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109076200B (zh) | 全景立体视频***的校准方法和装置 | |
CN106709899B (zh) | 双摄像头相对位置计算方法、装置和设备 | |
CN107113416B (zh) | 多视点高速运动采集的方法及*** | |
CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
JP5472328B2 (ja) | ステレオカメラ | |
WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
KR20150120066A (ko) | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 | |
EP2923484A1 (en) | A method for obtaining and inserting in real time a virtual object within a virtual scene from a physical object | |
EP3318053A1 (en) | Full-spherical video imaging system and computer-readable recording medium | |
KR101801100B1 (ko) | 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법 | |
US10666925B2 (en) | Stereoscopic calibration using a multi-planar calibration target | |
JP7033294B2 (ja) | 撮像システム、撮像方法 | |
Perek et al. | Efficient uncalibrated rectification method for stereo vision systems | |
KR20110025083A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
TWI626603B (zh) | 圖像獲取方法及圖像獲取裝置 | |
KR101142279B1 (ko) | 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법 | |
CA3025180A1 (en) | Stereoscopic image capture | |
Perek et al. | Towards automatic calibration of stereoscopic video systems | |
US20080252746A1 (en) | Method and apparatus for a hybrid wide area tracking system | |
KR102430726B1 (ko) | 멀티 카메라의 정보 처리 장치 및 방법 | |
Van Poucke | Camera Calibration of a Diverse Set of Smartphone | |
TWI579776B (zh) | 利用影像擷取裝置給定一全域場景影像之方法 | |
WO2017002360A1 (en) | Full-spherical video imaging system and computer-readable recording medium | |
KR101323195B1 (ko) | 2차원 영상에서 3차원 영상 생성 방법 | |
KR20180081376A (ko) | 합성영상의 품질 평가 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |