CN102227746A - 立体图像处理装置、方法、记录介质和立体成像设备 - Google Patents
立体图像处理装置、方法、记录介质和立体成像设备 Download PDFInfo
- Publication number
- CN102227746A CN102227746A CN2009801477301A CN200980147730A CN102227746A CN 102227746 A CN102227746 A CN 102227746A CN 2009801477301 A CN2009801477301 A CN 2009801477301A CN 200980147730 A CN200980147730 A CN 200980147730A CN 102227746 A CN102227746 A CN 102227746A
- Authority
- CN
- China
- Prior art keywords
- image
- corresponding point
- parameter
- coordinate
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
设备(10)包括:图像获取装置,用于获取从多个视点拍摄的同一对象的多个图像;对应点检测装置,用于选择规定图像作为基准图像、从所述多个图像之中选择除该基准图像以外的图像作为目标图像、并且从基准图像检测特征点并从目标图像检测对应点以产生特征点与对应点对,其中在同一对中的特征点和对应点的特征基本相同;参数估计装置,用于估计几何变换参数,该几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点和对应点的y坐标值基本相同,其中y方向与视点的视差方向正交;以及图像变换装置,用于基于所述参数对目标图像进行几何变换。
Description
技术领域
本公开的主题涉及立体图像处理装置、立体图像处理方法、记录介质和立体成像设备。更具体地说,本公开的主题涉及对由于多个成像单元的放置姿态而造成的多个图像之间的视角差异以及放大比的差异等进行几何校正的技术。
背景技术
在一个照相机设备中包括多个成像单元的照相机(所谓的复眼照相机)能够从多个视点对同一对象进行成像。因此,复眼照相机可用于获取对象的三维信息。在影视欣赏领域,存在三维画面的欣赏介质,比如使用从各个成像单元获取并具有视差的图像制成的并且使用双凸透镜片实现的印刷品。复眼照相机用作该介质的图像输入装置。
如上所述,复眼照相机包括多个成像单元。因此,在透镜特性、每个成像单元的成像元件等中存在差异、或者当安装成像单元时基于逐个安装成像单元的放置姿态中存在差异的状况下,不能获取良好的视差图像。特别地,后一差异会大大影响到视差信息。因此,为了防止三维图像的立体效果和可视性变差,减小成像单元的放置姿态的差异是很重要的。
当通过如图12A所示的两个成像单元(左和右)对一个对象(人)SUB2成像时,难以获取理想的视差图像。理想的视差图像IMGL和IMGR是在照相机中的各成像单元的姿态没有差异的状况下成像的,并且在理想的视差图像IMGL和IMGR之间,由左成像单元成像的图像IMGL中的对象SUB2的图像SUB2L和由右成像单元成像的图像IMGR中的对象SUB2的图像SUB2R彼此朝图像IMGL和IMGR的水平方向偏移,该偏移是由于视差引起的,如图12B所示。在实际获取的视差图像IMGL’和IMGR’中,图像IMGL’和IMGR’中的对象SUB2的图像SUB2L’和SUB2R’不仅由于视差而且还由于成像单元的姿态而发生偏移(图12C)。
在制造复眼照相机的处理中,优选的是以高定位精度来安装成像单元,以便消除上述由于各成像单元的姿态差异而造成的对象图像的偏移。然而,对精度的追求导致产量减小、操作工时增加等问题。
为了解决上述问题,传统技术中,PTL1和PTL2提出了通过对由复眼照相机拍摄的图像进行几何变换来消除成像单元之间的几何特性上的差别的方法。
在PTL1中描述的方法中,为了矫正由多个照相机的位置和姿态上的偏移导致的投影变形,将各个照相机拍摄的图像投影在相同(单一、同一)平面上,并且将各个照相机拍摄的图像矫正为该相同平面上的图像。
在PTL2中描述的方法提出对视角偏差之中由成像单元姿态和放大比中的差别所导致的偏差进行校正,视角偏差是在两个成像单元同时拍摄一个对象的图像时发生的。在PTL2中描述的方法中,检测了由各个成像单元获取的图像之间的对应点,计算几何校正参数以使得各个图像的对应点彼此相同,并使用该参数来对图像进行变换。
引用列表
专利文献
PTL1:日本专利申请公开No.7-294215
PTL2:日本专利申请公开No.2006-157432
发明内容
技术问题
然而,在PTL1中描述的方法中,执行了将各个图像强制投影到同一平面上的图像处理。因此,PTL1中描述的方法具有投影后的图像之间的视差变得不相称和有违本意的问题。
另一方面,由于在PTL2中描述的方法中,对图像进行变换以使得两个图像中的对应点彼此相同。因此PTL2中描述的方法具有这样的问题:视差图像之间由要保留的视差所引起的对象图像的偏移也被校正了,从而丢失了关于视差的信息。
考虑到这些情况作出了本公开的主题。本公开的主题的一个目的是提供立体图像处理装置、立体图像处理方法、记录介质和立体成像设备,当消除多个图像之间由于多个成像单元(其通过几何变换来拍摄多个图像)的放置姿态、放大比等的差异而造成的视角差异时,上述装置、方法、介质和设备能够对图像进行几何变换以保留图像之间的固有的视角差异,能够获取理想的视差图像。
解决问题的方案
为了实现上述目的,关于本公开主题的第一方面的一种立体图像处理装置包括:图像获取装置,用于获取从多个视点拍摄的同一对象的多个图像;对应点检测装置,用于从获取的多个图像之中选择规定图像作为基准图像,从获取的多个图像之中选择除基准图像以外的图像作为目标图像,并且从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对,其中包括在同一对中的特征点与对应点的特征彼此基本相同;参数估计装置,用于估计几何变换参数,该几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同,其中y方向与多个视点的视差方向正交;以及图像变换装置,用于基于估计的几何变换参数来对目标图像进行几何变换。
在本公开主题的第一方面中,在如下约束条件下估计用于对目标图像进行几何变换的几何变换参数:沿与多个视点的视差方向正交的方向上的分量相对于从多个视点拍摄的同一对象的多个图像之中规定图像(基准图像)的特征点与除基准图像以外的目标图像的对应点之间的每个偏移基本为零。更具体地,第一方面的设备估计几何变换参数,该几何变换参数用于对目标图像进行几何变换以使得特征点与变换后的对应点仅仅y坐标值彼此基本相同。基于如此估计的几何变换参数进行的几何变换可以校正沿与视差方向正交的方向上的视角中的偏移,同时保留基准图像与目标图像之间视角上的固有偏移,从而能够得到理想的视差图像。
本公开主题的第二方面提供了一种根据第一方面的立体图像处理装置,其中所述参数估计装置至少基于对应点的x和y坐标值以及特征点的y坐标值来估计几何变换参数中的至少一些参数。
本公开主题的第三方面提供了一种根据第二方面的立体图像处理装置,其中所述参数估计装置基于所述一些参数来计算由所述参数估计装置估计的所述一些参数以外的参数。
更具体地,存在可以使用对应点的x和y坐标值以及特征点的y坐标值来估计所有参数的情况,和根据用于执行几何变换的变换方程类型来估计一些参数而非所有参数的情况。然而,即使在后一种情况下,也可以基于所述一些参数来计算所述一些参数以外的参数。
本公开主题的第四方面提供了一种根据第二方面的立体图像处理装置,其中几何变换参数是投影变换参数,并且所述参数估计装置从多对特征点与对应点之中选择五对或更多对,并且基于所选每一对中的特征点与对应点的坐标值来对用于确定投影变换后的对应点的y坐标值的参数进行估计。
本公开主题的第五方面提供了一种根据第四方面的立体图像处理装置,其中所述参数估计装置基于用于确定投影变换后的对应点的y坐标值的参数来计算确定投影变换后的对应点的x坐标值所需的其它参数。
更具体地说,当通过投影变换执行几何变换时,基于五对或更多对的对应点的x和y坐标值以及特征点的y坐标值,仅可以估计投影变换参数之中的一些参数(用于至少确定投影变换后的对应点的y坐标值的参数)。然而,可以基于所估计的参数来计算除了所述一些参数以外的参数(确定投影变换后的对应点的x坐标值所需的参数)。
本公开主题的第六方面提供了一种根据第二方面的立体图像处理装置,其中所述几何变换参数是Helmert变换参数,并且所述参数估计装置从检测到的多个特征点与对应点的对中选择三对或更多对,并基于所选每一对中的特征点与对应点的坐标值来估计Helmert变换参数。
更具体地,当通过Helmert变换执行对图像的几何变换时,可以基于针对至少三对的对应点的x和y坐标值以及特征点的y坐标值来估计所有Helmert变换参数。
关于本公开主题的第七方面的一种立体图像处理方法包括:图像获取步骤,获取从多个视点拍摄的同一对象的多个图像;对应点检测步骤,从获取的多个图像之中选择规定图像作为基准图像,从获取的多个图像之中选择除基准图像以外的图像作为目标图像,以及从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对,其中包括在同一对中的特征点与对应点的特征彼此基本相同;参数估计步骤,估计几何变换参数,该几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同,其中y方向与多个视点的视差方向正交;以及图像变换步骤,基于估计的几何变换参数来对目标图像进行几何变换。
本公开主题的第八方面提供了一种根据第七方面的立体图像处理方法,其中,在所述参数估计步骤中,至少基于对应点的x和y坐标值以及特征点的y坐标值来估计几何变换参数中的至少一些参数。
本公开主题的第九方面提供了一种根据第八方面的立体图像处理方法,其中所述参数估计步骤包括:第一步骤,从N对之中随机地选择对用于确定变换后对应点的y坐标值的几何变换参数进行估计所需的特定数量的对,其中N为所述多个对的总数量;第二步骤,基于在由第一步骤随机选择的每个对应点的坐标值的基础上估计的参数,针对N对中的每一对来计算变换后对应点的y坐标值;第三步骤,针对N对中的每一对计算由第二步骤计算的变换后对应点的y坐标值与特征点的y坐标值之间的差值;第四步骤,对通过第三步骤计算出的其差值小于预定第一阈值的特征点与对应点的对的数量进行计数;第五步骤,基于计数出的对的数量与N之间的比值来确定估计的参数的置信水平;以及迭代步骤,其重复第一至第五步骤直到确定的置信水平达到预定置信水平,或者迭代次数达到预定迭代次数。
根据本公开主题的第九方面,可以从所述N对之中确定适当的组合来作为对至少用于确定变换后对应点的y坐标值的参数进行估计所需的特定数量的对(对于投影变换是五对,而对于Helmert变换是三对)。更具体地,从N对之中估计参数所需的特定数量的对是随机选择的。基于在所选对的每个对应点的坐标值的基础上估计的参数针对N对的每一个来计算变换后对应点的y坐标值。针对N个对中的每一个来计算所计算出的变换后对应点的y坐标值与特征点的y坐标值之间的差值。对计算出的差值小于第一阈值的特征点与对应点的对的数量进行计数。基于所计数的对的数量与N的比值来确定所估计的参数的置信水平。对包括了诸如随机选择多个对之类的处理进行重复,直到所估计参数的被确定的结果达到预定置信水平或者重复次数达到预定的重复次数。因此,可以将适当的组合确定为对至少用于确定变换后y坐标值的参数进行估计所需的特定数量的对。
本公开主题的第十方面提供了一种根据第九方面的立体图像处理方法,其中所述参数估计步骤包括:第六步骤,基于当确定的置信水平达到预定置信水平时估计的参数或者基于当置信水平在各次迭代的置信水平之中为最高时估计的参数,来针对N对中的每一对计算变换后对应点的y坐标值;第七步骤,针对N对中的每一对来计算通过第六步骤计算出的变换后对应点的y坐标值与特征点的y坐标值之间的差值;第八步骤,从N对之中仅选择通过第七步骤计算出的其差值小于预定第二阈值的特征点与对应点的对;以及第九步骤,仅使用在第八步骤中选择的特征点与对应点的对来计算多个参数。
更具体地,估计的参数具有期望的置信水平。通过该参数进行变换的变换后对应点的y坐标值和特征点的y坐标值应当本质上基本相同,并且它们的差值小于预定第二阈值。另一方面,其差值不小于第二阈值的特征点与对应点的对被认为是不适当的对并且被去除。仅仅提取其差值小于第二阈值的特征点与对应点的对。随后基于如此提取的对再次计算多个参数,从而使得参数置信水平进一步提高。
本公开主题的第十一方面提供了一种根据第十方面的立体图像处理方法,其中,在第九步骤中,所述多个参数使得通过第八步骤选择的多个对中的变换后对应点的y坐标值与特征点的y坐标值之间的差值的平方和最小化。换句话说,通过最小二乘法来估计多个最终参数。
关于本公开主题第十二方面的一种计算机可读介质,包括使得计算机执行用于立体图像处理的过程的计算机程序,所述过程包括:获取从多个视点拍摄的同一对象的多个图像;从获取的多个图像之中选择规定图像作为基准图像,从获取的多个图像之中选择除基准图像以外的图像作为目标图像,并且从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对,其中包括在同一对中的特征点与对应点的特征彼此基本相同;估计几何变换参数,几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同,其中y方向与多个视点的视差方向正交;以及基于估计的几何变换参数来对目标图像进行几何变换。
关于本公开主题第十三方面的一种立体成像设备包括:根据第一至第五方面中任一个的立体图像处理装置;以及多个成像单元,其分别布置在沿着视差方向的多个视点处,并且从它们的视点拍摄同一对象的图像,其中所述图像获取装置分别获取由多个成像单元拍摄的多个图像。
本公开主题的上述方面可以被提供为使得比如计算机或者照相机、图像再现设备或打印机中的中处理单元(CPU)之类的设备执行上述过程的立体图像处理程序。并且,本公开主题的上述方面可以被提供为计算机可读记录介质中的用于控制所述设备的计算机程序产品。
发明有益效果
本公开主题的上述方面在如下的约束条件下估计了用于对目标图像进行几何变换的几何变换参数:该约束条件使得沿着与取决于多个视点之间的位置关系的视差方向正交的方向上的分量,关于在从所述多个视点拍摄的同一对象的多个图像之中的规定图像(基准图像)上的特征点与在所述多个图像之中除基准图像之外的图像(目标图像)上的各个对应点之间的偏移基本上约为零。因此,本公开主题的方面可以校正在沿着与视差方向正交的方向的视角中的偏差,同时保留沿视差方向固有地出现的视角偏差。从而获得了理想的视差图像。
附图说明
图1是示出立体成像设备一个实施例的结构的框图;
图2是示出图1所示的成像单元的结构的框图;
图3是示出立体成像设备的设备主体中的多个成像单元(六个成像单元)的布置与一个对象之间的位置关系的示图;
图4A是示出由六个成像单元拍摄的理想视差图像的一个示例的示图;
图4B是示出由六个成像单元拍摄的实际视差图像的一个示例的示图;
图5是示出根据本公开主题的一个实施例的立体图像处理流程的流程图;
图6A是示出基准图像中的特征点与目标图像中的对应点之间的对应关系的示图;
图6B是示出连接特征点和对应于该特征点的对应点的矢量的示图;
图7A是示出连接特征点和对应点的矢量及其矢量分量的示图;
图7B是示出估计投影变换参数的估计方法的一个实施例的示图;
图7C是示出一个比较示例的示图;
图8是示出用于估计投影变换参数(No.1)的过程的实施例的流程图;
图9是示出用于估计投影变换参数(No.2)的过程的实施例的流程图;
图10是示出用于估计投影变换参数(No.3)的过程的实施例的流程图;
图11是示出用于对其它参数进行确定的过程的示图,这些其它参数是用于确定投影变换参数之中的投影变换后x坐标值所需的其它参数;
图12A是示出两个成像单元(左和右)的布置和一个对象的示例的框图;
图12B是示出理想视差图像的一个示例的示图;以及
图12C是示出由于成像单元的照相机姿态造成的图像之间的偏差的示图。
具体实施方式
下面将参照附图描述根据本公开主题的实施例的立体图像处理装置、立体图像处理方法、记录介质和立体成像设备。
[立体成像设备的整体构造]
图1是示出根据本公开主题的立体成像设备一个实施例的结构的框图。
如图1所示,立体成像设备10包括六个成像单元1至6。立体成像设备10通过从六个视点拍摄同一对象来获取六个图像(视差图像),并将图像记录为以规定格式记录的图像数据。
成像单元1至6和光发射器18经由控制总线16连接到中央处理单元(CPU 12)。主存储器20、数字信号处理部分22、积分累加器24、压缩/扩展处理部分26、外部记录部分28、显示部分30、对应点检测部分32、几何变换部分34、和几何变换参数估计部分36也连接到CPU 12。CPU 12基于来自操作部分14的输入操作根据规定的控制程序来控制立体成像设备10的操作。
成像单元1至6、主存储器20、数字信号处理部分22、积分累加器24、压缩/扩展处理部分26、外部记录部分28、显示部分30、对应点检测部分32、几何变换部分34、和几何变换参数估计部分36经由数据总线38互相连接。
成像单元1至6的结构彼此相同。如图2所示,成像单元1至6的每一个均包括成像透镜40、光圈41、IR(红外)截止滤光器42、低通滤光器43、成像元件(CCD(电荷耦合器件)44)、A/D变换器45、透镜驱动器46、光圈驱动器47、和CCD驱动器48。
成像透镜40包括聚焦透镜、变焦透镜,其由透镜驱动器46驱动并且沿其光轴前后移动。CPU 12通过控制透镜驱动器46来控制聚焦透镜的位置以将焦点调节到对象上。CPU 12通过根据来自操作部分14的变焦指令控制变焦透镜的位置来控制变焦。
光圈41例如包括可变光圈。光圈41由光圈驱动器47驱动。CPU 12经由光圈驱动器47控制光圈41的孔径的量(孔径值),并控制入射到CCD 44的光的量。
CCD 44是二维彩色CCD固态成像元件。CCD 44包括二维地布置在CCD 44的光接收表面上的多个光电二极管,以及以规定布置放置在各个光电二极管上的滤色器(例如R(红色)、G(绿色)和B(蓝色)滤色器)。经由成像透镜40、光圈41、IR截止滤光器42和低通滤光器43而形成于CCD 44的光接收表面上的光学图像被这些光电二极管变换为对应于入射光量的信号电荷。随后,根据CPU 12的指令基于从CCD驱动器48提供的驱动脉冲来将各个光电二极管中累积的信号电荷从CCD 44连续读出为对应于信号电荷量的电压信号(R、G和B图像信号)。CCD 44配备了电子快门功能。CPU 12通过电子快门功能来控制将电荷累积到光电二极管中的电荷累积时间。即,CPU 12通过电子快门功能控制曝光时间或快门速度。尽管在该实施例中将CCD 44用作成像元件,然而可以使用具有另外构造的成像元件,比如CMOS(互补金属氧化物半导体)传感器等。
通过A/D转换器45将从CCD 44读出的图像信号转换成数字信号。随后,经由数据总线38将数字信号(图像数据)临时存储在主存储器20中。
如图3所示,以规定间隔(规定的基线长度)沿着立体成像设备10的主体11的水平方向布置成像单元1至6。将成像单元1至6布置为调节成像单元1至6的会聚角(各成像单元的光轴之间的角度)以使得各个成像单元1至6的成像透镜的光轴相交于一个点。
CPU 12使成像单元1至6彼此同步地被驱动。更具体地,CPU 12始终调节包括在成像单元1至6中的每个成像透镜40的焦点以使对同一对象聚焦。成像单元1至6总是设置为具有相同焦距(放大比)。另外,CPU 12调节光圈41使得包括在成像单元1至6中的每个CCD 44总是得到相同的入射光量(孔径值)。
操作部分14包括用于接收用户输入的装置,比如快门按钮、电源开关、模式转盘、十字按钮、缩放按钮。快门按钮以两个级来按下,其为将快门按钮按到中途(按下一半)的所谓“半按状态”和将快门按钮完全按下的所谓“全按状态”。在图像拍摄模式下,当快门按钮被半按时,执行图像拍摄准备处理(例如自动曝光处理(AE)、自动对焦调节处理(AF)和/自动白平衡校正处理(AWB))。在图像拍摄模式下,当快门按钮被全按时,执行图像拍摄和记录处理。
光发射器18例如包括放电管(氙灯)。光发射器18在必要时发射光,例如当拍摄黑暗对象的图像或者拍摄处在背光情况下的图像时。
主存储器20用作CPU 12执行程序时的工作区,并且用作用于临时存储利用成像单元1至6进行成像所获取的数字图像信号的存储部分。
数字信号处理部分22包括白平衡调节电路、灰度级变换电路(例如伽玛校正电路)、颜色插值电路(用于通过对从相邻像素得到的颜色信号进行插值来获得与除去布置在像素上的滤色器的颜色以外的颜色相对应的颜色信号、并且得到针对每个像素位置的RGB颜色信号的处理电路)、轮廓校正电路、亮度/色差信号产生电路。数字信号处理部分22对存储在主存储器20中的R、G和B图像数据执行规定的信号处理。更具体地,R、G和B图像数据被数字信号处理部分22转换成包括亮度信号(Y信号)和色差信号(Cr和Cb信号)的YUV信号,并且受到诸如灰度变换处理(例如伽玛校正)之类的规定处理。被数字信号处理部分22处理的图像信号存储在主存储器20中。
积分累加器24基于当快门按钮半按时取得的图像信号来计算用于自动对焦调节处理的焦点估计值。而且,积分累加器24计算自动曝光处理所需的对象亮度。在自动对焦调节处理中,CPU 12查找由积分累加器24计算的焦点估计值成为局部最大值的位置。CPU 12使得对焦透镜移动到该位置,并对对象(主对象)的图像对焦。在自动曝光处理中,CPU 12基于由积分累加器24计算的对象亮度来执行用于得到适当曝光量的曝光设置。更具体地,CPU 12设置图像拍摄感光度、孔径值和快门速度,并判断发出闪光(光发射器18)的必要性。
压缩/扩展处理部分26根据来自CPU 12的指令对输入的图像数据执行压缩处理并产生规定格式的压缩图像数据。例如,静止图像受到符合JPEG标准的压缩处理,移动图像受到符合MPEG2、MPEG4或H.264标准的压缩处理。压缩/扩展处理部分26还根据来自CPU 12的指令对输入的压缩图像数据执行扩展处理并产生解压缩图像数据。
外部记录部分28将包含了由压缩/扩展处理部分26产生的JPEG格式等图像数据的图像文件记录到诸如存储卡之类的可分离的外部记录介质中。而且,外部记录部分28从外部记录介质读取图像文件。
显示部分30例如包括彩色液晶面板。显示部分30显示已被立体成像设备10拍摄的图像,并被用作用于进行各种设置的GUI(图形用户界面)。显示部分30还被用作用户用于确认图像拍摄模式下的视角的电子取景器。显示部分30包括双凸透镜,双凸透镜包括布置在彩色液晶面板表面上的一组半柱面透镜。在用于回放基于来自多个视点的图像(视差图像)的立体图像(3D图像)的回放模式中,显示部分30显示从外部记录部分28读出的视差图像,并允许用户立体地观看图像。并且,用于在显示部分30上回放立体图像的装置的示例包括而不限于双凸透镜。例如,可以将所谓的视差屏障(parallax barrier)***应用于显示部分30。视差屏障***控制显示部分30交替地重复以下两种处理:用于在彩色液晶面板上显示由视差图像形成的针对用户左眼的图像、并且以背光照射面板以通过使用视差屏障使得由背光照射的光仅到达用户左眼的处理;以及用于在彩色液晶面板上显示由视差图像形成的针对用户右眼的图像、并且以背光照射面板以通过使用视差屏障使得由背光照射的光仅到达用户右眼的处理。
如图4A所示,在理想情况中,对象SUB1的图像SUB1-1至SUB1-6彼此仅分别偏移了由成像单元1至6获取的六个图像之间的视差。然而,如图4B所示,在实际情况中,除了该视差之外,对象SUB1的图像SUB1-1’至SUB1-6’还由于成像单元1至6的姿态和放大比中的差异而彼此偏移。
通过使用对应点检测部分32、几何变换部分34和几何变换参数估计部分36对图像进行变换来校正上述关于对象的偏移。下面将参照图5所示的流程图来描述用于校正上述偏移的处理。
<立体图像处理的总流程>
图5是示出根据本公开主题的一个实施例的立体图像处理的流程的流程图。
[步骤S10]
当拍摄视差图像时,六个成像单元1至6对同一对象拍摄图像,并且记录所获取的六个图像。这里,每个图像受到上述由数字信号处理部分22进行的各种信号处理,并随后被临时存储到主存储器20中。作为替代,外部记录部分28将图像记录到外部记录介质中也是优选的。
[步骤S12]
将存储在主存储器20中的六个图像之中的规定的一个图像(在该实施例中是由成像单元3获取的图像)设置为基准图像。从主存储器20读取所设置的基准图像。尽管在该实施例中将成像单元3所获取的图像设置为基准图像,然而这并不表示任何限制。相反,六个图像之中的任一个图像都可以被设置为基准图像。
[步骤S14]
从除了基准图像以外的五个图像之中选择规定的一个图像作为目标图像。从主存储器20读取所选的目标图像。
[步骤S16]
对应点检测部分32检测多个对应点的对,所述对应点的特征关于前述设置的基准图像和所选目标图像彼此基本相同。
传统上已经提出了各种方法作为对应点检测方法。可以使用诸如块匹配方法、KLT方法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、SIFT(尺度不变特征变换,scale invariant feature transform)等作为检测方法。
在该实施例中,为简便起见,在由对应点检测部分32所检测到的对应点的对之中从基准图像检测到的对应点被称为特征点。
[步骤S18]
几何变换参数估计部分36基于多对特征点和对应点的坐标值来估计和计算投影变换参数。后文将描述步骤S18的细节。
[步骤S20]
CPU 12确定是否成功估计了投影变换参数。当成功估计了参数时(“是”的情况),转到步骤S22。当未成功估计参数时(“否”的情况),跳过步骤S22并转到步骤S24。
[步骤S22]
几何变换部分34基于已经成功估计的投影变换参数对目标图像进行投影变换。投影变换后的图像被外部记录部分28记录到外部记录介质中。
[步骤S24]
CPU 12确定上述基准图像与五个目标图像中的每一个之间的上述步骤S14至S22的处理是否都已完成。当该处理没有完成时,转到步骤S14并在步骤S14中执行另一目标图像的选择。当该处理完成时,该立体图像处理完成。
<估计投影变换参数的流程>
下面将描述用于基于多对特征点和对应点来估计投影变换参数的过程。
这里,投影变换方程如下:
[表达式1]
X=(ax+by+s)/(px+qy+1)
Y=(cx+dy+t)/(px+qy+1)
在[表达式1]中投影变换参数表示为八个参数:a、b、s、c、d、t、p和q。(x,y)和(X,Y)分别表示投影变换之前和之后的坐标值。
在图6A中,从基准图像IMG1提取的特征点(实心点)被叠加在基准图像IMG1上。并且,从目标图像IMG2检测到的对应点(空心点)被叠加在目标图像IMG2上。
图6B示出连接了特征点和各个对应点的矢量。在图6B中,特征点A(x1,y1)和对应点A’(x2,y2)表示某一特征点和对应点的对。
特征点A和对应点A’本质上应当具有相同的高度(即y坐标值基本上彼此相同)。然而,由于基准图像IMG1和目标图像IMG2中的对象因成像单元1至6的姿态和放大比中存在差异而发生偏移,所以特征点A和对应点A’的高度(y坐标值)彼此不相等。
因此,当估计投影变换参数时,该实施例提供了如下约束条件:连接特征点A和对应点A’的线段(以下称为“矢量”)变得基本水平(即特征点A和对应点A’的y坐标值彼此基本相等)。该约束条件基于这样一个事实,即六个成像单元1至6水平地布置在设备10的主体11上。如果垂直地布置多个成像单元,则需假设所述矢量是垂直的(即,特征点和对应点的x坐标值彼此基本相等)。换句话说,提供了沿与多个视点的视差正交的方向的坐标值彼此基本相等这一约束条件。
图7A是示出连接特征点和对应点的矢量及其矢量分量的示图。图7B是示出估计投影变换参数的估计方法的一个实施例的示图。图7C是示出比较示例的示图。
如图7A所示,连接特征点和对应点的矢量(图7A中的合成矢量VC)可以分成多个矢量分量。矢量分量表示导致特征点与对应点之间偏移的某种因素,并且包括“视差”和“除视差以外的诸如成像单元姿态中差异之类的其它因素”。在图7A中,矢量VP表示对应于视差的矢量分量,并且矢量V1表示对应于除视差以外的包括成像单元1至6姿态中的偏差的因素的矢量分量。从图7A可以理解,合成矢量VC的y分量不取决于对应于视差的矢量分量,而合成矢量VC的y分量仅取决于除了视差以外的因素。
如图7C所示,当通过校正矢量VA’(≈-VC)对目标图像IMG2进行投影变换从而特征点和对应点彼此基本相同时,投影变换后的图像中的合成矢量变为零。
因此,本公开的主题基于矢量VC的y分量估计并计算了与除视差以外的包括成像单元1至6的照相机姿态中的差异在内的因素相关的理想投影变换参数。如图7B所示,当对目标图像IMG2进行投影变换以便通过校正矢量VA(≈-V1)消去与除视差以外的因素有关的矢量分量时,在投影变换后的图像中的合成矢量仅包括关于视差的矢量分量VP。
<投影变换参数的处理流程>
图8至图10是示出用于估计投影变换参数的过程的一个实施例的流程图。
[步骤S100]
假设从基准图像IMG1提取的特征点与在目标图像IMG2中检测到并且对应于各特征点的对应点的所有对的数量为N,读取特征点的坐标(x,y)和对应点的坐标(X,Y)的N个对。同时,假设第i(1≤i≤N)对中的特征点的坐标为(xi,yi),并且其对应点的坐标为(Xi,Yi)。
[步骤S102]
由于当对应点检测部分32所获取的特征点与对应点的对的数量N很小时不能估计处投影变换参数,因此执行了对于对的数量N的阈值处理。
更具体地,提供了关于特征点与对应点的对的数量N的阈值TH1,并且执行如下确定处理。
如果N<TH1,则设置指示参数估计失败的标志,并且结束估计(图10中的步骤S124)。
否则,继续参数估计。
在该实施例中,为了估计投影变换参数,至少需要五对坐标值。因此,阈值TH1是至少为5的规定值。
[步骤S104]
将迭代次数“irand”和置信水平参数的最大值“n_vote_max”初始化(两者均设置为“0”)。
[步骤S106]
从N个特征点与对应点的对之中随机选择五对。可以使用随机数来执行这五对的随机选择。
[步骤S108]
基于在步骤S106中选择的五对特征点与对应点的坐标值(五个特征点的x和y坐标值以及五个对应点的y坐标值)来计算用于将五对特征点与对应点的y坐标彼此匹配的投影变换参数。
如上述方程[表达式1]所示,关于y方向的投影变换参数有五个,或者c、d、t、p和q。因此,可以通过解联立方程(其通过将五个点的坐标值代入方程[表达式1]而获得)来唯一地计算出这些参数(c、d、t、p和q)。
[步骤S110]
对所有点的对(N个对)都应用其中已经代入了上述计算出的参数(c、d、t、p和q)的投影变换方程[表达式1],并且对满足以下条件表达式的点的对的数量“n_vote”进行计数。
[表达式2]
其中yi′=(cxi+dyi+t)/(pxi+qyi+1),THY1是规定的常数(阈值)。
条件表达式1用于基于根据这五对点确定的投影变换参数来确定另一对点的y坐标值是否匹配。更具体地“n_vote”的值表示在N个矢量中有多少个矢量是水平的。“n_vote”越大,则投影变换参数的置信水平越高。下文将参数“n_vote”称为置信水平参数。
[步骤S112]
将步骤S110中计算出的置信水平参数“n_vote”与置信水平参数的最大值“n_vote_max”相比较(置信水平确定处理1)。当置信水平参数n_vote大于n_vote_max(n_vote>n_vote_max)时,转到步骤S114。当数n_vote等于或小于n_vote_max(n_vote≤n_vote_max)时,转到步骤S118。
[步骤S114]
将计算出的参数(c、d、t、p和q)临时存储为中间参数(c_tmp、d_tmp、t_tmp、p_tmp和q_tmp),并将n_vote临时存储为最大值n_vote_max。
当估计出投影参数时,步骤S106至S118的处理如下文所述迭代规定次数“nrand”。本实施例假设对应于最大n_vote的参数(c、d、t、p和q)具有最高置信水平。因此,通过之前的步骤S106至S120的计算(第(irand-1)次计算)而计算出的置信水平参数n_vote被存储为n_vote_max。当通过最后一次计算而计算出的置信水平参数n_vote大于之前的计算所计算出的被存储为n_vote_max的置信水平参数时,将上述参数(c_tmp、d_tmp、t_tmp、p_tmp和q_tmp)更新。
[步骤S116]
获取置信水平参数最大值n_vote_max与所有对的数量N的比值(n_vote_max/N),并且对上述比值执行阈值处理(置信水平确定处理2)。
更具体地,基于规定阈值TH2执行以下处理。
如果n_vote_max/N<TH2,则继续用于估计投影变换参数的处理。
否则,用于估计参数的处理的迭代结束,并且转到用于计算最终投影变换参数的步骤(图10中的步骤S126)。
上述阈值TH2可以设置为接近于“1”但小于“1”的值。
置信水平参数的最大值n_vote_max是N对点之中通过使用估计的投影变换参数来执行了投影变换以后其y坐标值基本上彼此相等的点的对的数量。因此,n_vote_max/N表示要被适当地校正的点的数量与所有点的对的数量N的比值。因此,当n_vote_max/N等于或大于TH2时,估计的投影变换参数足够可信,并且用于估计参数的处理的迭代完成。转到最终投影变换参数的计算步骤。另一方面,当n_vote_max/N小于TH2时,继续进行用于估计参数的处理的迭代。
[步骤S118]
确定迭代次数irand是否大于规定的次数nrand。当迭代次数irand小于或等于规定次数nrand时(“否”的情况),转到步骤S120。当迭代次数irand大于规定次数nrand时(“是”的情况),转到步骤S122。规定次数nrand取决于图像中特征点与对应点的对的数量N。规定次数nrand大约为1000至10000。
[步骤S120]
将迭代次数irand加一,并且转到步骤S106。
[步骤S122]
当迭代次数irand大于规定次数nrand时,获取在步骤S114中已经存储的置信水平参数的最大值(n_vote_max)与所有对的数量N的比值(n_vote_max/N),并且对该比值执行阈值处理(置信水平确定处理3)。
更具体地,使用规定阈值TH3执行以下处理。
如果n_vote_max/N<TH3,则设置指示投影变换参数估计失败的标志,并且估计的处理结束(图10中的步骤S124)。
否则,用于估计参数的处理的迭代结束,并且转到用于计算最终投影变换参数的步骤(图10中的步骤S126)。
不用说,阈值TH3小于步骤S114中的阈值TH2。
[步骤S124(图10)]
如上所述,当特征点与对应点的对的数量N小于阈值TH1时(步骤S102),或者当估计的参数的置信水平较低(n_vote_max/N<TH3)时,设置指示投影变换参数估计已经失败的估计失败标志,并且投影变换参数的估计结束。
[步骤S126]
将在步骤S114存储的中间参数(c_tmp、d_tmp、t_tmp、p_tmp和q_tmp)代入投影变换方程。将所有点的对(N个对)的坐标代入投影变换方程,并且仅保留满足以下条件表达式2的点的对(不满足条件表达式2的点对被排除)。
[表达式3]
其中yi′=(c_tmp×xi+d_tmp×yi+t_tmp)/(p_tmp×xi+q_tmp×yi+1),THY2是预定的常数(阈值)。
因此,只有置信水平高的特征点与对应点的对能够被保留。
[步骤S128]
借助最小二乘法,仅采用满足上述条件表达式2的点对来执行参数的最终估计。这里,假设满足条件表达式2的点的对的数量为“n”,通过最小二乘法来估计参数以使下面的表达式中的评价函数“J2”最小化。
[表达式4]
评价函数“J2”等于评价函数“J1”。
更具体地,如以下表达式所示,令通过将评价函数J2关于每个参数(c、d、t、p和q)求偏微分而获得的五个表达式的每一个为“0”,则通过对这五个表达式组成的联立方程求解来计算出参数(c、d、t、p和q)。
[表达式5]
通过解上面的联立方程计算出最终参数(c、d、t、p和q)。
[步骤S130]
接下来,确定八个投影变换参数(a、b、s、c、d、t、p和q)之中剩下的参数(a、b和s)。除了上述估计的参数(c、d、t、p和q)以外,还需要剩下的参数(a、b和s)来确定投影变换后的x坐标值。
这里,参数“s”对应于沿x方向(发生视差的方向)的偏移量。由于视差的量未知,并且不能唯一地确定“s”,因此令“s”为s=0。
另一方面,参数“a”和“b”的计算例如被执行如下。
这里,假设如图11所示的坐标系,假设图像平面PL1布置在与原点“O”相距距离“1”处,图像平面上的每个点均被投影在投影平面PL2上。换言之,点P1被移动到点P2。
这里,假设图像平面PL1和投影平面PL2之间的角度为“θ”,并且投影平面PL2在x’轴上。还假设投影平面与z轴(对应于图像深度维度的方向)之间的交点为O’,该交点被确定为x’轴上的原点。
假设P1的x坐标值是“x”,并且P2关于x’轴的x坐标值是x’,则得到如下表达式。
[表达式6]
为了使[表达式6]一般化,令投影平面PL2与x轴之间的角度为“θx”,并且投影平面PL2与y轴(图11中沿着垂直于纸张平面的方向的轴)之间的角度为“θy”,得到如下方程。
[表达式7]
在上述[表达式7]中,(x,y)表示图像平面PL1上的坐标值,而(x’,y’)表示投影平面PL2上的坐标值。参数“w”和“h”分别表示图像的宽度和高度,并关于图像的宽度和高度而被标准化。该操作对应于成像单元的光轴方向的调节。
接下来,投影到投影平面上的图像被旋转、尺寸改变和平移(平行地偏移)。该操作对应于成像单元的放大比的调节和成像单元的光轴的旋转。这里,假设旋转角度为θO,由于缩放导致的的尺寸改变比率为“k”,并且平移的量为(s’,t’),则得到如下表达式。
[表达式8]
X=kcosθO·x′ksinθO·y′+s′
Y=ksinθO·x′+ksinθO·y′+t′
当将方程[表达式7]代入方程[表达式8]时,得到如下方程。
[表达式9]
通过将上述方程与投影变换方程(方程[表达式1])比较,导出如下关系。
[表达式10]
由于在上面的方程[表达式10]中参数c、d、t、p和q是已知的,因此可以从这些表达式确定θx、θy、θO和k。而从θx、θy、θO和k则可以确定参数“a”和“b”,这里假设s=s′=0来确定“a”和“b”。
[步骤S132]
当根据上述过程完成了八个投影变换参数(a、b、s、c、d、t、p和q)的估计和计算时,设置估计成功标志,并且投影参数的估计完成。
在该实施例中,仅使用满足方程[表达式3]所示条件的点的对,并借助最小二乘法来估计最终参数。然而,并不限于此,所有中间参数都可以用来估计最终参数。
[其它点]
根据上面的估计方法,计算了用于对特征点进行投影变换的投影变换参数。获得的投影变换参数是用于变换基准图像的参数。本质上,要计算的参数是用于变换目标图像的参数。下面将说明不直接计算用于变换目标图像的参数的原因。
一般上,当变换并输出被输入的图像时,计算的是输出图像的每个像素位置处在输入图像上的何处。这是用于避免在计算输入图像的每个像素位置处在输出图像上的何处时会产生没有数据的区域的一种典型方法。换言之,变换目标图像所需的参数可以是用于在实际情况中变换特征点的参数。
尽管在该实施例中将投影变换用作对图像进行几何变换的方法,然而还可以使用诸如Helmert变换和仿射变换之类的几何变换。在该情况下,估计方法与投影变换情况的有所不同。例如,Helmert变换被表示如下:
[表达式11]
Helmert变换:X=ax-by+s
Y=bx+ay+t
在采用与用于估计投影变换参数的方法相同的方式中,其可应用于将采用五对特征点与对应点来确定Y的五个参数(c、d、t、p和q)的计算改成采用三对特征点与对应点来估计参数(a、b和t)来确定方程[表达式11]中的Y。如果以最小二乘法执行最终参数的估计,则可以适当地将评价函数J改成如下等式。
[表达式12]
在Helmert变换方程中,在用于确定X的参数中包括“a”和“b”。因此,如果估计了用于确定Y的参数,则也就估计了用于确定X的参数。参数“s”(其也是相对于X的平移分量)可以如投影变换中一样设s=0。当应用除投影变换或Helmert变换以外的几何变换时,也可以以类似方式来估计用于进行几何变换的参数。
本实施例的立体成像设备是包括六个成像单元的复眼照相机。本公开的主题的范围并不局限于该实施例。成像单元的数量可以等于或大于二。另外,本公开的主题的立体成像设备并不限于包括多个成像单元的复眼照相机。本公开的主题还可适用于包括不在一个主体上提供的多个单眼照相机的照相机***。
另外,根据本发明的立体图像处理不限于由立体成像设备来执行的情况。作为替代,可以通过不具有拍摄视差图像功能的个人计算机等来执行该处理。在该情况下,可以将传统复眼照相机等拍摄的多个图像(视差图像)输入个人计算机等中,并且可以在个人计算机等上执行该处理。可以将用于获取理想视差图像的几何变换功能提供为使得个人计算机执行上述处理的程序。
本公开的主题不限于上述实施例,并且可以在不脱离本公开主题的精神的情况下做出各种修改。
参考符号列表
1-6...成像单元;
10...立体成像设备;
12...中央处理单元(CPU);
20...主存储器;
22...数字信号处理部分;
28...外部记录部分;
30...显示部分;
32...对应点检测部分;
34...几何变换部分;以及
36...几何变换参数估计部分。
Claims (13)
1.一种立体图像处理装置,包括:
图像获取装置,用于获取从多个视点拍摄的同一对象的多个图像;
对应点检测装置,用于从获取的多个图像之中选择规定图像作为基准图像,从获取的多个图像之中选择除所述基准图像以外的图像作为目标图像,以及从所述基准图像检测多个特征点并从所述目标图像检测多个对应点以产生多个特征点与对应点的对,其中包括在同一对中的特征点与对应点的特征彼此基本相同;
参数估计装置,用于估计几何变换参数,所述几何变换参数用于对所述目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同,其中y方向与所述多个视点的视差方向正交;以及
图像变换装置,用于基于所估计的几何变换参数来对所述目标图像进行几何变换。
2.根据权利要求1的立体图像处理装置,其中所述参数估计装置至少基于所述对应点的x和y坐标值以及所述特征点的y坐标值来估计所述几何变换参数中的至少一些参数。
3.根据权利要求2的立体图像处理装置,其中所述参数估计装置基于所述一些参数来计算由所述参数估计装置估计的所述一些参数以外的参数。
4.根据权利要求2的立体图像处理装置,其中
所述几何变换参数是投影变换参数,以及
所述参数估计装置从多对特征点与对应点之中选择五对或更多对,并且基于所选每一对中的特征点与对应点的坐标值来对用于确定投影变换后的对应点的y坐标值的参数进行估计。
5.根据权利要求4的立体图像处理装置,其中所述参数估计装置基于用于确定投影变换后的对应点的y坐标值的参数来计算确定投影变换后的对应点的x坐标值所需的其它参数。
6.根据权利要求2的立体图像处理装置,其中
所述几何变换参数是Helmert变换参数,并且
所述参数估计装置从检测到的多对特征点与对应点之中选择三对或更多对,并基于所选每一对中的特征点与对应点的坐标值来估计Helmert变换参数。
7.一种立体图像处理方法,包括:
图像获取步骤,获取从多个视点拍摄的同一对象的多个图像;
对应点检测步骤,从获取的多个图像之中选择规定图像作为基准图像,从获取的多个图像之中选择除基准图像以外的图像作为目标图像,并且从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对,其中包括在同一对中的特征点与对应点的特征彼此基本相同;
参数估计步骤,估计几何变换参数,所述几何变换参数用于对所述目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同,其中y方向与所述多个视点的视差方向正交;以及
图像变换步骤,基于所估计的几何变换参数来对所述目标图像进行几何变换。
8.根据权利要求7的立体图像处理方法,其中,在所述参数估计步骤中,至少基于所述对应点的x和y坐标值以及所述特征点的y坐标值来估计所述几何变换参数中的至少一些参数。
9.根据权利要求8的立体图像处理方法,其中所述参数估计步骤包括:
第一步骤,从所述N对中随机地选择对用于确定变换后对应点的y坐标值的几何变换参数进行估计所需的特定数量的对,N为所述多个对的总数量;
第二步骤,基于在由所述第一步骤随机选择的每个对应点的坐标值的基础上估计的参数,针对所述N对中的每一对来计算变换后对应点的y坐标值;
第三步骤,针对所述N对中的每一对计算由所述第二步骤计算出的变换后对应点的y坐标值与所述特征点的y坐标值之间的差值;
第四步骤,对通过所述第三步骤计算出的差值小于预定第一阈值的特征点与对应点的对的数量进行计数;
第五步骤,基于所计的对的数量与N之间的比值来确定估计的参数的置信水平;以及
迭代步骤,其重复第一至第五步骤直到确定的置信水平达到预定置信水平,或者迭代次数达到预定迭代次数。
10.根据权利要求9的立体图像处理方法,其中所述参数估计步骤包括:
第六步骤,基于当确定的置信水平达到预定置信水平时估计的参数或者基于当置信水平在各次迭代的置信水平之中为最高时估计的参数,来针对所述N对中的每一对计算所述变换后对应点的y坐标值;
第七步骤,针对所述N对中的每一对来计算通过所述第六步骤计算出的所述变换后对应点的y坐标值与所述特征点的y坐标值之间的差值;
第八步骤,从所述N对中仅选择通过所述第七步骤计算出的差值小于预定第二阈值的特征点与对应点的对;以及
第九步骤,仅使用在所述第八步骤中选择的特征点与对应点的对来计算多个参数。
11.根据权利要求10的立体图像处理方法,其中,在所述第九步骤中,所述多个参数使得通过所述第八步骤选择的多个对中的所述变换后对应点的y坐标值与所述特征点的y坐标值之间的差值的平方和最小化。
12.一种计算机可读介质,包括使得计算机执行用于立体图像处理的过程的计算机程序,所述过程包括:
获取从多个视点拍摄的同一对象的多个图像;
从获取的多个图像之中选择规定图像作为基准图像,从获取的多个图像之中选择除基准图像以外的图像作为目标图像,并且从基准图像检测多个特征点并从目标图像检测多个对应点以产生多个特征点与对应点的对,其中包括在同一对中的特征点与对应点的特征彼此基本相同;
估计几何变换参数,几何变换参数用于对目标图像进行几何变换以使得包括在同一对中的特征点与对应点的y坐标值彼此基本相同,其中y方向与多个视点的视差方向正交;以及
基于估计的几何变换参数来对目标图像进行几何变换。
13.一种立体成像设备,包括:
根据权利要求1的立体图像处理装置;以及
多个成像单元,其分别布置在沿着视差方向的多个视点处,并且从其视点拍摄同一对象的图像,其中
所述图像获取装置分别获取由所述多个成像单元拍摄的多个图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-303227 | 2008-11-27 | ||
JP2008303227A JP4852591B2 (ja) | 2008-11-27 | 2008-11-27 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
PCT/JP2009/070207 WO2010061956A1 (en) | 2008-11-27 | 2009-11-25 | Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102227746A true CN102227746A (zh) | 2011-10-26 |
CN102227746B CN102227746B (zh) | 2014-08-06 |
Family
ID=42225818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980147730.1A Expired - Fee Related CN102227746B (zh) | 2008-11-27 | 2009-11-25 | 立体图像处理装置、方法和立体成像设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8111910B2 (zh) |
EP (1) | EP2350973A4 (zh) |
JP (1) | JP4852591B2 (zh) |
KR (1) | KR20110102313A (zh) |
CN (1) | CN102227746B (zh) |
BR (1) | BRPI0922834A2 (zh) |
WO (1) | WO2010061956A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015000441A1 (en) * | 2013-07-05 | 2015-01-08 | Mediatek Inc. | On-line stereo camera calibration device and method for generating stereo camera parameters |
CN109523459A (zh) * | 2017-09-19 | 2019-03-26 | 通用电气公司 | 用于重建图像的方法和*** |
CN109671291A (zh) * | 2018-11-21 | 2019-04-23 | 梁宋静怡 | 一种基于智能传感器的全景监控方法 |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4915859B2 (ja) * | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
US8774547B2 (en) * | 2007-09-19 | 2014-07-08 | Panasonic Corporation | Contour correcting device, contour correcting method and video display device |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
WO2012039043A1 (ja) * | 2010-09-22 | 2012-03-29 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
JP5742179B2 (ja) * | 2010-11-05 | 2015-07-01 | ソニー株式会社 | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
JP5682291B2 (ja) * | 2010-12-20 | 2015-03-11 | ソニー株式会社 | 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 |
US9070042B2 (en) * | 2011-01-13 | 2015-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, image processing method, and program thereof |
JP5625976B2 (ja) * | 2011-02-09 | 2014-11-19 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにプログラム |
JP2012234258A (ja) * | 2011-04-28 | 2012-11-29 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
JP5931062B2 (ja) * | 2011-06-21 | 2016-06-08 | シャープ株式会社 | 立体画像処理装置、立体画像処理方法、及びプログラム |
US20130016186A1 (en) * | 2011-07-13 | 2013-01-17 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
IN2014CN02708A (zh) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
JP5412692B2 (ja) * | 2011-10-04 | 2014-02-12 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
WO2013054499A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
WO2014005123A1 (en) | 2012-06-28 | 2014-01-03 | Pelican Imaging Corporation | Systems and methods for detecting defective camera arrays, optic arrays, and sensors |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
US8619082B1 (en) | 2012-08-21 | 2013-12-31 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation |
US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
EP2757524B1 (en) * | 2013-01-16 | 2018-12-19 | Honda Research Institute Europe GmbH | Depth sensing method and system for autonomous vehicles |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9124831B2 (en) | 2013-03-13 | 2015-09-01 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9438888B2 (en) | 2013-03-15 | 2016-09-06 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
JP6097951B2 (ja) * | 2013-08-22 | 2017-03-22 | 富士フイルム株式会社 | 幹細胞分化判定装置および方法並びにプログラム |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
JP6349817B2 (ja) * | 2014-03-19 | 2018-07-04 | 富士通株式会社 | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
KR102077260B1 (ko) * | 2014-08-08 | 2020-02-13 | 삼성전자주식회사 | 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치 |
JP2017531976A (ja) | 2014-09-29 | 2017-10-26 | フォトネイション ケイマン リミテッド | アレイカメラを動的に較正するためのシステム及び方法 |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
JP6602743B2 (ja) * | 2016-12-08 | 2019-11-06 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
KR102055777B1 (ko) * | 2018-02-27 | 2019-12-13 | 포디리플레이코리아 주식회사 | 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 처리 방법 |
JP7493302B2 (ja) * | 2018-10-02 | 2024-05-31 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
DE112020004391T5 (de) | 2019-09-17 | 2022-06-02 | Boston Polarimetrics, Inc. | Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen |
MX2022004163A (es) | 2019-10-07 | 2022-07-19 | Boston Polarimetrics Inc | Sistemas y metodos para la deteccion de estandares de superficie con polarizacion. |
CN114787648B (zh) | 2019-11-30 | 2023-11-10 | 波士顿偏振测定公司 | 用于使用偏振提示进行透明对象分段的***和方法 |
US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
CN115428028A (zh) | 2020-01-30 | 2022-12-02 | 因思创新有限责任公司 | 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的***和方法 |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1235439A2 (en) * | 2001-02-23 | 2002-08-28 | Sharp Kabushiki Kaisha | Method and apparatus for transforming stereoscopic images |
US20060152584A1 (en) * | 2005-01-11 | 2006-07-13 | Chao-Ming Wang | Method for calculating a transform coordinate on a second video of an object having a target coordinate on a first video and related operation process and video surveillance system |
EP1736928A1 (en) * | 2005-06-20 | 2006-12-27 | Mitsubishi Electric Information Technology Centre Europe B.V. | Robust image registration |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07294215A (ja) | 1994-04-25 | 1995-11-10 | Canon Inc | 画像処理方法及び装置 |
EP1097432A1 (en) | 1998-07-20 | 2001-05-09 | Geometrix, Inc. | Automated 3d scene scanning from motion images |
JP3261115B2 (ja) * | 1999-09-22 | 2002-02-25 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP4065488B2 (ja) * | 2001-12-14 | 2008-03-26 | キヤノン株式会社 | 3次元画像生成装置、3次元画像生成方法及び記憶媒体 |
JP4004899B2 (ja) * | 2002-09-02 | 2007-11-07 | ファナック株式会社 | 物品の位置姿勢検出装置及び物品取出し装置 |
JP2006157432A (ja) | 2004-11-29 | 2006-06-15 | Fuji Photo Film Co Ltd | 立体画像撮影装置及び立体画像の撮影方法 |
JP4617965B2 (ja) * | 2005-03-31 | 2011-01-26 | ソニー株式会社 | 画像処理方法、その装置およびプログラム |
US20070165942A1 (en) * | 2006-01-18 | 2007-07-19 | Eastman Kodak Company | Method for rectifying stereoscopic display systems |
-
2008
- 2008-11-27 JP JP2008303227A patent/JP4852591B2/ja not_active Expired - Fee Related
-
2009
- 2009-11-25 KR KR1020117012071A patent/KR20110102313A/ko active IP Right Grant
- 2009-11-25 WO PCT/JP2009/070207 patent/WO2010061956A1/en active Application Filing
- 2009-11-25 EP EP09829194A patent/EP2350973A4/en not_active Ceased
- 2009-11-25 BR BRPI0922834A patent/BRPI0922834A2/pt not_active IP Right Cessation
- 2009-11-25 US US13/131,496 patent/US8111910B2/en not_active Expired - Fee Related
- 2009-11-25 CN CN200980147730.1A patent/CN102227746B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1235439A2 (en) * | 2001-02-23 | 2002-08-28 | Sharp Kabushiki Kaisha | Method and apparatus for transforming stereoscopic images |
US20060152584A1 (en) * | 2005-01-11 | 2006-07-13 | Chao-Ming Wang | Method for calculating a transform coordinate on a second video of an object having a target coordinate on a first video and related operation process and video surveillance system |
EP1736928A1 (en) * | 2005-06-20 | 2006-12-27 | Mitsubishi Electric Information Technology Centre Europe B.V. | Robust image registration |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015000441A1 (en) * | 2013-07-05 | 2015-01-08 | Mediatek Inc. | On-line stereo camera calibration device and method for generating stereo camera parameters |
CN105556960A (zh) * | 2013-07-05 | 2016-05-04 | 联发科技股份有限公司 | 主动式立体摄影校正装置以及产生立体摄影参数的方法 |
CN105556960B (zh) * | 2013-07-05 | 2018-03-06 | 联发科技股份有限公司 | 主动式立体摄影校正装置以及产生立体摄影参数的方法 |
US9955142B2 (en) | 2013-07-05 | 2018-04-24 | Mediatek Inc. | On-line stereo camera calibration device and method for generating stereo camera parameters |
US10033989B2 (en) | 2013-07-05 | 2018-07-24 | Mediatek Inc. | Synchronization controller for multi-sensor camera device and related synchronization method |
CN109523459A (zh) * | 2017-09-19 | 2019-03-26 | 通用电气公司 | 用于重建图像的方法和*** |
CN109523459B (zh) * | 2017-09-19 | 2024-04-23 | 通用电气公司 | 用于重建图像的方法和*** |
CN109671291A (zh) * | 2018-11-21 | 2019-04-23 | 梁宋静怡 | 一种基于智能传感器的全景监控方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20110102313A (ko) | 2011-09-16 |
EP2350973A1 (en) | 2011-08-03 |
JP2010128820A (ja) | 2010-06-10 |
EP2350973A4 (en) | 2012-04-04 |
JP4852591B2 (ja) | 2012-01-11 |
US8111910B2 (en) | 2012-02-07 |
BRPI0922834A2 (pt) | 2015-12-29 |
US20110235899A1 (en) | 2011-09-29 |
CN102227746B (zh) | 2014-08-06 |
WO2010061956A1 (en) | 2010-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
CN103828361B (zh) | 图像处理装置、方法,立体图像获取装置,便携式电子设备,打印机和立体图像播放器装置 | |
KR101657039B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 | |
US9712755B2 (en) | Information processing method, apparatus, and program for correcting light field data | |
US9374571B2 (en) | Image processing device, imaging device, and image processing method | |
JP6585006B2 (ja) | 撮影装置および車両 | |
US8199202B2 (en) | Image processing device, storage medium storing image processing program, and image pickup apparatus | |
US20110025830A1 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
CN108462830A (zh) | 摄像装置及摄像装置的控制方法 | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
JP6034197B2 (ja) | 画像処理装置、3次元撮像装置、画像処理方法、および画像処理プログラム | |
JP2013123123A (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
CN114424516A (zh) | 图像处理装置、图像处理方法、摄像装置和程序 | |
CN103888663A (zh) | 图像处理设备、图像拾取设备和图像处理方法 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP5796611B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
JP2005258953A (ja) | 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法 | |
JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP6079838B2 (ja) | 画像処理装置、プログラム、画像処理方法および撮像システム | |
JP6648916B2 (ja) | 撮像装置 | |
JP6762779B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP7458723B2 (ja) | 画像処理装置、撮像装置、制御方法、およびプログラム | |
JP2000172846A (ja) | 画像処理装置 | |
JP2012022716A (ja) | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140806 Termination date: 20181125 |
|
CF01 | Termination of patent right due to non-payment of annual fee |