CN102905147A - 立体图像校正方法及装置 - Google Patents

立体图像校正方法及装置 Download PDF

Info

Publication number
CN102905147A
CN102905147A CN2012103205396A CN201210320539A CN102905147A CN 102905147 A CN102905147 A CN 102905147A CN 2012103205396 A CN2012103205396 A CN 2012103205396A CN 201210320539 A CN201210320539 A CN 201210320539A CN 102905147 A CN102905147 A CN 102905147A
Authority
CN
China
Prior art keywords
point
correction
matrix
ofast
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103205396A
Other languages
English (en)
Inventor
姚华
钟雄光
彭超建
何光彩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI STEREOSCOPIC DIGITAL TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
SHANGHAI STEREOSCOPIC DIGITAL TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI STEREOSCOPIC DIGITAL TECHNOLOGY DEVELOPMENT Co Ltd filed Critical SHANGHAI STEREOSCOPIC DIGITAL TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN2012103205396A priority Critical patent/CN102905147A/zh
Publication of CN102905147A publication Critical patent/CN102905147A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种立体图像校正方法及装置，属于立体（3D）图像显示技术领域。该立体图像校正方法包括：获取步骤：获取原始立体图像对；校正参数提取步骤：在所述原始立体图像对中寻找匹配点对形成匹配点对集，并提取校正参数；校正步骤：至少根据所述校正参数以及景深调整参数生成校正矩阵、并基于该校正矩阵对所述原始立体图像对进行校正以消除垂直视差；反馈步骤：根据立体图像显示的出屏程度/入屏程度反馈输出所述景深调整参数。该校正方法可以消除垂直视差、并且3D图像显示的出屏和入屏程度可调整，观看者的立体图像观赏体验更佳。

Description

立体图像校正方法及装置
技术领域
本发明属于立体（3D）图像显示技术领域，涉及立体图像校正方法方法及装置。
背景技术
立体（3D）图像显示装置中设置有单个或多个摄像头，例如，设置双摄像头拍摄模块，其中的两个摄像头与左右人眼方向平行设置，左摄像头用于拍摄获取左视图，右摄像头用于拍摄获取右视图，二者形成原始立体图像对。该图像对经过立体图像显示装置进一步3D处理后形成相对观看者具有良好立体显示效果的3D图像。或通过单摄像头先拍摄左视图，然后通过辅助装置或辅助程序拍摄右视图，所获得的图像对经立体图像显示装置进一步3D处理后形成相对观看者具有立体显示效果的3D图像。
在以上的3D处理过程中，通常包括对该原始立体图像对的校正处理过程，以提高3D图像显示效果，一直以来，校正处理过程得到不断改进以追求更佳的3D图像显示效果。
发明内容
本发明的目的之一在于，获取更好的3D图像显示效果。
本发明的又一目的在于，消除3D图像显示时的垂直视差。
本发明的还一目的在于，提出一种适用于运行处理能力相对低、内存容量相对小的终端中使用的立体图像校正方法。
为实现以上目的或者其他目的，本发明提供以下技术方案。
按照本发明的一方面，提供一种立体图像校正方法，其包括：
获取步骤：获取原始立体图像对；
校正参数提取步骤：在所述原始立体图像对中寻找匹配点对形成匹配点对集，并提取校正参数；
校正步骤：至少根据所述校正参数以及景深调整参数生成校正矩阵、并基于该校正矩阵对所述原始立体图像对进行校正以消除垂直视差；以及
反馈步骤：根据立体图像显示的出屏程度/入屏程度反馈输出所述景深调整参数；
其中，所述反馈步骤所输出的景深调整参数在所述校正步骤中被使用。
在该校正方法中，观看者可以应用反馈模块反馈景深调整参数，进而可以结合景深调整参数对原始立体图像对进行校正，不但可以消除垂直视差，还可以根据观看者的观看体验要求来重新校正，从而调整3D图像显示的出屏和入屏程度，观看者的立体图像显示体验更佳。
按照本发明一实施例的立体图像校正方法，其中，所述反馈步骤中，还包括：
判断步骤：根据立体图像显示体验判断是否需要重新校正，如果判断为“是”，进入所述校正参数提取步骤，如果判断为“否”，进入所述校正步骤。
具体地，所述获取步骤中，所述原始立体图像对由左摄像头和右摄像头对同一场景分别拍摄的左视图和右视图组成。
按照本发明又一实施例的立体图像校正方法，其中，所述校正参数提取步骤包括：
角点提取步骤：从所述原始立体图像对的视图中提取出亮度变化相对剧烈且相对易于识别的角点；
角点匹配步骤：对各个所述角点分别提取具有鲁棒特性的特征描述子，并根据所述特征描述子对角点进行匹配以形成初始匹配点对集；
误匹配剔除步骤：利用鲁棒模型估计方法剔除所述初始匹配点对集中存在的误匹配点对以形成相对稳定可靠的第二内点集；以及
校正参数优化步骤：将基础矩阵参数化，并基于该参数化的基础矩阵对所述第二内点集中的匹配点对建立误差方程，利用非线性最小二乘法对校正参数进行优化以获取校正参数的优值。
在该实施例的立体图像校正方法中，经过误匹配剔除步骤、校正参数优化步骤可以使校正参数更准确可靠。
进一步，优选地，所述角点提取步骤中，采用OFAST角点检测方法提取OFAST角点；
其中，所述OFAST角点检测方法包括OFAST角点判定步骤和OFAST角点主方向提取步骤。
进一步，优选地，所述OFAST角点判定步骤中，针对被检测的某一点p，以点p为圆心、半径为r画Bresenham（布雷森汉姆）圆，如果Bresenham圆上的连续n个点的灰度值同时大于                                               或同时小于
Figure 149531DEST_PATH_IMAGE002
，则判定该点p为OFAST检测点，其中，I(p)表示p点的灰度值，
Figure 449932DEST_PATH_IMAGE003
表示灰度阈值，n的取值范围为 [
Figure 375162DEST_PATH_IMAGE004
，
Figure 599470DEST_PATH_IMAGE005
]；
所述OFAST角点主方向提取步骤中，对于被判定的OFAST角点，对Bresenham圆上的点进行标号时，圆心正上方的点标号1，并按照顺时针方向依次对其他点进行标号，所述n个连续点中的两个端点的标号按顺时针方向分别记为a、b，OFAST角点主方向通过以下关系式（1）确定，
Figure 864229DEST_PATH_IMAGE006
其中，
Figure 883001DEST_PATH_IMAGE007
为OFAST角点主方向，
Figure 295528DEST_PATH_IMAGE008
为半径为r的所述Bresenham圆所包含的点数。该实施例的角点提取方法无须额外的信息就能够判定角点的同时，为角点提取出主方向，主方向可以在其后的校正过程中被利用以减小较少的运算量。
进一步，优选地，所述角点匹配步骤中，采用OBRIEF特征描述子并基于该OBRIEF特征描述子进行匹配。
在一优选实例中，所述角点匹配步骤包括步骤：
生成标准采样图案；
对角点构建所述OBRIEF特征描述子；以及
利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配，形成匹配点对。
在又一优选实例中，所述角点匹配步骤包括：
生成标准采样图案步骤：通过在以点（0，0）为中心、大小为的正方形框中，按均匀分布
Figure 187665DEST_PATH_IMAGE010
或高斯分布
Figure 642918DEST_PATH_IMAGE011
随机抽取
Figure 277161DEST_PATH_IMAGE012
组点对（
Figure 780955DEST_PATH_IMAGE013
，），每组点对（
Figure 708777DEST_PATH_IMAGE013
，
Figure 830316DEST_PATH_IMAGE014
）中的采样点
Figure 387069DEST_PATH_IMAGE013
和
Figure 543243DEST_PATH_IMAGE014
直线连接形成线段以生成所述标准采样图案，其中，
Figure 340298DEST_PATH_IMAGE013
和
Figure 949134DEST_PATH_IMAGE014
为第i组点对中的两个采样点，1≤i≤
Figure 794730DEST_PATH_IMAGE012
，所述正方形框的边长S的取值范围为[2r+1， 12r+6]，r为所述OFAST角点检测方法过程中所使用的Bresenham圆的半径，取区间[，
Figure 557915DEST_PATH_IMAGE016
]内的偶数；
对OFAST角点构建OBRIEF特征描述子步骤：根据所述OFAST角点主方向
Figure 269519DEST_PATH_IMAGE007
，对所述标准采样图案进行旋转，然后比较旋转后的标准采样图案中每组点对中的两个采样点处的灰度值大小，以构建二进制的OBRIEF特征描述子；
匹配点对形成步骤：利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配，形成匹配点对。
进一步，优选地，在所述构建OBRIEF特征描述子步骤中，某一OFAST角点p的OBRIEF特征描述子
Figure 134707DEST_PATH_IMAGE017
通过以下关系式（2）构建：
Figure 273564DEST_PATH_IMAGE018
      
其中，
Figure 794675DEST_PATH_IMAGE007
为该OFAST角点p的主方向，
Figure 309970DEST_PATH_IMAGE012
为所述标准采样图案中的点对数；
Figure 29665DEST_PATH_IMAGE013
、
Figure 339423DEST_PATH_IMAGE014
为所述标准采样图案中的点对，t为量化阈值，其取值范围[2，64]；
Figure 597098DEST_PATH_IMAGE019
表示二进制数；
Figure 650505DEST_PATH_IMAGE020
表示2维旋转矩阵，
Figure 490285DEST_PATH_IMAGE021
表示点
Figure 908628DEST_PATH_IMAGE022
处的灰度值，
Figure 466648DEST_PATH_IMAGE023
表示点处的灰度值。
在之前所述任意实例或实施例的校正方法中，优选地，在角点进行匹配过程中，对于OFAST角点和
Figure 358009DEST_PATH_IMAGE026
，两者的相似性通过以下关系式（3）计算：
     
其中，
Figure 532955DEST_PATH_IMAGE025
为左视图的OFAST角点，为右视图的OFAST角点，XOR代表按位异或操作，bitcount表示统计二进制数中1的数目，Dist（p L , p R ）表示OFAST角点
Figure 107473DEST_PATH_IMAGE025
和
Figure 374507DEST_PATH_IMAGE026
之间的相似性。
在之前所述任意实例或实施例的校正方法中，针对左视图的OFAST角点
Figure 573407DEST_PATH_IMAGE025
，遍历右视图中所有的OFAST角点，找到令关系式（3）。取值最小的点作为OFAST角点的匹配点，从而形成所述匹配点对。
以上实例中，采用OFAST角点检测和二进制的OBRIEF特征描述子，大量运算主要为按位操作和比较运算，因此运算量和存储消耗都很小。
在之前所述任意实例或实施例的校正方法中，这为进一步减小运算量，优选地，所述校正参数优化步骤中，按照以下关系式（4），将所述基础矩阵用参数
Figure 422600DEST_PATH_IMAGE028
进行参数化，
Figure 2012103205396100002DEST_PATH_IMAGE029
     
其中，
Figure 176929DEST_PATH_IMAGE030
为3维矢量确定的反对称矩阵，其通过以下关系式（5）得出：
Figure 375009DEST_PATH_IMAGE032
     
其中，为基础矩阵，为3维旋转矩阵，θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure 2012103205396100002DEST_PATH_IMAGE035
表示用于拍摄所述原始立体图像对的右视图的右摄像头相对用于拍摄所述原始立体图像对的左视图的左摄像头的偏移方向，
Figure 10018DEST_PATH_IMAGE036
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
Figure 591172DEST_PATH_IMAGE037
、
Figure 926339DEST_PATH_IMAGE038
分别为以像素为单位的左视图的宽度和高度，
Figure 655260DEST_PATH_IMAGE039
、
Figure 734075DEST_PATH_IMAGE040
分别为以像素为单位的右视图的宽度和高度；
Figure 419003DEST_PATH_IMAGE041
和
Figure 190650DEST_PATH_IMAGE042
分别为左摄像头、右摄像头的以像素为单位的焦距。
在之前所述任意实例或实施例的校正方法中，优选地，所述误差方程为：
Figure 141288DEST_PATH_IMAGE043
     
其中，为基础矩阵，
Figure 313961DEST_PATH_IMAGE044
为矩阵
Figure 256509DEST_PATH_IMAGE033
的转置，所述第二内点集中的匹配点对中左视图对应的点，
Figure 115061DEST_PATH_IMAGE013
所述第二内点集中的匹配点对中右视图对应的点，Error表示校正误差；
其中，基础矩阵
Figure 270186DEST_PATH_IMAGE033
所包含的参数
Figure 383636DEST_PATH_IMAGE028
的初始值取
Figure 308867DEST_PATH_IMAGE046
。
按照本发明还一实施例的立体图像校正方法，其中，所述校正步骤包括：
校正矩阵构建步骤：利用校正参数构建校正矩阵；
校正矩阵微调步骤：至少结合所述景深调整参数对所述校正矩阵进行微调；以及
立体图像裁剪步骤：利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
按照本发明再一实施例的立体图像校正方法，其中，所述校正步骤包括：
校正矩阵构建步骤：利用校正参数构建校正矩阵；
校正矩阵微调步骤：至少结合所述景深调整参数和所述第二内点集对所述校正矩阵进行微调；以及
立体图像裁剪步骤：利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
在之前所述任意实施例的立体图像校正方法中，优选地，基于以下关系式（7）构建所述校正矩阵：
Figure 470858DEST_PATH_IMAGE047
     
    其中，
Figure 532355DEST_PATH_IMAGE048
为所述原始立体图像对的左视图对应的校正矩阵，为所述原始立体图像对的右视图对应的校正矩阵；K N 为校正后摄像头的内参数矩阵，KL(f L )为校正前左摄像头的内参数矩阵，KR(f R )为校正前右摄像头的内参数矩阵；
Figure 229232DEST_PATH_IMAGE041
和分别为用于拍摄所述左视图的左摄像头、用于拍摄所述右视图的右摄像头的以像素为单位的焦距；θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure 625764DEST_PATH_IMAGE036
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
其中，KL(f L )和KR(f R )通过以下关系式计算：
Figure 815437DEST_PATH_IMAGE050
     
其中，
Figure 652943DEST_PATH_IMAGE037
、
Figure 219054DEST_PATH_IMAGE038
分别为以像素为单位的左视图的宽度和高度，
Figure 520722DEST_PATH_IMAGE039
、
Figure 881296DEST_PATH_IMAGE040
分别为以像素为单位的右视图的宽度和高度；
其中，R为旋转矩阵，R L 为校正过程中左摄像头的旋转矩阵，R R 为校正过程中右摄像头的旋转矩阵。
进一步，优选地，所述微调后的校正矩阵通过以下关系式（8）计算：
                       
Figure 956831DEST_PATH_IMAGE051
     
其中，
Figure 326632DEST_PATH_IMAGE048
为左视图对应的校正矩阵，
Figure 217228DEST_PATH_IMAGE049
为右视图对应的校正矩阵，为所述景深调整参数，M L （
Figure 560802DEST_PATH_IMAGE052
）表示左视图对应的景深调整矩阵，M R （
Figure 734294DEST_PATH_IMAGE052
）表示右视图对应的景深调整矩阵；
Figure 744975DEST_PATH_IMAGE053
为垂直方向上的调整量，
Figure 899882DEST_PATH_IMAGE054
为水平方向上的调整量。
在之前所述任意实施例的立体图像校正方法中，优选地，所述立体图像裁剪步骤包括步骤：
分别获取原始立体图像对的校正后的左视图和校正后的右视图的可裁剪区域；
获取校正后的左视图与校正后的右视图之间的最大公共裁剪区域；以及
利用原始立体图像对的灰度值相应地填充校正后的最大公共裁剪区域中的左视图和右视图。
按照本发明的又一方面，提供一种立体图像校正装置，其包括：
获取模块，其用于获取原始立体图像对；
校正参数提取模块，其用于在所述原始立体图像对中寻找匹配点对形成匹配点对集，并提取校正参数；
校正模块，其用于至少根据所述校正参数以及景深调整参数生成校正矩阵、并基于该校正矩阵对所述原始立体图像对进行校正以消除垂直视差；以及
反馈模块，其用于根据立体图像显示的出屏程度/入屏程度反馈输出所述景深调整参数；
其中，所述反馈模块所输出的景深调整参数输出至所述校正模块。
按照本发明一实施例的立体图像校正装置，其中，还包括：
判断模块，其用于根据立体图像显示体验判断是否需要重新校正。
具体地，所述获取模块获取的所述原始立体图像对是由左摄像头和右摄像头对同一场景分别拍摄的左视图和右视图组成。
按照本发明又一实施例的立体图像校正装置，其中，所述校正参数提取模块包括：
角点提取单元，其用于从所述原始立体图像对的视图中提取出亮度变化相对剧烈且相对易于识别的角点；
角点匹配单元，其用于对各个所述角点分别提取具有鲁棒特性的特征描述子，并根据所述特征描述子对角点进行匹配以形成初始匹配点对集；
误匹配剔除单元，其用于利用鲁棒模型估计方法剔除所述初始匹配点对集中存在的误匹配点对以形成相对稳定可靠的第二内点集；以及
校正参数优化单元，其用于将基础矩阵参数化，并基于该参数化的基础矩阵对所述第二内点集中的匹配点对建立误差方程，利用非线性最小二乘法对校正参数进行优化以获取校正参数的优值。
进一步，优选地，所述角点提取单元采用OFAST角点检测部件提取OFAST角点；
其中，所述OFAST角点检测部件包括OFAST角点判定子模块和OFAST角点主方向提取子模块。
进一步，优选地，所述OFAST角点判定子模块中，针对被检测的某一点p，以点p为圆心、半径为r画Bresenham圆，如果Bresenham圆上的连续n个点的灰度值同时大于
Figure 996014DEST_PATH_IMAGE055
或同时小于
Figure 707618DEST_PATH_IMAGE056
，则判定该点p为OFAST检测点，其中，I(p)表示p点的灰度值，
Figure 572806DEST_PATH_IMAGE003
表示灰度阈值，n的取值范围为 [，
Figure 232774DEST_PATH_IMAGE005
]；
所述OFAST角点主方向提取子模块中，对于被判定的OFAST角点，对所述Bresenham圆上的点进行标号时，圆心正上方的点标号1，并按照顺时针方向依次对其他点进行标号，所述n个连续点中的两个端点的标号按顺时针方向分别记为a、b，OFAST角点主方向通过以下关系式（1）确定，
Figure 482490DEST_PATH_IMAGE006
其中，
Figure 467764DEST_PATH_IMAGE007
为OFAST角点主方向，
Figure 465938DEST_PATH_IMAGE008
为半径为r的所述Bresenham圆所包含的点数。
进一步，优选地，所述角点匹配单元采用OBRIEF特征描述子并基于该OBRIEF特征描述子进行匹配。
在一优选实例中，所述角点匹配单元包括：
生成标准采样图案的部件；
对角点构建所述OBRIEF特征描述子的部件；以及
利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配、形成匹配点对的部件。
在又一优选实例中，所述角点匹配单元包括：
生成标准采样图案部件：通过在以点（0，0）为中心、大小为
Figure 536662DEST_PATH_IMAGE009
的正方形框中，按均匀分布
Figure 590069DEST_PATH_IMAGE010
或高斯分布随机抽取
Figure 848192DEST_PATH_IMAGE012
组点对（
Figure 140633DEST_PATH_IMAGE013
，
Figure 997730DEST_PATH_IMAGE014
），每组点对（，
Figure 530529DEST_PATH_IMAGE014
）中的采样点
Figure 575845DEST_PATH_IMAGE013
和
Figure 971054DEST_PATH_IMAGE014
直线连接形成线段以生成所述标准采样图案，其中，
Figure 457530DEST_PATH_IMAGE013
和
Figure 545572DEST_PATH_IMAGE014
为第i组点对中的两个采样点，1≤i≤
Figure 812605DEST_PATH_IMAGE012
，所述正方形框的边长S的取值范围为[2r+1， 12r+6]，r为所述OFAST角点检测方法过程中所使用的Bresenham圆的半径，
Figure 11506DEST_PATH_IMAGE012
取区间[
Figure 103221DEST_PATH_IMAGE015
，
Figure 362164DEST_PATH_IMAGE016
]内的偶数；
构建OBRIEF特征描述子部件：根据所述OFAST角点主方向α，对所述标准采样图案进行旋转，然后比较旋转后的标准采样图案中每组点对中的两个采样点处的灰度值大小，以构建二进制的OBRIEF特征描述子；
匹配点对形成部件：利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配，形成匹配点对。
进一步，优选地，在所述构建OBRIEF特征描述子部件中，某一OFAST角点p的OBRIEF特征描述子
Figure 116493DEST_PATH_IMAGE017
通过以下关系式（2）构建：
Figure 791188DEST_PATH_IMAGE018
      
其中，为该OFAST角点p的主方向，
Figure 744418DEST_PATH_IMAGE012
为所述标准采样图案中的点对数；
Figure 720464DEST_PATH_IMAGE057
、
Figure 385800DEST_PATH_IMAGE058
为所述标准采样图案中的点对，t为量化阈值，其取值范围[2，64]；
Figure 29271DEST_PATH_IMAGE019
表示二进制数；
Figure 364438DEST_PATH_IMAGE020
表示2维旋转矩阵，
Figure 93359DEST_PATH_IMAGE021
表示点
Figure 878167DEST_PATH_IMAGE022
处的灰度值，
Figure 376145DEST_PATH_IMAGE023
表示点
Figure 882213DEST_PATH_IMAGE024
处的灰度值。
在之前所述任意实例或实施例的校正装置中，优选地，在所述匹配点对形成部件中，对于OFAST角点
Figure 36113DEST_PATH_IMAGE025
和
Figure 918619DEST_PATH_IMAGE026
，两者的相似性通过以下关系式（3）计算：
 
Figure 271103DEST_PATH_IMAGE059
    
其中，
Figure 213651DEST_PATH_IMAGE025
为左视图的OFAST角点，
Figure 838536DEST_PATH_IMAGE026
为右视图的OFAST角点，XOR代表按位异或操作，bitcount表示统计二进制数中1的数目，Dist（p L , p R ）表示OFAST角点
Figure 259153DEST_PATH_IMAGE025
和之间的相似性。
在之前所述任意实例或实施例的校正装置中，优选地，所述校正参数优化单元中，执行以下关系式（4）将所述基础矩阵用参数进行参数化，
     
其中，
Figure 666815DEST_PATH_IMAGE030
为3维矢量确定的反对称矩阵，其通过以下关系式（5）得出：
Figure 966657DEST_PATH_IMAGE060
     
其中，为基础矩阵，
Figure 141604DEST_PATH_IMAGE034
为3维旋转矩阵，θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure 260869DEST_PATH_IMAGE061
表示用于拍摄所述原始立体图像对的右视图的右摄像头相对用于拍摄所述原始立体图像对的左视图的左摄像头的偏移方向，
Figure 716122DEST_PATH_IMAGE036
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
Figure 615944DEST_PATH_IMAGE037
、
Figure 182055DEST_PATH_IMAGE038
分别为以像素为单位的左视图的宽度和高度，
Figure 405095DEST_PATH_IMAGE039
、
Figure 31248DEST_PATH_IMAGE040
分别为以像素为单位的右视图的宽度和高度；
Figure 418367DEST_PATH_IMAGE041
和
Figure 522589DEST_PATH_IMAGE042
分别为左摄像头、右摄像头的以像素为单位的焦距。
在之前所述任意实例或实施例的校正方法中，优选地，所述误差方程为：
Figure 616447DEST_PATH_IMAGE062
     
其中，
Figure 413502DEST_PATH_IMAGE033
为基础矩阵，
Figure 22338DEST_PATH_IMAGE044
为矩阵
Figure 195830DEST_PATH_IMAGE033
的转置，所述第二内点集中的匹配点对中左视图对应的点，
Figure 862883DEST_PATH_IMAGE013
所述第二内点集中的匹配点对中右视图对应的点，Error表示校正误差；
其中，基础矩阵所包含的参数
Figure 342723DEST_PATH_IMAGE028
的初始值取。
按照本发明还一实施例的立体图像校正装置，其中，所述校正模块包括：
校正矩阵构建单元，其用于利用校正参数构建校正矩阵；
校正矩阵微调单元，其用于至少结合所述景深调整参数对所述校正矩阵进行微调；以及
立体图像裁剪单元，其用于利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
按照本发明再一实施例的立体图像校正装置，其中，所述校正模块包括：
校正矩阵构建单元，其用于利用校正参数构建校正矩阵；
校正矩阵微调单元，其用于至少结合所述景深调整参数和第二内点集对所述校正矩阵进行微调；以及
立体图像裁剪单元，其用于利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
在之前所述任意实施例的立体图像校正装置中，优选地，所述校正矩阵构建单元执行以下关系式（7）构建所述校正矩阵：
Figure 612347DEST_PATH_IMAGE063
     
    其中，
Figure 195776DEST_PATH_IMAGE048
为所述原始立体图像对的左视图对应的校正矩阵，
Figure 632442DEST_PATH_IMAGE049
为所述原始立体图像对的右视图对应的校正矩阵；K N 为校正后摄像头的内参数矩阵，KL(f L )为校正前左摄像头的内参数矩阵，KR(f R )为校正前右摄像头的内参数矩阵；
Figure 617716DEST_PATH_IMAGE041
和
Figure 927474DEST_PATH_IMAGE042
分别为用于拍摄所述左视图的左摄像头、用于拍摄所述右视图的右摄像头的以像素为单位的焦距；θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure 998198DEST_PATH_IMAGE064
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
其中，KL(f L )和KR(f R )通过以下关系式计算：
Figure 989288DEST_PATH_IMAGE050
     
其中，
Figure 829068DEST_PATH_IMAGE037
、
Figure 309728DEST_PATH_IMAGE038
分别为以像素为单位的左视图的宽度和高度，
Figure 602169DEST_PATH_IMAGE039
、
Figure 147682DEST_PATH_IMAGE040
分别为以像素为单位的右视图的宽度和高度；
其中，R为旋转矩阵，R L 为校正过程中左摄像头的旋转矩阵，R R 为校正过程中右摄像头的旋转矩阵。
进一步，优选地，所述校正矩阵微调单元执行通过以下关系式（8）计算微调后的校正矩阵：
                           
其中，
Figure 493530DEST_PATH_IMAGE048
为左视图对应的校正矩阵，
Figure 476529DEST_PATH_IMAGE049
为右视图对应的校正矩阵，
Figure 871739DEST_PATH_IMAGE052
为所述景深调整参数，M L （）表示左视图对应的景深调整矩阵，M R （
Figure 508573DEST_PATH_IMAGE052
）表示右视图对应的景深调整矩阵；
Figure 962557DEST_PATH_IMAGE053
为垂直方向上的调整量，
Figure 895878DEST_PATH_IMAGE054
为水平方向上的调整量。
在之前所述任意实施例的立体图像校正装置中，优选地，所述立体图像裁剪单元包括：
分别获取原始立体图像对的校正后的左视图和校正后的右视图的可裁剪区域的部件；
获取校正后的左视图与校正后的右视图之间的最大公共裁剪区域的部件；以及
利用原始立体图像对的灰度值相应地填充校正后的最大公共裁剪区域中的左视图和右视图的部件。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完全清楚，其中，相同或相似的要素采用相同的标号表示。
图1是按照本发明一实施例的立体图像校正装置的模块结构示意图。
图2是按照本发明一实施例的立体图像校正方法的流程示意图。
图3是按照本发明一实施例的校正参数提取步骤的方法流程示意图。
图4是角点提取步骤中所使用的OFAST角点提取示意图。
图5是标准采样图案示意图。
图6是按照本发明一实施例的校正参数提取模块的模块结构示意图。
图7是按照本发明一实施例的校正步骤的方法流程示意图。
图8是校正后的视图的可裁剪区域示意图。
图9是按照本发明一实施例的校正模块的模块结构示意图。
具体实施方式
下面介绍的是本发明的多个可能实施例中的一些，旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。容易理解，根据本发明的技术方案，在不变更本发明的实质精神下，本领域的一般技术人员可以提出可相互替换的其他实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
下面的描述中，为描述的清楚和简明，并没有对图中所示的所有多个部件进行描述。附图中示出了本领域普通技术人员完全能够实现本发明的多个部件。对于本领域技术人员来说，许多部件的操作都是熟悉而且明显的。
在描述中，使用方向性术语（例如“左”、“右”等）以及类似术语描述的各种实施方式的部件表示附图中示出的方向或者能被本领域技术人员理解的方向。这些方向性术语用于相对的描述和澄清，而不是要将任何实施例的定向限定到具体的方向或定向。
图1所示为按照本发明一实施例的立体图像校正装置的模块结构示意图。在该实施例中，立体图像校正装置20用于对由摄像头模块10所拍摄的原始立体图像对进行立体校正处理、并输出校正后立体图像对至3D显示屏30，以改善3D图像显示效果。立体图像校正装置20可以为立体图像显示装置的一部分，或者被包含于立体图像显示装置中。并且，其中摄像头模块10可以为单摄像头模块，或者可以为双摄像头模块，也可以为其他结构形式的可以拍摄形成原始立体图像对的摄像头模块。
图2所示为按照本发明一实施例的立体图像校正方法的流程示意图。对应于图1所示，立体图像校正装置20用于完成如图2所示方法流程。具体地，在该实施例中，立体图像校正方法主要地包括以下步骤：
步骤S910，获取步骤：获取原始立体图像对。具体地，摄像头模块10为双摄像头模块时，其包括左摄像头和右摄像头，原始立体图像对由左摄像头和右摄像头对同一场景分别拍摄的左视图和右视图组成；摄像头模块10为单摄像头模块时，在一位置拍摄左视图，在另一位置通过辅助装置或辅助程序拍摄右视图。在以下实施例中，主要是以双向头模块为例进行说明的，但是，需要理解是，当摄像头模块10为单摄像头模块时，其在拍摄左视图时可以虚拟地定义为“左摄像头”，其在拍摄右视图时，可以虚拟地定义为“右摄像头”，尽管“左摄像头”和“右摄像头”实质上为同一摄像头，但是，二者之间的位置参数等可以同样地计算得出。
步骤S920，校正参数提取步骤：在原始立体图像对中寻找匹配点对形成匹配点对集，并提取校正参数。该步骤具体通过如图1所示的校正单数提取模块21完成，提取的校正参数被输出至校正模块22。
步骤S930，根据校正参数以及景深调整参数生成校正矩阵、并基于该校正矩阵对原始立体图像对进行校正以消除垂直视差。该步骤具体通过如图1所示的校正模块22完成，景深调整参数具体由反馈模块23反馈提供，校正模块22可以输出校正后立体图像对，从而可以在如图1所示的3D显示屏30中显示，垂直视差得到消除。
步骤S940，反馈步骤：观看者根据立体图像显示的出屏程度/入屏程度反馈输出景深调整参数。该步骤具体通过如图1所示的反馈模块23完成。观看者在观看3D显示屏30中的3D图像显示后，获得观看体验，观看者可以直观得获得3D图像显示的出屏程度或入屏程度；根据观看者的个人体验需求，进一步，观看者可以通过如图1所示的反馈模块23反馈景深调整参数；观看者选择出屏程度越大，则反馈模块23反馈的景深调整参数越大，反之，观看者选择入屏程度越大，则
Figure 823700DEST_PATH_IMAGE052
越小。景深调整参数进一步被输入至校正模块22，从而在在步骤S930中可以进一步根据景深调整参数的变化对原始立体图像对进行校正。
步骤S950，判断步骤：观看者根据立体显示体验判断是否需要重新校正，如果判断为“是”，进入所述校正参数提取步骤S920，如果判断为“否”，进入所述校正步骤S930。该步骤在如图1所示的重新校正判断模块24中完成。
为完成以上实施例的立体图像校正方法过程，在一实施例中，立体图像校正装置20还可以包括一获取模块，其用于完成以上所述步骤S910。
以上实施例的立体图像校正方法过程中，引入的反馈步骤反馈景深调整参数至校正步骤，可以灵活地根据观看者的要求调整出屏程度，方便观看者获得其所需的3D观看体验，大大提高3D图像显示效果。
图3所示为按照本发明一实施例的校正参数提取步骤的方法流程示意图。结合图2和图3所示，以下具体说明该实施例的校正参数提取方法。
首先，步骤S921，角点提取步骤：从原始立体图像对（由获取单元传输过来）的视图中提取出亮度变化相对剧烈且相对易于识别的角点。该步骤中所使用的角点检测方法有很多，诸如可以使用：Harris（哈里斯）角点检测方法、SUSAN（Smallest Univalue Segment Assimilating Nucleus， 最小核值相似区）角点检测、SIFT（Scale Invariant Feature Transform，尺度不变特征变换）角点检测等方法。
在中国专利申请号CN200910118629.5、名称为“多视点视频图像校正方法、装置及***”的专利中，采用类SIFT角点检测方法和特征描述子，涉及到卷积、尺度空间和直方图等复杂操作，不适用于CPU运算处理能力相对较低、RAM内存容量较小的手机、平板等便携式终端。申请人考虑各种便携式数字终端在3D立体图像显示时、运算处理能力和内存有限的特点，该角点提取步骤优选地采用OFAST（Oriented Features from Accelerated Segment Test，基于加速分割检测的定向特征）角点检测方法提取OFAST角点。以下以在左视图中提取OFAST角点为例进行说明，对于右视图可以采用类似操作实现OFAST角点提取。
图4所示为角点提取步骤中所使用的OFAST角点提取示意图。在图4中，表示视图（左视图或者右视图）中的某一局部区域，每个小方格代表一个像素点。其中，提取OFAST角点主要包括OFAST角点判定和OFAST角点主方向提取两个步骤。
第一，OFAST角点判定步骤。
以图4中的点p为示例，判定其是是否为OFAST角点。点p为OFAST角点时，则必须满足以点p为中心半径等于r的离散化Bresenham（布雷森汉姆）圆上存在连续的n个点的灰度值同时大于
Figure 252724DEST_PATH_IMAGE055
或同时小于；其中I(p)表示p点的灰度值，
Figure 940375DEST_PATH_IMAGE003
表示灰度阈值，其取值范围为[0，128]，Bresenham圆的半径r的取值范围为[2，24]，连续点数n的取值范围：[
Figure 864556DEST_PATH_IMAGE004
，
Figure 405259DEST_PATH_IMAGE005
]，
Figure 783151DEST_PATH_IMAGE066
代表圆周率。在图4示例中，设置OFAST角点判定参数：
Figure 2012103205396100002DEST_PATH_IMAGE067
，
Figure 321580DEST_PATH_IMAGE068
，
Figure 2012103205396100002DEST_PATH_IMAGE069
；对于Bresenham圆上的16个点（被标记1-16），圆心正上方的点标号1，并按顺时针方向递增至16；对于左视图中的任意点
Figure 784922DEST_PATH_IMAGE070
，以点
Figure 316266DEST_PATH_IMAGE070
为中心半径等于3的离散Bresenham圆上，存在连续9个点（点14、15、16、1、2、3、4、5、6，实际实施时连续的点数可能大于9）的灰度值同时大于或同时小于
Figure 320311DEST_PATH_IMAGE072
，点
Figure 536529DEST_PATH_IMAGE070
被判定为OFAST角点。
第二，OFAST角点主方向提取步骤。
在某一点被判断为判定为OFAST角点后，需要判断其主方向，为角点提取出主方向。在对离散化的Bresenham圆上的点进行标号时，如上所述，圆心正上方的点标号1，并按照顺时针方向依次对其他点进行标号。在OFAST角点判定中，Bresenham圆上满足OFAST角点判定准则的n个连续点中的两个端点的标号按顺时针方向分别记为a、b，则OFAST角点的主方向
Figure 356718DEST_PATH_IMAGE007
按公式(1)确定：
Figure 709202DEST_PATH_IMAGE006
其中，为半径为r的离散化的Bresenham圆所包含的点数。如图4，以点p为中心半径等于3的离散Bresenham圆上满足OFAST角点判定准则的连续点中两个端点的标号按顺时针方向分别为14、6，a取值为14，b取值为6，点p上的箭头代表该OFAST角点的主方向
Figure 824105DEST_PATH_IMAGE007
。
采用以上角点提取方法过程，无须额外信息就能够在判定角点的同时为角点提取出主方向，主方向提取简单，并且在后续的角点匹配中使用，有利于减小运算量。
进一步，步骤S922，角点匹配步骤：对各个角点分别提取具有鲁棒特性的特征描述子，并根据特征描述子对角点进行匹配以形成初始匹配点对集。对于特征描述子的提取，可以使用的方法有很多，诸如： SURF（Speeded Up Robust Features，快速鲁棒特征）、SIFT（Scale Invariant Feature Transform，尺度不变特征变换）等特征描述子提取方法。为使执行该步骤运算处理量小且存储消耗小，在一优选实施例中，步骤S922的特征描述子提取方法中采用OBRIEF（Oriented Binary Robust Independent Elementary Features，定向二进制独立基元鲁棒特征）特征描述子、并基于该OBRIEF特征描述子进行匹配。同样，以基于左视图中提取的OFAST角点提取OBRIEF特征描述子为例进行说明，对于右视图可以采用类似操作实现相应OFAST角点的OBRIEF特征描述子的提取。
 基于OBIEF特征描述子的角点匹配步骤包括以下子步骤。
第一，生成标准采样图案。标准采样图案是通过在以点（0，0）为中心、大小为
Figure 198717DEST_PATH_IMAGE009
的正方形框中可按均匀分布
Figure 405707DEST_PATH_IMAGE010
或高斯分布
Figure 519157DEST_PATH_IMAGE011
随机抽取
Figure 382071DEST_PATH_IMAGE012
组点对（
Figure 606379DEST_PATH_IMAGE013
,
Figure 933455DEST_PATH_IMAGE014
）而形成的，一组点对包含两个采样点
Figure 217806DEST_PATH_IMAGE013
和
Figure 551704DEST_PATH_IMAGE014
。其中，S的取值范围：[2r+1， 12r+6]，r为OFAST角点检测过程中使用的Bresenham圆的半径，标准采样图案中的点对数目
Figure 579703DEST_PATH_IMAGE012
取区间[
Figure 761285DEST_PATH_IMAGE015
，
Figure 216537DEST_PATH_IMAGE016
]内的偶数。然后，直线连接每组点对中的采样点（和）形成线段，生成如图5所示的标准采样图案（图5所示为标准采样图案示意图）。
第二，对OFAST角点构建OBRIEF特征描述子。根据OFAST角点主方向
Figure 656243DEST_PATH_IMAGE007
对标准采样图案进行旋转，接着比较采样图案中每组点对中两个采样点处的灰度值大小以构建二进制的特征描述子。在该实施例中，点p的OBRIEF特征描述子
Figure 282396DEST_PATH_IMAGE017
具体通过如下关系式（2）构建：
Figure 92352DEST_PATH_IMAGE018
      
其中，
Figure 462153DEST_PATH_IMAGE007
为该OFAST角点p的主方向，
Figure 618328DEST_PATH_IMAGE012
为所述标准采样图案中的点对数；、
Figure 961902DEST_PATH_IMAGE058
为所述标准采样图案中的点对，t为量化阈值，其取值范围[2，64]；
Figure 869815DEST_PATH_IMAGE019
表示二进制数；
Figure 67447DEST_PATH_IMAGE020
表示2维旋转矩阵，
Figure 35403DEST_PATH_IMAGE021
表示点处的灰度值，
Figure 843139DEST_PATH_IMAGE023
表示点处的灰度值。
第三，利用OBRIEF特征描述子对左视图中的角点和右视图中的角点进行匹配，形成匹配点对集。通过以上步骤形成的OBRIEF特征描述子为二进制特征，其不仅节省了存储空间，而且可利用按位异或操作来快速比较左视图中的角点特征描述子和右视图中的角点的特征描述子之间的相似性，进而对角点进行匹配。具体来说，对于OFAST角点
Figure 50446DEST_PATH_IMAGE025
和
Figure 368295DEST_PATH_IMAGE026
，两者的相似性通过以下关系式（3）计算：
 
Figure 883590DEST_PATH_IMAGE073
    
其中，为左视图的OFAST角点，为右视图的OFAST角点，XOR代表按位异或操作，bitcount表示统计二进制数中1的数目。值越小，则表示角点
Figure 663273DEST_PATH_IMAGE025
和
Figure 503053DEST_PATH_IMAGE026
越相似。
具体地，可以针对左视图中的OFAST角点
Figure 983713DEST_PATH_IMAGE025
，遍历右视图中所有的OFAST角点，找到令关系式（3）取值最小的点作为点
Figure 728684DEST_PATH_IMAGE025
的匹配点（例如，
Figure 320202DEST_PATH_IMAGE026
），两者组成一组匹配点对，所有的匹配点对组成初始匹配点对集。
进一步，步骤S923，误匹配剔除步骤：利用鲁棒模型估计方法剔除初始匹配点对集中存在的误匹配点对以形成相对稳定可靠的第二内点集。该步骤中，具体可以但不限于使用以下方法进行剔除：GCE（Genetic Consistency Estimation，遗传一致性估计）、LMedS（Least MEDian of Square，最小平方中值）、MLESAC（Maximum Likelihood Estimation Sample Consensus，极大似然采样一致性估计）、MAPSAC（Maximum a Posteriori Sample Consensus，极大后验采样一致性估计）和StaRSaC（STAble Random SAmple Consensus，稳态随机采样一致性 ）等方法。经过该步骤处理后，形成的第二内点集为稳定可靠的一致性最好的内点集。
进一步，步骤S924，校正参数优化步骤：将基础矩阵参数化，并基于该参数化的基础矩阵对所述第二内点集中的匹配点对建立误差方程，利用非线性最小二乘法对校正参数进行优化以获取校正参数的优值。在一优选实施例中，步骤S924包括以下子步骤。
第一，将基础矩阵参数化，具体地，基础矩阵通过以下关系式（4）进行参数化：
Figure 931629DEST_PATH_IMAGE029
     
其中
Figure 649049DEST_PATH_IMAGE030
为3维矢量
Figure 44258DEST_PATH_IMAGE031
确定的反对称矩阵，其通过以下关系式（5）得出：
Figure 858631DEST_PATH_IMAGE075
     
其中，
Figure 363649DEST_PATH_IMAGE033
为基础矩阵；
Figure 630683DEST_PATH_IMAGE034
为3维旋转矩阵表示先绕摄像头Z轴旋转θ角度，然后绕摄像头Y轴旋转β角度，最后绕摄像头X轴旋转α角度；
Figure 829583DEST_PATH_IMAGE076
表示双摄像拍摄模块10中的右摄像头相对左摄像头的偏移方向；
Figure 436145DEST_PATH_IMAGE036
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
Figure 429508DEST_PATH_IMAGE037
、
Figure 183838DEST_PATH_IMAGE038
分别为以像素为单位的左视图的宽度和高度，
Figure 186429DEST_PATH_IMAGE039
、
Figure 896765DEST_PATH_IMAGE040
分别为以像素为单位的右视图的宽度和高度；
Figure 61030DEST_PATH_IMAGE041
和
Figure 302655DEST_PATH_IMAGE042
分别为左摄像头、右摄像头的以像素为单位的焦距。图像的宽度和高度在迭代优化前是已知的。在该步骤中，按照关系式（4），可以利用参数将基础矩阵
Figure 158933DEST_PATH_IMAGE033
参数化。
其中，摄像头的X轴、Y轴、Z轴可以是指左摄像头的X轴、Y轴、Z轴或者右摄像头的X轴、Y轴、Z轴，按照本领域对摄像头的公知定义，X轴与图像平面平行、指向图像宽度方的方向，Y轴与图像平面平行、指向图像高度的方向，Z轴为摄像头的光轴方向，其与图像平面垂直。
为了减少待估计的参数并兼顾合理性，在迭代优化过程中可假定
Figure 759678DEST_PATH_IMAGE041
、其中一个为定值另一个为可变值，从而，在该实施例中，基础矩阵
Figure 567415DEST_PATH_IMAGE033
包含
Figure 488228DEST_PATH_IMAGE078
、
Figure 259875DEST_PATH_IMAGE079
、、
Figure 30702DEST_PATH_IMAGE081
、
Figure 383186DEST_PATH_IMAGE082
以及
Figure 325734DEST_PATH_IMAGE041
或
Figure 763669DEST_PATH_IMAGE042
共6个参数。
第二，建立误差方程并优化校正参数。具体地，对第二内点集中的匹配点对记为（
Figure 636816DEST_PATH_IMAGE045
，），
Figure 957256DEST_PATH_IMAGE045
为左视图中的点，
Figure 882486DEST_PATH_IMAGE013
为右视图中的点，利用其中所有的匹配点对建立如下误差方程（6）：
Figure 44477DEST_PATH_IMAGE083
     
其中，
Figure 371554DEST_PATH_IMAGE033
为基础矩阵，
Figure 390325DEST_PATH_IMAGE044
为矩阵
Figure 491268DEST_PATH_IMAGE033
的转置，
Figure 519266DEST_PATH_IMAGE033
所包含的参数中，其初始值取
Figure 156101DEST_PATH_IMAGE046
（
Figure 728028DEST_PATH_IMAGE037
、
Figure 294138DEST_PATH_IMAGE038
分别为左视图以像素为单位的宽度和高度，
Figure 595807DEST_PATH_IMAGE039
、
Figure 221960DEST_PATH_IMAGE040
分别为右视图以像素为单位的宽度和高度），然后利用非线性最小二乘法进行迭代优化，获取校正参数的最优值。
至此，校正参数提取步骤基本完成，获得最优的校正参数。在以上校正参数提取方法实施例中，可以采用OFAST角点检测和二进制的OBRIEF特征描述子，大量运算主要为按位操作和比较运算，因此运算量和存储消耗都很小；并且，进一步，利用7个参数对基础矩阵进行参数化，在优化过程中仅6个参数为变量，可以使运算量进一步减小。因此，该实施例的校正参数提取方法尤其适用于在CPU运算处理能力相对较低、RAM内存容量小的便携式数字终端（例如，手机、平板电脑）中应用。
图6所示为按照本发明一实施例的校正参数提取模块的模块结构示意图。在该实施例中，校正参数提取模块21用于执行如图3所示的校正参数提取步骤，具体地，校正参数提取模块21包括角点提取单元211、角点匹配单元212、误匹配剔除单元213和校正参数优化单元214。其中，角点提取单元211用于完成上述步骤S921，角点匹配单元212用于完成上述步骤S922，误匹配剔除单元213用于完成上述步骤S923，校正参数优化单元214用于完成上述步骤S924；角点匹配单元212输出初始匹配点对集，误匹配剔除单元213输出相对稳定可靠的第二内点集，校正参数优化单元214输出校正参数至校正单元22。
图7所示为按照本发明一实施例的校正步骤的方法流程示意图。结合图2和图7所示，以下具体说明该实施例的校正方法。
首先，步骤S931，校正矩阵构建步骤，利用校正参数构建校正矩阵。在该实施例中，利用非线性最小二乘法迭代优化获得的参数信息，构造立体校正矩阵
Figure 900252DEST_PATH_IMAGE048
、
Figure 56427DEST_PATH_IMAGE049
，构造方式基于如下关系式（7）：
Figure 791165DEST_PATH_IMAGE047
     
其中，
Figure 400001DEST_PATH_IMAGE048
为左视图对应的校正矩阵，
Figure 307914DEST_PATH_IMAGE049
为右视图对应的校正矩阵；K N 为校正后摄像头的内参数矩阵，KL(f L )为校正前左摄像头的内参数矩阵，KR(f R )为校正前右摄像头的内参数矩阵，
Figure 318595DEST_PATH_IMAGE085
和分别为左摄像头、右摄像头以像素为单位的焦距，KL(f L )和KR(f R )可以通过关系式（4）的相关部分来计算；R L 为校正过程中左摄像头的旋转矩阵，R R 为校正过程中右摄像头的旋转矩阵，其也可以通过关系式（4）的相关部分来计算。
进一步，步骤S932，校正矩阵微调步骤：至少结合景深调整参数对校正矩阵进行微调。在该实施例中，基于以上实施例中形成的第二内点集进行微调，其中，景深调整参数由反馈模块23输出，通过结合反馈的景深调整参数，可以使3D显示图像内容处于舒适3D区域，出屏/入屏效果较佳。微调后的校正矩阵、
Figure 782703DEST_PATH_IMAGE087
通过以下关系式（8）计算：
                            
其中，
Figure 724431DEST_PATH_IMAGE048
为左视图对应的校正矩阵，
Figure 307859DEST_PATH_IMAGE049
为右视图对应的校正矩阵，为景深调整参数，M L （
Figure 729799DEST_PATH_IMAGE052
）表示左视图对应的景深调整矩阵，M R （
Figure 39558DEST_PATH_IMAGE052
）表示右视图对应的景深调整矩阵；
Figure 110282DEST_PATH_IMAGE053
为垂直方向上的调整量，
Figure 163688DEST_PATH_IMAGE054
为水平方向上的调整量。
Figure 941152DEST_PATH_IMAGE053
可以通过以下关系式（9）计算：
Figure 421811DEST_PATH_IMAGE088
     
Figure 979832DEST_PATH_IMAGE054
可以通过以下关系式（10）计算：
Figure DEST_PATH_IMAGE089
     
其中，
Figure 253906DEST_PATH_IMAGE090
代表该向量的第i个分量，（
Figure 948193DEST_PATH_IMAGE045
，
Figure 865333DEST_PATH_IMAGE013
）为第二内点集中的匹配点对，为左视图中的点，
Figure 977963DEST_PATH_IMAGE013
为右视图中的点。
Figure 792335DEST_PATH_IMAGE052
为反馈模块23根据观看者出屏入屏的选择反馈给3D图像显示***的景深调整参数；观看者选择出屏程度越大则
Figure 801748DEST_PATH_IMAGE052
越大，反之，观看者选择入屏程度越大则
Figure 68781DEST_PATH_IMAGE052
越小。由于对同一3D图像显示每个人的观赏体验不尽相同，且立体显示效果还与观看距离等因素有关，因此，校正矩阵在水平方向上的调整量需要视情况而定，可以在观赏过程中通过观赏者自身体验来调整。在***默认状态下，设为0，以后可由观看者根据自身体验改变。
进一步，步骤S933，立体图像裁剪步骤：利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。在该实施例中，该步骤具体地可以分为以下三个子步骤。
第一，首先，分别获取校正后的左视图和右视图的可裁剪区域。以处理左视图为例进行说明，右视图可以作类似处理。对原始立体图像对中左视图的4个顶点，利用左视图对应的微调后的校正矩阵
Figure 874243DEST_PATH_IMAGE086
进行校正变换，获取校正后的4个新顶点，组成校正后的四边形。然后，对校正后的四边形的4个顶点按照Y轴坐标（即行坐标）进行排序，取中间两个顶点，并分别依这两个顶点画水平线，裁剪掉校正后四边形在两水平线外部的部分，形成水平裁剪后四边形；同时，对水平裁剪后的四边形的4个顶点按照X轴坐标（即列坐标）进行排序，取中间两个顶点，并分别依这两个顶点画垂直线，裁剪掉水平裁剪后四边形在两垂直线外部的部分，形成水平垂直裁剪后四边形。
 图8所示为校正后的视图的可裁剪区域示意图，其中，图8（a）为一校正后的四边形ABCD经过裁剪后形成水平垂直裁剪后四边形
Figure 867607DEST_PATH_IMAGE091
，图8（b）为又一校正后的四边形ABCD经过裁剪后形成水平垂直裁剪后四边形
Figure 621937DEST_PATH_IMAGE092
。
第二，获取校正后的左视图与校正后的右视图之间的最大公共裁剪区域。在该实施例中，假设校正后的左视图的水平垂直裁剪后四边形X轴坐标最小值和最大值分别为
Figure 47364DEST_PATH_IMAGE093
、，Y轴坐标最小值和最大值分别为
Figure 938277DEST_PATH_IMAGE095
、；校正后的右视图的水平垂直裁剪后四边形X轴坐标最小值和最大值分别为
Figure 455026DEST_PATH_IMAGE097
、， Y轴坐标最小值和最大值分别为
Figure 620614DEST_PATH_IMAGE099
、
Figure 349535DEST_PATH_IMAGE100
。最大公共裁剪区域的对角点的为点（，
Figure 864010DEST_PATH_IMAGE102
）和点（
Figure 635657DEST_PATH_IMAGE103
，
Figure 586296DEST_PATH_IMAGE104
）。
第三，利用原始立体图像对的灰度值相应地填充校正后的最大公共裁剪区域中的左视图和右视图。在该实施例中，以处理左视图为例，设校正后的最大公共裁剪区域中的左视图上任意一点
Figure 157217DEST_PATH_IMAGE105
，则其在原始立体图像对中左视图上的对应点为点
Figure 509700DEST_PATH_IMAGE106
，利用原始立体图像对中左视图上的点
Figure 452249DEST_PATH_IMAGE107
上的灰度值填充校正后的左视图上点的灰度值，即可生成校正后的左视图。最大公共裁剪区域中的右视图同样可以作似处理。
至此，基本形成了校正后立体图像对。在以上校正方法过程中，在该实施例的校正方法中，在进行立体校正时利用第二内点集和观看者的反馈信息对校正矩阵进行微调，生成的立体图像对具有舒适的3D观赏效果。
图9所示为按照本发明一实施例的校正模块的模块结构示意图。
在该实施例中，校正模块22用于执行如图7所示的校正步骤，具体地，校正模块22包括校正矩阵构建单元221、校正矩阵微调单元222和立体图像对裁剪单元223。其中，校正矩阵构建单元221用于完成上述步骤S931，校正矩阵微调单元222用于完成上述步骤S932，立体图像对裁剪单元223用于完成上述步骤S933；误匹配剔除单元213输出的相对稳定可靠的第二内点集以及反馈模块23所反馈的景深调整参数在校正矩阵微调单元222中被使用。
以上例子主要说明了本发明的立体图像校正方法及装置。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (37)

1.一种立体图像校正方法，其特征在于，包括：
获取步骤：获取原始立体图像对；
校正参数提取步骤：在所述原始立体图像对中寻找匹配点对形成匹配点对集，并提取校正参数；
校正步骤：至少根据所述校正参数以及景深调整参数生成校正矩阵、并基于该校正矩阵对所述原始立体图像对进行校正以消除垂直视差；以及
反馈步骤：根据立体图像显示的出屏程度/入屏程度反馈输出所述景深调整参数；
其中，所述反馈步骤所输出的景深调整参数在所述校正步骤中被使用。
2.如权利要求1所述的立体图像校正方法，其特征在于，所述反馈步骤中，还包括：
判断步骤：根据立体图像显示体验判断是否需要重新校正，如果判断为“是”，进入所述校正参数提取步骤，如果判断为“否”，进入所述校正步骤。
3.如权利要求1所述的立体图像校正方法，其特征在于，所述获取步骤中，所述原始立体图像对由左摄像头和右摄像头对同一场景分别拍摄的左视图和右视图组成。
4.如权利要求1所述的立体图像校正方法，其特征在于，所述校正参数提取步骤包括：
角点提取步骤：从所述原始立体图像对的视图中提取出亮度变化相对剧烈且相对易于识别的角点；
角点匹配步骤：对各个所述角点分别提取具有鲁棒特性的特征描述子，并根据所述特征描述子对角点进行匹配以形成初始匹配点对集；
误匹配剔除步骤：利用鲁棒模型估计方法剔除所述初始匹配点对集中存在的误匹配点对以形成相对稳定可靠的第二内点集；以及
校正参数优化步骤：将基础矩阵参数化，并基于该参数化的基础矩阵对所述第二内点集中的匹配点对建立误差方程，利用非线性最小二乘法对校正参数进行优化以获取校正参数的优值。
5.如权利要求4所述的立体图像校正方法，其特征在于，所述角点提取步骤中，采用基于加速分割检测的定向特征（OFAST）角点检测方法提取基于加速分割检测的定向特征（OFAST）角点；
其中，所述OFAST角点检测方法包括OFAST角点判定步骤和OFAST角点主方向提取步骤。
6.如权利要求5所述的立体图像校正方法，其特征在于，
所述OFAST角点判定步骤中，针对被检测的某一点p，以点p为圆心、半径为r画布雷森汉姆圆，如果布雷森汉姆圆上的连续n个点的灰度值同时大于                                               
Figure 2012103205396100001DEST_PATH_IMAGE001
或同时小于
Figure 960520DEST_PATH_IMAGE002
，则判定该点p为OFAST检测点，其中，I(p)表示p点的灰度值，
Figure DEST_PATH_IMAGE003
表示灰度阈值，n的取值范围为 [
Figure DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE007
]；
所述OFAST角点主方向提取步骤中，对于被判定的OFAST角点，对布雷森汉姆圆上的点进行标号时，圆心正上方的点标号1，并按照顺时针方向依次对其他点进行标号，所述n个连续点中的两个端点的标号按顺时针方向分别记为a、b，OFAST角点主方向通过以下关系式（1）确定，
Figure 182554DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为OFAST角点主方向，
Figure 532764DEST_PATH_IMAGE010
为半径为r的所述布雷森汉姆圆所包含的点数。
7.如权利要求4或5所述的立体图像校正方法，其特征在于，所述角点匹配步骤中，采用定向二进制独立基元鲁棒特征（OBRIEF）特征描述子并基于该OBRIEF特征描述子进行匹配。
8.如权利要求7所述的立体图像校正方法，其特征在于，所述角点匹配步骤包括步骤：
生成标准采样图案；
对角点构建所述OBRIEF特征描述子；以及
利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配，形成匹配点对。
9.如权利要求6所述的立体图像校正方法，其特征在于，所述角点匹配步骤包括：
生成标准采样图案步骤：通过在以点（0，0）为中心、大小为
Figure DEST_PATH_IMAGE011
的正方形框中，按均匀分布
Figure 295183DEST_PATH_IMAGE012
或高斯分布
Figure DEST_PATH_IMAGE013
随机抽取
Figure 414449DEST_PATH_IMAGE014
组点对（
Figure DEST_PATH_IMAGE015
，
Figure 869701DEST_PATH_IMAGE016
），每组点对（
Figure 707207DEST_PATH_IMAGE015
，
Figure 273318DEST_PATH_IMAGE016
）中的采样点
Figure 309407DEST_PATH_IMAGE015
和
Figure 935560DEST_PATH_IMAGE016
直线连接形成线段以生成所述标准采样图案，其中，和
Figure 361655DEST_PATH_IMAGE016
为第i组点对中的两个采样点，1≤i≤
Figure 517830DEST_PATH_IMAGE014
，所述正方形框的边长S的取值范围为[2r+1，12r+6]，r为所述OFAST角点检测方法过程中所使用的布雷森汉姆圆的半径，
Figure 314885DEST_PATH_IMAGE014
取区间[
Figure DEST_PATH_IMAGE017
，]内的偶数；
对OFAST角点构建OBRIEF特征描述子步骤：根据所述OFAST角点主方向，对所述标准采样图案进行旋转，然后比较旋转后的标准采样图案中每组点对中的两个采样点处的灰度值大小，以构建二进制的OBRIEF特征描述子；
匹配点对形成步骤：利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配，形成匹配点对。
10.如权利要求9所述的立体图像校正方法，其特征在于，在所述构建OBRIEF特征描述子步骤中，某一OFAST角点p的OBRIEF特征描述子
Figure DEST_PATH_IMAGE019
通过以下关系式（2）构建：
      
其中，为该OFAST角点p的主方向，
Figure 951216DEST_PATH_IMAGE014
为所述标准采样图案中的点对数；
Figure DEST_PATH_IMAGE021
、为所述标准采样图案中的点对，t为量化阈值，其取值范围[2，64]；表示二进制数；表示2维旋转矩阵，
Figure DEST_PATH_IMAGE025
表示点处的灰度值，
Figure DEST_PATH_IMAGE027
表示点处的灰度值。
11.如权利要求9所述的立体图像校正方法，其特征在于，在角点进行匹配过程中，对于OFAST角点
Figure DEST_PATH_IMAGE029
和
Figure 221792DEST_PATH_IMAGE030
，两者的相似性通过以下关系式（3）计算：
 
Figure 409191DEST_PATH_IMAGE032
    
其中，
Figure DEST_PATH_IMAGE033
为左视图的OFAST角点，
Figure 394464DEST_PATH_IMAGE034
为右视图的OFAST角点，XOR代表按位异或操作，bitcount表示统计二进制数中1的数目，Dist（p L , p R ）表示OFAST角点
Figure 641906DEST_PATH_IMAGE033
和之间的相似性。
12.如权利要求11所述的立体图像校正方法，其特征在于，针对左视图的OFAST角点
Figure DEST_PATH_IMAGE035
，遍历右视图中所有的OFAST角点，找到令关系式（3）取值最小的点作为OFAST角点
Figure 766037DEST_PATH_IMAGE035
的匹配点，从而形成所述匹配点对。
13.如权利要求4所述的立体图像校正方法，其特征在于，所述校正参数优化步骤中，按照以下关系式（4），将所述基础矩阵用参数
Figure 543500DEST_PATH_IMAGE036
进行参数化，
Figure DEST_PATH_IMAGE037
     
其中，
Figure 24160DEST_PATH_IMAGE038
为3维矢量
Figure DEST_PATH_IMAGE039
确定的反对称矩阵，其通过以下关系式（5）得出：
Figure DEST_PATH_IMAGE041
     
其中，为基础矩阵，
Figure DEST_PATH_IMAGE043
为3维旋转矩阵，θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure 46135DEST_PATH_IMAGE044
表示用于拍摄所述原始立体图像对的右视图的右摄像头相对用于拍摄所述原始立体图像对的左视图的左摄像头的偏移方向，为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
Figure DEST_PATH_IMAGE047
、
Figure 329666DEST_PATH_IMAGE048
分别为以像素为单位的左视图的宽度和高度，
Figure DEST_PATH_IMAGE049
、
Figure 374982DEST_PATH_IMAGE050
分别为以像素为单位的右视图的宽度和高度；
Figure DEST_PATH_IMAGE051
和
Figure 707875DEST_PATH_IMAGE052
分别为左摄像头、右摄像头的以像素为单位的焦距。
14.如权利要求13所述的立体图像校正方法，其特征在于，所述误差方程为：
Figure 256668DEST_PATH_IMAGE054
     
其中，
Figure 344709DEST_PATH_IMAGE042
为基础矩阵，
Figure 611743DEST_PATH_IMAGE056
为矩阵
Figure 482747DEST_PATH_IMAGE042
的转置，
Figure DEST_PATH_IMAGE057
所述第二内点集中的匹配点对中左视图对应的点，
Figure 151625DEST_PATH_IMAGE015
所述第二内点集中的匹配点对中右视图对应的点，Error表示校正误差；
其中，基础矩阵所包含的参数
Figure 837002DEST_PATH_IMAGE036
的初始值取
Figure 839593DEST_PATH_IMAGE058
。
15.如权利要求1所述的立体图像校正方法，其特征在于，所述校正步骤包括：
校正矩阵构建步骤：利用校正参数构建校正矩阵；
校正矩阵微调步骤：至少结合所述景深调整参数对所述校正矩阵进行微调；以及
立体图像裁剪步骤：利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
16.如权利要求4所述的立体图像校正方法，其特征在于，所述校正步骤包括：
校正矩阵构建步骤：利用校正参数构建校正矩阵；
校正矩阵微调步骤：至少结合所述景深调整参数和所述第二内点集对所述校正矩阵进行微调；以及
立体图像裁剪步骤：利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
17.如权利要求15或16所述的立体图像校正方法，其特征在于，基于以下关系式（7）构建所述校正矩阵：
Figure 362978DEST_PATH_IMAGE060
     
    其中，
Figure DEST_PATH_IMAGE061
为所述原始立体图像对的左视图对应的校正矩阵，
Figure 464926DEST_PATH_IMAGE062
为所述原始立体图像对的右视图对应的校正矩阵；K N 为校正后摄像头的内参数矩阵，KL(f L )为校正前左摄像头的内参数矩阵，KR(f R )为校正前右摄像头的内参数矩阵；
Figure 706552DEST_PATH_IMAGE051
和
Figure 247254DEST_PATH_IMAGE052
分别为用于拍摄所述左视图的左摄像头、用于拍摄所述右视图的右摄像头的以像素为单位的焦距；θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure 562829DEST_PATH_IMAGE064
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
其中，KL(f L )和KR(f R )通过以下关系式计算：
     
其中，
Figure 163575DEST_PATH_IMAGE047
、
Figure 626917DEST_PATH_IMAGE048
分别为以像素为单位的左视图的宽度和高度，
Figure 906064DEST_PATH_IMAGE049
、
Figure 404042DEST_PATH_IMAGE050
分别为以像素为单位的右视图的宽度和高度；
其中，R为旋转矩阵，R L 为校正过程中左摄像头的旋转矩阵，R R 为校正过程中右摄像头的旋转矩阵。
18.如权利要求17所述的立体图像校正方法，其特征在于，所述微调后的校正矩阵通过以下关系式（8）计算：
      
Figure 910109DEST_PATH_IMAGE066
     
其中，为左视图对应的校正矩阵，
Figure 946516DEST_PATH_IMAGE062
为右视图对应的校正矩阵，
Figure DEST_PATH_IMAGE067
为所述景深调整参数，M L （
Figure 298999DEST_PATH_IMAGE067
）表示左视图对应的景深调整矩阵，M R （
Figure 913652DEST_PATH_IMAGE067
）表示右视图对应的景深调整矩阵；
Figure 351586DEST_PATH_IMAGE068
为垂直方向上的调整量，为水平方向上的调整量。
19.如权利要求15或16所述的立体图像校正方法，其特征在于，所述立体图像裁剪步骤包括步骤：
分别获取原始立体图像对的校正后的左视图和校正后的右视图的可裁剪区域；
获取校正后的左视图与校正后的右视图之间的最大公共裁剪区域；以及
利用原始立体图像对的灰度值相应地填充校正后的最大公共裁剪区域中的左视图和右视图。
20.一种立体图像校正装置，其特征在于，包括：
获取模块，其用于获取原始立体图像对；
校正参数提取模块，其用于在所述原始立体图像对中寻找匹配点对形成匹配点对集，并提取校正参数；
校正模块，其用于至少根据所述校正参数以及景深调整参数生成校正矩阵、并基于该校正矩阵对所述原始立体图像对进行校正以消除垂直视差；以及
反馈模块，其用于根据立体图像显示的出屏程度/入屏程度反馈输出所述景深调整参数；
其中，所述反馈模块所输出的景深调整参数输出至所述校正模块。
21.如权利要求20所述的立体图像校正装置，其特征在于，还包括：
判断模块，其用于根据立体图像显示体验判断是否需要重新校正。
22.如权利要求20所述的立体图像校正装置，其特征在于，所述获取模块获取的所述原始立体图像对是由左摄像头和右摄像头对同一场景分别拍摄的左视图和右视图组成。
23.如权利要求20所述的立体图像校正装置，其特征在于，所述校正参数提取模块包括：
角点提取单元，其用于从所述原始立体图像对的视图中提取出亮度变化相对剧烈且相对易于识别的角点；
角点匹配单元，其用于对各个所述角点分别提取具有鲁棒特性的特征描述子，并根据所述特征描述子对角点进行匹配以形成初始匹配点对集；
误匹配剔除单元，其用于利用鲁棒模型估计方法剔除所述初始匹配点对集中存在的误匹配点对以形成相对稳定可靠的第二内点集；以及
校正参数优化单元，其用于将基础矩阵参数化，并基于该参数化的基础矩阵对所述第二内点集中的匹配点对建立误差方程，利用非线性最小二乘法对校正参数进行优化以获取校正参数的优值。
24.如权利要求23所述的立体图像校正装置，其特征在于，所述角点提取单元采用基于加速分割检测的定向特征（OFAST）角点检测部件提取基于加速分割检测的定向特征（OFAST）角点；
其中，所述OFAST角点检测部件包括OFAST角点判定子模块和OFAST角点主方向提取子模块。
25.如权利要求24所述的立体图像校正装置，其特征在于，所述OFAST角点判定子模块中，针对被检测的某一点p，以点p为圆心、半径为r画布雷森汉姆圆，如果布雷森汉姆圆上的连续n个点的灰度值同时大于
Figure 37782DEST_PATH_IMAGE070
或同时小于，则判定该点p为OFAST检测点，其中，I(p)表示p点的灰度值，
Figure 182456DEST_PATH_IMAGE003
表示灰度阈值，n的取值范围为 [
Figure 295905DEST_PATH_IMAGE005
，
Figure 221136DEST_PATH_IMAGE007
]；
所述OFAST角点主方向提取子模块中，对于被判定的OFAST角点，对所述布雷森汉姆圆上的点进行标号时，圆心正上方的点标号1，并按照顺时针方向依次对其他点进行标号，所述n个连续点中的两个端点的标号按顺时针方向分别记为a、b，OFAST角点主方向通过以下关系式（1）确定，
Figure 383127DEST_PATH_IMAGE072
其中，
Figure DEST_PATH_IMAGE073
为OFAST角点主方向，为半径为r的所述布雷森汉姆圆所包含的点数。
26.如权利要求23或24所述的立体图像校正装置，其特征在于，所述角点匹配单元采用定向二进制独立基元鲁棒特征（OBRIEF）特征描述子并基于该OBRIEF特征描述子进行匹配。
27.如权利要求26所述的立体图像校正装置，其特征在于，所述角点匹配单元包括：
生成标准采样图案的部件；
对角点构建所述OBRIEF特征描述子的部件；以及
利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配、形成匹配点对的部件。
28.如权利要求25所述的立体图像校正装置，其特征在于，所述角点匹配单元包括：
生成标准采样图案部件：通过在以点（0，0）为中心、大小为
Figure 932237DEST_PATH_IMAGE011
的正方形框中，按均匀分布
Figure 79185DEST_PATH_IMAGE012
或高斯分布
Figure 107184DEST_PATH_IMAGE013
随机抽取
Figure 288766DEST_PATH_IMAGE014
组点对（
Figure 681702DEST_PATH_IMAGE015
，
Figure 581524DEST_PATH_IMAGE016
），每组点对（
Figure 147635DEST_PATH_IMAGE015
，）中的采样点
Figure 747561DEST_PATH_IMAGE015
和
Figure 869100DEST_PATH_IMAGE016
直线连接形成线段以生成所述标准采样图案，其中，和
Figure 395077DEST_PATH_IMAGE016
为第i组点对中的两个采样点，1≤i≤
Figure 126885DEST_PATH_IMAGE014
，所述正方形框的边长S的取值范围为[2r+1， 12r+6]，r为所述OFAST角点检测方法过程中所使用的布雷森汉姆圆的半径，
Figure 735721DEST_PATH_IMAGE014
取区间[，]内的偶数；
构建OBRIEF特征描述子部件：根据所述OFAST角点主方向，对所述标准采样图案进行旋转，然后比较旋转后的标准采样图案中每组点对中的两个采样点处的灰度值大小，以构建二进制的OBRIEF特征描述子；
匹配点对形成部件：利用所述OBRIEF特征描述子对所述原始立体图像对中的左视图中的角点和右视图中的角点进行匹配，形成匹配点对。
29.如权利要求28所述的立体图像校正装置，其特征在于，在所述构建OBRIEF特征描述子部件中，某一OFAST角点p的OBRIEF特征描述子
Figure 559954DEST_PATH_IMAGE019
通过以下关系式（2）构建：
Figure 656086DEST_PATH_IMAGE020
      
其中，
Figure 367690DEST_PATH_IMAGE073
为该OFAST角点p的主方向，为所述标准采样图案中的点对数；
Figure 574998DEST_PATH_IMAGE015
、
Figure 892847DEST_PATH_IMAGE016
为所述标准采样图案中的点对，t为量化阈值，其取值范围[2，64]；
Figure 408142DEST_PATH_IMAGE023
代表二进制数；
Figure 331098DEST_PATH_IMAGE024
表示2维旋转矩阵，
Figure 640857DEST_PATH_IMAGE025
表示点
Figure 446002DEST_PATH_IMAGE026
处的灰度值，
Figure 437092DEST_PATH_IMAGE027
表示点
Figure 276872DEST_PATH_IMAGE028
处的灰度值。
30.如权利要求28所述的立体图像校正装置，其特征在于，在所述匹配点对形成部件中，对于OFAST角点
Figure 757532DEST_PATH_IMAGE035
和
Figure 315552DEST_PATH_IMAGE074
，两者的相似性通过以下关系式（3）计算：
 
Figure 844753DEST_PATH_IMAGE076
    
其中，
Figure 804619DEST_PATH_IMAGE035
为左视图的OFAST角点，
Figure 456180DEST_PATH_IMAGE074
为右视图的OFAST角点，XOR代表按位异或操作，bitcount表示统计二进制数中1的数目，Dist（p L , p R ）表示OFAST角点
Figure 173600DEST_PATH_IMAGE035
和
Figure 568810DEST_PATH_IMAGE074
之间的相似性。
31.如权利要求23所述的立体图像校正装置，其特征在于，所述校正参数优化单元中，执行以下关系式（4）将所述基础矩阵用参数进行参数化，
Figure 205644DEST_PATH_IMAGE037
     
其中，
Figure 410361DEST_PATH_IMAGE038
为3维矢量
Figure 609261DEST_PATH_IMAGE039
确定的反对称矩阵，其通过以下关系式（5）得出：
Figure 278140DEST_PATH_IMAGE078
     
其中，
Figure 206257DEST_PATH_IMAGE042
为基础矩阵，
Figure 960586DEST_PATH_IMAGE043
为3维旋转矩阵，θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure DEST_PATH_IMAGE079
表示用于拍摄所述原始立体图像对的右视图的右摄像头相对用于拍摄所述原始立体图像对的左视图的左摄像头的偏移方向，
Figure 900861DEST_PATH_IMAGE046
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
Figure 424246DEST_PATH_IMAGE047
、
Figure 588511DEST_PATH_IMAGE048
分别为以像素为单位的左视图的宽度和高度，
Figure 767819DEST_PATH_IMAGE049
、
Figure 308522DEST_PATH_IMAGE050
分别为以像素为单位的右视图的宽度和高度；和
Figure 287160DEST_PATH_IMAGE052
分别为左摄像头、右摄像头的以像素为单位的焦距。
32.如权利要求31所述的立体图像校正装置，其特征在于，所述误差方程为：
Figure DEST_PATH_IMAGE081
     
其中，
Figure 688185DEST_PATH_IMAGE042
为基础矩阵，
Figure 32579DEST_PATH_IMAGE056
为矩阵
Figure 264977DEST_PATH_IMAGE042
的转置，
Figure 974307DEST_PATH_IMAGE057
所述第二内点集中的匹配点对中左视图对应的点，
Figure 924945DEST_PATH_IMAGE015
所述第二内点集中的匹配点对中右视图对应的点，Error表示校正误差；
其中，基础矩阵
Figure 807451DEST_PATH_IMAGE042
所包含的参数
Figure 97618DEST_PATH_IMAGE036
的初始值取
Figure 40166DEST_PATH_IMAGE058
。
33.如权利要求20所述的立体图像校正装置，其特征在于，所述校正模块包括：
校正矩阵构建单元，其用于利用校正参数构建校正矩阵；
校正矩阵微调单元，其用于至少结合所述景深调整参数对所述校正矩阵进行微调；以及
立体图像裁剪单元，其用于利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
34.如权利要求23所述的立体图像校正装置，其特征在于，所述校正模块包括：
校正矩阵构建单元，其用于利用校正参数构建校正矩阵；
校正矩阵微调单元，其用于至少结合所述景深调整参数和第二内点集对所述校正矩阵进行微调；以及
立体图像裁剪单元，其用于利用微调后的校正矩阵分别对原始立体图像对中的视图进行处理，获取校正后立体图像对。
35.如权利要求33或34所述的立体图像校正装置，其特征在于，所述校正矩阵构建单元执行以下关系式（7）构建所述校正矩阵：
Figure 478101DEST_PATH_IMAGE082
     
    其中，
Figure 101980DEST_PATH_IMAGE061
为所述原始立体图像对的左视图对应的校正矩阵，
Figure 308970DEST_PATH_IMAGE062
为所述原始立体图像对的右视图对应的校正矩阵；K N 为校正后摄像头的内参数矩阵，KL(f L )为校正前左摄像头的内参数矩阵，KR(f R )为校正前右摄像头的内参数矩阵；
Figure 422420DEST_PATH_IMAGE051
和
Figure 347651DEST_PATH_IMAGE052
分别为用于拍摄所述左视图的左摄像头、用于拍摄所述右视图的右摄像头的以像素为单位的焦距；θ为绕摄像头Z轴旋转角度，β为绕摄像头Y轴旋转角度，α为绕摄像头X轴旋转角度；
Figure 509642DEST_PATH_IMAGE064
为右摄像头偏移方向与左摄像头Y轴的夹角，γ为右摄像头偏移方向与左摄像头Z轴的夹角；
其中，KL(f L )和KR(f R )通过以下关系式计算：
Figure 836718DEST_PATH_IMAGE065
     
其中，、
Figure 268016DEST_PATH_IMAGE048
分别为以像素为单位的左视图的宽度和高度，
Figure 230768DEST_PATH_IMAGE049
、
Figure 412351DEST_PATH_IMAGE050
分别为以像素为单位的右视图的宽度和高度；
其中，R为旋转矩阵，R L 为校正过程中左摄像头的旋转矩阵，R R 为校正过程中右摄像头的旋转矩阵。
36.如权利要求35所述的立体图像校正装置，其特征在于，所述校正矩阵微调单元执行通过以下关系式（8）计算微调后的校正矩阵：
      
Figure 867603DEST_PATH_IMAGE066
     
其中，
Figure 501847DEST_PATH_IMAGE061
为左视图对应的校正矩阵，
Figure 5641DEST_PATH_IMAGE062
为右视图对应的校正矩阵，
Figure 307309DEST_PATH_IMAGE067
为所述景深调整参数，M L （
Figure 933462DEST_PATH_IMAGE067
）表示左视图对应的景深调整矩阵，M R （
Figure 55002DEST_PATH_IMAGE067
）表示右视图对应的景深调整矩阵；
Figure 362487DEST_PATH_IMAGE068
为垂直方向上的调整量，
Figure 518661DEST_PATH_IMAGE069
为水平方向上的调整量。
37.如权利要求33或34所述的立体图像校正装置，其特征在于，所述立体图像裁剪单元包括：
分别获取原始立体图像对的校正后的左视图和校正后的右视图的可裁剪区域的部件；
获取校正后的左视图与校正后的右视图之间的最大公共裁剪区域的部件；以及
利用原始立体图像对的灰度值相应地填充校正后的最大公共裁剪区域中的左视图和右视图的部件。
CN2012103205396A 2012-09-03 2012-09-03 立体图像校正方法及装置 Pending CN102905147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012103205396A CN102905147A (zh) 2012-09-03 2012-09-03 立体图像校正方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012103205396A CN102905147A (zh) 2012-09-03 2012-09-03 立体图像校正方法及装置

Publications (1)

Publication Number Publication Date
CN102905147A true CN102905147A (zh) 2013-01-30

Family

ID=47577160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103205396A Pending CN102905147A (zh) 2012-09-03 2012-09-03 立体图像校正方法及装置

Country Status (1)

Country Link
CN (1) CN102905147A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927760A (zh) * 2014-04-30 2014-07-16 重庆环视科技有限公司 立体视觉自动颜色标定***
CN104103255A (zh) * 2013-04-07 2014-10-15 深圳富泰宏精密工业有限公司 显示屏校正***及方法
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准***和立体摄像机的校准方法
CN104735436A (zh) * 2014-12-29 2015-06-24 深圳超多维光电子有限公司 单摄像头立体成像方法及电子设备
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN105812766A (zh) * 2016-03-14 2016-07-27 吉林大学 一种垂直视差消减方法
CN105898268A (zh) * 2015-12-21 2016-08-24 乐视致新电子科技（天津）有限公司 立体拍摄***以及虚拟现实头盔
CN106663327A (zh) * 2014-08-27 2017-05-10 卡尔斯特里姆保健公司 3‑d表面的自动重新拼接
US9697604B2 (en) 2014-01-28 2017-07-04 Altek Semiconductor Corp. Image capturing device and method for detecting image deformation thereof
WO2017113849A1 (zh) * 2015-12-28 2017-07-06 乐视控股（北京）有限公司 虚拟现实调整视差的方法及装置
CN106952231A (zh) * 2017-03-20 2017-07-14 南京大学 一种基于手机平台的图像实时校正方法
CN104811688B (zh) * 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
CN107622510A (zh) * 2017-08-25 2018-01-23 维沃移动通信有限公司 一种信息处理方法及装置
CN108305281A (zh) * 2018-02-09 2018-07-20 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN110741633A (zh) * 2017-09-11 2020-01-31 深圳市柔宇科技有限公司 图像处理方法、电子装置和计算机可读存储介质
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統
CN111432117A (zh) * 2020-03-23 2020-07-17 北京迈格威科技有限公司 图像矫正方法、装置和电子***
CN111457886A (zh) * 2020-04-01 2020-07-28 北京迈格威科技有限公司 距离确定方法、装置及***
CN112911264A (zh) * 2021-01-27 2021-06-04 广东未来科技有限公司 3d拍摄方法、装置、存储介质及移动终端
CN113766209A (zh) * 2020-05-29 2021-12-07 上海汉时信息科技有限公司 相机偏移量处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820550A (zh) * 2009-02-26 2010-09-01 华为终端有限公司 多视点视频图像校正方法、装置及***
US20100277572A1 (en) * 2009-04-30 2010-11-04 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
CN102404595A (zh) * 2011-08-16 2012-04-04 上海交通大学 可提供3d节目拍摄指导的极线校正方法
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820550A (zh) * 2009-02-26 2010-09-01 华为终端有限公司 多视点视频图像校正方法、装置及***
US20100277572A1 (en) * 2009-04-30 2010-11-04 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉***
CN102404595A (zh) * 2011-08-16 2012-04-04 上海交通大学 可提供3d节目拍摄指导的极线校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RUBLEE E. ET AL: "ORB: An efficient alternative to SIFT or SURF", 《IEEE XPLORE DIGITAL LIBRARY》, 13 November 2011 (2011-11-13), pages 2564 - 2571, XP032101497, DOI: doi:10.1109/ICCV.2011.6126544 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103255A (zh) * 2013-04-07 2014-10-15 深圳富泰宏精密工业有限公司 显示屏校正***及方法
CN104103255B (zh) * 2013-04-07 2018-09-07 深圳富泰宏精密工业有限公司 显示屏校正***及方法
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准***和立体摄像机的校准方法
US9697604B2 (en) 2014-01-28 2017-07-04 Altek Semiconductor Corp. Image capturing device and method for detecting image deformation thereof
CN104811688B (zh) * 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
CN103927760A (zh) * 2014-04-30 2014-07-16 重庆环视科技有限公司 立体视觉自动颜色标定***
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN105096296B (zh) * 2014-05-05 2018-02-09 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN106663327A (zh) * 2014-08-27 2017-05-10 卡尔斯特里姆保健公司 3‑d表面的自动重新拼接
CN106663327B (zh) * 2014-08-27 2020-01-24 锐珂牙科技术顶阔有限公司 3-d表面的自动重新拼接
CN104735436A (zh) * 2014-12-29 2015-06-24 深圳超多维光电子有限公司 单摄像头立体成像方法及电子设备
CN105898268A (zh) * 2015-12-21 2016-08-24 乐视致新电子科技（天津）有限公司 立体拍摄***以及虚拟现实头盔
WO2017113849A1 (zh) * 2015-12-28 2017-07-06 乐视控股（北京）有限公司 虚拟现实调整视差的方法及装置
CN105812766A (zh) * 2016-03-14 2016-07-27 吉林大学 一种垂直视差消减方法
CN105812766B (zh) * 2016-03-14 2017-07-04 吉林大学 一种垂直视差消减方法
CN106952231A (zh) * 2017-03-20 2017-07-14 南京大学 一种基于手机平台的图像实时校正方法
CN106952231B (zh) * 2017-03-20 2019-06-11 南京大学 一种基于手机平台的图像实时校正方法
CN107622510A (zh) * 2017-08-25 2018-01-23 维沃移动通信有限公司 一种信息处理方法及装置
CN110741633A (zh) * 2017-09-11 2020-01-31 深圳市柔宇科技有限公司 图像处理方法、电子装置和计算机可读存储介质
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統
CN108305281A (zh) * 2018-02-09 2018-07-20 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN108305281B (zh) * 2018-02-09 2020-08-11 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN111432117A (zh) * 2020-03-23 2020-07-17 北京迈格威科技有限公司 图像矫正方法、装置和电子***
CN111432117B (zh) * 2020-03-23 2021-08-10 北京迈格威科技有限公司 图像矫正方法、装置和电子***
CN111457886A (zh) * 2020-04-01 2020-07-28 北京迈格威科技有限公司 距离确定方法、装置及***
CN111457886B (zh) * 2020-04-01 2022-06-21 北京迈格威科技有限公司 距离确定方法、装置及***
CN113766209A (zh) * 2020-05-29 2021-12-07 上海汉时信息科技有限公司 相机偏移量处理方法及装置
CN113766209B (zh) * 2020-05-29 2024-04-30 上海汉时信息科技有限公司 相机偏移量处理方法及装置
CN112911264A (zh) * 2021-01-27 2021-06-04 广东未来科技有限公司 3d拍摄方法、装置、存储介质及移动终端

Similar Documents

Publication Publication Date Title
CN102905147A (zh) 立体图像校正方法及装置
US10462384B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
CN102917232B (zh) 基于人脸识别的3d显示自适应调节方法和装置
CN102741879B (zh) 由单眼图像产生深度图的方法及其***
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US9087405B2 (en) Depth map generation using bokeh detection
CN103473771B (zh) 一种摄相机标定方法
CN103477645B (zh) 移动设备用立体摄像机装置及其拍摄方法
CN102479379B (zh) 图像校正方法与相关图像校正***
WO2012096163A1 (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN102955664A (zh) 电子书显示调整***及方法
CN103098477A (zh) 三维图像处理
KR20160119221A (ko) 이미징 디바이스에서의 사진 구도 및 포지션 안내
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
CN102065313A (zh) 平行式相机阵列的未标定多视点图像校正方法
CN101587386A (zh) 光标处理方法、装置及***
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
US10157439B2 (en) Systems and methods for selecting an image transform
US20140168371A1 (en) Image processing apparatus and image refocusing method
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN108460794B (zh) 一种双目立体红外显著目标检测方法及***
US8983227B2 (en) Perspective correction using a reflection
CN203289497U (zh) 便携式电子装置
CN104185012A (zh) 三维视频格式自动检测方法及装置
US10152803B2 (en) Multiple view image display apparatus and disparity estimation method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Yao Da

Inventor after: Zhong Xiongguang

Inventor after: Peng Chaojian

Inventor after: He Guangcai

Inventor before: Yao Hua

Inventor before: Zhong Xiongguang

Inventor before: Peng Chaojian

Inventor before: He Guangcai

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: YAO HUA ZHONG XIONGGUANG PENG CHAOJIAN HE GUANGCAI TO: YAO DA ZHONG XIONGGUANG PENG CHAOJIAN HE GUANGCAI

AD01 Patent right deemed abandoned

Effective date of abandoning: 20151216

C20 Patent right or utility model deemed to be abandoned or is abandoned