CN109785225A - 一种用于图像矫正的方法和装置 - Google Patents

一种用于图像矫正的方法和装置 Download PDF

Info

Publication number
CN109785225A
CN109785225A CN201711114579.4A CN201711114579A CN109785225A CN 109785225 A CN109785225 A CN 109785225A CN 201711114579 A CN201711114579 A CN 201711114579A CN 109785225 A CN109785225 A CN 109785225A
Authority
CN
China
Prior art keywords
photographic device
images
parameter
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711114579.4A
Other languages
English (en)
Other versions
CN109785225B (zh
Inventor
苗旺
郁理
范鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongsoft Technology Co Ltd
Original Assignee
Hongsoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongsoft Technology Co Ltd filed Critical Hongsoft Technology Co Ltd
Priority to CN201711114579.4A priority Critical patent/CN109785225B/zh
Priority to US16/188,324 priority patent/US11240477B2/en
Publication of CN109785225A publication Critical patent/CN109785225A/zh
Application granted granted Critical
Publication of CN109785225B publication Critical patent/CN109785225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种用于图像矫正的方法和装置，应用于图像处理领域，该方法包括：接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像；对所述两张图像进行极线矫正；对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正；将经过所述基于图像内容的矫正后的两张图像进行拼接。上述方法能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。

Description

一种用于图像矫正的方法和装置
技术领域
本发明涉及一种用于图像处理的方法和装置，具体地，涉及一种用于图像矫正的方法和装置。
背景技术
目前，立体图像采集需要对应左右眼的视线分别采集两幅图像，此图像需要在非视差方向保证像素对齐从而达到较好的观看效果，而目前多视点图像采集装置获得的左右眼图像往往存在着形变，而无法保证像素对齐，会使观看者产生很大的视觉不适。
发明内容
本发明提供的一种用于图像矫正的方法和装置，能够解决现有技术中获得的左右眼图像往往存在着形变，而无法保证像素对齐，会使观看者产生很大的视觉不适的问题。
本发明的第一方面提供一种用于图像矫正的方法，所述方法包括：接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像；对所述两张图像进行极线矫正；对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正；将经过所述基于图像内容的矫正后的两张图像进行拼接。
根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；所述对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正，包括：确定所述两张图像中对应的特征点对的位置；根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第一方面的第一可执行方式或本发明的第一方面的第二可执行方式，在本发明的第一方面的第三可执行方式中，所述确定所述两张图像中对应的特征点对的位置，包括：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第一方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第一方面的第四可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第一方面的第二可执行方式到第四可执行方式中任一可执行方式，在本发明的第一方面的第五可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第一方面的第五可执行方式，在本发明的第一方面的第六可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第一方面的第二可执行方式到第六可执行方式中任一可执行方式，在本发明的第一方面的第七可执行方式中，所述特征点对包括第一点和第二点；所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，包括：将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第一方面的第二可执行方式到第七可执行方式中任一，在本发明的第一方面的第八可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第一方面的第九可执行方式中，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；所述对所述两张图像进行极线矫正，包括：选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变；根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第九可执行方式中任一可执行方式，在本发明的第一方面的第十可执行方式中，在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，所述方法还包括：根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
本发明的第二方面提供一种用于图像矫正的装置，所述装置包括：接收器，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像；矫正模块，用于对所述两张图像进行极线矫正；所述矫正模块，还用于对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正；拼接模块，用于将经过所述基于图像内容的矫正后的两张图像进行拼接。
根据本发明的第二方面，在本发明的第二方面的第一可执行方式中，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；所述矫正模块，具体用于确定所述两张图像中对应的特征点对的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第二方面的第一可执行方式，在本发明的第二方面的第二可执行方式中，所述矫正模块，具体用于：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第二方面的第一可执行方式或本发明的第二方面的第二可执行方式，在本发明的第二方面的第三可执行方式中，所述矫正模块，具体用于：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第二方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第二方面的第四可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第二方面的第二可执行方式到第四可执行方式中任一可执行方式，在本发明的第二方面的第五可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第二方面的第五可执行方式，在本发明的第二方面的第六可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第二方面的第二可执行方式到第六可执行方式中任一可执行方式，在本发明的第二方面的第七可执行方式中，所述特征点对包括第一点和第二点；所述矫正模块，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第二方面的第二可执行方式到第七可执行方式中任一，在本发明的第二方面的第八可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第二方面的第九可执行方式中，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；所述矫正模块，具体用于：选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变；根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第九可执行方式中任一可执行方式，在本发明的第二方面的第十可执行方式中，所述拼接模块，还用于在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
本发明的第三方面提供一种用于图像矫正的***，所述***包括第一摄像装置，第二摄像装置，以及第一处理器；所述第一摄像装置和第二摄像装置用于从不同视点拍摄目标物体的图像；所述第一处理器，用于获取所述从不同视点拍摄目标物体的两张图像；所述第一处理器，还用于对所述两张图像进行极线矫正，对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正，将经过所述基于图像内容的矫正后的两张图像进行拼接。
根据本发明的第三方面，在本发明的第三方面的第一可执行方式中，所述第一处理器，具体用于：确定所述两张图像中对应的特征点对的位置；根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第三方面的第一可执行方式，在本发明的第三方面的第二可执行方式中，所述第一处理器，具体用于：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第三方面的第一可执行方式或本发明的第三方面的第二可执行方式，在本发明的第三方面的第三可执行方式中，所述第一处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第三方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第三方面的第四可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第三方面的第二可执行方式到第四可执行方式中任一可执行方式，在本发明的第三方面的第五可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第三方面的第五可执行方式，在本发明的第三方面的第六可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第三方面的第二可执行方式到第六可执行方式中任一可执行方式，在本发明的第三方面的第七可执行方式中，所述特征点对包括第一点和第二点；所述第一处理器，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第三方面的第二可执行方式到第七可执行方式中任一，在本发明的第三方面的第八可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第三方面的第九可执行方式中，所述第一处理器，具体用于：选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变；根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第九可执行方式中任一可执行方式，在本发明的第三方面的第十可执行方式中，所述第一处理器，还用于在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被第二处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第十可执行方式中任一可执行方式中所述方法的步骤。
本发明的第五方面提供一种用于图像矫正的装置，包括存储器、第三处理器以及存储在所述存储器中并可在所述第三处理器上运行的计算机程序，所述计算机程序被第三处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第十可执行方式中任一可执行方式所述方法的步骤。
本发明提供的一种用于图像矫正的方法和装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
附图说明
图1为本发明实施例一提供的一种用于图像矫正的方法的流程图；
图2为本发明实施例一提供的一种用于选取用于立体图拼接的图像的方法示意图；
图3为本发明实施例二提供的一种用于图像矫正的装置结构示意图；
图4为本发明实施例三提供的一种用于图像矫正的***结构示意图；
图5为本发明实施例四提供的一种用于图像矫正的装置结构示意图；
图6为本发明实施例五提供的一种用于图像矫正的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件。
本发明介绍的用于图像矫正的方法和装置可以用于生成立体图的摄像装置，如专业的多机位的摄像***，或配置有多个摄像装置的摄像***或终端，如配置有双摄像装置的终端，如带有双摄摄像头的手机，或带有双摄摄像头的平板电脑。
下面结合附图1对本发明实施例一提供的一种用于图像矫正的方法进行详细阐述。如图1所示，该方法包括：
步骤101，接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像。
拍摄所述两张图像的分别为第一摄像装置和第二摄像装置。该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red green blue，红绿蓝)图像。
可选的，上述的接收的动作可以为从存储装置中接收，该存储装置可以为RAM(Random Access Memory随机存取存储器)或闪存Flash Memory或ROM(Read-Only Memory只读存储器)等。
步骤102，对所述两张图像进行极线矫正。
所述对所述两张图像进行极线矫正，包括：选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变，根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。具体地，选取新的焦距为所述第一摄像装置和第二摄像装置的焦距，该新的焦距可以选取所述第一摄像装置和第二摄像装置中较大的焦距作为去畸变操作中新的焦距。这样，去畸变操作后，可以得到新的主点坐标和新的焦距。由于选取了同一个焦距作为所述第一摄像装置和第二摄像装置的焦距，可以保证去畸变后不同视角的图像视野一致，不存在明显的缩放关系。接下来，通过标定得到的上述第一摄像装置和第二摄像装置的平移矩阵T和旋转矩阵R，矫正摄像装置的相对姿态为平行状态，从而初步矫正图片为对准状态，相应计算方法如下：
依据平移矩阵T构造旋转矢量e1，e2以及e3＝e1×e2，则初始旋转矩阵为：
设旋转矩阵的Rodrigues形式为(n,θ),将该标定得到的旋转矩阵R通过罗德里格斯形式，各旋转一半，即上述的两张图像各沿旋转轴n旋转和分离为图像之间的两部分r1、r2，则上述两张图像的非视差方向的行对准矩阵为，
R1＝Rrectr1
R2＝Rrectr2
设上述两张图像坐标分别为(u1,v1)，(u2,v2)，则矫正后新的图像坐标(u′1new,v′1new)，(u′2new,v′2new)可由下述公式计算，
u′1new＝u′1/z′1
v′1new＝v′1/z′1；
u′2new＝u′2/z′2
v′2new＝v′2/z′2；
此时便完成了初步对齐计算。
步骤103，对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正。
所述对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正，包括：确定所述两张图像中对应的特征点对的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
所述确定所述两张图像中对应的特征点对的位置，包括：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(Random Sample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。
进一步的，所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，上述的关于第一参数的误差函数可以为将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵和优化后的第二摄像装置的旋转矩阵
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为第二摄像装置拍摄的图像的特征点坐标为定义向量之后定义误差函数为：
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
步骤104，将经过所述基于图像内容的矫正后的两张图像进行拼接。
在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，所述方法还包括：根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的方法，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合附图3对本发明实施例二提供的一种用于图像矫正的装置300进行详细阐述。如图3所示，该装置300包括：接收器301，矫正模块302，以及拼接模块303。
该接收器301，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像。
拍摄所述两张图像的分别为第一摄像装置和第二摄像装置。该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red green blue，红绿蓝)图像。
可选的，上述的接收的动作可以为从存储装置中接收，该存储装置可以为RAM(Random Access Memory随机存取存储器)或闪存Flash Memory或ROM(Read-Only Memory只读存储器)等。
矫正模块302，用于对所述两张图像进行极线矫正。
在这个功能中，矫正模块302，具体用于选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变，根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。具体地，选取新的焦距为所述第一摄像装置和第二摄像装置的焦距，该新的焦距可以选取所述第一摄像装置和第二摄像装置中较大的焦距作为去畸变操作中新的焦距。这样，去畸变操作后，可以得到新的主点坐标和新的焦距。由于选取了同一个焦距作为所述第一摄像装置和第二摄像装置的焦距，可以保证去畸变后不同视角的图像视野一致，不存在明显的缩放关系。接下来，通过标定得到的上述第一摄像装置和第二摄像装置的平移矩阵T和旋转矩阵R，矫正摄像装置的相对姿态为平行状态，从而初步矫正图片为对准状态，相应计算方法如下：
依据平移矩阵T构造旋转矢量e1，e2以及e3＝e1×e2，则初始旋转矩阵为：
设旋转矩阵的Rodrigues形式为(n,θ),将该标定得到的旋转矩阵R通过罗德里格斯形式，各旋转一半，即上述的两张图像各沿旋转轴n旋转和分离为图像之间的两部分r1、r2，则上述两张图像的非视差方向的行对准矩阵为，
R1＝Rrectr1
R2＝Rrectr2
设上述两张图像坐标分别为(u1,v1)，(u2,v2)，则矫正后新的图像坐标(u′1new,v′1new)，(u′2new,v′2new)可由下述公式计算，
u′1new＝u′1/z′1
v′1new＝v′1/z′1；
u′2new＝u′2/z′2
v′2new＝v′2/z′2；
此时便完成了初步对齐计算。
所述矫正模块302，还用于对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正。
在这部分功能中，所述矫正模块302，具体用于确定所述两张图像中对应的特征点对的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置。
上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
所述矫正模块，具体用于：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(RandomSample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。
所述矫正模块，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。所述矫正模块，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵和优化后的第二摄像装置的旋转矩阵
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为第二摄像装置拍摄的图像的特征点坐标为定义向量之后定义误差函数为：
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
拼接模块303，用于将经过所述基于图像内容的矫正后的两张图像进行拼接。
在这个功能中，所述拼接模块，还用于在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合附图4对本发明实施例三提供的一种用于图像矫正的***400进行详细阐述。如图4所示，该***400包括：第一摄像装置401、第二摄像装置402以及第一处理器403。
所述第一摄像装置401和第二摄像装置402用于从不同视点拍摄目标物体的图像。
所述第一摄像装置401和第二摄像装置402拍摄的两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red green blue，红绿蓝)图像。
所述第一处理器403，用于获取所述从不同视点拍摄目标物体的两张图像。
可选的，上述的获取的动作可以为从存储装置中获取，该存储装置可以为RAM(Random Access Memory随机存取存储器)或闪存Flash Memory或ROM(Read-Only Memory只读存储器)等。
所述第一处理器403，还用于对所述两张图像进行极线矫正，对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正，将经过所述基于图像内容的矫正后的两张图像进行拼接。
所述第一处理器，具体用于：选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变；根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。具体地，选取新的焦距为所述第一摄像装置和第二摄像装置的焦距，该新的焦距可以选取所述第一摄像装置和第二摄像装置中较大的焦距作为去畸变操作中新的焦距。这样，去畸变操作后，可以得到新的主点坐标和新的焦距。由于选取了同一个焦距作为所述第一摄像装置和第二摄像装置的焦距，可以保证去畸变后不同视角的图像视野一致，不存在明显的缩放关系。接下来，通过标定得到的上述第一摄像装置和第二摄像装置的平移矩阵T和旋转矩阵R，矫正摄像装置的相对姿态为平行状态，从而初步矫正图片为对准状态，相应计算方法如下：
依据平移矩阵T构造旋转矢量e1，e2以及e3＝e1×e2，则初始旋转矩阵为：
设旋转矩阵的Rodrigues形式为(n,θ),将该标定得到的旋转矩阵R通过罗德里格斯形式，各旋转一半，即上述的两张图像各沿旋转轴n旋转和分离为图像之间的两部分r1、r2，则上述两张图像的非视差方向的行对准矩阵为，
R1＝Rrectr1
R2＝Rrectr2
设上述两张图像坐标分别为(u1,v1)，(u2,v2)，则矫正后新的图像坐标(u′1new,v′1new)，(u′2new,v′2new)可由下述公式计算，
u′1new＝u′1/z′1
v′1new＝v′1/z′1；
u′2new＝u′2/z′2
v′2new＝v′2/z′2；
此时便完成了初步对齐计算。
所述第一处理器对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正，所述第一处理器具体用于：确定所述两张图像中对应的特征点对的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
所述第一处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(RandomSample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。
进一步的，所述第一处理器，具体用于：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，所述第一处理器可以具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵和优化后的第二摄像装置的旋转矩阵
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为第二摄像装置拍摄的图像的特征点坐标为定义向量之后定义误差函数为：
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
所述第一处理器，还用于在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的***，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合图5具体描述本发明实施例四提供的一种用于图像矫正的装置500，该装置500包括一种计算机可读存储介质501，所述计算机可读存储介质501存储有计算机程序，所述计算机程序被第二处理器502执行时实现如实施例一的方法的步骤。如图5所示，可选的，该装置500可以包括总线。
关于本实施例中部件功能的描述可以参见实施例一或二或三。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合图6具体描述本发明实施例五提供的一种用于标定的装置600，该装置600包括存储器601、第三处理器602以及存储在所述存储器601中并可在所述第三处理器602上运行的计算机程序，所述计算机程序被第三处理器602执行时实现如实施例一所述方法的步骤。可选的，如图6所示，该装置600还包括总线。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是装置/终端设备的示例，并不构成对装置/终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-ProgrammableGate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像，也可以整体成像。无论是局部成像，或整体成像都适用或对局部成像，或整体成像相应做出调整后适用本发明提供的方法或装置，上述调整本领域普通技术人员不需要付出创造性劳动，应属于本发明的保护范围。

Claims (35)

1.一种用于图像矫正的方法，其特征在于，所述方法包括：
接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像；
对所述两张图像进行极线矫正；
对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正；
将经过所述基于图像内容的矫正后的两张图像进行拼接。
2.根据权利要求1所述的方法，其特征在于，
拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
所述对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正，包括：
确定所述两张图像中对应的特征点对的位置；
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
3.根据权利要求2所述的方法，其特征在于，
所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；
根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；
根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
4.根据权利要求2或3所述的方法，其特征在于，所述确定所述两张图像中对应的特征点对的位置，包括：
确定所述两张图像中候选的对应的特征点对的位置；
去除所述候选的对应的特征点对中对应错误的特征点对。
5.根据权利要求2-4任一权利要求所述的方法，其特征在于，
所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
6.根据权利要求3-5任一权利要求所述的方法，其特征在于，
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
7.根据权利要求6所述的方法，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
8.根据权利要求3-7任一权利要求所述的方法，其特征在于，所述特征点对包括第一点和第二点；
所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，包括：
将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
9.根据权利要求3-8任一权利要求所述的方法，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
10.根据权利要求1-9任一权利要求所述的方法，其特征在于，
拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
所述对所述两张图像进行极线矫正，包括：
选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变；
根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。
11.根据权利要求1-10任一权利要求所述的方法，其特征在于，在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，所述方法还包括：
根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
12.一种用于图像矫正的装置，其特征在于，所述装置包括：
接收器，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像；
矫正模块，用于对所述两张图像进行极线矫正；
所述矫正模块，还用于对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正；
拼接模块，用于将经过所述基于图像内容的矫正后的两张图像进行拼接。
13.根据权利要求12所述的装置，其特征在于，
拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
所述矫正模块，具体用于确定所述两张图像中对应的特征点对的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
14.根据权利要求13所述的装置，其特征在于，
所述矫正模块，具体用于：
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；
根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；
根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
15.根据权利要求13或14所述的装置，其特征在于，
所述矫正模块，具体用于：
确定所述两张图像中候选的对应的特征点对的位置；
去除所述候选的对应的特征点对中对应错误的特征点对。
16.根据权利要求13-15任一权利要求所述的装置，其特征在于，
所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
17.根据权利要求14-16任一权利要求所述的装置，其特征在于，
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
18.根据权利要求17所述的装置，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
19.根据权利要求14-18任一权利要求所述的装置，其特征在于，
所述特征点对包括第一点和第二点；
所述矫正模块，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
20.根据权利要求14-19任一权利要求所述的装置，其特征在于，
所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
21.根据权利要求12-20任一权利要求所述的装置，其特征在于，
拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
所述矫正模块，具体用于：
选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变；
根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。
22.根据权利要求12-21任一权利要求所述的装置，其特征在于，
所述拼接模块，还用于在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
23.一种用于图像矫正的***，其特征在于，所述***包括第一摄像装置，第二摄像装置，以及第一处理器；
所述第一摄像装置和第二摄像装置用于从不同视点拍摄目标物体的图像；
所述第一处理器，用于获取所述从不同视点拍摄目标物体的两张图像；
所述第一处理器，还用于对所述两张图像进行极线矫正，对经过所述极线矫正后的所述两张图像进行基于图像内容的矫正，将经过所述基于图像内容的矫正后的两张图像进行拼接。
24.根据权利要求23所述的***，其特征在于，
所述第一处理器，具体用于：
确定所述两张图像中对应的特征点对的位置；
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
25.根据权利要求24所述的***，其特征在于，
所述第一处理器，具体用于：
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；
根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；
根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
26.根据权利要求24或25所述的***，其特征在于，
所述第一处理器，具体用于：
确定所述两张图像中候选的对应的特征点对的位置；
去除所述候选的对应的特征点对中对应错误的特征点对。
27.根据权利要求24-26任一权利要求所述的***，其特征在于，
所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
28.根据权利要求25-27任一权利要求所述的***，其特征在于，
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
29.根据权利要求28所述的***，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
30.根据权利要求25-29任一权利要求所述的***，其特征在于，所述特征点对包括第一点和第二点；
所述第一处理器，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
31.根据权利要求25-30任一权利要求所述的***，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
32.根据权利要求23-31任一权利要求所述的***，其特征在于，
所述第一处理器，具体用于：
选取所述第一摄像装置和第二摄像装置的焦距参数为相同的焦距参数，根据所述选取的焦距参数对所述两张图像去畸变；
根据所述第一摄像装置和第二摄像装置的平移矩阵和旋转矩阵确定所述两张图像在非视差方向的行对准矩阵，根据所述非视差方向的行对准矩阵矫正所述两张图像。
33.根据权利要求23-32任一权利要求所述的***，其特征在于，
所述第一处理器，还用于在所述将经过所述基于图像内容的矫正后的两张图像进行拼接之前，根据图像中的内容在经过所述基于图像内容的矫正后的两张图像中选取进行拼接的图像。
34.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第二处理器执行时实现如权利要求1-11任一权利要求所述方法的步骤。
35.一种用于图像处理的装置，包括存储器、第三处理器以及存储在所述存储器中并可在所述第三处理器上运行的计算机程序，其特征在于，所述计算机程序被第三处理器执行时实现如权利要求1-11任一权利要求所述方法的步骤。
CN201711114579.4A 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置 Active CN109785225B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711114579.4A CN109785225B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置
US16/188,324 US11240477B2 (en) 2017-11-13 2018-11-13 Method and device for image rectification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711114579.4A CN109785225B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置

Publications (2)

Publication Number Publication Date
CN109785225A true CN109785225A (zh) 2019-05-21
CN109785225B CN109785225B (zh) 2023-06-16

Family

ID=66432604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711114579.4A Active CN109785225B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置

Country Status (2)

Country Link
US (1) US11240477B2 (zh)
CN (1) CN109785225B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN111432117A (zh) * 2020-03-23 2020-07-17 北京迈格威科技有限公司 图像矫正方法、装置和电子***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188046B1 (en) * 2020-11-03 2021-11-30 Samsara Inc. Determining alerts based on video content and sensor data
CN117237192B (zh) * 2023-09-25 2024-05-31 中国人民解放军61540部队 视场分割集成面阵相机的全幅影像拼合方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577004A (zh) * 2009-06-25 2009-11-11 青岛海信数字多媒体技术国家重点实验室有限公司 一种极线矫正方法、装置和***
JP2010197198A (ja) * 2009-02-25 2010-09-09 Roland Dg Corp 画像の差分による高精度ステレオカメラキャリブレーション
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
CN104956664A (zh) * 2012-12-28 2015-09-30 株式会社理光 校准装置、投影仪以及校准方法
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2767404B1 (fr) * 1997-08-12 1999-10-22 Matra Systemes Et Information Procede de production de donnees cartographiques par stereovision
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7444013B2 (en) * 2001-08-10 2008-10-28 Stmicroelectronics, Inc. Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
WO2007054864A1 (en) * 2005-11-14 2007-05-18 Koninklijke Philips Electronics N.V. A method, a system and a computer program for volumetric registration
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
KR101490689B1 (ko) * 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8494254B2 (en) * 2010-08-31 2013-07-23 Adobe Systems Incorporated Methods and apparatus for image rectification for stereo display
JP5648452B2 (ja) * 2010-12-03 2015-01-07 富士通株式会社 画像処理プログラムおよび画像処理装置
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9560334B2 (en) * 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair
US9374571B2 (en) * 2011-10-11 2016-06-21 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging device, and image processing method
US20130163854A1 (en) * 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
CN104299261B (zh) * 2014-09-10 2017-01-25 深圳大学 人体三维成像方法及***
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
WO2017051407A1 (en) * 2015-09-21 2017-03-30 Inuitive Ltd. Storing data retrieved from different sensors for generating a 3-d image
US20170113611A1 (en) * 2015-10-27 2017-04-27 Dura Operating, Llc Method for stereo map generation with novel optical resolutions
US10692262B2 (en) * 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197198A (ja) * 2009-02-25 2010-09-09 Roland Dg Corp 画像の差分による高精度ステレオカメラキャリブレーション
CN101577004A (zh) * 2009-06-25 2009-11-11 青岛海信数字多媒体技术国家重点实验室有限公司 一种极线矫正方法、装置和***
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
CN104956664A (zh) * 2012-12-28 2015-09-30 株式会社理光 校准装置、投影仪以及校准方法
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王涵等: "单张图片自动重建带几何细节的人脸形状", 《计算机辅助设计与图形学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN110636276B (zh) * 2019-08-06 2021-12-28 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN111432117A (zh) * 2020-03-23 2020-07-17 北京迈格威科技有限公司 图像矫正方法、装置和电子***
CN111432117B (zh) * 2020-03-23 2021-08-10 北京迈格威科技有限公司 图像矫正方法、装置和电子***

Also Published As

Publication number Publication date
US11240477B2 (en) 2022-02-01
US20190149798A1 (en) 2019-05-16
CN109785225B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN109272478B (zh) 一种荧幕投影方法和装置及相关设备
CN109005394B (zh) 一种投影图像的校正方法及投影机
CN109785225A (zh) 一种用于图像矫正的方法和装置
CN108846796B (zh) 图像拼接方法及电子设备
CN109785390A (zh) 一种用于图像矫正的方法和装置
CN104246795B (zh) 用于超广角透镜图像的自适应透视修正的方法和***
WO2017115348A1 (en) Adaptive stitching of frames in the process of creating a panoramic frame
CN108805801A (zh) 一种全景图像校正方法及***
CN109754426A (zh) 一种用于验证的方法和装置
KR100790887B1 (ko) 영상 처리장치 및 방법
CN105959576A (zh) 无人机拍摄全景图的方法及装置
CN106952219B (zh) 一种基于外参数修正鱼眼像机的图像生成方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN109035134B (zh) 全景图像拼接方法、装置、电子设备及存储介质
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
KR100614004B1 (ko) 자동화된 360°파노라마 이미지 생성 방법
CN111757086A (zh) 有源双目相机、rgb-d图像确定方法及装置
Sajadi et al. Scalable Multi‐view Registration for Multi‐Projector Displays on Vertically Extruded Surfaces
CN112598751A (zh) 标定方法及装置、终端和存储介质
CN110163922B (zh) 鱼眼相机标定***、方法、装置、电子设备及存储介质
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
JP2005234698A (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
CN115834860A (zh) 背景虚化方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant