CN106331527B - 一种图像拼接方法及装置 - Google Patents

一种图像拼接方法及装置 Download PDF

Info

Publication number
CN106331527B
CN106331527B CN201610890008.9A CN201610890008A CN106331527B CN 106331527 B CN106331527 B CN 106331527B CN 201610890008 A CN201610890008 A CN 201610890008A CN 106331527 B CN106331527 B CN 106331527B
Authority
CN
China
Prior art keywords
coordinate
photographic device
image
pixel
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610890008.9A
Other languages
English (en)
Other versions
CN106331527A (zh
Inventor
袁梓瑾
简伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201610890008.9A priority Critical patent/CN106331527B/zh
Publication of CN106331527A publication Critical patent/CN106331527A/zh
Priority to PCT/CN2017/105657 priority patent/WO2018068719A1/zh
Application granted granted Critical
Publication of CN106331527B publication Critical patent/CN106331527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像拼接方法及装置。该方法包括：获取至少两个摄像装置各自拍摄到的图像；针对每个摄像装置，以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系；针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；根据该摄像装置的光心和该图像中指定的目标物点，对第二坐标进行修正，得到第三坐标；及，根据所有图像中每个像素的第三坐标对所有图像进行拼接。利用这些技术方案，能够提供无视差的拼接图像，提高图像拼接装置的资源利用率。

Description

一种图像拼接方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像拼接方法及装置。
背景技术
目前，360度全景视频逐渐成为虚拟现实领域主要的内容之一。相比于传统有限视野的视频，这种全景视频能够提供给用户更为逼真的沉浸观看体验。由于目前采集全景视频的单镜头***还很少，一般是由多个摄像装置或多个镜头***采集的视频拼接而成。
根据镜头的光学透视几何原理，两个不共光心的镜头***捕获的二维成像，在它们的公共视野部分总会存在一定的视差(parallax)。并且，在不同的深度面上，视差程度不一样，最终导致所拼接的图像在视觉上出现难以接受的瑕疵，例如重影、鬼影、连续线条错位断裂等。因此，拼接出的图像效果很差，影响了用户的观看体验，并且降低了成像装置的资源利用率。
发明内容
有鉴于此，本发明提供了一种图像拼接方法及装置，能够提供无视差的拼接图像，提高图像拼接装置的资源利用率。
本发明的技术方案是这样实现的：
本发明提供了一种图像拼接方法，包括：
获取至少两个摄像装置各自拍摄到的图像；
针对每个摄像装置，以预设的所述至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系；
针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：
将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；
根据该摄像装置的光心和该图像中指定的目标物点，对所述第二坐标进行修正，得到第三坐标；及，
根据所有图像中每个像素的所述第三坐标对所有图像进行拼接。
本发明还提供了一种图像拼接装置，包括：
获取模块，用于获取至少两个摄像装置各自拍摄到的图像；
坐标系构建模块，用于针对每个摄像装置，以预设的所述至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系；
坐标处理模块，用于针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；根据该摄像装置的光心和该图像中指定的目标物点，对所述第二坐标进行修正，得到第三坐标；及，
拼接模块，用于根据所有图像中每个像素的所述第三坐标对所有图像进行拼接。
与现有技术相比，本发明提供的方法，与所拍摄的物体的几何特性、摄像装置的具体成像几何公式、最终拼接的投影类型都无关，提供了一种无视差拼接深度面的通用技术，可以自适应的选择场景中的主要内容所在深度位置作为无视差拼接深度面，提供无视差的拼接图像，无需额外的去视差处理，提高了图像拼接装置的资源利用率。
附图说明
为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中，
图1为依据本发明一实施例的图像拼接方法的示例性流程图；
图2为依据本发明一实施例的构建笛卡尔坐标系的示意图；
图3为依据本发明一实施例的光心偏移补偿方法的示例性流程图；
图4a为依据本发明一实施例的对第二坐标进行修正的坐标示意图；
图4b为依据本发明一实施例的确定偏移量的坐标示意图；
图5为依据本发明另一实施例的图像拼接方法的示例性流程图；
图6a为依据本发明一实施例的拼接前的二维图像示意图；
图6b为依据本发明一实施例的拼接后的二维图像示意图；
图7依据本发明一实施例的图像拼接装置的结构示意图；
图8为依据本发明另一实施例的图像拼接装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中的图像拼接方法和装置适用于任何具有至少两个摄像装置的摄像***，其中，两个相邻的摄像装置的视角具有公共部分，即公共视野部分，二者所拍摄的图像具有重叠部分。根据本发明实施例中的方法，分别针对每个摄像装置拍摄到的图像进行处理，然后在整个摄像***中进行图像的拼接，在指定的目标物点(或者深度面)上能够得到完整的无视差的全景图像。
图1为依据本发明一实施例的图像拼接方法的示例性流程图。如图1所示，该方法可包括如下步骤：
步骤101，获取至少两个摄像装置各自拍摄到的图像。
本步骤，首先获取一摄像***中所有摄像装置拍摄到的图像。
步骤102，针对每个摄像装置，以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系。
由于每个摄像装置都具备一个自身镜头的光心，本步骤中，首先预设一个公共光心，即假设所有的摄像装置都具备这样一个理想的光心，以此为原点构建三维坐标系。
若三维坐标系表示为(X，Y，Z)，以预设的公共光心为原点构建该摄像装置的三维坐标系时，具体包括：以公共光心为原点，在该摄像装置的成像面的平行面上建立二维坐标系(X，Y)，然后根据二维坐标系(X，Y)和右手定则确定Z轴。
在一实施例中，该三维坐标系为笛卡尔坐标系。相对于摄像装置的坐标系而言，这种笛卡尔坐标系又被称为笛卡尔世界坐标系。图2为依据本发明一实施例的构建笛卡尔坐标系的示意图。如图2所示，X轴、Y轴和Z轴共同组成了一摄像装置A的笛卡尔坐标系，公共光心O为坐标系的原点。入射光以θ角进入摄像装置A的透镜***，经过透镜折射后，在摄像装置A的成像面x'o'y'上成像。其中，XOY面和x'o'y'面平行。
步骤103，针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：
步骤1031，将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；
步骤1032，根据该摄像装置的光心和该图像中指定的目标物点，对第二坐标进行修正，得到第三坐标。
其中，对于步骤1031，将第一坐标转换为第二坐标，具体包括：根据第一坐标确定该像素的角坐标，根据该摄像装置的透镜成像几何函数和第一坐标确定入射光与该三维坐标系(X，Y，Z)中Z轴之间的夹角，然后根据夹角和角坐标计算出第二坐标。
若一像素的第一坐标表示为(x1，y1)，角坐标表示为根据第一坐标确定该像素的角坐标包括确定的如下三角函数值：
若第二坐标表示为(x2，y2，z2)，夹角表示为θ，则按照如下公式计算出第二坐标中的x2、y2和z2：
若摄像装置的透镜成像几何函数为r(θ)，当该摄像装置的透镜为直线型(rectilinear)时，有r(θ)＝f·tan(θ)，则夹角
当该摄像装置的透镜为等距型(equidistant)时，有r(θ)＝f·θ，则夹角
其中，atan(·)表示取反正切值函数，pw，ph分别表示该像素的宽度与高度，f为透镜的焦距(如图2所示)。
对应到图2中，成像面x'o'y'的一个像素p1′，其第一坐标为(x1，y1)，p1′和原点o′之间的连线与x′o′轴之间的夹角为转换到笛卡尔坐标系(X，Y，Z)下，对应物点P1，其三维坐标如公式(2)所示。其中，P1在XOY二维面上的投影为p1，p1和原点O之间的连线与XO轴之间的夹角也为
上述公共光心O对所有的摄像装置而言是唯一的，但是考虑到实际中每个摄像装置都具备自己的一个光心O′，因此，需要根据光心之间的偏离对成像的图像进行补偿，使得其与O为原点下的成像一致。
对此，图3为依据本发明一实施例的光心偏移补偿方法的示例性流程图。针对步骤1032，根据该摄像装置的光心和该图像中指定的目标物点，对第二坐标进行修正，得到第三坐标，如图3所示，具体包括如下步骤：
步骤301，获取公共光心和目标物点之间的距离，即获取目标物点的深度。
本步骤中，目标物点可以由用户根据所拍摄到的图像中自己感兴趣的物点进行指定，或者，可以根据场景中的主要目标物或内容物进行指定。在指定了目标物点之后，估计出在XOZ面上公共光心和目标物点之间的距离。例如，根据第三方软件估计出在一具体的场景中该目标物点的深度为10m，或者20m等。
图4a为依据本发明一实施例的对第二坐标进行修正的坐标示意图。如图4a所示，目标物点为入射光上的物点P1，上述距离即为P1在XOZ面上投影的长度，即O到P′之间的长度，记为R0，该距离也称之为物点P1的深度。
步骤302，获取该摄像装置的光心相对于公共光心的偏移量。
本步骤中，考虑到在一个全景摄像***中相邻两个摄像装置所拍摄的图像之间具备重叠部分，根据重叠图像的样本数据以及和摄像装置的对应/匹配关系进行回归或者仿真估计，可以确定出上述偏移量。例如，一个全景(即360°)视频***，在三维空间中安置有多个照相机，每个照相机拍摄到一定视角范围内的图像。
图4b为依据本发明一实施例的确定偏移量的坐标示意图。如图4b所示，在三维球面400所构建的ABC坐标系中，在不同位置上布置有照相机401和402，二者所拍摄的图像具有重叠部分。根据重叠图像的样本数据可以确定出每个照相机的光心O′与原点O之间的偏移量。回到图4a中，光心O′相对于原点O在X轴、Y轴和Z轴上的偏移量分别为Tx，Ty，Tz。
步骤303，根据距离、偏移量和第二坐标计算出第三坐标。
对第二坐标进行修正，可以按照如下公式计算得到第三坐标(x3，y3，z3)中的每个坐标值x3、y3和z3：
其中，b＝2·(Tz·z2+Tx·x2)。
步骤104，根据所有图像中每个像素的第三坐标对所有图像进行拼接。
针对每个图像中的每个像素进行上述处理后，根据每个摄像装置在摄像***中所处的位置，按照某种投影类型对所有处理后的图像进行拼接，从而获得在目标物点所处的深度面上无任何视差的全景图像。
在本实施例中，通过获取至少两个摄像装置各自拍摄到的图像，针对每个摄像装置，以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系，针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；根据该摄像装置的光心和该图像中指定的目标物点，对第二坐标进行修正，得到第三坐标，根据所有图像中每个像素的第三坐标对所有图像进行拼接，提供了一种无视差拼接深度面的技术，可以自适应的选择场景中的主要内容所在深度位置作为无视差拼接深度面，使得场景中的主要内容呈现无视差瑕疵的拼接效果。
此外，上述方法中坐标的转换和光心偏移的补偿，与目标物点的几何特性无关，不依赖于具体的目标物点的形状，更适用于在时间维度上内容不断变化的视频应用。和现有技术相比，上述方法无需对场景内容进行特征检测与特征匹配，从而可以快速灵活的根据用户指定的目标物点(或者指定的无视差拼接深度面)，对期望位置处的物点或场景内容进行完整对齐，提供无视差的拼接图像。并且，上述方法和摄像装置的具体成像几何公式、最终拼接的投影类型也无关，因此，具有通用性，提高了图像拼接装置的资源利用率。
图5为依据本发明另一实施例的图像拼接方法的示例性流程图。如图5所示，包括如下步骤：
步骤501，获取至少两个摄像装置各自拍摄到的图像。
步骤502，针对每个摄像装置，以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的笛卡尔坐标系。
步骤503，针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：
步骤5031，进行坐标转换：
将该像素在该图像中二维坐标系的第一坐标转换为该笛卡尔坐标系下的第二坐标；
步骤5032，进行光心偏移补偿：
根据该摄像装置的光心和该图像中指定的目标物点，对第二坐标进行修正，得到第三坐标。
由上述公式(2)可以看出，第二坐标的模为1，即即所建立的笛卡尔坐标系是归一化的笛卡尔坐标系。由于归一化笛卡尔坐标系是不含深度信息的，所以在同一入射光线上两个深度不同的物点拥有相同的归一化笛卡尔坐标值。如图2所示，将p1′转换到归一化笛卡尔坐标系(X，Y，Z)下对应的物点不仅仅是P1，除了P1，还可以是沿着入射光上的其他物点，如图2中的P2。物点P1和P2的深度不同，即在XOZ面上相对于光心O之间的距离不同，但是二者拥有相同的归一化笛卡尔坐标值(x2，y2，z2)，都对应于成像面x'o'y'上的p1′。
步骤504，根据每个摄像装置在全景***中所处的位置，按照预设的投影类型将第三坐标投影到单位全景球面中。
当所有的摄像装置组成了一个全景的摄像***时，将第三坐标投影到一单位全景球面中。预设的投影类型包括但不限于：直线型(rectilinear)、鱼眼型(fisheye)、等矩柱状投影(equirectangular)、正射投影(orthographic)、球面投影(stereographic)等。
步骤505，在单位全景球面中将所有的图像进行拼接，得到全景图像。
通过上述步骤，在拼接后的全景图像中，能够在指定的目标物点位置上达到无视差的拼接深度面，相邻图像完全对齐，得到无拼接瑕疵的效果。在向用户展示图像时，可以将三维的全景头像再转换为二维的图像。
图6a为依据本发明一实施例的拼接前的二维图像示意图。其中，在左图600中，目标物点为第一旗杆(如箭头601所示)，对应于图4a中所示的P1-P′。在光心偏移补偿之前，在该旗杆处出现由于视差导致的上下、左右图像不对齐现象。在右图610中可以清楚的看到，旗杆的顶端611的左下方还出现多余的点611′，旗帜原本为612所示的图像，但是由于视差，导致最终成像的为612′。
图6b为依据本发明一实施例的拼接后的二维图像示意图。相应地，左图620为经过坐标变换、光心偏移补偿后的成像，在旗杆处上下图像完美对齐。在右图630中可以清楚的看到，在顶端611和旗帜612之外没有对齐的图像都消失，展现出了清晰的旗杆。可见，实现了对场景中主要内容物(即旗杆)的完美对齐，在旗杆位置处，成为无视差拼接深度面。
在具体应用时，还可以采用逆向处理的方式，即在一张空白的全景画布(canvas)上，逐像素执行逆处理过程(即依次执行步骤5032所述的光心偏移补偿、步骤5031所述的坐标转换操作)，找到它对应到的摄像装置所捕获图像的像素位置，然后插值得到当前全景画布上该像素的实际值。
图7依据本发明一实施例的图像拼接装置的结构示意图。如图7所示，图像拼接装置700包括获取模块710、坐标系构建模块720、坐标处理模块730和拼接模块740，其中，
获取模块710，用于获取至少两个摄像装置各自拍摄到的图像；
坐标系构建模块720，用于针对每个摄像装置，以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系；
坐标处理模块730，用于针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；根据该摄像装置的光心和该图像中指定的目标物点，对第二坐标进行修正，得到第三坐标；及，
拼接模块740，用于根据所有图像中每个像素的第三坐标对所有图像进行拼接。
在一实施例中，坐标处理模块730包括转换单元731，用于根据第一坐标确定该像素的角坐标；根据该摄像装置的透镜成像几何函数和第一坐标确定入射光与该三维坐标系(X，Y，Z)中Z轴之间的夹角；根据角坐标和夹角计算出第二坐标。
在一实施例中，若第一坐标表示为(x1，y1)，角坐标表示为转换单元731用于，确定：
该三维坐标系为笛卡尔坐标系，若第二坐标表示为(x2，y2，z2)，夹角表示为θ，转换单元731用于，按照如下公式计算得到x2、y2和z2：
z2＝cos(θ)
在一实施例中，坐标处理模块730包括修正单元732，用于获取公共光心和目标物点之间的距离；获取该摄像装置的光心相对于公共光心的偏移量；根据距离、偏移量和第二坐标计算出第三坐标。
在一实施例中，若距离表示为R0，偏移量表示为(Tx，Ty，Tz)，第二坐标表示为(x2，y2，z2)，第三坐标表示为(x3，y3，z3)，修正单元732用于，按照如下公式计算得到x3、y3和z3：
其中，b＝2·(Tz·z2+Tx·x2)。
在一实施例中，拼接模块740用于，根据每个摄像装置在全景***中所处的位置，按照预设的投影类型将第三坐标投影到单位全景球面中；在单位全景球面中将所有的图像进行拼接，得到全景图像。
图8为依据本发明另一实施例的图像拼接装置的结构示意图。该图像拼接装置800可包括：处理器810、存储器820、端口830以及总线840。处理器810和存储器820通过总线840互联。处理器810可通过端口830接收和发送数据。其中，
处理器810用于执行存储器820存储的机器可读指令模块。
存储器820存储有处理器810可执行的机器可读指令模块。处理器810可执行的指令模块包括：获取模块821、坐标系构建模块822、坐标处理模块823和拼接模块824。其中，
获取模块821被处理器810执行时可以为：获取至少两个摄像装置各自拍摄到的图像；
坐标系构建模块822被处理器810执行时可以为：针对每个摄像装置，以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系；
坐标处理模块823被处理器810执行时可以为：针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；根据该摄像装置的光心和该图像中指定的目标物点，对第二坐标进行修正，得到第三坐标；及，
拼接模块824被处理器810执行时可以为：根据所有图像中每个像素的第三坐标对所有图像进行拼接。
由此可以看出，当存储在存储器820中的指令模块被处理器810执行时，可实现前述各个实施例中获取模块、坐标系构建模块、坐标处理模块和拼接模块的各种功能。
上述装置和***实施例中，各个模块及单元实现自身功能的具体方法在方法实施例中均有描述，这里不再赘述。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此，本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种图像拼接方法，其特征在于，包括：
获取至少两个摄像装置各自拍摄到的图像；
针对每个摄像装置，以预设的所述至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系；
针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：
将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；
根据该摄像装置的光心和该图像中指定的目标物点，对所述第二坐标进行修正，得到第三坐标；及，
根据所有图像中每个像素的所述第三坐标对所有图像进行拼接；
其中，所述根据该摄像装置的光心和该图像中指定的目标物点，对所述第二坐标进行修正，得到第三坐标包括：
获取所述公共光心和所述目标物点之间的距离；
获取该摄像装置的光心相对于所述公共光心的偏移量；
根据所述距离、所述偏移量和所述第二坐标计算出所述第三坐标。
2.根据权利要求1所述的方法，其中，若所述三维坐标系表示为(X，Y，Z)，所述以预设的所述至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系包括：
以所述公共光心为原点，在该摄像装置的成像面的平行面上建立二维坐标系(X，Y)；
根据所述二维坐标系(X，Y)和右手定则确定Z轴。
3.根据权利要求1所述的方法，其中，若所述三维坐标系表示为(X，Y，Z)，所述将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标包括：
根据所述第一坐标确定该像素的角坐标；
根据该摄像装置的透镜成像几何函数和所述第一坐标确定入射光与该三维坐标系(X，Y，Z)中Z轴之间的夹角；
根据所述角坐标和所述夹角计算出所述第二坐标。
4.根据权利要求3所述的方法，其中，若所述第一坐标表示为(x1，y1)，所述角坐标表示为所述根据第一坐标确定该像素的角坐标包括：
确定的三角函数值分别为：
该三维坐标系为笛卡尔坐标系，若所述第二坐标表示为(x2，y2，z2)，所述夹角表示为θ，所述根据所述夹角和所述角坐标计算出所述第二坐标包括：
按照如下公式计算得到x2、y2和z2：
z2＝cos(θ)。
5.根据权利要求3或4所述的方法，其中，若所述第一坐标表示为(x1，y1)，所述透镜成像几何函数表示为r(θ)，所述夹角表示为θ，所述根据该摄像装置的透镜成像几何函数和所述第一坐标确定入射光与该三维坐标系(X，Y，Z)中Z轴之间的夹角包括：
当该摄像装置的透镜为直线型时，有r(θ)＝f·tan(θ)，则
当该摄像装置的透镜为等距型时，有r(θ)＝f·θ，则
其中，atan(·)表示取反正切值函数，pw，ph分别表示该像素的宽度与高度，f为透镜的焦距。
6.根据权利要求1所述的方法，其中，若所述距离表示为R0，所述偏移量表示为(Tx，Ty，Tz)，所述第二坐标表示为(x2，y2，z2)，所述第三坐标表示为(x3，y3，z3)，所述根据所述距离、所述偏移量和所述第二坐标计算出所述第三坐标包括：
按照如下公式计算得到x3、y3和z3：
其中，b＝2·(Tz·z2+Tx·x2)。
7.根据权利要求1至4、6中任一项所述的方法，其中，所述根据所有图像中每个像素的所述第三坐标对所有图像进行拼接包括：
根据每个摄像装置在全景***中所处的位置，按照预设的投影类型将所述第三坐标投影到单位全景球面中；
在所述单位全景球面中将所有的图像进行拼接，得到全景图像。
8.一种图像拼接装置，其特征在于，包括：
获取模块，用于获取至少两个摄像装置各自拍摄到的图像；
坐标系构建模块，用于针对每个摄像装置，以预设的所述至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系；
坐标处理模块，用于针对每个摄像装置拍摄到的一图像中的每个像素，执行以下处理：将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标；根据该摄像装置的光心和该图像中指定的目标物点，对所述第二坐标进行修正，得到第三坐标；及，
拼接模块，用于根据所有图像中每个像素的所述第三坐标对所有图像进行拼接；
其中，所述坐标处理模块包括修正单元，用于获取所述公共光心和所述目标物点之间的距离；获取该摄像装置的光心相对于所述公共光心的偏移量；根据所述距离、所述偏移量和所述第二坐标计算出所述第三坐标。
9.根据权利要求8所述的装置，其中，若所述三维坐标系表示为(X，Y，Z)，所述坐标处理模块包括转换单元，用于根据所述第一坐标确定该像素的角坐标；根据该摄像装置的透镜成像几何函数和所述第一坐标确定入射光与该三维坐标系(X，Y，Z)中Z轴之间的夹角；根据所述角坐标和所述夹角计算出所述第二坐标。
10.根据权利要求9所述的装置，其中，若所述第一坐标表示为(x1，y1)，所述角坐标表示为所述转换单元用于，确定：
该三维坐标系为笛卡尔坐标系，若所述第二坐标表示为(x2，y2，z2)，所述夹角表示为θ，所述转换单元用于，按照如下公式计算得到x2、y2和z2：
z2＝cos(θ)。
11.根据权利要求8所述的装置，其中，若所述距离表示为R0，所述偏移量表示为(Tx，Ty，Tz)，所述第二坐标表示为(x2，y2，z2)，所述第三坐标表示为(x3，y3，z3)，所述修正单元用于，按照如下公式计算得到x3、y3和z3：
其中，b＝2·(Tz·z2+Tx·x2)。
12.根据权利要求8至11中任一项所述的装置，其中，所述拼接模块用于，根据每个摄像装置在全景***中所处的位置，按照预设的投影类型将所述第三坐标投影到单位全景球面中；在所述单位全景球面中将所有的图像进行拼接，得到全景图像。
CN201610890008.9A 2016-10-12 2016-10-12 一种图像拼接方法及装置 Active CN106331527B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610890008.9A CN106331527B (zh) 2016-10-12 2016-10-12 一种图像拼接方法及装置
PCT/CN2017/105657 WO2018068719A1 (zh) 2016-10-12 2017-10-11 一种图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610890008.9A CN106331527B (zh) 2016-10-12 2016-10-12 一种图像拼接方法及装置

Publications (2)

Publication Number Publication Date
CN106331527A CN106331527A (zh) 2017-01-11
CN106331527B true CN106331527B (zh) 2019-05-17

Family

ID=57820319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610890008.9A Active CN106331527B (zh) 2016-10-12 2016-10-12 一种图像拼接方法及装置

Country Status (2)

Country Link
CN (1) CN106331527B (zh)
WO (1) WO2018068719A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331527B (zh) * 2016-10-12 2019-05-17 腾讯科技（北京）有限公司 一种图像拼接方法及装置
TWI660328B (zh) * 2017-02-23 2019-05-21 鈺立微電子股份有限公司 利用非平面投影影像產生深度圖的影像裝置及其相關方法
CN110519774B (zh) * 2018-05-21 2023-04-18 ***通信集团广东有限公司 基于vr技术的基站勘察方法、***和设备
EP3606032B1 (en) * 2018-07-30 2020-10-21 Axis AB Method and camera system combining views from plurality of cameras
CN109889736B (zh) * 2019-01-10 2020-06-19 深圳市沃特沃德股份有限公司 基于双摄像头、多摄像头的图像获取方法、装置及设备
CN110072158B (zh) * 2019-05-06 2021-06-04 复旦大学 球面赤道区域双c型全景视频投影方法
CN112449100B (zh) * 2019-09-03 2023-11-17 中国科学院长春光学精密机械与物理研究所 航空相机倾斜图像的拼接方法、装置、终端及存储介质
CN111142825B (zh) * 2019-12-27 2024-04-16 杭州拓叭吧科技有限公司 多屏视野的显示方法、***及电子设备
US11645780B2 (en) 2020-03-16 2023-05-09 Realsee (Beijing) Technology Co., Ltd. Method and device for collecting images of a scene for generating virtual reality data
CN111432119B (zh) * 2020-03-27 2021-03-23 北京房江湖科技有限公司 图像拍摄方法、装置、计算机可读存储介质及电子设备
CN112771842A (zh) * 2020-06-02 2021-05-07 深圳市大疆创新科技有限公司 成像方法、成像装置、计算机可读存储介质
CN113873220A (zh) * 2020-12-03 2021-12-31 上海飞机制造有限公司 一种偏差分析方法、装置、***、设备及存储介质
CN112669199B (zh) * 2020-12-16 2022-06-21 影石创新科技股份有限公司 图像拼接方法、计算机可读存储介质及计算机设备
CN114554176A (zh) * 2022-01-24 2022-05-27 北京有竹居网络技术有限公司 深度相机
CN115781665B (zh) * 2022-11-01 2023-08-08 深圳史河机器人科技有限公司 一种基于单目相机的机械臂控制方法、装置及存储介质
CN116643393B (zh) * 2023-07-27 2023-10-27 南京木木西里科技有限公司 基于显微图像偏转的处理方法及***
CN118118645A (zh) * 2024-04-23 2024-05-31 北京工业大学 一种基于vr技术的全景农场实现方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
CN101783883A (zh) * 2009-12-26 2010-07-21 华为终端有限公司 共光心摄像中的调整方法和共光心摄像***
CN102798350A (zh) * 2012-07-10 2012-11-28 中联重科股份有限公司 一种臂架挠度的测量方法、装置及***
CN104506764A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于拼接视频图像的汽车行驶记录***
CN105812640A (zh) * 2016-05-27 2016-07-27 北京伟开赛德科技发展有限公司 球型全景摄像装置及其视频图像传输方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60137655D1 (de) * 2000-02-29 2009-03-26 Panasonic Corp Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
JP3889650B2 (ja) * 2002-03-28 2007-03-07 三洋電機株式会社 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体
CN103379267A (zh) * 2012-04-16 2013-10-30 鸿富锦精密工业（深圳）有限公司 三维空间图像的获取***及方法
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
CN106331527B (zh) * 2016-10-12 2019-05-17 腾讯科技（北京）有限公司 一种图像拼接方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
CN101783883A (zh) * 2009-12-26 2010-07-21 华为终端有限公司 共光心摄像中的调整方法和共光心摄像***
CN102798350A (zh) * 2012-07-10 2012-11-28 中联重科股份有限公司 一种臂架挠度的测量方法、装置及***
CN104506764A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于拼接视频图像的汽车行驶记录***
CN105812640A (zh) * 2016-05-27 2016-07-27 北京伟开赛德科技发展有限公司 球型全景摄像装置及其视频图像传输方法

Also Published As

Publication number Publication date
CN106331527A (zh) 2017-01-11
WO2018068719A1 (zh) 2018-04-19

Similar Documents

Publication Publication Date Title
CN106331527B (zh) 一种图像拼接方法及装置
US10284794B1 (en) Three-dimensional stabilized 360-degree composite image capture
CN101673395B (zh) 图像拼接方法及装置
CN109064397B (zh) 一种基于摄像耳机的图像拼接方法及***
CN107316273B (zh) 全景图像采集装置及采集方法
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
US20190012804A1 (en) Methods and apparatuses for panoramic image processing
CN106709865B (zh) 一种深度图像合成方法及装置
CN110111262A (zh) 一种投影仪畸变校正方法、装置和投影仪
US20160295108A1 (en) System and method for panoramic imaging
CN107133918B (zh) 一种在三维场景中任意位置生成全景图的方法
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
KR102200866B1 (ko) 2차원 이미지를 이용한 3차원 모델링 방법
JP2007257100A (ja) パノラマ画像作成方法
TWI669683B (zh) 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體
Pathak et al. Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification
Baker et al. CasualStereo: Casual capture of stereo panoramas with spherical structure-from-motion
JP4778569B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法及びステレオ画像処理プログラム
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
JP2019527495A (ja) 立体画像キャプチャ
CN115147268A (zh) 实时取景方法、全景相机及计算机可读存储介质
Xu et al. Image rectification for single camera stereo system
Kudinov et al. The algorithm for a video panorama construction and its software implementation using CUDA technology
CN117455767B (zh) 全景图像拼接方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant