CN110796596A - 图像拼接方法、成像装置及全景成像*** - Google Patents

图像拼接方法、成像装置及全景成像*** Download PDF

Info

Publication number
CN110796596A
CN110796596A CN201910815362.9A CN201910815362A CN110796596A CN 110796596 A CN110796596 A CN 110796596A CN 201910815362 A CN201910815362 A CN 201910815362A CN 110796596 A CN110796596 A CN 110796596A
Authority
CN
China
Prior art keywords
depth
field
focal plane
camera
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910815362.9A
Other languages
English (en)
Inventor
邢彦文
夏丽敏
张荃
蒋芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Desay Microelectronic Technology Ltd Co
Original Assignee
Shenzhen Desay Microelectronic Technology Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Desay Microelectronic Technology Ltd Co filed Critical Shenzhen Desay Microelectronic Technology Ltd Co
Priority to CN201910815362.9A priority Critical patent/CN110796596A/zh
Publication of CN110796596A publication Critical patent/CN110796596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本申请提供一种图像拼接方法、成像装置及全景成像***，该方法应用于成像装置，成像装置包括至少两个景深摄像头，方法包括：获取参考点，确定参考点在第一景深摄像头中的焦平面成像点；通过第一景深摄像头，根据焦平面成像点的投影坐标参数获取对应位置的景深参数；根据焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；基于空间坐标参数在第二景深摄像头中获得对应的焦平面成像点；根据第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。本申请通过引入景深参数可以使得图像的拼接过程更加准确，进而在较少的运算资源下获得较佳的图像拼接效果。

Description

图像拼接方法、成像装置及全景成像***
技术领域
本申请涉及图像处理领域，特别涉及一种图像拼接方法、成像装置及全景成像***。
背景技术
图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像的技术。
传统的图像拼接方式是将图像上的某些特征点进行提取，并基于不同图像中对应的特征点进行配准，从而进行图像拼接。拼接过程中，一般难以同时照顾远区以及近区的拼接效果，拼接过程中若按远区的参数进行拼接，则近区的图像会出现拼接效果不佳的情况，反之亦然。并且，因为不同摄像头所拍摄的景物是不断变化的，采用传统方式拼接图像容易出现错位。另外，若要对上述问题进行修正，需要进行大量的计算，从而使得处理速度较慢，且占用计算机较多的运算资源。
发明内容
本申请提供一种图像拼接方法、成像装置及全景成像***，可以获得较佳的图像拼接效果。
本申请提供一种图像拼接方法，应用于成像装置，所述成像装置包括至少两个景深摄像头，所述方法包括：
获取参考点，确定所述参考点在第一景深摄像头中的焦平面成像点；
通过所述第一景深摄像头，根据所述焦平面成像点的投影坐标参数获取对应位置的景深参数；
根据所述焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述模型所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；
基于所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点；
根据所述第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。
可选的，所述根据所述焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述模型所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数，包括：
获取预设的投影变换矩阵，所述投影变换矩阵为所述景深摄像头中焦平面成像点的投影坐标参数与对应的世界坐标系的空间坐标参数之间的变换关系；
利用投影变换矩阵以及所述焦平面成像点的投影坐标参数、对应位置的景深参数确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数。
可选的，基于所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点，包括：
获取预设的投影变换矩阵，所述投影变换矩阵为所述景深摄像头中焦平面成像点的投影坐标参数与对应的世界坐标系的空间坐标参数之间的变换关系；
利用所述投影变换矩阵以及所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点。
可选的，在所述获取预设的投影变换矩阵之前，还包括：
根据标定模板设定若干参考点；
获取所述参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值；
根据所述参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值获得投影变换矩阵。
可选的，所述参考点包括至少3个，所述参考点的空间位置不能位于同一平面上。
可选的，所述景深摄像头为RGB_D摄像头、ToF摄像头或者具有至少两个摄像组件、带景深检测功能的组合摄像头的至少一种。
可选的，所述景深摄像头为RGB_D摄像头；
所述根据所述焦平面成像点的投影坐标参数获取对应位置的景深参数，包括：
根据所述焦平面成像点的投影坐标参数，确定所述投影坐标参数对应的传感器像素点；
获取所述传感器像素点所得到的景深参数。
本申请还提供一种成像装置，所述装置包括处理器、存储器以及至少两个景深摄像头，所述处理器与存储器、景深摄像头之间电性连接；
所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，以执行以下步骤：
获取参考点，确定所述参考点在第一景深摄像头中的焦平面成像点；
通过所述第一景深摄像头，根据所述焦平面成像点的投影坐标参数获取对应位置的景深参数；
根据所述焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；
基于所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点；
根据所述第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。
可选的，所述景深摄像头为RGB_D摄像头、ToF摄像头或者具有至少两个摄像组件、带景深检测功能的组合摄像头。
本申请还提供一种全景成像***，所述***包括至少一个成像装置，所述成像装置为如上所述的成像装置；
其中，所述景深摄像头包括至少2个，用于设置在载具上并朝向所述载具的不同方向，相邻的所述景深摄像头两两之间进行图像拼接，以形成载具拼接图像。
由上可知，本申请实施例中的图像拼接方法、成像装置及全景成像***，通过景深摄像头获取参考点中的焦平面成像点以及相应的景深参数，并基于上述数据获得该参考点及与其共线的其他参考点在世界坐标系下的空间坐标参数，再利用该参考点的空间坐标参数将不同景深摄像头所获得的图像进行拼接。上述方式通过引入景深参数可以使得图像的拼接过程更加准确，进而在较少的运算资源下获得较佳的图像拼接效果。
附图说明
图1为本申请实施例提供的图像拼接方法的实现流程图。
图2为本申请实施例提供的图像拼接方法的应用场景示意图。
图3为本申请实施例提供的获得投影变换矩阵的实现流程图。
图4为本申请实施例提供的成像装置的结构示意图。
图5为本申请实施例提供的全景成像***的结构示意图。
图6为本申请实施例提供的全景成像***的应用场景示意图。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。
本申请实施例提供了一种图像拼接方法，该方法应用于成像装置中。
其中，该成像装置包括至少两个景深摄像头，该景深摄像头除了获取当前视角中的图像以外，还可以获取当前图像中各个部分的景深参数。
在一些实施例中，该景深摄像头可以是RGB_D摄像头、ToF摄像头或者具有至少两个摄像组件、带景深检测功能的组合摄像头的至少一种。该组合摄像头可以是由双摄像组件、三摄像组件组合而成。
请参阅图1，图中示出了本申请实施例提供的图像拼接方法，该方法应用于成像装置中。
如图1所示，该方法包括：
101、获取参考点，确定参考点在第一景深摄像头中的焦平面成像点。
其中，该参考点可以为多个，且该参考点的位置可以提前设定或者在成像时基于特征点进行设定。该焦平面成像点位于景深摄像头中的焦平面成像中，该第一景深摄像头中的焦平面成像由景深摄像头获取。该焦平面成像设置于摄像头坐标系中。
在一些情况下，该第一景深摄像头中的焦平面成像可以通过预先对摄像头所获得的图像经过畸变矫正后得到，具体的畸变矫正方式可以根据实际情况进行设定。
在一些实施例中，为了提高算法准确度进而提升拼接效果，该参考点可以设置成至少3个或3个以上，多个参考点之间可共线。
结合图2，图中示出了本申请实施例提供的图像拼接方法的应用场景。
在该应用场景中，该参考点为M，物体在世界坐标系下的实际坐标点为P，第一景深摄像头为C1，该第一景深摄像头C1的焦平面成像为F1，参考点M在该焦平面成像F1中的焦平面成像点为Q，第二景深摄像头为C1，该第二景深摄像头C1的焦平面成像为F2，该物体的实际坐标点P在焦平面成像F2中的焦平面成像点为S。
可知，该焦平面成像点Q、焦平面成像点S分别为实际坐标点P在第一景深摄像头C1以及第二景深摄像头C2的焦平面成像点。
具体的，为了便于公式计算，结合投影转换矩阵可以得到：
zcPc＝M3×4Pw (1)
其中Pw为目标位置P点在世界坐标系下的空间坐标参数，Pc为目标位置P点在景深摄像头焦平面的投影坐标，zc为齐次坐标因子，矩阵M3×4为对应的坐标变换矩阵。
可以将该参考点M设为其在第一景深摄像头的焦平面成像点利用上述公式(1)求得为
Figure BDA0002186213700000062
102、通过第一景深摄像头，根据焦平面成像点的投影坐标参数获取对应位置的景深参数。
其中，景深参数用于表示该焦平面成像点所在投影坐标的景深程度。
在一些实施例中，若景深摄像头采用RGB_D摄像头，则根据焦平面成像点的投影坐标参数获取对应位置的景深参数，包括：
根据焦平面成像点的投影坐标参数，确定投影坐标参数对应的传感器像素点；获取传感器像素点所得到的景深参数。
具体的，在RGB_D摄像头中，传感器中每一像素点均能独立获得对应的景深参数，通过确认焦平面成像点的投影坐标参数，可以快速定位相对应的传感器像素点，进而获取该传感器像素点所得到的景深参数。
并且，采用RGB_D摄像头在基于焦平面成像点的投影坐标参数中所获得的景深参数可以更加准确，使得图像的拼接效果更佳。
103、根据焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数。
其中，要确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数，需要获得预设的投影变换矩阵。该投影变换矩阵为景深摄像头中焦平面成像点的投影坐标参数与对应的世界坐标系中目标位置P的空间坐标参数之间的变换关系，参考公式(1)。
当此时刚好有障碍物经过，参考点M与第一景深摄像头C1的连线恰好被障碍物(目标位置P)挡住，此时在第一景深摄像头C1的焦平面成像点为
Figure BDA0002186213700000071
该参考点M在世界坐标系下的空间坐标参数以及景深摄像头中焦平面成像点的投影坐标参数之间的投影变换矩阵为：
Figure BDA0002186213700000072
因M，P和C1在同一条直线上，则
Figure BDA0002186213700000073
同时也可以得到P点在第一景深摄像头C1中的深度参数
Figure BDA0002186213700000074
从而获得：
Figure BDA0002186213700000075
可见，求解该方程组即可求解出目标位置P点在世界坐标系的空间坐标参数为
Figure BDA0002186213700000076
如此类推，再在其他与该目标位置P点共线的位置点作为参考点，对其他参考点获取其对应的在世界坐标系的空间坐标参数，上述参考点均可以用于参数计算。
因此，利用投影变换矩阵以及焦平面成像点的投影坐标参数、对应位置的景深参数可以确定参考点及与其共线的其它参考点在世界坐标系下的目标位置P的空间坐标参数。
104、基于空间坐标参数在第二景深摄像头中获得对应的焦平面成像点。
由于目标位置P的世界坐标系的空间坐标参数和第二景深摄像头C2的世界坐标系的空间坐标参数为已知，同样根据方程(1)，即可可计算出P点在摄像机C2的焦平面上的投影点
Figure BDA0002186213700000081
此时S点反应的景物信息即为空间景物P点的RGB信息，即：
Figure BDA0002186213700000082
因此，利用该投影变换矩阵以及目标位置P及与其共线的其他位置的空间坐标参数在第二景深摄像头中可以获得对应的焦平面成像点。
105、根据第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。
根据第一景深摄像头C1的焦平面成像点
Figure BDA0002186213700000083
和第二景深摄像头C2的焦平面成像点
Figure BDA0002186213700000084
在参考点M上进行拼接，即可完成三维景物所对应图像的拼接。
通过上述的拼接方式，可以基于该参考点进行图像拼接，因不同参考点对应的目标位置的深度参数不同，使得图像的拼接过程可以根据相应的深度参数直接执行算法计算，无需考虑该图像是否位于远区抑或是近区，可取得较佳的整体拼接效果。同时，该算法中采用的投影转换矩阵可以预先进行存储，只需要在拼接时直接调取出来代入参数计算即可，相对于现有方式可以大大减少对运算资源的占用。
需要说明的是，其图像拼接过程可以根据实际需求采用常见的图像拼接方式，本申请在此不作限定。
由上可知，本申请实施例中的图像拼接方法，通过景深摄像头获取参考点中的焦平面成像点以及相应的景深参数，并基于上述数据获得该参考点在世界坐标系下的空间坐标参数，再利用该参考点的空间坐标参数将不同景深摄像头所获得的图像进行拼接。上述方式通过引入景深参数可以使得图像的拼接过程更加准确，进而在较少的运算资源下获得较佳的图像拼接效果。
请参阅图3，图中示出了本申请实施例提供的获得投影变换矩阵的实现流程。
如图3所示，在获取预设的投影变换矩阵之前，可以包括：
201、根据标定模板设定若干参考点。
其中，为了便于计算，该参考点包括至少3个，且参考点的空间位置不能位于同一平面上。在一些实施例中，该参考点包括至少6个。
202、获取参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值。
203、根据参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值获得投影变换矩阵。
其中，根据标定模板，假设空间中存在n个参考点，且这n个参考点在世界坐标系下的坐标为Pwi(xwi，ywi，zwi)，在摄像头坐标系下的像素坐标为P1i(ui，vi)，i＝1，2，...，n，带入公式(1)有：
P1i＝M*Pwi (2)
通过对上述公式(2)进行求解，可以获得摄像头的投影变换矩阵以及摄像头在空间坐标系中的位置坐标。
利用上述方式求解出投影变换矩阵，该图像拼接方法可以在执行拼接过程中直接获取该投影变换矩阵，并利用相应的参数获得不同摄像头在相应的焦平面成像点的对应关系，从而基于该对应关系进行图像拼接。如此可以在占用计算量较小的情况下获得较佳的拼接效果。
请参阅图4，图中示出了本申请实施例提供的成像装置的结构。
如图4所示，该成像装置30，包括处理器31、存储器32以及至少两个景深摄像头33，处理器31与存储器32、景深摄像头33之间电性连接；
存储器32中存储有计算机程序，处理器31通过调用存储器32中存储的计算机程序，以执行以下步骤：
获取参考点，确定参考点在第一景深摄像头33中的焦平面成像点；
通过第一景深摄像头33，根据焦平面成像点的投影坐标参数获取对应位置的景深参数；
根据焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；
基于空间坐标参数在第二景深摄像头33中获得对应的焦平面成像点；
根据第一景深摄像头33以及第二景深摄像头33的焦平面成像点进行图像拼接。
在一些实施例中，该处理器31，还用于：
获取预设的投影变换矩阵，所述投影变换矩阵为所述景深摄像头33中焦平面成像点的投影坐标参数与对应的世界坐标系的空间坐标参数之间的变换关系；
利用投影变换矩阵以及所述焦平面成像点的投影坐标参数、对应位置的景深参数确定所述模型所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数。
在一些实施例中，该处理器31，还用于：
获取预设的投影变换矩阵，所述投影变换矩阵为所述景深摄像头33中焦平面成像点的投影坐标参数与对应的世界坐标系的空间坐标参数之间的变换关系；
利用所述投影变换矩阵以及所述空间坐标参数在第二景深摄像头33中获得对应的焦平面成像点。
在一些实施例中，该处理器31，还用于：
根据标定模板设定若干参考点；
获取所述参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值；
根据所述参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值获得投影变换矩阵。
在一些实施例中，参考点包括至少3个，所述参考点的空间位置不能位于同一平面上。
在一些实施例中，景深摄像头33为RGB_D摄像头、ToF摄像头或者具有至少两个摄像组件、带景深检测功能的组合摄像头的至少一种。
本申请实施例中，该成像装置与上文实施例中的图像拼接方法属于同一构思，在成像装置上可以运行图像拼接方法实施例中提供的任一方法步骤，其具体实现过程详见图像拼接方法实施例，并可以采用任意结合形成本申请的可选实施例，此处不再赘述。
请参阅图5，图中示出了本申请实施例提供的一种全景成像***的结构。
如图5所示，该全景成像***40包括至少一个成像装置41，成像装置41为如图4所述的成像装置41，该成像装置41可以执行相应的图像拼接方法，例如：
获取参考点，确定所述参考点在第一景深摄像头中的焦平面成像点；
通过所述第一景深摄像头，根据所述焦平面成像点的投影坐标参数获取对应位置的景深参数；
根据所述焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述模型所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；
基于所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点；
根据所述第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。
其中，景深摄像头包括至少2个，用于设置在载具上并朝向载具的不同方向，相邻的景深摄像头两两之间进行图像拼接，以形成载具拼接图像。
其中，该景深摄像头除了获取当前视角中的图像以外，还可以获取当前图像中各个部分的景深参数。
该景深摄像头可以是RGB_D摄像头、ToF摄像头或者具有至少两个摄像组件、带景深检测功能的组合摄像头的至少一种。该组合摄像头可以是由双摄像组件、三摄像组件组合而成。
该载具，可以是汽车、拍照设备、机械装置或者其他可移动或不可移动的载具。可以理解的，该载具的类型可以根据实际情况而定。
在一些实施例中，结合图6，该全景成像***40可以是全景相机，包括4个景深摄像头C1-C4，该景深摄像头的安装方式是在全景相机支座的四面各安装1颗180度的鱼眼摄像机，分别获取全景相机四周区域A1-A4的图像，然后采用图像拼接算法对这4颗摄像机采集的图像实时进行拼接，获得全景相机360度3D全景图。
例如，将景深摄像头C1获得的区域A1的图像与景深摄像头C2获得区域A2的图像进行拼接，然后将景深摄像头C2获得的区域A2的图像与景深摄像头C3获得区域A3的图像进行拼接，以此类推完成图像拼接工作。
需要说明的是，具体的拼接过程可以参考如图1-3所述的图像拼接方法，本申请在此不再赘述。
本申请实施例中的景成像***，通过景深摄像头获取参考点中的焦平面成像点以及相应的景深参数，并基于上述数据获得该参考点在世界坐标系下的空间坐标参数，再利用该参考点的空间坐标参数将不同景深摄像头所获得的图像进行拼接。上述方式通过引入景深参数可以使得图像的拼接过程更加准确，进而在较少的运算资源下获得较佳的图像拼接效果。
在一些实施例中，本发明实施例还提供了一种存储介质，该存储介质中存储有多条指令，该指令适于由处理器加载以执行图像拼接方法，例如：
获取参考点，确定参考点在第一景深摄像头中的焦平面成像点；通过第一景深摄像头，根据焦平面成像点的投影坐标参数获取对应位置的景深参数；根据焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；基于空间坐标参数在第二景深摄像头中获得对应的焦平面成像点；根据第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (10)

1.一种图像拼接方法，应用于成像装置，其特征在于，所述成像装置包括至少两个景深摄像头，所述方法包括：
获取参考点，确定所述参考点在第一景深摄像头中的焦平面成像点；
通过所述第一景深摄像头，根据所述焦平面成像点的投影坐标参数获取对应位置的景深参数；
根据所述焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；
基于所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点；
根据所述第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。
2.如权利要求1所述的图像拼接方法，其特征在于，所述根据所述焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数，包括：
获取预设的投影变换矩阵，所述投影变换矩阵为所述景深摄像头中焦平面成像点的投影坐标参数与对应的世界坐标系的空间坐标参数之间的变换关系；
利用投影变换矩阵以及所述焦平面成像点的投影坐标参数、对应位置的景深参数确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数。
3.如权利要求1所述的图像拼接方法，其特征在于，基于所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点，包括：
获取预设的投影变换矩阵，所述投影变换矩阵为所述景深摄像头中焦平面成像点的投影坐标参数与对应的世界坐标系的空间坐标参数之间的变换关系；
利用所述投影变换矩阵以及所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点。
4.如权利要求2或3所述的图像拼接方法，其特征在于，在所述获取预设的投影变换矩阵之前，还包括：
根据标定模板设定若干参考点；
获取所述参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值；
根据所述参考点在世界坐标系下的坐标值以及在焦平面成像点的坐标值获得投影变换矩阵。
5.如权利要求1所述的图像拼接方法，其特征在于，所述参考点包括至少3个，所述参考点的空间位置不能位于同一平面上。
6.如权利要求1-3任意一项所述的图像拼接方法，其特征在于，所述景深摄像头为RGB_D摄像头、ToF摄像头或者具有至少两个摄像组件、带景深检测功能的组合摄像头的至少一种。
7.如权利要求6所述的图像拼接方法，其特征在于，所述景深摄像头为RGB_D摄像头；
所述根据所述焦平面成像点的投影坐标参数获取对应位置的景深参数，包括：
根据所述焦平面成像点的投影坐标参数，确定所述投影坐标参数对应的传感器像素点；
获取所述传感器像素点所得到的景深参数。
8.一种成像装置，其特征在于，所述装置包括处理器、存储器以及至少两个景深摄像头，所述处理器与存储器、景深摄像头之间电性连接；
所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，以执行以下步骤：
获取参考点，确定所述参考点在第一景深摄像头中的焦平面成像点；
通过所述第一景深摄像头，根据所述焦平面成像点的投影坐标参数获取对应位置的景深参数；
根据所述焦平面成像点的投影坐标参数以及对应位置的景深参数，确定所述参考点及与其共线的其它参考点在世界坐标系下的目标位置的空间坐标参数；
基于所述空间坐标参数在第二景深摄像头中获得对应的焦平面成像点；
根据所述第一景深摄像头以及第二景深摄像头的焦平面成像点进行图像拼接。
9.如权利要求8所述的成像装置，其特征在于，所述景深摄像头为RGB_D摄像头、ToF摄像头或者具有至少两个摄像组件、带景深检测功能的组合摄像头。
10.一种全景成像***，其特征在于，所述***包括至少一个成像装置，所述成像装置为权利要求8或9所述的成像装置；
其中，所述景深摄像头包括至少2个，用于设置在载具上并朝向所述载具的不同方向，相邻的所述景深摄像头两两之间进行图像拼接，以形成载具的拼接图像。
CN201910815362.9A 2019-08-30 2019-08-30 图像拼接方法、成像装置及全景成像*** Pending CN110796596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910815362.9A CN110796596A (zh) 2019-08-30 2019-08-30 图像拼接方法、成像装置及全景成像***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910815362.9A CN110796596A (zh) 2019-08-30 2019-08-30 图像拼接方法、成像装置及全景成像***

Publications (1)

Publication Number Publication Date
CN110796596A true CN110796596A (zh) 2020-02-14

Family

ID=69427110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910815362.9A Pending CN110796596A (zh) 2019-08-30 2019-08-30 图像拼接方法、成像装置及全景成像***

Country Status (1)

Country Link
CN (1) CN110796596A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141512A1 (zh) * 2020-12-31 2022-07-07 西门子股份公司 一种图像拼接方法、装置和计算机可读介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164269A (zh) * 2011-01-21 2011-08-24 北京中星微电子有限公司 全景监控方法及装置
CN104050650A (zh) * 2014-06-19 2014-09-17 湖北汽车工业学院 基于坐标变换的完整成像的图像拼接方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
WO2015114621A1 (en) * 2014-02-02 2015-08-06 Trax Technology Solutions Pte. Ltd. System and method for panoramic image processing
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
CN106937039A (zh) * 2017-04-26 2017-07-07 努比亚技术有限公司 一种基于双摄像头的成像方法、移动终端及存储介质
WO2017161608A1 (zh) * 2016-03-21 2017-09-28 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN108259740A (zh) * 2017-12-29 2018-07-06 维沃移动通信有限公司 一种全景图像生成的方法、装置以及移动终端
CN108470323A (zh) * 2018-03-13 2018-08-31 京东方科技集团股份有限公司 一种图像拼接方法、计算机设备及显示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164269A (zh) * 2011-01-21 2011-08-24 北京中星微电子有限公司 全景监控方法及装置
WO2015114621A1 (en) * 2014-02-02 2015-08-06 Trax Technology Solutions Pte. Ltd. System and method for panoramic image processing
CN104050650A (zh) * 2014-06-19 2014-09-17 湖北汽车工业学院 基于坐标变换的完整成像的图像拼接方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
WO2017161608A1 (zh) * 2016-03-21 2017-09-28 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
CN106937039A (zh) * 2017-04-26 2017-07-07 努比亚技术有限公司 一种基于双摄像头的成像方法、移动终端及存储介质
CN108259740A (zh) * 2017-12-29 2018-07-06 维沃移动通信有限公司 一种全景图像生成的方法、装置以及移动终端
CN108470323A (zh) * 2018-03-13 2018-08-31 京东方科技集团股份有限公司 一种图像拼接方法、计算机设备及显示装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张金玲等: "基于相机标定的图像拼接算法", 《中北大学学报(自然科学版)》 *
张金玲等: "基于相机标定的图像拼接算法", 《中北大学学报(自然科学版)》, no. 06, 15 December 2008 (2008-12-15) *
林华琦等: "基于多相机***标定的全景拼接算法研究", 《信息通信》 *
林华琦等: "基于多相机***标定的全景拼接算法研究", 《信息通信》, no. 03, 15 March 2018 (2018-03-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141512A1 (zh) * 2020-12-31 2022-07-07 西门子股份公司 一种图像拼接方法、装置和计算机可读介质

Similar Documents

Publication Publication Date Title
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
Carrera et al. SLAM-based automatic extrinsic calibration of a multi-camera rig
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
EP3644281A1 (en) Calibration device, calibration chart, chart pattern generation device, and calibration method
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定***
JP7123736B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
CN108362205B (zh) 基于条纹投影的空间测距方法
CN107809610A (zh) 摄像头参数集算出装置、摄像头参数集算出方法以及程序
CN106447735A (zh) 一种全景相机几何标定处理方法
CN112991456A (zh) 拍摄定位方法、装置、计算机设备和存储介质
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN112470189B (zh) 光场***的遮挡消除
CN112037128B (zh) 一种全景视频拼接方法
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和***
CN110796596A (zh) 图像拼接方法、成像装置及全景成像***
CN116051652A (zh) 一种参数标定方法及电子设备、存储介质
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及***
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、***和介质
CN112215048B (zh) 一种3d目标检测方法、装置和计算机可读存储介质
CN109587303B (zh) 电子设备和移动平台
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
Banaeyan et al. A novel concept for smart camera image stitching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200214

Assignee: Shenzhen Dechi micro vision technology Co.,Ltd.

Assignor: SHENZHEN DESAY MICROELECTRONIC TECHNOLOGY Co.,Ltd.

Contract record no.: X2020980002081

Denomination of invention: Image splicing method, imaging device and panoramic imaging system

License type: Exclusive License

Record date: 20200509

EE01 Entry into force of recordation of patent licensing contract
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240524

AD01 Patent right deemed abandoned