CN114841862A - 一种基于亿像素阵列式相机的图像拼接方法及*** - Google Patents

一种基于亿像素阵列式相机的图像拼接方法及*** Download PDF

Info

Publication number
CN114841862A
CN114841862A CN202210639481.5A CN202210639481A CN114841862A CN 114841862 A CN114841862 A CN 114841862A CN 202210639481 A CN202210639481 A CN 202210639481A CN 114841862 A CN114841862 A CN 114841862A
Authority
CN
China
Prior art keywords
image
feature point
corrected
spliced
moving speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210639481.5A
Other languages
English (en)
Other versions
CN114841862B (zh
Inventor
袁潮
邓迪旻
温建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210639481.5A priority Critical patent/CN114841862B/zh
Publication of CN114841862A publication Critical patent/CN114841862A/zh
Priority to PCT/CN2022/141925 priority patent/WO2023236508A1/zh
Application granted granted Critical
Publication of CN114841862B publication Critical patent/CN114841862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种基于亿像素阵列式相机的图像拼接方法及***，具体应用于图像处理领域，包括亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。通过上述方式，本发明能够提高图像拼接效率和精度。

Description

一种基于亿像素阵列式相机的图像拼接方法及***
技术领域
本申请涉及图像处理领域，更具体地，涉及一种基于亿像素阵列式相机的图像拼接方法及***。
背景技术
阵列式相机通过多个小镜头代替一个大镜头的拍摄效果，其原理是通过同时控制多台相机进行拍摄的技术，相比于传统的相机来说，亿像素阵列式相机的视野更广，拍出的照片也更大，同时其体积更小。
图像配准是图像拼接的关键，图像配准旨在找出两张图像中的相同区域，以计算图像间的坐标变化，图像配准的精度直接决定着图像的拼接质量。
现有技术中，通常采用对图像本身进行灰度处理、角度变换、边缘处理等方式来实现图像配准，忽略了拍摄目标和拍摄装置的移动所造成的图像偏差，导致图像拼接精度低。
发明内容
本发明实施例的目的在于提供一种基于亿像素阵列式相机的图像拼接方法及***，根据亿像素阵列式相机和目标对象的移动确定偏移率，并通过偏移率修正特征点，避免移动所导致的图像偏差，提高图像拼接效率和精度。具体技术方案如下：
在本发明实施例的第一方面，提供一种基于亿像素阵列式相机的图像拼接方法，包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取所述亿像素阵列式相机的第一移动速度；获取所述目标对象的第二移动速度；基于所述第一移动速度和所述第二移动速度，计算偏移率；基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
可选地，所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
可选地，所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000021
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000022
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
可选地，基于所述偏移率调整所述第一特征点，获得第一修正特征点，包括：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000031
Figure BDA0003681880980000032
其中，
Figure BDA0003681880980000033
表示坐标转换值，
Figure BDA0003681880980000034
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA0003681880980000035
表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
可选地，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000041
Figure BDA0003681880980000042
其中，
Figure BDA0003681880980000043
表示坐标转换值，
Figure BDA0003681880980000044
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA0003681880980000045
表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
可选地，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
可选地，所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像。
在本发明实施例的又一方面，提供一种基于亿像素阵列式相机的图像拼接***，包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；速度确定模块，用于获取所述亿像素阵列式相机、所述目标对象的第一移动速度和第二移动速度；偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
可选地，所述特征点确定模块进一步用于：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
可选地，所述偏移率计算模块，进一步用于：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000051
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000052
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
可选地，所述特征点修正模块进一步用于：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000061
Figure BDA0003681880980000062
其中，
Figure BDA0003681880980000063
表示坐标转换值，
Figure BDA0003681880980000064
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA0003681880980000065
表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
可选地，所述特征点修正模块进一步用于：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000066
Figure BDA0003681880980000067
其中，
Figure BDA0003681880980000071
表示坐标转换值，
Figure BDA0003681880980000072
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA0003681880980000073
表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
可选地，所述最优特征点对获取模块进一步用于：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
可选地，所述图像拼接模块进一步用于：采用加权融合算法，获得拼接后的总图像。
有益效果：
本发明采用亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。其中，偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点；通过该方式采集的图像数据质量较高，同时能够提高图像拼接效率和精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于亿像素阵列式相机的图像拼接方法的流程示意图；
图2是本申请实施例提供的一种基于亿像素阵列式相机的图像拼接***的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种基于亿像素阵列式相机的图像拼接方法及***，包括亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。通过上述方式，本发明能够提高图像拼接效率和精度。
该基于亿像素阵列式相机的图像拼接方法及***，具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。以上举例不应理解为对本申请的限制。
图1示出了本申请实施例提供的基于亿像素阵列式相机的图像拼接方法的流程示意图，请参考图1，具体包括如下步骤：
S110、获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像。
其中，亿像素阵列式相机是由一个主镜头和N个微型镜头阵列式结合的跨尺度成像相机，微型镜头根据不同的光路设计，可以形成不同的焦距，多个镜头并行工作时，能够捕捉到远近不同的画面。
由此通过亿像素阵列式相机采集图像数据，不仅能够大幅度提升采集数据和成像范围的数量级，同时获得多个焦点，实现大视野和细节的兼顾。
在一种实施方式中，所述第一待拼接图像和所述第二待拼接图像可以是连续的两帧图像。
在另一种实施方式中，所述第一待拼接图像和所述第二待拼接图像可以在预设时间间隔内获取的两帧图像；例如起始时刻为17点，预设时间间隔为5秒，则将17点拍摄的图像作为第一待拼接图像，将17点5分拍摄的图像作为第二待拼接图像。
可选地，计算机装置接收亿像素阵列式相机采集的图像数据，所述图像数据可以通过第五代移动通讯技术进行传输，也可以通过wifi网络进行传输。其中，图像数据可以是人像、大型动物、小型动物、车辆以及植物等。
S120、分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点。
其中，可以根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算半径为d的圆周上的n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
S130、获取所述亿像素阵列式相机的第一移动速度。
S140、获取所述目标对象的第二移动速度。
S150、基于所述第一移动速度和所述第二移动速度，计算偏移率。
在一种实施方式中，步骤S150可以具体包括以下步骤：
S151、分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，公式如下：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
S152、根据所述亿像素阵列式相机和所述目标对象的移动方向，计算偏移率。
具体地，若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000101
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000111
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
由此，考虑到相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，引入偏移率的计算公式，以提高图像拼接的精度。
S160、基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点。
在一种实施方式中，步骤S160可以具体包括以下步骤：
S161、构建三维坐标系。
S162、获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)。
S163、通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000112
Figure BDA0003681880980000113
其中，
Figure BDA0003681880980000114
表示坐标转换值，
Figure BDA0003681880980000115
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA0003681880980000116
表示该特征点的修正坐标值。
S164、遍历所述第一特征点中的所有特征点，重复步骤S162-S163。
S165、基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
S166、获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)。
S167、通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000121
Figure BDA0003681880980000122
其中，
Figure BDA0003681880980000123
表示坐标转换值，
Figure BDA0003681880980000124
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA0003681880980000125
表示该特征点的修正坐标值。
S168、遍历所述第二特征点中的所有特征点，重复步骤S166-S167。
S169、基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，
该实施方式通过引入三维坐标系，创新性地将相机内参矩阵、外参矩阵与移动导致的偏移率结合，修正两张图像的特征点，减少拼接错误的情况发生。
S170、匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对。
其中，采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
具体地，可以预设所需的最优特征点对数量，也可以预设汉明距离阈值，在此不做具体限定。
S180、筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
其中，可以采用加权融合算法，获得拼接后的总图像。
由此，在兼顾大视野和细节的图像数据基础上，能够避免相机和拍摄对象移动造成的图像偏差，提高图像拼接效率和精度。
为实现上述方法类实施例，本实施例还提供一种基于亿像素阵列式相机的图像拼接***，如图2所示，该***包括：
图像数据获取模块210，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像。
特征点确定模块220，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点。
速度确定模块230，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度。
偏移率计算模块240，用于基于所述第一移动速度和所述第二移动速度，计算偏移率。
特征点修正模块250，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点。
最优特征点对获取模块260，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对。
图像拼接模块270，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
可选地，所述特征点确定模块220进一步用于：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
可选地，所述偏移率计算模块240，进一步用于：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000141
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
Figure BDA0003681880980000142
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
可选地，所述特征点修正模块250进一步用于：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000151
Figure BDA0003681880980000152
其中，
Figure BDA0003681880980000153
表示坐标转换值，
Figure BDA0003681880980000154
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA0003681880980000155
表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
可选地，所述特征点修正模块250进一步用于：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：
Figure BDA0003681880980000156
Figure BDA0003681880980000157
其中，
Figure BDA0003681880980000158
表示坐标转换值，
Figure BDA0003681880980000159
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure BDA00036818809800001510
表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
可选地，所述最优特征点对获取模块260进一步用于：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
可选地，所述图像拼接模块270进一步用于：采用加权融合算法，获得拼接后的总图像。
该***在计算偏移率时，考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点，能够提高图像拼接效率和精度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于亿像素阵列式相机的图像拼接方法，其特征在于，包括：
获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；
分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；
获取所述亿像素阵列式相机的第一移动速度；
获取所述目标对象的第二移动速度；
基于所述第一移动速度和所述第二移动速度，计算偏移率；
基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；
匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；
筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
2.根据权利要求1所述的图像拼接方法，其特征在于，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
3.根据权利要求1所述的图像拼接方法，其特征在于，所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：
根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；
若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
4.根据权利要求1所述的图像拼接方法，其特征在于，所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：
分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；
若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
Figure FDA0003681880970000021
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
Figure FDA0003681880970000022
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
5.根据权利要求4所述的图像拼接方法，其特征在于，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：
通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
6.根据权利要求4所述的图像拼接方法，其特征在于，基于所述偏移率调整所述第一特征点，获得第一修正特征点，包括：
构建三维坐标系；
获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；
通过以下公式对该特征点进行坐标变换：
Figure FDA0003681880970000031
Figure FDA0003681880970000032
其中，
Figure FDA0003681880970000033
表示坐标转换值，
Figure FDA0003681880970000034
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure FDA0003681880970000035
表示该特征点的修正坐标值；
遍历所述第一特征点中的所有特征点，重复以上步骤；
基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
7.根据权利要求6所述的图像拼接方法，其特征在于，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：
获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；
通过以下公式对该特征点进行坐标变换：
Figure FDA0003681880970000036
Figure FDA0003681880970000037
其中，
Figure FDA0003681880970000038
表示坐标转换值，
Figure FDA0003681880970000039
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
Figure FDA0003681880970000041
表示该特征点的修正坐标值；
遍历所述第二特征点中的所有特征点，重复以上步骤；
基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
8.根据权利要求1所述的图像拼接方法，其特征在于，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：
采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
9.根据权利要求1所述的图像拼接方法，其特征在于，所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：
采用加权融合算法，获得拼接后的总图像。
10.一种基于亿像素阵列式相机的图像拼接***，其特征在于，包括：
图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；
特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；
速度确定模块，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度；
偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；
特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；
最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；
图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
CN202210639481.5A 2022-06-07 2022-06-07 一种基于亿像素阵列式相机的图像拼接方法及*** Active CN114841862B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210639481.5A CN114841862B (zh) 2022-06-07 2022-06-07 一种基于亿像素阵列式相机的图像拼接方法及***
PCT/CN2022/141925 WO2023236508A1 (zh) 2022-06-07 2022-12-26 一种基于亿像素阵列式相机的图像拼接方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639481.5A CN114841862B (zh) 2022-06-07 2022-06-07 一种基于亿像素阵列式相机的图像拼接方法及***

Publications (2)

Publication Number Publication Date
CN114841862A true CN114841862A (zh) 2022-08-02
CN114841862B CN114841862B (zh) 2023-02-03

Family

ID=82573495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639481.5A Active CN114841862B (zh) 2022-06-07 2022-06-07 一种基于亿像素阵列式相机的图像拼接方法及***

Country Status (2)

Country Link
CN (1) CN114841862B (zh)
WO (1) WO2023236508A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115829843A (zh) * 2023-01-09 2023-03-21 深圳思谋信息科技有限公司 图像拼接方法、装置、计算机设备及存储介质
WO2023236508A1 (zh) * 2022-06-07 2023-12-14 北京拙河科技有限公司 一种基于亿像素阵列式相机的图像拼接方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170018086A1 (en) * 2015-07-16 2017-01-19 Google Inc. Camera pose estimation for mobile devices
CN107079141A (zh) * 2014-09-22 2017-08-18 三星电子株式会社 用于三维视频的图像拼接
US20180091734A1 (en) * 2016-09-26 2018-03-29 Canon Kabushiki Kaisha Capturing control apparatus and method of controlling the same
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法
JP6551623B1 (ja) * 2018-03-19 2019-07-31 株式会社リコー 情報処理装置、移動体、画像処理システムおよび情報処理方法
CN110706257A (zh) * 2019-09-30 2020-01-17 北京迈格威科技有限公司 有效特征点对的识别方法、相机状态的确定方法及装置
CN111260542A (zh) * 2020-01-17 2020-06-09 中国电子科技集团公司第十四研究所 一种基于子块配准的sar图像拼接方法
WO2021093637A1 (zh) * 2019-11-12 2021-05-20 Oppo广东移动通信有限公司 追焦方法和装置、电子设备、计算机可读存储介质
CN114418839A (zh) * 2021-12-09 2022-04-29 浙江大华技术股份有限公司 图像拼接方法、电子设备以及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170006219A1 (en) * 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
CN107945113B (zh) * 2017-11-17 2019-08-30 北京天睿空间科技股份有限公司 局部图像拼接错位的矫正方法
CN113891111B (zh) * 2021-09-29 2023-11-21 北京拙河科技有限公司 十亿像素视频的直播方法、装置、介质及设备
CN114841862B (zh) * 2022-06-07 2023-02-03 北京拙河科技有限公司 一种基于亿像素阵列式相机的图像拼接方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079141A (zh) * 2014-09-22 2017-08-18 三星电子株式会社 用于三维视频的图像拼接
US20170018086A1 (en) * 2015-07-16 2017-01-19 Google Inc. Camera pose estimation for mobile devices
US20180091734A1 (en) * 2016-09-26 2018-03-29 Canon Kabushiki Kaisha Capturing control apparatus and method of controlling the same
JP6551623B1 (ja) * 2018-03-19 2019-07-31 株式会社リコー 情報処理装置、移動体、画像処理システムおよび情報処理方法
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法
CN110706257A (zh) * 2019-09-30 2020-01-17 北京迈格威科技有限公司 有效特征点对的识别方法、相机状态的确定方法及装置
WO2021093637A1 (zh) * 2019-11-12 2021-05-20 Oppo广东移动通信有限公司 追焦方法和装置、电子设备、计算机可读存储介质
CN111260542A (zh) * 2020-01-17 2020-06-09 中国电子科技集团公司第十四研究所 一种基于子块配准的sar图像拼接方法
CN114418839A (zh) * 2021-12-09 2022-04-29 浙江大华技术股份有限公司 图像拼接方法、电子设备以及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
伍文双等: "基于MEMS陀螺仪的光学图像拼接", 《光子学报》 *
王新华等: "十亿像素瞬态成像***实时图像拼接", 《中国光学》 *
黄梅等: "基于特征点的图像拼接技术在动漫中的应用", 《湖南师范大学自然科学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023236508A1 (zh) * 2022-06-07 2023-12-14 北京拙河科技有限公司 一种基于亿像素阵列式相机的图像拼接方法及***
CN115829843A (zh) * 2023-01-09 2023-03-21 深圳思谋信息科技有限公司 图像拼接方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN114841862B (zh) 2023-02-03
WO2023236508A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
CN114841862B (zh) 一种基于亿像素阵列式相机的图像拼接方法及***
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
US20160212418A1 (en) Multiple camera system with auto recalibration
KR101657039B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
CN110248097B (zh) 追焦方法、装置、终端设备、计算机可读存储介质
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN105283905A (zh) 使用点和线特征的稳健跟踪
US10529081B2 (en) Depth image processing method and depth image processing system
CN103329518A (zh) 拍摄***及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序
CN109656033B (zh) 一种区分液晶显示屏灰尘和缺陷的方法及装置
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
CN107809610B (zh) 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
CN110213491B (zh) 一种对焦方法、装置及存储介质
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN114022560A (zh) 标定方法及相关装置、设备
CN113920206A (zh) 透视移轴相机的标定方法
CN111815715A (zh) 变焦云台摄像机的标定方法、装置及存储介质
JP2018044943A (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
CN107256563B (zh) 基于差异液位图像序列的水下三维重建***及其方法
JPH10240934A (ja) 被写体抽出装置
CN117078762A (zh) 一种虚拟现实设备、相机标定装置及方法
JP6734994B2 (ja) ステレオ計測装置及びシステム
KR100736565B1 (ko) 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기
CN117136554A (zh) 包括相机的电子设备及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant