CN116681732B - 一种基于复眼形态视觉的目标运动识别方法及*** - Google Patents

一种基于复眼形态视觉的目标运动识别方法及*** Download PDF

Info

Publication number
CN116681732B
CN116681732B CN202310967035.1A CN202310967035A CN116681732B CN 116681732 B CN116681732 B CN 116681732B CN 202310967035 A CN202310967035 A CN 202310967035A CN 116681732 B CN116681732 B CN 116681732B
Authority
CN
China
Prior art keywords
sub
eye
target
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310967035.1A
Other languages
English (en)
Other versions
CN116681732A (zh
Inventor
徐梦溪
樊棠怀
樊飞燕
施建强
吕莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Nanchang Institute of Technology
Original Assignee
Nanjing Institute of Technology
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology, Nanchang Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202310967035.1A priority Critical patent/CN116681732B/zh
Publication of CN116681732A publication Critical patent/CN116681732A/zh
Application granted granted Critical
Publication of CN116681732B publication Critical patent/CN116681732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于复眼形态视觉的目标运动识别方法及***,所述方法包括获取子眼图像;对第一子眼与第二子眼进行内参数标定与外参数标定,以得到内参数与外参数;基于内参数与外参数计算校正系数,基于校正系数对子眼图像进行校正,以得到校正图像;计算校正图像之间的重叠区域,基于重叠区域与预设拼接算法对校正图像进行拼接处理,以得到整体图像;对相邻两帧的整体图像进行差分计算,以得到运动目标,计算运动目标在各方向上的偏移模拟值与偏移量,以此确定运动目标的运动方向以及对应的运动量,本发明在拼接过程中相互重叠的部分不会出现错乱、目标重叠的情况,可在复杂背景条件下高效且可靠的检测出目标的运动方向以及对应的运动量。

Description

一种基于复眼形态视觉的目标运动识别方法及***
技术领域
本发明属于仿生复眼视觉的技术领域,具体地涉及一种基于复眼形态视觉的目标运动识别方法及***。
背景技术
受自然界果蝇、蜻蜓、蜜蜂等飞行昆虫复眼结构的启发,有别于哺乳动物单孔径形态的单眼睛成像原理设计的常规CCD(Charge-coupled device,电荷耦合器件)或CMOS(Complementary Metal-Oxide-Semiconductor,互补金属氧化物半导体)相机,目前的人工复眼相机是一种模拟自然界昆虫复眼多孔径形态成像原理设计的仿复眼成像***,人工复眼相机(以下简称为复眼相机)具备多个阵列排布的子眼,使其具有大角度的视野,能够同时聚焦物体的不同深度,人类眼睛和所有相机都是使用单个透镜聚焦光线至一个光敏组织或者材料物质上,这种排列能够制造高分辨率图像,但是复眼却能提供与众不同的优势,它可以产生全景视角,呈现显著的深度感官。
复眼相机的每个子眼均存在一定的视觉范围,且由于子眼的排列方式会导致相邻的子眼所拍摄的图像之间存在一定的重叠范围,如采用直接拼接的方式,容易导致最终成型的整体图像存在错乱、目标重叠的情况,影响最终整体图像的成像效果,且现有技术中通常模板匹配法识别目标的运动,但如此存在可靠性差以及效率低下的问题。
发明内容
为了解决上述技术问题,本发明提供了一种基于复眼形态视觉的目标运动识别方法及***,用于解决现有技术中的技术问题。
一方面,该发明提供以下技术方案,一种基于复眼形态视觉的目标运动识别方法,包括:
获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;
对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;
基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;
计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;
对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离。
相比现有技术,本申请的有益效果为:本申请首先获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;之后对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;而后基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;然后计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;最后对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离,本发明通过标定得到子眼相机的内外参数,并根据内外参数计算重叠区域,根据重叠区域并采用预设算法进行拼接,使得拼接出来的图像完成,且在拼接过程中相互重叠的部分不会出现错乱、目标重叠的情况,同时本发明根据计算得到的偏移模拟值以及偏移量确定目标的运动方向以及运动量,可在复杂背景条件下高效且可靠的检测出目标的运动方向以及对应的运动量。
较佳的,所述对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数的步骤包括:
在标定坐标系设置一标定点,所述标定点投影在图像像素坐标系中的投影坐标为/>,基于所述标定点与所述投影坐标建立投影方程:
式中,为第一比例因子,/>为内参数矩阵,/>为外参数矩阵;
基于所述投影方程确定内参数矩阵
;/>
式中,、/>分别为沿/>、/>轴的等效焦距,/>为第二比例因子,/>为光轴与像素平面的交点,/>为焦距替换量,/>为纵向投影变化量;
基于所述内参数矩阵,以得到所述第一子眼与所述第二子眼的内参数:
;/>;/>
;/>
式中,为内参数矩阵/>中第一行第一列的元素,/>为内参数矩阵/>中第一行第二列的元素,/>为内参数矩阵/>中第一行第三列的元素,/>为内参数矩阵/>中第二行第二列的元素,/>为内参数矩阵/>中第二行第三列的元素,/>为内参数矩阵/>中第三行第三列的元素。
较佳的,所述在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数的步骤包括:
在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像,在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像;
基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵
式中,为空间坐标系至第一标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像平移矩阵,/>为空间坐标系至第一标靶图像平移矩阵;
基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵,基于所述外参数矩阵/>,以得到所述第一子眼与所述第二子眼的外参数,其中所述外参数矩阵/>为:
式中,为第一标靶至第一子眼的转换矩阵,/>为第二标靶至第二子眼的转换矩阵。
较佳的,所述基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像的步骤包括:
在所述子眼图像中确定一点,基于所述内参数与所述外参数确定点对应的理论坐标点/>以及空间坐标点/>,基于点/>、理论坐标点/>以及空间坐标点/>建立校正方程:
式中,为光轴与像素平面的交点,/>为第一校正系数,/>为第二校正系数;
求解所述校正方程中的第一校正系数、第二校正系数/>,并基于所述第一校正系数/>、所述第二校正系数/>对所述子眼图像中的像素点坐标进行校正,以得到校正图像。
较佳的,所述计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像的步骤包括:
基于所述内参数计算所述校正图像之间的重叠区域
式中,为图像传感器至目标的距离,/>为相邻子眼之间的距离,/>为复眼相机至目标的距离,/>为校正图像的长度,/>为子眼直径,/>为子眼焦距;
对所述校正图像进行高斯模糊处理,以得到图像空间,对所述图像空间进行多次采样处理,以得到高斯金字塔,对每组所述高斯金字塔的相邻涂层进行差分处理,以得到差分金字塔;
基于所述差分金字塔在所述重叠区域内选定第一像素点,在所述第一像素点周围选取预设数量的第二像素点,将所述第一像素点与所述第二像素点存入待选特征点集中,将所述待选特征点集中的极值点作为特征点;
基于所述特征点确定特征码段以及匹配特征点,根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理,以得到整体图像。
较佳的,所述基于所述特征点确定特征码段以及匹配特征点,根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理,以得到整体图像的步骤包括:
以所述特征点为中心选取预设形状的邻域范围,在所述邻域范围内选取若干像素点对,基于每个所述像素点对之间的像素值大小进行赋值处理,以得到特征码段;
计算所述待选特征点集中的像素点与所述像素点对之间的汉明距离,选取汉明距离最小时对应的两个像素点作为第一匹配像素点与第二匹配像素点,计算所述第一匹配像素点至所述像素点对之间的汉明距离与所述第二匹配像素点至所述像素点对之间的汉明距离的距离比值,将距离比值小于预设比值阈值对应的像素点作为匹配特征点;
基于所述特征码段与所述匹配特征点将所述校正图像进行拼接处理,以得到整体图像。
较佳的,所述对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向的步骤包括:
对相邻两帧的整体图像进行差分计算,以得到差分图像,基于所述差分图像确定运动目标;
采用二维小波变换对所述差分图像进行图像分解,以得到第一频率子图与第二频率子图;
对所述第二频率子图互抑制处理与平滑滤波处理,以得到第一信号与第二信号,对所述第一信号与所述第二信号进行半波整流处理,以得到第一处理信号与第二处理信号;
将所述第一处理信号与所述第二处理信号输出值开关量通道中,以输出偏移模拟值组,所述偏移模拟值组包括第一偏移模拟值、第二偏移模拟值以及第三偏移模拟值,判断所述第一偏移模拟值、所述第二偏移模拟值以及所述第三偏移模拟值是否小于预设值;
若所述第一偏移模拟值小于预设值,则所述运动目标的运动方向为向左运动,若所述第一偏移模拟值大于预设值,则所述运动目标的运动方向为向右运动,若所述第二偏移模拟值小于预设值,则所述运动目标的运动方向为向下运动,若所述第二偏移模拟值大于预设值,则所述运动目标的运动方向为向上运动,若所述第三偏移模拟值小于预设值,则所述运动目标的运动方向为向后运动,若所述第三偏移模拟值大于预设值,则所述运动目标的运动方向为向前运动。
第二方面,该发明提供以下技术方案,一种基于复眼形态视觉的目标运动识别***,所述***包括:
获取模块,用于获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;
标定模块,用于对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;
校正模块,用于基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;
拼接模块,用于计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;
运动识别模块,用于对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离。
第三方面,该发明提供以下技术方案,一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的基于复眼形态视觉的目标运动识别方法。
第四方面,该发明提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的基于复眼形态视觉的目标运动识别方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的基于复眼形态视觉的目标运动识别方法的流程图;
图2为本发明第一实施例提供的基于复眼形态视觉的目标运动识别方法中步骤S21的详细流程图;
图3为本发明第一实施例提供的第一实施例提供的基于复眼形态视觉的目标运动识别方法中步骤S22的详细流程图;
图4为本发明第一实施例提供的第一实施例提供的基于复眼形态视觉的目标运动识别方法中步骤S3的详细流程图;
图5为本发明第一实施例提供的第一实施例提供的基于复眼形态视觉的目标运动识别方法中步骤S4的详细流程图;
图6为本发明第一实施例提供的第一实施例提供的基于复眼形态视觉的目标运动识别方法中步骤S44的详细流程图;
图7为本发明第一实施例提供的第一实施例提供的基于复眼形态视觉的目标运动识别方法中步骤S5的详细流程图;
图8为本发明第二实施例提供的基于复眼形态视觉的目标运动识别***的结构框图;
图9为本发明另一实施例提供的计算机的硬件结构示意图。
以下将结合附图对本发明实施例作进一步说明。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明的实施例,而不能理解为对本发明的限制。
在本发明实施例的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明实施例中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明实施例中的具体含义。
实施例一
在本发明的第一个实施例中,如图1所示,一种基于复眼形态视觉的目标运动识别方法,包括:
S1、获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;
具体的,在该步骤中,复眼相机由若干个平面整列排布的子眼相机组成,因此子眼图像具体为每个子眼相机在对应的拍摄范围内所拍摄到的图像,且为了后续的内外参数标定过程,因此在该步骤中,选取其中一个子眼作为第一子眼,并将该第一子眼***的子眼作为第二子眼,需要注意的是,第二子眼具体为围绕在第一子眼***的一圈子眼,因此在复眼相机中除位于边缘的子眼相机外,其余的子眼均可作为第一子眼。
S2、对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;
具体的,在常规的标定过程中,通常需要对复眼相机中每两个子眼进行内外参数的标定,但在该步骤中,通过对每个第一子眼与第二子眼进行内外参数标定,以此大幅度减少标定时的工作量,提高了标定的效率,同时内参数具体指第一子眼本本身的特征,如焦距,而外参数具体指标定靶与各子眼之间的相对位置关系,如旋转角度、偏差距离等。
所述步骤S2包括:S21、对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数;S22、在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数。
如图2所示,其中,所述步骤S21包括:
S211、在标定坐标系设置一标定点,所述标定点投影在图像像素坐标系中的投影坐标为/>,基于所述标定点与所述投影坐标建立投影方程:
式中,为第一比例因子,/>为内参数矩阵,/>为外参数矩阵;
具体的,内参数的标定过程可通过子眼图像上的点投射到标定坐标系上的点之间的投影关系而确定,其中,第一比例因子可根据标定坐标系上的标定平面与子眼图像之间的大小与位置关系确定。
S212、基于所述投影方程确定内参数矩阵
;/>
式中,、/>分别为沿/>、/>轴的等效焦距,/>为第二比例因子,/>为光轴与像素平面的交点,/>为焦距替换量,/>为纵向投影变化量。
S213、基于所述内参数矩阵,以得到所述第一子眼与所述第二子眼的内参数:
;/>;/>
;/>
式中,为内参数矩阵/>中第一行第一列的元素,/>为内参数矩阵/>中第一行第二列的元素,/>为内参数矩阵/>中第一行第三列的元素,/>为内参数矩阵/>中第二行第二列的元素,/>为内参数矩阵/>中第二行第三列的元素,/>为内参数矩阵/>中第三行第三列的元素;
具体的,从步骤S213中各内参数的方程中可以看出,上述过程存在五个位置阐述,因此在实际的计算过程中,当存在三个以上的标定坐标系与对应的子眼图像时,上述方程组便可求解得到,以此得到各内参数。
如图3所示,其中,所述步骤S22包括:
S221、在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像,在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像;
具体的,第一标靶与第二标靶分别设置于第一子眼与第二子眼的视觉范围内,即第一标靶可完整的体现在第一标靶图像中,对应的第二标靶可完整的体现在第二标靶图像中,利用确定的第一标靶图像与第二标靶图像,并根据其中对应的标靶角点位置信息建立标靶与子眼之间的空间位置关系,以此确定第一子眼、第二子眼、第一标靶与第二标靶之间的位置转换关系,以此得到对应的标靶转换矩阵.
S222、基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵
式中,为空间坐标系至第一标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像平移矩阵,/>为空间坐标系至第一标靶图像平移矩阵。
S223、基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵/>,基于所述外参数矩阵/>,以得到所述第一子眼与所述第二子眼的外参数,其中所述外参数矩阵/>为:
式中,为第一标靶至第一子眼的转换矩阵,/>为第二标靶至第二子眼的转换矩阵。
S3、基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;
具体的,在实际的复眼相机的拍摄过程中,由于各子眼之间的安装、制造误差会导致实际拍摄出的图像与理论拍摄出的图像之间存在一定的误差,因此在步骤S3中通过计算相应的校正系数并根据相应的校正系数对子眼图像进行校正处理,以尽可能的较少误差,保证校正后的图像尽可能与理论拍摄的图像相同。
如图4所示,其中,所述步骤S3包括:
S31、在所述子眼图像中确定一点,基于所述内参数与所述外参数确定点/>对应的理论坐标点/>以及空间坐标点/>,基于点/>、理论坐标点/>以及空间坐标点/>建立校正方程:
式中,为光轴与像素平面的交点,/>为第一校正系数,/>为第二校正系数;
具体的,在该步骤中,第一校正系数与第二校正系数分别表示子眼图像分别在X、Y轴上的误差,而关于Z轴的误差与X、Y轴上的误差相比可忽略不计,因此在该步骤中只对X、Y轴上的误差进行校正处理。
S32、求解所述校正方程中的第一校正系数、第二校正系数/>,并基于所述第一校正系数/>、所述第二校正系数/>对所述子眼图像中的像素点坐标进行校正,以得到校正图像;
具体的,在实际的拍摄过程中,点与理论坐标点/>可分别从子眼图像获取得到以及根据计算出的理论图像中获取得到,因此通过求解出对应的第一校正系数/>、第二校正系数/>,并基于所述第一校正系数/>、所述第二校正系数/>对所述子眼图像中的像素点坐标进行校正,以得到校正图像。
S4、计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;
具体的,在实际的拍摄过程中,由于各子眼的视觉范围为圆形,且各子眼均密集的排列在复眼相机中,因此相邻两个子眼之间会存在一定的重叠区域,如直接对图像进行拼接处理,则容易导致最终成型的整体图像存在错乱、目标重叠的情况,影响最终整体图像的成像效果,因此该步骤中,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像。
如图5所示,其中,所述步骤S4包括:
S41、基于所述内参数计算所述校正图像之间的重叠区域
式中,为图像传感器至目标的距离,/>为相邻子眼之间的距离,/>为复眼相机至目标的距离,/>为校正图像的长度,/>为子眼直径,/>为子眼焦距;
对于复眼相机来讲,各子眼之间的距离是由复眼相机的机械结构决定的,即由相机的内参数决定,且该距离是一个定值,因此在拍摄到的相邻的两子眼图像之间的重叠率也是一定的,因此通过计算相邻两子眼图像之间的重叠率,并将重叠率与校正图像的长度之间的乘积作为对应的重叠区域。
S42、对所述校正图像进行高斯模糊处理,以得到图像空间,对所述图像空间进行多次采样处理,以得到高斯金字塔,对每组所述高斯金字塔的相邻涂层进行差分处理,以得到差分金字塔;
具体的,得到差分金字塔的目的是为了在得到图像在不同尺度即在差分金字塔中各层中寻找到符合预设条件的特征点,并根据特征点之间的匹配关系完成图像的拼接。
S43、基于所述差分金字塔在所述重叠区域内选定第一像素点,在所述第一像素点周围选取预设数量的第二像素点,将所述第一像素点与所述第二像素点存入待选特征点集中,将所述待选特征点集中的极值点作为特征点;
具体的,本发明所选取的像素点只在重叠区域中寻找,且在实际拍摄的子眼图像中,为了提高子眼相机的利用效率,通常相邻两子眼图像之间的重叠区域不会过大,且重叠区域相比于一个子眼图像来说只占据较小的一部分,因此该步骤中,将像素点的选取范围从整个子眼图像缩小至重叠区域,以此可大幅度减少计算的难度,同时也能够提高特征点匹配与拼接的效率。
S44、基于所述特征点确定特征码段以及匹配特征点,根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理,以得到整体图像。
如图6所示,其中,所述步骤S44包括:
S441、以所述特征点为中心选取预设形状的邻域范围,在所述邻域范围内选取若干像素点对,基于每个所述像素点对之间的像素值大小进行赋值处理,以得到特征码段;
具体的,选取的像素点对包括两个像素点,当分别记为像素点L与像素点V,当像素点L的像素值大于像素点V的像素值时,则将该像素点对进行赋值处理,且赋值为0,当像素点L的像素值不大于像素点V的像素值时,则将该像素点对进行赋值处理,且赋值为1,当抽取完预设区域内的像素点对之后,便可得到一串反应该邻域范围像素特征的特征码段,且在该步骤中,预设范围为正方形或者长方形或者菱形等。
S442、计算所述待选特征点集中的像素点与所述像素点对之间的汉明距离,选取汉明距离最小时对应的两个像素点作为第一匹配像素点与第二匹配像素点,计算所述第一匹配像素点至所述像素点对之间的汉明距离与所述第二匹配像素点至所述像素点对之间的汉明距离的距离比值,将距离比值小于预设比值阈值对应的像素点作为匹配特征点;
具体的,首先计算出提取到的待选特征点集中像素点与像素点对之间的汉明距离,并且通过判断距离比值与预设比例阈值的大小关系,即可完成描述子的匹配以及特征点的匹配过程,且该过程较为快速,匹配效率较高。
S443、基于所述特征码段与所述匹配特征点将所述校正图像进行拼接处理,以得到整体图像。
S5、对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离;
具体的,在得到一个全景的图像之后,通过相邻两帧的图像便可确定在图像中的运动目标,且该步骤的目的是为了确定运动目标的运动方向以及在对应运动方向上的运动量,在整体图像中可以看出,运动目标在图像中只能在X、Y方向上存在运动分量,当X方向的运动量为0且Y方向运动量不为0时,则运动目标则沿着Y轴运动,同理,根据X、Y轴上的运动量即可得到对应的运动方向;
但在实际的环境坐标系中可知,运动目标还可沿着Z轴运动,此处的Z轴即为垂直于整体图像的轴线,因此运动目标在X、Y、Z轴上可能均存在运动分量,因此通过偏移模拟值便可确定对应的运动方向,在本实施例中,模拟偏移值的取值范围为-1~1。
如图7所示,其中,所述步骤S5包括:
S51、对相邻两帧的整体图像进行差分计算,以得到差分图像,基于所述差分图像确定运动目标;
具体的,根据所得到差分图像的灰度值变化的像素点便可确定对应的运动目标。
S52、采用二维小波变换对所述差分图像进行图像分解,以得到第一频率子图与第二频率子图;
具体的,通过二维小波变换便可提取到差分图像中的高频信号与低频信号,而高频信号即为对应的第一频率子图,而低频信号即为对应的第二频率子图。
S53、对所述第二频率子图互抑制处理与平滑滤波处理,以得到第一信号与第二信号,对所述第一信号与所述第二信号进行半波整流处理,以得到第一处理信号与第二处理信号;
具体的,经过二维小波变换之后,通过低频信号便可识别到运动目标的运动信息,同时经过互抑制处理之后便可确定得到高斯空间内的兴奋场与抑制场,兴奋场数据中即包含着运动信息,在经过平滑滤波处理之后,可去除对应的孤立噪声,进而最大限度的从复杂的背景图像中提取到有用的运动信号,之后进行半波整流处理,以将运行信号转为对应的信号变化量,以便于输入到对应的开关量通道中。
S54、将所述第一处理信号与所述第二处理信号输出值开关量通道中,以输出偏移模拟值组,所述偏移模拟值组包括第一偏移模拟值、第二偏移模拟值以及第三偏移模拟值,判断所述第一偏移模拟值、所述第二偏移模拟值以及所述第三偏移模拟值是否小于预设值;
具体的,此处的开关量通道即为开通道与闭通道,当对应的运动信息输入到开关量通道之后,会对应输出一个偏移模拟值,且对于实际的运动信息来讲,X、Y轴方向的运动可根据灰度值的变化确定,而Z轴的运动可根据相邻两帧的运动目标的大小关系确定,当后一帧的运动目标大于前一帧,则认为运动目标垂直图像朝外运动,反之,则运动目标垂直图像朝内运动,且输出的第一偏移模拟值、第二偏移模拟值以及第三偏移模拟值的取值范围均为-1~1。
S55、若所述第一偏移模拟值小于预设值,则所述运动目标的运动方向为向左运动,若所述第一偏移模拟值大于预设值,则所述运动目标的运动方向为向右运动,若所述第二偏移模拟值小于预设值,则所述运动目标的运动方向为向下运动,若所述第二偏移模拟值大于预设值,则所述运动目标的运动方向为向上运动,若所述第三偏移模拟值小于预设值,则所述运动目标的运动方向为向后运动,若所述第三偏移模拟值大于预设值,则所述运动目标的运动方向为向前运动;
具体的,预设值为0,第一偏移模拟值、第二偏移模拟值以及第三偏移模拟值分别对应X、Y、Z三个方向的运动信息,当第一偏移值大于0时,则运动目标向右运动,当第一偏移值小于0时,则运动目标向左运动,当第一偏移值等于0时,则运动目标在X轴方向上无运动,同理根据第二偏移模拟值以及第三偏移模拟值的具体取值,便可确定对应的运动方向。
值得说明的是,在得到具体的差分图像之后,便可得到运动目标在图像上对应的偏移量,结合图像至子眼相机之间的转换关系以及子眼相机的本身参数,即内参数与外参数,即可计算得到在对应方向上的运动量。
本发明第一实施例提供的基于复眼形态视觉的目标运动识别方法,首先获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;之后对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;而后基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;然后计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;最后对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离,本发明通过标定得到子眼相机的内外参数,并根据内外参数计算重叠区域,根据重叠区域并采用预设算法进行拼接,使得拼接出来的图像完成,且在拼接过程中相互重叠的部分不会出现错乱、目标重叠的情况,同时本发明根据计算得到的偏移模拟值以及偏移量确定目标的运动方向以及运动量,可在复杂背景条件下高效且可靠的检测出目标的运动方向以及对应的运动量。
实施例二
如图8所示,在本发明的第二个实施例提供了一种基于复眼形态视觉的目标运动识别***,所述***包括:
获取模块1,用于获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;
标定模块2,用于对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;
校正模块3,用于基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;
拼接模块4,用于计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;
运动识别模块5,用于对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离。
其中,所述标定模块2包括:
投影子模块,用于在标定坐标系设置一标定点,所述标定点投影在图像像素坐标系中的投影坐标为/>,基于所述标定点与所述投影坐标建立投影方程:
式中,为第一比例因子,/>为内参数矩阵,/>为外参数矩阵;
内参数矩阵确定子模块,用于基于所述投影方程确定内参数矩阵
;/>
式中,、/>分别为沿/>、/>轴的等效焦距,/>为第二比例因子,/>为光轴与像素平面的交点,/>为焦距替换量,/>为纵向投影变化量;
内参数确定子模块,用于基于所述内参数矩阵,以得到所述第一子眼与所述第二子眼的内参数:
;/>;/>
;/>
式中,为内参数矩阵/>中第一行第一列的元素,/>为内参数矩阵/>中第一行第二列的元素,/>为内参数矩阵/>中第一行第三列的元素,/>为内参数矩阵/>中第二行第二列的元素,/>为内参数矩阵/>中第二行第三列的元素,/>为内参数矩阵/>中第三行第三列的元素。
所述标定模块2还包括:
标靶子模块,用于在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像,在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像;
标靶转换子模块,用于基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵
式中,为空间坐标系至第一标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像平移矩阵,/>为空间坐标系至第一标靶图像平移矩阵;
外参数确定子模块,用于基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵/>,基于所述外参数矩阵/>,以得到所述第一子眼与所述第二子眼的外参数,其中所述外参数矩阵/>为:
式中,为第一标靶至第一子眼的转换矩阵,/>为第二标靶至第二子眼的转换矩阵。
所述校正模块3包括:
校正方程建立子模块,用于在所述子眼图像中确定一点,基于所述内参数与所述外参数确定点/>对应的理论坐标点/>以及空间坐标点/>,基于点/>、理论坐标点/>以及空间坐标点/>建立校正方程:
式中,为光轴与像素平面的交点,/>为第一校正系数,/>为第二校正系数;
校正子模块,用于求解所述校正方程中的第一校正系数、第二校正系数/>,并基于所述第一校正系数/>、所述第二校正系数/>对所述子眼图像中的像素点坐标进行校正,以得到校正图像。
所述拼接模块4包括:
区域计算子模块,用于基于所述内参数计算所述校正图像之间的重叠区域
式中,为图像传感器至目标的距离,/>为相邻子眼之间的距离,/>为复眼相机至目标的距离,/>为校正图像的长度,/>为子眼直径,/>为子眼焦距;
差分子模块,用于对所述校正图像进行高斯模糊处理,以得到图像空间,对所述图像空间进行多次采样处理,以得到高斯金字塔,对每组所述高斯金字塔的相邻涂层进行差分处理,以得到差分金字塔;
特征点确定子模块,用于基于所述差分金字塔在所述重叠区域内选定第一像素点,在所述第一像素点周围选取预设数量的第二像素点,将所述第一像素点与所述第二像素点存入待选特征点集中,将所述待选特征点集中的极值点作为特征点;
拼接子模块,用于基于所述特征点确定特征码段以及匹配特征点,根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理,以得到整体图像。
所述拼接子模块包括:
赋值单元,用于以所述特征点为中心选取预设形状的邻域范围,在所述邻域范围内选取若干像素点对,基于每个所述像素点对之间的像素值大小进行赋值处理,以得到特征码段;
匹配单元,用于计算所述待选特征点集中的像素点与所述像素点对之间的汉明距离,选取汉明距离最小时对应的两个像素点作为第一匹配像素点与第二匹配像素点,计算所述第一匹配像素点至所述像素点对之间的汉明距离与所述第二匹配像素点至所述像素点对之间的汉明距离的距离比值,将距离比值小于预设比值阈值对应的像素点作为匹配特征点;
拼接单元,用于基于所述特征码段与所述匹配特征点将所述校正图像进行拼接处理,以得到整体图像。
所述运动识别模块5包括:
目标确定子模块,用于对相邻两帧的整体图像进行差分计算,以得到差分图像,基于所述差分图像确定运动目标;
分解子模块,用于采用二维小波变换对所述差分图像进行图像分解,以得到第一频率子图与第二频率子图;
处理子模块,用于对所述第二频率子图互抑制处理与平滑滤波处理,以得到第一信号与第二信号,对所述第一信号与所述第二信号进行半波整流处理,以得到第一处理信号与第二处理信号;
偏移模拟值计算子模块,用于将所述第一处理信号与所述第二处理信号输出值开关量通道中,以输出偏移模拟值组,所述偏移模拟值组包括第一偏移模拟值、第二偏移模拟值以及第三偏移模拟值,判断所述第一偏移模拟值、所述第二偏移模拟值以及所述第三偏移模拟值是否小于预设值;
识别子模块,用于若所述第一偏移模拟值小于预设值,则所述运动目标的运动方向为向左运动,若所述第一偏移模拟值大于预设值,则所述运动目标的运动方向为向右运动,若所述第二偏移模拟值小于预设值,则所述运动目标的运动方向为向下运动,若所述第二偏移模拟值大于预设值,则所述运动目标的运动方向为向上运动,若所述第三偏移模拟值小于预设值,则所述运动目标的运动方向为向后运动,若所述第三偏移模拟值大于预设值,则所述运动目标的运动方向为向前运动。
在本发明的另一些实施例中,本发明实施例提供以下技术方案,一种计算机,包括存储器102、处理器101以及存储在所述存储器102上并可在所述处理器101上运行的计算机程序,所述处理器101执行所述计算机程序时实现如上所述的基于复眼形态视觉的目标运动识别方法。
具体的,上述处理器101可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器102可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器102可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器102可在数据处理装置的内部或外部。在特定实施例中,存储器102是非易失性(Non-Volatile)存储器。在特定实施例中,存储器102包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory,简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器101所执行的可能的计算机程序指令。
处理器101通过读取并执行存储器102中存储的计算机程序指令,以实现上述基于复眼形态视觉的目标运动识别方法。
在其中一些实施例中,计算机还可包括通信接口103和总线100。其中,如图9所示,处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
通信接口103用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线100包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。总线100包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线100可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、***组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线100可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该计算机可以基于获取到基于复眼形态视觉的目标运动识别***,执行本申请的基于复眼形态视觉的目标运动识别方法,从而实现目标的运动识别。
在本发明的再一些实施例中,结合上述的基于复眼形态视觉的目标运动识别方法,本发明实施例提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于复眼形态视觉的目标运动识别方法。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于复眼形态视觉的目标运动识别方法,其特征在于,包括:
获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;
对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;
基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;
计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;
对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离;
所述对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数的步骤包括:
在标定坐标系设置一标定点,所述标定点投影在图像像素坐标系中的投影坐标为/>,基于所述标定点与所述投影坐标建立投影方程:
式中,为第一比例因子,/>为内参数矩阵,/>为外参数矩阵;
基于所述投影方程确定内参数矩阵
;/>
式中,、/>分别为沿/>、/>轴的等效焦距,/>为第二比例因子,/>为光轴与像素平面的交点,/>为焦距替换量,/>为纵向投影变化量;
基于所述内参数矩阵,以得到所述第一子眼与所述第二子眼的内参数:
;/>;/>
;/>
式中,为内参数矩阵/>中第一行第一列的元素,/>为内参数矩阵/>中第一行第二列的元素,/>为内参数矩阵/>中第一行第三列的元素,/>为内参数矩阵/>中第二行第二列的元素,/>为内参数矩阵/>中第二行第三列的元素,/>为内参数矩阵/>中第三行第三列的元素;
所述在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数的步骤包括:
在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像,在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像;
基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵
式中,为空间坐标系至第一标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像平移矩阵,/>为空间坐标系至第一标靶图像平移矩阵;
基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵/>,基于所述外参数矩阵/>,以得到所述第一子眼与所述第二子眼的外参数,其中所述外参数矩阵/>为:
式中,为第一标靶至第一子眼的转换矩阵,/>为第二标靶至第二子眼的转换矩阵;
所述基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像的步骤包括:
在所述子眼图像中确定一点,基于所述内参数与所述外参数确定点对应的理论坐标点/>以及空间坐标点/>,基于点/>、理论坐标点/>以及空间坐标点/>建立校正方程:
式中,为光轴与像素平面的交点,/>为第一校正系数,/>为第二校正系数;
求解所述校正方程中的第一校正系数、第二校正系数/>,并基于所述第一校正系数、所述第二校正系数/>对所述子眼图像中的像素点坐标进行校正,以得到校正图像;
所述计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像的步骤包括:
基于所述内参数计算所述校正图像之间的重叠区域
式中,为图像传感器至目标的距离,/>为相邻子眼之间的距离,/>为复眼相机至目标的距离,/>为校正图像的长度,/>为子眼直径,/>为子眼焦距;
对所述校正图像进行高斯模糊处理,以得到图像空间,对所述图像空间进行多次采样处理,以得到高斯金字塔,对每组所述高斯金字塔的相邻涂层进行差分处理,以得到差分金字塔;
基于所述差分金字塔在所述重叠区域内选定第一像素点,在所述第一像素点周围选取预设数量的第二像素点,将所述第一像素点与所述第二像素点存入待选特征点集中,将所述待选特征点集中的极值点作为特征点;
基于所述特征点确定特征码段以及匹配特征点,根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理,以得到整体图像。
2.根据权利要求1所述的基于复眼形态视觉的目标运动识别方法,其特征在于,所述基于所述特征点确定特征码段以及匹配特征点,根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理,以得到整体图像的步骤包括:
以所述特征点为中心选取预设形状的邻域范围,在所述邻域范围内选取若干像素点对,基于每个所述像素点对之间的像素值大小进行赋值处理,以得到特征码段;
计算所述待选特征点集中的像素点与所述像素点对之间的汉明距离,选取汉明距离最小时对应的两个像素点作为第一匹配像素点与第二匹配像素点,计算所述第一匹配像素点至所述像素点对之间的汉明距离与所述第二匹配像素点至所述像素点对之间的汉明距离的距离比值,将距离比值小于预设比值阈值对应的像素点作为匹配特征点;
基于所述特征码段与所述匹配特征点将所述校正图像进行拼接处理,以得到整体图像。
3.根据权利要求1所述的基于复眼形态视觉的目标运动识别方法,其特征在于,所述对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向的步骤包括:
对相邻两帧的整体图像进行差分计算,以得到差分图像,基于所述差分图像确定运动目标;
采用二维小波变换对所述差分图像进行图像分解,以得到第一频率子图与第二频率子图;
对所述第二频率子图互抑制处理与平滑滤波处理,以得到第一信号与第二信号,对所述第一信号与所述第二信号进行半波整流处理,以得到第一处理信号与第二处理信号;
将所述第一处理信号与所述第二处理信号输出值开关量通道中,以输出偏移模拟值组,所述偏移模拟值组包括第一偏移模拟值、第二偏移模拟值以及第三偏移模拟值,判断所述第一偏移模拟值、所述第二偏移模拟值以及所述第三偏移模拟值是否小于预设值;
若所述第一偏移模拟值小于预设值,则所述运动目标的运动方向为向左运动,若所述第一偏移模拟值大于预设值,则所述运动目标的运动方向为向右运动,若所述第二偏移模拟值小于预设值,则所述运动目标的运动方向为向下运动,若所述第二偏移模拟值大于预设值,则所述运动目标的运动方向为向上运动,若所述第三偏移模拟值小于预设值,则所述运动目标的运动方向为向后运动,若所述第三偏移模拟值大于预设值,则所述运动目标的运动方向为向前运动。
4.一种基于复眼形态视觉的目标运动识别***,其特征在于,所述***包括:
获取模块,用于获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像,选取其中一子眼作为第一子眼,将与所述第一子眼相邻的子眼作为第二子眼;
标定模块,用于对所述第一子眼与所述第二子眼进行内参数标定,以得到所述第一子眼与所述第二子眼的内参数,在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像,基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定,以得到所述第一子眼与所述第二子眼的外参数;
校正模块,用于基于所述内参数与所述外参数计算校正系数,基于所述校正系数对所述子眼图像进行校正,以得到校正图像;
拼接模块,用于计算所述校正图像之间的重叠区域,基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理,以得到整体图像;
运动识别模块,用于对相邻两帧的整体图像进行差分计算,以得到运动目标,计算所述运动目标在各方向上的偏移模拟值,基于所述偏移模拟值确定所述运动目标的运动方向,计算所述运动目标的偏移量,基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离;
其中,所述标定模块包括:
投影子模块,用于在标定坐标系设置一标定点,所述标定点投影在图像像素坐标系中的投影坐标为/>,基于所述标定点与所述投影坐标建立投影方程:
式中,为第一比例因子,/>为内参数矩阵,/>为外参数矩阵;
内参数矩阵确定子模块,用于基于所述投影方程确定内参数矩阵
;/>
式中,、/>分别为沿/>、/>轴的等效焦距,/>为第二比例因子,/>为光轴与像素平面的交点,/>为焦距替换量,/>为纵向投影变化量;
内参数确定子模块,用于基于所述内参数矩阵,以得到所述第一子眼与所述第二子眼的内参数:
;/>;/>
;/>
式中,为内参数矩阵/>中第一行第一列的元素,/>为内参数矩阵/>中第一行第二列的元素,/>为内参数矩阵/>中第一行第三列的元素,/>为内参数矩阵/>中第二行第二列的元素,/>为内参数矩阵/>中第二行第三列的元素,/>为内参数矩阵/>中第三行第三列的元素;
所述标定模块还包括:
标靶子模块,用于在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像,在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像;
标靶转换子模块,用于基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵
式中,为空间坐标系至第一标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像旋转矩阵,/>为空间坐标系至第二标靶图像平移矩阵,/>为空间坐标系至第一标靶图像平移矩阵;
外参数确定子模块,用于基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵/>,基于所述外参数矩阵/>,以得到所述第一子眼与所述第二子眼的外参数,其中所述外参数矩阵/>为:
式中,为第一标靶至第一子眼的转换矩阵,/>为第二标靶至第二子眼的转换矩阵;
所述校正模块包括:
校正方程建立子模块,用于在所述子眼图像中确定一点,基于所述内参数与所述外参数确定点/>对应的理论坐标点/>以及空间坐标点/>,基于点/>、理论坐标点/>以及空间坐标点/>建立校正方程:
式中,为光轴与像素平面的交点,/>为第一校正系数,/>为第二校正系数;
校正子模块,用于求解所述校正方程中的第一校正系数、第二校正系数/>,并基于所述第一校正系数/>、所述第二校正系数/>对所述子眼图像中的像素点坐标进行校正,以得到校正图像;
所述拼接模块包括:
区域计算子模块,用于基于所述内参数计算所述校正图像之间的重叠区域
式中,为图像传感器至目标的距离,/>为相邻子眼之间的距离,/>为复眼相机至目标的距离,/>为校正图像的长度,/>为子眼直径,/>为子眼焦距;
差分子模块,用于对所述校正图像进行高斯模糊处理,以得到图像空间,对所述图像空间进行多次采样处理,以得到高斯金字塔,对每组所述高斯金字塔的相邻涂层进行差分处理,以得到差分金字塔;
特征点确定子模块,用于基于所述差分金字塔在所述重叠区域内选定第一像素点,在所述第一像素点周围选取预设数量的第二像素点,将所述第一像素点与所述第二像素点存入待选特征点集中,将所述待选特征点集中的极值点作为特征点;
拼接子模块,用于基于所述特征点确定特征码段以及匹配特征点,根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理,以得到整体图像;
所述拼接子模块包括:
赋值单元,用于以所述特征点为中心选取预设形状的邻域范围,在所述邻域范围内选取若干像素点对,基于每个所述像素点对之间的像素值大小进行赋值处理,以得到特征码段;
匹配单元,用于计算所述待选特征点集中的像素点与所述像素点对之间的汉明距离,选取汉明距离最小时对应的两个像素点作为第一匹配像素点与第二匹配像素点,计算所述第一匹配像素点至所述像素点对之间的汉明距离与所述第二匹配像素点至所述像素点对之间的汉明距离的距离比值,将距离比值小于预设比值阈值对应的像素点作为匹配特征点;
拼接单元,用于基于所述特征码段与所述匹配特征点将所述校正图像进行拼接处理,以得到整体图像。
5.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的基于复眼形态视觉的目标运动识别方法。
6.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的基于复眼形态视觉的目标运动识别方法。
CN202310967035.1A 2023-08-03 2023-08-03 一种基于复眼形态视觉的目标运动识别方法及*** Active CN116681732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310967035.1A CN116681732B (zh) 2023-08-03 2023-08-03 一种基于复眼形态视觉的目标运动识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310967035.1A CN116681732B (zh) 2023-08-03 2023-08-03 一种基于复眼形态视觉的目标运动识别方法及***

Publications (2)

Publication Number Publication Date
CN116681732A CN116681732A (zh) 2023-09-01
CN116681732B true CN116681732B (zh) 2023-10-20

Family

ID=87784079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310967035.1A Active CN116681732B (zh) 2023-08-03 2023-08-03 一种基于复眼形态视觉的目标运动识别方法及***

Country Status (1)

Country Link
CN (1) CN116681732B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130628A (ja) * 2008-12-01 2010-06-10 Sharp Corp 撮像装置、映像合成装置および映像合成方法
CN102572220A (zh) * 2012-02-28 2012-07-11 北京大学 3-3-2空间信息转换新模式的仿生复眼运动目标检测
CN106767913A (zh) * 2016-12-02 2017-05-31 中国科学技术大学 一种基于单led发光点和二维转台的复眼***标定装置及标定方法
CN108776980A (zh) * 2018-05-14 2018-11-09 南京工程学院 一种面向微透镜光场相机的标定方法
CN111583117A (zh) * 2020-05-09 2020-08-25 上海航天测控通信研究所 一种适用于太空复杂环境的快速全景拼接方法及装置
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112362034A (zh) * 2020-11-11 2021-02-12 上海电器科学研究所(集团)有限公司 基于双目视觉的固体发动机多节筒段对接引导测量算法
CN113191954A (zh) * 2021-06-11 2021-07-30 南京工程学院 一种基于双目相机的全景图像拼接方法
WO2021254110A1 (zh) * 2020-06-19 2021-12-23 京东方科技集团股份有限公司 图像处理方法、装置及设备、存储介质
CN114485648A (zh) * 2022-02-08 2022-05-13 北京理工大学 一种基于仿生复眼惯性***的导航定位方法
CN115348364A (zh) * 2022-08-10 2022-11-15 长春工业大学 一种曲面仿生复眼大视场成像装置及成像方法
WO2023082306A1 (zh) * 2021-11-12 2023-05-19 苏州瑞派宁科技有限公司 图像处理方法、装置、电子设备以及计算机可读存储介质
CN116205991A (zh) * 2023-02-03 2023-06-02 深圳纷来智能有限公司 基于多视角相机阵列的多信息源事件感知器的构建方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130628A (ja) * 2008-12-01 2010-06-10 Sharp Corp 撮像装置、映像合成装置および映像合成方法
CN102572220A (zh) * 2012-02-28 2012-07-11 北京大学 3-3-2空间信息转换新模式的仿生复眼运动目标检测
CN106767913A (zh) * 2016-12-02 2017-05-31 中国科学技术大学 一种基于单led发光点和二维转台的复眼***标定装置及标定方法
CN108776980A (zh) * 2018-05-14 2018-11-09 南京工程学院 一种面向微透镜光场相机的标定方法
CN111583117A (zh) * 2020-05-09 2020-08-25 上海航天测控通信研究所 一种适用于太空复杂环境的快速全景拼接方法及装置
WO2021254110A1 (zh) * 2020-06-19 2021-12-23 京东方科技集团股份有限公司 图像处理方法、装置及设备、存储介质
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112362034A (zh) * 2020-11-11 2021-02-12 上海电器科学研究所(集团)有限公司 基于双目视觉的固体发动机多节筒段对接引导测量算法
CN113191954A (zh) * 2021-06-11 2021-07-30 南京工程学院 一种基于双目相机的全景图像拼接方法
WO2023082306A1 (zh) * 2021-11-12 2023-05-19 苏州瑞派宁科技有限公司 图像处理方法、装置、电子设备以及计算机可读存储介质
CN114485648A (zh) * 2022-02-08 2022-05-13 北京理工大学 一种基于仿生复眼惯性***的导航定位方法
CN115348364A (zh) * 2022-08-10 2022-11-15 长春工业大学 一种曲面仿生复眼大视场成像装置及成像方法
CN116205991A (zh) * 2023-02-03 2023-06-02 深圳纷来智能有限公司 基于多视角相机阵列的多信息源事件感知器的构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
High precision target tracking with a compound-eye image sensor;R. Krishnasamy 等;《 Canadian Conference on Electrical and Computer Engineering 2004》;全文 *
球面仿生复眼的标定与定位研究;何建争;《硕士论文电子期刊》;全文 *
用于大视场三维探测的人工复眼***几何标定;简慧杰;何建争;王克逸;;光学学报(02);全文 *
目标跟踪与定位中的视觉标定算法研究;李良福;陈卫东;冯祖仁;郑宝忠;;应用光学(04);全文 *

Also Published As

Publication number Publication date
CN116681732A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
US10997696B2 (en) Image processing method, apparatus and device
CN111052176B (zh) 无缝图像拼接
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
WO2020259271A1 (zh) 图像畸变校正方法和装置
US9712755B2 (en) Information processing method, apparatus, and program for correcting light field data
CN109003311B (zh) 一种鱼眼镜头的标定方法
US10733705B2 (en) Information processing device, learning processing method, learning device, and object recognition device
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
WO2019105261A1 (zh) 背景虚化处理方法、装置及设备
CN106447602A (zh) 一种图像拼接方法及装置
CN107113376A (zh) 一种图像处理方法、装置及摄像机
CN105324791A (zh) 坐标计算装置和方法、以及图像处理装置和方法
US9070189B2 (en) Image blurring correction device
CN104954663B (zh) 图像处理装置和图像处理方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN109951640A (zh) 摄像头防抖方法和***、电子设备、计算机可读存储介质
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
JP2020067748A (ja) 画像処理装置、画像処理方法、およびプログラム
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
WO2023236508A1 (zh) 一种基于亿像素阵列式相机的图像拼接方法及***
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN117061868A (zh) 一种基于图像识别的自动拍照装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant