CN117523005A - 一种相机标定方法及装置 - Google Patents
一种相机标定方法及装置 Download PDFInfo
- Publication number
- CN117523005A CN117523005A CN202311617441.1A CN202311617441A CN117523005A CN 117523005 A CN117523005 A CN 117523005A CN 202311617441 A CN202311617441 A CN 202311617441A CN 117523005 A CN117523005 A CN 117523005A
- Authority
- CN
- China
- Prior art keywords
- image
- monitoring camera
- vehicle
- camera
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 328
- 238000013507 mapping Methods 0.000 claims abstract description 206
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims 2
- 239000000523 sample Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种相机标定方法及装置,涉及数据处理技术领域,上述方法包括:获得第一监控相机和第二监控相机同步采集的第一图像和第二图像,第一监控相机与第二监控相机存在重叠视场范围;分别在第一图像和第二图像的重叠区域内识别第一车辆,并提取第一车辆预设部位的车辆特征;基于所提取车辆特征,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系,作为对第一监控相机和第二监控相机进行相机标定的结果;基于第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验图像映射关系是否需要更新;若需要,更新图像映射关系。应用本申请实施例提供的方案可以提高相机的标定效率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种相机标定方法及装置。
背景技术
为了便于对车辆进行管理,可以采用监控相机针对道路区域进行图像采集,基于采集得到的图像,获得在道路区域内行驶的车辆的行驶位置信息集合点,从而可以基于行驶位置信息集合点对车辆是否正确停车、是否在正确车道行驶等进行检测。
一般情况下,单台监控相机的视场范围有限,为了获得相对完整的行驶位置信息集合点以便后续使用,需要在道路区域内架设多台监控相机,这样可以获得车辆在各台监控相机的视场范围所覆盖的道路区域内的行驶位置信息集合点,对得到的多段行驶位置信息集合点进行融合,从而得到车辆在道路区域内较为完整的行驶位置信息集合点。
其中,进行位置信息集合点融合之前,需要对监控相机进行标定,也就是,确定各台监控相机所采集图像之间的图像映射关系,进而能够基于图像映射关系,将基于多台监控相机得到的多段行驶位置信息集合点进行融合。
相关技术中,往往会预先采用各种人工标定方法对监控相机进行标定,标定流程较为复杂,标定效率较低。
发明内容
本申请实施例的目的在于提供一种相机标定方法及装置,以提高监控相机的标定效率。
具体技术方案如下:
第一方面,本申请实施例提供了一种相机标定方法,所述方法包括:
获得第一监控相机和第二监控相机同步采集的第一图像和第二图像,其中,所述第一监控相机与第二监控相机存在重叠视场范围;
分别在所述第一图像和第二图像的重叠区域内识别第一车辆,其中,所述重叠区域为:所述重叠视场范围在所述第一监控相机和第二监控相机所采集图像中对应的图像区域;
从所述第一图像中提取所述第一车辆预设部位的第一组车辆特征,并从所述第二图像中提取所述第一车辆预设部位的第二组车辆特征;
基于所述第一组车辆特征和第二组车辆特征,确定所述第一监控相机所采集图像与所述第二监控相机所采集图像之间的图像映射关系,作为对所述第一监控相机和第二监控相机进行相机标定的结果;
基于所述第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验所述图像映射关系是否需要更新,其中,所述特征映射差异为预期特征与基准特征之间的差异,所述预期特征为同步采集的一张图像中车辆的特征映射到同步采集的另一张图像后的特征,所述基准特征为同步采集的另一张图像中车辆的特征;
若需要,更新所述图像映射关系。
第二方面,本申请实施例提供了一种相机标定装置,包括:
第一图像获得模块,用于获得第一监控相机和第二监控相机同步采集的第一图像和第二图像,其中,所述第一监控相机与第二监控相机存在重叠视场范围;
第一车辆识别模块,用于分别在所述第一图像和第二图像的重叠区域内识别第一车辆,其中,所述重叠区域为:所述重叠视场范围在所述第一监控相机和第二监控相机所采集图像中对应的图像区域;
第一组车辆特征提取模块,用于从所述第一图像中提取所述第一车辆预设部位的第一组车辆特征,并从所述第二图像中提取所述第一车辆预设部位的第二组车辆特征;
映射关系确定模块,用于基于所述第一组车辆特征和第二组车辆特征,确定所述第一监控相机所采集图像与所述第二监控相机所采集图像之间的图像映射关系,作为对所述第一监控相机和第二监控相机进行相机标定的结果;
映射关系校验模块,用于基于所述第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验所述图像映射关系是否需要更新,若需要,触发映射关系更新模块,其中,所述特征映射差异为预期特征与基准特征之间的差异,所述预期特征为同步采集的一张图像中车辆的特征映射到同步采集的另一张图像后的特征,所述基准特征为同步采集的另一张图像中车辆的特征;
所述映射关系更新模块,用于更新所述图像映射关系。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法。
第五方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行第一方面所述的方法。
由以上可见,应用本申请实施例提供的方案进行相机标定时,首先获得存在重叠视场范围的第一监控相机和第二监控相机同步采集的第一图像和第二图像,分别在第一图像和第二图像的重叠区域内识别第一车辆,然后,分别从第一图像、第二图像中提取第一车辆预设部位的第一组车辆特征、第二组车辆特征,从而可以基于第一组车辆特征和第二组车辆特征,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系,作为对第一监控相机和第二监控相机进行相机标定的结果。
可见,从第一监控相机采集的第一图像和第二监控相机采集的第二图像中识别到同一车辆后,即可从第一图像和第二图像中提取到同一车辆在不同视场下的车辆特征,从而根据从第一图像和第二图像中提取到的不同车辆特征,实现相机标定。相较于人工标定,无需工作人员预先在路面设置任何标定物,降低了工作量和标定方案的落地成本,可以更加便捷、高效的实现相机标定,提高了相机的标定效率。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的第一种相机标定方法的流程示意图;
图2为本申请实施例提供的一种重叠区域的示意图;
图3为本申请实施例提供的第一种相机架设方式的示意图;
图4为本申请实施例提供的第二种相机架设方式的示意图;
图5为本申请实施例提供的一种关键点对应关系示意图;
图6为本申请实施例提供的第二种相机标定方法的流程示意图;
图7为本申请实施例提供的一种图像映射关系更新场景的示意图;
图8为本申请实施例提供的一种相机标定装置的结构示意图;
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
首先对本申请实施例所提供方案的执行主体进行说明。
本申请实施例所提供方案的执行主体为:任意一台具有数据处理、通信、存储等功能的电子设备。
下面对本申请实施例提供的相机标定方案进行详细说明。
参见图1,为本申请实施例提供的第一种相机标定方法的流程示意图,上述方法包括以下步骤S101-步骤S106。
步骤S101:获得第一监控相机和第二监控相机同步采集的第一图像和第二图像。
本申请实施例不对第一监控相机和第二监控相机的类型、型号等作限定。
一种情况下,第一监控相机可以是近景相机,第二监控相机可以是鱼眼相机,详见后续实施例。
本步骤中,第一图像和第二图像是第一监控相机和第二监控相机同步采集的,因此,可以理解为第一图像和第二图像的图像采集时刻相同。
其中,第一监控相机与第二监控相机存在重叠视场范围。
需要说明的是,上述第一监控相机和第二监控相机可以是属于同一相机序列中的任意两台相机,只需第一监控相机和第二监控相机存在重叠视场范围即可,详见后续图3所示实施例。
上述重叠视场范围也就是指:第一监控相机的视场范围和第二监控相机的视场范围的重叠部分。
下面对上述重叠区域的确定方式进行介绍。
一种实施方式中,上述重叠区域可以根据监控相机的视场范围与监控相机所采集图像的图像区域之间的对应关系确定。
例如,从第一图像中确定重叠区域时,可以根据第一监控相机的视场范围与第一监控相机所采集图像的图像区域之间的对应关系,确定重叠视场范围在第一图像中对应的图像区域,作为第一图像中的重叠区域。从第一图像中确定重叠区域同理,这里不再赘述。
另一种实施方式中,工作人员可以在第一图像和第二图像中划定重叠区域,这样,电子设备可以直接可以确定工作人员预先在第一图像和第二图像中划定的重叠区域。
本申请实施例不对第一监控相机和第二监控相机的架设方式作限定,可以采用各种方式调整第一监控相机和第二监控相机的位置和视角,只要使得第一监控相机与第二监控相机存在重叠视场范围即可。
本申请的一个实施例中,第一监控相机与第二监控相机可以布设于同一架设杆。
例如,第一监控相机与第二监控相机可以布设于同一架设杆的两侧。
可见,这样无需各个监控相机布设于不同的架设杆,这样可以节省架设杆的数量,降低立杆成本,从而降低方案的实施成本。
当然,本申请实施例还提供了其他监控相机架设方案,详见后续实施例。
步骤S102:分别在第一图像和第二图像的重叠区域内识别第一车辆。
其中,重叠区域为:重叠视场范围在第一监控相机和第二监控相机所采集图像中对应的图像区域。
下面通过图2,对上述重叠区域进行直观的说明。
参见图2,为本申请实施例提供的一种重叠区域的示意图。
可以看出,第一监控相机和第二监控相机存在重叠视场范围,上述重叠视场范围在第一监控相机所采集的第一图像中对应的图像区域即为重叠区域,上述重叠视场范围在第二监控相机所采集的第二图像中对应的图像区域也是重叠区域。
具体的,可以采用各种对象识别或对象分割算法在第一图像和第二图像的重叠区域内识别各车辆特征。
例如,上述算法可以是PolarMask,Segement Anything Model算法等。
其中,识别第一车辆时分为以下两种情况:
第一种情况,若在第一图像和第二图像的重叠区域内均仅识别到一台车辆,那么,可以直接将所识别到的车辆确定为第一车辆。
第二种情况,若在第一图像和第二图像的任一图像中识别到了多台车辆,那么,可以从上述多台车辆中,确定第一图像和第二图像均识别到的车辆,将所确定的车辆确定为第一车辆。
可见,这种情况下,所确定的第一车辆可以是所识别车辆中的其中一辆,可以是所识别车辆中的多辆,也可以全部所识别车辆。
下面对从第一图像和第二图像中识别得到的车辆中识别同一车辆的方式进行介绍。
一种实施方式中,可以分别提取第一图像和第二图像中识别到的车辆部位的特征,然后,根据车辆部位的特征之间的相似度,确定第一图像和第二图像中识别到的车辆是否为同一车辆。
上述车辆部位可以是前车窗、侧车窗、后视镜、车牌、车灯等,本申请实施例对此不作限定。
例如,若第一图像中识别到的车辆A的车辆部位的特征与第二图像中识别到的车辆B的车辆部位的特征之间的相似度大于预设相似度阈值,则可以认为车辆A和车辆B是同一车辆。
另一种实施方式中,可以分别确定第一图像和第二图像中识别到的车辆的相对位置,基于相对位置确定第一图像和第二图像中识别到的车辆是否为同一车辆。
上述相对位置可以是车辆相对于重叠区域内的空间位置关系等的相对位置。
这样,可以将第一图像和第二图像中识别到的相对位置接近的车辆确定为同一车辆。
步骤S103:从第一图像中提取第一车辆预设部位的第一组车辆特征,并从第二图像中提取第一车辆预设部位的第二组车辆特征。
其中,第一图像是第一监控相机采集的图像,第二图像是第二监控相机采集的图像,由于第一监控相机和第二监控相机的视场范围是不同的,那么,从第一图像和第二图像中提取得到的第一组车辆特征和第二组车辆特征也就是分别对应于第一监控相机和第二监控各自视场范围的车辆特征。
另外,需要说明的是,上述第一组车辆特征可以包括一个特征,当然也可以包括多个特征;类似的,上述第二组车辆特征可以包括一个特征,当然也可以包括多个特征。
一种情况下,上述预设部位可以包括以下部位中的至少一种:
前车窗、侧车窗、后视镜、车牌、车灯。
这样可以提取得到不同类型的车辆部位的特征,使得所提取的特征更加丰富、全面,有利于提高后续基于所提取特征进行相机标定时的准确度。
具体的,可以先识别第一车辆的各预设部位,然后采用各种特征提取算法提取上述第一对象特征和第二对象特征,本申请实施例对此不作限定。
例如,上述算法可以在图像分割算法中同步输出等。
一种情况下,识别第一车辆的各预设部位之后,可以分别确定第一图像和第二图像中各预设部位的关键点位置,将所确定的关键点位置作为第一对象特征和第二对象特征。
步骤S104:基于第一组车辆特征和第二组车辆特征,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系,作为对第一监控相机和第二监控相机进行相机标定的结果。
上述图像映射关系可以理解为:第一监控相机所采集图像的图像平面与第二监控相机所采集图像的图像平面之间的透视变换关系。
第一图像是第一监控相机所采集的图像,第二图像是第二监控相机所采集的图像,由于分别从第一图像和第一车辆提取了同一第一车辆预设部位的车辆特征,那么,可以依据所提取的第一组车辆特征和第二组车辆特征之间的差异,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系。
需要说明的是,若所确定的第一车辆为多个,则可以基于各第一车辆对应的第一组车辆特征和第二组车辆特征,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系。
一种情况下,若第一组车辆特征和第二组车辆特征中包含第一车辆预设部位的关键点位置,则可以根据关键点位置确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系。具体实施方式详见后续实施例,这里暂不详述。
步骤S105:基于第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验图像映射关系是否需要更新,若为是,执行步骤S106。
其中,特征映射差异为预期特征与基准特征之间的差异,预期特征为同步采集的一张图像中车辆的特征映射到同步采集的另一张图像后的特征,基准特征为同步采集的另一张图像中车辆的特征。
由前述步骤S104可知,图像映射关系是依据第一监控相机和第二监控相机同步采集的图像的重叠区域内车辆的车辆特征得到的。其中,第一监控相机和第二监控相机进行图像采集时,受天气条件、车辆速度、偶发情况等影响,所得图像可能会出现模糊、畸变等,从而提取图像中车辆的车辆特征时,可能会导致所得车辆特征准确度较低,进而导致基于车辆特征得到的图像映射关系不准确。
例如,道路上可以有正在停泊的车辆,可以有正在行驶的车辆,也可以有行驶速度较高的车辆。当车辆行驶速度较高时,第一监控相机和第二监控相机同步采集的图像中的车辆可能会出现拖影、模糊等情况,这样,所提取的车辆特征的准确度会较低。
又如,在阴天、下雨等天气下,由于光线被遮挡,第一监控相机和第二监控相机同步采集的图像可能会较为模糊,从而在第一监控相机和第二监控相机同步采集的图像识别到的车辆也会较为模糊,这样,所提取的车辆特征的准确度会较低。
那么,在获得第一监控相机和第二监控相机同步采集图像后,可以基于图像映射关系,获得同步采集的一张图像中车辆的特征映射到同步采集的另一张图像后的预期特征。进一步的,基于预期特征和同步采集的另一张图像中车辆的基准特征,可以反过来检验图像映射关系是否需要更新。
再者,监控相机在一些情况下可能会发生抖动,导致监控相机的视场范围改变、各监控相机之间的相对位置也发生改变,从而,基于原有视场范围和相对位置所得的图像映射关系也会失效,也即不再准确。
由以上可见,已获得的图像映射关系可能会出现不准确的情况。
本申请实施例提供的方案中,得到图像映射关系之后,是基于图像映射关系,将同一车辆分别在第一监控相机和第二监控相机的视场范围内的两组行驶位置信息集合点进行融合,得到融合位置信息集合点。那么,若已获得的图像映射关系不准确,就会造成按照图像映射关系进行位置信息集合点融合的效果较差,从而得到的融合位置信息集合点也不准确。
鉴于上述情况,可以基于第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验图像映射关系是否准确,在判定图像映射关系不准确的情况下,可以更新图像映射关系,从而保证图像映射关系可以被不断更新,也提高了后续位置信息集合点融合时的准确度。
其中,具体的更新判断条件可以是特征映射差异大于预设阈值等。
以车辆的特征包括车辆后视镜的位置为例,假设同步采集的2张图像分别为图像p1和图像p2,p1和p2中车辆后视镜的位置为s1和s2,那么,基于图像映射关系,可以确定将s1映射到p2后的位置s3,进而基于s3和s2的差异,可以检验图像映射关系是否需要更新。
一种情况下,可以从第一监控相机和第二监控相机同步采集的图像的重叠区域内识别同一车辆,基于同一车辆的车辆特征,校验图像映射关系是否需要更新,详见后续图6所示实施例,这里不再赘述。
步骤S106:更新图像映射关系。
具体的,若判定图像映射关系需要更新,可以根据预期特征与基准特征之间的差异,确定第一监控相机所采集图像与第二监控相机所采集图像之间新的图像映射关系,将已有的图像映射关系更新为新的图像映射关系。
由以上可见,应用本申请实施例提供的方案进行相机标定时,首先获得存在重叠视场范围的第一监控相机和第二监控相机同步采集的第一图像和第二图像,分别在第一图像和第二图像的重叠区域内识别第一车辆,然后,分别从第一图像、第二图像中提取第一车辆预设部位的第一组车辆特征、第二组车辆特征,从而可以基于第一组车辆特征和第二组车辆特征,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系,作为对第一监控相机和第二监控相机进行相机标定的结果。
可见,从第一监控相机采集的第一图像和第二监控相机采集的第二图像中识别到同一车辆后,即可从第一图像和第二图像中提取到同一车辆的不同车辆特征,从而根据从第一图像和第二图像中提取到的不同车辆特征,实现相机标定。相较于人工标定,无需工作人员预先在路面设置任何标定物,降低了工作量和标定方案的落地成本,可以更加便捷、高效的实现相机标定,提高了相机的标定效率。
并且,依据第一监控相机和第二监控相机采集的图像得到图像映射关系、实现相机标定之后,还可以根据第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,对所得图像映射关系进行更新。也就是,可以随时根据在后采集的图像对已有的图像映射关系进行验证和优化,有利于消除确定图像映射关系时的偶然性,提高所得图像映射关系的准确度,也即提高对相机进行标定时的精确度。
监控相机在一些情况下可能会发生抖动,导致监控相机的视场范围改变、各监控相机之间的相对位置也发生改变,从而图像映射关系会失效。这种情况下,现有技术中,工作人员需要重新在监控相机的视场范围内设置标定物,进行重新标定。而本实施例中,可以直接依据第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,对所得图像映射关系进行更新,无需重新设置标定物,提高了对场景和环境变化的适应性,大幅提高了相机的标定效率。
可见,本实施例提供方案实现了图像映射关系的自学习与自优化,相较于现有技术,在标定效率、标定精确度、标定稳定性方面均有较好的提升。再者,后续基于标定后的相机进行位置信息集合点融合时,由于图像映射参数可以自学习与自优化,从而可以不断优化位置信息集合点融合效果,有利于提升最终得到的全局位置信息集合点的准确度。
本申请的一个实施例中,第一监控相机与第二监控相机布设于同一架设杆,并且,架设杆上可以布设有多台相机中轴线与水平面斜相交的近景相机,第二监控相机的相机中轴线与水平面垂直相交,
这种情况下,第一监控相机可以是:与第二监控相机相邻布设的近景相机。
其中,与第二监控相机相邻布设的近景相机可以为多台,此时第一监控相机可以是其中任意一台相机。
下面结合图3对上述监控相机架设方式进行直观的说明。
参见图3,为本申请实施例提供的第一种相机架设方式的示意图。
可以看出,架设杆两侧均布设有多台相机中轴线与水平面斜相交的近景相机(图3中仅示出了左侧布设的近景相机1-3),近景相机1-3的视场范围不同;且架设杆上还布设了相机中轴线与水平面垂直相交的第二监控相机,近景相机3的视场范围与第二监控相机的视场范围存在重叠;上述多台近景相机与第二监控相机可以被称为相机序列。
该种架设方式下,分别在架设杆的两侧布设了多台中轴线与水平面斜相交的近景相机,可以保证多台近景相机的联合视场范围较广;同时,该种架设方式下,各近景相机会的联合视场范围会存在视场盲区,架设杆上布设的相机中轴线与水平面垂直相交的第二监控相机用于弥补上述视场盲区,也可以称为“补盲”,实现了视场范围的全面覆盖。
这时,为了近景相机与第二监控相机捕捉到的车辆位置信息集合点能够顺利衔接,需要对与第二监控相机相邻布设的近景相机进行标定,如图3所示,近景相机3即为与第二监控相机相邻布设的近景相机,也即待进行标定的第一监控相机。
本申请的一个实施例中,上述第二监控相机可以是鱼眼相机。鱼眼相机的视场范围更广,具有更好的补盲效果。
需要说明的是,上述各近景相机的视场范围可以存在重叠区域,当架设符合标准车牌号等唯一特征清晰可见时,也可以不存在重叠区域,本申请实施例对此不作限定。
一种情况下,上述近景相机包括:视角朝向道路的不同行驶方向的相机。
参见图4,为本申请实施例提供的第二种相机架设方式的示意图。
图中粗箭头表示道路方向,为使附图简洁,仅示出了视角朝向道路东侧行驶方向的一台近景相机1和视角朝向道路南侧行驶方向的一台近景相机2。
可以看出,该种相机架设方式下,多台近景相机的视场范围可以覆盖道路的不同行驶方向,从而多台近景相机的视场范围可以联合覆盖整个路口区域。
这种情况下,各近景相机会的联合视场范围会也会存在视场盲区,依旧需要布设第二监控相机,通过第二监控相机的视场范围进行补盲。可以看出,近景相机1的视场范围与第二监控相机的视场范围存在重叠,近景相机2的视场范围与第二监控相机的视场范围也存在重叠。
类似的,可以分别将每一与第二监控相机相邻布设的近景相机1和近景相机2作为第一监控相机,与第二监控相机进行相机标定。
这样,通过上述监控相机架设方案,单个架设杆即可实现道路不同行驶方向和下方盲区的全方位视场覆盖,无需将不同监控相机布设于不同的架设杆,大幅降低了立杆成本。
下面对上述步骤S104中确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系的一种实施方式进行说明。
本申请的一个实施例中,可以基于图像之间的透视变换确定上述图像映射关系。
具体的,将第一图像和第二图像中任一图像称为基准图像,另一图像称为非基准图像,记基准图像中任一平面点在图像中的位置为(u,v),将该平面点投影到空间中的位置为(x’,y’,w’),那么,基于透视变换的原理,上述(u,v)与(x’,y’,w’)之间满足以下关系:
其中,a11、a12、a13、a21、a21、a23、a31、a32、a33表示待确定的未知参数。
若将该平面点投影到非基准图像中,由于非基准图像和基准图像的平面高度方向均归一化,所以a33可以取1,记该平面点在非基准图像中的位置为(x,y),那么(x,y)满足以下关系:
将w’取1,基于上述关系可以得到如下方程:
上述方程中一共有8个未知参数:a11、a12、a13、a21、a21、a23、a31以及a32,这样,可以分别获得基准图像和非基准图像中识别的第一车辆预设部位的关键点位置,将基准图像中至少4个关键点位置分别带入上述方程中的(u,v),将非基准图像中至少4个对应的关键点位置分别带入上述方程中的(x,y),采用最小二乘法即可求解上述8个未知参数。
求解得到的参数组成的矩阵可以为透视矩阵,基于透视矩阵即可将基准图像中任一点投影至另一图像,如以下表达式:
上述透视矩阵即可称为基准图像与非基准图像之间的图像映射关系,也即第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系。
下面结合图5,对第一图像和第二图像中相对应的关键点进行说明。
参见图5,为本申请实施例提供的一种关键点对应关系示意图。
图5中左侧图像为第一图像,右侧图像为第二图像,从第一图像到第二图像的箭头的起点和终端表示第一图像与第二图像中相对应的关键点。
可见,第一图像中车辆的后视镜、前车窗以及车牌的关键点均在第二图像中有对应的关键点。
具体的,可以采用关键点相对于第一车辆的相对位置、关键点相对于道路中固定标识物的相对位置等,从第一图像和第二图像中确定相对应的关键点,这里不再赘述。
在图1所示实施例的基础上,在确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系、得到标定结果之后,还可以依据第一监控相机和第二监控相机后续采集的图像,判断上述图像映射关系是否需要更新,若是,则更新上述图像映射关系。鉴于上述情况,本申请实施例提供了第二种相机标定方法。
参见图6,为本申请实施例提供的第一种相机标定方法的流程示意图,上述方法包括以下步骤S601-步骤S611。
步骤S601:获得第一监控相机和第二监控相机同步采集的第一图像和第二图像。
步骤S602:分别在第一图像和第二图像的重叠区域内识别第一车辆。
步骤S603:从第一图像中提取第一车辆预设部位的第一组车辆特征,并从第二图像中提取第一车辆预设部位的第二组车辆特征。
步骤S604:基于第一组车辆特征和第二组车辆特征,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系,作为对第一监控相机和第二监控相机进行相机标定的结果。
上述步骤S601-步骤S604与前述图1所示实施例中步骤S101-步骤S104相同,这里不再赘述。
步骤S605:获得第一监控相机和第二监控相机同步采集的第三图像和第四图像。
其中,第三图像在第一图像之后采集,第四图像在第二图像之后采集。
步骤S606:分别在第三图像和第四图像的重叠区域内识别同一车辆。
本步骤中,在第三图像和第四图像的重叠区域内识别同一车辆的方式与前述在第一图像和第二图像中识别第一车辆的方式类似,这里不再赘述。
其中,本步骤中在第三图像和第四图像的重叠区域内识别的同一车辆有以下两种情况:
第一种情况,从第三图像和第四图像中识别到的同一车辆为前述第一车辆。
也就是,从第三图像和第四图像中识别到的同一车辆与前述用于相机标定的车辆相同。
此时,虽然从第三图像和第四图像中识别到的同一车辆是前述用于相机标定的第一车辆,但是,由于第三图像在第一图像之后采集,第四图像在第二图像之后采集,随着时间的推移,第一车辆往往会发生移动,因此,从第三图像和第四图像中识别到的第一车辆的位置可以与从第一图像和第二图像中识别到的第一车辆的位置不同,从第三图像和第四图像中识别到的第一车辆的特征也可以与从第一图像和第二图像中识别到的第一车辆的特征不同。
因此,可以依据在第三图像和第四图像的重叠区域内识别的第一车辆,对相机的标定结果进行验证。
第二种情况,从第三图像和第四图像中识别到的同一车辆是不同于前述第一车辆的第二车辆。
也就是,从第三图像和第四图像中识别到的同一车辆与前述用于相机标定的车辆相同。
这样,可以依据在第三图像和第四图像的重叠区域内识别的不同于第一车辆的第二车辆,对相机的标定结果进行验证。
可见,无论从第三图像和第四图像中识别到的同一车辆是否为已经被用于进行相机标定的第一车辆,均可以根据所识别的同一车辆验证映射关系是否准确、是否需要更新,这样可以方便、快捷的对映射关系进行更新。
步骤S607:从第三图像中提取所识别到车辆预设部位的第三组车辆特征,并从第四图像中提取所识别到车辆预设部位的第四组车辆特征。
分别从第三图像、第四图像中提取所识别到车辆预设部位的第三组车辆特征、第四组车辆特征的方式与前述从第一图像、第二图像中提取第一车辆预设部位的第一组车辆特征、第二组车辆特征的方式类似,这里不再赘述。
步骤S608:基于图像映射关系,获得非基准特征的预期特征。
其中,非基准特征为:第三组车辆特征和第四组车辆特征中的一组特征。
图像映射关系是基于第一监控相机所采集图像中车辆的图像特征与第二监控相机所采集图像中车辆的图像特征确定的,因此,在已知图像映射关系的基础上,可以根据车辆在其中一个监控相机所采集图像中车辆的图像特征,获得该图像特征在另一个监控相机所采集图像中的预期特征。
例如,可以获得非基准特征中包含的关键点位置,基于图像映射关系,可以确定非基准特征中包含的关键点位置的预期位置,将上述预期位置作为预期特征。
步骤S609:确定预期特征与基准特征之间的差异,作为第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异。
其中,基准特征为:第三组车辆特征和第四组车辆特征中除非基准特征外的另一组特征。
步骤S610:判断特征映射差异是否大于预设的差异阈值,若为是,执行步骤S611。
由于预期特征是非基准特征在另一个监控相机所采集图像中预期的特征,而基准特征是另一个监控相机所采集图像中的真实特征,因此,预期特征与基准特征之间的特征映射差异反映了已有的图像映射关系是否适用于本次采集的第三图像和第四图像。
那么,若上述特征映射差异大于预设的差异阈值,表示已有的图像映射关系并不适用于本次采集的第三图像和第四图像,所以,可以判定映射关系需要更新。
上述差异阈值可以由工作人员根据经验和/或实际需求设定,也可设定为与原差异值相比较是否增大来判断。
可见,预期特征与基准特征之间的特征映射差异可以准确反映已有的图像映射关系是否适用于本次采集的第三图像和第四图像,也即反映已有的图像映射关系是否准确,从而,基于预期特征与基准特征之间的差异可以快捷、准确的对图像映射关系进行验证。
步骤S611:基于第三组车辆特征和第四组车辆特征更新图像映射关系。
具体的,可以采用以下方式更新图像映射关系。
一种实施方式中,可以采用与前述步骤S104中介绍的基于第一组车辆特征和第二组车辆特征确定图像映射关系的方式类似的方式,基于第三组车辆特征和第四组车辆特征确定新的图像映射关系,将已有的图像映射关系更新为新的图像映射关系。
另一种实施方式中,得到新的图像映射关系后,可以基于新的图像映射关系与已有的图像映射关系之间的差异,确定针对已有的图像映射关系的调整参数,基于所确定的调整参数调整已有的图像映射关系,得到更新后的图像映射关系。
其中,第三组车辆特征和第四组车辆特征是第一监控相机和第二监控相机同步采集的图像的重叠区域内同一车辆的车辆特征,因此,基于第三组车辆特征和第四组车辆特征更新图像映射关系,能够根据重叠区域内同一车辆的车辆特征差异更新图像映射关系,提高了更新图像映射关系的准确度。
由以上可见,非基准特征是一个监控相机所采集图像中的车辆的真实特征,基于非基准特征和图像映射关系获得的预期特征是该车辆在另一个监控相机所采集图像中预期的特征,而基准特征是另一个监控相机所采集图像中该车辆的真实特征,因此,预期特征与基准特征之间的特征映射差异反映了已有图像映射关系下预期特征与真实特征的差异,也即反映了已有的图像映射关系是否准确。那么,若上述特征映射差异大于预设的差异阈值,表示已有的图像映射关系出现了偏差,准确度无法满足要求,所以,可以判定映射关系需要更新。可见,基于预期特征与基准特征之间的差异可以快捷、准确的对图像映射关系进行验证。
下面结合图7,对更新图像映射关系的场景进行更加直观的说明。
参见图7,为本申请实施例提供的一种图像映射关系更新场景的示意图。
图中上方车辆为从第三图像中识别得到的第一车辆,车辆的整***置和后视镜位置均用白色实线标注框示出;下方车辆为从第四图像中识别得到的第一车辆,车辆的整***置和后视镜位置均用黑色实线标注框示出;另外,从第三图像中识别得到的第一车辆的整***置和后视镜位置在第二图像中的映射位置也用黑色虚线标注框示出。
可见,基于图像映射关系,可以确定从第三图像中识别得到的第一车辆的整***置以及后视镜的关键点位置在第二图像中的映射位置,若第三图像中车辆整体以及关键点位置的映射位置与第四图像中车辆整体以及关键点的实际位置间差异大于预设差异,则判定需要更新图像映射关系。
本申请的一个实施例中,完成相机标定之后,可以获得同一车辆分别在第一监控相机和第二监控相机的视场范围内的第一行驶位置信息集合点和第二行驶位置信息集合点,基于图像映射关系,对第一行驶位置信息集合点和第二行驶位置信息集合点进行位置信息集合点融合。
其中,第一行驶位置信息集合点和第二行驶位置信息集合点基于第一监控相机和第二监控相机同步采集的图像确定。
具体的,可以采用以下方式进行位置信息集合点融合。
一种实施方式中,可以基于图像映射关系,将第一行驶位置信息集合点和第二行驶位置信息集合点均投影到同一地图坐标系,从而得到融合后的位置信息集合点。
另一种实施方式中,可以基于图像映射关系,将第一行驶位置信息集合点映射到第二监控相机对应的相机坐标系下的位置信息集合点,然后将映射后的第一行驶位置信息集合点与第二行驶位置信息集合点进行融合,得到融合后的位置信息集合点。
当然,也可以将第二行驶位置信息集合点映射到第一监控相机对应的相机坐标系下的位置信息集合点,然后将映射后的第二行驶位置信息集合点与第一行驶位置信息集合点进行融合,得到融合后的位置信息集合点。
可见,应用本申请实施例提供的方案对监控相机进行标定之后,可以依据标定得到的图像映射关系,将同一车辆分别在第一监控相机和第二监控相机的视场范围内的第一行驶位置信息集合点和第二行驶位置信息集合点进行融合。由于本申请实施例提供的方案可以提高相机的标定效率,从而也可以提高后续进行位置信息集合点融合时的效率。
本申请的一个实施例中,在对第一行驶位置信息集合点和第二行驶位置信息集合点进行位置信息集合点融合之后,可以获得基于第一监控相机采集的图像或第二监控相机采集的图像识别的同一车辆的车牌号,将车牌号与融合后的位置信息集合点进行关联。
这样基于融合后的位置信息集合点即可确定位置信息集合点对应的车辆的车牌号,使得融合后的位置信息集合点能够展现更多的信息,便于后续进行更多车辆管理措施。
与上述相机标定方法相对应的,本申请实施例还提供了一种相机标定装置。
参见图8,为本申请实施例提供的一种相机标定装置的结构示意图,所属装置包括以下模块:
第一图像获得模块801,用于获得第一监控相机和第二监控相机同步采集的第一图像和第二图像,其中,所述第一监控相机与第二监控相机存在重叠视场范围;
第一车辆识别模块802,用于分别在所述第一图像和第二图像的重叠区域内识别第一车辆,其中,所述重叠区域为:所述重叠视场范围在所述第一监控相机和第二监控相机所采集图像中对应的图像区域;
第一组车辆特征提取模块803,用于从所述第一图像中提取所述第一车辆预设部位的第一组车辆特征,并从所述第二图像中提取所述第一车辆预设部位的第二组车辆特征;
映射关系确定模块804,用于基于所述第一组车辆特征和第二组车辆特征,确定所述第一监控相机所采集图像与所述第二监控相机所采集图像之间的图像映射关系,作为对所述第一监控相机和第二监控相机进行相机标定的结果;
映射关系校验模块805,用于基于所述第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验所述图像映射关系是否需要更新,若需要,触发映射关系更新模块,其中,所述特征映射差异为预期特征与基准特征之间的差异,所述预期特征为同步采集的一张图像中车辆的特征映射到同步采集的另一张图像后的特征,所述基准特征为同步采集的另一张图像中车辆的特征;
所述映射关系更新模块806,用于更新所述图像映射关系。
由以上可见,应用本申请实施例提供的方案进行相机标定时,首先获得存在重叠视场范围的第一监控相机和第二监控相机同步采集的第一图像和第二图像,分别在第一图像和第二图像的重叠区域内识别第一车辆,然后,分别从第一图像、第二图像中提取第一车辆预设部位的第一组车辆特征、第二组车辆特征,从而可以基于第一组车辆特征和第二组车辆特征,确定第一监控相机所采集图像与第二监控相机所采集图像之间的图像映射关系,作为对第一监控相机和第二监控相机进行相机标定的结果。
可见,从第一监控相机采集的第一图像和第二监控相机采集的第二图像中识别到同一车辆后,即可从第一图像和第二图像中提取到同一车辆的不同车辆特征,从而根据从第一图像和第二图像中提取到的不同车辆特征,实现相机标定。相较于人工标定,无需工作人员预先在路面设置任何标定物,降低了工作量和标定方案的落地成本,可以更加便捷、高效的实现相机标定,提高了相机的标定效率;
并且,依据第一监控相机和第二监控相机采集的图像得到图像映射关系、实现相机标定之后,还可以根据第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,对所得图像映射关系进行更新。也就是,可以随时根据在后采集的图像对已有的图像映射关系进行验证和优化,有利于消除确定图像映射关系时的偶然性,提高所得图像映射关系的准确度,也即提高对相机进行标定时的精确度。
监控相机在一些情况下可能会发生抖动,导致监控相机的视场范围改变、各监控相机之间的相对位置也发生改变,从而图像映射关系会失效。这种情况下,现有技术中,工作人员需要重新在监控相机的视场范围内设置标定物,进行重新标定。而本实施例中,可以直接依据第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,对所得图像映射关系进行更新,无需重新设置标定物,提高了对场景和环境变化的适应性,大幅提高了相机的标定效率。
可见,本实施例提供方案实现了图像映射关系的自学习与自优化,相较于现有技术,在标定效率、标定精确度、标定稳定性方面均有较好的提升。再者,后续基于标定后的相机进行位置信息集合点融合时,由于图像映射参数可以自学习与自优化,从而可以不断优化位置信息集合点融合效果,有利于提升最终得到的全局位置信息集合点的准确度。
本申请的一个实施例中,所述映射关系校验模块805,具体用于获得所述第一监控相机和所述第二监控相机同步采集的第三图像和第四图像,其中,所述第三图像在所述第一图像之后采集,所述第四图像在所述第二图像之后采集;分别在所述第三图像和所述第四图像的重叠区域内识别同一车辆;从所述第三图像中提取所识别到车辆预设部位的第三组车辆特征,并从所述第四图像中提取所识别到车辆预设部位的第四组车辆特征;基于所述图像映射关系,获得非基准特征的预期特征,其中,所述非基准特征为:所述第三组车辆特征和第四组车辆特征中的一组特征;确定所述预期特征与基准特征之间的差异,作为第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,其中,所述基准特征为:所述第三组车辆特征和第四组车辆特征中除所述非基准特征外的另一组特征;若所述特征映射差异大于预设的差异阈值,则判定所述图像映射关系需要更新,触发映射关系更新模块。
由以上可见,非基准特征是一个监控相机所采集图像中的车辆的真实特征,基于非基准特征和图像映射关系获得的预期特征是该车辆在另一个监控相机所采集图像中预期的特征,而基准特征是另一个监控相机所采集图像中该车辆的真实特征,因此,预期特征与基准特征之间的特征映射差异反映了已有图像映射关系下预期特征与真实特征的差异,也即反映了已有的图像映射关系是否准确。那么,若上述特征映射差异大于预设的差异阈值,表示已有的图像映射关系出现了偏差,准确度无法满足要求,所以,可以判定映射关系需要更新。可见,基于预期特征与基准特征之间的差异可以快捷、准确的对图像映射关系进行验证。
本申请的一个实施例中,所述映射关系更新模块806,具体用于基于所述第三组车辆特征和第四组车辆特征更新所述图像映射关系。
其中,第三组车辆特征和第四组车辆特征是第一监控相机和第二监控相机同步采集的图像的重叠区域内同一车辆的车辆特征,因此,基于第三组车辆特征和第四组车辆特征更新图像映射关系,能够根据重叠区域内同一车辆的车辆特征差异更新图像映射关系,提高了更新图像映射关系的准确度。
本申请的一个实施例中,从所述第三图像和所述第四图像中识别到的同一车辆为所述第一车辆;或从所述第三图像和所述第四图像中识别到的同一车辆为不同于所述第一车辆的第二车辆。
可见,无论从第三图像和第四图像中识别到的同一车辆是否为已经被用于进行相机标定的第一车辆,均可以根据所识别的同一车辆验证映射关系是否准确、是否需要更新,这样可以方便、快捷的对映射关系进行更新。
本申请的一个实施例中,所述预设部位包括以下部位中的至少一种:
前车窗、侧车窗、后视镜、车牌、车灯。
这样可以提取得到不同类型的车辆部位的特征,使得所提取的特征更加丰富、全面,有利于提高后续基于所提取特征进行相机标定时的准确度。
本申请的一个实施例中,所述第一监控相机与所述第二监控相机布设于同一架设杆。
可见,这样无需各个监控相机布设于不同的架设杆,这样可以节省架设杆的数量,降低立杆成本,从而降低方案的实施成本。
本申请的一个实施例中,所述架设杆上布设有多台近景相机,其中,所述近景相机为:相机中轴线与水平面斜相交的相机;所述第二监控相机的相机中轴线与所述水平面垂直相交;所述第一监控相机为与所述第二监控相机相邻布设的近景相机。
该种架设方式下,分别在架设杆的两侧布设了多台中轴线与水平面斜相交的近景相机,可以保证多台近景相机的联合视场范围较广;同时,该种架设方式下,各近景相机会的联合视场范围会存在视场盲区,架设杆上布设的相机中轴线与水平面垂直相交的第二监控相机用于弥补上述视场盲区,也可以称为“补盲”,实现了视场范围的全面覆盖。
本申请的一个实施例中,所述近景相机包括:视角朝向道路的不同行驶方向的相机。
这样,通过上述监控相机架设方案,单个架设杆即可实现道路不同行驶方向和下方盲区的全方位视场覆盖,无需将不同监控相机布设于不同的架设杆,大幅降低了立杆成本。
本申请的一个实施例中,所述装置还包括:
行驶位置信息集合点获得模块,用于获得同一车辆分别在所述第一监控相机和第二监控相机的视场范围内的第一行驶位置信息集合点和第二行驶位置信息集合点,其中,所述第一行驶位置信息集合点和第二行驶位置信息集合点基于所述第一监控相机和第二监控相机同步采集的图像确定;
位置信息集合点融合模块,用于基于所述图像映射关系,对所述第一行驶位置信息集合点和第二行驶位置信息集合点进行位置信息集合点融合。
可见,应用本申请实施例提供的方案对监控相机进行标定之后,可以依据标定得到的图像映射关系,将同一车辆分别在第一监控相机和第二监控相机的视场范围内的第一行驶位置信息集合点和第二行驶位置信息集合点进行融合。由于本申请实施例提供的方案可以提高相机的标定效率,从而也可以提高后续进行位置信息集合点融合时的效率。
本申请的一个实施例中,所述装置还包括:
车牌号获得模块,用于获得基于所述第一监控相机采集的图像或所述第二监控相机采集的图像识别的所述同一车辆的车牌号;
关联模块,用于将所述车牌号与融合后的位置信息集合点进行关联。
这样基于融合后的位置信息集合点即可确定位置信息集合点对应的车辆的车牌号,使得融合后的位置信息集合点能够展现更多的信息,便于后续进行更多车辆管理措施。
本申请的技术方案中,所涉及的用户个人信息的获取、存储、使用、加工、传输、提供和公开等操作,均是在已取得用户授权的情况下进行的。
本申请实施例还提供了一种电子设备,如图9所示,包括:
存储器901,用于存放计算机程序;
处理器902,用于执行存储器901上所存放的程序时,实现前述相机标定方法。
并且上述电子设备还可以包括通信总线和/或通信接口,处理器902、通信接口、存储器901通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一相机标定方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一相机标定方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者固态硬盘(Solid StateDisk,SSD)等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (12)
1.一种相机标定方法,其特征在于,包括:
获得第一监控相机和第二监控相机同步采集的第一图像和第二图像,其中,所述第一监控相机与第二监控相机存在重叠视场范围;
分别在所述第一图像和第二图像的重叠区域内识别第一车辆,其中,所述重叠区域为:所述重叠视场范围在所述第一监控相机和第二监控相机所采集图像中对应的图像区域;
从所述第一图像中提取所述第一车辆预设部位的第一组车辆特征,并从所述第二图像中提取所述第一车辆预设部位的第二组车辆特征;
基于所述第一组车辆特征和第二组车辆特征,确定所述第一监控相机所采集图像与所述第二监控相机所采集图像之间的图像映射关系,作为对所述第一监控相机和第二监控相机进行相机标定的结果;
基于所述第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验所述图像映射关系是否需要更新,其中,所述特征映射差异为预期特征与基准特征之间的差异,所述预期特征为同步采集的一张图像中车辆的特征映射到同步采集的另一张图像后的特征,所述基准特征为同步采集的另一张图像中车辆的特征;
若需要,更新所述图像映射关系。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验所述图像映射关系是否需要更新,包括:
获得所述第一监控相机和所述第二监控相机同步采集的第三图像和第四图像,其中,所述第三图像在所述第一图像之后采集,所述第四图像在所述第二图像之后采集;
分别在所述第三图像和所述第四图像的重叠区域内识别同一车辆;
从所述第三图像中提取所识别到车辆预设部位的第三组车辆特征,并从所述第四图像中提取所识别到车辆预设部位的第四组车辆特征;
基于所述图像映射关系,获得非基准特征的预期特征,其中,所述非基准特征为:所述第三组车辆特征和第四组车辆特征中的一组特征;
确定所述预期特征与基准特征之间的差异,作为第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,其中,所述基准特征为:所述第三组车辆特征和第四组车辆特征中除所述非基准特征外的另一组特征;
若所述特征映射差异大于预设的差异阈值,则判定所述图像映射关系需要更新。
3.根据权利要求2所述的方法,其特征在于,所述更新所述图像映射关系,包括:
基于所述第三组车辆特征和第四组车辆特征更新所述图像映射关系。
4.根据权利要求2所述的方法,其特征在于,
从所述第三图像和所述第四图像中识别到的同一车辆为所述第一车辆;或
从所述第三图像和所述第四图像中识别到的同一车辆为不同于所述第一车辆的第二车辆。
5.根据权利要求1所述的方法,其特征在于,
所述第一监控相机与所述第二监控相机布设于同一架设杆。
6.根据权利要求5所述的方法,其特征在于,
所述架设杆上布设有多台近景相机,其中,所述近景相机为:相机中轴线与水平面斜相交的相机;
所述第二监控相机的相机中轴线与所述水平面垂直相交;
所述第一监控相机为与所述第二监控相机相邻布设的近景相机。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
获得同一车辆分别在所述第一监控相机和第二监控相机的视场范围内的第一行驶位置信息集合点和第二行驶位置信息集合点,其中,所述第一行驶位置信息集合点和第二行驶位置信息集合点基于所述第一监控相机和第二监控相机同步采集的图像确定;
基于所述图像映射关系,对所述第一行驶位置信息集合点和第二行驶位置信息集合点进行位置信息集合点融合。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获得基于所述第一监控相机采集的图像或所述第二监控相机采集的图像识别的所述同一车辆的车牌号;
将所述车牌号与融合后的位置信息集合点进行关联。
9.一种相机标定装置,其特征在于,包括:
第一图像获得模块,用于获得第一监控相机和第二监控相机同步采集的第一图像和第二图像,其中,所述第一监控相机与第二监控相机存在重叠视场范围;
第一车辆识别模块,用于分别在所述第一图像和第二图像的重叠区域内识别第一车辆,其中,所述重叠区域为:所述重叠视场范围在所述第一监控相机和第二监控相机所采集图像中对应的图像区域;
第一组车辆特征提取模块,用于从所述第一图像中提取所述第一车辆预设部位的第一组车辆特征,并从所述第二图像中提取所述第一车辆预设部位的第二组车辆特征;
映射关系确定模块,用于基于所述第一组车辆特征和第二组车辆特征,确定所述第一监控相机所采集图像与所述第二监控相机所采集图像之间的图像映射关系,作为对所述第一监控相机和第二监控相机进行相机标定的结果;
映射关系校验模块,用于基于所述第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,校验所述图像映射关系是否需要更新,若需要,触发映射关系更新模块,其中,所述特征映射差异为预期特征与基准特征之间的差异,所述预期特征为同步采集的一张图像中车辆的特征映射到同步采集的另一张图像后的特征,所述基准特征为同步采集的另一张图像中车辆的特征;
所述映射关系更新模块,用于更新所述图像映射关系。
10.根据权利要求9所述的装置,其特征在于,
所述映射关系校验模块,具体用于获得所述第一监控相机和所述第二监控相机同步采集的第三图像和第四图像,其中,所述第三图像在所述第一图像之后采集,所述第四图像在所述第二图像之后采集;分别在所述第三图像和所述第四图像的重叠区域内识别同一车辆;从所述第三图像中提取所识别到车辆预设部位的第三组车辆特征,并从所述第四图像中提取所识别到车辆预设部位的第四组车辆特征;基于所述图像映射关系,获得非基准特征的预期特征,其中,所述非基准特征为:所述第三组车辆特征和第四组车辆特征中的一组特征;确定所述预期特征与基准特征之间的差异,作为第一监控相机和第二监控相机同步采集图像中车辆的特征映射差异,其中,所述基准特征为:所述第三组车辆特征和第四组车辆特征中除所述非基准特征外的另一组特征;若所述特征映射差异大于预设的差异阈值,则判定所述图像映射关系需要更新,触发映射关系更新模块;
或
所述映射关系更新模块,具体用于基于所述第三组车辆特征和第四组车辆特征更新所述图像映射关系;
或
从所述第三图像和所述第四图像中识别到的同一车辆为所述第一车辆;或从所述第三图像和所述第四图像中识别到的同一车辆为不同于所述第一车辆的第二车辆;
或
所述预设部位包括以下部位中的至少一种:前车窗、侧车窗、后视镜、车牌、车灯;
或
所述第一监控相机与所述第二监控相机布设于同一架设杆;
或
所述架设杆上布设有多台近景相机,其中,所述近景相机为:相机中轴线与水平面斜相交的相机;所述第二监控相机的相机中轴线与所述水平面垂直相交;所述第一监控相机为与所述第二监控相机相邻布设的近景相机;
或
所述近景相机包括:视角朝向道路的不同行驶方向的相机;
或
所述装置还包括:行驶位置信息集合点获得模块,用于获得同一车辆分别在所述第一监控相机和第二监控相机的视场范围内的第一行驶位置信息集合点和第二行驶位置信息集合点,其中,所述第一行驶位置信息集合点和第二行驶位置信息集合点基于所述第一监控相机和第二监控相机同步采集的图像确定;位置信息集合点融合模块,用于基于所述图像映射关系,对所述第一行驶位置信息集合点和第二行驶位置信息集合点进行位置信息集合点融合;
或
所述装置还包括:车牌号获得模块,用于获得基于所述第一监控相机采集的图像或所述第二监控相机采集的图像识别的所述同一车辆的车牌号;关联模块,用于将所述车牌号与融合后的位置信息集合点进行关联。
11.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8中任一所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8中任一所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311404948 | 2023-10-26 | ||
CN2023114049489 | 2023-10-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117523005A true CN117523005A (zh) | 2024-02-06 |
Family
ID=89751178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311617441.1A Pending CN117523005A (zh) | 2023-10-26 | 2023-11-29 | 一种相机标定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117523005A (zh) |
-
2023
- 2023-11-29 CN CN202311617441.1A patent/CN117523005A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
CN110378965B (zh) | 确定路侧成像设备坐标系转换参数的方法、装置、设备 | |
CN107133988B (zh) | 车载全景环视***中摄像头的标定方法及标定*** | |
CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
US11035958B2 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
WO2021155685A1 (zh) | 一种更新地图的方法、装置和设备 | |
CN110728720B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN110751693B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN110766761B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN112136021A (zh) | 用于构建基于地标的高清地图的***和方法 | |
CN111553956A (zh) | 拍摄装置的标定方法、装置、电子设备和存储介质 | |
CN110736472A (zh) | 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法 | |
CN111323027A (zh) | 一种基于激光雷达与环视相机融合制作高精度地图方法及装置 | |
CN114494466B (zh) | 外参标定方法、装置及设备、存储介质 | |
CN112424568A (zh) | 构建高清地图的***和方法 | |
CN116664498A (zh) | 车位检测模型的训练方法、车位检测方法、装置和设备 | |
CN114863096B (zh) | 室内停车场的语义地图构建及定位方法和装置 | |
CN117523005A (zh) | 一种相机标定方法及装置 | |
CN115457488A (zh) | 一种基于双目立体视觉的路侧停车管理方法及*** | |
CN113327192B (zh) | 一种通过三维测量技术测算汽车行驶速度的方法 | |
CN113591640A (zh) | 一种道路护栏的检测方法、装置及车辆 | |
CN113777618B (zh) | 障碍物测距方法、装置、电子设备及可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |