CN111739098A - 测速方法及装置、电子设备及存储介质 - Google Patents
测速方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111739098A CN111739098A CN202010613426.XA CN202010613426A CN111739098A CN 111739098 A CN111739098 A CN 111739098A CN 202010613426 A CN202010613426 A CN 202010613426A CN 111739098 A CN111739098 A CN 111739098A
- Authority
- CN
- China
- Prior art keywords
- transmission parameter
- image
- processed
- size
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000005540 biological transmission Effects 0.000 claims abstract description 314
- 238000012545 processing Methods 0.000 claims description 77
- 230000000875 corresponding effect Effects 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 230000002596 correlated effect Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种测速方法及装置、电子设备及存储介质。该方法包括:获取第一待处理图像和第二待处理图像;所述第一待处理图像和所述第二待处理图像均包括第一对象;获取所述第一对象在所述第一待处理图像中的第一位置、所述第一对象在所述第二待处理图像中的第二位置和第一移动距离的第一透射参数;依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度;所述移动时间依据所述第一待处理图像的时间戳和所述第二待处理图像的时间戳得到。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种测速方法及装置、电子设备及存储介质。
背景技术
随着计算机视觉技术的发展,计算机视觉技术的应用越来越广,众多应用之中包括基于计算机视觉技术测量对象(包括人和物)的移动速度。
目前的技术通过确定对象在图像中的移动距离和对象的移动时间,得到对象的移动速度。但由于图像中的移动距离与对象的物理移动距离之间存在较大的差异,导致得到对象的移动速度的精度低。
发明内容
本申请提供一种测速方法及装置、电子设备及存储介质。
第一方面,提供了一种测速方法,所述方法包括:
获取第一待处理图像和第二待处理图像;所述第一待处理图像和所述第二待处理图像均包括第一对象;
获取所述第一对象在所述第一待处理图像中的第一位置、所述第一对象在所述第二待处理图像中的第二位置和第一移动距离的第一透射参数;所述第一移动距离为所述第一位置与所述第二位置之间的距离;所述第一透射参数表征所述第一移动距离与第一物理距离之间的转换关系;所述第一物理距离为所述第一移动距离对应的物理距离;所述第一物理距离与所述第一位置在所述第一待处理图像中的尺度呈负相关,和/或,所述第一物理距离与所述第二位置在所述第二待处理图像中的尺度呈负相关;
依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度;所述移动时间依据所述第一待处理图像的时间戳和所述第二待处理图像的时间戳得到。
在该方面中,由于第一透射参数携带第一位置的尺度信息和/或第二位置的尺度信息。测速装置依据第一透射参数、第一移动距离和移动时间得到第一对象的速度,可提高速度的精度。
结合本申请任一实施方式,所述依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度,包括:
依据所述第一透射参数和所述第一移动距离,得到第二移动距离;
依据所述第二移动距离和所述移动时间,得到所述速度。
结合本申请任一实施方式,所述获取所述第一移动距离的第一透射参数,包括:
获取第三位置的第二透射参数;所述第三位置为所述第一位置与所述第二位置连线上的位置;所述第二透射参数表征第一像素点的尺寸与第一物点的尺寸之间的转换关系;所述第一像素点为依据所述第三位置在所述第一待处理图像中确定的像素点,所述第一像素点或为依据所述第三位置在所述第二待处理图像中确定的像素点;所述第一物点为所述第一像素点对应的物点;第一比值与所述第一像素点在图像中的尺度呈负相关;所述第一比值为所述第一像素点的尺寸与所述第一物点的尺寸之间的比值;
依据所述第二透射参数,得到所述第一透射参数;所述第一透射参数与所述第二透射参数呈正相关。
结合本申请任一实施方式,所述第三位置为所述第一位置与所述的第二位置的中间位置。
结合本申请任一实施方式,所述获取第三位置的第二透射参数,包括:
对所述第一待处理图像进行物体检测处理,得到第一物体框的位置和第二物体框的位置;所述第一物体框包含第一物体;所述第二物体框包含第二物体;
依据所述第一物体框的位置得到所述第一物体的第一尺寸,依据所述第二物体框的位置得到所述第二物体的第二尺寸;
依据所述第一尺寸和第三尺寸得到第三透射参数,依据所述第二尺寸和第四尺寸得到第四透射参数;所述第三尺寸为所述第一物体的物理尺寸;所述第三透射参数表征第五尺寸与第六尺寸之间的转换关系;所述第五尺寸为第二像素点的尺寸;所述第二像素点在所述第一待处理图像中的位置依据所述第一物体框的位置确定;所述第六尺寸为所述第二像素点对应的物点;所述第四尺寸为所述第二物体的物理尺寸;所述第四透射参数表征第七尺寸与第八尺寸之间的转换关系;所述第七尺寸为第三像素点的尺寸;所述第三像素点在所述第二待处理图像中的位置依据所述第二物体框的位置确定;所述第八尺寸为所述第三像素点对应的物点;
对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述第一待处理图像的透射参数图;第九尺寸与第十尺寸之间的转换关系依据所述透射参数图中的第一像素值确定;所述第九尺寸为所述第一待处理图像中的第四像素点的尺寸;所述第十尺寸为所述第四像素点对应的物点的尺寸;所述第一像素值为第五像素点的像素值;所述第五像素点为所述透射参数图中与所述第四像素点对应的像素点;
依据所述透射参数图中与所述第三位置对应的像素值,得到所述第二透射参数。
结合本申请任一实施方式,在所述对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述待处理图像的透射参数图之前,所述方法还包括:
获取置信度映射;所述置信度映射表征物体类型与透射参数的置信度之间的映射;
依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度;
所述对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述待处理图像的透射参数图,包括:
依据所述第一置信度和所述第三透射参数,得到第五透射参数;所述第五透射参数与所述第一置信度呈正相关;
对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图。
结合本申请任一实施方式,在所述依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度之前,所述方法还包括:
对所述第一物体框内的像素点区域进行特征提取处理,得到特征数据;
依据所述特征数据,得到所述第一物体的分数;所述分数与所述第一物体的尺寸的置信度呈正相关;
所述依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度,包括:
依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第二置信度;
依据所述分数与所述第二置信度,得到所述第一置信度;所述第一置信度与所述分数呈相关。
结合本申请任一实施方式,所述依据所述第一置信度和所述第三透射参数,得到第五透射参数,包括:
确定所述第一置信度与所述第三透射参数的乘积,得到所述第五透射参数。
结合本申请任一实施方式,在所述对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图之前,所述方法还包括:
获取所述第一待处理图像的深度图像;
依据所述深度图像,得到所述第二像素点的第一深度信息以及所述第三像素点的第二深度信息;
依据所述第一深度信息和所述第五透射参数得到第一数据点,依据所述第二深度信息和所述第四透射参数得到第二数据点;
所述对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图,包括:
对所述第一数据点和所述第二数据点进行曲线拟合处理,得到所述透射参数图。
结合本申请任一实施方式,所述第一待处理图像和所述第二待处理图像由同一成像设备采集得到,且所述成像设备在采集所述第一待处理图像的过程中的位姿与所述成像设备在采集所述第二待处理图像的过程中的位姿相同。
结合本申请任一实施方式,所述第一对象为人物对象;所述人物对象属于监测人群,所述方法还包括:
在所述速度未超过安全速度阈值的情况下,获取所述成像设备的位置;
向终端发送包含所述位置的告警指令;所述告警指令用于指示所述终端输出所述监测人群的人群密度过大的告警信息。
第二方面,提供了一种测速装置,所述装置包括:
第一获取单元,用于获取第一待处理图像和第二待处理图像;所述第一待处理图像和所述第二待处理图像均包括第一对象;
第二获取单元,用于获取所述第一对象在所述第一待处理图像中的第一位置、所述第一对象在所述第二待处理图像中的第二位置和第一移动距离的第一透射参数;所述第一移动距离为所述第一位置与所述第二位置之间的距离;所述第一透射参数表征所述第一移动距离与第一物理距离之间的转换关系;所述第一物理距离为所述第一移动距离对应的物理距离;所述第一物理距离与所述第一位置在所述第一待处理图像中的尺度呈负相关,和/或,所述第一物理距离与所述第二位置在所述第二待处理图像中的尺度呈负相关;
第一处理单元,用于依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度;所述移动时间依据所述第一待处理图像的时间戳和所述第二待处理图像的时间戳得到。
结合本申请任一实施方式,所述第一处理单元,用于:
依据所述第一透射参数和所述第一移动距离,得到第二移动距离;
依据所述第二移动距离和所述移动时间,得到所述速度。
结合本申请任一实施方式,所述第二获取单元,用于:
获取第三位置的第二透射参数;所述第三位置为所述第一位置与所述第二位置连线上的位置;所述第二透射参数表征第一像素点的尺寸与第一物点的尺寸之间的转换关系;所述第一像素点为依据所述第三位置在所述第一待处理图像中确定的像素点,所述第一像素点或为依据所述第三位置在所述第二待处理图像中确定的像素点;所述第一物点为所述第一像素点对应的物点;第一比值与所述第一像素点在图像中的尺度呈负相关;所述第一比值为所述第一像素点的尺寸与所述第一物点的尺寸之间的比值;
依据所述第二透射参数,得到所述第一透射参数;所述第一透射参数与所述第二透射参数呈正相关。
结合本申请任一实施方式,所述第三位置为所述第一位置与所述的第二位置的中间位置。
结合本申请任一实施方式,所述第二获取单元,用于:
对所述第一待处理图像进行物体检测处理,得到第一物体框的位置和第二物体框的位置;所述第一物体框包含第一物体;所述第二物体框包含第二物体;
依据所述第一物体框的位置得到所述第一物体的第一尺寸,依据所述第二物体框的位置得到所述第二物体的第二尺寸;
依据所述第一尺寸和第三尺寸得到第三透射参数,依据所述第二尺寸和第四尺寸得到第四透射参数;所述第三尺寸为所述第一物体的物理尺寸;所述第三透射参数表征第五尺寸与第六尺寸之间的转换关系;所述第五尺寸为第二像素点的尺寸;所述第二像素点在所述第一待处理图像中的位置依据所述第一物体框的位置确定;所述第六尺寸为所述第二像素点对应的物点;所述第四尺寸为所述第二物体的物理尺寸;所述第四透射参数表征第七尺寸与第八尺寸之间的转换关系;所述第七尺寸为第三像素点的尺寸;所述第三像素点在所述第二待处理图像中的位置依据所述第二物体框的位置确定;所述第八尺寸为所述第三像素点对应的物点;
对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述第一待处理图像的透射参数图;第九尺寸与第十尺寸之间的转换关系依据所述透射参数图中的第一像素值确定;所述第九尺寸为所述第一待处理图像中的第四像素点的尺寸;所述第十尺寸为所述第四像素点对应的物点的尺寸;所述第一像素值为第五像素点的像素值;所述第五像素点为所述透射参数图中与所述第四像素点对应的像素点;
依据所述透射参数图中与所述第三位置对应的像素值,得到所述第二透射参数。
结合本申请任一实施方式,所述第一获取单元,还用于在所述对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述待处理图像的透射参数图之前,获取置信度映射;所述置信度映射表征物体类型与透射参数的置信度之间的映射;
所述测速装置还包括:第二处理单元,用于依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度;
所述第二获取单元,用于:
依据所述第一置信度和所述第三透射参数,得到第五透射参数;所述第五透射参数与所述第一置信度呈正相关;
对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图。
结合本申请任一实施方式,所述测速装置还包括:
第三处理单元,用于在所述依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度之前,对所述第一物体框内的像素点区域进行特征提取处理,得到特征数据;
第四处理单元,用于依据所述特征数据,得到所述第一物体的分数;所述分数与所述第一物体的尺寸的置信度呈正相关;
所述第二处理单元,用于:
依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第二置信度;
依据所述分数与所述第二置信度,得到所述第一置信度;所述第一置信度与所述分数呈相关。
结合本申请任一实施方式,所述第二获取单元,用于:
确定所述第一置信度与所述第三透射参数的乘积,得到所述第五透射参数。
结合本申请任一实施方式,所述第一获取单元,还用于在所述对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图之前,获取所述第一待处理图像的深度图像;
所述第二获取单元,还用于:
依据所述深度图像,得到所述第二像素点的第一深度信息以及所述第三像素点的第二深度信息;
依据所述第一深度信息和所述第五透射参数得到第一数据点,依据所述第二深度信息和所述第四透射参数得到第二数据点;
所述第二获取单元,还用于:
对所述第一数据点和所述第二数据点进行曲线拟合处理,得到所述透射参数图。
结合本申请任一实施方式,所述第一待处理图像和所述第二待处理图像由同一成像设备采集得到,且所述成像设备在采集所述第一待处理图像的过程中的位姿与所述成像设备在采集所述第二待处理图像的过程中的位姿相同。
结合本申请任一实施方式,所述第一对象为人物对象;所述人物对象属于监测人群,所述第一获取单元,还用于在所述速度未超过安全速度阈值的情况下,获取所述成像设备的位置;
所述测速装置还包括:发送单元,用于向终端发送包含所述位置的告警指令;所述告警指令用于指示所述终端输出所述监测人群的人群密度过大的告警信息。
第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种人群图像示意图;
图2为本申请实施例提供的一种像素坐标系示意图;
图3为本申请实施例提供的一种测速方法的流程示意图;
图4为本申请实施例提供的另一种测速方法的流程示意图;
图5为本申请实施例提供的一种球门示意图;
图6为本申请实施例提供的一种测速装置的结构示意图;
图7为本申请实施例提供的一种测速装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
首先对下文将要出现的一些概念进行定义。本申请实施例中,物点指真实世界下的点、物理距离指真实世界下的距离、物理尺寸指真实世界下的尺寸。
物点与图像中像素点对应。例如,使用相机对桌子进行拍摄得到图像A。桌子包括物点a,图像A中的像素点b由物点a成像得到,那么物点a与像素点b对应。
物理区域与图像中的像素点区域对应。例如,使用相机对篮球场进行拍摄得到图像B。图像A中的像素点区域c由篮球场成像得到,那么篮球场与像素点区域c对应。
本申请实施例中,近处的物体在图像中尺度大,远处的物体在图像中尺度小。本申请实施例中的“远”指图像中物体对应的真实物体与采集上述图像的成像设备之间的距离远,“近”指图像中物体对应的真实物体与采集上述图像的成像设备之间的距离近。
在图像中,像素点的尺度与该像素点对应的物点的尺寸呈正相关。具体而言,像素点在图像中的尺度越大,与该像素点对应的物点的尺寸就越大。例如,图像A包含像素点a和像素点b,其中,与像素点a对应的物点为物点1,与像素点b对应的物点为物点2。若像素点a在图像A中的尺度比像素点b在图像A中的尺度大,则物点1的尺寸比物点2的尺寸大。
在图像中,位置的尺度指在该位置处的物体的尺寸与该物体的物理尺寸之间的比值。例如,在图1中,由于人物A所处位置的尺度比人物B所处位置的尺度大,且人与人之间的尺寸差异较小(即不同人的物理尺寸之间的差异较小),人物A覆盖的像素点区域的面积比人物B覆盖的像素点区域的面积大。
本申请实施例中,图像中的位置均指图像的像素坐标下的位置。本申请实施例中的像素坐标系的横坐标用于表示像素点所在的列数,像素坐标系下的纵坐标用于表示像素点所在的行数。例如,在图2所示的图像中,以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向,构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如,图2中的像素点A11的坐标为(1,1),像素点A23的坐标为(3,2),像素点A42的坐标为(2,4),像素点A34的坐标为(4,3)。
本申请实施例的执行主体为测速装置。可选的,测速装置可以是以下中的一种:手机、计算机、服务器、平板电脑。下面结合本申请实施例中的附图对本申请实施例进行描述。
下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图3,图3是本申请实施例提供的一种测速方法的流程示意图。
301、获取第一待处理图像和第二待处理图像,其中,上述第一待处理图像和上述第二待处理图像均包括第一对象。
本申请实施例中,第一待处理图像和第二待处理图像均可以包含任意内容。例如,第一待处理图像可以包含人物;第一待处理图像也可以包含道路和汽车人头。第二待处理图像可以包含人物;第二待处理图像也可以包含动物。本申请对第一待处理图像所包含的内容和第二待处理图像所包含的内容不做限定。
本申请实施例中,第一对象可以是以下中的一种:人物、物体。例如,第一对象可以是人;第一对象也可以是汽车;第一对象还可以是动物。
第一待处理图像和第二待处理图像均包含第一对象。例如,第一待处理图像包含张三,第二待处理图像也包含张三。又例如,第一待处理图像和第二待处理图像均包含车辆a。
在一种获取第一待处理图像的实现方式中,测速装置接收用户通过输入组件输入的第一待处理图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取第一待处理图像的实现方式中,测速装置接收第一终端发送的第一待处理图像。可选的,第一终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
在又一种获取第一待处理图像的实现方式中,测速装置转载有摄像组件,其中,摄像组件包括摄像头。测速装置通过使用摄像组件采集图像获取第一待处理图像。
在又一种获取第一待处理图像的实现方式中,测速装置从获取到的视频流中选取一帧图像作为第一待处理图像。
在一种获取第二待处理图像的实现方式中,测速装置接收用户通过输入组件输入的第二待处理图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取第二待处理图像的实现方式中,测速装置接收第二终端发送的第二待处理图像。可选的,第二终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
在又一种获取第二待处理图像的实现方式中,测速装置转载有摄像组件,其中,摄像组件包括摄像头。测速装置通过使用摄像组件采集图像获取第二待处理图像。
在又一种获取第二待处理图像的实现方式中,测速装置从获取到的视频流中选取一帧图像作为第二待处理图像。
作为一种可选的实施方式,测速装置与监控摄像头之间具有通信连接。测速装置通过该通信连接获取监控摄像头采集到的监控视频流,并从该监控视频流中选取两帧图像,分别作为第一待处理图像和第二待处理图像。
302、获取上述第一对象在上述第一待处理图像中的第一位置、上述第一对象在上述第二待处理图像中的第二位置和第一移动距离的第一透射参数。
本申请实施例中,第一对象在第一待处理图像中的位置可以是包含第一对象的对象框在第一待处理图像中的位置;第一对象在第一待处理图像中的位置可以是第一对象所覆盖的像素点区域内的像素点在第一待处理图像中的位置。第一对象在第二待处理图像中的位置可以是包含第一对象的对象框在第二待处理图像中的位置;第一对象在第二待处理图像中的位置可以是第一对象所覆盖的像素点区域内的像素点在第二待处理图像中的位置。
本申请实施例中,第一移动距离为第一位置与第二位置之间的距离,即第一移动距离为像素坐标系下的距离。例如,第一位置为(3,5),即第一对象在第一待处理图像中的位置为(3,5);第二位置为(7,8),即第一对象在第二待处理图像中的位置为(7,8)。此时,第一移动距离为:
本申请实施例中,物理距离(包括上述第一物理距离)指真实世界下的距离。第一移动距离对应的物理距离为第一物理距离。第一透射参数表征第一移动距离与第一物理距离之间的转换关系。例如,假设:第一待处理图像的时间戳为t1,第二待处理图像的时间戳为t2,第一对象为张三。若测速装置依据第一位置和第二位置得到的第一移动距离为d1,测速装置使用第一透射参数可将d1转换为,张三在t1至t2内在真实世界下的移动距离(即第一物理距离)。可选的,第一透射参数为第一移动距离与第一物理距离之间的比值。
本申请实施例中,第一物理距离与第一位置在第一待处理图像中的尺度呈负相关,和/或,第一物理距离与第二位置在第二待处理图像中的尺度呈负相关。该相关性关系包括以下至少一种情况:
(1)测速装置依据第一移动距离和第一透射参数得到的第一物理距离,与第一位置在第一待处理图像中的尺度呈负相关;
(2)测速装置依据第一移动距离和第一透射参数得到的第一物理距离,与第二位置在第二待处理图像中的尺度呈负相关;
(3)测速装置依据第一移动距离和第一透射参数得到的第一物理距离,与第一位置在第一待处理图像中的尺度呈负相关,且该第一物理距离与第二位置在第二待处理图像中的尺度呈负相关。
303、依据上述第一移动距离、上述第一透射参数和移动时间,得到上述第一对象的速度。
本申请实施例中,移动时间为第一对象的移动第一移动距离所消耗的时间。测速装置依据第一待处理图像的时间戳和第二待处理图像的时间戳,可得到的该移动时间。
在一种可能实现的方式中,将第一待处理图像的时间戳和第二待处理图像的时间戳中小的时间戳称为小时间戳,将第一待处理图像的时间戳和第二待处理图像的时间戳中大的时间戳称为大时间戳。移动时间的起始时间为小时间戳、移动时间的终止时间为大时间戳。例如,第一待处理图像的时间戳为2020年6月27日16点54分30秒,第二待处理图像的时间戳为2020年6月27日16点54分33秒。此时,小时间戳为2020年6月27日16点54分30秒,大时间戳为2020年6月27日16点54分33秒。
本申请实施例中,第一对象的速度为第一对象在真实世界下的速度。在一种得到第一对象的速度的实现方式中,测速装置依据第一透射参数和第一移动距离得到第一对象在真实世界下的移动距离(下文将称为第二移动距离)。测速装置依据第一物理移动距离和移动时间,可得到第一对象的速度。例如,假设第一透射参数表征第一移动距离与第一物理距离之间比值,第一透射参数为0.1厘米,第一移动距离为10,移动时间为0.5秒。测速装置依据下式可得到第二移动距离:10/0.1厘米=100厘米=1米。测速装置依据下式可得到第一对象在真实世界下的速度:1/0.5米/秒=2米/秒。
在另一种可能实现的方式中,测速装置依据第一移动距离和移动时间得到第一对象在图像中的速度(下文将称为虚拟速度)。测速装置依据虚拟速度和第一透射参数得到第一对象的在真实世界下的速度。
由于第一透射参数携带第一位置的尺度信息和/或第二位置的尺度信息。测速装置依据第一透射参数、第一移动距离和移动时间得到第一对象的速度,可提高速度的精度。
作为一种可选的实施方式,测速装置通过执行以下步骤获取第一透射参数:
1、获取第三位置的第二透射参数。
本申请实施例中,第三位置为第一位置与第二位置连线上的位置。应理解,虽然第一位置为第一待处理图像中的位置,第二位置为第二待处理图像中的位置,但由于在本申请实施例中,第一待处理图像的像素坐标系与第二待处理图像的像素坐标系相同,测速装置依据第一位置和第二位置,可确定像素坐标系下的第三位置。第三位置可以是第一待处理图像中的位置,第三位置也可以是第二待处理图像中的位置。例如,第一位置为(3,4),第二位置为(7,8)。假设第三位置为第一位置与第二位置的中间位置:(5,6)。此时,第三位置可表示第一待处理图像中处于第5行第6列的像素点,第三位置也表示第二待处理图像中处于第5行第6列的像素点。
本申请实施例中,测速装置可依据第三位置在第一待处理图像中确定像素点,测速装置也可以第三位置在第二待处理图像中确定像素点。将测速装置依据第三位置确定的像素点称为第一像素点,第二透射参数表征第一像素点的尺寸与第一物点的尺寸之间的转换关系,其中,第一物点为第一像素点对应的物点。例如,第二透射参数表征第一像素点的长与第一物点的长之间的转换关系。又例如,第二透射参数表征第一像素点的高与第一物点的高之间的转换关系。再例如,第二透射参数表征第一像素点的宽与第一物点的宽之间的转换关系。
将第一像素点的尺寸与第一物点的尺寸之间的比值称为第一比值,本申请实施例中,第一比值与第一像素点在图像中的尺度呈负相关。例如,第一像素点属于第一待处理图像,假设第一比值为第一像素点的长与第一物点的比值,则第一像素点在第一待处理图像中的尺度越大,第一比值越小。考虑到第一待处理图像中任意两个像素点的长均相同,也就是说,第一像素点的长是不变的,那么第一像素点的尺度越大,第一物点的长就越小,即第一物点的尺寸与第一像素点的尺度呈负相关。
又例如,假设第一比值为第一像素点的长与第一物点的比值,第一像素点属于第二待处理图像,则第一像素点在第二待处理图像中的尺度越大,第一比值越小。考虑到第二待处理图像中任意两个像素点的长均相同,也就是说,第一像素点的长是不变的,那么第一像素点的尺度越大,第一物点的长就越小,即第一物点的尺寸与第一像素点的尺度呈负相关。
由上可知,由于第一物点的尺寸依据第一像素点的尺寸和第二透射参数得到,而第一像素点的尺寸为定值,第二透射参数携带第一像素点的尺度信息。
在一种获取第三位置的第二透射参数的实现方式中,测速装置接收用户通过输入组件输入的第二透射参数。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取第三位置的第二透射参数的实现方式中,测速装置接收第三终端发送的第二透射参数。可选的,第三终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。第三终端与第一终端可以相同,也可以不同。
2、依据上述第二透射参数,得到上述第一透射参数。
在一种可能实现的方式中,像素点的尺度与像素点的横坐标线性相关,和/或,像素点的尺度与像素点的纵坐标线性相关。第三位置的尺度与第一位置的尺度呈线性相关,和/或,第三位置的尺度与第二位置的尺度呈线性相关。因此,测速装置可依据第一位置与第二位置的中间位置的透射参数确定第一移动距离的透射参数,即依据第二透射参数确定第一透射参数。作为一种可选的实施方式,第三位置为第一位置与第二位置之间的中间位置。
本申请实施例中,第一透射参数与第二透射参数呈正相关。假设第一透射参数为b1,第二透射参数为b2,在一种可能实现的方式中,b1、b2满足下式:
b2=k×b1…公式(1)
其中,k为正数。可选的,k=1。
在另一种可能实现的方式中,b1、b2满足下式:
b2=k×b1+c…公式(2)
其中,k为正数、c为实数。可选的,k=1,c=0。
在又一种可能实现的方式中,b1、b2满足下式:
其中,k为正数、c为实数。可选的,k=1,c=0。
请参阅图4,图4是本申请实施例提供的步骤1的一种可能实现的方法的流程示意图。
401、对上述第一待处理图像进行物体检测处理,得到第一物体框的位置和第二物体框的位置。
本申请实施例中,物体检测处理的检测对象的尺寸处于确定值附近的物体。例如,人脸的平均长度为20厘米,物体检测处理的检测对象可以为人脸。又例如,人的平均身高为1.65米,物体检测处理的检测对象可以为人体。再例如,在足球场内,图5所示的球门的高度均为确定的(如2.44米),物体检测处理的检测对象可以为球门。
本申请实施例中,物体框可以是任意形状,本申请对物体框(包括上述第一物体框和第二物体框)的形状不做限定。可选的,物体框的形状包括以下至少一种:矩形、菱形、圆形、椭圆形、多边形。
本申请实施例中,物体框的位置(包括上述第一物体框的位置和上述第二物体框的位置)用于确定物体框所包含的像素点区域,即物体框在待处理图像中的位置。例如,在物体框的形状为矩形的情况下,物体框的位置可以包括矩形中任意一对对角的坐标,其中,一对对角指过矩形的对角线上的两个顶点。又例如,在物体框的形状为矩形的情况下,物体框的位置可以包括:矩形的几何中心的位置、矩形的长和矩形的宽。再例如,在体框的形状为圆形的情况下,物体框的位置可以包括:物体框的圆心的位置、物体框的半径。
本申请实施例中,物体检测处理的检测对象的数量不少于1。例如,在检测对象为人脸的情况下,通过对待处理图像进行物体检测处理,可得到包含人脸的人脸框的位置。又例如,在检测对象包括人脸和人体的情况下,通过对待处理图像进行物体检测处理,可得到包含人脸的人脸框的位置和包含人体的人体框的位置。再例如,在检测对象包括人脸、人体和螺钉的情况下,通过对待处理图像进行物体检测处理,可得到包含人脸的人脸框的位置、包含人体的人体框的位置和包含螺钉的螺钉框的位置。可选的,物体检测处理的检测对象包括以下至少一个:人脸、人脚、人体、螺钉、球门。
在一种可能实现的方式中,对待处理图像进行物体检测处理可通过卷积神经网络实现。通过将带有标注信息的图像作为训练数据,对卷积神经网络进行训练,使训练后的卷积神经网络可完成对图像的物体检测处理。训练数据中的图像的标注信息为物体框的位置信息,该物体框包含物体检测处理的检测对象。
在另一种可能实现的方式中,物体检测处理可通过物体检测算法实现,其中,物体检测算法可以是以下中的一种:只需一眼算法(you only look once,YOLO)、目标检测算法(deformable part model,DMP)、单张图像多目标检测算法(single shot multiBoxdetector,SSD)、Faster-RCNN算法等等,本申请对实现物体检测处理的物体检测算法不做限定。
测速装置通过对第一待处理图像进行物体检测处理,得到包含第一物体的第一物体框的位置以及包含第二物体的第二物体框的位置。第一物体框所包含的检测对象与第二物体框所包含的检测对象不同。例如,第一物体框所包含的检测对象为张三的人脸,第二物体框所包含的检测对象为李四的人脸。又例如,第一物体框所包含的检测对象为张三的人脸,第二物体框所包含的检测对象为指示牌。
402、依据所述第一物体框的位置得到第一物体的第一尺寸,依据所述第二物体框的位置得到第二物体的第二尺寸。
测速装置依据物体框的位置可确定物体框所包含的检测对象的尺寸。例如,在物体框的形状为矩形的情况下,测速装置依据物体框的位置可确定物体框的长和宽,进而确定物体框内的检测对象的长和宽。
测速装置依据第一物体框的位置可得到第一物体的第一尺寸,依据第二物体框的位置得到第二物体的第二尺寸。
403、依据上述第一尺寸和第三尺寸得到第三透射参数,依据上述第二尺寸和第四尺寸得到第四透射参数。
本申请实施例中,第三尺寸为第一物体的物理尺寸,第四尺寸为第二物体的物理尺寸。例如,第一物体框所包含的检测对象为人体,则第三尺寸可以是人的身高(如170厘米)。又例如,第二物体框所包含的检测对象为人脸,第三尺寸可以是人脸的长度(如20厘米)。
测速装置依据第一物体框的位置可在第一待处理图像中确定一个像素点(即第二像素点)。例如,在第一物体框的形状为矩形的情况下,测速装置依据第一物体框的位置确定第一物体框的几何中心的位置,并将几何中心对应的像素点作为第二像素点。又例如,在第一物体框的形状为矩形的情况下,测速装置依据第一物体框的位置确定第一物体框的任意一个顶点的位置,并将该顶点对应的像素点作为第二像素点。再例如,在第一物体框的形状为圆形的情况下,测速装置依据第一物体框的位置确定第一物体框的圆心的位置,并将圆心对应的像素点作为第二像素点。同理,测速装置可依据第二物体框的位置在第一待处理图像中确定一个像素点,即第三像素点。
本申请实施例中,将第二像素点的尺寸称为第五尺寸,将第二像素点对应的物点的尺寸称为第六尺寸,将第三像素点的尺寸称为第七尺寸,将第三像素点对应的物点的尺寸称为第八尺寸。将第五尺寸与第六尺寸之间的转换关系称为第三透射参数,将第七尺寸与第八尺寸之间的转换关系称为第四透射参数。
测速装置可依据第一尺寸和第三尺寸得到第三透射参数,并可依据第二尺寸和第四尺寸得到第四透射参数。假设第一尺寸为s1,第二尺寸为s2,第三尺寸为s3,第四尺寸为s4,第三透射参数为b3,第四透射参数为b4。
在一种可能实现的方式中,s1、s3、b3满足下式:
b3=r×s1/s3…公式(4)
s2、s4、b4满足下式:
b4=r×s2/s4…公式(5)
其中,r为正数。可选的,r=1。
在另一种可能实现的方式中,s1、s3、b3满足下式:
b3=r×s1/s3+c…公式(6)
s2、s4、b4满足下式:
b4=r×s2/s4+c…公式(7)
其中,r为正数,c为实数。可选的,r=1,c=0。
在又一种可能实现的方式中,s1、s3、b3满足下式:
s2、s4、b4满足下式:
其中,r为正数,c为实数。可选的,r=1,c=0。
404、对上述第三透射参数和上述第四透射参数进行曲线拟合处理,得到上述第一待处理图像的透射参数图。
由于在第一待处理图像中,像素点的尺度与像素点的横坐标线性相关,和/或,像素点的尺度与像素点的纵坐标线性相关,测速装置通过对第三透射参数和第四透射参数进行曲线拟合处理,可得到第一待处理图像的透射参数图。依据透射参数图中的像素值,可确定第一待处理图像中任意一个像素点的透射参数。
以透射参数图中的第五像素点为例。假设第五像素点的像素值为第一像素值,第五像素点在透射参数图中的位置与第四像素点在第一待处理图像中的位置相同,即第五像素点为第一透射参数图中与第四像素点对应的像素点。则测速装置可依据第一像素值,确定第四像素点的尺寸(即第九尺寸)与第十尺寸之间的转换关系,其中,第十尺寸为第四像素点对应的物点的尺寸。
假设第一像素值为p1,第九尺寸为s5,第十尺寸为s6。在一种可能实现的方式中,p1、s5、s6满足下式:
p1=u×s5/s6…公式(10)
其中,u为正数。可选的,u=1。
在另一种可能实现的方式中,p1、s5、s6满足下式:
p1=u×s5/s6+y…公式(11)
其中,u为正数,y为实数。可选的,u=1,y=0。
在又一种可能实现的方式中,p1、s5、s6满足下式:
其中,u为正数,y为实数。可选的,u=1,y=0。
同理,测速装置可依据透射参数图确定第一待处理图像中除第四像素点之外的任意一个像素点的透射参数。
405、依据上述透射参数图和上述第三位置在上述待处理图像中的位置,得到上述第二透射参数。
在第三位置表示第一待处理图像中的位置的情况下,测速装置可依据第三位置从透射参数图中确定参考像素值,其中,参考像素值对应的像素点在透射参数图中的位置与第三位置相同。测速装置进而可依据参考像素值,得到第二透射参数。
本申请实施例中,测速装置依据第一尺寸和第三尺寸得到第三透射参数,依据第二尺寸和第四尺寸得到第四透射参数。通过对第三透射参数和第四透射参数进行曲线拟合处理,得到透射参数图,进而可依据透射参数图确定第一待处理图像中任意一个像素点的透射参数。
应理解,在第三位置表示第二待处理图像中的位置的情况下,测距装置可通过对第二待处理图像进行物体检测处理,以得到第二待处理图像的透射参数图。进而确定第二透射参数。
作为一种可选的实施方式中,在执行步骤404之前,测速装置还执行以下步骤:
3、获取置信度映射。
本申请实施例中,像素点的透射参数的精度与该像素点对应的物点的尺寸的精度呈正相关,相应的,透射参数图的精度与第一物体的尺寸的精度和第二物体的尺寸呈正相关。
显然,具有固定尺寸的物体的尺寸的精度高于尺寸处于浮动区间的物体的尺寸的精度。
例如,标准足球球门的宽度为7.32米、高度为2.44米。90%的人的身高处于1.4米~2米之间。足球球门的尺寸的精度高于人的身高的精度。
又例如,标准篮球架的高度为3.05米。95%的人脸的长度处于17厘米~30厘米之间。篮球架的高度的精度高于人脸的长度的精度。
再例如,具有固定长度的螺钉。95%的人的脚长处于20厘米~35厘米之间。具有固定长度的螺钉的长度的精度高于人脚的精度。
可选的,上述具有固定尺寸的物体可以是,在特定场景下具有固定尺寸的物体。例如,候机室内的登机指示牌。又例如,体育馆内的椅子。再例如,办公室内的办公桌。
本申请实施例中,置信度映射表征物体类型与透射参数的置信度之间的映射。例如,该置信度映射可参见表1。
物体类型 | 置信度 |
球门、篮球架、登机指示牌 | 0.9 |
人体 | 0.8 |
人脸 | 0.7 |
人脚 | 0.65 |
表1
在一种获取置信度映射的实现方式中,测速装置接收用户通过输入组件输入的置信度映射。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取置信度映射的实现方式中,测速装置接收第四终端发送的置信度映射。可选的,第四终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。第四终端与第一终端可以相同,也可以不同。
4、依据上述第一物体的物体类型和上述置信度映射,得到上述第三透射参数的第一置信度。
在测速装置获取到置信度映射后,可依据置信度映射和第一物体的物体类型,得到第三透射参数的第一置信度。例如,假设置信度映射为上述表1,第一物体的物体类型为人体。此时,第一置信度为0.9。
可选的,测速装置可通过对第一物体框所包含的像素点区域进行特征提取处理,以确定第一物体的物体类型。
作为一种可选的实时方式,测速装置可分别依据每个物体框内的物体的物体类型,确定每个物体框内的物体对应的透射参数。例如,测速装置可依据第二物体的物体类型和置信度映射,得到第四透射参数的置信度(下文将称为第三置信度)。
在得到第一置信度后,测速装置在执行步骤404的过程中执行以下步骤:
5、依据上述第一置信度和上述第三透射参数,得到第五透射参数。
本申请实施例中,第五透射参数与第一置信度呈正相关。假设第一置信度为c1,第五透射参数为b5。在一种可能实现的方式中,c1、b5满足下式:
b5=a×c1…公式(13)
其中,a为正数。可选的,a=1。
在另一种可能实现的方式中,c1、b5满足下式:
b5=a×c1+e…公式(14)
其中,a为正数、e为实数。可选的,a=1,e=0。
在又一种可能实现的方式中,c1、b5满足下式:
其中,a为正数、e为实数。可选的,a=1,e=0。
6、对上述第四透射参数和上述第五透射参数进行曲线拟合处理,得到上述透射参数图。
测速装置通过对第四透射参数和第五透射参数进行曲线拟合处理,可提高透射参数图的精度。
作为一种可选的实施方式,在测速装置通过执行步骤4得到第三置信度,并依据第三置信度和第四透射参数得到第六透射参数的情况下,测速装置可通过对第五透射参数和第六透射参数进行曲线拟合处理,得到透射参数图。
应理解,在第三位置表示第二待处理图像中的位置的情况下,测距装置可基于置信度映射得到第二待处理图像的透射参数图,以提高第二待处理图像的透射参数图的精度。
作为一种可选的实施方式,在执行步骤4之前,测速装置还执行以下步骤:
7、对上述第一物体框内的像素点区域进行特征提取处理,得到特征数据。
本申请实施例中,特征提取处理可以是卷积处理,也可以是池化处理,还可以是卷积处理和池化处理的结合。可选的,特征提取处理可通过已训练的卷积神经网络实现,也可通过特征提取模型实现,本申请对此不做限定。
测速装置通过对物体框内的像素点区域进行特征提取处理,可提取出物体框内的像素点区域中的语义信息,得到物体框的特征数据。
在一种对第一物体框内的像素点区域进行特征提取处理的实现方式中,通过至少两层卷积层对第一物体框内的像素点区域逐层进行卷积处理,完成对第一物体框内的像素点区域的特征提取处理。至少两层卷积层中的卷积层依次串联,即上一层卷一层的输出为下一层卷积层的输入,每层卷积层提取出的语义信息均不一样。具体表现为,特征提取处理一步步地将第一物体框内的像素点区域的特征抽象出来,同时也将逐步丢弃相对次要的特征数据,其中,相对次要的特征信息指,除可用于确定第一物体框的物体的物体类型的特征信息之外的特征信息。因此,越到后面提取出的特征数据的尺寸越小,但语义信息越浓缩。通过多层卷积层逐级对第一物体框内的像素点区域进行卷积处理,可得到第一物体框内的像素点区域的语义信息。
可选的,测速装置可分别对每个物体框内的像素点区域进行特征提取处理,得到每个物体框内的像素点区域的特征数据。
8、依据上述特征数据,得到上述第一物体的分数。
考虑到不具有固定尺寸的物体的实际尺寸可能会改变,本申请实施例中,依据物体的特征数据确定物体的状态,进而得到用于表征物体的尺寸的置信度的分数,其中,物体的分数与该物体的尺寸的置信度呈正相关。
例如,假设物体为人体、物体的尺寸为人的身高。在人处于笔直站立状态的情况下,人的高度与该人的真实身高相等,此时,人的身高的置信度最高;在人处于行走的状态下,人的高度与该人的真实身高之间存在较小误差,此时,人的身高的置信度次之;在人处于低头的状态下(如低头看手机),人的高度与该人的真实身高之间存在较小误差,此时,人的身高的置信度比行走状态下的人的身高的置信度低;在人坐着的情况下,人的高度与该人的真实身高之间存在较大误差,此时,人的身高的置信度较低。
本申请实施例中,测速装置可依据从物体框内的像素点区域中提取出的特征数据,确定物体框内的物体的分数。
作为一种可选的实施方式,测速装置可使用分类器(如支持向量机、softmax函数)对物体框的特征数据进行处理,得到物体框内的物体的分数。
可选的,测速装置可使用神经网络对物体框内的像素点区域进行处理,得到物体框内的物体的分数。例如,测速装置使用已标注图像集作为训练数据,对神经网络进行训练,得到训练后的神经网络。使用训练后的神经网络对未标注图像集进行处理,得到未标注图像集的标签。使用已标注图像集、未标注图像集、未标注图像集的标签对训练后的神经网络进行训练,得到图像处理神经网络。其中,标签携带的信息包括包含图像中的物体框的位置以及物体框内的物体的分数。
测速装置依据第一物体的特征数据可得到第一物体的分数。可选的,测速装置可分别得到第一待处理图像中每个物体的分数。
在得到第一物体的分数的情况下,测速装置在执行步骤4的过程执行以下步骤:
9、依据上述第一物体的物体类型和上述置信度映射,得到上述第三透射参数的第二置信度。
本步骤的实现过程可参见步骤4,但在本步骤中,测速装置依据第一物体的物体类型和置信度映射,得到的不是第一置信度而是第二置信度。
10、依据上述分数与上述第二置信度,得到上述第一置信度。
本申请实施例中,第一置信度与分数呈相关。假设第一置信度为c1,第二置信度为c2,分数为s。在一种可能实现的方式中,c1、c2、s满足下式:
c2=α×s×c1…公式(16)
其中,α为正数。可选的,α=1。
在另一种可能实现的方式中,c1、c2、s满足下式:
c2=α×s×c1+σ…公式(17)
其中,α为正数、σ为实数。可选的,α=1,σ=0。
在又一种可能实现的方式中,c1、c2、s满足下式:
其中,α为正数、σ为实数。可选的,α=1,σ=0。
测速装置依据第一物体的分数和第二置信度,得到第一置信度,可提高第一置信度的精度。
可选的,测速装置通过执行步骤9可得到第四透射参数的第四置信度,测速装置可依据第二物体的分数和第四置信度,得到上述第三置信度。
作为一种可选的实施方式,在执行步骤6之前,测速装置还执行以下步骤:
11、获取上述第一待处理图像的深度图像。
本申请实施例中,第一待处理图像的深度图像携带第一待处理图像中的像素点的深度信息。在一种可能实现的方式中,测速装置接收用户通过输入组件输入的深度图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种可能实现的方式中,测速装置装载有RGB摄像头和深度摄像头。测速装置在使用RGB摄像头采集第一待处理图像的过程中,使用深度摄像头采集第一待处理图像的深度图像。其中,深度摄像头可以是以下任意一种:结构光(structured light)摄像头、TOF摄像头、双目立体视觉(binocular stereo vision)摄像头。
在又一种可能实现的方式中,测速装置接收第五终端发送的深度图像,其中,第五终端包括手机、计算机、平板电脑、服务器等。本实施例中,第五终端与第一终端可以相同,也可以不同。
12、依据上述深度图像,得到上述第二像素点的第一深度信息以及上述第三像素点的第二深度信息。
如上所述,深度图像携带第一待处理图像中的像素点的深度信息。测速装置在获取到深度图像后,可依据深度图像确定第二像素点的深度信息(即第一深度信息)以及第三像素点的深度信息(即第二深度信息)。
13、依据上述第一深度信息和上述第五透射参数得到第一数据点,依据上述第二深度信息和上述第四透射参数得到第二数据点。
在一种可能实现的方式中,第一数据点的横坐标为第一深度信息,第二数据点的横坐标为第二深度信息,第一数据点的纵坐标为第五透射参数,第二数据点的纵坐标为第四透射参数。即测速装置将像素点的深度信息作为横坐标,将像素点的透射参数作为纵坐标。
在一种可能实现的方式中,第一数据点的纵坐标为第一深度信息,第二数据点的纵坐标为第二深度信息,第一数据点的横坐标为第五透射参数,第二数据点的横坐标为第四透射参数。即测速装置将像素点的深度信息作为纵坐标,将像素点的透射参数作为横坐标。
在得到第一数据点和第二数据点之后,测速装置在执行步骤6的过程中执行以下步骤:
14、对上述第一数据点和上述第二数据点进行曲线拟合处理,得到上述透射参数图。
由于第一数据点和第二数据点均携带像素点的深度信息。测速装置通过对第一数据点和第二数据点进行曲线拟合处理,得到的透射参数图也携带深度信息。
因为依据像素点的深度信息确定像素点在第一待处理图像中的尺度,可提高像素点在第一待处理图像中的尺度的精度,所以测速装置通过执行步骤14得到透射参数图,可提高透射参数图的精度,进而可提高第一待处理图像中的像素点的透射参数的精度,从而提高第一对象的速度的精度。
应理解,在第三位置表示第二待处理图像中的位置的情况下,测速装置可基于第二待处理图像的深度图,得到第二待处理图像的透射参数图,从而提高第一对象的速度的精度。
作为一种可选的实施方式,第一待处理图像和第二待处理图像由同一成像设备采集得到,且成像设备在采集第一待处理图像的过程中的位姿与成像设备在采集第二待处理图像的过程中的位姿相同。这样,第一待处理图像和第二待处理图像中相同位置的像素点的尺度相同。例如,像素点a属于第一待处理图像,像素点b属于第二待处理图像,且像素点a在第一待处理图像中的位置与像素点b在第二待处理图像中的位置相同。则像素点a在第一待处理图像中的尺度与像素点b在第二待处理图像中的尺度相同。可选的,成像设备为监控摄像头。
基于本申请实施例提供的技术方案,本申请实施例还提供了一种可能的应用场景。
如上所述,在公共场所常因人流量过多导致人群过于密集的情况的发生,进而发生一些公共事故,如何确定公共场所的人群密度就具有非常大的意义。
目前,为了增强工作、生活或者社会环境中的安全性,会在各个公共场所内安装监控摄像设备,以便根据视频流信息进行安全防护。使用本申请实施例提供的技术方案对监控摄像设备采集到的视频流进行处理,可确定公共场所的人数密度,进而可有效预防公共事故的发生。
作为一种可选的实施方式,上述第一对象为人物对象,该人物对象属于监测人群,其中,监测人群指监控摄像头的监控画面中的人群。在人群密度的情况下,人与人之间的距离较小,进而导致人的移动速度较慢。因此,可通过第一对象的速度判断监测人群的人群密度是否过大。
在一种可能实现的方式中,第一对象的速度未超过安全速度阈值的情况下,测速装置确定监测人群的人群密度过大。测速装置进而获取成像设备的位置(成像设备的位置携带以下至少一个信息:成像设备的编号、成像设备的经纬度信息),并向相关管理人员的终端发送包含该位置的告警指令,以提示管理人员监测人群的人群密度过大,从而降低公共安全事故发生的概率。
可选的,告警指令可指示终端通过以下至少一种方式输出监测人群的人群密度过大的告警信息:光、语音、文字、震动。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图6,图6为本申请实施例提供的一种测速装置的结构示意图,该测速装置包括:第一获取单元11、第二获取单元12、第一处理单元13,其中:
第一获取单元11,用于获取第一待处理图像和第二待处理图像;所述第一待处理图像和所述第二待处理图像均包括第一对象;
第二获取单元12,用于获取所述第一对象在所述第一待处理图像中的第一位置、所述第一对象在所述第二待处理图像中的第二位置和第一移动距离的第一透射参数;所述第一移动距离为所述第一位置与所述第二位置之间的距离;所述第一透射参数表征所述第一移动距离与第一物理距离之间的转换关系;所述第一物理距离为所述第一移动距离对应的物理距离;所述第一物理距离与所述第一位置在所述第一待处理图像中的尺度呈负相关,和/或,所述第一物理距离与所述第二位置在所述第二待处理图像中的尺度呈负相关;
第一处理单元13,用于依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度;所述移动时间依据所述第一待处理图像的时间戳和所述第二待处理图像的时间戳得到。
结合本申请任一实施方式,所述第一处理单元13,用于:
依据所述第一透射参数和所述第一移动距离,得到第二移动距离;
依据所述第二移动距离和所述移动时间,得到所述速度。
结合本申请任一实施方式,所述第二获取单元12,用于:
获取第三位置的第二透射参数;所述第三位置为所述第一位置与所述第二位置连线上的位置;所述第二透射参数表征第一像素点的尺寸与第一物点的尺寸之间的转换关系;所述第一像素点为依据所述第三位置在所述第一待处理图像中确定的像素点,所述第一像素点或为依据所述第三位置在所述第二待处理图像中确定的像素点;所述第一物点为所述第一像素点对应的物点;第一比值与所述第一像素点在图像中的尺度呈负相关;所述第一比值为所述第一像素点的尺寸与所述第一物点的尺寸之间的比值;
依据所述第二透射参数,得到所述第一透射参数;所述第一透射参数与所述第二透射参数呈正相关。
结合本申请任一实施方式,所述第三位置为所述第一位置与所述的第二位置的中间位置。
结合本申请任一实施方式,所述第二获取单元12,用于:
对所述第一待处理图像进行物体检测处理,得到第一物体框的位置和第二物体框的位置;所述第一物体框包含第一物体;所述第二物体框包含第二物体;
依据所述第一物体框的位置得到所述第一物体的第一尺寸,依据所述第二物体框的位置得到所述第二物体的第二尺寸;
依据所述第一尺寸和第三尺寸得到第三透射参数,依据所述第二尺寸和第四尺寸得到第四透射参数;所述第三尺寸为所述第一物体的物理尺寸;所述第三透射参数表征第五尺寸与第六尺寸之间的转换关系;所述第五尺寸为第二像素点的尺寸;所述第二像素点在所述第一待处理图像中的位置依据所述第一物体框的位置确定;所述第六尺寸为所述第二像素点对应的物点;所述第四尺寸为所述第二物体的物理尺寸;所述第四透射参数表征第七尺寸与第八尺寸之间的转换关系;所述第七尺寸为第三像素点的尺寸;所述第三像素点在所述第二待处理图像中的位置依据所述第二物体框的位置确定;所述第八尺寸为所述第三像素点对应的物点;
对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述第一待处理图像的透射参数图;第九尺寸与第十尺寸之间的转换关系依据所述透射参数图中的第一像素值确定;所述第九尺寸为所述第一待处理图像中的第四像素点的尺寸;所述第十尺寸为所述第四像素点对应的物点的尺寸;所述第一像素值为第五像素点的像素值;所述第五像素点为所述透射参数图中与所述第四像素点对应的像素点;
依据所述透射参数图中与所述第三位置对应的像素值,得到所述第二透射参数。
结合本申请任一实施方式,所述第一获取单元11,还用于在所述对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述待处理图像的透射参数图之前,获取置信度映射;所述置信度映射表征物体类型与透射参数的置信度之间的映射;
所述测速装置还包括:第二处理单元14,用于依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度;
所述第二获取单元12,用于:
依据所述第一置信度和所述第三透射参数,得到第五透射参数;所述第五透射参数与所述第一置信度呈正相关;
对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图。
结合本申请任一实施方式,所述测速装置1还包括:
第三处理单元15,用于在所述依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度之前,对所述第一物体框内的像素点区域进行特征提取处理,得到特征数据;
第四处理单元16,用于依据所述特征数据,得到所述第一物体的分数;所述分数与所述第一物体的尺寸的置信度呈正相关;
所述第二处理单元14,用于:
依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第二置信度;
依据所述分数与所述第二置信度,得到所述第一置信度;所述第一置信度与所述分数呈相关。
结合本申请任一实施方式,所述第二获取单元12,用于:
确定所述第一置信度与所述第三透射参数的乘积,得到所述第五透射参数。
结合本申请任一实施方式,所述第一获取单元,还用于在所述对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图之前,获取所述第一待处理图像的深度图像;
所述第二获取单元12,还用于:
依据所述深度图像,得到所述第二像素点的第一深度信息以及所述第三像素点的第二深度信息;
依据所述第一深度信息和所述第五透射参数得到第一数据点,依据所述第二深度信息和所述第四透射参数得到第二数据点;
所述第二获取单元12,还用于:
对所述第一数据点和所述第二数据点进行曲线拟合处理,得到所述透射参数图。
结合本申请任一实施方式,所述第一待处理图像和所述第二待处理图像由同一成像设备采集得到,且所述成像设备在采集所述第一待处理图像的过程中的位姿与所述成像设备在采集所述第二待处理图像的过程中的位姿相同。
结合本申请任一实施方式,所述第一对象为人物对象;所述人物对象属于监测人群,所述第一获取单元11,还用于在所述速度未超过安全速度阈值的情况下,获取所述成像设备的位置;
所述测速装置还包括:发送单元17,用于向终端发送包含所述位置的告警指令;所述告警指令用于指示所述终端输出所述监测人群的人群密度过大的告警信息。
本实施中,由于第一透射参数携带第一位置的尺度信息和/或第二位置的尺度信息。测速装置依据第一透射参数、第一移动距离和移动时间得到第一对象的速度,可提高速度的精度。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图7为本申请实施例提供的一种测速装置的硬件结构示意图。该测速装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他物体类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的第一待处理图像,又或者该存储器22还可用于存储通过处理器21得到的第一对象的速度等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图7仅仅示出了一种测速装置的简化设计。在实际应用中,测速装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的测速装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (14)
1.一种测速方法,其特征在于,所述方法包括:
获取第一待处理图像和第二待处理图像;所述第一待处理图像和所述第二待处理图像均包括第一对象;
获取所述第一对象在所述第一待处理图像中的第一位置、所述第一对象在所述第二待处理图像中的第二位置和第一移动距离的第一透射参数;所述第一移动距离为所述第一位置与所述第二位置之间的距离;所述第一透射参数表征所述第一移动距离与第一物理距离之间的转换关系;所述第一物理距离为所述第一移动距离对应的物理距离;所述第一物理距离与所述第一位置在所述第一待处理图像中的尺度呈负相关,和/或,所述第一物理距离与所述第二位置在所述第二待处理图像中的尺度呈负相关;
依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度;所述移动时间依据所述第一待处理图像的时间戳和所述第二待处理图像的时间戳得到。
2.根据权利要求所述的方法,其特征在于,所述依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度,包括:
依据所述第一透射参数和所述第一移动距离,得到第二移动距离;
依据所述第二移动距离和所述移动时间,得到所述速度。
3.根据权利要求1或2所述的方法,其特征在于,所述获取所述第一移动距离的第一透射参数,包括:
获取第三位置的第二透射参数;所述第三位置为所述第一位置与所述第二位置连线上的位置;所述第二透射参数表征第一像素点的尺寸与第一物点的尺寸之间的转换关系;所述第一像素点为依据所述第三位置在所述第一待处理图像中确定的像素点,所述第一像素点或为依据所述第三位置在所述第二待处理图像中确定的像素点;所述第一物点为所述第一像素点对应的物点;第一比值与所述第一像素点在图像中的尺度呈负相关;所述第一比值为所述第一像素点的尺寸与所述第一物点的尺寸之间的比值;
依据所述第二透射参数,得到所述第一透射参数;所述第一透射参数与所述第二透射参数呈正相关。
4.根据权利要求3所述的方法,其特征在于,所述第三位置为所述第一位置与所述的第二位置的中间位置。
5.根据权利要求3或4所述的方法,其特征在于,所述获取第三位置的第二透射参数,包括:
对所述第一待处理图像进行物体检测处理,得到第一物体框的位置和第二物体框的位置;所述第一物体框包含第一物体;所述第二物体框包含第二物体;
依据所述第一物体框的位置得到所述第一物体的第一尺寸,依据所述第二物体框的位置得到所述第二物体的第二尺寸;
依据所述第一尺寸和第三尺寸得到第三透射参数,依据所述第二尺寸和第四尺寸得到第四透射参数;所述第三尺寸为所述第一物体的物理尺寸;所述第三透射参数表征第五尺寸与第六尺寸之间的转换关系;所述第五尺寸为第二像素点的尺寸;所述第二像素点在所述第一待处理图像中的位置依据所述第一物体框的位置确定;所述第六尺寸为所述第二像素点对应的物点;所述第四尺寸为所述第二物体的物理尺寸;所述第四透射参数表征第七尺寸与第八尺寸之间的转换关系;所述第七尺寸为第三像素点的尺寸;所述第三像素点在所述第二待处理图像中的位置依据所述第二物体框的位置确定;所述第八尺寸为所述第三像素点对应的物点;
对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述第一待处理图像的透射参数图;第九尺寸与第十尺寸之间的转换关系依据所述透射参数图中的第一像素值确定;所述第九尺寸为所述第一待处理图像中的第四像素点的尺寸;所述第十尺寸为所述第四像素点对应的物点的尺寸;所述第一像素值为第五像素点的像素值;所述第五像素点为所述透射参数图中与所述第四像素点对应的像素点;
依据所述透射参数图中与所述第三位置对应的像素值,得到所述第二透射参数。
6.根据权利要求5所述的方法,其特征在于,在所述对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述待处理图像的透射参数图之前,所述方法还包括:
获取置信度映射;所述置信度映射表征物体类型与透射参数的置信度之间的映射;
依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度;
所述对所述第三透射参数和所述第四透射参数进行曲线拟合处理,得到所述待处理图像的透射参数图,包括:
依据所述第一置信度和所述第三透射参数,得到第五透射参数;所述第五透射参数与所述第一置信度呈正相关;
对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图。
7.根据权利要求6所述的方法,其特征在于,在所述依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度之前,所述方法还包括:
对所述第一物体框内的像素点区域进行特征提取处理,得到特征数据;
依据所述特征数据,得到所述第一物体的分数;所述分数与所述第一物体的尺寸的置信度呈正相关;
所述依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第一置信度,包括:
依据所述第一物体的物体类型和所述置信度映射,得到所述第三透射参数的第二置信度;
依据所述分数与所述第二置信度,得到所述第一置信度;所述第一置信度与所述分数呈相关。
8.根据权利要求5或6所述的方法,其特征在于,所述依据所述第一置信度和所述第三透射参数,得到第五透射参数,包括:
确定所述第一置信度与所述第三透射参数的乘积,得到所述第五透射参数。
9.根据权利要求6至8中任意一项所述的方法,其特征在于,在所述对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图之前,所述方法还包括:
获取所述第一待处理图像的深度图像;
依据所述深度图像,得到所述第二像素点的第一深度信息以及所述第三像素点的第二深度信息;
依据所述第一深度信息和所述第五透射参数得到第一数据点,依据所述第二深度信息和所述第四透射参数得到第二数据点;
所述对所述第四透射参数和所述第五透射参数进行曲线拟合处理,得到所述透射参数图,包括:
对所述第一数据点和所述第二数据点进行曲线拟合处理,得到所述透射参数图。
10.根据权利要求1至9中任意一项所述的方法,其特征在于,所述第一待处理图像和所述第二待处理图像由同一成像设备采集得到,且所述成像设备在采集所述第一待处理图像的过程中的位姿与所述成像设备在采集所述第二待处理图像的过程中的位姿相同。
11.根据权利要求10所述的方法,其特征在于,所述第一对象为人物对象;所述人物对象属于监测人群,所述方法还包括:
在所述速度未超过安全速度阈值的情况下,获取所述成像设备的位置;
向终端发送包含所述位置的告警指令;所述告警指令用于指示所述终端输出所述监测人群的人群密度过大的告警信息。
12.一种测速装置,其特征在于,所述装置包括:
第一获取单元,用于获取第一待处理图像和第二待处理图像;所述第一待处理图像和所述第二待处理图像均包括第一对象;
第二获取单元,用于获取所述第一对象在所述第一待处理图像中的第一位置、所述第一对象在所述第二待处理图像中的第二位置和第一移动距离的第一透射参数;所述第一移动距离为所述第一位置与所述第二位置之间的距离;所述第一透射参数表征所述第一移动距离与第一物理距离之间的转换关系;所述第一物理距离为所述第一移动距离对应的物理距离;所述第一物理距离与所述第一位置在所述第一待处理图像中的尺度呈负相关,和/或,所述第一物理距离与所述第二位置在所述第二待处理图像中的尺度呈负相关;
第一处理单元,用于依据所述第一移动距离、所述第一透射参数和移动时间,得到所述第一对象的速度;所述移动时间依据所述第一待处理图像的时间戳和所述第二待处理图像的时间戳得到。
13.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至11中任意一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010613426.XA CN111739098B (zh) | 2020-06-30 | 2020-06-30 | 测速方法及装置、电子设备及存储介质 |
PCT/CN2020/121491 WO2022000856A1 (zh) | 2020-06-30 | 2020-10-16 | 测速方法及装置、电子设备及存储介质 |
KR1020217030375A KR20220004016A (ko) | 2020-06-30 | 2020-10-16 | 속도 측정 방법 및 장치, 전자 기기 및 저장 매체 |
JP2021547718A JP2022542205A (ja) | 2020-06-30 | 2020-10-16 | 速度測定方法及び装置、電子デバイス並びに記憶媒体 |
TW109137705A TWI735367B (zh) | 2020-06-30 | 2020-10-29 | 測速方法、電子設備及儲存介質 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010613426.XA CN111739098B (zh) | 2020-06-30 | 2020-06-30 | 测速方法及装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111739098A true CN111739098A (zh) | 2020-10-02 |
CN111739098B CN111739098B (zh) | 2024-05-24 |
Family
ID=72653708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010613426.XA Active CN111739098B (zh) | 2020-06-30 | 2020-06-30 | 测速方法及装置、电子设备及存储介质 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN111739098B (zh) |
TW (1) | TWI735367B (zh) |
WO (1) | WO2022000856A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022000856A1 (zh) * | 2020-06-30 | 2022-01-06 | 上海商汤智能科技有限公司 | 测速方法及装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008089792A1 (en) * | 2007-01-26 | 2008-07-31 | Trimble Jena Gmbh | Optical instrument and method for obtaining distance and image information |
CN108957024A (zh) * | 2017-05-22 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 一种速度测量的方法、装置以及电子设备 |
CN109979206A (zh) * | 2017-12-28 | 2019-07-05 | 杭州海康威视***技术有限公司 | 车辆测速方法、装置、***、电子设备及存储介质 |
CN110889890A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201013214A (en) * | 2008-09-17 | 2010-04-01 | Altek Corp | Photography device and method for sensing the moving speed of the photographed object |
CN101877174B (zh) * | 2009-09-29 | 2012-07-25 | 杭州海康威视软件有限公司 | 车速测量方法、监控机及车速测量*** |
JP2015025657A (ja) * | 2011-10-07 | 2015-02-05 | 川崎重工業株式会社 | 速度計測装置及び方法 |
US10586339B2 (en) * | 2015-03-18 | 2020-03-10 | Riken | Device for measuring rotation of spherical body, measurement method, and program |
CN107255812A (zh) * | 2017-06-30 | 2017-10-17 | 努比亚技术有限公司 | 基于3d技术的测速方法、移动终端、及存储介质 |
CN107462741B (zh) * | 2017-07-26 | 2019-12-31 | 武汉船用机械有限责任公司 | 一种运动物体速度及加速度测量装置 |
CN110824188B (zh) * | 2019-10-17 | 2022-10-04 | 浙江大华技术股份有限公司 | 高速公路车辆的测速方法、装置、编解码器及存储装置 |
CN111739098B (zh) * | 2020-06-30 | 2024-05-24 | 上海商汤智能科技有限公司 | 测速方法及装置、电子设备及存储介质 |
-
2020
- 2020-06-30 CN CN202010613426.XA patent/CN111739098B/zh active Active
- 2020-10-16 WO PCT/CN2020/121491 patent/WO2022000856A1/zh active Application Filing
- 2020-10-29 TW TW109137705A patent/TWI735367B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008089792A1 (en) * | 2007-01-26 | 2008-07-31 | Trimble Jena Gmbh | Optical instrument and method for obtaining distance and image information |
CN108957024A (zh) * | 2017-05-22 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 一种速度测量的方法、装置以及电子设备 |
CN109979206A (zh) * | 2017-12-28 | 2019-07-05 | 杭州海康威视***技术有限公司 | 车辆测速方法、装置、***、电子设备及存储介质 |
CN110889890A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
孙宁;张重德;: "一种提高视频车速检测精度的算法分析和实现", 合肥工业大学学报(自然科学版), no. 12 * |
谷凤伟;高宏伟;姜月秋;: "一种简易的单目视觉位姿测量方法研究", 光电技术应用, no. 04 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022000856A1 (zh) * | 2020-06-30 | 2022-01-06 | 上海商汤智能科技有限公司 | 测速方法及装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111739098B (zh) | 2024-05-24 |
TW202202845A (zh) | 2022-01-16 |
TWI735367B (zh) | 2021-08-01 |
WO2022000856A1 (zh) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108895981B (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
TWI752466B (zh) | 影像處理方法、處理器、電子設備、儲存媒介 | |
CN110473293B (zh) | 虚拟对象处理方法及装置、存储介质和电子设备 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
EP4050305A1 (en) | Visual positioning method and device | |
CN112927363A (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
CN114511661A (zh) | 图像渲染方法、装置、电子设备及存储介质 | |
CN113240678A (zh) | 平面信息检测方法及*** | |
CN111739086A (zh) | 测量面积的方法及装置、电子设备及存储介质 | |
CN111739098B (zh) | 测速方法及装置、电子设备及存储介质 | |
US20220005208A1 (en) | Speed measurement method and apparatus, electronic device, and storage medium | |
US20230089845A1 (en) | Visual Localization Method and Apparatus | |
CN111753813A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113780291B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN113544701B (zh) | 关联对象的检测方法及装置、电子设备及存储介质 | |
CN116862920A (zh) | 一种人像分割方法、装置、设备及介质 | |
CN115410242A (zh) | 视线估计方法和装置 | |
CN113705309A (zh) | 一种景别类型判断方法、装置、电子设备和存储介质 | |
CN111724442B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN111739097A (zh) | 测距方法及装置、电子设备及存储介质 | |
JP2022542205A (ja) | 速度測定方法及び装置、電子デバイス並びに記憶媒体 | |
CN113177545B (zh) | 目标物体的检测方法、装置、电子设备和存储介质 | |
CN116433767B (zh) | 目标对象检测方法、装置、电子设备以及存储介质 | |
CN117152391B (zh) | 一种基于虚拟现实的装修布局智能管理*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40030829 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |