CN114549627A - 一种对目标测距的方法、装置、图像采集设备及介质 - Google Patents
一种对目标测距的方法、装置、图像采集设备及介质 Download PDFInfo
- Publication number
- CN114549627A CN114549627A CN202210151108.5A CN202210151108A CN114549627A CN 114549627 A CN114549627 A CN 114549627A CN 202210151108 A CN202210151108 A CN 202210151108A CN 114549627 A CN114549627 A CN 114549627A
- Authority
- CN
- China
- Prior art keywords
- target
- camera
- detected
- binocular
- monocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种对目标测距的方法、装置、图像采集设备及介质,涉及图像处理领域。该方法首先获取双目相机中对相同目标在双目中建立的映射关系;然后检测待测目标的第一位置,并根据映射关系以及第一位置获取待测目标的第二位置;最后根据第一位置以及第二位置获取待测目标距离单目相机的距离。由于第一位置为单目相机作为第一单目相机检测得到的;第二位置与单目相机作为第二单目相机检测得到的待测目标的位置相同,因此通过单目相机测距实现了双目相机测距的功能,故而不受双目相机测距要求的限制,并且相比于传统的单目相机测距,提高了对目标测距的准确性,此外,通过单目中的坐标预测出另一目中的目标位置,提升了对遮挡目标的预测。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种对目标测距的方法、装置、图像采集设备及介质。
背景技术
随着安防领域迅速发展与应用,各地区监控相机覆盖率逐年的提高,智能相机中周界、监管相关智能业务使用更加频繁,可以实现对物体的测距。其中人体测距是以上业务(警戒区域等)中一项重要的功能。人体测距应用领域广泛,例如应用于水域边界等警戒区域,通过在水域边界上安装相机来对人员距离水域边界的距离进行测量,当测量后发现人员距离水域边界的距离太近时,通过提醒人员远离水域的,尽可能地减少安全事故的发生。
对于智能相机中测距主要有单目测距和双目测距两种方案。在使用单目测距时在单张图片里,由于通过单张图片无法确定深度,因此无法确定一个物体的真实大小,进而单目相机对目标测距的准确率低;在使用双目测距时是通过左目和右目的拍摄的两个图片确定视差,因此相比于单目相机测距更准确。但是在采用双目测距时要求两台相机参数必须完全一致,且两台相机位置必须与相机标定时刻的位置一致,而在应用中,由于难以保证两台相机相对位置不发生变化,进而导致双目相机对目标测距不准确或无法对目标进行测距,此外,双目相机测距存在单目遮挡问题会导致无法对目标进行测距。
由此可见,如何提高对目标测距的准确性,是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种对目标测距的方法、装置、图像采集设备及介质,用于提高对目标测距的准确性。
为解决上述技术问题,本申请提供一种对目标测距的方法,包括:
获取双目相机中对相同目标在左目和右目中建立的映射关系;
检测待测目标的第一位置,其中,所述第一位置为单目相机作为第一单目相机检测得到的;
根据所述映射关系以及所述第一位置获取所述待测目标的第二位置,其中,所述第二位置与所述单目相机作为第二单目相机检测得到的所述待测目标的位置相同;
根据所述第一位置以及所述第二位置获取所述待测目标距离所述单目相机的距离。
优选地,所述双目相机中对相同目标在左目和右目中建立的映射关系包括:
采集多个场景的双目视频;
将所述双目视频生成多张图片;
获取多张所述图片中共同含有的相同目标在所述左目中的位置和所述右目中的位置;
根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系。
优选地,在所述获取多张所述图片中共同含有的相同所述目标在所述左目和所述右目中的位置之前,还包括:
获取所述图片中各目标的目标检测框以及对同一目标标定相同的id。
优选地,在所述获取多张所述图片中共同含有的相同目标在所述左目中的位置和所述右目中的位置之后,所述根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系之前,还包括:
将不同类别的目标在所述左目中的所述位置和所述右目中的所述位置存放至不同的文本中。
优选地,所述根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系包括:
通过随机森林算法根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系。
优选地,所述根据所述映射关系以及所述第一位置获取所述待测目标的第二位置包括:
选取对应的映射关系;其中对应的所述映射关系为根据单目相机的参数以及通过深度学习目标检测算法确定的所述目标的属性得到;
根据对应的所述映射关系以及所述第一位置获取所述待测目标的第二位置。
优选地,所述根据所述映射关系以及所述第一位置获取所述待测目标的第二位置包括:
将所述待测目标所在的图片划分为多个区域;
确定所述待测目标所在的所述区域;
根据所述区域确定所述第一位置作为左目输入或右目输入,并输入至所述映射关系中;
通过所述映射关系得出所述待测目标的第二位置。
为解决上述技术问题,本申请还提供一种对目标测距的装置,包括:
第一获取模块,用于获取双目相机中对相同目标在左目和右目中建立的映射关系;
检测模块,用于检测待测目标的第一位置,其中,所述第一位置为单目相机作为第一单目相机检测得到的;
第二获取模块,用于根据所述映射关系以及所述第一位置获取所述待测目标的第二位置,其中,所述第二位置与所述单目相机作为第二单目相机检测得到的所述待测目标的位置相同;
第三获取模块,用于根据所述第一位置以及所述第二位置获取所述待测目标距离所述单目相机的距离。
为解决上述技术问题,本申请还提供一种图像采集设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述的对目标测距的方法的步骤。
为解决上述技术问题,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的对目标测距的方法的步骤。
本申请所提供的对目标测距的方法,该方法获取双目相机中对相同目标在左目和右目中建立的映射关系;然后检测待测目标的第一位置,并根据映射关系以及第一位置获取待测目标的第二位置;最后根据第一位置以及第二位置获取待测目标距离单目相机的距离。该方法中,由于第一位置为单目相机作为第一单目相机检测得到的;第二位置与单目相机作为第二单目相机检测得到的待测目标的位置相同,由此可见,通过单目相机测距实现了双目相机测距的功能,因此不受双目相机测距要求的限制,并且相比于传统的单目相机测距,提高了对目标测距的准确性,此外,通过单目中的坐标预测出另一目中的目标位置,提升了对遮挡目标的预测。
此外,本申请还提供一种对目标测距的方法、一种图像采集设备以及一种计算机存储介质,具有与上述提到的对目标测距的方法相同的有益效果。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种对目标测距的方法的流程图;
图2为在采用双目测距时双目***满足的视差三角形的示意图;
图3为常规的双目测距的覆盖范围示意图;
图4为确定第一目标相机为左目相机或右目相机的示意图;
图5为根据目标位置确定映射关系的示意图;
图6为本申请的一实施例提供的对目标测距装置的结构图;
图7为本申请另一实施例提供的图像采集设备的结构图。
图8本申请实施例提供的对目标测距的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
本申请的核心是提供一种对目标测距的方法、装置、图像采集设备及介质,用于提高对目标测距的准确性。
在安防领域,各地区的监控相机覆盖率逐年提高,在警戒区域通常需要对目标进行测距,如在水域边界,通常需要对人距离水域边界的距离进行测量,在采用传统的单目相机进行测距时,单目相机无法对目标的深度进行测量,因此单目相机测距不准确,而对于双目相机进行测距时,在室外条件下,难以保证两台相机的相对位置不发生变化,需要定期维护校验,否则会导致测距不准确,当然在双目测距时存在单目遮挡问题,导致无法对目标进行测距。因此本申请采用单目相机实现双目相机测距的功能。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。图1为本申请提供的一种对目标测距的方法的流程图。如图1所示,该方法包括:
S10:获取双目相机中对相同目标在左目和右目中建立的映射关系。
为了能够通过单目相机实现双目相机的功能,首先需要获取双目相机中对相同目标在左目和右目中建立的映射关系。在使用双目相机进行测距时遵循双目相机测距原理。图2为在采用双目测距时双目***满足的视差三角形的示意图。如图2所示,P代表目标,x1,x2代表目标P在双目***中所成的两个像,O1、O2分别代表双目相机的左目和右目,m1表示双目***的中心,m2表示双目相机的焦点,m1-m2表示双目相机的焦距,O1-O2表示双目相机的中间距,目标P到m1表示目标到相机的距离。其中O1-O2距离已知,m1-m2距离已知,当x1与x2距离确定时,即同一目标在左右相机中成像坐标确定时,通过相似三角形,可以获得目标距离相机的距离。因此在使用双目相机在测距时,双目相机的焦距、两台相机要在同一水平线上。
在获取双目相机中对相同目标在左目和右目中建立的映射关系时,首先需要对双目相机进行标定。在对双目相机进行标定的过程中,对于双目相机选取两台同一型号的焦距可调的监控相机,设定不同的相机间距,将两台相机固定在同一水平线上,调整相同(左目、右目焦距一致)的焦距,依次进行相机的单目标定和双目标定,记录相机的内参矩阵、外参矩阵、畸变矫正矩阵。此处的对于单目标定是用来消除相机自身的误差;对于双目的标定是用来消除两台相机相互位置的误差。需要说明的是,对设定的不同的相机间距、固定的同一水平线的位置、调整相同的焦距不作限定,根据实际情况进行选择。如不同的相机间距可以选择20cm、30cm、40cm,对于相机间距,当相机间距越大时,相机覆盖的范围越广。但是相机间距也不能过大,对于常规的双目测距的范围通常是双目相机视野的交集范围(即同一目标同时出现在双目中)。图3为常规的双目测距的覆盖范围示意图。如图3所示,在双目相机视野的交集范围内,A代表双目相机右目的范围边界,B代表双目相机左目的范围边界,即AB区域为双目相机视野的交集范围,可以使用双目测距,图中三角形在AB区域内,即在双目相机视野的交集范围,可以进行双目测距;对于在A边界的左边范围内的目标,如图3中的左边的圆形,只出现在左目相机中,无法出现在右目相机中,因此无法进行双目测距,同样地,对于B边界的右边范围内的目标,如图3中的右边的圆形,只出现在右目相机中,无法出现在左目相机中,因此无法进行双目测距。由此可见,相机的中间距也不能过大,根据目标的位置选择合适的相机间距;对于相机的焦距,常用的相机焦距为15mm、24mm、28mm、50mm。本实施例中对相机中间距在20cm、30cm、40cm、相机焦距为15mm、24mm、28mm、50mm依次进行相机的单目标定和双目标定,记录相机的内参矩阵、外参矩阵、畸变矫正矩阵。
双目相机标定之后,使用双目相机进行数据采集。双目相机的左、右目可以拍摄多张照片,也可以拍摄视频,然后将左、右目视频生成图片。需要说明的是,为了方便对视频或数据进行处理,在实施中,对于相同中间距、同一焦距的视频或图片对应收集存放,如对于焦距15mm,相机中间距为20cm时采集的视频或图片单独收集存放。对于收集的场景不作限定,优选地,收集场景覆盖交通、社区等,人、机动车出现的较多的场景。
在对数据采集之后,对于同一目标在相机的左目和右目中建立映射关系。对于映射关系指的是同一个目标在双目成像***中位置是明确的一一对应的关系,如在左目中目标的位置确定了,那么在右目中同一目标的位置一定是唯一确定的坐标。在对数据进行采集之后,获取目标在左、右目相机中位置。需要说明的是,目标的位置可以是目标的具体坐标,也可以是目标相对于某个参考物的位置,对于具***置的选择不作限定,在本申请目标的位置为目标的坐标。为了统一对采集的数据进行处理,在图片中对目标进行检测框的标定,对于检测框的形状等不作限定,本申请中检测框为矩形检测框。在检测框的左上角的横纵坐标分别记为x,y,检测框的宽和高分别记为w和h,取出左、右目相机中共同含有的目标的坐标(xywh)。为了便于查看数据可以将得到的目标的坐标分别存放在csv文件中,保证同一目标有对应的左坐标、右坐标。
在采集完数据之后,需要对数据进行处理得到双目映射关系。在双目***中。不同位置(距离相机的距离)的目标具体不同的对应关系,若用某一个位置的映射关系,难以处理所有位置的情况,因此在本申请中采用机器学习算法求解双目映射关系。需要说明的是,对于采用的具体的机器学习算法不作限定,只要能求解双目映射关系即可。为了提高映射关系的准确性,本申请中采用随机森林算法来求解双目映射关系。需要说明的是,为了方便查看以及使用获得的映射关系,可以在得到映射关系之后,对不同中间距得到的映射关系分开存储,适应于不同相机的高度、相机越高视野覆盖范围越广,对应的中间距越大。
上述步骤中完成了双目相机的中对相同目标在左目和右目中建立的映射关系,在本申请中采用的是单目相机进行测距,因此,将得到的映射关系输入到所采用的单目相机中,使得单目相机中包含映射关系。
S11:检测待测目标的第一位置,其中,第一位置为单目相机作为第一单目相机检测得到的。
使用单目相机进行测距,首先检测待测目标的第一位置。第一位置为单目相机作为第一单目相机检测得到。第一单目相机指的是左目相机或右目相机。对于第一位置具体是单目相机作为左目相机得到还是作为右目相机得到,是根据待测目标的具***置确定的。图4为确定第一目标相机为左目相机或右目相机的示意图。如图4所示,当采用中间的相机作为单目相机测距时,对于左侧的圆形目标,为了使单目相机实现双目相机测距功能,圆形目标必须出现在双目相机的共同区域中,因此选择该单目相机作为右目相机。需要说明的,对于待测目标的第一位置同样可以是该待测目标的具体的位置坐标,也可以是相对于某个参考物的位置,此处不作限定。在本申请中检测待测目标的第一位置即为检测待测目标的第一坐标。在检测待测目标的第一位置之前,可先使用深度学习目标检测算法进行人、机动车、非机动车的识别,方便对待测目标找到所采用的对应的映射关系。
S12:根据映射关系以及第一位置获取待测目标的第二位置,其中,第二位置与单目相机作为第二单目相机检测得到的待测目标的位置相同。
在步骤S10中获取了映射关系,在步骤S11中获取了待测目标的第一位置,通过映射关系以及第一位置获取待测目标的第二位置。如上述步骤中的第一位置即第一坐标,此处的第二位置即第二坐标。如图4中,对于左侧的圆形目标,中间的单目相机作为右目相机,将左侧的圆形目标的坐标送入右目映射,得到相机作为右目相机时,对应左目(图4中的从左数)第一个单目相机中圆形目标的坐标。需要说明的是,由于采用的是单目相机进行测距来实现双目测距的功能,因此,此处的第二位置可以看作是双目相机的另一目的相机测得的待测目标的位置。图4中的左侧圆形目标的第一位置为单目相机作为右目相机检测得到,第二位置即为单目相机作为左目相机检测得到。与直接采用双目相机测距的不同之处在于,采用单目相机测距时,对于另一目的位置是通过映射关系得到。
S13:根据第一位置以及第二位置获取待测目标距离单目相机的距离。
在上述步骤中得到了待测目标的第一位置以及第二位置,根据双目测距原理,通过相似三角形即可得出目标距离单目相机的距离。需要说明的是,在使用单目相机测距时,需要通过步骤S10中对双目相机的标定结果将单目相机作为左目相机得到的第一位置以及作为右目相机得到的第二位置转换到同一个坐标系上进行距离的计算。
本实施例所提供的对目标测距的方法,该方法获取双目相机中对相同目标在左目和右目中建立的映射关系;然后检测待测目标的第一位置,并根据映射关系以及第一位置获取待测目标的第二位置;最后根据第一位置以及第二位置获取待测目标距离单目相机的距离。该方法中,由于第一位置为单目相机作为第一单目相机检测得到的;第二位置与单目相机作为第二单目相机检测得到的待测目标的位置相同,由此可见,通过单目相机测距实现了双目相机测距的功能,因此不受双目相机测距要求的限制,并且相比于传统的单目相机测距,提高了对目标测距的准确性,此外,传统双目测距中的目标,经常出现遮挡问题,造成待测目标只出现在单目中一个,另一个遮挡无法获得具体坐标,从而无法对待测目标进行测距,在本申请中,通过单目中的坐标即可预测出另一目中的目标位置,利用双目测距原理实现距离的预测,相较于传统的双目测距,提升了对部分遮挡目标的预测效果。
在上述实施例的基础上,为了使获取的映射关系能够尽可能地覆盖目标出现较多的场景以及能够根据建立的映射关系以及某一侧目的待测目标的位置得到对应侧目的同一待测目标的位置。在实施中,优选地实施方式是,双目相机中对相同目标在左目和右目中建立的映射关系包括:
采集多个场景的双目视频;
将双目视频生成多张图片;
获取多张图片中共同含有的相同目标在左目中的位置和右目中的位置;
根据位置获取相同目标在左目和右目中的映射关系。
为了在双目相机中对相同目标在左目和右目中建立映射关系,对多个场景的双目视频进行采集。多个场景可以是覆盖交通、社区等,人、机动车出现的较多的场景。通过采集视频可以了解待测目标的运动趋势,如在水域边界,通过设置监测相机拍摄视频,可以了解目标的运动趋势,是向水域边界靠近或是远离水域边界。将双目视频生成多张照片,获取多张图片中共同含有的相同目标在左目中的位置和右目中的位置,此处的目标可以是人、车、机动车等目标。取出左、右目相机中共同含有的目标的坐标,分别放入csv文件中,保证同一目标有对应的左、右坐标。
本实施例所提供的采集多个场景的双目视频以及生成图片,并获取在图片中共同含有的相同目标在左目中的位置和右目中的位置,根据目标在左目中的位置和在右目中的位置得到同一目标在双目相机中的映射关系。由此可见,得到的映射关系是覆盖多个场景的,因此可以适用于多个场景,此外,由于在建立映射关系的过程中,同一目标在左目中的位置与在右目中的位置是成对出现的,因此通过映射关系以及某一侧目的待测目标的位置可以得到对应侧目的同一待测目标的位置。
在上述实施例中获取多张图片中共同含有的相同目标在左目中的位置和右目中的位置,在实施中,为了确定待测目标是同一目标,在获取多张图片中共同含有的相同目标在左目和右目中的位置之前,还包括:
获取图片中各目标的目标检测框以及对同一目标标定相同的id。
为了确定待测目标是同一待测目标,将图片中的各目标进行检测框的标定,对于检测框的形状、颜色等不作限定。为了方便确定是同一待测目标,同一目标的目标检测框可以用相同的颜色表示,检测框的形状可以为矩形检测框。需要说明的是,同一目标的目标检测框在左目、右目中的大小存在差异。此外,对于同一个目标标定相同的id,通过id更能直观地了解到待测目标是否为同一个目标。
本实施例所提供的将图片中各目标进行检测框的标定以及对同一目标标定相同的id,能够根据检测框以及id值方便确定待测目标是否为同一个目标。
由于不同类别的目标宽高比差异较大,因此采集得到的双目数据的差异也比较大,从而根据双目数据得到的不同类别的目标映射关系也存在较大的差异。为了将不同类别目标的双目数据区分开,在实施中,在获取多张图片中共同含有的相同目标在左目中的位置和右目中的位置之后,根据位置获取相同目标在左目和右目中的映射关系之前,还包括:
将不同类别的目标在左目中的位置和右目中的位置存放至不同的文本中。
如人、客车、自行车的宽高比差异较大,因此将对人、客车、自行车采集的双目数据分别放入到不同的文件中,对于具体存放文件不作限定,本申请中将得到的双目数据存放在csv文件中,即对人、客车、自行车采集的双目数据分别存放在不同的csv文件中。对于不同类别的目标分别存放在不同的文件中,根据不同类别目标的双目数据,从而得到不同类别的目标的映射关系。
本实施例所提供的将不同类别的目标在左目中的位置和右目中的位置存放至不同的文本中,由于不同类别的目标宽高比差异较大,因此采集得到的双目数据的差异也比较大,将数据分开存储能够有效地将不同类别区分开,从而能够得到对应类别的映射关系。
由于双目***中,不同位置(距离相机的距离)的目标具有不同的对应关系,当用某一位置一个的映射关系,难以处理所有位置的情况。在实施中,作为优选地实施方式,根据位置获取相同目标在左目和右目中的映射关系包括:
通过随机森林算法根据位置获取相同目标在左目和右目中的映射关系。
在实施中,采用机器学习算法来求解双目映射关系。对于采用的具体的机器学习算法不作限定,只要能求解双目映射关系即可。为了提高映射关系的准确性,本实施例采用随机森林算法来求解双目映射关系。某些决策树的对于远距离的回归效果拟合更好,另一部分决策树对于近距离的回归效果更好,最终形成随机森林对于不同位置都有一个好的拟合效果。将左目相机的目标坐标作为输入,右目相机的坐标作为输出,送入机器学习randomforest中进行训练;将右目相机的目标坐标作为输入,左目相机的坐标作为输出,送入机器学习randomforest中进行训练;得到同一相机焦距下,同一焦距的2个映射关系。如上述实施例中的例子中分别使用相机中间距在20cm、30cm、40cm、相机焦距为15mm、24mm、28mm、50mm对目标进行测距,最终共建立24组对应关系,可以满足常用焦距,覆盖常规范围。
本实施例所提供的采用随机森林算法根据位置获取相同目标在左目和右目中的映射关系,由于随机森林算法对于不同位置都有一个好的拟合效果,因此最终得到的映射关系较准确。
上述实施例中在双目相机中对相同目标在左目和右目中建立的映射关系,映射关系包含不同的相机参数的映射关系、不同类别目标的映射关系。在实施中,为了能够较准确以及快速地找到待测目标依据的左目和右目中的映射关系,作为优选地实施方式,根据映射关系以及第一位置获取待测目标的第二位置包括:
选取对应的映射关系;其中对应的映射关系为根据单目相机的参数以及通过深度学习目标检测算法确定的目标的属性得到;
根据对应的映射关系以及第一位置获取待测目标的第二位置。
根据单目相机的参数以及目标的属性从建立的映射关系中选取对应的映射关系,如相机的焦距为15cm,通过深度学习目标检测算法识别出待测目标是客车,则按照15cm焦距下的映射关系,对客车建立的映射关系中得出客车对应的映射关系。根据对应的映射关系以及第一位置获取客车的第二位置,具体的获取第二位置的方式在上述实施例中已做详细描述,此处不再赘述。
本实施例所提供的根据相机的参数以及目标的属性得到对应的映射关系,由于不同的相机参数、不同属性的目标对应不同的映射关系,因此通过根据相机参数、目标的属性能够较准确以及快速地找到待测目标依据的左目和右目中的映射关系。
本申请采用单目相机测距实现双目相机测距的功能,在进行双目相机测距时,双目测距的范围通常是双目相机视野的交集范围,即同一目标同时出现在双目中,同样地,本申请在采用单目相机进行测距时,需要保证目标能够同时出现在双目相机的视野内。在实施中,根据映射关系以及第一位置获取待测目标的第二位置包括:
将待测目标所在的图片划分为多个区域;
确定待测目标所在的区域;
根据区域确定第一位置作为左目输入或右目输入,并输入至映射关系中;
通过映射关系得出待测目标的第二位置。
根据待测目标的位置判断第一位置作为左目输入或右目输入,使得同一目标同时出现在双目中,从而保证单目相机中的检测目标,经过映射关系得到另一相机中的目标坐标,同时出现在双目相机视野范围内,可以满足双目测距的基本原理,进行测距。确定待测目标的位置是将待测目标所在的图片划分为多个区域,根据待测目标所在的区域确定第一位置作为左目输入或右目输入,并输入至映射关系中。在实施中,划分的区域的个数、方式不作限定,根据实际情况将图片进行合理地划分。如将图片沿横向划分为3个区域,画面切分比例为1:1:1,根据检测网络的坐标中心点判断目标的位置,在左侧则选择右目映射得到目标在左目上的坐标,在右侧则选择左目映射得到目标在右目上的坐标;对于中间区域可以按照最近一次选择的映射关系,中间区域选择的映射关系可以为左映射或映射,此处不作限定。图5为根据目标位置确定映射关系的示意图。目标坐标位于左半图时,通过右目映射得到左目坐标;位于右半图时,通过左目映射得到右目坐标;位于中间区域时,送入上一次映射,得到对应的坐标。
本实施例所提供的根据待测目标的位置将第一位置选择对应的映射输入并输入至映射关系中,得出待测目标的第二位置,该方法保证目标能够同时出现在双目相机的视野内,在采用单目相机进行测距时实现双目相机测距的功能。
在上述实施例中,对于对目标测距的方法进行了详细描述,本申请还提供对目标测距的装置以及图像采集设备对应的实施例。需要说明的是,本申请从两个角度对装置部分的实施例进行描述,一种是基于功能模块的角度,另一种是基于硬件的角度。
图6为本申请的一实施例提供的对目标测距装置的结构图。本实施例基于功能模块的角度,包括:
第一获取模块10,用于获取双目相机中对相同目标在左目和右目中建立的映射关系;
检测模块11,用于检测待测目标的第一位置,其中,第一位置为单目相机作为第一单目相机检测得到的;
第二获取模块12,用于根据映射关系以及第一位置获取待测目标的第二位置,其中,第二位置与单目相机作为第二单目相机检测得到的待测目标的位置相同;
第三获取模块13,用于根据第一位置以及第二位置获取待测目标距离单目相机的距离。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本实施例所提供的对目标测距装置通过第一获取模块获取双目相机中对相同目标在左目和右目中建立的映射关系;通过检测模块检测待测目标的第一位置;通过第二获取模块根据映射关系以及第一位置获取待测目标的第二位置;通过第三获取模块根据第一位置以及第二位置获取待测目标距离单目相机的距离。由此可见,该装置中获取双目相机中对相同目标在左目和右目中建立的映射关系;然后检测待测目标的第一位置,并根据映射关系以及第一位置获取待测目标的第二位置;最后根据第一位置以及第二位置获取待测目标距离单目相机的距离。该装置中,由于第一位置为单目相机作为第一单目相机检测得到的;第二位置与单目相机作为第二单目相机检测得到的待测目标的位置相同。由此可见,通过单目相机测距实现了双目相机测距的功能,因此不受双目相机测距要求的限制,并且相比于传统的单目相机测距,提高了对目标测距的准确性,此外,传统双目测距中的目标,经常出现遮挡问题,造成待测目标只出现在单目中一个,另一个遮挡无法获得具体坐标,该装置中通过单目中的坐标预测出另一目中的目标位置,利用双目测距原理实现距离的预测,提升了遮挡目标的预测。
图7为本申请另一实施例提供的图像采集设备的结构图。本实施例基于硬件角度,如图7所示,图像采集设备包括:
存储器20,用于存储计算机程序;
处理器21,用于执行计算机程序时实现如上述实施例中所提到的对目标测距的方法的步骤。
本实施例提供的图像采集设备可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中,处理器21可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器(CentralProcessing Unit,CPU);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以在集成有图像处理器(Graphics Processing Unit,GPU),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括人工智能(Artificial Intelligence,AI)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器20至少用于存储以下计算机程序201,其中,该计算机程序被处理器21加载并执行之后,能够实现前述任一实施例公开的对目标测距的方法的相关步骤。另外,存储器20所存储的资源还可以包括操作***202和数据203等,存储方式可以是短暂存储或者永久存储。其中,操作***202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述所提到的对目标测距的方法所涉及到的数据等。
在一些实施例中,图像采集设备还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解,图7中示出的结构并不构成对图像采集设备的限定,可以包括比图示更多或更少的组件。
本申请实施例提供的图像采集设备,包括存储器和处理器,处理器在执行存储器存储的程序时,能够实现如下方法:对目标测距的方法,效果同上。
最后,本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提供的计算机可读存储介质包括上述提到的对目标测距的方法,效果同上。
为了使本领域的技术人员更好的理解本申请的技术方案,下面结合附图8对上述本申请作进一步的详细说明,图8本申请实施例提供的对目标测距的流程图。该方法具体包括:
S14:输入测距图片;
S15:检测网络;
S16:目标的位置坐标;
S17:判断目标坐标是否位于左半图;若是,则进入步骤S18,之后进入步骤S20;若否,则进入步骤S19,之后进入步骤S21;
S18:右映射;
S19:左映射;
S20:获取左目相机坐标;
S21:获取右目相机坐标;
S22:双目测距;
S23:获得物体距离。
本实施例所提供的根据目标的位置坐标以及目标坐标所在的半图,当位于左半图时,输入右映射,得出左目相机坐标,根据目标的位置坐标以及左目相机坐标进行双目测距得出物体的距离;当位于右半图时,输入左映射,得出右目相机坐标,根据目标的坐标位置以及右目相机坐标进行双目测距,得出物体的距离。由此可见,该实施例通过单目相机测距实现了双目相机测距的功能,因此不受双目相机测距要求的限制,并且相比于传统的单目相机测距,提高了对目标测距的准确性,此外,传统双目测距中的目标,经常出现遮挡问题,造成待测目标只出现在单目中一个,另一个遮挡无法获得具体坐标,该实施例中通过单目中的坐标预测出另一目中的目标位置,利用双目测距原理实现距离的预测,提升了遮挡目标的预测。
以上对本申请所提供的一种对目标测距的方法、装置、图像采集设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种对目标测距的方法,其特征在于,包括:
获取双目相机中对相同目标在左目和右目中建立的映射关系;
检测待测目标的第一位置,其中,所述第一位置为单目相机作为第一单目相机检测得到的;
根据所述映射关系以及所述第一位置获取所述待测目标的第二位置,其中,所述第二位置与所述单目相机作为第二单目相机检测得到的所述待测目标的位置相同;
根据所述第一位置以及所述第二位置获取所述待测目标距离所述单目相机的距离。
2.根据权利要求1所述的对目标测距的方法,其特征在于,所述双目相机中对相同目标在左目和右目中建立的映射关系包括:
采集多个场景的双目视频;
将所述双目视频生成多张图片;
获取多张所述图片中共同含有的相同目标在所述左目中的位置和所述右目中的位置;
根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系。
3.根据权利要求2所述的对目标测距的方法,其特征在于,在所述获取多张所述图片中共同含有的相同所述目标在所述左目和所述右目中的位置之前,还包括:
获取所述图片中各目标的目标检测框以及对同一目标标定相同的id。
4.根据权利要求3所述的对目标测距的方法,其特征在于,在所述获取多张所述图片中共同含有的相同目标在所述左目中的位置和所述右目中的位置之后,所述根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系之前,还包括:
将不同类别的目标在所述左目中的所述位置和所述右目中的所述位置存放至不同的文本中。
5.根据权利要求4所述的对目标测距的方法,其特征在于,所述根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系包括:
通过随机森林算法根据所述位置获取相同所述目标在所述左目和所述右目中的映射关系。
6.根据权利要求1所述的对目标测距的方法,其特征在于,所述根据所述映射关系以及所述第一位置获取所述待测目标的第二位置包括:
选取对应的映射关系;其中对应的所述映射关系为根据单目相机的参数以及通过深度学习目标检测算法确定的所述目标的属性得到;
根据对应的所述映射关系以及所述第一位置获取所述待测目标的第二位置。
7.根据权利要求1至6任意一项所述的对目标测距的方法,其特征在于,所述根据所述映射关系以及所述第一位置获取所述待测目标的第二位置包括:
将所述待测目标所在的图片划分为多个区域;
确定所述待测目标所在的所述区域;
根据所述区域确定所述第一位置作为左目输入或右目输入,并输入至所述映射关系中;
通过所述映射关系得出所述待测目标的第二位置。
8.一种对目标测距的装置,其特征在于,包括:
第一获取模块,用于获取双目相机中对相同目标在左目和右目中建立的映射关系;
检测模块,用于检测待测目标的第一位置,其中,所述第一位置为单目相机作为第一单目相机检测得到的;
第二获取模块,用于根据所述映射关系以及所述第一位置获取所述待测目标的第二位置,其中,所述第二位置与所述单目相机作为第二单目相机检测得到的所述待测目标的位置相同;
第三获取模块,用于根据所述第一位置以及所述第二位置获取所述待测目标距离所述单目相机的距离。
9.一种图像采集设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的对目标测距的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的对目标测距的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210151108.5A CN114549627A (zh) | 2022-02-14 | 2022-02-14 | 一种对目标测距的方法、装置、图像采集设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210151108.5A CN114549627A (zh) | 2022-02-14 | 2022-02-14 | 一种对目标测距的方法、装置、图像采集设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114549627A true CN114549627A (zh) | 2022-05-27 |
Family
ID=81676037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210151108.5A Pending CN114549627A (zh) | 2022-02-14 | 2022-02-14 | 一种对目标测距的方法、装置、图像采集设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549627A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118015088A (zh) * | 2024-04-10 | 2024-05-10 | 广东电网有限责任公司东莞供电局 | 一种物体定位方法、装置、设备及存储介质 |
-
2022
- 2022-02-14 CN CN202210151108.5A patent/CN114549627A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118015088A (zh) * | 2024-04-10 | 2024-05-10 | 广东电网有限责任公司东莞供电局 | 一种物体定位方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108205797B (zh) | 一种全景视频融合方法及装置 | |
US11024052B2 (en) | Stereo camera and height acquisition method thereof and height acquisition system | |
US6370262B1 (en) | Information processing apparatus and remote apparatus for object, using distance measuring apparatus | |
CN109949347B (zh) | 人体跟踪方法、装置、***、电子设备和存储介质 | |
CN104902246A (zh) | 视频监视方法和装置 | |
US20110058747A1 (en) | Image processing apparatus, image processing method and computer readable-medium | |
CN109191513B (zh) | 基于全局优化的电力设备立体匹配方法 | |
TW201619910A (zh) | 監控系統及其影像處理方法 | |
WO2022088886A1 (en) | Systems and methods for temperature measurement | |
KR101666466B1 (ko) | 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법 | |
CN109816745A (zh) | 人体热力图展示方法及相关产品 | |
US20200336710A1 (en) | Systems and methods for image processing | |
US12020490B2 (en) | Method and device for estimating position of networked vehicle based on independent non-uniform increment sampling | |
CN104954747A (zh) | 视频监视方法和装置 | |
US9558406B2 (en) | Image processing apparatus including an object setting section, image processing method, and program using the same | |
JP7092615B2 (ja) | 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム | |
CN111680574A (zh) | 一种人脸检测方法、装置、电子设备和存储介质 | |
CN114565722A (zh) | 一种三维模型单体化实现方法 | |
CN114549627A (zh) | 一种对目标测距的方法、装置、图像采集设备及介质 | |
KR101600820B1 (ko) | 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정방법 및 해상객체의 거리 측정시스템. | |
CN117392423A (zh) | 基于激光雷达的目标物的真值数据预测方法、装置及设备 | |
CN115880643B (zh) | 一种基于目标检测算法的社交距离监测方法和装置 | |
CN115423804B (zh) | 影像标定方法及装置、影像处理方法 | |
CN116721516A (zh) | 一种基于视频监控的预警方法、装置及存储介质 | |
KR101893368B1 (ko) | 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |