CN111242118B - 目标检测方法、装置、计算机设备和存储介质 - Google Patents
目标检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111242118B CN111242118B CN201811441511.1A CN201811441511A CN111242118B CN 111242118 B CN111242118 B CN 111242118B CN 201811441511 A CN201811441511 A CN 201811441511A CN 111242118 B CN111242118 B CN 111242118B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- region
- detection
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种目标检测方法、装置、计算机设备和存储介质。该方法包括:对检测图像进行目标检测,获得全局目标;根据预设的兴趣区域确定规则,确定检测图像中的兴趣区域;对兴趣区域对应的局部图像进行目标检测,获得局部目标;将全局目标和局部目标进行融合处理,获得检测图像的最终目标。通过对兴趣区域对应的局部图像再次进行目标检测,实现对兴趣区域内目标的精细化检测,并提高对兴趣区域内细小目标的检测成功率。进一步通过将全局目标和更为精细化的局部目标融合,使得最终获得的最终目标相比于全局目标更丰富、更准确,有效提高了目标检测精度。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种目标检测方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展和计算机视觉原理的广泛应用,目标检测技术在智能驾驶***、智能监控***、军事目标检测及医学导航手术中手术器械定位等方面具有越来越高的应用价值。以在智能驾驶***为例,通过目标检测技术能够实现障碍物识别、目标跟踪,利用障碍物识别结果和目标跟踪结果动态调整汽车行驶路线,提高行驶路线的安全性和准确性。
然而,目前的目标检测方法是将检测图像输入至已训练好的目标检测模型,直接将目标检测模型的输出作为目标检测结果,这种方式存在检测精度低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高检测精度的目标检测方法、装置、计算机设备和存储介质。
一种目标检测方法,所述方法包括:
对检测图像进行目标检测,获得全局目标;
根据预设的兴趣区域确定规则,确定所述检测图像中的兴趣区域;
对所述兴趣区域对应的局部图像进行目标检测,获得局部目标;
将所述全局目标和所述局部目标进行融合处理,获得所述检测图像的最终目标。
一种目标检测装置,所述装置包括:
全局检测模块,用于对检测图像进行目标检测,获得全局目标;
区域确定模块,用于根据预设的兴趣区域确定规则,确定所述检测图像中的兴趣区域;
局部检测模块,用于对所述兴趣区域对应的局部图像进行目标检测,获得局部目标;
目标融合模块,用于将所述全局目标和所述局部目标进行融合处理,获得所述检测图像的最终目标。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对检测图像进行目标检测,获得全局目标;
根据预设的兴趣区域确定规则,确定所述检测图像中的兴趣区域;
对所述兴趣区域对应的局部图像进行目标检测,获得局部目标;
将所述全局目标和所述局部目标进行融合处理,获得所述检测图像的最终目标。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
对检测图像进行目标检测,获得全局目标;
根据预设的兴趣区域确定规则,确定所述检测图像中的兴趣区域;
对所述兴趣区域对应的局部图像进行目标检测,获得局部目标;
将所述全局目标和所述局部目标进行融合处理,获得所述检测图像的最终目标。
上述目标检测方法、装置、计算机设备和存储介质,首先对检测图像进行目标检测获得全局目标,并确定检测图像中的兴趣区域,对兴趣区域对应的局部图像再次进行目标检测,实现对兴趣区域内目标的精细化检测,并提高对兴趣区域内细小目标的检测成功率。进一步通过将全局目标和更为精细化的局部目标融合,使得最终获得的最终目标相比于全局目标更丰富、更准确,有效提高了目标检测精度。
附图说明
图1为一个实施例中目标检测方法的应用环境图;
图2为一个实施例中目标检测方法的流程示意图;
图3为一个实施例中确定兴趣区域的示意图;
图4为一个实施例中目标检测方法的流程示意图;
图5为一个实施例中目标检测装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的目标检测方法,可以应用于如图1所示的应用环境中。其中,行驶设备102作为一终端,用于执行目标检测方法的各步骤,基于该目标检测方法实现对行驶道路前方的障碍物检测、目标分类、目标跟踪等。可以理解的是,在图1中虽然仅示出了智能驾驶汽车这一类行驶设备,但在其他实施例中,行驶设备102还可以是智能机器人、动车等其他能够行驶且具有计算处理能力的设备。
此外,本申请提供的目标检测方法还可以应用于其他任何需要进行目标检测的终端或服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种目标检测方法,以该方法应用于图1中的行驶设备或者其他需进行目标检测的终端、服务器为例进行说明,包括以下步骤:
S202,对检测图像进行目标检测,获得全局目标。
其中,检测图像是指需要进行目标检测的图像,在智能驾驶中是指汽车通过图像采集设备采集到的图像。全局目标是指从整幅检测图像中检测到的所有目标集合,各目标还携带有其对应的类型、尺寸、分布坐标等目标信息。
具体地,当检测图像的尺寸与预设尺寸相同时,将检测图像输入至已训练好的目标检测模型;当检测图像的尺寸与预设尺寸不同时,将检测图像转换至预设尺寸,再将转换后的检测图像输入至已训练好的目标检测模型。基于目标检测模型的输出获得全局目标。其中,预设尺寸是指目标检测模型的输入图像尺寸。通常情况下,检测图像的尺寸与预设尺寸相同,比如在智能驾驶时的目标检测中,目标检测模型就是通过与汽车采集图像具有相同尺寸的训练图像进行训练得到的,因此在进行目标检测时,不需要对检测图像进行尺寸转换,直接将检测图像输入至目标检测模型即可。
S204,根据预设的兴趣区域确定规则,确定检测图像中的兴趣区域。
其中,兴趣区域是指用户感兴趣、或者需要着重关注的区域。以智能驾驶为例,兴趣区域可以是汽车在下一时刻可能行驶至的相关区域。
本实施例中,预先配置有ROI(region of interest,兴趣区域)确定规则,基于预设的ROI确定规则,在检测图像中确定对应的ROI,以便对ROI进行进一步精细化的目标检测。
S206,对兴趣区域对应的局部图像进行目标检测,获得局部目标。
具体地,获取兴趣区域对应的局部图像,根据已训练好的目标检测模型对局部图像再次进行目标检测,基于目标检测模型的输出获得局部目标。其中,局部目标是指从兴趣区域对应的局部图像中检测到的所有目标集合,同样地,各目标携带有其对应的类型、尺寸、分布坐标等目标信息。
为方便后续区分两次目标检测,将对检测图像进行目标检测定义为全局检测,对兴趣区域对应的局部图像进行目标检测定义为局部检测。通过单独将兴趣区域对应的局部图像作为整幅图像再次进行目标检测,提高了对局部图像中细小目标的检测成功率,相比于全局检测,能够检测出该局部图像中更多的目标,同时,还能获得更为准确的目标信息。
S208,将全局目标和局部目标进行融合处理,获得检测图像的最终目标。
融合处理实际为一种求同存异的处理,通过融合处理保留相同以及不同的目标,获得检测图像的最终目标。
上述目标检测方法,首先对检测图像进行目标检测获得全局目标,并确定检测图像中的兴趣区域,对兴趣区域对应的局部图像再次进行目标检测,实现对兴趣区域内目标的精细化检测,并提高对兴趣区域内细小目标的检测成功率。进一步通过将全局目标和更为精细化的局部目标融合,使得最终获得的最终目标相比于全局目标更丰富、更准确,有效提高了目标检测精度。
在一实施例中,目标检测方法应用于行驶设备。本实施例中,根据预设的兴趣区域确定规则,确定检测图像中的兴趣区域的步骤包括:预测行驶设备的行驶区域,确定在检测图像中的预测行驶区域;根据预测行驶区域和图像预设区域,确定检测图像中的兴趣区域。
其中,预测行驶区域是指在采集到检测图像之后,行驶设备可能行驶的区域。
在本实施例中,按照预设的预测规则,预测行驶设备在检测图像中的预测行驶区域。其中,预设规则可以是任何用于预测行驶设备的行驶区域的方法。比如,预设规则可以是按照行驶设备的转向角进行预测的方法,也可以是按照车道线进行预测的方法。
由于预测行驶区域贯穿于整幅检测图像,因此,为了根据预测行驶区域确定更小、当前更重要的兴趣区域,还需要设定一个图像预设区域,以根据预测行驶区域和图像预设区域的重叠部分来确定兴趣区域。该图像预设区域是指根据经验得到的图像中的固定位置区域,图像预设区域的确定规则包含在兴趣区域确定规则中。如图3所示,以检测图像的水平中线O为图像预设区域的中心参考线,设定一个横贯图像、高度为检测图像1/4的图像预设区域X(图3中斜线覆盖的四边形区域)。
在一实施例中,根据预测行驶区域和图像预设区域,确定检测图像中的兴趣区域的步骤包括:确定预测行驶区域和图像预设区域的交集区域;获取交集区域的外接矩形,将外接矩形内的区域作为检测图像中的兴趣区域。
继续参照图3,预测行驶区域为Y(图3中虚线之间区域),预测行驶区域Y和图像预设区域X的交集区域为Z,通过外接矩形确定方法,确定交集区域Z的外接矩形,该外接矩形内的区域(图3中阴影区域)即作为检测图像中的ROI。其中,外接矩形可以是最小外接矩形,也可以是尺寸稍大于最小外接矩形的外接矩形,在此不作限定。采用外接矩形的方式确定ROI,是为了避免交集区域附近的重要目标被遗漏,外接矩形的尺寸范围也是基于这一点来确定的。
具体地,当外接矩形为最小外接矩形时,可采用opencv提供的minAreaRect函数生成最小外接矩形。当然,也可以采用其他的外接矩形生成方法获得外接矩形。
在一实施例中,预测行驶设备的行驶区域,确定在检测图像中的预测行驶区域的步骤包括:根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定在检测图像中的预测行驶区域。
其中,转向角是指行驶设备相对于世界坐标系的行驶方向角。通常,世界坐标系以行驶设备为标准建立,比如以行驶设备的中心为原点,并规定三轴方向。在智能驾驶汽车中,世界坐标系以车身为标准建立,转向角具体为前轮相对于该世界坐标系的行驶方向角。
由于转向角在一定程度上反应了行驶设备之后的行驶方向,因此,根据行驶设备的转向角预测行驶设备的行驶方向,根据行驶设备的当前位置和预测的行驶方向,获得在世界坐标系下的初步预测区域。可以理解,当前位置和预测的行驶方向均是相对于世界坐标系而言。
进一步根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,初步预测区域在检测图像中的投影区域即为预测行驶区域。其中,外参包括图像采集设备在世界坐标系下的位置、朝向等参数,用于实现将世界坐标转换成图像采集设备坐标;内参包括图像采集设备的焦距、畸变等参数,用于实现将图像采集设备坐标转换至图像坐标。可以理解,世界坐标为世界坐标系下的坐标,图像采集设备坐标为图像采集设备坐标系下的坐标,图像坐标为图像坐标系下的坐标。在上述三个坐标系中,世界坐标系和图像采集设备坐标系为三维坐标系,其中,图像采集设备坐标系以图像采集设备为标准建立,世界坐标系通过平移、旋转可转换至图像采集设备坐标系;图像坐标系是指在成像平面建立的二维坐标系,也即检测图像的像素坐标系。
在一具体实施例中,通过图像采集设备的内参和外参,将初步预测区域中的各点投影至成像平面中确定的点,将各投影点组成的投影区域作为在检测图像中的预测行驶区域。
在另一具体实施例中,还可通过图像采集设备的内参和外参,将初步预测区域的边界线上的各点投影至成像平面中确定的点,将各投影点组成的投影边界线作为在检测图像中预测行驶区域的边界线,由预测行驶区域的边界线确定预测行驶区域。
进一步地,根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域的步骤包括:获取行驶设备的转向角;以行驶设备的当前位置为起始位置,并按照转向角预测行驶设备的行驶边界线,根据预测获得的行驶边界线确定初步预测区域。
其中,转向角可根据行驶设备上安装的转向角传感器检测获得。行驶设备的当前位置包括在采集检测图像时,行驶设备两侧的起点位置,比如,汽车的当前位置包括在采集检测图像时两侧的前轮位置。
具体地,获取转向角传感器检测到的转向角,分别以行驶设备两侧的起点位置为起始位置,按照转向角做直线,所获得的两条直线即为预测的行驶边界线,两行驶边界线之间的区域即为初步预测区域。通过利用转向角和行驶设备的当前位置预测行驶边界线,能够快速且准确地确定初步预测区域,进一步通过将初步预测区域投影至检测图像中,以获得在检查图像中的预测行驶区域。
在一实施例中,行驶设备为智能驾驶汽车,且其行驶的路面上有车道线,则预测行驶设备的行驶区域,确定在检测图像中的预测行驶区域的步骤包括以下子步骤302-308:
302,根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域。
304,获取在采集检测图像的同一时刻时,行驶设备所在路面的车道线。
图像采集设备会采集包含车道线的图像,并由车道线检测模型对该图像进行检测,获得车道线。在本实施例中,获取在采集检测图像的同一时刻时,行驶设备所在路面的车道线。
可以理解,采集包含车道线的图像的图像采集设备,与采集检测图像的图像采集设备可以为同一设备,也可以是不同设备。当为同一设备时,也即检测图像本身包含车道线时,则步骤S404获取的车道线,可以是对该检测图像进行车道线检测时所获得的车道线。
306,根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定第一投影区域,将车道线投影至检测图像,确定第二投影区域。
具体地,根据图像采集设备的内参和外参,确定初步预测区域所处坐标系与检测图像所处的图像坐标系之间的第一转换关系,以及车道线所处的坐标系与检测图像所处的图像坐标系之间的第二转换关系。利用第一转换关系将初步预测区域投影至检测图像,确定第一投影区域,第一投影区域即指初步预测区域在检测图像中的投影区域;利用第二转换关系将车道线投影至检测图像中,获得投影车道线,将投影车道线之间的车道对应图像区域作为第二投影区域。
可以理解,当车道线所处的坐标系与检测图像所处的图像坐标系为同一坐标系,则无需确定第二转换关系,直接将车道线投影至检测图像即可。
308,根据第一投影区域和第二投影区域,确定在检测图像中的预测行驶区域。
具体地,对第一投影区域和第二投影区域取并集,将并集对应的图像区域作为在检测图像中的预测行驶区域。其中,第一投影区域表示了行驶设备可能的行驶区域,第二投影区域表示了当前行驶的车道,通过将两者取并集,使得所获得预测行驶区域更符合当前路面情况,并包含更多需要重点关注的兴趣区域,使得基于该预测行驶区域确定的兴趣区域更准确。
在一实施例中,对兴趣区域对应的局部图像进行目标检测,获得局部目标的步骤包括:将兴趣区域对应的局部图像放大至预设尺寸,获得局部放大图像;对局部放大图像进行目标检测,获得局部目标。
具体地,将兴趣区域对应的局部图像放大至目标检测模型的输入图像尺寸,获得局部放大图像,将局部放大图像输入至目标检测模型,获得局部目标。由于局部放大图像相比于局部图像具有更大的尺寸,并且放大了局部图像中的细小目标,因此对局部放大图像进行局部检测所获得的局部目标,相比于在全局检测时所获得局部图像对应的目标更为丰富,这是由于某些在全局检测时未检测出的细小目标,在放大之后能够被检测出来。同时,由于目标被放大,因此使得检测得到的目标信息也更为准确。
在一实施例中,对局部放大图像进行目标检测,获得局部目标的步骤包括:对局部放大图像进行图像预处理,将图像预处理后的局部放大图像进行目标检测,获得局部目标。其中,图像预处理包括图像去雾、图像增强等。由于对局部图像进行放大处理降低了图像分辨率,通过图像预处理能够尽可能减少局部放大对图像质量造成的影响,从而提高对局部放大图像进行目标检测的精确度。
进一步地,将全局目标和局部目标进行融合处理,获得检测图像的最终目标的步骤包括:将全局目标中在兴趣区域内的目标,替换为局部目标,获得检测图像的最终目标。最终目标包括检测图像中兴趣区域内更为精细化的局部目标,以及通过全局检测获得的兴趣区域以外的其他区域的目标。
由于通过局部检测获得的局部目标还包括在全局检测时未检测出的细小目标,且局部目标所携带的目标信息相比于全局检测时兴趣区域内的目标信息更为准确,因此通过这种更新替换的方式,使得兴趣区域内的目标更为精确,进而使得最终目标相比于全局检测时所获得全局目标更为丰富和精确。
图4为一个实施例的目标检测方法的流程图,该实施例中利用转向角确定预测行驶区域。如图4所示,包括以下步骤:
S402,对检测图像进行目标检测,获得全局目标。
S404,获取行驶设备的转向角。
S406,以行驶设备的当前位置为起始位置,并按照转向角预测行驶设备的行驶边界线,根据预测获得的行驶边界线确定初步预测区域。
S408,根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定在检测图像中的预测行驶区域。
S410,确定预测行驶区域和图像预设区域的交集区域。
S412,获取交集区域的外接矩形,将外接矩形内的区域作为检测图像中的兴趣区域。
S414,将兴趣区域对应的局部图像放大至预设尺寸,获得局部放大图像。
S416,对局部放大图像进行图像预处理。图像预处理包括图像去雾、图像增强等。
S418,将图像预处理后的局部放大图像进行目标检测,获得局部目标。
S420,将全局目标中在兴趣区域内的目标,替换为局部目标,获得检测图像的最终目标。
上述目标检测方法,首先通过全局检测获得检测图像的全局目标,并根据转向角预测行驶设备的行驶边界线,获得世界坐标系下的初步预测区域,再将初步预测区域投影至检测图像确定预测行驶区域,获取预测行驶区域和图像预设区域的交集区域的外接矩形,将外接矩形内的区域作为检测图像中的兴趣区域,对兴趣区域内的局部图像放大获得局部放大图像,实现对兴趣区域内目标的精细化检测,并提高对兴趣区域内细小目标的检测成功率。进一步将全局目标中在兴趣区域内的目标替换为局部目标,使得所获得的最终目标相比于全局目标更丰富、更准确,有效提高了目标检测精度。
应该理解的是,虽然图2、4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种目标检测装置500,包括:全局检测模块502、区域确定模块504、局部检测模块506和目标融合模块508,其中:
全局检测模块502,用于对检测图像进行目标检测,获得全局目标。
区域确定模块504,用于根据预设的兴趣区域确定规则,确定检测图像中的兴趣区域。
局部检测模块506,用于对兴趣区域对应的局部图像进行目标检测,获得局部目标。
目标融合模块508,用于将全局目标和局部目标进行融合处理,获得检测图像的最终目标。
上述目标检测装置,首先对检测图像进行目标检测获得全局目标,并确定检测图像中的兴趣区域,对兴趣区域对应的局部图像再次进行目标检测,实现对兴趣区域内目标的精细化检测,并提高对兴趣区域内细小目标的检测成功率。进一步通过将全局目标和更为精细化的局部目标融合,使得最终获得的最终目标相比于全局目标更丰富、更准确,有效提高了目标检测精度。
在一实施例中,区域确定模块504包括行驶区域预测模块和区域确定子模块。其中,行驶区域预测模块,用于预测行驶设备的行驶区域,确定在检测图像中的预测行驶区域;区域确定子模块,用于根据预测行驶区域和图像预设区域,确定检测图像中的兴趣区域。
在一实施例中,行驶区域预测模块包括初步预测模块和第一投影模块。其中,初步预测模块,用于根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;第一投影模块,用于根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定在检测图像中的预测行驶区域。
在一实施例中,初步预测模块包括转向角获取模块和边界线处理模块。其中,转向角获取模块,用于获取行驶设备的转向角;边界线处理模块,用于以行驶设备的当前位置为起始位置,并按照转向角预测行驶设备的行驶边界线,根据预测获得的行驶边界线确定初步预测区域。
在一实施例中,行驶区域预测模块包括初步预测模块、车道线获取模块和、第二投影模块和预测子模块。其中,初步预测模块,用于根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;车道线获取模块,用于获取在采集检测图像的同一时刻时,行驶设备所在路面的车道线;第二投影模块,用于根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定第一投影区域,将车道线投影至检测图像,确定第二投影区域;预测子模块,用于根据第一投影区域和第二投影区域,确定在检测图像中的预测行驶区域。
在一实施例中,区域确定子模块包括交集确定模块和外接矩形处理模块。其中,交集确定模块,用于确定预测行驶区域和图像预设区域的交集区域;外接矩形处理模块,用于获取交集区域的外接矩形,将外接矩形内的区域作为检测图像中的兴趣区域。
在一实施例中,局部检测模块506包括局部放大模块和局部目标检测模块。其中,局部放大模块,用于将兴趣区域对应的局部图像放大至预设尺寸,获得局部放大图像;局部目标检测模块,用于对局部放大图像进行目标检测,获得局部目标。
在一实施例中,目标融合模块508具体用于将全局目标中在兴趣区域内的目标,替换为局部目标,获得检测图像的最终目标。
上述目标检测方法,首先通过全局检测获得检测图像的全局目标,并利用转向角或车道线确定预测行驶区域,获取预测行驶区域和图像预设区域的交集区域的外接矩形,将外接矩形内的区域作为检测图像中的兴趣区域,对兴趣区域内的局部图像放大获得局部放大图像,实现对兴趣区域内目标的精细化检测,并提高对兴趣区域内细小目标的检测成功率。进一步将全局目标中在兴趣区域内的目标替换为局部目标,使得所获得的最终目标相比于全局目标更丰富、更准确,有效提高了目标检测精度。
关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定,在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端或服务器,在一具体实施例中,终端可以是智能驾驶汽车中的行车电脑。其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
对检测图像进行目标检测,获得全局目标;
根据预设的兴趣区域确定规则,确定检测图像中的兴趣区域;
对兴趣区域对应的局部图像进行目标检测,获得局部目标;
将全局目标和局部目标进行融合处理,获得检测图像的最终目标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
预测行驶设备的行驶区域,确定在检测图像中的预测行驶区域;
根据预测行驶区域和图像预设区域,确定检测图像中的兴趣区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;
根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定在检测图像中的预测行驶区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取行驶设备的转向角;
以行驶设备的当前位置为起始位置,并按照转向角预测行驶设备的行驶边界线,根据预测获得的行驶边界线确定初步预测区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;
获取在采集检测图像的同一时刻时,行驶设备所在路面的车道线;
根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定第一投影区域,将车道线投影至检测图像,确定第二投影区域;
根据第一投影区域和第二投影区域,确定在检测图像中的预测行驶区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定预测行驶区域和图像预设区域的交集区域;
获取交集区域的外接矩形,将外接矩形内的区域作为检测图像中的兴趣区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将兴趣区域对应的局部图像放大至预设尺寸,获得局部放大图像;
对局部放大图像进行目标检测,获得局部目标;
将全局目标中在兴趣区域内的目标,替换为局部目标,获得检测图像的最终目标。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
对检测图像进行目标检测,获得全局目标;
根据预设的兴趣区域确定规则,确定检测图像中的兴趣区域;
对兴趣区域对应的局部图像进行目标检测,获得局部目标;
将全局目标和局部目标进行融合处理,获得检测图像的最终目标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
预测行驶设备的行驶区域,确定在检测图像中的预测行驶区域;
根据预测行驶区域和图像预设区域,确定检测图像中的兴趣区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;
根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定在检测图像中的预测行驶区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取行驶设备的转向角;
以行驶设备的当前位置为起始位置,并按照转向角预测行驶设备的行驶边界线,根据预测获得的行驶边界线确定初步预测区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;
获取在采集检测图像的同一时刻时,行驶设备所在路面的车道线;
根据图像采集设备的内参和外参,将初步预测区域投影至检测图像,确定第一投影区域,将车道线投影至检测图像,确定第二投影区域;
根据第一投影区域和第二投影区域,确定在检测图像中的预测行驶区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定预测行驶区域和图像预设区域的交集区域;
获取交集区域的外接矩形,将外接矩形内的区域作为检测图像中的兴趣区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将兴趣区域对应的局部图像放大至预设尺寸,获得局部放大图像;
对局部放大图像进行目标检测,获得局部目标;
将全局目标中在兴趣区域内的目标,替换为局部目标,获得检测图像的最终目标。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标检测方法,其特征在于,应用于行驶设备,所述方法包括:
对检测图像进行目标检测,获得全局目标;
预测行驶设备的行驶区域,确定在所述检测图像中的预测行驶区域;
根据所述预测行驶区域和图像预设区域两者的交集区域,确定所述检测图像中的兴趣区域;
对所述兴趣区域对应的局部图像进行目标检测,获得局部目标;
将所述全局目标和所述局部目标进行融合处理,获得所述检测图像的最终目标;
其中,所述预测行驶设备的行驶区域,确定在所述检测图像中的预测行驶区域,包括:
根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;
根据图像采集设备的内参和外参,将所述初步预测区域投影至所述检测图像,确定在所述检测图像中的预测行驶区域。
2.根据权利要求1所述的方法,其特征在于,所述根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域,包括:
获取行驶设备的转向角;
以所述行驶设备的当前位置为起始位置,并按照所述转向角预测所述行驶设备的行驶边界线,根据预测获得的所述行驶边界线确定初步预测区域。
3.根据权利要求1所述的方法,其特征在于,所述预测行驶设备的行驶区域,确定在所述检测图像中的预测行驶区域,包括:
根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;
获取在采集所述检测图像的同一时刻时,行驶设备所在路面的车道线;
根据图像采集设备的内参和外参,将所述初步预测区域投影至所述检测图像,确定第一投影区域,将所述车道线投影至所述检测图像,确定第二投影区域;
根据所述第一投影区域和所述第二投影区域,确定在所述检测图像中的预测行驶区域。
4.根据权利要求1所述的方法,其特征在于,所述根据所述预测行驶区域和图像预设区域两者的交集区域,确定所述检测图像中的兴趣区域,包括:
确定所述预测行驶区域和图像预设区域的交集区域;
获取所述交集区域的外接矩形,将所述外接矩形内的区域作为所述检测图像中的兴趣区域。
5.根据权利要求1所述的方法,其特征在于,所述对所述兴趣区域对应的局部图像进行目标检测,获得局部目标,包括:将所述兴趣区域对应的局部图像放大至预设尺寸,获得局部放大图像;对所述局部放大图像进行目标检测,获得局部目标;
所述将所述全局目标和所述局部目标进行融合处理,获得所述检测图像的最终目标,包括:将所述全局目标中在所述兴趣区域内的目标,替换为所述局部目标,获得所述检测图像的最终目标。
6.一种目标检测装置,其特征在于,应用于行驶设备,所述装置包括:
全局检测模块,用于对检测图像进行目标检测,获得全局目标;
区域确定模块,用于预测行驶设备的行驶区域,确定在所述检测图像中的预测行驶区域;根据所述预测行驶区域和图像预设区域两者的交集区域,确定所述检测图像中的兴趣区域;
局部检测模块,用于对所述兴趣区域对应的局部图像进行目标检测,获得局部目标;
目标融合模块,用于将所述全局目标和所述局部目标进行融合处理,获得所述检测图像的最终目标;
其中,所述区域确定模块还用于:
根据行驶设备的转向角预测行驶设备的行驶区域,获得初步预测区域;
根据图像采集设备的内参和外参,将所述初步预测区域投影至所述检测图像,确定在所述检测图像中的预测行驶区域。
7.根据权利要求6所述的装置,其特征在于,所述区域确定模块还用于:
获取行驶设备的转向角;以所述行驶设备的当前位置为起始位置,并按照所述转向角预测所述行驶设备的行驶边界线,根据预测获得的所述行驶边界线确定初步预测区域。
8.根据权利要求6所述的装置,其特征在于,所述区域确定模块还用于:
确定所述预测行驶区域和图像预设区域的交集区域;获取所述交集区域的外接矩形,将所述外接矩形内的区域作为所述检测图像中的兴趣区域。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811441511.1A CN111242118B (zh) | 2018-11-29 | 2018-11-29 | 目标检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811441511.1A CN111242118B (zh) | 2018-11-29 | 2018-11-29 | 目标检测方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111242118A CN111242118A (zh) | 2020-06-05 |
CN111242118B true CN111242118B (zh) | 2023-07-18 |
Family
ID=70877473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811441511.1A Active CN111242118B (zh) | 2018-11-29 | 2018-11-29 | 目标检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111242118B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693540A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种图像处理方法、装置以及智能汽车 |
CN112733678A (zh) * | 2020-12-31 | 2021-04-30 | 深兰人工智能(深圳)有限公司 | 测距方法、装置、计算机设备和存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002023126A1 (en) * | 2000-09-13 | 2002-03-21 | Bae Systems Plc | Method for establishing the position of a temporary on an object relative to know features of the object |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408708B (zh) * | 2014-10-29 | 2017-06-20 | 兰州理工大学 | 一种基于全局和局部低秩的图像显著目标检测方法 |
US10354159B2 (en) * | 2016-09-06 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network |
CN108460395B (zh) * | 2017-02-17 | 2023-04-07 | 北京三星通信技术研究有限公司 | 目标检测方法和装置以及模糊处理方法和装置 |
CN107292306A (zh) * | 2017-07-07 | 2017-10-24 | 北京小米移动软件有限公司 | 目标检测方法及装置 |
CN107358612A (zh) * | 2017-07-07 | 2017-11-17 | 东北大学 | 一种基于分形维数与高斯滤波结合的视网膜血管分割***及方法 |
-
2018
- 2018-11-29 CN CN201811441511.1A patent/CN111242118B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002023126A1 (en) * | 2000-09-13 | 2002-03-21 | Bae Systems Plc | Method for establishing the position of a temporary on an object relative to know features of the object |
Non-Patent Citations (1)
Title |
---|
基于运动区域的多目标检测;周志宇,汪亚明;计算机测量与控制(第07期);25-27 * |
Also Published As
Publication number | Publication date |
---|---|
CN111242118A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242903B (zh) | 三维数据的生成方法、装置、设备及存储介质 | |
CN110032181B (zh) | 语义地图中障碍物定位方法、装置、计算机设备和存储介质 | |
CN111797650B (zh) | 障碍物的识别方法、装置、计算机设备和存储介质 | |
EP3633539A2 (en) | Method for position detection, device, and storage medium | |
EP3950235B1 (en) | Self-propelled robot path planning method, self-propelled robot and storage medium | |
CN111160172B (zh) | 泊车位检测方法、装置、计算机设备和存储介质 | |
CN112633152B (zh) | 停车位检测方法、装置、计算机设备和存储介质 | |
CN110634153A (zh) | 目标跟踪模板更新方法、装置、计算机设备和存储介质 | |
CN111753649B (zh) | 车位检测方法、装置、计算机设备和存储介质 | |
CN111563450B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN111242118B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
JP2023027736A (ja) | 自律走行のための3次元多重客体検出装置及び方法 | |
CN115205391A (zh) | 一种三维激光雷达和视觉融合的目标预测方法 | |
KR20200076628A (ko) | 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스 | |
Song et al. | A weld feature points detection method based on improved YOLO for welding robots in strong noise environment | |
JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
US20160282876A1 (en) | Moving object controller, moving object control method, and integrated circuit | |
CN112562384B (zh) | 用于提供停车位的俯视图图像的设备和方法 | |
Ahmed et al. | Lane marking detection using LiDAR sensor | |
JP2009077022A (ja) | 運転支援システム及び車両 | |
JP2005216200A (ja) | 他車検出装置及び他車検出方法 | |
KR20220160850A (ko) | 소실점을 추정하는 방법 및 장치 | |
CN114187355A (zh) | 一种图像标定方法及装置 | |
JP2013149175A (ja) | オプティカルフロー処理装置及び表示半径マップ生成装置 | |
Wang et al. | Research on unmanned driving interface based on lidar imaging technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |