CN116071727A - 目标检测及预警方法、设备、***和介质 - Google Patents

目标检测及预警方法、设备、***和介质 Download PDF

Info

Publication number
CN116071727A
CN116071727A CN202211515628.6A CN202211515628A CN116071727A CN 116071727 A CN116071727 A CN 116071727A CN 202211515628 A CN202211515628 A CN 202211515628A CN 116071727 A CN116071727 A CN 116071727A
Authority
CN
China
Prior art keywords
information
target detection
dimensional
detection object
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211515628.6A
Other languages
English (en)
Inventor
李春柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202211515628.6A priority Critical patent/CN116071727A/zh
Publication of CN116071727A publication Critical patent/CN116071727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种目标检测及预警方法、设备、***和介质，通过训练后的神经网络模型获取单目红外采集设备采集的含目标检测对象的红外图进行目标检测，获得包含目标检测对象类别信息和三维信息，其中，目标检测对的三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。因此，本申请提供的目标检测方法实现了目标检测对象的三维检测，且在检测过程中无需借助诸如雷达等价格昂贵的三维感测设备。此外，本申请提供的目标检测方法中所采用的红外图由单目红外采集设备所采集使得目标检测方法实现的成本低，且场景适应性强，满足了智能驾驶感知***的安全可靠性要求。

Description

目标检测及预警方法、设备、***和介质
技术领域
本申请涉及智能驾驶技术领域，尤其是涉及一种目标检测及预警方法、设备、***和介质。
背景技术
随着自动驾驶行业的飞速发展，相关技术的需求也越来越迫切。在自动驾驶车辆***中，不仅需要识别目标及障碍物的类别，还需要识别目标及障碍物的位置、大小、朝向以及距离信息，为安全可靠的自动驾驶提供重要保障。普通的2D(Two Dimens iona l，二维)目标检测不能提供感知所需要的全部信息，仅能提供目标物体在二维图像中的位置和对应类别的置信度，而3D(Three Dimens iona l，三维)目标检测结合了目标物体的深度信息，能够提供目标的位置、大小和方向等空间场景信息。3D目标检测作为自动驾驶感知子***的一项重要任务，其结果的可靠性为自动驾驶后端决策层和规划层提供了重要保障。3D目标检测旨在通过多传感器数据如激光雷达、摄像头、毫米波雷达等，使得自动驾驶车辆具备检测车辆、行人、障碍物等目标的能力，保障自动驾驶行驶安全。
目前3D目标检测正处于高速发展时期，根据传感器和输入信息的不同，目前主要分为以下三类：利用激光雷达进行的点云3D目标检测；利用激光雷达和图像进行的多模态融合3D检测；利用相机进行单目或立体图像3D目标检测。
基于激光雷达或多模态融合的3D目标检测可以提供精确的3D尺寸和距离信息，但目前激光雷达的成本还是较高且对雨雪雾等恶劣天气的适应性较差，难以在自动驾驶领域规模化落地。可见光相机因成本低廉、分辨率高、技术成熟，已广泛应用到辅助驾驶领域，但其在夜间低照度黑暗、雨雾霾等场景下适应性差，难以满足自动驾驶感知***安全可靠的要求。
发明内容
为解决现有存在的技术问题，本申请提供一种低成本、场景适应性强的目标检测方法、设备及智能辅助驾驶预警方法、***和介质。
一种目标检测方法，包括：
获取单目红外采集设备采集的含目标检测对象的红外图；
采用训练好的神经网络模型对所述红外图进行目标检测，得到所述目标检测对象的类别信息和三维信息；
其中，所述三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。
一种智能辅助驾驶预警方法，包括：
获取单目红外采集设备采集的目标行驶场景中含目标检测对象的红外图，所述单目红外采集设备设置在行驶本体上；
通过所述的目标检测方法对所述红外图进行目标检测，得到所述目标检测对象的所述三维信息；
根据所述三维信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并进行相应提示一种目标检测设备，包括存储器及处理器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如所述的目标检测方法。
一种智能辅助驾驶预警***，包括单目红外采集设备、处理器以及报警设备；
所述单目红外采集设备用于采集含目标检测对象的红外图；
所述处理器在执行计算机程序时实现如所述的智能辅助驾驶预警方法；
所述报警设备用于根据所述处理器产生的提示信息进行报警。
一种计算机可读存储介质，，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的目标检测方法或如所述的智能辅助驾驶预警方法。
由上可见，本申请提供的目标检测方法，通过训练后的神经网络模型获取单目红外采集设备采集的含目标检测对象的红外图进行目标检测，获得包含目标检测对象类别信息和三维信息，其中，目标检测对的三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。因此，本申请实施例提供的目标检测方法实现了目标检测对象的三维检测，且在检测过程中无需借助诸如雷达等价格昂贵的三维感测设备。此外，本申请提供的目标检测方法中所采用的红外图由单目红外采集设备所采集，而单目红外采集设备可以在夜间低照度、黑暗、雨雾霾等场景下均能采集到目标检测对象的信息，使得依据本申请提供的目标检测方法的场景适应性强，满足了智能驾驶感知***的安全可靠性要求。
附图说明
图1为依据本申请实施例提供的目标检测方法流程示意图；
图2为基于本申请实施例提供的目标检测方法获得结果显示红外图；
图3为依据本申请实施例提供的目标检测方法流程示意图；
图4为依据本申请实施例提供的目标检测方法中获得样本红外图对应的三维标注框信息的流程示意图；
图5为含三维感测数据的三维感测坐标系的结构示意图；
图6为依据本申请实施例提供的目标检测方法中获得红外图像的像素坐标系和三维感测坐标系之间转换关系的流程示意图；
图7为依据本申请实施例提供的目标检测方法流程示意图；
图8为依据本申请实施例提供的目标检测方法流程示意图；
图9为依据本申请实施例提供的智能辅助驾驶预警方法流程示意图；
图10为依据本申请实施例提供的目标检测的结构示意图；
图11为依据本申请实施例提供的智能辅助驾驶预警***的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
为了解决上述现有技术中存在的至少部分问题，本申请实施例提供一种目标检测检测方法，应用本申请实施例提供的目标检测方法的智能辅助驾驶预警方法、目标检测设备、智能辅助驾驶预警***和计算机可读存储介质。下面将结合以下各个具体实施例对本申请提供的目标检测方法、智能辅助驾驶预警方法、目标检测设备、智能辅助驾驶预警***和计算机可读存储介质做具体介绍说明。
请参阅图1所示，其为依据本申请实施例提供的目标检测方法流程示意图。本申请实施例提供的目标检测方法应用于图10所示的目标检测设备中，其包括S02和S04，具体描述如下。
S02：获取单目红外采集设备采集的含目标检测对象的红外图。
单目红外采集设备只用一个红外摄像头对目标检测对象进行拍照或拍摄视频。含目标检测对象的红外图可以为单目红外采集设备对目标检测对象进行拍照所获得的图像。若单目红外采集设备对含目标检测对象的场景进行视频拍摄，则每一幅含目标检测对象的红外图为从红外采集设备的视频流中抽取的一帧图像。单目红外采集设备在对应的采集场景下对目标检测对象进行图像采集，其中，该采集场景下可以包括多个不同尺度的目标检测对象。在一些采集场景下，目标检测对象还包括尺度小于阈值尺度的小目标检测对象和/或被部分遮挡的目标检测对象。
如在本申请实施例提供的目标检测方法应用于如图10所示的目标检测设备时，存储器212存储有获取含目标检测对象的红外图的计算机程序指令，处理器211在执行该计算机程序指令时，实现S02。
在如在本申请实施例提供的目标检测方法应用于如图11所示的智能辅助驾驶预警***中时，通过单目红外采集设备1采集含目标检测对象的红外图像，并将红外图像发送至处理器4中，由处理器4获取该红外图，以对其进行相应的处理。
S04：采用训练好的神经网络模型对所述红外图进行目标检，得到所述目标检测对象的类别信息和三维信息。其中，所述三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。
神经网络模型为基于携带有标注信息的样本红外图进行训练的目标检测模型，其在训练的过程中学习标注信息，基于学习的结果对红外图中的目标检测对象进行检测。神经网络模型为基于训练样本数据集训练后的模型，具体的，神经网络模型在训练前期，需要借助如激光雷达等三维感测设备对训练数据集中的训练样本进行三维信息的标注。因此，本申请实施例提供的目标检测方法中的神经网络模型为借助激光雷达等三维感测设备进行训练的模型，则本申请实施例提供的目标检测方法在对目标检测对象进行检测的过程中，无需借助激光雷达等三维感测设备，而仅通过单目红外采集设备采集含目标对象的红外图，再由训练后的神经网络模型对含目标检测对象的红外图进行目标检测，便可获得目标检测对象的类别信息和三维信息。
目标检测对象的类别信息可以指目标检测对象的属性类别，如小汽车、卡车、行人以及其它物体等。目标检测对象的三维信息是可以用于表征目标检测对象体积大小的信息。在一些实施例中，目标检测对象的三维信息至少包括目标检测对象的尺寸信息、位置信息、距离学校和运动方向信息中的一项。目标检测对象的尺寸信息可以由用于在红外图中框住目标检测对象的三维检测框信息表征。通过目标检测对象的三维检测框信息可以确定目标检测对象在世界坐标系的长、宽及高的信息。其中，目标检测对象的长信息是指目标检测对象在世界坐标系中的第一坐标轴方向所对应的尺寸，目标检测对象的宽信息是指目标检测对象在世界坐标系中的第二坐标轴方向对应的尺寸，目标检测对象的高信息是指目标检测对象在世界坐标系中的第三坐标轴方向对应的尺寸。此外，所述目标检测对象的三维检测框信息还包括用于表征目标检测对象的中心点在世界坐标系中位置的中心点信息，根据用于在红外图中框住目标检测对象的三维检测框的中心点的坐标，可以确定目标检测对象的中心点在世界坐标系中的位置，即三维检测框信息中的中心点信息可以确定目标检测对象的位置信息。目标检测对象的距离信息是指单目红外采集设备在采集红外图时，目标检测对象与单目红外采集设备之间的距离。如在本申请实施例提供的目标检测方法应用于如图11所示的智能辅助驾驶预警***中时，由于单目红外采集设备安装在行驶本体的前端(如车、船等交通工具)，则目标检测对象的距离信息为目标检测对象与行驶本体之间的距离，其根据目标检测对象的中心点在单目红外采集设备对应的世界坐标系中的位置、目标检测对象的尺寸(如长、宽)以及行驶本体的尺寸(如长、宽)确定。在一些实施例提供的智能辅助驾驶预警***中，目标检测对象的距离信息是指目标检测对象与行驶本体之间的最短距离。
在如在本申请实施例提供的目标检测方法应用于如图10所示目标检测设备和/或如图11所示的智能辅助驾驶预警***中时，由处理器221和/或处理器4执行S04。
在一些实施例中，S04中的得到所述目标检测对象的类别信息和三维信息具体包括：得到携带有目标检测对象的类型信息和三维信息结果显示红外图。图2为一些实施例中提供的结果显示红外图。在结构显示红外图中，检测出的目标检测对象的类别信息如汽车Car、货车Truck以及骑着自行车的人Cyc l i st等。目检测对象的三维信息包括目标检测对象的尺寸信息、位置信息以及距离信息，其中目标检测对象的尺寸信息和位置信息由图2中的三维检测框信息表征，每一个被检测出的目标检测对象均被一个三维检测框框住，该三维检测框的长、宽、高分别表征了对应的目标检测对象的长、宽、高，且该三维检测框的中心点位置信息表征了目标检测对象在世界坐标系中的位置信息。进一步的，为了提高目标检测的精准度，三维检测框为框住对应目标检测对象的最小三维检测框。图2以目标检测对象为道路上行驶的目标对象为例，若假设道路为直线道路，则目标检测对象的长为道路延伸方向的尺度，目标检测对象的宽为道路宽度方向的尺度，而目标检测对象的高为垂直道路路面方向的尺度。从图2中可以看出，三维检测框的尺度大小与目标检测对象的尺度大小对应，即框住目标检测对象的三维检测框越大，则对应的目标检测对象的尺度也越大，反之亦然。具体的，三维检测框越高，说明对应的目标检测对象越高，三维检测框越长，说明对应的目标检测对象越长，而三维检测框越宽，则说明对应的目标检测对象也越宽。此外，在图2中，每一个目标检测对象还携带有对应的距离信息，该距离信息可以指对应的目标检测对象与单目红外采集设备所在的行驶本体之间的最短距离，例如货车Truck对应显示的距离为24.6km。
由上可见，本申请实施例提供的目标检测方法，通过训练后的神经网络模型获取单目红外采集设备采集的含目标检测对象的红外图进行目标检测，获得包含目标检测对象类别信息和三维信息，其中，目标检测对的三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。因此，本申请实施例提供的目标检测方法实现了目标检测对象的三维检测，且在检测过程中无需借助诸如雷达等价格昂贵的三维感测设备。此外，本申请实施例提供的目标检测方法中所采用的红外图由单目红外采集设备所采集，而单目红外采集设备可以在夜间低照度、黑暗、雨雾霾等场景下均能采集到目标检测对象的信息，使得依据本申请实施例提供的目标检测方法的场景适应性强，满足了智能驾驶感知***的安全可靠性要求。
在一些实施例中，所述目标检测对象的三维信息还包括所述目标检测对象的运动方向信息。目标检测对象的运动方向信息相对于行驶本体而言，其可以为相同运动方向，即目标检测对象与行驶本体的运动方向相同，也可以为反向运动方向，即目标检测对象与行驶本体的运动方向相反。在获得目标检测对象的距离信息后，再结合目标检测对象的运动方向信息，可以判断单目红外采集设备所在行驶本体与对应的目标检测对象之间的距离是否为行驶安全距离。因此本申请实施例提供的目标检测方法，可以提高行驶本体的在智能驾驶时预警的准确性和可靠性。请继续参考图2所示，在结果显示红外图中，每一个三维检测框上还携带有对应目标检测对象的运动方向信息。若三维检测框的六个表面中面向行驶本体的一个面为第一面，与第一面平行的一个面为第二面，可以在第一面上标记凸显颜色、文字或图形表示对应的目标检测对象的运动方向与行驶本体的运动方向相反，而在第二面上标记凸显颜色、文字或图形表示对应的目标检测对象的运动方向与行驶本体的运动方向相同。需要说明的是，目标检测对应的运动方向信息在结果显示红外图中体现形式不限定于上述方式。
请参阅图3所示，其为依据本申请实施例提供的目标检测方法流程示意图。在本实施例中，S02中的三维信息包括目标检测对象的距离信息，则S04进一步包括S042和S044，具体描述如下。
S042：采用训练好的神经网络模型对所述红外图进行特征提取和识别，获得所述目标检测对象的类别信息和三维检测框信息。
所述三维检测框信息用于表征所述红外图中的所述目标检测对象的三维信息，所述三维检测框的信息包括三维检测框的中心点位置信息以及长、宽、高信息。在本申请实施例提供的目标检测方法中，神经网络模型设置于如图10所示的目标检测设备的处理器211中和/或设置于如图11所示的智能辅助驾驶预警***中的处理器4中，被训练后的神经网络模型对红外图进行特征提取和识别，获得红外图中目标检测对象的类别信息和三维检测框信息，图11中的显示设备3根据神经网络模型输出的类别信息和三维检测框信息，显示携带有类别信息和三维标注框的结果显示红外图。处理器211和/或处理器4中的数据处理模块进一步根据三维检测框的中心点在单目红外采集设备对应的世界坐标系中的位置、长以及宽确定目标检测对象的距离信息，还进一步根据行驶本体的长、宽尺寸以及单目红外采集设备在行驶本体上安装的位置信息，确定目标检测对象相对于行驶本体的距离信息。三维检测框的中心点与对应的目标检测对象的中心点为相应的位置，三维检测框的长、宽、高分别表征了对应的目标检测对象的长、宽与高。
S044：根据所述三维检测框信息确定所述目标检测对象的尺寸信息和位置信息，并根据所述目标检测对象的所述位置信息和所述尺寸信息确定所述目标检测对象与所述单目红外采集设备之间的距离信息。
若三维检测框的中心点在上述世界坐标系的三维坐标为(x1,y1,z1)，且该三维检测框在上述世界坐标系中的长为L1，宽为W1。则x1表示目标检测对象距单目红外采集设备的横向距离，y1表示目标检测对象距单目红外采集设备的纵向距离。纵向距离和三维检测框的长为世界坐标系的第一坐标轴方向对应的值，横向距离和三维检测框的宽为世界坐标系下第二坐标轴方向对应的值。若目标检测对象为直线道路上行驶的对象，则世界坐标系的第一坐标轴为目标检测对象行驶方向上对应的轴，世界坐标系的第二坐标轴为直线道路的宽度方向对应的轴。由于三维检测框的中心点对应目标检测对象的中心点，在一些实施例中，目标检测对象的距离信息为目标检测对象距单目红外采集设备的最短距离，则根据上述定义，目标对象距单目红外采集设备的最短距离可x1、y1、L1以及W1仅处理器211和/或4进行计算获得。而三维检测框的中心点、长、宽在世界坐标系下对应的值可以分别根据三维检测框在结果显示红外图中的中心点、长、宽，基于结果显示红外图的像素坐标系与世界坐标系的转换关系获得，结果显示红外图的像素坐标系即为红外图的像素坐标系。请参阅图4所示，其为依据本申请实施例提供的目标检测方法中获得三维标注框信息的流程示意图。本实施例提供的目标检测方法在进行S04之前，还进一步包括获取神经网络模型的上述训练样本数据集。具体的，获取上述训练样本数据集的具体步骤包括S032、S034以及S036，各个步骤的描述如下。
S032：确定同一场景下所述目标检测对象对应的所述样本红外图和三维感测数据，所述三维感测数据包括三维感测设备对所述目标检测对象进行感测所获得的距离数据。
同一场景包括同一采集视角、同一采集时间以及同一背景。三维感测设备、单目红外采集设备在同一采集视角及同一采集时间分别对同一背景下的目标检测对象进行图像采集、三维感测，获得对应的含目标检测对象的样本红外图和目标检测对象的三维感测数据。三维感测数据包括目标检测对象的距离数据，还进一步包括目标检测对象的三维数据。目标检测对象的三维数据为表征目标检测对象三维信息的数据。
以单目红外采集设备为单目红外相机，三维感测设备为激光雷达为例，前者采集样本红外图的帧率为30Hz，激光雷达对目标检测对象进行三维感测对应的帧率为10Hz。可以采用时间软同步方法获取激光雷达和单目红外相机时间差小于100ms的数据作为同一帧数据，即同一场景下所述目标检测对象对应的所述样本红外图和三维感测数据。
S034：在所述三维感测数据所在的三维感测坐标系中，根据所述距离数据，确定用于框住所述目标检测对象的参考三维标注框信息。
含三维感测数据的三维感测坐标系的结构示意图如图5所示，根据三维感测数据中的距离数据，可以确定目标检测对象的三维信息，根据目标检测对象的三维信息，确定在三维感测坐标系中用于框住目标检测对象的参考三维标注框信息。具体的，在一些实施例中，参考三维标注框信息包括参考三维标注框中心点信息以及长、宽、高信息。进一步的，还可以在三维感测坐标系中，对目标检测对象的类别信息进行参考标注。在其它实施例中，目标检测对象的类别信息也可以直接在样本红外图中进行标注。
S036：根据所述三维感测坐标系和所述样本红外图对应的像素坐标系之间的转换关系以及所述参考三维标注框信息，对所述样本红外图进行标注，获得携带有所述三维标注框信息的所述样本红外图，以构成所述训练样本数据集。。
在确定三维感测坐标系和样本红外图的像素坐标系之间的转换关系后，可以将在三维感测坐标系中的确定的参考三维标注框信息映射至样本红外图像对应的像素坐标系中，以确定样本红外图中的目标检测对象的三维标注框信息。例如，在一些实施例中，可以将参考三维标注框映射至样本红外图像上，形成框住样本红外图像中的目标检测对象的三维标注框，即样本红外图像中的标注信息包括三维标注框信息，该三维标注框与三维感测坐标系中的参考三维标注框为在不同坐标系下的同一标注框，即二者在不同坐标系框住的为同一目标检测对象。
在一些实施例中，所述参考三维标注框信息包括参考三维标注框的中心点信息以及所述参考三维标注框的长、宽、高信息。其中，所述参考三维标注框的中心点信息用于表征所述目标检测对象的位置信息，而所述参考三维标注框的长、宽、高信息用于表征所述目标检测对象的尺寸信息。因此，基于参考三维标注框映射而得的三维标注框也可以标注目标检测对象的尺寸信息和位置信息。
在一些实施例中，所述标注信息还包括所述样本红外图中所述目标检测对象的二维标注信息，所述目标检测方法还进一步包括：根据所述参考三维标注框的中心点信息以及所述三维标注框的长、宽、高信息，确定二维标注框信息。学习所述样本红外图中所述目标检测对象的所述二维标注框信息和所述三维标注框信息，并根据对所述二维标注框信息学习的结果修正对所述三维标注框信息学习的结果。具体的，所述神经网络模型包括二维检测模块和三维检测模块，其中，所述二维检测模块用于学习所述样本红外图中所述目标检测对象的所述二维标注框信息，所述三维检测模块用于学习所述样本红外图中所述目标检测对象的所述三维标注框信息，并根据对所述二维标注框信息学习的结果修正对所述三维标注框信息学习的结果。
在获得样本红外图像的三维标注框信息后，可以根据样本红外图的三维标注框信息确定二维标注框信息。在一些实施例中，样本红外图上标记有二维标注框，对应的三维标注框和二维标注框在样本红外图上标注的为相同的目标检测对象。例如三维目标检测框的中心点在三维感测标系中对应的中心点为(x0,y0,z0)，三维目标检测框的中心点在三维感测标系中对应长、宽、高分别为L0、W0、H0，则三维目标检测框对应的二维目标检测框的中心点在样本红外图中对应的中心点为(x0`,y0`),三维目标检测框对应的二维目标检测框的中心点在样本红外图中对应的宽、高分别为W0`、H0`,其中，(x0`,y0`)根据(x0,y0,z0)及S036中的转换关系获得，W0`根据W0及S036中的转换关系获得，H0`根据H0及S036中的转换关系获得。
在本实施例中，在神经网络模型训练的过程中，二维检测模块基于二维标注框信息的学习结果去修正，三维检测模块基于三维标注框信息的学习结果，可以进一步提高神经网络模型对目标检测对象的三维检测的准确性。
在一些实施例中，所述标注信息还包括所述目标检测对象的运动方向标注信息，所述三维感测设备为雷达，所述三维感测数据还包括所述雷达对所述目标检测对象进行感测获得的偏航角数据，则所述目标检测方法还包括：在所述三维感测数据所在的三维感测坐标系中，根据所述偏航角数据，获得所述运动方向标注信息。图5所示的三维感测坐标系中未显示偏航角数据θ的标记，该偏航角数据表征了对应的目标检测对象的运动方向，因此基于该偏航角数据在三维感测坐标系中所表示的运动方向，在对应的样本红外图携带的标注信息中添加目标检测对象的运动方向信息，使得神经网络模型在训练的过程中，可以学习到目标检测对象的运动方向的判断，从而可以在对红外图进行目标检测时，确定目标检测对象的运动方向。
在一些实施例中，所述标注信息还包括所述样本红外图中的所述目标检测对象被遮挡的程度，使得神经网络模型在训练的过程中，可以学习到对被遮挡的目标检测对象的识别以及学习被遮挡的目标检测对象对应的遮挡程度，从而可以在对红外图进行目标检测时，获得被部分遮挡的目标检测对象的类别信息、三维下以及被遮挡程度信息。
请参阅图6所示，其为依据本申请实施例提供的目标检测方法中获得红外图像的像素坐标系和三维感测坐标系之间转换关系的流程示意图。本实施例提供的目标检测方法在进行S036之前，所述目标检测方法还包括S0351、S0353、S0355以及S0357，具体描述如下。
S0351：根据所述单目红外采集设备和所述三维感测设备的联合标定，确定所述三维感测设备到所述单目红外采集设备的外参转换矩阵。
三维感测设备为可以获得目标检测对象三维信息的感测设备，目标检测对象的三维信息包括目标检测对象的距离信息和运动方向信息，其可以为激光雷达或双目相机。利用过三维感测设备对单目红外采集设备采集的红外图进行联合标定，可以获三维感测设备到单目红外采集设备的外参转换矩阵。
本实施例中的三维感测设备以激光雷达为例，基于激光雷达和单目红外采集设备的联合标定，确定红外采集设备的外参转换矩阵的过程如下。
可以采用黑白棋盘标定的方式对激光雷达和单目红外采集设备进行联合标定，具体为采用加热棋盘格作为标定板，对棋盘格中黑白格子进行不同温度的加热，使黑白格子在红外图像中具有更强的对比度。在标定板表面设置涂层，使激光雷达在黑白格子上的反射率不一致。使用标定工具箱对激光雷达和单目红外采集设备进行联合标定，得到激光雷达到单目红外采集设备的外参转换矩阵[R,T]，其中R为旋转外参，T为平移外参。
假设在激光雷达坐标系(对应上述的三维感测坐标系)中的点PL(XL,YL,ZL)，通过联合标定的外参矩阵[R,T]将激光雷达坐标系中的点PL(XL,YL,ZL)转换到单目红外采集设备坐标系中的点PC(XC,YC,ZC)之间的第一转换公式如公式如下所示：
Figure BDA0003967947330000121
其中[R,T]为外参转换矩阵。
将单目红外采集设备坐标系中的点PC(XC,YC,ZC)转换到其对应的图像坐标系中点P(x,y)的第三转公式如下：
Figure BDA0003967947330000131
其中ZC单目红外采集设备坐标系到对应的图像坐标系的缩放尺度。
将图像坐标系中点P(x,y)转换到像素坐标系点P(u,v)对应的第四转换公式如下：
Figure BDA0003967947330000132
则根据上述第三转换关系和第四转换关系，可以得到单目红外采集设备坐标系中点PC(XC,YC,ZC)转换到像素坐标系点P(u,v)对应的第二转换公式如下：
Figure BDA0003967947330000133
其中，K为内参标定矩阵，fx、fy分别为单目红外采集设备在x轴、y轴方向对的焦距，(u0,v0)为单目红外采集设备对应的主点坐标。所以最终雷达坐标系中点PL(XL,YL,ZL)到像素坐标系中点P(u,v)的第三转换关系如下：
Figure BDA0003967947330000134
在将激光雷达与单目红外采集设备进行联合标定时，可以获得多对激光雷达坐标系中的标定点和像素坐标系下中的对应的标定点，以代入上述第三转换关系，确定外参矩阵[R,T]。则在确定内参矩阵K和外参矩阵[R,T]后，便可根据上述第三转换关系，将激光雷达坐标系中任意一点转换到像素坐标系中。
S0353：根据所述外参转换矩阵，确定所述单目红外采集设备坐标系和所述三维感测坐标系之间的第一转换关系。
在获得上述外参转换矩阵后，便可确定上述第一转换关系。
S0355：根据所述第一转换关系以及所述红外采集设备坐标系与所述样本红外图的像素坐标系之间的第二转换关系。
S0357：确定所述单目红外采集设备坐标系和所述三维感测坐标系之间的第三转换关系。
根据上述第三转换关系和第四转换关系，可以确定上述第二转换关系，根据上述第一转换关系和上述第二转换关系，便可确定单目红外采集设备和激光雷达坐标系(三维感测坐标系)中的第三转关系，也即上述S036中的转换关系。
请继续参阅图6所示，在本实施例中，上述S0355进一步包括：将所述红外采集设备的内参标定矩阵中的对应元素分别叠加对应偏移量，获得带偏移量内参矩阵。根据所述带偏移量内参矩阵，确定所述第二转换关系。其中，在对所述内参标定矩阵中的各个元素在所述神经网络模型训练的过程中均固定，各个所述对应偏移量为所述神经网络模型的训练参数。
在依据本申请实施例提供的目标检测方法应用于智能驾驶中时时，除了要确保神经网络模型的检测精度外，还需要考虑平台算了的问题，使模型兼顾精度和效率的双重指标。本申请实施例提供的神经网络模型中的主干网络可以使用ResNet34，通过神经网络模型直接回归目标检测对象的关键点和标注信息中的三维标注框信息，以实现目标检测对象的三维信息和运动方向信息的检测。依据本申请实施提供的目标检测方法中神经网络模型除了要获取目标检测对象三维信息和运动方向信息之外，还要获取目标检测对象的距离，而目标检测对象的距离信息的获取与单目红外采集设备的焦距有较大的关联，为了使得神经网络模型能够更精准的学习到目标检测对象的距离信息，在含目标检测对象的样本红外图送入神经网络模型进行训练前，需要先对样本红外图进行一些处理，该处理具体为对单目红外采集设备的内参进行偏移量叠加设置。在确定单目红外采集设备的分辨率为、焦距为以及像元尺寸后，理想情况下的内参矩阵应为固定的值的内参标定矩阵K1。然而，因为单目红外采集设备在制作工程中一些电子元器件、镜头等硬件设备的影响，使标定得到的内参标定矩阵K1与理想情况下有一些误差，单目红外采集设备因为其成像的特殊性，同一型号的单目红外采集设备的内参标定矩阵也会有较大差距，如果不进行校正，训练得到的神经网络模型在对其他单目红外采集设备采集的红外图进行目标检测时，泛化性较差，不易于工程化落地。因此，在本申请实施例提供的目标检测方法中，在对神经网络模型进行训练时将单目红外采集设备的内参标定矩阵中的参数也作为神经网络模型的一部分对神经网络模型学习的目标检测对象的距离信息进行校正，通过校正之后的距离信息更为准确。本申请实施例，将单目红外采集设备的内参标定矩阵中的参数也作为神经网络模型的训练参数的一部分的具体实现过程为，将单目红外采集设备标定的内参标定矩阵K1中的各个元素叠加对应的偏移量，获得内参偏移量矩阵K2，并以K2代替上述第二转换公式和第三转换公式中的内参标定矩阵K，则K2在神经网络模型训练的过程中，会作为训练参数被调整。下面将结合具体的参量表示，对S03551及S03553进行详细说明。
假设物体在单目红外采集设备坐标系下三维中心点的坐标为[x,y,z]T，该三维中心点投影到样本红外图上点为[xc,yc]T，若单目红外采集设备的标定内参矩阵为K1，则该三维中心点到样本红外图中对应的二维中心点的投影关系如下：
Figure BDA0003967947330000151
在本实施例中，将K1中的各个元素分别对应的偏移量δfx,δfy,δu0,δv0，这几个偏移量分别别表示红单目红外采集设备在x轴方向焦距、y轴方向焦距、x轴方向主点、y轴方向主点的偏移量。则在叠加偏移量后，上述投影关系变为如下转换公式所示：
Figure BDA0003967947330000152
上述转换公式中K2为单目红外采集设备的标定内参标定矩阵K1进行偏移量叠加后获得内参偏移量矩阵，将上述第二转换关系和第三转换关系中的K替换为K2，通过这种方法能解决因为不同单目采集设备的标定内参矩阵偏差带来的目标检测对象的距离信息估计相差较大的问题，平均不同单目红外采集设备对应的距离信息的误差，避免因为单目红外采集设备焦距和主点的偏差造成单目红外采集设备与目标检测对象之间的距离信息估计泛化性差的问题。
请参阅图7所示，其为依据本申请实施例提供的目标检测方法流程示意图。本实施例提供的目标检测方法在进行S04之前，还进一步包括S038，具体描述如下。
S038：利用训练样本数据集对所述神经网络模型进行训练，所述训练样本数据集由携带有标注信息的样本红外图构成，所述标注信息包括所述样本红外图中的所述目标检测对象的类别标注信息和三维标注框信息。
在根据上述方法获得样本样本红外图携带的标注信息后，基于携带标注信息的样本红外图对神经网络模型进行训练。其中标注信息可以直接在样本样本红外图中进行标记。在一些实施例中，样本红外图为标记有三维标注框、目标检测对象的类别标注信息、运动方向标注信息的样本图。
在一些实施例中，在采用基于训练样本集训练好的神经网络模型对含目标检测对象的红外图进行目标检测，以获得目标检测对象的类别信息和三维信息之前，目标检测方法还包括获取训练样本集，并采用训练样本集对神经网络模型进行训练。其中，在一些实施例中，该步骤具体包括如下步骤：
首先，对单目红外采集设备和三维感测设备进行联合标定，以确定红外采集设备采集的红外图的像素坐标系和三维感测设备坐标系之间的转换关系。
然后，利用单目红外采集设备和三维感测设备，在同一场景下分别获取目标检测对象对应的红外样本图和三维感测数据。
接着，基于同一帧的红外样本图和三维感测数据，结合红外采集设备采集的红外图的像素坐标系和三维感测设备坐标系之间的转换关系，对每个红外样本图中的目标检测对象进行标注，获得携带标注信息的红外样本图。其中，标注信息包括目标检测对象的类别标注信息和三维标注框信息。在样本红外图中标注目标检测对象的三维标注框信息的具体过程为：先在三维感测坐标系中，基于三维感测数据中的距离数据，确定目标检测对象的参考三维标注框信息，然后基于红外采集设备采集的红外图的像素坐标系和三维感测设备坐标系之间的转换关系，将参考三维标注框的信息映射至样本红外图中，获得三维标注框信息。此外，在本实施例中，样本红外图携带的标注信息还包括目标检测对象的运动方向标注信息。在样本红外图中标注该运动方向标注信息的过程为：基于三维感测数据中的偏航角数据，确定目标检测对象的运动方向，并在对应的样本红外图中对目标检测对象的运动方向进行标注。
最后，以携带有标注信息的样本红外图作为训练样本，构成训练数据集，并采用该训练数据集对神经网络模型进行训训练。在一些实施例中，在获取样本红外图后，在对样本红外图进行标注之前或之后，且在将样本红外图输入至神经网络模型进行训练之前，对样本红外图进行细节增强和畸变矫正处理，以对样本红外图进行细节增强和对比度调整，获取样本红外图中目标检测对象的丰富细节信息、目使得目标检测对象在样本红外图中更加凸显。进行细节增强和畸变矫正后且携带标注信息的样本红外图像，在对神经网络模型进行训练时，更有利于神经网络模型在深度学习中获取目标检测对象的三维信息。
请参阅图8所示，其为依据本申请实施例提供的目标检测方法流程示意图。本实施例提供的目标检测方法在进行S04之前，还进一步包括S031，具体描述如下。
S031：对所述红外图进行细节增强和畸变矫正处理。
由于单目红外采集设备仅靠物体表面温度得到含目标检测对象的红外图，因而该红外图缺乏丰富的色彩信息，不利于目标检测对象的三维检测。因此，在本实施例提供的目标检测方法中，在将红外图输入至目标检测网络模型进行目标检测之前，对红外图进行预处理，以增强红外图中的目标检测对象的信息。具体的，对红外图进行预处理包括对红外图进行细节增强和畸变矫正处理，以对红外图进行细节增强和对比度调整，获取目标检测对象的丰富细节信息、目使得目标检测对象在红外图中更加凸显。进行预处理后红外图在被神经网络模型进行目标检测时，具有更高的检测精度。
本申请提供的目标检测方法，通过单目红外采集设备获取含目标检测对象的红外图，在采用训练后的神经网络模型对红外图进行目标检测，获得目标检测对象的类别信息、尺寸信息、位置信息、距离信息以及运动方向信息，可应用于智能驾驶预警***中，实现更精准距离预警，为安全的自动驾驶提供重要保障。在目标检测过程中，无需利用其它价格安贵的传感器获取目标检测对象的三维信息，仅通过单目红外采集设备采集红外图进行目标检测，有效的降低了目标检测的成本。且单目红外采集设备在夜间可以获得目标检测对象的信息，使得本申请实施例提供的目标检测方法可以适应于夜间场景，适应性强。另外，在一些实施例中，在对红外图进行目标检测之前，针对低分辨率、缺乏色彩信息的红外图像，进行了细节和对比度增强处理，使障碍物目标检测对象在神经网络模型中更容易被检出，实现全天时、全天候、全场景的障碍物检测，有利于加强智能辅助驾驶预警***的预警性能。在一些实施例中，本申请实施例提供的目标检测方法中将单目红外采集设备的标定内参叠加偏移量后获得的内参偏移量矩阵加入到神经网络模型中进行训练，以作为神经网络模型的训练参数的一部分，可降低不同单目红外采集设备的标定内参偏差对目标检测对象的距离信息检测的不利影响，解决了不同单目红外采集设备得到目标距离信息误差相差较大的问题，平均各个单目红外采集设备的目标距离的误差，更易于工程化落地。最后，本申请基于训练后的神经网络模型对红外图进行目标检测检测，针对应用场景的丰富性、复杂性，此神经网络模型后期可在线升级，直至满足所有应用场景需求。
请参阅图9所示，其为依据本申请实施例提供的智能辅助驾驶预警方法流程示意图，其包括S22、S24以及S26，具体描述如下。
S22:获取单目红外采集设备采集的目标行驶场景中含目标检测对象的红外图，所述单目红外采集设备设置在行驶本体上。
目标驾驶场景是指单目红外采集设备安装的行驶本体在行驶过程中需要关注的场景。
S24:通过依据本申请任意一项实施例提供所述的目标检测方法对所述红外图进行目标检测，得到所述目标检测对象的所述三维信息。
由于上述对本申请实施例提供的目标检测方法做了详细说明，在此不再累述。
S26:根据所述三维信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并进行相应提示。
将三维信息中的距离信息与对应的预警距离阈值进行比较，便可判断行驶主体与目标检测对象之间是否存在碰撞风险，若有，则产生距离过近的报警提示信息。
进一步的，为了提高距离过近预警的准确度，S26可以具体为根据三维信息中的所述距离信息和所述运动方向信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并产生相应的提示信息。其中，所述距离信息包括所述目标检测对象与所述单目红外采集设备之间的横向距离和纵向距离，则根据所述距离信息和所述运动方向信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并产生相应的提示信息，进一步包括：在所述运动方向为同向时，若所述横向距离小于第一横向阈值，且所述纵向距离小于第一纵向阈值，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息。
在一些实施例中，则根据所述距离信息和所述运动方向信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并产生相应的提示信息，也可进一步包括：在所述运动方向为同向时，若所述横向距离大于所述第一横向阈值并小于第二横向阈值，且所述横向距离随驾驶时间延长和减小，且所述纵向距离小于第二纵向阈值时，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息。
在一些实施例中，则根据所述距离信息和所述运动方向信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并产生相应的提示信息，还可进一步包括：在所述运动方向为反相时，若所述横向距离小于第三横向阈值，且所述纵向距离小于第三纵向阈值，以及所述纵向距离随驾驶时间延长而减小，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息。
上述实施例提供的智能辅助驾驶预警方法在实现预警过程中达到的技术效果与本申请实施例提供的目标检测方法能够达到相同的技术效果，为避免重复，这里不再赘述。
请参阅图10所示，其为依据本申请实施例提供的目标检测设备的结构示意图。在本实施例中，目标检测设备包括处理器211及存储器212，所述存储器212内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本申请任一实施例所述的目标检测方法，目标检测设备与前述实施例提供的目标检测方法能够达到相同的技术效果，为避免重复，这里不再赘述。
请参阅图11所示，其为依据本申请实施例提供的一种智能辅助驾驶预警***的结构示意图，其包括单目红外采集设备1、处理器4以及报警设备2。单目红外采集设备1用于采集含目标检测对象的红外图。处理器4在执行计算机程序时实现依据本申请任意一实施例中提供智能辅助驾驶预警方法。报警设备2用于根据处理器4产生的提示信息进行报警。
请继续参阅图11所示，在一些实施例中，智能辅助驾驶预警***还包括显示设备3。显示设备3用于与处理器4连接，以根据处理器4获得目标检测对象的类别信息及三维信息，显示含所述目标检测对象的结果显示红外图，所述结果显示红外图中标记有所述目标检测对象的类别、框住所述目标检测对象的三维检测框以及所述目标检测对象与所述单目红外采集设备之间距离。具体的，显示设备4显示的结果显示红外图如图2所示，结果显示红外图中显示有三维检测框、类别以及在三维检测框携带有所述目标检测对象相对于所述单目红外采集设备的运动方向信息。
上述实施例提供的智能辅助驾驶预警***在实现预警过程中达到的技术效果与本申请实施例提供的智能辅助驾驶预警方法能够达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述目标检测方法和/或智能辅助驾驶预警方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。所述计算机可读存储介质，如只读存储器(Read-On lyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种目标检测方法，其特征在于，包括：
获取单目红外采集设备采集的含目标检测对象的红外图；
采用训练好的神经网络模型对所述红外图进行目标检测，得到所述目标检测对象的类别信息和三维信息；
其中，所述三维信息包括目标检测对象的尺寸信息、位置信息、距离信息和运动方向信息中的至少一项。
2.根据权利要求1所述目标检测方法，其特征在于，所述采用训练好的神经网络模型对所述红外图进行目标检测，得到所述目标检测对象的类别信息和三维信息，包括：
采用训练好的神经网络模型对所述红外图进行特征提取和识别，获得所述目标检测对象的类别信息和三维检测框信息；
根据所述三维检测框信息确定所述目标检测对象的尺寸信息和位置信息，并根据所述目标检测对象的所述位置信息和所述尺寸信息确定所述目标检测对象与所述单目红外采集设备之间的距离信息。
3.根据权利要求1所述目标检测方法，其特征在于，所述在采用训练好的神经网络模型对所述红外图进行目标检测之前，所述目标检测方法还包括：
利用训练样本数据集对所述神经网络模型进行训练，所述训练样本数据集由携带有标注信息的样本红外图构成，所述标注信息包括所述样本红外图中的所述目标检测对象的类别标注信息和三维标注框信息。
4.根据权利要求3所述目标检测方法，其特征在于，在所述利用训练样本数据集对所述神经网络模型进行训练之前，所述目标检测方法还包括：
确定同一场景下所述目标检测对象对应的所述样本红外图和三维感测数据，所述三维感测数据包括三维感测设备对所述目标检测对象进行感测所获得的距离数据；
在所述三维感测数据所在的三维感测坐标系中，根据所述距离数据，确定用于框住所述目标检测对象的参考三维标注框信息；
根据所述三维感测坐标系和所述样本红外图所在的像素坐标系之间的转换关系以及所述参考三维标注框信息，对所述样本红外图进行标注，获得携带有所述三维标注框信息的所述样本红外图，以构成所述训练样本数据集。
5.根据权利要求4所述目标检测方法，其特征在于，所述参考三维标注框信息包括参考三维标注框的中心点信息以及所述参考三维标注框的长、宽、高信息，所述参考三维标注框的中心点信息用于表征所述目标检测对象的位置信息，所述参考三维标注框的长、宽、高信息用于表征所述目标检测对象的尺寸信息。
6.根据权利要求5所述目标检测方法，其特征在于，所述标注信息还包括所述样本红外图中所述目标检测对象的二维标注框信息，所述目标检测方法还包括：
根据所述参考三维标注框的中心点信息以及所述参考三维标注框的长、宽、高信息，确定所述二维标注框的信息；
学习所述样本红外图中所述目标检测对象的所述二维标注框信息和所述三维标注框信息，并根据对所述二维标注框信息学习的结果修正对所述三维标注框信息学习的结果。
7.根据权利要求4所述目标检测方法，其特征在于，所述标注信息还包括所述目标检测对象的运动方向标注信息，所述三维感测设备为雷达，所述三维感测数据还包括所述雷达对所述目标检测对象进行感测获得的偏航角数据；
所述目标检测方法还包括：
在所述三维感测数据所在的三维感测坐标系中，根据所述偏航角数据，获得所述运动方向标注信息。
8.根据权利要求4所述目标检测方法，其特征在于，在所述根据所述三维感测坐标系和所述样本红外图所在的像素坐标系之间的转换关系以及所述参考三维标注框信息，对所述样本红外图进行标注，获得携带有所述三维标注框信息的所述样本红外图，以构成所述训练样本数据集之前，所述目标检测方法还包括：
通过对所述单目红外采集设备和所述三维感测设备进行联合标定，确定所述三维感测设备到所述单目红外采集设备的外参转换矩阵；
根据所述外参转换矩阵，确定所述单目红外采集设备坐标系和所述三维感测设备坐标系之间的第一转换关系；
根据内参标定矩阵，确定所述单目红外采集设备坐标系与所述样本红外图的像素坐标系之间的第二转换关系；
根据所述第一转换关系以及所述第二转换关系，确定所述三维感测设备坐标系与所述像素坐标系之间的第三转换关系。
9.根据权利要求8所述目标检测方法，其特征在于，所述根据内参标定矩阵，确定所述单目红外采集设备坐标系与所述样本红外图的像素坐标系之间的第二转换关系，包括：
将所述单目红外采集设备的所述内参标定矩阵中的对应元素分别叠加对应偏移量，获得带偏移量内参矩阵；
根据所述带偏移量内参矩阵，确定所述单目红外采集设备坐标系与所述样本红外图所在的像素坐标系之间的所述第二转换关系；
其中，在对所述内参矩阵中的各个元素在所述神经网络模型训练的过程中均固定，各个所述对应偏移量为所述神经网络模型的训练参数。
10.一种智能辅助驾驶预警方法，其特征在于，包括：
获取单目红外采集设备采集的目标行驶场景中含目标检测对象的红外图，所述单目红外采集设备设置在行驶本体上；
通过如权利要求1至9中任一项所述的目标检测方法对所述红外图进行目标检测，得到所述目标检测对象的所述三维信息；
根据所述三维信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并进行相应提示。
11.根据权利要求10所述的智能辅助驾驶预警方法，其特征在于，所述三维信息包括距离信息和运动方向信息，所述距离信息包括所述目标检测对象与所述单目红外采集设备之间的横向距离和纵向距离，所述根据所述三维信息，判定所述行驶本体与所述目标检测对象之间是否存在碰撞风险，并进行相应提示，包括：
在所述运动方向信息为同向运动时，若所述横向距离小于第一横向阈值，且所述纵向距离小于第一纵向阈值，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息；和/或，
在所述运动方向信息为同向运动时，若所述横向距离大于所述第一横向阈值并小于第二横向阈值，且所述横向距离随驾驶时间延长和减小，且所述纵向距离小于第二纵向阈值时，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息；和/或，
在所述运动方向信息为反向运动时，若所述横向距离小于第三横向阈值，且所述纵向距离小于第三纵向阈值，以及所述纵向距离随驾驶时间延长而减小，则判定所述行驶本体与所述目标检测对象之间存在碰撞风险，并产生预警提示信息。
12.一种目标检测设备，其特征在于，包括存储器及处理器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的目标检测方法。
13.一种智能辅助驾驶预警***，其特征在于，包括单目红外采集设备、处理器以及报警设备；
所述单目红外采集设备用于采集含目标检测对象的红外图；
所述处理器在执行计算机程序时实现如权利要求10至11中任一项所述的智能辅助驾驶预警方法；
所述报警设备用于根据所述处理器产生的提示信息进行报警。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的目标检测方法或如权利要求10至11中任一项所述的智能辅助驾驶预警方法。
CN202211515628.6A 2022-11-28 2022-11-28 目标检测及预警方法、设备、***和介质 Pending CN116071727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211515628.6A CN116071727A (zh) 2022-11-28 2022-11-28 目标检测及预警方法、设备、***和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211515628.6A CN116071727A (zh) 2022-11-28 2022-11-28 目标检测及预警方法、设备、***和介质

Publications (1)

Publication Number Publication Date
CN116071727A true CN116071727A (zh) 2023-05-05

Family

ID=86170706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211515628.6A Pending CN116071727A (zh) 2022-11-28 2022-11-28 目标检测及预警方法、设备、***和介质

Country Status (1)

Country Link
CN (1) CN116071727A (zh)

Similar Documents

Publication Publication Date Title
US20220207776A1 (en) Disparity image fusion method for multiband stereo cameras
CN110363820B (zh) 一种基于激光雷达、图像前融合的目标检测方法
CN106228110B (zh) 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN110745140B (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
CN110910453B (zh) 基于无重叠视域多相机***的车辆位姿估计方法及其***
CN110738121A (zh) 一种前方车辆检测方法及检测***
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距***及方法
KR20200001471A (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2019208101A1 (ja) 位置推定装置
Zhang et al. Robust inverse perspective mapping based on vanishing point
CN111443704B (zh) 用于自动驾驶***的障碍物定位方法及装置
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
CN112232275A (zh) 基于双目识别的障碍物检测方法、***、设备及存储介质
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、***和介质
CN114295099B (zh) 基于单目摄像头的测距方法、车载测距设备以及存储介质
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及***
CN111612818A (zh) 新型双目视觉多目标跟踪方法及***
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN112529011A (zh) 目标检测方法及相关装置
CN116665166A (zh) 一种适用于不平坦路面场景的智能车辆3d目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination