CN107452230B - 一种障碍物检测方法、装置、终端设备及存储介质 - Google Patents

一种障碍物检测方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN107452230B
CN107452230B CN201710632610.7A CN201710632610A CN107452230B CN 107452230 B CN107452230 B CN 107452230B CN 201710632610 A CN201710632610 A CN 201710632610A CN 107452230 B CN107452230 B CN 107452230B
Authority
CN
China
Prior art keywords
current vehicle
image
gear
information
azimuth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710632610.7A
Other languages
English (en)
Other versions
CN107452230A (zh
Inventor
谢超
陈从华
任赋
陈海沯
叶德焰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ming Ming (xiamen) Technology Co Ltd
Original Assignee
Ming Ming (xiamen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ming Ming (xiamen) Technology Co Ltd filed Critical Ming Ming (xiamen) Technology Co Ltd
Priority to CN201710632610.7A priority Critical patent/CN107452230B/zh
Publication of CN107452230A publication Critical patent/CN107452230A/zh
Application granted granted Critical
Publication of CN107452230B publication Critical patent/CN107452230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种障碍物检测方法、装置、终端设备及存储介质，在该方法中，首先获取当前车辆的档位信息和与档位信息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采用不同的图像处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面的相应位置标出障碍物所在区域。也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。

Description

一种障碍物检测方法、装置、终端设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种障碍物检测方法、装置、终端设备及存储介质。
背景技术
对于一般车辆而言，由于车辆的构造使得驾驶员的视野存在盲区，不利于行车安全。而随着智能科技的发展，出现了车载环视***，能为驾驶员提供360 度的行车视野，基本上消除了盲区。但由于人类的思维惯性，有时可能并不注意观察环视***中出现的情况，或是将注意力过分集中在环视***上造成驾驶操作失误，容易发生交通事故。
也就是说，虽然现有车载环视***为驾驶员提供更为广阔的视野，但是并没有对视野内的障碍物和移动物体等进行检测并主动提醒驾驶员，从而使得即使安装有车载环视***的车辆仍存在安全隐患。
发明内容
本发明实施例提供了一种障碍物检测方法、装置、终端设备及存储介质，用以解决现有车载环视***未对视野内的障碍物进行检测并主动提醒驾驶员，以及安全性低的问题。
本发明实施例提供了一种障碍物检测方法，所述方法包括：
获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
进一步地，作为一个可执行方案，所述根据所述档位信息获取与所述档位信息对应的各方位图像，包括：
根据所述档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后左右四个方位的图像；或
根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆的前左右三个方位的图像；或
根据所述档位信息确定当前车辆处于后退挡位时，则获取当前车辆的后左右三个方位的图像。
进一步地，作为一个可执行方案，所述图像信息至少包括轮廓信息和特征点信息。
具体地，作为一个可执行方案，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域，包括：
分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
Figure BDA0001364199550000021
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
Figure BDA0001364199550000031
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
具体地，作为一个可执行方案，当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域，包括以下步骤：
步骤一：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；
步骤二：提取k时刻图像信息Ik，g(i,j)的特征点，形成k时刻g方向的特征点集P并存储；其中，特征点集P记为{P|pi∈P,i＝0,1,2...N}；
步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对；
步骤四：从剩余对应点对中选取一组，将k时刻图像信息Ik，g(i,j)按照该对应点对的移动方向和距离变换成I‘k，g(i,j)，并计算I‘k，g(i,j)和k+1时刻g方位的图像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对应点对；
步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，E(k',k+1,g)表示I'k,g与Ik+1,g在g方位的图像残差；
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体或静止障碍物所在区域；
Figure BDA0001364199550000042
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
具体地，作为一个可执行方案，，步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对，包括：
计算对应点对的距离|pip’i|；
获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前车速，并计算在ΔT内，两帧图像的距离d。
当对应点对的距离|pip’i|与两帧图像的距离d的差的绝对值大于Td时，则删除该对应点对，其中，Td表示允许的距离误差阈值。
进一步地，本发明实施例还提供了一种障碍物检测装置，包括：
采集单元，用于获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
图像处理存储单元，用于将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
判断处理单元，用于根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
进一步地，本发明实施例还提供了一种障碍物检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
进一步地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明有益效果如下：
本发明实施例提供了一种障碍物检测方法、装置、终端设备及存储介质，在该方法中，首先获取当前车辆的档位信息和与档位信息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采用不同的图像处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面的相应位置标出障碍物所在区域。也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为所述的一种障碍物检测方法的流程示意图；
图2所示为所述的一种障碍物检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一：
本发明实施例一提供了一种障碍物检测方法，如图1所示，其为本发明实施例一所述的障碍物检测方法的流程示意图，所述方法可包括以下步骤：
步骤101：获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
步骤102：将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
其中，所述图像信息可至少包括轮廓信息和特征点信息，本发明实施例对此不做限定。
步骤103：根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
需要说明的是，本发明实施例适用于车载360度环视***，且当前车辆至少包含4路摄像装置，用于摄取的图像，分别获取车辆前、后、左、右四个方位的画面。再有，需要说明的是，步骤102中将所述各方位图像转换为各方位俯瞰图，具体可通过摄像机标定方法将各方位图像转换为各方位俯瞰图，本发明实施例对此不做赘述。最后，需要说明的是，根据获取到的档位信息可进一步获取当前车辆的移动速度，并根据不同运动状态采用不同的图像处理方式，本发明实施例适用于速度较低的运动车辆，例如速度低于10km/h可采用本发明所述技术方案，当车速大于10km/h时则关闭该功能。
也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。
进一步地，对于步骤101中所述根据所述档位信息获取与所述档位信息对应的各方位图像，可具体包括：
根据所述档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后左右四个方位的图像；或
根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆的前左右三个方位的图像；或
根据所述档位信息确定当前车辆处于后退挡位时，则获取当前车辆的后左右三个方位的图像。
这样根据当前车辆的档位信息分别获取不同方位的图像更加人性化，在图像处理上也能减少不必要的图像信息处理，使得本发明技术方案计算过程更为精准。
进一步地，为了使得本发明技术方案更为详细，在步骤103中当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域，可具体包括以下步骤S1～S2：
步骤S1：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和 Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
Figure BDA0001364199550000081
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
步骤S12：当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值，MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
也就是说，当当前车辆为驻车状态时可采用上述步骤S1～S2所述的图像处理方式来检测移动物体所在区域。
进一步地，当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域，可具体包括以下步骤：
步骤一：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；
步骤二：提取k时刻图像信息Ik，g(i,j)的特征点，形成k时刻g方向的特征点集P并存储；其中，特征点集P记为{P|pi∈P,i＝0,1,2...N}；
步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对；
需要说明的是，由于使用LK光流法计算出的对应点对可能存在误差，因此可根据当前车速与行驶方向进行判断，滤除错误对应点对。
具体地，滤除错误对应点对的步骤如下：
1、计算对应点对的距离|pip’i|；
2、获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前车速，并计算在ΔT内，两帧图像的距离d。
3、当对应点对的距离|pip’i|与两帧图像的距离d的差的绝对值大于Td时，则删除该对应点对，其中，Td表示允许的距离误差阈值。
这里需要特别说明一下两帧图像的距离d，上述提到可通过摄像机标定方法将获取的图像转换成俯瞰图，同时也能得到俯瞰图中每个像素代表的实际距离。因此，当使用ΔT*v来计算距离d时(v为车速)，也就可以换算出图像需要移动几个像素，再与通过图像处理方法计算的|pip’i|作比较，这样即可滤除错误的对应点对。
步骤四：从剩余对应点对中选取一组，将k时刻图像信息Ik，g(i,j)按照该对应点对的移动方向和距离变换成I‘k，g(i,j)，并计算I‘k，g(i,j)和k+1时刻g方位的图像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对应点对；
步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，E(k',k+1,g)表示I'k,g与Ik+1,g在g方位的图像残差；
这里需要了解，由于鸟瞰图是将透视图像投影到地平面的特点以及车辆在路面上平动的特点，那么高出路面的物体将不符合2D图像画面中的平动规律，因此计算I'k,g与Ik+1,g的图像残差，可选择满足图像残差最小的一组对应点对作为最优结果，即i＝argmin(E(k',k+1,g))，之后再按照步骤六进行判断，当满足判断条件时，说明图像画面中出现移动物体或者高出路面的障碍物，此时在人机界面g方位的画面中用高亮方框显示，并发出警报声。
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体或静止障碍物所在区域；
Figure BDA0001364199550000103
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值，MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
本发明实施例一提供了一种障碍物检测方法，在该方法中，首先获取当前车辆的档位信息和与档位信息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采用不同的图像处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面的相应位置标出障碍物所在区域。也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。
实施例二
基于与本发明实施例一相同的发明构思，本发明实施例二提供了一种障碍物检测装置，该装置的具体实施可参见上述方法实施例一中的相关描述，重复之处不再赘述，其结构示意图如图2所示，该装置主要可包括：
采集单元21，可用于获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
图像处理存储单元22，可用于将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
判断处理单元23，可用于根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
进一步地，作为一个可执行方案，所述采集单元21，可具体用于根据所述档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后左右四个方位的图像；或根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆的前左右三个方位的图像；或根据所述档位信息确定当前车辆处于后退挡位时，则获取当前车辆的后左右三个方位的图像。
进一步地，作为一个可执行方案，所述图像信息至少包括轮廓信息和特征点信息；
所述判断处理单元23可包括第一判断处理子单元和第二判断处理子单元；
所述第一判断处理子单元，可用于分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
Figure BDA0001364199550000121
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
Figure BDA0001364199550000122
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值；
所述第二判断处理子单元，可用于步骤一：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；步骤二：提取k时刻图像信息Ik，g(i,j)的特征点，形成k时刻g方向的特征点集P并存储；其中，特征点集P记为 {P|pi∈P,i＝0,1,2...N}；步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对；步骤四：从剩余对应点对中选取一组，将 k时刻图像信息Ik，g(i,j)按照该对应点对的移动方向和距离变换成I‘k，g(i,j)，并计算 I‘k，g(i,j)和k+1时刻g方位的图像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对应点对；步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，(E(k',k+1,g)表示I'k,g与Ik+1,g在g方位的图像残差；
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体或静止障碍物所在区域；
Figure BDA0001364199550000132
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
进一步地，作为一个可执行方案，所述第二判断处理子单元，可具体用于
步骤三：计算对应点对的距离|pip’i|；
获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前车速，并计算在ΔT内，两帧图像的距离d。
当对应点对的距离|pip’i|与两帧图像的距离d的差的绝对值大于Td时，则删除该对应点对，其中，Td表示允许的距离误差阈值。
本发明实施例二提供了一种障碍物检测装置，首先获取当前车辆的档位信息和与档位信息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采用不同的图像处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面的相应位置标出障碍物所在区域。也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。
进一步地，本发明实施例还提供了一种障碍物检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的步骤，例如图1所示的步骤101-103等方法步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如实现上述采集单元21、图像处理存储单元22和判断处理单元23等单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述障碍物检测终端设备中的执行过程。例如，所述计算机程序可以被分割成采集单元21、图像处理存储单元22 和判断处理单元23等单元，各模块具体功能如下：
采集单元21，可用于获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
图像处理存储单元22，可用于将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
判断处理单元23，可用于根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
进一步地，作为一个可执行方案，所述障碍物检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述障碍物检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述障碍物检测终端设备的组成结构仅仅是障碍物检测终端设备的示例，并不构成对障碍物检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述障碍物检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述障碍物检测终端设备的控制中心，利用各种接口和线路连接整个障碍物检测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述障碍物检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital, SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
进一步地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述障碍物检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
也就是说，在本发明实施例中，通过获取当前车辆的档位信息和与档位信息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采用不同的图像处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面的相应位置标出障碍物所在区域。也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。
需要说明的是，尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息之间的图像残差判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域，具体过程包括：
分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
E(k,k+1,g)＝∑δ(Ik,g,Ik+1,g)，
Figure FDA0002254719080000011
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
Figure FDA0002254719080000021
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值，MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值，MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值；
当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
2.如权利要求1所述的方法，其特征在于，所述根据所述档位信息获取与所述档位信息对应的各方位图像，包括：
根据所述档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后左右四个方位的图像；或
根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆的前左右三个方位的图像；或
根据所述档位信息确定当前车辆处于后退挡位时，则获取当前车辆的后左右三个方位的图像。
3.如权利要求1所述的方法，其特征在于，所述图像信息至少包括轮廓信息和特征点信息。
4.如权利要求3所述的方法，其特征在于，当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域，包括以下步骤：
步骤一：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；
步骤二：提取k时刻图像信息Ik，g(i,j)的特征点，形成k时刻g方向的特征点集P并存储；其中，特征点集P记为{P|pi∈P,i＝0,1,2...N}；
步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|p′i∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对；
步骤四：从剩余对应点对中选取一组，将k时刻图像信息Ik，g(i,j)按照该对应点对的移动方向和距离变换成I‘k，g(i,j)，并计算I‘k，g(i,j)和k+1时刻g方位的图像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对应点对；
步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，E(k',k+1,g)表示I'k,g与Ik+1,g在g方位的图像残差；
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体或静止障碍物所在区域；
Figure FDA0002254719080000041
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值，MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值，MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
5.如权利要求4所述的方法，其特征在于，步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|p′i∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对，包括：
计算对应点对的距离|pip′i|；
获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前车速，并计算在ΔT内，两帧图像的距离d；
当对应点对的距离|pip′i|与两帧图像的距离d的差的绝对值大于Td时，则删除该对应点对，其中，Td表示允许的距离误差阈值。
6.一种障碍物检测装置，其特征在于，包括：
采集单元，用于获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
图像处理存储单元，用于将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
判断处理单元，用于根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域，具体过程包括：
分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
E(k,k+1,g)＝∑δ(Ik,g,Ik+1,g)，
Figure FDA0002254719080000051
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
Figure FDA0002254719080000061
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值，MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值，MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值；
当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
7.一种障碍物检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～5中任一所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～5中任一所述方法的步骤。
CN201710632610.7A 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质 Active CN107452230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710632610.7A CN107452230B (zh) 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710632610.7A CN107452230B (zh) 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN107452230A CN107452230A (zh) 2017-12-08
CN107452230B true CN107452230B (zh) 2020-01-10

Family

ID=60490456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710632610.7A Active CN107452230B (zh) 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN107452230B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351474B (zh) * 2018-12-24 2022-07-12 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和***
CN113569698B (zh) * 2021-07-22 2023-10-27 上汽通用五菱汽车股份有限公司 车辆监控方法、车辆及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509287B (zh) * 2011-10-12 2014-06-04 西安理工大学 针对静止目标的基于经纬度定位和图像配准的查找方法
DE102012023706A1 (de) * 2012-12-05 2014-06-05 Daimler Ag Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug
CN103950410A (zh) * 2014-04-29 2014-07-30 深圳前向启创数码技术有限公司 全景式辅助驾驶方法及***
CN106143309B (zh) * 2016-07-18 2018-07-27 乐视汽车（北京）有限公司 一种车辆盲区提醒方法及***
CN106358014A (zh) * 2016-08-29 2017-01-25 乐视控股（北京）有限公司 一种车辆行车信息的监控方法和装置
CN106485233B (zh) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN106709512B (zh) * 2016-12-09 2020-03-17 河海大学 基于局部稀疏表示和对比度的红外目标检测方法

Also Published As

Publication number Publication date
CN107452230A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN108875603B (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
Wu et al. Lane-mark extraction for automobiles under complex conditions
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警***及方法
CN106611512B (zh) 前车起步的处理方法、装置和***
CN107392139B (zh) 一种基于霍夫变换的车道线检测方法及终端设备
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
JP2019008460A (ja) 物体検出装置、物体検出方法およびプログラム
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN110088766B (zh) 车道线识别方法、车道线识别装置以及非易失性存储介质
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
CN110008891B (zh) 一种行人检测定位方法、装置、车载计算设备及存储介质
CN110942038A (zh) 基于视觉的交通场景识别方法、装置、介质及电子设备
US20190180121A1 (en) Detection of Objects from Images of a Camera
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN107452230B (zh) 一种障碍物检测方法、装置、终端设备及存储介质
CN116778448A (zh) 车辆安全驾驶辅助方法、装置、***、设备及存储介质
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN113076851A (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
US20230415779A1 (en) Assistance method of safe driving and electronic device
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xie Chao

Inventor after: Chen Conghua

Inventor after: Ren Fu

Inventor after: Chen Haiza

Inventor after: Ye Deyan

Inventor before: Fan Zuodeng

Inventor before: Ye Zhicong

Inventor before: Cai Yunwen

Inventor before: Ke Wenping

GR01 Patent grant
GR01 Patent grant