一种基于全景环视图像处理的车门开启预警***及方法
技术领域
本发明涉及智能汽车技术领域,特别涉及一种基于全景环视图像处理的车门开启预警***及方法。
背景技术
全景环视***(AVM),该***通过广角摄像头分别采集车辆前、后、左、右4个方向的图像信息,然后传送给中央控制器,经过摄像头参数校正、镜头扭曲校正、鸟瞰视角转换、白平衡匹配和图像缝合处理,最终在显示器上显示一个可直观监视车辆周围环境的全景鸟瞰画面,能有效减少盲区,提高安全性。
通常情况下,当车辆车门开启时,AVM画面中的车模(通常是左侧的全景鸟瞰图)会模拟当前车门开启状态。但由于目前该功能只是用于提醒用户车门是否处于开启或关闭状态,未对车门开启最大化的位置进行实车标定;而无车门开启过程中的障碍物检测,导致实车车门开启后可能引起障碍物碰撞,对车门造成损伤。
发明内容
为此,需要提供一种基于全景环视图像处理的车门开启预警***及方法,解决现有全景环视***中无法实现车门开启时障碍物检测,导致实车车门开启后可能引起障碍物碰撞的问题。
为实现上述目的,发明人提供了一种基于全景环视图像处理的车门开启预警***,包括AVM控制器、车门检测模块、摄像头模块及娱乐显示屏;
所述车门检测模块包括车门检测传感器及车门检测控制器,所述车门检测传感器连接于车门检测控制器,所述车门检测控制器连接于AVM控制器,所述车门检测传感器设置在车辆的车门转向柱上,用于监测车门开启或关闭的幅度值,并将监测的车门开启或关闭的幅度值发送至车门检测控制器,所述车门检测控制器将从车门检测控制器发送的车门开启或关闭的幅度值转换为CAN网络信号告知AVM控制器;
所述摄像头模块包括四个摄像头,用于分别采集车辆的左视、右视、前视及后视四个方向的图像信息,并将采集的图像信息发送至AVM控制器;
所述AVM控制器用于当根据车门检测控制器发送的CAN网络信号判断当前车辆的车门开启或关闭时,根据摄像头模块采集的车辆四个方向的图像信息在娱乐显示屏上生成全景鸟瞰图,并根据CAN网络信号在全景鸟瞰图的车模上模拟对应车门开启或关闭,同时根据车辆开启或关闭的车门对应的图像信息,判断车门开启或关闭时的活动区域内是否存在障碍物,若存在障碍物,则向娱乐显示屏发送预警信息;
所述娱乐显示屏用于显示车辆的全景鸟瞰图及显示全景鸟瞰图中车模的车门开启或关闭,当接收到AVM控制器发送的预警信息时,在车模相应的车门以预警颜色显示。
进一步优化,所述AVM控制器还用于在全景鸟瞰图中的车模模拟车门打开时,保持车门关闭时的图像信息。
进一步优化,所述AVM控制器还用于当检测到当前车辆的车速为0Km/h,且当前车辆未下电时,通过车门检测模块监测车门开启或关闭的幅度值。
进一步优化,所述娱乐显示屏还用于接收用户在全景鸟瞰图的车模中模拟车门开启或关闭的操作信号,并将操作信号发送至AVM控制器,所述AVM控制器还用于接收到娱乐显示屏发送的用户模拟车门开启或关闭的操作信号时,判断对应的车门是否会触碰到障碍物,当判断回触碰到障碍物时,则向娱乐显示屏发送预警信息。
进一步优化,还包括仪表,所述仪表连接于AVM控制器,所述AVM控制器还用于当判断开启或关闭车门会触碰障碍物时,发送报警信息至仪表,所述仪表用于接收到报警信息后,发出声音报警。
发明人还提供了另一个技术方案:一种基于全景环视图像处理的车门开启预警方法,其特征在于,包括以下步骤:
监测车辆车门的开启或关闭的幅度值,判断当前车辆的车门是否开启或关闭;
当判断当前车辆的车门开启或关闭时,采集车辆的左视、右视、前视及后视四个方向的图像信息,并根据采集的车辆四个方向的图像信息在娱乐显示屏上生成全景鸟瞰图;
根据车门检测模块发送的车门开启或关闭的幅度值在全景鸟瞰图的车模中进行模拟车门开启或关闭;
根据车辆开启或关闭的车门对应的图像信息,判断车门开启或关闭时的活动区域内是否存在障碍物;
若存在障碍物,则在全景鸟瞰图中车模相应的车门以预警颜色显示。
进一步优化,所述“根据车门检测模块发送的车门开启或关闭的幅度值在全景鸟瞰图的车模中进行模拟车门开启或关闭”具体还包括以下步骤:
在全景鸟瞰图中的车模模拟车门打开时,保持车门关闭时的图像信息。
进一步优化,所述“监测车辆车门的开启或关闭的幅度值”具体还包括以下步骤:
当检测到当前车辆的车速为0Km/h,且当前车辆未下电时,通过车门检测模块监测车门开启或关闭的幅度值。
进一步优化,还包括以下步骤:
通过娱乐显示屏接收用户在全景鸟瞰图的车模中模拟车门开启的操作信号;
当接收到操作信号后,判断车门开启或关闭时的活动区域内是否存在障碍物;
若存在障碍物,则在全景鸟瞰图中车模相应的车门以预警颜色显示。
进一步优化,所述“若存在障碍物”之后还包括以下步骤:
发送报警信息至仪表,仪表接收到报警信息后,发出声音报警。
区别于现有技术,上述技术方案,通过监测车辆开启或关闭的幅度值进行判断车门是否开启或关闭,当判断车门开启或关闭,采集车辆四个方向的图像信息,并生成全景鸟瞰图,模拟车门开启或关闭,判断车门在开启或关闭的活动区域内是否有障碍物,若有障碍物,则进行预警,提醒用户车门开启或关闭过程中可能触碰障碍物,避免了车门开启或关闭过程中触碰障碍物的情况发生。
附图说明
图1为具体实施方式所述基于全景环视图像处理的车门开启预警***的一种结构示意图;
图2为具体实施方式所述全景鸟瞰图的一种示意图;
图3为具体实施方式所述填充条纹的全景鸟瞰图的一种示意图。
图4为具体实施方式所述基于全景环视图像处理的车门开启预警方法的一种流程示意图;
附图标记说明:
110、AVM控制器;
120、车门检测模块;
131、摄像头;
140、娱乐显示屏;
150、仪表。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1-2,本实施例提供了一种基于全景环视图像处理的车门开启预警***,包括AVM控制器110、车门检测模块120、摄像头模块及娱乐显示屏140;
所述车门检测模块120包括车门检测传感器及车门检测控制器,所述车门检测传感器连接于车门检测控制器,所述车门检测控制器连接于AVM控制器110,所述车门检测传感器设置在车辆的车门转向柱上,用于监测车门开启或关闭的幅度值,并将监测的车门开启或关闭的幅度值发送至车门检测控制器,所述车门检测控制器将从车门检测控制器发送的车门开启或关闭的幅度值转换为CAN网络信号告知AVM控制器110;
所述摄像头模块包括四个摄像头131,用于分别采集车辆的左视、右视、前视及后视四个方向的图像信息,并将采集的图像信息发送至AVM控制器110;
所述AVM控制器110用于当根据车门检测控制器发送的CAN网络信号判断当前车辆的车门开启或关闭时,根据摄像头模块采集的车辆四个方向的图像信息在娱乐显示屏140上生成全景鸟瞰图,并根据CAN网络信号在全景鸟瞰图的车模上模拟对应车门开启或关闭,同时根据车辆开启或关闭的车门对应的图像信息,判断车门开启或关闭时的活动区域内是否存在障碍物,若存在障碍物,则向娱乐显示屏发送预警信息;
所述娱乐显示屏140用于显示车辆的全景鸟瞰图及显示全景鸟瞰图中车模的车门开启或关闭,当接收到AVM控制器发送的预警信息时,在车模相应的车门以预警颜色显示。
通过布置在车辆的车门转向柱上的车门检测传感器进行实时监测车门的开启或关闭的幅度值,其中,车门检测传感器的个数根据车辆的车门的个数进行设置,若车辆的车门为四个,则车门检测传感器的个数为四个,分别安装在车辆的四个车门的转向柱上,将车门检测传感器监测到车门开启或关闭的幅度值发送至车门检测控制器,车门检测控制器将车门检测传感器监测到车门开启或关闭的幅度值转换为CAN网络信号告知AVM控制器,AVM控制器可以根据该CAN网络信号判断当前车辆哪个车门开启或关闭。当AVM控制器通过车门检测模块监测到当前车辆的车门开启或关闭时,通过摄像头模块分别采集当前车辆的四个方向的图像信息,即左视、右视、前视及后视四个方向的图像信息,然后根据采集的四个图像信息在娱乐显示屏上生成当前车辆的全景鸟瞰图,全景鸟瞰图中显示当前车辆的车模,然后AVM控制器根据车辆检测控制器发送的CAN网络信号模拟车模上相应的车门开启或关闭,即如车辆开启或关闭的是车辆左前门,相对应在车模的左前门模拟车门开启;当模拟车门开启的过程中,判断车门开启或关闭的活动区域中是否存在障碍物,即判断车门是否会触碰到障碍物,其中,通过车门所对应的图像信息进行判断是否存在障碍物,如车辆左边的车门通过左视方向的图像信息进行判断是否会触碰到障碍物,而车辆右边的车门通过右视方向的图像信息进行判断是否会触碰到障碍物;其中,障碍物主要为人、车、墙壁及电线杆等;当判断车门在开启或关闭的过程中,会触碰到障碍物,即车门的活动区域内存在障碍物,则向娱乐显示屏发送预警信息,当娱乐显示屏接收到预警信息后,在全景鸟瞰图上车模相应的车门以预警颜色显示,进行提示车门开启或关闭的过程中可能会触碰到障碍物,如当判断到左前门的活动区域内存在障碍物,则将车模的左前门用预警颜色显示;其中娱乐显示屏可以通过其他方式进行提醒,如文字等。提醒用户车门开启或关闭过程中可能触碰障碍物,避免了车门开启或关闭过程中触碰障碍物的情况发生。
请参阅图3,在现有技术中,当车门开启后,全景鸟瞰图中相应视角的图像进行条纹填充处理,原因是由于左、右摄像头相对于车身的位置会随着车门开启而变化,从而改变了摄像头的图像采集方向,破坏了图像拼接效果,为了解决该问题,所述AVM控制器110还用于在全景鸟瞰图中的车模模拟车门打开时,保持车门关闭时的图像信息。当在全景鸟瞰图中的车模模拟车门打开时,保证其相应视角在车门关闭时的图像信息,使得车模打开时,全景鸟瞰图的图像信息不会发生变化,不需要通过条纹进行填充,达到该车门在车辆静止及周边环境下的实时模拟。
在本实施例中,为了减少车门检测模块实时监测造成能源浪费,所述AVM控制器110还用于当检测到当前车辆的车速为0Km/h,且当前车辆未下电时,通过车门检测模块120监测车门开启或关闭的幅度值。当AVM控制器110检测到当前车辆的车速为0Km/h,且当前车辆未下电时,通过车门检测模块120监测车门开启或关闭的幅度值,使得在正常情况下车门检测模块处于休眠状态,可以减少能源上的消耗。
在本实施例中,为了进一步增加用户的体验,所述娱乐显示屏140还用于接收用户在全景鸟瞰图的车模中模拟车门开启或关闭的操作信号,并将操作信号发送至AVM控制器110,所述AVM控制器110还用于接收到娱乐显示屏发送的用户模拟车门开启或关闭的操作信号时,判断对应的车门是否会触碰到障碍物,当判断回触碰到障碍物时,则向娱乐显示屏发送预警信息。用户可以通过娱乐显示屏上车模进行模拟车门打开,当用户在娱乐显示屏上操作车模模拟车门打开,娱乐显示屏将用户在车模上模拟车门开启或关闭的操作信号发送给AVM控制器,AVM控制器进行判断车门的活动区域内是否有障碍物,及判断车门在开区或关闭的过程中是否会触碰到障碍物,当判断存在障碍物时,即车门会触碰到障碍物时,则向娱乐显示屏发送预警信息,娱乐显示屏接收到预警信息后,将车模对应的车门用预警颜色进行显示,以提示用户车门可能会触碰到障碍物,通过用户操作娱乐显示屏进行模拟车门开启,并判断车门开启是否会触碰到障碍物,可以避免车门开启过程中触碰障碍物,同时增加用户的体验。
在本实施例中,为了进一步对用户进行预警,避免用户未看到娱乐显示屏的预警信号,还包括仪表150,所述仪表150连接于AVM控制器110,所述AVM控制器110还用于当判断开启或关闭车门会触碰障碍物时,发送报警信息至仪表150,所述仪表150用于接收到报警信息后,发出声音报警。当AVM控制器110判断当前车门开启或关闭的过程中会触碰到障碍物,则向仪表150发送报警信息,当仪表150接收到报警信息后,发出声音报警,对用户进行提醒,使得用户可以知晓车门开启的过程中可能会触碰到障碍物,可以及时作出反应,避免车门开启或关闭时触碰到障碍物。
请参阅图4。在另一个实施例中,一种基于全景环视图像处理的车门开启预警方法,应用于上述实施例中的基于全景环视图像处理的车门开启预警***,该***包括AVM控制器、车门检测模块、摄像头模块及娱乐显示屏,该方法包括以下步骤:
步骤S410:监测车辆车门的开启或关闭的幅度值;
步骤S410:判断当前车辆的车门是否开启或关闭;
当判断当前车辆的车门开启或关闭时,执行步骤S410:采集车辆的左视、右视、前视及后视四个方向的图像信息,并根据采集的车辆四个方向的图像信息在娱乐显示屏上生成全景鸟瞰图;
步骤S410:根据车门检测模块发送的车门开启或关闭的幅度值在全景鸟瞰图的车模中进行模拟车门开启或关闭;
步骤S410:根据车辆开启或关闭的车门对应的图像信息,判断车门开启或关闭时的活动区域内是否存在障碍物;
若存在障碍物,则执行步骤S410:在全景鸟瞰图中车模相应的车门以预警颜色显示。
通过布置在车辆的车门转向柱上的车门检测传感器进行实时监测车门的开启或关闭的幅度值,其中,车门检测传感器的个数根据车辆的车门的个数进行设置,若车辆的车门为四个,则车门检测传感器的个数为四个,分别安装在车辆的四个车门的转向柱上,将车门检测传感器监测到车门开启或关闭的幅度值发送至车门检测控制器,车门检测控制器将车门检测传感器监测到车门开启或关闭的幅度值转换为CAN网络信号告知AVM控制器,AVM控制器可以根据该CAN网络信号判断当前车辆哪个车门开启或关闭。当AVM控制器通过车门检测模块监测到当前车辆的车门开启或关闭时,通过摄像头模块分别采集当前车辆的四个方向的图像信息,即左视、右视、前视及后视四个方向的图像信息,然后根据采集的四个图像信息在娱乐显示屏上生成当前车辆的全景鸟瞰图,全景鸟瞰图中显示当前车辆的车模,然后AVM控制器根据车辆检测控制器发送的CAN网络信号模拟车模上相应的车门开启或关闭,即如车辆开启或关闭的是车辆左前门,相对应在车模的左前门模拟车门开启;当模拟车门开启的过程中,判断车门开启或关闭的活动区域中是否存在障碍物,即判断车门是否会触碰到障碍物,其中,通过车门所对应的图像信息进行判断是否存在障碍物,如车辆左边的车门通过左视方向的图像信息进行判断是否会触碰到障碍物,而车辆右边的车门通过右视方向的图像信息进行判断是否会触碰到障碍物;其中,障碍物主要为人、车、墙壁及电线杆等;当判断车门在开启或关闭的过程中,会触碰到障碍物,即车门的活动区域内存在障碍物,则向娱乐显示屏发送预警信息,当娱乐显示屏接收到预警信息后,在全景鸟瞰图上车模相应的车门以预警颜色显示,进行提示车门开启或关闭的过程中可能会触碰到障碍物,如当判断到左前门的活动区域内存在障碍物,则将车模的左前门用预警颜色显示;其中娱乐显示屏可以通过其他方式进行提醒,如文字等。提醒用户车门开启或关闭过程中可能触碰障碍物,避免了车门开启或关闭过程中触碰障碍物的情况发生。
在本实施例中,如图所示,在现有技术中,当车门开启后,全景鸟瞰图中相应视角的图像进行条纹填充处理,原因是由于左、右摄像头相对于车身的位置会随着车门开启而变化,从而改变了摄像头的图像采集方向,破坏了图像拼接效果,为了解决该问题,所述“根据车门检测模块发送的车门开启或关闭的幅度值在全景鸟瞰图的车模中进行模拟车门开启或关闭”具体还包括以下步骤:在全景鸟瞰图中的车模模拟车门打开时,保持车门关闭时的图像信息。当在全景鸟瞰图中的车模模拟车门打开时,保证其相应视角在车门关闭时的图像信息,使得车模打开时,全景鸟瞰图的图像信息不会发生变化,不需要通过条纹进行填充,达到该车门在车辆静止及周边环境下的实时模拟。
在本实施例中,为了减少车门检测模块实时监测造成能源浪费,所述“监测车辆车门的开启或关闭的幅度值”具体还包括以下步骤:当检测到当前车辆的车速为0Km/h,且当前车辆未下电时,通过车门检测模块监测车门开启或关闭的幅度值。当AVM控制器检测到当前车辆的车速为0Km/h,且当前车辆未下电时,通过车门检测模块监测车门开启或关闭的幅度值,使得在正常情况下车门检测模块处于休眠状态,可以减少能源上的消耗。
在本实施例中,为了进一步增加用户的体验,还包括以下步骤:通过娱乐显示屏接收用户在全景鸟瞰图的车模中模拟车门开启的操作信号;当接收到操作信号后,判断车门开启或关闭时的活动区域内是否存在障碍物;若存在障碍物,则在全景鸟瞰图中车模相应的车门以预警颜色显示。用户可以通过娱乐显示屏上车模进行模拟车门打开,当用户在娱乐显示屏上操作车模模拟车门打开,娱乐显示屏将用户在车模上模拟车门开启或关闭的操作信号发送给AVM控制器,AVM控制器进行判断车门的活动区域内是否有障碍物,及判断车门在开区或关闭的过程中是否会触碰到障碍物,当判断存在障碍物时,即车门会触碰到障碍物时,则向娱乐显示屏发送预警信息,娱乐显示屏接收到预警信息后,将车模对应的车门用预警颜色进行显示,以提示用户车门可能会触碰到障碍物,通过用户操作娱乐显示屏进行模拟车门开启,并判断车门开启是否会触碰到障碍物,可以避免车门开启过程中触碰障碍物,同时增加用户的体验。
在本实施例中,为了进一步对用户进行预警,避免用户未看到娱乐显示屏的预警信号,所述“若存在障碍物”之后还包括以下步骤:发送报警信息至仪表,仪表接收到报警信息后,发出声音报警。当AVM控制器判断当前车门开启或关闭的过程中会触碰到障碍物,则向仪表发送报警信息,当仪表接收到报警信息后,发出声音报警,对用户进行提醒,使得用户可以知晓车门开启的过程中可能会触碰到障碍物,可以及时作出反应,避免车门开启或关闭时触碰到障碍物。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。