CN103813140A - 使用图像信息的车辆驾驶辅助*** - Google Patents

使用图像信息的车辆驾驶辅助*** Download PDF

Info

Publication number
CN103813140A
CN103813140A CN201310757009.2A CN201310757009A CN103813140A CN 103813140 A CN103813140 A CN 103813140A CN 201310757009 A CN201310757009 A CN 201310757009A CN 103813140 A CN103813140 A CN 103813140A
Authority
CN
China
Prior art keywords
image
vehicle
information
unit
congestion status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310757009.2A
Other languages
English (en)
Inventor
难波秀彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN103813140A publication Critical patent/CN103813140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及使用图像信息的车辆驾驶辅助***,并涉及不使用安装在车辆中的高性能计算机的车辆驾驶辅助***。在该***中,安装在车辆中的成像单元(11)拍摄车辆的周围的图像。安装在车辆中的通信单元(15)将包括由成像单元(11)拍摄的图像的信息传送到车辆外部的信息处理中心(20)。包括在信息处理中心(20)中的图像处理单元(221)对从车辆接收的图像应用预定义的图像处理。包括在信息处理中心(20)中的通信单元(21)将表示图像处理单元(221)的图像处理的结果的信息传送到车辆。安装在车辆中的驾驶辅助单元(16)基于表示图像处理单元(22)的图像处理的结果的信息来执行用于辅助驾驶车辆的操作。

Description

使用图像信息的车辆驾驶辅助***
技术领域
本发明涉及使用图像信息的车辆驾驶辅助***。
背景技术
如日本专利申请特开No.2010-15248和日本专利申请特开No.2011-253214所公开的公知的驾驶辅助***处理由车载相机拍摄的目标车辆的周围的图像来检测诸如行人等之类的对象物并将对象物的检测结果呈现给车辆驾驶员以引起驾驶员的注意,从而辅助安全驾驶。
上述公知的***适用于,例如,基于作为待检测的对象物的行人的检测,将拍摄的图像与表示有行人存在的图案图像进行匹配。日本专利申请特开No.2010-15248所公开的***在通过图案匹配所提取出的候选图像中沿着预定方向对各自线的像素的总和值的分布应用频率分析。当在频率分析中检测到预定义频率的功率谱密度超过预定的阈值时,则假定拍摄的图像包括行人,由此防止了图案匹配期间对行人的错误检测。另外,日本专利申请特开No.2011-253214所公开的***,在通过图案匹配确保检测行人的准确性的同时,根据交通状况来改变在拍摄的图像中搜索行人的搜索密度,从而减少图像处理中所需的计算量。除了上述***外,迄今为止已经提出了用于提高检测对象物的准确性和/或减少计算量的各种技术。
然而,上述公知的***适用于通过使用车载计算机来处理拍摄的图像。通过使用车载计算机的图像处理来准确地检测对象物要求计算机具有高的处理速度和大的存储能力。这导致了更昂贵的***,从而阻碍这种***的推广。
基于上述考虑,因此期望具有能够对拍摄的图像进行图像处理从而辅助驾驶车辆的驾驶员而不使用高性能的车载计算机的车辆驾驶辅助***。
发明内容
根据本发明示例性的实施例,提供了一种车辆驾驶辅助***,包括:成像单元,其安装在车辆中并且配置为拍摄所述车辆的周围的图像;车辆侧通信单元,其安装在车辆中并配置为将包括由所述成像单元拍摄的所述图像的信息传送到所述车辆外部的信息处理中心;图像处理单元,其包括在所述信息处理中心中并配置为对从所述车辆接收到的所述图像应用预定义的图像处理;中心侧通信单元,其包括在所述信息处理中心中并配置为将表示通过图像处理单元的图像处理的结果的信息传送到所述车辆;以及,驾驶辅助单元,其安装在所述车辆中并配置为基于表示通过所述图像处理单元的所述图像处理的所述结果的所述信息来执行用于辅助驾驶所述车辆的操作。
在如上那样配置的***中,图像处理不是在安装于车辆内的计算机中执行,而是在车辆之外的信息处理中心中执行。因此,仅需要在车辆侧执行:将包括图像的信息传送到信息处理中心,以及基于从信息处理中心接收到的图像处理的结果来辅助驾驶的操作。
本发明是得益于最近通信网络络的迅猛发展。总的来说,包括图像的信息伴随有大量的数据。通信网络络最近的发展允许以高速传送这样大量的数据。此外,高性能计算机可以容易地安装在信息处理中心中。使用这样的高性能计算机的图像处理导致检测相对于车辆行驶而言是障碍物的对象物的较高准确性。这允许了不在车辆侧使用这样的高性能计算机的情况下而执行的驾驶车辆的实际辅助。
优选地,该***可进一步包括:拥堵状态检测单元,其包括在所述信息处理中心中并配置为检测所述车辆侧通信单元与所述中心侧通信单元之间的通信网络的拥堵状态;以及,传送控制单元,其安装在所述车辆中并配置为选择数据量减少处理和传送频率,其中,将对由所述车辆侧通信单元传送的信息应用所述数据量减少处理,根据由所述拥堵状态检测单元检测的所述通信网络的所述拥堵状态以所述传送频率来传送经处理的信息。
当包括图像的信息从车辆传送到信息处理中心时,通信速率可以取决于车辆侧通信单元和中心侧通信单元之间的通信网络的拥堵状态来改变。例如,对于通信网络的恶化的拥堵状态,可能需要更长的时间段来完成信息的传送。同时,必须没有延迟地执行基于包括车辆的周围的图像的信息来辅助驾驶车辆的一系列操作。
因此,优选地,从车辆侧通信单元传送到信息处理中心的信息的内容和/或传送频率(或传送时间间隔)可以根据通信网络的拥堵状态而改变。这允许了待传送的信息的数据量取决于通信网络的拥堵状态而改变,由此防止了辅助驾驶车辆的一系列操作由于信息的传送而被延迟。
当结合以下说明和附图进行考虑时,将更好地体会和理解本发明的这些以及其他实施例。然而,应当理解的是,尽管以下的说明表示本发明的各个实施例及其大量的具体细节,但是以下的说明仅以例示而非限制的方式给出。在本发明的范围内且不背离其精神的情况下,可以作出多种替换、变型、附加和/或重新布置,并且本发明包括所有这样的替换、变型、附加和/或重新布置。
附图说明
在附图中:
图1A示出了根据本发明第一实施例的车辆驾驶辅助***的框图;
图1B示出了根据第一实施例的车载设备的控制器的功能框图;
图1C示出了根据第一实施例的图像信息处理中心的计算机的功能框图;
图2示出了根据第一实施例的、对将被传送的图像应用的数据量减少处理以及它们的传送频率进行选择的过程的流程图;
图3示出了根据第一实施例的在车载设备中所执行的数据量减少处理的流程图;
图4示出了车载设备根据图2的过程的确定来将图像传送到图像信息处理中心的过程的流程图;
图5示出了根据第一实施例在车载设备中所执行的、当的车辆存在与对象物发生碰撞的较高风险时提醒车辆驾驶员的过程的流程图;
图6示出了根据第一实施例的在图像信息处理中心中所执行的过程的流程图;
图7示出了图6中的碰撞风险确定过程的流程图;
图8示出了根据第一实施例计算用于确定碰撞风险的从车辆到对象物的距离的例子;
图9A示出了根据本发明第二实施例的车载设备的控制器的功能框图;
图9B示出了根据第二实施例的图像信息处理中心的计算机的功能框图;
图10示出了根据第二实施例的、对将被传送的图像应用的数据量减少处理以及它们的传送频率进行选择的过程的流程图;以及
图11示出了根据第二实施例的在图像信息处理中心中所执行的过程的流程图。
具体实施方式
(第一实施例)
参考附图,在下文中将更详细地描述根据本发明第一实施例的车辆驾驶辅助***。在本实施例中,车辆驾驶辅助***适用于以下应用,其中与对象物(例如车辆(包括摩托车)或目标车辆前方的行人)发生碰撞的风险被确定,并且随后将经确定的碰撞风险呈现给目标车辆的驾驶员。
如下文将要描述的那样,配置本实施例的车辆驾驶辅助***以使得车载设备10将包括图像的信息传送到目标车辆外部的图像信息处理中心20,图像信息处理中心20对接收到的图像应用预定义的图像处理,并且车载设备10基于图像处理的输出来辅助驾驶目标车辆。因此,本发明能够应用于基于图像处理来辅助车辆驾驶的任何车辆驾驶辅助***。本发明的车辆驾驶辅助***例如可以适用于以下应用,其中车载设备10拍摄目标车辆的周围的图像,并且图像信息处理中心20继而将拍摄的图像转换成鸟瞰图,从而将经转换的图像呈现给目标车辆的驾驶员,或者基于拍摄的图像识别停车位,从而以自动的方式将目标车辆导航到停车位。
如图1A所示,本实施例的车辆驾驶辅助***包括安装在每辆车中的车载设备10和图像信息处理中心20,该图像信息处理中心20配置为接收包括来自每个车载设备10的图像的信息并执行包括预定义的图像处理的一系列过程。
车载设备10包括成像单元11,例如电荷耦合器件(CCD)相机。成像单元11设置在目标车辆的乘客室内,朝向车辆前方并且靠近乘客室内的天花板。调节成像单元11的设置角度等,从而使得目标车辆的前端部分落入拍摄的图像的一部分。这样允许基于目标车辆前端部分的宽度来计算从目标车辆到对象物(例如前方车辆等)的距离。此外,在目标车辆的行驶期间,成像单元11每预定时间间隔拍摄一帧图像并将拍摄的图像输出到控制器14。
控制器14除了接收来自成像单元11的图像以外,还接收由GPS接收器12确定的表示目标车辆的位置的位置信息,通过车辆接口(I/F)单元13的、表示方向盘的转向角度的转向角度信息和制动踏板下压信息。位置信息和转向角度信息作为特定的信息在图像信息处理中心20中被用来确定与对象物的碰撞风险,其中位置信息用来计算目标车辆的速度并且转向角度信息用来预期目标车辆的行驶方向。因此,位置信息可以是速度信息,并且转向角度信息可以是表示转弯幅度的信息,例如横摆率或横向加速度。制动踏板下压信息用来确定驾驶员是否启动碰撞避免操作来避免与障碍物的碰撞。启动制动踏板下压后,可以确定碰撞风险较低。
控制器14包括:模数转换器(ADC),其将来自成像单元11的输出图像转换成数字图像;和存储经转换的图像的图像存储器;以及由CPU(未示出)、ROM(未示出)、RAM(未示出)及其他构成的微型计算机。控制器14每预定的时间间隔通过车载无线电设备15将数字图像和特定的信息传送给图像信息处理中心20。
车载无线电设备15作为车辆侧的通信单元,通过通信网络(例如移动电话网络)与图像信息处理中心20进行通信。通信网络拥堵很可能导致包括数字图像的信息的传送被延迟。为了减少根据通信网络的拥堵状态而被传送的图像的数据量,控制器14可对数字图像应用噪音去除处理和/或数据压缩处理。噪音去除后的图像的数据量可小于原始图像(即,未处理图像)的数据量。可以通过应用数据压缩处理来进一步减少图像的数据量。数据压缩处理可以通过多种方式实现,所述多种方式例如,对之前传送的图像与待传送的当前图像之间的数据量的差异进行计算的差异计算处理或离散余弦变换(DCT)。当通信网络更加拥堵时,传送这样的具有减少的数据量的经处理的图像可以防止传送延迟的发生。
图1B示出了控制器14的功能框图。控制器14包括传送控制141,其通过执行储存在ROM等内的规定的计算机程序来实现,并且允许控制器14作为传送控制单元。传送控制141配置为选择数据量减少处理和/或传送频率(传送时间间隔的倒数),并且对待传送的图像应用所选择的数据量减少处理,其中,对待传送的图像应用该数据量减少处理,根据通信网络的拥堵状态以该传送频率传送经处理的图像(通过对原始图像应用所选择的数据量减少处理而获得的图像)。这将在下文中更详细地描述。
显示单元16,其作为驾驶辅助单元,提醒驾驶员对象物的存在。更具体地,当从信息处理中心20接收到表示与对象物的碰撞风险的大小的信息显示目标车辆与对象物处于发生碰撞的高风险时,显示单元16通过突出地显示对象物或通过显示提醒消息来提醒驾驶员。显示对象物或提醒消息可以伴随有语音提醒消息。进一步地,不仅提醒驾驶员,还可执行自动地制动车辆来避免与对象物发生碰撞。
图像信息处理中心20包括与车载设备10的车载无线电设备15进行通信的通信单元21和计算机22。计算机22执行图像处理以从接收到的图像中提取出对其确定碰撞风险的对象物。计算机22进一步基于包括位置信息和转向角度信息的特定的信息来确定与所提取的对象物发生碰撞的风险的大小。确定结果通过通信单元21被传送到车载设备10。
图1C示出了图像信息处理中心20的计算机22的功能框图。计算机22包括:图像处理器221,其通过执行储存在ROM等中的规定的计算机程序来实现并允许计算机22作为图像处理单元;以及,拥堵状态检测器222,其也通过执行储存在ROM等中的规定的计算机程序来实现并允许计算机22作为拥堵状态检测单元。图像处理器221配置为对从目标车辆接收到的图像应用预定义的图像处理。拥堵状态检测器222配置为检测车载无线电设备15与中心侧通信单元21之间的通信网络的拥堵状态。
现将参考图2、图4和图5的流程图来对在车载设备10的控制器14中所执行的过程进行解释。
图2示出了选择数据量减少处理和传送频率的过程的流程图,其中,将对被传送的图像应用该数据量减少处理,以该传送频率从车载设备10传送经处理的图像(通过对原始图像应用所选择的数据量减少处理而得到的图像)。现将更加详细地解释该过程。
在步骤100中,从图像信息处理中心20获得通信网络的拥堵度α(alpha)。拥堵度α具有一些定义,现在将按顺序对其进行解释。
在第一定义中,拥堵度α是空置的时间段与预定的时间段(例如,100ms)的比率,该预定的时间段在传送包括图像的信息之前被确定。空置的时间段是在其中用于传送信息的频带(或载体)未被使用的时间段。作为一个示例,对于100ms的预定的时间段,当频带被占用80ms时(即,空置的时间段为20ms),则拥堵度α为80%。
在第二定义中,基于图像信息处理中心20处的分组到达率来计算拥堵度α。包括图像的信息被分解为多个分组,并且以分组的形式从目标车辆的车载设备10传送到图像信息处理中心20。已到达图像信息处理中心20的分组的数量与从目标车辆的车载设备10所传送的分组的数量的比率与通信网络的拥堵状态相关。
例如,当目标车辆的车载设备10在预定的时间段(例如,100ms)内传送了m个分组并从图像信息处理中心20接收到n个确认信号(ACK信号)时,拥堵度α可通过下式来计算:
α(%)=100×(1-n/m)。
在第三定义中,拥堵度α在图像信息处理中心20中被计算出并由目标车辆的车载设备10从图像信息处理中心20接收。图像信息处理中心20能够通过参考通信信道分配列表来检测通信网络的基站拥堵到何种程度。在图像信息处理中心20中计算出拥堵度α作为空置的通信信道数量与总的通信信道数量的比率,并被传送到车载设备10。
在第一实施例中,拥堵度α根据第三定义在图像信息处理中心20中被计算出,并且然后从图像信息处理中心20被传送到车载设备10。
随后,在步骤S110中确定拥堵度α是否小于10%。如果在步骤S110中确定为拥堵度α小于10%,则过程推进到步骤S120,这里确定为以时间间隔X0传送原始图像(即,未经处理的图像)(例如,从而每秒传送33帧图像)。这是因为,对于小于10%的拥堵度α,通信网络的拥堵度α可以是很小的并且包括图像的信息的传送可不被延迟。
如果在步骤S110中确定拥堵度α等于或大于10%,则过程推进到步骤S130,这里确定拥堵度α是否小于20%。如果在步骤S130中确定为拥堵度α小于20%,则过程推进到步骤S140,这里确定将以预定的时间间隔XO传送经处理的图像A。如图3所示,经处理的图像A是从相应的原始图像中去除噪声而获得的噪音去除的图像。在拥堵度α小于20%但等于或大于10%的情况下,通信网络的拥堵状态可能某种程度上较差。这是为什么每帧传送图像的数据量在步骤S140中被减少的原因。
如果在步骤S130中确定拥堵度α等于或大于20%,则过程推进到步骤S150,这里确定拥堵度α是否小于30%。如果在步骤S150中确定为拥堵度α小于30%,则过程推进到步骤S160,这里确定将以预定的时间间隔X0传送经处理的图像B。如图3所示,经处理的图像B是通过压缩相应的经处理的图像A而得到的压缩的噪音去除的图像,其允许每一帧传送图像的数据量进一步减少。或者,经处理的图像B是通过压缩相应的原始图像而得到的经压缩的图像。
如果在步骤S150中确定拥堵度α等于或大于30%,则过程推进进到步骤S170,这里确定拥堵度α是否小于50%。如果在步骤S170中确定拥堵度α小于50%,则过程推进到步骤S180,这里确定将以预定的时间间隔X1传送原始图像(例如,从而每秒传送10帧图像)。将传送间隔增加到X1允许了每帧传送图像的数据量大大地减少。或者,为了进一步减少每一帧被传送的图像的数据量,可以确定为以预定的时间间隔X1传送经处理的图像A或经处理的图像B。如果在步骤S170中确定拥堵度α等于或大于50%,则过程推进到步骤S190,这里确定将以预定的时间间隔X2传送原始图像(例如,从而每秒传送5帧图像)。执行步骤S190的操作是因为通信网络的拥堵度变得糟糕得多。或者,如在步骤S180中那样,为了进一步减少每一帧被传送的图像的数据量,可以确定以预定的时间间隔X2传送经处理的图像A或经处理的图像B。
在图2的流程图中所示的上述过程允许了根据通信网络的拥堵状态而被确定的合适的数据量减少处理和合适的传送频率,其中,将对被传送的图像应用该合适的数据量减少处理,以该合适的传送频率传送经处理的图像。尽管在步骤S110、S130、S150和S170中使用了特定的标准,其他标准可以用于确定通信网络的拥堵状态。此外,可以更加精细或更加粗略地划分通信网络的拥堵度的整个范围。
图4示出了在车载设备10中所执行的过程的流程图,其中车载设备10根据图2的过程的确定结果将包括图像的信息传送到图像信息处理中心20。
首先,在步骤S200中,控制器14以对应于最小传送时间间隔的时间间隔通过成像单元11、GPS接收器12、车辆接口单元13及其它单元来获得图像(原始图像)和特定的信息。在步骤S210中,确定是否需要处理图像来减少它们的数据量。基于图2的过程的确定结果来执行该操作。更具体地,如果确定将传送原始图像,则确定无需对原始图像进行处理。如果确定为将传送经处理的图像A或经处理的图像B,则确定需要对原始图像进行相应的处理(去除噪声和/或数据压缩)。在步骤S220中,执行原始图像的相应的处理从而获得经处理的图像A或经处理的图像B。
在步骤S230中,基于在图2的过程中所确定的传送时间间隔(或传送频率),确定是否达到传送时间。如果达到传送时间,则原始的或经处理的图像和特定的信息在步骤S240被传送到图像信息处理中心20。如果尚未达到传送时间,则过程结束。
图5示出了一过程的流程图,其中,车载设备10接收基于来自图像信息处理中心20的图像处理的结果的、表示与对象物的碰撞风险大小的信息,并且当接收到的信息显示为目标车辆处于与对象物发生碰撞的较高风险时提醒驾驶员对象物的存在。
在步骤S300中,车载设备10接收基于来自图像信息处理中心20的图像处理的结果的、表示与对象物发生碰撞的风险大小的信息。该信息包括用于在来自车载设备10的图像中指定对象物的特定的信息。当目标车辆与多个对象物存在较高的碰撞风险时,从图像信息处理中心20所接收的信息包括关于各个对象物的信息。
在步骤S310中,基于从图像信息处理中心20所接收的信息,车载设备10确定目标车辆是否处于与对象物发生碰撞的较高的风险。如果确定目标车辆处于与对象物发生碰撞的较高的风险,则过程推进到步骤S320,这里车载设备10通过显示单元16来提醒驾驶员对象物的存在。
现在将参照图6和图7的流程图对在图像信息处理中心20中所执行的过程进行解释。
图6示出了一过程的流程图,其中,图像信息处理中心20从车载设备10接收包括图像的信息,通过对包含在接收到的信息中的图像进行处理来确定与对象物的碰撞风险的大小,并且将确定结果传送到车载设备10。
首先,在步骤S400中,图像信息处理中心20从车载设备10接收一请求以接收包括图像的信息(下文中称为接收请求)。也就是说,车载设备10在传送包括图像的信息之前向图像信息处理中心20发出请求。随后,在步骤S410中,图像信息处理中心20基于空置的通信信道的列表来计算拥堵度α从而将拥堵度α传送给车载设备10。这允许了车载设备10获得表示通信网络的拥堵状态的拥堵度α。
在步骤S420中,图像信息处理中心20从车载设备10接收包括图像和特定信息的信息。随后,在步骤S430中,图像信息处理中心20对接收到的图像进行处理从而提取对其确定碰撞风险的对象物。在该图像处理中,表示非目标车辆的车辆或行人的接收到的图像的一部分可能通过公知的图案匹配等从整个图像中提取出来,或者通过使用用于提取或描述图像特征的技术(例如尺度不变特征转换(SIFT))来识别图像中的对象物。
优选地,在步骤S430中,图像信息处理中心20可以在从图像中提取对象物之前,通过使用作为特定信息的转向角度信息来缩小在其中可能存在用于确定碰撞风险的对象物的图像的一部分,并且可以对经缩小的图像部分应用图像处理。或者,图像信息处理中心20可以从通过图像处理所提取出的对象物中基于转向角度信息来排除可能不出现在目标车辆的行驶方向上的对象物,并在后续过程中仅对没有被排除的对象物进行讨论。这样可以在图像信息处理中心20中,降低处理负载并提高处理速度。
总地说来,在图像中提取并识别用于确定碰撞风险的对象物需要极大的计算量。然而,相较于车载设备10,高性能计算机更易于安装在图像信息处理中心20中。因此,允许以极高的速度执行上述图像处理。此外,上述配置实现了将新且高效的技术结合到所使用的图像处理技术中。
在步骤S440,执行碰撞风险确定过程。在步骤S430中存在从图像所提取的多个对象物的情况下,对于每个所提取的对象物确定碰撞风险。将参考图7在下文中更详细地解释碰撞风险确定过程。
最后,在步骤S450中,图像信息处理中心20将在步骤S440中作出的确定结果传送给车载设备10。
现将参考图7的流程图对碰撞风险确定过程进行解释。
首先,在步骤S500中,从目标车辆到对象物的距离dt计算如下。
如图8所示,当针对其确定碰撞风险的对象物为行驶在目标车辆的前方的车辆(以下简称为前方车辆)时,前方车辆的宽度L2(例如,小型车是1.5m,中型车是1.8m)是已知的。通过将宽度L1预先登录到图像信息处理中心20或通过将包括宽度L1的特定信息传送到图像信息处理中心20,对于图像信息处理中心20而言目标车辆的宽度L1同样会是已知的。
从图8可见,可以满足下式。
d2/d1=L2/L1    (1)
通过下式可以表示从目标车辆到对象物的距离dt。
dt=d1-d2=(1-L2/L1)d1    (2)
在以上等式中,通过从成像单元11到远焦点的距离d0减去从成像单元11到目标车辆的前端的距离来获得从目标车辆的前端到远焦点的距离d1。通过实验可以确定从成像单元11到远焦点的距离d0。也可以预先已知从成像单元11到目标车辆的前端的距离。因此,从目标车辆的前端到远焦点的距离d1也是已知的,这就允许了根据式(2)来计算从目标车辆的前端到对象物的距离dt。当目标车辆装配有雷达单元时,可以将从目标车辆到在目标车辆的前方检测到的障碍物的距离传送到图像信息处理单元20。传送的距离可被用作从目标车辆到对象物的距离。
随后,在步骤S510中,基于作为特定信息的从车载设备10接收到的GPS位置信息的历史来计算目标车辆的速度v。在步骤S520中,确定从目标车辆到对象物的距离dt是否小于距离阈值Dth,即dt<Dth,以及距离dt除以目标车辆的速度v是否小于时间阈值Tth,即dt/v<Tth。如果在步骤S520中确定dt<Dth且dt/v<Tth,则过程推进到步骤S540,这里确定目标车辆处于与对象物发生碰撞的较高风险。如果在步骤S520中确定从目标车辆到对象物的距离dt等于或大于距离阈值Dth,即dt≥Dth,或者距离dt除以目标车辆的速度v等于或大于时间阈值Tth,即dt/v≥Tth,则过程推进到步骤S530,这里确定为目标车辆处于与对象物发生碰撞的较低风险。
当从作为特定信息的制动踏板下压信息中识别出目标车辆的驾驶员已经开始踩下制动踏板,即使在步骤S520中确定dt<Dth且dt/v<Tth的情况下,也可以确定目标车辆处于与对象物发生碰撞的较低风险。
或者,在步骤S520中,计算直至碰撞的时间。通过从目标车辆到对象物的距离dt除以目标车辆相对于对象物的速度v给出直至碰撞的时间,其中,可以由图像上对象物位置的变化来确定对象物的速度。然后,可以确定直至碰撞的时间是否小于时间阈值Tth。
在步骤S550中,将在步骤S530或S540中作出的确定结果传送给车载设备10。
在上述的本实施例的车辆驾驶***中,图像处理并未在车载设备10中执行,而是在目标车辆外部的图像信息处理中心20中执行。采用这样的配置,车载设备10仅需能够传送包括图像的信息并基于从图像信息处理中心20接收到的信息提醒目标车辆的驾驶员碰撞风险。此外,高性能计算机易于安装在图像信息处理中心20中。使用高性能计算机来执行图像处理可导致对可能与目标车辆发生碰撞的对象物的快速且准确的检测。也就是说,在车载设备10中不使用高性能计算机的情况下,实际的驾驶辅助成为可能。
(第二实施例)
现将参考附图对本发明的第二实施例进行解释。将仅对第二实施例与第一实施例的不同之处进行解释。
图9A示出了控制器14的功能框图。控制器14包括:传送控制141,其通过执行储存在ROM等中的规定的计算机程序来实现并允许控制器14用作传送控制单元;以及拥堵状态检测器142,其也通过执行储存在ROM等中的规定的计算机程序来实现并允许控制器14用作拥堵状态检测单元。传送控制141配置为选择数据量减少处理和/或传送频率,并且对待传送的图像应用所选择的数据量减少处理,其中,该数据量减少处理将应用于待传送的图像,根据通信网络的拥堵状态以该传送频率来传送经处理的图像(通过对原始图像应用选择的数据量减少处理而获得的图像)。拥堵状态检测器142配置为检测车载无线电设备15与中心侧通信单元21之间的通信网络的拥堵状态。
图9B示出了图像信息处理中心20的计算机22的功能框图。计算机22包括图像处理器221,其通过执行储存在ROM等中的规定的计算机程序来实现并允许计算机22用作图像处理单元。图像处理器221配置为对从目标车辆接收到的图像应用预定义的图像处理。
图10示出了一过程的流程图,在该过程中选择数据量减少处理和传送频率,其中,对待传送的图像应用该数据量减少处理,以该传送频率从车载设备10传送经处理的图像(通过对原始图像应用所选择的数据量减少处理而获得的图像)。在本实施例中,根据拥堵度α的第一或第二定义在车载设备10中计算通信网络的拥堵度α。除了以下方面之外图10的过程与图2的过程类似,在步骤S1000中,在车载设备10中计算通信网络的拥堵度α。图10的过程的后续操作与图2的流程的操作相同。
图11示出了一过程的流程图,在该过程中,图像信息处理中心20从车载设备10接收包括图像的信息,通过对包含在接收到的信息中的图像应用图像处理来确定与对象物的碰撞风险的大小,并且将确定结果传送给车载设备10。在本实施例中,除了没有执行步骤S400、S410中的操作以外,图11的过程与图6的过程类似。
在第二实施例中,在车载设备10中计算通信网络的拥堵度α,除此以外,第二实施例与第一实施例类似。因此,第二实施例能够提供与第一实施例相似的优点。采用第二实施例的配置,车载设备10仅需能够计算通信网络的拥堵度α,传送包括图像的信息,并基于从图像信息处理中心20接收到的信息提醒目标车辆的驾驶员碰撞风险。
(其他实施例)
现在将对不背离本发明的精神和范围的情况下可被设计出的其他实施例进行解释。将仅对与上述实施例的不同之处进行解释。
在上述实施例中,距离阈值Ddth和时间阈值Tth是时间的常数。或者,因为车载设备10和图像信息处理中心20相互通信所需要的通信时间可以随着取决于通信网络的拥堵状态的时间而变化,所以距离阈值Ddth和时间阈值Tth可以根据通信网络的拥堵状态而随着时间改变。更具体地,距离阈值Ddth和时间阈值Tth随着通信网络的拥堵状态的恶化而增加。这样即使当车载设备10与图像信息处理中心20之间的通信时间有所增加时,也能够防止提醒驾驶员的时间被延迟。

Claims (10)

1.一种车辆驾驶辅助***,包括:
成像单元(11),其安装在车辆中并且配置为拍摄所述车辆的周围的图像;
车辆侧通信单元(15),其安装在所述车辆中并配置为将包括由所述成像单元(11)拍摄的所述图像的信息传送到所述车辆外部的信息处理中心(20);
图像处理单元(221),其包括在所述信息处理中心(20)中并配置为对从所述车辆接收到的所述图像应用预定义的图像处理;
中心侧通信单元(21),其包括在所述信息处理中心(20)中并配置为将表示通过图像处理单元(22)的图像处理的结果的信息传送到所述车辆;以及
驾驶辅助单元(16),其安装在所述车辆中并配置为基于表示通过所述图像处理单元(22)的所述图像处理的所述结果的所述信息来执行用于辅助驾驶所述车辆的操作。
2.如权利要求1所述的***,进一步包括:
拥堵状态检测单元(222,S410),其包括在所述信息处理中心(20)中并配置为检测所述车辆侧通信单元(15)与所述中心侧通信单元(21)之间的通信网络的拥堵状态;以及
传送控制单元(141,S110-S190),其安装在所述车辆中并配置为选择数据量减少处理和传送频率,其中,将对由所述车辆侧通信单元(15)传送的信息应用所述数据量减少处理,根据由所述拥堵状态检测单元(222,S410)检测的所述通信网络的所述拥堵状态、以所述传送频率来传送经处理的信息。
3.如权利要求1所述的***,进一步包括:
拥堵状态检测单元(142,S1000),其安装在所述车辆中并配置为检测所述车辆侧通信单元(15)与所述中心侧通信单元(21)之间的通信网络的拥堵状态;以及
传送控制单元(141,S110-S190),其安装在所述车辆中并配置为选择数据量减少处理以及传送频率,其中,将对由所述车辆侧通信单元(15)传送的信息应用所述数据量减少处理,根据由所述拥堵状态检测单元(142,S1000)检测的所述通信网络的所述拥堵状态、以所述传送频率来传送所述经处理的信息。
4.如权利要求2或3所述的***,其中,所述传送控制单元(141,S110-S190)配置为选择将对由所述车辆侧通信单元(15)传送的所述信息应用的数据量减少处理,从而使得包括在所述信息中的所述图像的数据量随着恶化的拥堵状态而减少。
5.如权利要求4所述的***,其中,通过从包括在所述信息中的图像去除噪声来减少包括在所述信息中的所述图像的所述数据量。
6.如权利要求4所述的***,其中,通过压缩包括在所述信息中的所述图像来减少包括在所述信息中的所述图像的数据量。
7.如权利要求4所述的***,其中,通过从包括在所述信息中的所述图像去除噪声并随后压缩经噪音去除的图像来减少包括在所述信息中的所述图像的数据量。
8.如权利要求2或3所述的***,其中,所述传送控制单元(141,S110-S190)配置为确定将由所述车辆侧的通信单元(15)传送的所述信息的传送频率,从而使得所述传送频率随着恶化的拥堵状态而减小。
9.如权利要求1所述的***,其中
从所述车辆侧通信单元(15)传送到所述信息处理中心(20)的所述信息进一步包括:表示所述车辆的驾驶状况的信息,
所述图像处理单元(221)配置为:基于从所述车辆接收的所述图像和所述车辆的驾驶状况,指定可能与所述车辆发生碰撞的障碍物,并且确定与所述障碍物的碰撞风险是高或低,并且
所述驾驶辅助单元(16)配置为:当确定与所述障碍物的碰撞风险是高时,辅助驾驶所述车辆从而避免与所述障碍物的碰撞。
10.如权利要求9所述的***,进一步包括:
拥堵状态检测单元(222,S410),其包括在所述信息处理中心(20)中并配置为检测所述车辆侧通信单元(15)与所述中心侧通信单元(21)之间的通信网络的拥堵状态;
其中,所述图像处理单元(221)配置为改变用于根据由所述拥堵状态检测单元(222,S410)检测的所述通信网络的所述拥堵状态来确定与所述对象物的碰撞风险为高或低的标准。
CN201310757009.2A 2012-10-17 2013-10-17 使用图像信息的车辆驾驶辅助*** Pending CN103813140A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-230108 2012-10-17
JP2012230108A JP2014081831A (ja) 2012-10-17 2012-10-17 画像情報を用いた車両用運転支援システム

Publications (1)

Publication Number Publication Date
CN103813140A true CN103813140A (zh) 2014-05-21

Family

ID=50474995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310757009.2A Pending CN103813140A (zh) 2012-10-17 2013-10-17 使用图像信息的车辆驾驶辅助***

Country Status (3)

Country Link
US (1) US20140104408A1 (zh)
JP (1) JP2014081831A (zh)
CN (1) CN103813140A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548644A (zh) * 2016-11-30 2017-03-29 深圳明创自控技术有限公司 一种自动驾驶***
CN106683401A (zh) * 2015-11-11 2017-05-17 丰田自动车株式会社 车辆用图像数据传输装置
CN107547784A (zh) * 2016-06-28 2018-01-05 株式会社电装 相机***
CN107662608A (zh) * 2016-07-29 2018-02-06 罗伯特·博世有限公司 用于执行车辆中的功能的方法
CN108140320A (zh) * 2015-10-30 2018-06-08 三菱电机株式会社 通知控制装置及通知控制方法
CN108202668A (zh) * 2016-12-20 2018-06-26 丰田自动车株式会社 图像显示装置
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的***和方法
CN110412983A (zh) * 2019-08-01 2019-11-05 北京百度网讯科技有限公司 一种车辆避碰的检测方法及装置、车辆
CN110663072A (zh) * 2017-05-22 2020-01-07 三菱电机株式会社 位置估计装置、位置估计方法以及位置估计程序
CN110858445A (zh) * 2018-08-23 2020-03-03 丰田自动车株式会社 信息***、信息处理方法以及非临时性存储介质
CN111527745A (zh) * 2017-12-29 2020-08-11 伟摩有限责任公司 高速图像读出和处理
CN112312078A (zh) * 2019-07-31 2021-02-02 丰田自动车株式会社 信息处理设备、信息处理方法以及非暂时性计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014113957A1 (de) * 2014-09-26 2016-03-31 Connaught Electronics Ltd. Verfahren zum Konvertieren eines Bilds, Fahrerassistenzsystem und Kraftfahrzeug
DE102015112289A1 (de) * 2015-07-28 2017-02-02 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015226116A1 (de) * 2015-12-18 2017-06-22 Robert Bosch Gmbh Verfahren zum Bewerten einer durch zumindest einen Sensor eines Fahrzeugs erfassten Gefahrensituation, Verfahren zum Steuern einer Wiedergabe einer Gefahrenwarnung und Verfahren zum Wiedergeben einer Gefahrenwarnung
JP6643166B2 (ja) * 2016-03-31 2020-02-12 株式会社デンソー 物体認識装置及び物体認識方法
JP7251120B2 (ja) * 2018-11-29 2023-04-04 トヨタ自動車株式会社 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
CN109472251B (zh) * 2018-12-16 2022-04-05 华为技术有限公司 一种物体碰撞预测方法及装置
JP7099338B2 (ja) * 2019-01-18 2022-07-12 トヨタ自動車株式会社 サーバ、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
JP6758438B2 (ja) * 2019-01-23 2020-09-23 三菱電機株式会社 車両制御装置および車両制御方法
JP2022053086A (ja) * 2020-09-24 2022-04-05 トヨタ自動車株式会社 自己位置推定システム及び自己位置推定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1375966A (zh) * 2001-03-21 2002-10-23 株式会社Ntt都科摩 用实时包传输状态和传输路径阻塞状态的通信质量控制
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
CN102378999A (zh) * 2009-04-06 2012-03-14 海拉胡克双合有限公司 提供至少一项驾驶员辅助功能的数据处理***和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001018717A (ja) * 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd 運転車両周辺監視装置
US9113846B2 (en) * 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
JP4731120B2 (ja) * 2003-03-17 2011-07-20 アルパイン株式会社 端末装置およびメニュー画面表示方法
JP4522835B2 (ja) * 2004-12-07 2010-08-11 三菱電機株式会社 画像伝送装置及び画像監視システム
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
JP5347531B2 (ja) * 2009-01-27 2013-11-20 トヨタ自動車株式会社 車両用走行制御装置
US9391853B2 (en) * 2009-12-23 2016-07-12 Apple Inc. Efficient service advertisement and discovery in a peer-to-peer networking environment with dynamic advertisement and discovery periods based on operating conditions
JP2011134087A (ja) * 2009-12-24 2011-07-07 Equos Research Co Ltd 運転アシストシステム
EP2402226B1 (en) * 2010-07-02 2014-03-05 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
JP2012126193A (ja) * 2010-12-14 2012-07-05 Denso Corp 駐車場の自動駐車システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1375966A (zh) * 2001-03-21 2002-10-23 株式会社Ntt都科摩 用实时包传输状态和传输路径阻塞状态的通信质量控制
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
CN102378999A (zh) * 2009-04-06 2012-03-14 海拉胡克双合有限公司 提供至少一项驾驶员辅助功能的数据处理***和方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140320A (zh) * 2015-10-30 2018-06-08 三菱电机株式会社 通知控制装置及通知控制方法
CN108140320B (zh) * 2015-10-30 2021-11-05 三菱电机株式会社 通知控制装置及通知控制方法
US10255803B2 (en) 2015-11-11 2019-04-09 Toyota Jidosha Kabushiki Kaisha Vehicle image data transmission device
CN106683401A (zh) * 2015-11-11 2017-05-17 丰田自动车株式会社 车辆用图像数据传输装置
CN107547784A (zh) * 2016-06-28 2018-01-05 株式会社电装 相机***
CN107547784B (zh) * 2016-06-28 2021-04-13 株式会社电装 相机***
CN107662608A (zh) * 2016-07-29 2018-02-06 罗伯特·博世有限公司 用于执行车辆中的功能的方法
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的***和方法
CN106548644A (zh) * 2016-11-30 2017-03-29 深圳明创自控技术有限公司 一种自动驾驶***
CN108202668A (zh) * 2016-12-20 2018-06-26 丰田自动车株式会社 图像显示装置
CN108202668B (zh) * 2016-12-20 2021-06-29 丰田自动车株式会社 图像显示装置
CN110663072A (zh) * 2017-05-22 2020-01-07 三菱电机株式会社 位置估计装置、位置估计方法以及位置估计程序
CN111527745A (zh) * 2017-12-29 2020-08-11 伟摩有限责任公司 高速图像读出和处理
CN110858445A (zh) * 2018-08-23 2020-03-03 丰田自动车株式会社 信息***、信息处理方法以及非临时性存储介质
CN112312078A (zh) * 2019-07-31 2021-02-02 丰田自动车株式会社 信息处理设备、信息处理方法以及非暂时性计算机可读存储介质
CN110412983A (zh) * 2019-08-01 2019-11-05 北京百度网讯科技有限公司 一种车辆避碰的检测方法及装置、车辆

Also Published As

Publication number Publication date
JP2014081831A (ja) 2014-05-08
US20140104408A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
CN103813140A (zh) 使用图像信息的车辆驾驶辅助***
JP4040441B2 (ja) 車両用通信装置
CN111332309B (zh) 驾驶员监视***及其操作方法
JP4812343B2 (ja) 運転傾向推定装置及び運転支援装置
CN110395253B (zh) 车辆控制装置以及计算机可读存储介质
US11100803B2 (en) Method and apparatus for analyzing driving tendency and system for controlling vehicle
JP2015230579A (ja) 事故画像取得システム
US10543837B2 (en) Mitigating bodily injury in vehicle collisions by reducing the change in momentum resulting therefrom
CN110895738A (zh) 驾驶评价装置、驾驶评价***、驾驶评价方法及存储介质
CN112677965B (zh) 车辆控制装置、车辆控制方法及存储介质
US10762778B2 (en) Device, method, and computer program for capturing and transferring data
JP7070664B2 (ja) システム、そのサーバコンピュータ、制御方法及びコンピュータプログラム
CN110816524B (zh) 车辆控制装置、车辆控制方法及存储介质
JP5926978B2 (ja) ドライブレコーダ
JP2019003343A (ja) 運転支援装置および運転支援方法
CN113853639A (zh) 外部环境识别装置
CN114973178A (zh) 模型训练方法、物体识别方法、装置、车辆及存储介质
US11252380B2 (en) Road management system
JP2022054296A (ja) 運転評価装置、運転評価システム、及び運転評価プログラム
JP5621391B2 (ja) 車間距離検知装置及び車間距離検知方法
CN115257628B (zh) 车辆控制方法、装置、存储介质、车辆及芯片
CN116564077B (zh) 基于通信网络和数据管理技术的交通状况检测方法、装置和介质
JP6394219B2 (ja) 通信制御装置および通信制御方法
CN115131958B (zh) 拥堵路况推送方法、装置、电子设备和存储介质
CN111754763B (zh) 道路管理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140521