CN101512617B - 行驶信息提供装置 - Google Patents
行驶信息提供装置 Download PDFInfo
- Publication number
- CN101512617B CN101512617B CN2007800327596A CN200780032759A CN101512617B CN 101512617 B CN101512617 B CN 101512617B CN 2007800327596 A CN2007800327596 A CN 2007800327596A CN 200780032759 A CN200780032759 A CN 200780032759A CN 101512617 B CN101512617 B CN 101512617B
- Authority
- CN
- China
- Prior art keywords
- visible distance
- driver
- information
- unit
- safety verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims description 68
- 238000012795 verification Methods 0.000 claims description 65
- 230000002093 peripheral effect Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 31
- 230000004438 eyesight Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 19
- 238000012790 confirmation Methods 0.000 abstract 6
- 230000010365 information processing Effects 0.000 description 47
- 238000012546 transfer Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 13
- 230000003068 static effect Effects 0.000 description 11
- 230000000903 blocking effect Effects 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 9
- 239000003086 colorant Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000005755 formation reaction Methods 0.000 description 2
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000010415 tropism Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
公开了行驶信息提供装置,不仅通过驾驶者的注目进行对于安全确认对象物的识别,并且通过包括驾驶者的周围视觉进行的识别而正确地判定驾驶者对于安全确认对象物的识别,从而确保行驶车辆的安全性。在该装置中,周围信息收集单元(120)获得被装载该装置的本车辆的周围状况的周围信息。对象物提取单元(130)从由周围信息收集单元(120)获得的周围信息中,提取本车辆的驾驶者所进行的安全确认的对象即安全确认对象物。视线检测单元(110)检测驾驶者的视线方向。提取出的安全确认对象物以及驾驶者的视线方向被输入到视认度计算单元(140),视认度计算单元根据从驾驶者的视线方向到对象物的距离或者角度,计算考虑了对于所述安全确认对象物的驾驶者的周围视觉的视认度。基于该计算出的所述视认度,信息提示单元(170)对驾驶者进行安全确认的提示。
Description
技术领域
本发明涉及利用了驾驶者的视线的行驶信息提供装置。
背景技术
以往提出了各种各样的装置,根据本车辆周围的对象物的方向和驾驶者的视线方向,判定对于对象物的驾驶者的识别程度,以在识别度较低时提示警告信息。
例如,如专利文献1所示的行驶信息提供装置,计算驾驶者的注视方向与驾驶者在驾驶时应当安全确认的需要注视方向是否一致的注视频度,从而基于该注视频度决定应当通知驾驶者的信息的通知等级。
也就是说,该行驶信息提供装置只以驾驶者注视的注视点为基准,利用驾驶者的注视点和为了安全确认而对于需要的对象物的注视点,判断对于对象物的识别的程度。另外,注视点是表示用双眼注视于一个物体时的点。
由此,对于驾驶者未视认的状况,确实地通知恰当的信息,同时对于判定为驾驶者正在视认的信息,根据识别程度的高低而降低通知级别,从而减少烦扰驾驶者。
[专利文献1]日本专利第2929927号公报
发明内容
但是,一般而言,在视觉信息中,以接近于通过视力检查测量的视力的分辨率可看到的部分,为在注视点的周围约两度左右。将以该分辨率较高部分观看称为中心视觉。另外,已知对于中心视野周围(以注视点为中心10度到20度的范围的视野)的对象物,也能够瞬间感受其信息,从而掌握物体大体的形状。另外,这里将观察这样的中心视觉的中心即注视点的周围(邻接中心视觉)称为周围视觉。可考虑在识别该对象物时,不仅是中心视觉,该周围视觉也起到重要的作用。
但是,在现有的行驶信息提供装置中,通过注视点与需要注视方向之间 的一致频度来判定是否视觉识别了对象物,而未考虑人的周围视野所产生的识别。因此存在如下的问题:对以中心视觉未识别但通过周围视觉识别的对象物,也有可能错误判定为未识别,根据该判定,发生繁杂的警报,从而导致有可能妨碍确保行驶车辆中的安全性。
另外,在十字路口右转弯时人行横道上存在多个行人的情况等存在多个需要注视的对象物的情况下,现有的行驶信息提供装置有可能将以周围视觉确认了的对象物,也判定为注视频度较低的对象物。因此,存在如下问题:根据该判定,发生多个繁杂的警报,从而妨碍确保行驶车辆的安全性。
本发明的目的在于提供行驶信息提供装置,其不仅通过驾驶者的注目进行对于安全确认对象物的识别,并且通过包括驾驶者的周围视觉进行的识别而正确地判定驾驶者的对于安全确认对象物的识别,从而确保行驶车辆的安全性。
本发明的行驶信息提供装置采用的结构包括:周围信息收集单元,获得被装载该行驶信息提供装置的本车辆的周围状况的周围信息;对象物提取单元,从由周围信息收集单元获得的所述周围信息中,提取所述本车辆的驾驶者所进行的安全确认的对象即安全确认对象物;视线检测单元,检测所述驾驶者的视线方向;视认度计算单元,使用所检测的所述安全确认对象物以及所述驾驶者的视线方向,根据从驾驶者的视线方向到对象物的距离或者角度,计算考虑了对于所述安全确认对象物的驾驶者的周围视觉的视认度;以及提醒/控制单元,基于计算出的所述视认度,进行安全确认的提醒或者车辆的驾驶状态的控制。
发明效果
根据本发明,可以不仅通过驾驶者的注视进行对于安全确认对象物的识别,并且通过包括驾驶者的周围视觉进行的识别而正确地判定驾驶者对于安全确认对象物的识别,由此确保行驶车辆的安全性。
附图说明
图1是本发明的实施方式1的驾驶支援装置的方框图。
图2是表示一例在本发明的实施方式1的驾驶支援装置中计算视认度时使用的、表示离开注视点的角度与视认度之间的关系的曲线的图。
图3是表示另外一例在本发明的实施方式1的驾驶支援装置中计算视认 度时使用的、表示离开注视点的角度与视认度之间的关系的曲线的图。
图4是表示本发明的实施方式1的驾驶支援装置的动作的流程图。
图5A~图5H是本发明的实施方式1的累计视认度计算方法的示意图。
图6是表示一例在本发明实施方式1的驾驶支援装置中通过信息提示单元提示的提示信息的图。
图7是表示一例在本发明实施方式1的驾驶支援装置中通过信息提示单元提示的提示信息的图。
图8是本发明的实施方式2的驾驶支援装置的方框图。
图9是表示一例在本发明实施方式2的驾驶支援装置中计算被加进了周围视野的视认度时使用的曲线的图。
图10是表示本发明的实施方式2的驾驶支援装置的动作的流程图。
图11是本发明的实施方式3的驾驶支援装置的方框图。
图12是表示本发明的实施方式3的驾驶支援装置的动作的流程图。
图13A~图14B是表示在本发明实施方式3的驾驶支援装置中将对象物通过对象物分类单元进行分类的处理的示意图。
图14A~图15B是表示在本发明实施方式3的驾驶支援装置中将对象物通过对象物分类单元进行分类的处理的示意图。
图15A~图15B是表示一例在信息提示单元中提示的提示信息、是表示一例对应于累计视认度的对象物群的提示的示意图。
图16A~图16B是表示另外一例在信息提示单元中提示的提示信息的图,是表示另外一例对应于累计视认度的对象物群的提示的示意图。
图1 7是表示本发明的实施方式2的驾驶支援装置的变形例的方框图。
图18是表示本发明的实施方式2的驾驶支援装置的变形例的动作的流程图。
具体实施方式
以下,参照附图详细地说明本发明的实施方式。另外,在本实施方式中,将行驶信息提供装置作为驾驶支援装置进行说明,其通过将驾驶者的视觉识别状态作为行驶信息提供给驾驶者来支援驾驶。
(实施方式1)
图1是表示本发明实施方式1的驾驶支援装置(行驶信息提供装置)100的结构的方框图。
图1所示的驾驶支援装置100在这里是被装载于车辆的装置,包括:视线检测单元110、周围信息收集单元120、对象物提取单元130、视认度计算单元140、累计视认度计算单元150、提示信息处理单元160、以及信息提示单元170。
视线检测单元110利用由视线信息获得单元102获得的驾驶者的视线信息检测驾驶者的视线方向(或者驾驶者在观察的点即注视点),并将其输出到视认度计算单元140。
视线信息获得单元102为用于获得驾驶者实际观察的方向的单元,为了拍摄驾驶者的视线方向而设置在车辆内部,适用获得驾驶者的眼球图像的眼部摄像机(eye camera)等。此时,视野检测单元110分析由眼部摄像机拍摄的眼球图像,能够检测安装了该摄像机的被验者的眼球运动/视线,同时检测注视点。
另外,视线信息获得单元102也可以在使用眼部摄像机的同时,使用方向性红外线感应器,以获得驾驶者的面部方向数据,在该情况下,视野检测单元110将来自眼部摄像机的以面部为基准的视线方向数据变换为方向性红外线感应器面部方向数据的坐标系,合成这两种方向数据,在检测驾驶者实际观察的视线方向(中心视觉方向)的同时检测注视点。
周围信息收集单元120为用于收集本车辆周围的信息的单元,例如由拍摄车辆的周围图像的车载摄像机,检测车辆周围的物体的方向、距离以及相对速度等的具有方向性的超声波感应器,以及检测车辆的行驶状态的感应器等构成,将这些收集到的本车辆周围的信息作为周围信息输出到对象物提取单元130。另外,该周围信息收集单元120只要是收集本车辆周围的信息的单元,无论怎样地构成都可以。
对象物提取单元130根据从周围信息收集单元120输入的周围信息,提取在驾驶车辆的过程中作为应当确认安全的对象的对象物,并将其输出到视认度计算单元140,所述对象为相向车辆等其它车辆、行人、二轮车等移动物体,以及标识/标示、信号灯、人行横道、暂停线等交通环境对象物等。
具体而言,对象物提取单元130通过图像处理等提取交通环境对象物等的中心位置的相对距离、相对角度。另外,假设根据对象物的中心坐标等基 准点、以及预先设定的本车辆的中心或者驾驶席的位置等基准点来计算对象物的相对角度。
视认度计算单元140利用从视线检测单元110以及对象物提取单元130输入的信息,根据从视线/注视点到各个对象物的距离或者角度,计算某一时刻的每个对象物的、表示驾驶者的识别程度的视认度,并将其输出到累计视认度计算单元150。
对于由视认度计算单元140计算出的视认度而言,作为决定视认度的基准,除了所输入的视线以及注视点,还包含根据视线以及注视点计算出的周围视野。周围视野是可瞬间进行信息感受的视野,指以注视点为中心约10至20度的范围。
换言之,视认度是使用了包括注视点、以及注视点附近的视觉范围即周围视野的视野的视认度程度。
视认度计算单元140具有存储器142,视认度计算单元140通过在该存储器142中所存储的、表示注视点与视认度之间的关系的表,以及所输入的视线和注视点,计算对于视线以及注视点的对象物的视认度。
图2是表示一例在本发明的实施方式1的驾驶支援装置中,在计算被加进了周围视野的视认度时使用的表,同时是一例表示视认度计算单元140的存储器142所具有的、离开注视点的角度与视认度之间的关系的表的图。
另外,在图2中,横轴表示离开注视点的角度,纵轴表示视认度程度,曲线G1将驾驶者的视认度根据离开注视点的角度如何变化作为连续的值的变化来表示。以下,将该曲线G1称为视认度曲线G1。
例如,当被输入对于对象物A的视线以及注视点,离开对象物A的注视点的角度为角度θA时,视认度计算单元140使用存储器142的视认度曲线G1,计算视认度RA作为对象物A的视认度。
图3是表示另外一例在本发明的实施方式1的驾驶支援装置中,计算被加进了周围视野的视认度时使用的表,同时是表示另外一例视认度计算单元140的存储器142所具有的离开注视点的角度与视认度之间的关系的表的图。
在图3所示的表中,对于离开注视点的角度,按每个规定范围设定视认度。在图3中,对离开注视点的角度θ满足θ≤θ1的对象物赋予视认度1.0,在θ1<θ<θ2时设视认度为0.5,在θ≤θ2时视为处于可视觉识别的视野的范围外,设视认度为0。
由此,在视认度计算单元140中,计算还被加进了离开注视点的周围视野中的识别的视认度。
因此,当对象物信息以及视线信息被输入,视认度计算单元140对该时刻的所有的对象物计算驾驶者的视认度。
累计视认度计算单元150对每个对象物累计从视认度计算单元140输入的视认度,从而计算累计视认度并将其作为每个对象物的累计值,输出到提示信息处理单元160。
提示信息处理单元160根据所输入的每个对象物的累计值,判断/变更/设定要输出的提示信息,并将提示信息输出到信息提示单元170。
提示信息处理单元160包括作为计时单元的计时器162,在利用该计时器162判定为经过了规定时间时,进行与从累计视认度计算单元150输入的累计视认度对应的信息的设定、提示的处理。
另外,提示信息处理单元160在判定为经过了规定时间时,利用所输入的累计视认度,判定是否进行信息的提示。具体而言,判定是否满足由信息提示单元170所提示的定时(timing)。
另外,提示信息处理单元160通过视认度判定单元164判定与该累计视认度对应的对象物的驾驶者的视认度程度(视认度判定)。例如,利用预先设定的基准值,当累计视认度在基准值(例如1)以上时,判断为驾驶者识别该累计视认度的对象物,而当不足该基准值时,判断为驾驶者未识别该累计视认度的对象物。
另外,在对应于所输入的累计视认度进行信息的提示时,提示信息处理单元160通过提示信息设定单元166,设定/变更与该累计视认度对应的提示信息,并将设定/变更了的提示信息输出到信息提示单元170。也就是说,提示信息处理单元160在提示信息设定单元166中,具有根据对每个安全确认对象物计算出的累计视认度,变更安全确认的提醒对象的功能。
另外,假设在提示信息处理单元160中所设定的提示信息与在信息提示单元170所提示的形态对应。例如,信息提示单元170为使用了显示面板等的显示装置的情况下,作为显示在该显示面板的显示图像被设定,另外,信息提示单元170若为扬声器等发声装置,则将提示信息设定为语音数据。
信息提示单元170进行在提示信息处理单元160中设定的信息的提示,通过该提示,提醒有关被装载了驾驶支援装置的车辆的行驶的安全确认。
这里,假设信息提示单元170具备装载于车辆的显示面板(显示部件),进行用于使车辆的驾驶者确认是否看漏了作为安全确认对象的对象物的显示。另外,该信息提示单元170也可以由发出警告音、警告语音等来通知驾驶者的发声装置构成。另外,还可以采用向相向车、行人等通知被装载了驾驶支援装置100的车辆的驾驶者漏看了的事实的通知装置。
通过提示信息处理单元160和信息提示单元170构成提醒/控制单元180,以基于计算出的视认度或者累计视认度,对驾驶者进行安全确认的提醒或者进行车辆(这里为本车辆)的驾驶状态的控制。另外,在进行车辆的驾驶状态的控制的情况下,提醒/控制单元180根据对应于累计视认度进行的视认度判定,例如控制车辆的制动器、方向盘、油门等,由此确保行驶车辆的安全性。
在提醒/控制单元180进行车辆的驾驶状态的控制的情况下,在提示信息处理单元160中,提示信息设定单元166根据对每个安全确认对象物计算出的累计视认度,设定/变更车辆的驾驶状态的控制对象(制动器、方向盘、油门等)。利用该设定/变更,提醒/控制单元180对控制对象进行控制。另外,作为控制对象的车辆,虽然这里采用本车辆,但是也可以采用未被装载驾驶支援装置100的车辆。
接下来,利用图4说明本发明的实施方式1中的驾驶支援装置中的动作。图4是表示本发明的实施方式1的驾驶支援装置的动作的流程图。
如图4所示,在步骤S11中,装载了驾驶支援装置100的车辆中,周围信息收集单元120通过摄像机等收集周围视频(周围信息)作为行驶中的本车辆周围(周围状况)的信息,并且视线检测单元110利用由视线信息获得单元102获得的驾驶者的视线信息,进行驾驶者的视线方向(以及注视点)的检测,然后转移到步骤S12。另外,该周围状况的获得与视线方向的检测在大致相同的定时进行。
在步骤S12中,对象物提取单元130根据获得的周围信息(周围视频),通过图像处理等提取其它车辆、行人、二轮车等移动物体,以及标识/标示、信号灯、人行横道、暂停线等交通环境对象物等的中心位置的相对距离、相对角度,然后转移到步骤S13。
在步骤S13中,当对象物信息以及视线信息被输入,视认度计算单元140对该时刻的所有的对象物计算驾驶者的视认度,然后转移到步骤S14。
详细地说,在步骤S13中,视认度计算单元140使用所输入的视线方向的角度以及各个对象物相对于本车辆的相对角度,根据视线与对象物的角度差分(或者离开注视点的图像上的距离),计算某一时刻的每个对象物的视认度。
在步骤S14中,累计视认度计算单元150在规定期间,对每个同一对象物累计所输入的某一时刻的每个对象物的视认度,从而计算每个对象物的累计视认度,然后转移到步骤S15。
在步骤S15中,提示信息处理单元160判定是否经过了规定时间,若经过了规定时间,则转移到步骤S16,若未经过规定时间,则转移到步骤S17,若车辆的驾驶未结束,则返回到步骤S11。另外,在步骤S15中所判定的规定时间是指为了对计算出的视认度进行累计而预先设定的时间。
另外,根据车辆的引擎是否停止等,进行在步骤S17中的结束车辆驾驶的判定,如果引擎停止,则处理结束。
这样,视认度计算单元140以及累计视认度计算单元150在提示信息处理单元160中,在规定时间内,连续进行视认度的计算以及累计视认度的计算,直到判定经过了规定时间为止。
这里,说明直到判定经过了规定时间为止即规定时间经过为止的、视认度计算单元140中的视认度计算处理以及累计视认度计算单元150中的累计视认度计算处理。
图5是示意性地表示驾驶中的注视点的变化的图,同时是一例将驾驶中的注视点的变化中的视认度以及累计视认度,与驾驶者所观察的场景一并表示的图。
另外,这里,方便起见,将计算累计视认度时使用的视认度,设为利用图3所示的视认度曲线通过视认度计算单元140计算出的视认度。也就是说,如图3所示,将离开注视点的角度θ满足θ≤θ1的对象物的视认度设为1.0,在θ1<θ<θ2时设视认度为0.5,在θ≤θ2时设视认度为0。
以图5A、图5C、图5E、图5G的顺序表示的场景,表示一例在规定期间,行驶在十字路口31的车辆的驾驶者所观察的场景,即一例在规定期间中的注视点的变化。另外,如图5所示,设驾驶者的注视点为2 1,设满足θ≤θ1的范围为中心视野22,设满足θ1<θ<θ2的范围为周围视野23,设中心视野的视认度为1.0,设周围视野的视认度为0.5。
在图5A所示的场景1中,通过视认度计算单元140计算相向车(对象物)32的视认度为0.5,行人(对象物)33的视认度为0,在累计视认度计算单元150对计算出的作为视认度的对象的、各个对象物的累计视认度进行计算。
如图5B所示,对于在该图5A的场景1中计算出的视认度而言,作为所计算出的相向车32的0.5的视认度以及行人33的0.0的视认度存储在存储器142中。另外,此时还未对各个对象物的视认度进行累计,所以此时的相向车以及行人的累计视认度,作为相向车为0.5、行人为0.0而被存储在存储器142中。
其后,注视点21从图5A所示的状态变化为图5C所示的状态。这里,注视点21与相向车32重合,驾驶者注视着相向车32。于是,伴随于此,相向车32的视认度被输入到累计视认度计算单元150,对先前(图5A的状态)的每个对象物,与同一对象物的视认度相加,从而计算各自的累计视认度。在图5C的状态中,如图5D所示,视认度计算单元140计算相向车32的视认度为1.0,行人33的视认度为0.0,累计视认度计算单元150对每个对象物累计视认度,计算相向车32的视认度为1.5,行人33的视认度为0.0。
接下来,注视点21从图5C所示的状态变化为图5E所示的状态。在图5E中,注视点21既未朝向作为这里的例子举出的相向车32以及行人33中的任一个,它们也未被作为周围视觉。
因此,在图5E的状态中,如图5F所示,视认度计算单元140计算相向车32的视认度为0.0,行人33的视认度为0.0,累计视认度计算单元150对每个对象物累计视认度,计算相向车32的视认度为1.5,行人33的视认度为0.0。也就是说,因为这里相向车32以及行人33的双方都未被计算视认度,所以为与图5D所示的累计视认度相同的数值(相向车的累计视认度为1.5,行人的累计视认度为0.0)。
其后,注视点21从图5E所示的状态变化为图5G所示的状态。这里,因为注视点21位于行人33的附近,周围视野23内存在行人33,视认度计算单元140计算相向车32的视认度为0.0,行人33的视认度为0.5(参照图5H),累计视认度计算单元150对先前(图5F)的状态中的每个对象物,与同一对象物的视认度相加,从而计算各自的累计视认度。如图5H所示,累计视认度计算单元150对每个对象物累计视认度,也就是说将相向车的0.0的视认度、行人的0.5的视认度与先前为止的1.5、1.0的累计视认度进行累计,计算相向车32的视认度为1.5,行人33的视认度为0.5。。
在步骤S16中,提示信息处理单元160在判定为经过了规定时间时,判定是否进行对应于所输入的累计视认度的信息的提示,在不进行信息提示的情况下转移到步骤S17,在进行信息提示的情况下转移到步骤S18。转移到步骤S17,若车辆的驾驶未结束,则返回到步骤S11,反复累计视认度计算处理为止的处理。另外,在该步骤S16中的判定意味着判定是否为通过信息提示单元170提示驾驶者的视认度程度的定时。
在步骤S18中,提示信息处理单元160判定与该累计视认度对应的对象物的驾驶者的视觉识别(识别)程度,然后转移到步骤S19。
在步骤S19中,提示信息处理单元160根据反映了对象物的识别程度的累计视认度而设定提示信息,然后转移到步骤S20。
在步骤S20中,信息提示单元170向驾驶者提示在提示信息处理单元160中设定的提示信息,然后转移到步骤S17。
在本实施方式中,设作为信息提示单元170使用显示面板将信息提供给车辆的驾驶者,并设在提示信息处理单元160中对应于每个对象物的累计视认度地设定提示信息,然后显示在显示面板上。这里,设提示信息为:将颜色重叠于安全确认的对象的对象物而显示在显示面板上,从而表示该对象物的识别程度的提示信息。根据该设定,信息提示单元170对于显示在显示面板上的、表示视认度程度的提示信息,根据累计视认度而变更提示颜色。
图6以及图7是表示一例在本发明实施方式1的驾驶支援装置中通过信息提示单元170提示的提示信息的图。
另外,设表示于图6以及图7的提示信息为:根据对于作为信息提示的对象的对象物的、驾驶者的识别或未识别,以不同的颜色设定的提示信息。另外,这里的对于对象物的驾驶者的识别和未识别,为在提示信息处理单元160中根据每个对象物的累计视认度是否超过规定的基准值而判定。也就是说,在提示信息处理单元160中,累计视认度超过规定的基准值的情况下,判定为驾驶者识别了对象物,而累计视认度未超过规定的基准值的情况下,判定为驾驶者未识别对象物。
如图6所示,信息提示单元170判断驾驶者识别了人行横道41上的行人(对象物)42至44,以浅蓝色等的注意提醒较少的颜色强调显示对象物。另 外,对于这样的累计视认度超过规定的基准值的对象物而判断为驾驶者识别的对象物,也可以不进行信息的提示。在图6中,对于累计视认度不到规定的基准值的行人(对象物)45,信息提示单元170以红色等容易引起驾驶者的注意的颜色强调显示对象物。
由此,在驾驶支援装置100中,驾驶者的视认度越低的对象物,越强调地显示,从而能够使驾驶者视认,促使驾驶者进行安全确认。
另外,在提示信息处理单元160中,在将累计视认度的数值直接视为驾驶者的识别程度,在不设置视认度的基准值的情况下,也可以通过匹配于视认度的颜色的浓淡来显示。另外,在图7中,在十字路口36中,信号灯(对象物)48以及相向车(对象物)49的累计视认度较高,所以信息提示单元170以蓝色显示,而对横穿人行横道47的累计视认度较低的行人(对象物)46进行强调而显示。
另外,在驾驶过程中,从周围状况获得到信息提示为止的流程图所示的处理在任意的定时被连续地实行。
根据本实施方式,通过除了包括驾驶者的注视点的中心视野,还包含注视点周围的范围的周围视野的视野,判断驾驶者在车辆行驶中是否识别需要进行安全确认的对象物。由此,能够正确地进行驾驶者所观察的对象物的识别、未识别的判定。
而且,在未识别需要进行安全确认的对象物的情况下,对驾驶者提示该意旨的信息,由此能够提醒驾驶者对于自己漏看的对象物的安全确认,从而进行对于该对象物的确认,能够在车辆行驶中,防止与行人等的碰撞,提高车辆的安全性。
(实施方式2)
图8是本发明的实施方式2的驾驶支援装置200的方框图。另外,该实施方式2中的驾驶支援装置200具有与图1所示的对应于实施方式1的驾驶支援装置100同样的基本结构,对于相同的结构要素标注相同的附图标号,并省略该说明。
在该驾驶支援装置200中,与驾驶支援装置100比较,不同之处在于:在视认度计算单元240中计算出的视认度,在驾驶支援装置200中计算出的视认度中被加进了对每个驾驶者不同的要素。
也就是说,在驾驶支援装置200中,在对于对象物计算的视认度中,被 加进对驾驶者的视觉特性带来影响的各个主要因素而进行计算。
作为对视觉特性带来影响的主要因素,有驾驶者的年龄等静态的驾驶者属性信息,例如可以考虑年龄越高,例如以驾驶者的注视点为中心的可视觉识别的范围(这里即周围视野)越窄。
另外,同样地,作为对驾驶者的视觉特性带来影响的主要因素可以考虑:驾驶者的清醒程度、应当加以注意的本车辆周围的对象物的数量、天气/明度等。
具体而言,经过以往的研究可知:在处于清醒时的驾驶中,视线在本车辆前方的较广阔的范围移动,与此相对,在漫不经心的驾驶等的清醒程度较低时,视线的移动范围集中在中心附近(参考文献:Detection System of GazeDirection for Excessive Concentration through Cellular Phone Use andInattention”Shinji Mita,2002年ITS世界会議論文)。于是,基于视线移动估计清醒程度,并根据清醒程度变更视认度,由此能够进行对应于驾驶者状态的视认度的计算。
另外,经过以往的研究可知:在驾驶车辆时,若应当加以注意的本车辆周围的对象物的数量变多,则可进行的周围视觉的范围变小(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。于是,通过随着本车辆周围的对象物的数量来变更视认度,能够进行对应于环境信息的视认度的计算。进而,还可以被加进有可能给驾驶者的视觉特性带来影响的、拥堵程度、天气、明度等环境信息,变更视认度。
这样,通过根据驾驶者的清醒程度、本车辆周围的车辆数量、拥堵程度、天气、亮度等交通环境变更视认度,能够进行对应于驾驶者状态、环境信息的视认度的计算。
在图8中,驾驶支援装置200除了图1中的结构要素,还包括:驾驶者信息操作输入单元210、驾驶者状态检测单元220、以及环境信息收集单元230。
驾驶者信息操作输入单元210为通过操作而输入驾驶者的年龄、性别、驾驶历史、违章历史等与驾驶者关联的静态的信息即驾驶者属性信息的单元,其将所输入的驾驶者属性信息输出到视认度计算单元240。这些静态的驾驶者属性信息成为用于设定、变更驾驶者的视野特性的参数。
驾驶者状态检测单元220为检测对驾驶者的视觉特性带来影响的、驾驶 者的动的属性信息的单元,例如检测作为动态的属性信息的驾驶者的清醒程度,并将其输出到视认度计算单元240。具体而言,作为驾驶者状态检测单元220,可举出眼部摄影机等检测驾驶者的视线移动的单元。这些动态的驾驶者属性信息成为用于设定、变更驾驶者的视野特性的参数。
环境信息收集单元230通过收集而获得驾驶者的静态的和动态的属性以外的、对驾驶者的视觉特性带来影响的环境信息,例如:本车辆周围的车辆数量、拥堵程度、天气、亮度等交通环境,并将其输出到视认度计算单元240。该环境信息收集单元230既可以采用以无线通信等输入各个信息的结构,也可以采取使用拍摄本车辆周围的环境状况的摄影机等收集信息的结构。这些驾驶者所驾驶的车辆周围的环境状况成为用于设定、变更驾驶者的视野特性的参数。
与图1所示的视认度计算单元140同样地,视认度计算单元240从视线检测单元110输入驾驶者的视线方向、注视点的信息,从对象物提取单元130输入安全确认所需的对象物的信息。
进而,驾驶者的属性信息、驾驶者的清醒程度等驾驶者的动的信息,本车辆周围的车辆数量、拥堵程度、天气、亮度等交通环境信息,被输入到视认度计算单元240。
利用这些输入的信息,视认度计算单元240根据从驾驶者的视线/注视点到各个对象物为止的距离或角度,计算某一时刻的每个对象物的、表示驾驶者的识别程度的视认度,并将其输出到累计视认度计算单元150。
换言之,视认度计算单元240除了视线方向的角度、对象物对于本车辆的相对角度,还利用驾驶者信息、驾驶者状态、交通环境,计算每个对象物的视认度,并将其输出到累计视认度计算单元150。
与实施方式1同样地,由视认度计算单元240计算出的视认度,作为决定视认度的基准,除了所输入的视线以及注视点,还包含根据视线以及注视点计算出的周围视野。如上述那样,周围视野是可瞬间进行信息感受的视野,指以注视点为中心约10至20度的范围。
具体而言,视认度计算单元240具有存储器242,视认度计算单元240通过在该存储器242中所存储的、表示注视点与视认度之间的关系的表,以及所输入的视线和注视点,计算视线以及对于注视点的对象物的视认度。
视认度计算单元240在存储器242中存储的表为,用于可基于从驾驶者 信息操作输入单元210、驾驶者状态检测单元220、以及环境信息收集单元230输入的信息,变更视认度的表。作为一例,利用图9说明根据年龄变更并设定视认度的处理。
图9是表示一例在本发明实施方式2的驾驶支援装置200中计算被加进了周围视野的视认度时使用的曲线的图。图9表示视认度计算单元240的存储器242所具备的、与驾驶者的年龄对应的曲线(视认度曲线)G2至G4,同时为表示一例离开注视点的角度与视认度之间的关系的曲线的图。另外,在图9中,0为注视点、横轴表示离开注视点0的角度,纵轴表示视认度,曲线(视认度曲线)G2至G4分别表示随着离开注视点的角度,驾驶者的视认度如何变化。
在图9中,定义视认度曲线G2为20年龄段的驾驶者的视认度曲线;视认度曲线G3为40年龄段的驾驶者的视认度曲线;视认度曲线G4为60年龄段的驾驶者的视认度曲线。若使用这样与年龄对应的视认度曲线G2至G4,则当对象物A的离开注视点的角度为θA、驾驶者的年龄为40岁时,对于对象物A的视认度计算为R2。同样地,当对象物A的离开注视点的角度为θA、驾驶者的年龄为20岁时,对于对象物A的视认度计算为R1,在同样的条件下计算出的视认度比40岁的视认度高。
这样,视认度计算单元240在被加进了与年龄对应的对象物的视觉特性的基础上,进行视认度的计算。由此,与实际进行驾驶的驾驶者以及驾驶者的驾驶状况适当地对应,能够正确地计算驾驶者的视认度。
另外,同样地,在被加进从驾驶者状态检测单元220输入的、作为动的属性信息的驾驶者的清醒程度的情况下,当清醒程度较低时,使用与清醒程度为一般时相比斜率更陡的视认度曲线。
例如,在使用图9的曲线的情况下,即使驾驶者为20年龄段的静态的属性信息被输入时,视认度计算单元240也不使用视认度曲线G2,而根据清醒的较低程度使用比视认度曲线G2斜率更陡的视认度曲线G3、G4来计算视认度。
另外,同样地,在从环境信息收集单元230输入了本车辆周围的应当加以注意的信息的情况下,例如作为交通环境信息输入了表示本车辆周围的车辆数量较多、拥堵较轻,作为天气因为阴天或雨天而周围比规定的亮度(白天)暗的信息时,使用比一般使用的视认度曲线斜率更陡的视认度曲线等。
具体而言,在作为本车辆周围的应当加以注意的对象物的数量的、本车辆周围的车辆数量为10辆或者5辆以上的情况下,如果适用图9,则表示驾驶者为20年龄段的静态的驾驶者属性信息被输入时,视认度计算单元240也不使用视认度曲线G2,而使用比视认度曲线G2斜率更陡的视认度曲线G3、G4来计算视认度。
这里,使用图10说明驾驶支援装置200的动作。
图10是表示本发明的实施方式2的驾驶支援装置的动作的流程图。
如图10所示,在装载了驾驶支援装置200的车辆中,首先在步骤S21中,在驾驶开始时或者就坐于驾驶席时,驾驶者信息操作输入单元210通过驾驶者的操作,输入驾驶者的年龄、性别、驾驶历史、违章历史等静态的驾驶者信息即驾驶者属性信息的驾驶者信息,从而获得这些驾驶者属性信息,然后转移到步骤S22。
在步骤S22中,周围信息收集单元120通过摄像机等收集周围视频(周围信息)作为行驶中的本车辆周围的信息,并且视线检测单元110利用由视线信息获得单元102获得的驾驶者的视线信息,进行驾驶者的视线方向(以及注视点)的检测,然后转移到步骤S23。另外,该周围状况的获得与视线方向的检测在大致相同的定时进行。
在步骤S23中,对象物提取单元130根据获得的周围信息(周围视频),通过图像处理等提取其它车辆、行人、二轮车等移动物体,以及标识/标示、信号灯、人行横道、暂停线等交通环境对象物等的中心位置的相对距离、相对角度,然后转移到步骤S24。
在步骤S24中,在通过驾驶者状态检测单元220获得驾驶者状态(这里为驾驶者的清醒程度)的同时,通过环境信息收集单元230获得本车辆周围的车辆数量、拥堵程度、天气、亮度等交通环境,然后转移到步骤S25。
在步骤S25中,当对象物信息、视线信息、驾驶者状态(清醒程度)信息以及交通环境信息被输入时,视认度计算单元240对该时刻的所有的对象物,计算驾驶者的视认度,然后转移到步骤S26。
详细地说,在步骤S25中,视认度计算单元240除了使用所输入的视线方向的角度以及各个对象物相对于本车辆的相对角度,还使用驾驶者信息、驾驶者状态以及交通环境,根据视线与对象物的角度差分(或者离开注视点的图像上的距离),计算某一时刻的每个对象物的视认度。
在步骤S26中,累计视认度计算单元150在规定期间中,对每个同一对象物累计所输入的某一时刻的每个对象物的视认度,从而计算每个对象物的累计视认度,然后转移到步骤S27。
在步骤S27中,提示信息处理单元160判定是否经过了规定时间,若经过了规定时间,则转移到步骤S28,若未经过规定时间,则转移到步骤S29。在步骤S29中,若车辆的行驶未结束,则返回到步骤S22。另外,在步骤S27中所判定的规定时间是指为了对计算出的视认度进行累计而预先设定的时间。
也就是说,视认度计算单元240以及累计视认度计算单元150在提示信息处理单元160中,在规定时间内,连续进行视认度的计算以及累计视认度的计算,直到被判定为经过了规定时间为止。另外,在被判定为经过了规定时间为止即在经过规定时间为止的、视认度计算单元240以及累计视认度计算单元150的处理,与上述的视认度计算单元140中的视认度计算处理以及累计视认度计算单元150中的累计视认度计算处理同样,因此省略说明。
在步骤S28中,提示信息处理单元160在判定为经过了规定时间后,判定是否进行信息的提示,所述信息为与所输入的、应当进行安全确认的每个对象物的累计视认度(累计值)对应的信息。
在步骤S28中,在不进行信息提示的情况下,转移到步骤S29,而在进行信息提示的情况下,转移到步骤S30。另外,转移到步骤S29后,若车辆的驾驶未结束,则驾驶支援装置200返回到步骤S22,反复累计视认度计算处理为止的处理。
在步骤S30中,提示信息处理单元160判定驾驶者对于累计视认度的对象物的视认(识别)程度。
在该步骤S30中,例如,利用预先设定的基准值,当累计视认度在基准值(例如1)以上时,判断为驾驶者在识别(视认)该累计视认度的对象物,而当不足该基准值时,判断为驾驶者没有在识别(视认)该累计视认度的对象物。在进行这样的驾驶者的视认判定后,转移到步骤S31。
在步骤S31中,提示信息处理单元160根据反映了对象物的识别程度的累计视认度,设定提示信息,然后转移到步骤S32。
在步骤S32中,信息提示单元170将在提示信息处理单元160中设定的提示信息提示给驾驶者,然后转移到步骤S29。另外,假设在驾驶过程中, 从周围状况获得到信息提示为止的处理在任意的定时连续地实行。
在本驾驶支援装置200中,被加进静态的驾驶者属性信息、驾驶者状态信息(动态的驾驶者属性信息)即驾驶者的清醒程度、交通环境(周围环境)信息等影响驾驶者的视觉特性的各个主要因素,计算对于对象物的视认度。
由此,作为提供给驾驶者的信息,还加进驾驶者的实际的驾驶状态,更正确地提供需要驾驶者进行安全确认的漏看的对象物等信息,从而能够提醒驾驶者进行安全确认。
(实施方式2的变形例)
图1 7是表示本发明实施方式2的驾驶支援装置200a的变形例的方框图。另外,该实施方式2的驾驶支援装置200a为在图8所示的与实施方式2对应的驾驶支援装置200的结构上追加了注视度计算单元250的装置。驾驶支援装置200a的其它结构要素与驾驶支援装置200的结构要素同样,具有同样的功能。因此,对于同一结构要素标注同一附图标号,并省略该说明。
在该驾驶支援装置200a中,与驾驶支援装置100比较,不同之处在于:在视认度计算单元240中计算出的视认度,在驾驶支援装置200a中计算出的视认度中被加进了对每个驾驶者不同的因素。
也就是说,在驾驶支援装置200a中,在对于对象物计算的视认度中,被加进了对驾驶者的视觉特性带来影响的各个因素进行计算的视认度。
作为对视觉特性带来影响的主要因素,有驾驶者的年龄等静态的驾驶者属性信息,例如可以考虑年龄越高,例如以驾驶者的注视点为中心的可视觉识别的范围、这里即周围视野越窄。
另外,作为对驾驶者的视觉特性带来影响的主要因素,同样地可以考虑:驾驶者的清醒程度、对于对象物的注视程度、应当引起注意的本车辆周围的对象物的数目、天气/亮度等。
具体而言,经过以往的研究可知:在处于清醒时的驾驶中,视线在本车辆前方的较广阔的范围移动,与此相对,在漫不经心的驾驶等的清醒程度较低时,视线的移动范围集中在中心附近(参考文献:Detection System of GazeDirection for Excessive Concentration through Cellular Phone Use and InattentionShinji Mita,2002年ITS世界会議論文)。于是,基于视线移动估计清醒程度,并根据清醒程度变更视认度,由此能够进行对应于驾驶者状态的视认度的计算。
另外,经过以往的研究可知:在驾驶车辆时,若应当注意的本车辆周围的对象物的数目变多,则可进行的周围视觉的范围变小(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。于是,通过随着本车辆周围的对象物的数目变更视认度,能够进行对应于环境信息的视认度的计算。进而,还可以被加进有可能给驾驶者的视觉特性带来影响的、拥堵程度、天气、亮度等环境信息,变更视认度。
另外,像因被道路旁边的行人吸引注意力而延误注意到先行车辆那样,在驾驶时集中注意进行特定的对象物的确认时,有时对于周围的注意力降低,周围视野变窄。于是,为了在这样的情况下也正确地判定对于对象物的视认,并对驾驶者提供警报,也可以根据对于对象物的注视程度而变更视认度。
这样,通过随着驾驶者的清醒程度、对于对象物的注视程度、本车辆周围的车辆数目、拥堵程度、天气、亮度等交通环境变更视认度,能够进行对应于驾驶者状态、环境信息的视认度的计算。
在图17中,驾驶支援装置200除了图8中的结构要素,还包括:注视度计算单元250。
注视度计算单元250计算对于对象物的驾驶者的注视程度,并将其输出到视认度计算单元240。该注视度计算单元使用由累计视认度计算单元对每个对象物计算出的累计视认度的最大值(最为注视的对象物的累计视认度)。因为累计视认度为表示在规定时间内的注视程度的指标,所以可考虑最大值越大,集中注视于一个对象物而对周围的对象物的注意力降低的可能性越高。
另外,在注视于特定的对象物时,规定时间内的驾驶者的视线移动变小,因此也可以根据由眼部摄像机等检测出的视线方向,计算规定时间内的视线移动量,该视线移动量越小则判定对于对象物的注视程度越高。
上述那样动态地计算出的注视度成为用于设定、变更驾驶者的视野特性的参数。
驾驶支援装置200a中的视认度计算单元240除了从注视度计算单元250输入注视程度这一点外,具有与驾驶支援装置200的视认度计算单元240同样的功能。
特别是,驾驶支援装置200a中的视认度计算单元240与图1所示的视认度计算单元140同样地,从视线检测单元110输入驾驶者的视线方向、注视点的信息,从对象物提取单元130输入安全确认所需的对象物的信息。
进而,驾驶者的属性信息、驾驶者的清醒程度、对于对象物的注视程度等驾驶者的动的信息,本车辆周围的车辆数目、拥堵程度、天气、亮度等交通环境信息,被输入到视认度计算单元240。
利用这些所输入的信息,视认度计算单元240根据离开驾驶者的视线/注视点到各个对象物的距离或者角度,计算某一时刻的每个对象物的、表示驾驶者的识别程度的视认度,并将其输出到累计视认度计算单元150。
换言之,视认度计算单元240除了视线方向的角度、对象物相对于本车辆的相对角度,还利用驾驶者信息、驾驶者状态(包含清醒程度、注视程度)、交通环境,计算每个对象物的视认度,并将其输出到累计视认度计算单元150。
该视认度计算单元240中的视认度计算如上述那样,通过在该存储器242中所存储的、表示注视点与视认度之间的关系的表,以及所输入的视线和注视点,计算视线以及注视点的对象物的视认度。
视认度计算单元240除了与驾驶支援装置200的视认度计算单元如上所述同样地使用表进行视认度计算之外,在驾驶者集中注视于特定对象物的情况下,若适用图9,则即使表示驾驶者为20年龄段的静态的驾驶者属性信息被输入时,当估计集中进行特定的对象物的确认而周围视野变窄时,视认度计算单元240也不使用视认度曲线G2,而使用比视认度曲线G2斜率更陡的视认度曲线G3、G4来计算视认度。
这里,说明在驾驶支援装置200a中使用了注视度计算单元250的情况下的动作。
图18是表示本发明的实施方式2的变形例中的驾驶支援装置的动作的流程图。另外,图18所示的处理与图10所示的处理相比,除了在步骤S24和步骤S25之间进行步骤S33的处理这点不同以外,其它步骤进行同样的处理。因此,仅说明不同之处,而省略与图10同样的动作的说明。
图18中,在步骤S24中,在通过驾驶者状态检测单元220获得驾驶者状态(这里为驾驶者的清醒程度)的同时,通过环境信息收集单元230获得本车辆周围的车辆数量、拥堵程度、天气、亮度等交通环境信息,然后转移到步骤S33。
在步骤S33中,由注视度计算单元250计算注视度。若累计视认度已经计算出,则基于累计视认度的最大值计算注视度,或者基于根据由眼部摄像机检测出的视线方向计算出的视线移动量计算注视度,然后转移到步骤S25。
在步骤S25中,当对象物信息、视线信息、驾驶者状态(清醒程度)信息、交通环境信息、以及注视度被输入,则视认度计算单元240利用它们对该时刻的所有的对象物计算驾驶者的视认度,然后转移到步骤S26。
详细地说,在步骤S25中,视认度计算单元240除了使用所输入的视线方向的角度以及各个对象物相对于本车辆的相对角度,还使用驾驶者信息、驾驶者状态、交通环境以及注视度,根据视线与对象物之间的角度差分(或者离开注视点的图像上的距离),计算某一时刻的每个对象物的视认度。
**以下进行同样的处理,在本驾驶支援装置200a中,被加进静态的驾驶者属性信息、驾驶者状态信息(动态的驾驶者属性信息)即驾驶者的清醒程度、交通环境(周围环境)信息、注视度等影响驾驶者的视觉特性的各个主要因素,计算对于对象物的视认度。由此,作为提供给驾驶者的信息,还被加进驾驶者的实际的驾驶状态,更加正确地提供需要驾驶者安全确认的漏看的对象物等信息,从而能够提醒驾驶者进行安全确认。
(实施方式3)
图11是本发明的实施方式3的驾驶支援装置300的方框图。另外,该实施方式3的驾驶支援装置300具有与图1所示的对应于实施方式1的驾驶支援装置100同样的基本结构。因此,对于同一结构要素标注同一附图标号,并省略该说明。
该驾驶支援装置300,在驾驶支援装置100的结构上追加了对象物分类单元310而构成。
对象物分类单元310根据对象物的种类、距离、速度等属性,将由对象物提取单元130提取出的多个对象物分类为几个组(对象物群),并将分类后的组(对象物群)的信息输出到视认度计算单元340。
视认度计算单元340利用从视线检测单元110以及对象物分类单元310输入的信息,根据离开视线/注视点到各个对象物的距离或者角度,计算某一时刻的对于所有对象物的每个组的、表示驾驶者的识别程度的视认度,并将其输出到累计视认度计算单元350。
对于由视认度计算单元340计算出的视认度而言,作为决定视认度的基准,除了所输入的视线以及注视点,还包含根据视线以及注视点计算出的周围视野。另外,如上述那样,周围视野是可瞬间进行信息感受的视野,是指以注视点为中心约10至20度的范围。
视认度计算单元340具有存储器342,视认度计算单元140通过在该存储器342中所存储的、表示注视点与视认度之间的关系的表,以及所输入的视线和注视点,计算视线以及注视点的对于对象物的组的视认度。
累计视认度计算单元350在规定时间内,将从视认度计算单元340输入的、某一时刻的所有的对象物群单位的视认度,按每个对象物群进行累计,从而计算累计视认度,并将其作为每个对象物群的累计值输出到提示信息处理单元160。
接下来,利用图12说明本发明的实施方式3中的驾驶支援装置300中的动作。图12是表示本发明的实施方式3的驾驶支援装置300的动作的流程图。
如图12所示,在步骤S51中,在装载了驾驶支援装置300的车辆中,周围信息收集单元120通过摄像机等收集周围视频(周围信息)作为行驶中的本车辆周围(周围状况)的信息,并且视线检测单元110利用由视线信息获得单元102获得的驾驶者的视线信息,进行驾驶者的视线方向(以及注视点)的检测,然后转移到步骤S52。另外,在大致相同的定时进行该周围状况获得与视线方向的检测。
在步骤S52中,对象物提取单元130根据获得的周围信息(周围视频),通过图像处理等提取其它车辆、行人、二轮车等移动物体,以及标识/标示、信号灯、人行横道、暂停线等交通环境对象物等的中心位置的相对距离、相对角度,然后转移到步骤S53。
在步骤S53中,对象物分类单元310利用对象物的属性(对象物的种类、距离、速度),将由对象物提取单元130提取出的多个对象物分类成组(对象物群),然后转移到步骤S54。
这里,说明对象物分类单元310从提取出的对象物中提取对象物群的对象物分类处理的概要。
图13以及图14是表示在本发明实施方式3的驾驶支援装置300中通过对象物分类单元310将对象物分类的处理的示意图。
图13表示本车辆左转弯的场景50,根据到对象物(行人51至55)的距离分类对象物的例子。如图13A所示,行人55和在人行横道56上的多个行人51至54在对象物提取单元130中被提取。
对于在该场景中由对象物提取单元130提取出的对象物(多个行人51至54),对象物分类单元310将对象物之间的中心间的距离为一定值以下的 对象物(这里,为多个行人51~54)看成同一群。由此,对象物分类单元310如图13B所示提取行人群61、62。
另外,图14表示本车辆右转弯的场景70,根据到对象物(行人71至77)的类别而分类对象物的例子。
在图14A所示的状态中,在对象物提取单元130中,提取了行人(对象物)71至73、信号灯(对象物)74、相向车(对象物)75至77。
对象物分类单元310将在该场景中由对象物提取单元130提取出的对象物71至77,着眼于对象物的类别(行人、车辆、交通设备)而分类,进一步将中心间的距离为一定值的对象物看作同一群。由此,对象物分类单元310提取图14B所示的行人群81、信号灯群82、相向车群(对象物群)83。
而且,对象物分类单元310还可以除了对象物间的距离、对象物的类别之外,将对象物的移动速度接近的对象物看作同一群。
进而,还可以将对于本车辆或者本车辆的估计轨道接近的对象物、远离的对象物分别看作同一群,由此将对象物分组。而且,也可以利用对象物所存在的角度,对存在于规定角度内的对象物分组等。
这样,通过对象物分类单元310对类似的对象物分组,对该分了组的对象物进行视认度判定。因此,与对每个互相接近的对象物进行视认度判定的情形相比,可减少繁杂的警报。
在步骤S54中,当对象物的组(对象物群)的信息以及视线信息被输入,则视认度计算单元340对被分类的所有对象物群计算对于每个对象物群的驾驶者的视认度,然后转移到步骤S55。
详细地说,在步骤S54中,视认度计算单元340使用所输入的视线方向的角度以及对于对象物群的本车辆的相对角度,根据视线与对象物群的角度差分(或者离开注视点的图像上的距离),计算某一时刻的每个对象物群的视认度。
在步骤S55中,累计视认度计算单元350在规定期间,对每个同一对象物群累计所输入某一时刻的每个对象物群的视认度,从而计算每个对象物群的累计视认度,然后转移到步骤S56。
在步骤S56中,提示信息处理单元160判定是否经过了规定时间,若经过了规定时间,则转移到步骤S57,若未经过规定时间,则转移到步骤S58。另外,在步骤S56中所判定的规定时间是指为了对计算出的视认度进行累计而预先设定的时间。
另外,在步骤S58中,例如根据车辆的引擎是否停止等进行车辆的驾驶是否结束的判定。在步骤S58中,若车辆的驾驶未结束,也就是引擎未停止,则返回步骤S51,而如果驾驶结束,也就是引擎停止,则结束处理。
这样,视认度计算单元340以及累计视认度计算单元350在提示信息处理单元160中,在规定时间,连续进行对于对象物群的视认度的计算以及累计视认度的计算,直到判定为经过了规定时间为止。
在步骤S57中,提示信息处理单元160在判定为经过了规定时间时,根据所输入的累计视认度,判定是否进行信息的提示,在不进行信息提示的情况下转移到步骤S58,在进行信息提示的情况下转移到步骤S59。转移到步骤S58,若车辆的驾驶未结束,则返回到步骤S51,反复累计视认度计算处理为止的处理。
在步骤S59中,提示信息处理单元160判定对于累计视认度的对象物群的驾驶者的视认(识别)程度,然后转移到步骤S60。
在步骤S60中,提示信息处理单元160根据反映了对象物群的识别程度的累计视认度,设定提示信息,然后转移到步骤S61。
在步骤S61中,信息提示单元170将在提示信息处理单元160中设定的提示信息提示给驾驶者,然后转移到步骤S58。
在本实施方式中,假设使用显示面板作为信息提示单元170而将信息提供给车辆的驾驶者,并设在提示信息处理单元160中对应于每个对象物群的累计视认度设定提示信息,然后显示在显示面板上。这里,设提示信息为:对安全确认的对象的对象物群重叠颜色(例如参照图13B、14B)而显示在显示面板上,从而表示该对象物群的识别程度。接受该设定,信息提示单元170对于显示在显示面板上的表示视认度程度的提示信息,根据累计视认度变更提示颜色。
图15是表示一例在信息提示单元170中提示的提示信息、同时是表示一例对应于累计视认度的对象物群的提示的示意图。另外,图15表示以下情形:对提取出的对象物群计算累计视认度,根据累计视认度改变颜色,利用信息提示单元170的显示面板作为显示画面90、93进行提示。
在图15A的显示画面90中,显示由提示信息处理单元160作为对象物群提取出的两个对象物群即第一行人群91和第二行人群92。
这些第一行人群91和第二行人群92分别使用不同的颜色显示(提示),这里将更需要进行安全确认的第一行人群91以红色显示,而将驾驶者已视觉识别的无需特别注意的第二行人群92以蓝色显示。
也就是说,驾驶者对第一行人群91未进行视认,而对第二行人群92进行了视认。
另外,由对象物分类单元310分别提取这些行人群91、92作为对象物群,并由视认度计算单元340计算所对应的视认度。通过使用这些计算出的视认度,累计视认度计算单元350计算第一行人群91、第二行人群92的各自的累计视认度。然后,提示信息处理单元160判定这些累计视认度,并设定提示信息,以使用各自不同的颜色的形态来显示。
另外,在图15B的显示画面93中,显示由提示信息处理单元160作为对象物群提取出的三个对象物群即第三行人群(对象物群)94、相向车群(对象物群)95以及信号灯群(对象物群)96。
与累计视认度对应地,用各自不同的颜色显示(提示)着第三行人群94、相向车群95以及信号灯群96。这里,将更需要进行安全确认的第三行人群94以红色显示,将驾驶者已视认但可以无需特别注意的相向车群以及信号灯群96以蓝色显示。
这样,在信息提示单元170的显示面板90、93,通过信息提示单元170对每个对象物群进行与累计视认度对应的信息提示。
因此,驾驶者能够掌握应当确认哪些对象物群。另外,在图15A中,设比第二行人群92应当掌握第一行人群91;在图15B中,设比相向车群95以及信号灯群96应当掌握第三行人群94。
另外,在使用了使驾驶者视觉识别的显示面板作为信息提示单元170的情况下,驾驶支援装置300也可以将对象物群划分为多个区间,并对各个划分的区间计算累计视认度。
由此,即使在分了组的对象物群的内部,驾驶者也能够掌握哪些部分的视认度较低。
例如,作为划分的方法,可以将由对象物分类单元310提取出的对象物群划分为上下左右四个区间等,或者以像素单位划分,对于各个像素计算累计视认度,由此即使在分了组的对象物群的内部,驾驶者也能够直观地掌握哪些部分的视认度较低。
图16是表示另外一例在信息提示单元170中提示的提示信息、同时是表示另外一例对应于累计视认度的对象物群的提示的示意图。
图16A的显示画面97a显示着对象物群98a、99a作为提取出的对象物群。对于这些对象物群98a、99a而言,对构成它们的像素计算累计视认度,并与计算出的累计视认度对应地进行视觉识别判定,将未进行视认的对象物群98a内的详细的视认度以红色的浓淡(gradation)显示(通过颜色的连续变化来显示)。
另外,图16B的显示画面97a显示着对象物群98c、98d、98e作为提取出的对象物群。对于这些对象物群98c、98d、98e而言,对构成它们的像素计算累计视认度,并与计算出的累计视认度对应地进行视认判定,将未视认的对象物群98c内的详细的视认度以红色的浓淡显示(通过颜色的连续变化显示)。
也就是说,驾驶支援装置300对用于构成提取出的对象物群的像素计算累计视认度。通过提示信息处理单元160与这些计算出的累计视认度对应地以浓淡显示对象物群内的详细的视认度。
由此,如图16所示的显示画面97a、97b,对于对象物群内部也对应于累计视认度以颜色区分而显示,因此能够迅速掌握应当确认对象物群的哪些部分。
另外,在驾驶支援装置300中,以浓淡显示对象物群内的视认度时,如上所述,也可以将作为安全确认的对象的多个对象物分组为对象物群,然后划分对象物群,计算累计视认度并显示,但是并不只限于此。例如,还可以在对各个对象物计算出累计视认度后,在显示时生成对象物群,被加进各个累计视认度而进行浓淡显示。
此时,可考虑如下的结构,即在驾驶支援装置100的结构中,提示信息处理单元160具有与对象物分类单元310同样的功能的结构。在该结构中,提示信息处理单元160对应于从累计视认度计算单元150输入的每个对象物的累计视认度,设定作为信息提示信息的显示形态(例如,颜色随着累计视认度比所比较的阈值小而变浓的浓淡)。
另外,在驾驶过程中,在任意的定时连续地实行从周围状况获得到信息提示为止的处理。
另外,在各个实施方式的驾驶支援装置100、200、300中,设信息提示 单元170在进行信息提示时,使用导航仪(car navigation)等车载设备的显示面板作为显示面板,在该显示面板上显示前方视频,在该图像上进行对应于视认度的信息提示。
另外,作为信息提示单元170,也可以利用风窗显示(windshield display)而进行透过前风挡玻璃的对应于视认度的信息提示,所述风窗显示为配合实际的景色而将导航信息、道路信息等透过前风挡玻璃地显示。
根据各个实施方式,不只是由注视点得到的识别,还考虑由周围视觉得到的识别,能够判定是否观察对象物,作为结果能够减少繁杂的警报。
而且,能够进行对于对象物群的视觉识别判定,即使在十字路口右转弯时的人行横道上的多个行人等需要注视的对象物多数存在的情况下,也能够提示对于对象物群的警报而不是提示对于各个对象物的警报,因此作为结果能够减少繁杂的警报。
另外,虽然设各个实施方式的驾驶支援装置100、200、300中,使用显示面板进行信息提示单元170的信息提示,但是并不只限于此,也可以将上述提示信息通过语音提供给驾驶者。另外,也可以通过语音以及显示来进行信息提示。
进而,虽然设各个实施方式的驾驶支援装置100、200、300中,信息提示单元170对分别装载了驾驶支援装置100、200、300的车辆的驾驶者进行提示,但是并不只限于此。也就是,也可以根据驾驶者的视觉识别状态,提醒与该驾驶者所驾驶的车辆有可能碰撞的对象进行安全确认。例如,采取以下的结构:使在提醒/控制单元180中的信息提示单元170为通信单元,通过无线通信将驾驶者的视觉识别状态提示在外部装置。根据该结构,也可以对有可能与该驾驶者驾驶的车辆发生碰撞的行人、相向车的驾驶者提示信息。由此,从有可能与该驾驶者驾驶的车辆发生碰撞的行人、相向车的驾驶者一侧,能够确认该驾驶者的视认度程度,从而能够确保被判定视认度程度的驾驶者驾驶的车辆的安全性。
另外,在各个实施方式中,还可以在提醒/控制单元180中具有与在提示信息处理单元160中设定的提示信息对应地控制车辆的驱动的结构要素来代替信息提示单元170。例如,也可以采取以下的结构:根据提示信息处理单元160中的对象物的视认判定,在驾驶者的对于需要进行安全确认的对象物的视认度较低的情况下,制动车辆,从而避免对于对象物的碰撞的危险。
这样,除了通过驾驶者的注视进行的对于安全确认对象物的识别以外,还包括周围视觉来正确地判定驾驶者的对于安全确认对象物的识别,从而通过制动所驾驶的车辆来确保行驶车辆的安全性。
另外,虽然各个实施方式中的提示信息处理单元160采用将与由累计视认度计算单元150、350计算出的累计视认度对应的提示信息输出到信息提示单元170的结构,但是并不只限于此,也可以采用以下结构:输入视认度,并将与该所输入的每个对象物的视认度对应的提示信息输出。也就是说,也可以采用这样的结构:提示信息处理单元160根据所输入的每个对象物的视认度,判断/变更/设定要输出的提示信息,并将提示信息输出到信息提示单元170。
具体而言,视认度从视认度计算单元140输入到提示信息处理单元160,通过视认度判定单元164判定对于该视认度的对象物的驾驶者的视认度程度(视觉识别判定)。而且,提示信息设定单元166设定/变更与来自视认度判定单元164的、进行了识别判定的视认度对应的提示信息,并将设定/变更了的提示信息输出到信息提示单元170。由此,提醒/控制单元180进行对于驾驶者的安全确认的提醒。因此,除了通过驾驶者的注视进行的对于安全确认对象物的识别以外,还包括周围视觉而能够判定驾驶者的对于安全确认对象物的识别,能够确保行驶车辆的安全性。
2006年9月4日提交的日本专利申请第2006-239591号所包含的说明书、附图以及说明书摘要的公开内容全部引用在本申请。
工业实用性
本发明具有不仅通过驾驶者的注视进行安全确认对象物的识别,并且通过包括驾驶者的周围视觉进行的识别而正确地判定驾驶者对于安全确认对象物的识别,利用它而确保行驶车辆的安全性的效果,作为对驾驶者的未确认安全进行检测,并进行促使安全确认的提示的驾驶支援装置很有效。
Claims (12)
1.行驶信息提供装置,包括:
周围信息收集单元,获得被装载该行驶信息提供装置的本车辆的周围状况的周围信息;
对象物提取单元,从由所述周围信息收集单元获得的所述周围信息中,提取所述本车辆的驾驶者进行的安全确认的对象即安全确认对象物;
视线检测单元,检测所述驾驶者的视线方向;
视认度计算单元,使用检测到的所述安全确认对象物以及所述驾驶者的视线方向,根据从驾驶者的视线方向到对象物的距离或者角度,计算考虑了对于所述安全确认对象物的驾驶者的周围视觉的视认度;以及
提醒/控制单元,基于计算出的所述视认度,进行安全确认的提醒或者车辆的驾驶状态的控制。
2.如权利要求1所述的行驶信息提供装置,还包括:
累计视认度计算单元,对在规定期间之内对应的每个所述安全确认对象物累计由所述视认度计算单元计算出的所述视认度,作为每个相应对象物的累计视认度。
3.如权利要求1所述的行驶信息提供装置,所述提醒/控制单元包括:
变更单元,基于对每个所述安全确认对象物计算出的视认度,变更所述安全确认的提醒对象或者所述车辆的驾驶状态的控制对象。
4.如权利要求2所述的行驶信息提供装置,所述提醒/控制单元包括:
变更单元,基于对每个所述安全确认对象物计算出的累计视认度,变更所述安全确认的提醒对象或者所述车辆的驾驶状态的控制对象。
5.如权利要求1所述的行驶信息提供装置,
还包括:驾驶者信息输入单元,输入表示驾驶者的属性的驾驶者信息,
所述视认度计算单元根据所输入的所述驾驶者信息,计算所述视认度。
6.如权利要求1所述的行驶信息提供装置,
还包括:驾驶者状态检测单元,用于检测驾驶者的清醒程度,
所述视认度计算单元根据检测出的所述清醒程度,计算所述视认度。
7.如权利要求1所述的行驶信息提供装置,
还包括:环境信息收集单元,用于获得本车辆周围的环境信息,
所述视认度计算单元根据获得的周围的所述环境信息,计算对于安全确认对象物的视认度。
8.如权利要求1所述的行驶信息提供装置,
还包括:注视度计算单元,用于测量对于对象物的注意的集中程度,
所述视认度计算单元根据计算出的注视度,计算所述视认度。
9.如权利要求1所述的行驶信息提供装置,
还包括:对象物分类单元,在由所述对象物提取单元提取出多个所述安全确认对象物时,按所述安全确认对象物的每个属性进行分类作为对象物群,
所述视认度计算单元对进行了分类的对象物群计算视认度。
10.如权利要求1所述的行驶信息提供装置,
还包括:对象物分类单元,在由所述对象物提取单元提取出多个所述安全确认对象物时,按所述安全确认对象物的每个属性进行分类作为对象物群,
所述提醒/控制单元通过在显示部件上显示所述对象物群从而提醒所述安全确认,
所述视认度计算单元将在所述显示部件上显示的所述对象物群划分为多个区间,对这些划分出的每个区间计算所述视认度,
所述显示部件以与对每个区间计算出的视认度或者累计视认度对应的形态,显示在所述对象物群中进行了划分的相应区间。
11.如权利要求3所述的行驶信息提供装置,
所述提醒/控制单元通过在显示部件上显示所述安全确认对象物从而提醒所述安全确认,
所述变更单元根据在所述视认度计算单元计算出的视认度,变更在所述显示部件上显示的所述安全确认对象物的颜色。
12.如权利要求4所述的行驶信息提供装置,
所述提醒/控制单元通过在显示部件上显示所述安全确认对象物从而提醒所述安全确认,
所述变更单元根据在所述累计视认度计算单元计算出的累计视认度,变更在所述显示部件上显示的所述安全确认对象物的颜色。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP239591/2006 | 2006-09-04 | ||
JP2006239591 | 2006-09-04 | ||
PCT/JP2007/067211 WO2008029802A1 (fr) | 2006-09-04 | 2007-09-04 | Dispositif fournissant des informations de voyage |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101512617A CN101512617A (zh) | 2009-08-19 |
CN101512617B true CN101512617B (zh) | 2012-02-01 |
Family
ID=39157229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800327596A Expired - Fee Related CN101512617B (zh) | 2006-09-04 | 2007-09-04 | 行驶信息提供装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8085140B2 (zh) |
JP (1) | JP5171629B2 (zh) |
CN (1) | CN101512617B (zh) |
WO (1) | WO2008029802A1 (zh) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8065072B2 (en) * | 2006-05-16 | 2011-11-22 | Panasonic Corporation | Transit information provision device, method and program |
JP4400624B2 (ja) * | 2007-01-24 | 2010-01-20 | トヨタ自動車株式会社 | 居眠り防止装置及び方法 |
JP5050735B2 (ja) * | 2007-08-27 | 2012-10-17 | マツダ株式会社 | 車両用運転支援装置 |
JP5649568B2 (ja) * | 2008-05-21 | 2015-01-07 | アー・デー・ツェー・オートモーティブ・ディスタンス・コントロール・システムズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 車両と歩行者との衝突を回避するための運転者援助システム |
JP5261045B2 (ja) * | 2008-07-03 | 2013-08-14 | 富士重工業株式会社 | 車両の運転支援装置 |
EP2312551A4 (en) * | 2008-08-05 | 2014-10-15 | Panasonic Corp | DEVICE, METHOD AND PROGRAM FOR EVALUATING A DRIVER'S AWARENESS |
JP4840452B2 (ja) * | 2009-01-22 | 2011-12-21 | 株式会社デンソー | 車両周辺表示装置 |
JP5210233B2 (ja) * | 2009-04-14 | 2013-06-12 | 日立オートモティブシステムズ株式会社 | 車両用外界認識装置及びそれを用いた車両システム |
DE102009020328A1 (de) * | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
US9073484B2 (en) * | 2010-03-03 | 2015-07-07 | Honda Motor Co., Ltd. | Surrounding area monitoring apparatus for vehicle |
JP5581754B2 (ja) * | 2010-03-17 | 2014-09-03 | トヨタ自動車株式会社 | 運転支援装置 |
US20120038668A1 (en) * | 2010-08-16 | 2012-02-16 | Lg Electronics Inc. | Method for display information and mobile terminal using the same |
US8599027B2 (en) * | 2010-10-19 | 2013-12-03 | Deere & Company | Apparatus and method for alerting machine operator responsive to the gaze zone |
EP2528049B1 (en) | 2011-05-23 | 2014-01-01 | Robert Bosch GmbH | Method and a device for detecting safety critical objects to a vehicle using Navigation data |
WO2013011588A1 (ja) * | 2011-07-21 | 2013-01-24 | トヨタ自動車株式会社 | 車両用情報伝達装置 |
JP5704239B2 (ja) * | 2011-08-10 | 2015-04-22 | トヨタ自動車株式会社 | 運転支援装置 |
EP2564766B1 (en) * | 2011-09-02 | 2018-03-21 | Volvo Car Corporation | Visual input of vehicle operator |
EP2755192A4 (en) * | 2011-10-06 | 2015-05-27 | Honda Motor Co Ltd | VISUALALLY DISTANCE DRIVING DETECTION DEVICE |
JP5960506B2 (ja) * | 2012-05-25 | 2016-08-02 | 株式会社デンソー | 交差点認識装置及び道路種別認識装置 |
DE102012214852B4 (de) * | 2012-08-21 | 2024-01-18 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs |
JP2014048978A (ja) * | 2012-08-31 | 2014-03-17 | Denso Corp | 移動体警告装置、および移動体警告方法 |
JP2014109958A (ja) * | 2012-12-03 | 2014-06-12 | Denso Corp | 撮影画像表示装置、および撮影画像表示方法 |
US8847771B2 (en) * | 2013-01-25 | 2014-09-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning |
JP6296684B2 (ja) * | 2013-02-07 | 2018-03-20 | 三菱電機株式会社 | 運転支援装置 |
JP6007848B2 (ja) * | 2013-03-28 | 2016-10-12 | 富士通株式会社 | 目視確認評価装置、方法及びプログラム |
CN104097587B (zh) * | 2013-04-15 | 2017-02-08 | 观致汽车有限公司 | 一种行车提示控制装置及方法 |
DE112014001607B4 (de) * | 2013-04-25 | 2021-09-02 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Situationswahrnehmungssystem und -verfahren |
JP6094399B2 (ja) * | 2013-06-24 | 2017-03-15 | 株式会社デンソー | ヘッドアップディスプレイ、及びプログラム |
JP5890803B2 (ja) * | 2013-07-01 | 2016-03-22 | 富士重工業株式会社 | 車両の運転支援制御装置 |
JP5842110B2 (ja) * | 2013-10-10 | 2016-01-13 | パナソニックIpマネジメント株式会社 | 表示制御装置、表示制御プログラム、および記録媒体 |
CN103770733B (zh) * | 2014-01-15 | 2017-01-11 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
US9756319B2 (en) * | 2014-02-27 | 2017-09-05 | Harman International Industries, Incorporated | Virtual see-through instrument cluster with live video |
JP6259680B2 (ja) * | 2014-03-10 | 2018-01-10 | 株式会社デンソーアイティーラボラトリ | 安全確認判定装置、及び運転支援装置 |
JP6252304B2 (ja) * | 2014-03-28 | 2017-12-27 | 株式会社デンソー | 車両用認知通知装置、車両用認知通知システム |
WO2015152304A1 (ja) * | 2014-03-31 | 2015-10-08 | エイディシーテクノロジー株式会社 | 運転支援装置、及び運転支援システム |
JP6496982B2 (ja) * | 2014-04-11 | 2019-04-10 | 株式会社デンソー | 認知支援システム |
CN105083291B (zh) * | 2014-04-25 | 2018-11-09 | 歌乐株式会社 | 基于视线检测的驾驶员辅助*** |
CN104296967B (zh) * | 2014-11-18 | 2017-03-22 | 北京工业大学 | 不同光环境下对非彩色目标物的视觉功效的测算方法及其*** |
US10235768B2 (en) | 2014-12-10 | 2019-03-19 | Mitsubishi Electric Corporation | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium |
JP6661883B2 (ja) * | 2015-02-09 | 2020-03-11 | 株式会社デンソー | 車両用表示制御装置及び車両用表示制御方法 |
JP6520668B2 (ja) * | 2015-02-09 | 2019-05-29 | 株式会社デンソー | 車両用表示制御装置及び車両用表示ユニット |
JP6319350B2 (ja) * | 2015-04-03 | 2018-05-09 | 株式会社デンソー | 情報提示装置 |
KR102371587B1 (ko) * | 2015-05-22 | 2022-03-07 | 현대자동차주식회사 | 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법 |
CN106361270B (zh) * | 2015-07-22 | 2021-05-07 | 松下电器(美国)知识产权公司 | 清醒度预测方法和清醒度预测装置 |
DE102015213769A1 (de) * | 2015-07-22 | 2017-01-26 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen |
JP2017074871A (ja) * | 2015-10-15 | 2017-04-20 | 日立建機株式会社 | 車両周囲障害物検出装置 |
JP6563798B2 (ja) * | 2015-12-17 | 2019-08-21 | 大学共同利用機関法人自然科学研究機構 | 視覚認知支援システムおよび視認対象物の検出システム |
KR102448919B1 (ko) * | 2016-03-16 | 2022-10-04 | 삼성디스플레이 주식회사 | 표시 장치 |
DE102016208410A1 (de) * | 2016-05-17 | 2017-11-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug |
BR112018077145A2 (pt) * | 2016-06-27 | 2019-04-30 | Nissan Motor Co., Ltd. | método de rastreamento de objeto e dispositivo de rastreamento de objeto |
CN109416884B (zh) * | 2016-07-05 | 2021-02-19 | 三菱电机株式会社 | 识别区域推定装置、识别区域推定方法及识别区域推定程序 |
US9952058B2 (en) * | 2016-08-29 | 2018-04-24 | Denso International America, Inc. | Driver visibility detection system and method for detecting driver visibility |
EP3496068A1 (en) * | 2016-10-07 | 2019-06-12 | Aisin Aw Co., Ltd. | Travel assistance device and computer program |
JP2018067198A (ja) * | 2016-10-20 | 2018-04-26 | 矢崎総業株式会社 | 走行支援装置 |
US10964137B2 (en) * | 2017-06-22 | 2021-03-30 | Mitsubishi Electric Corporation | Risk information collection device mounted on a vehicle |
CN111278701B (zh) * | 2017-07-28 | 2023-05-02 | 日产自动车株式会社 | 显示控制方法以及显示控制装置 |
CN111095380B (zh) * | 2017-09-20 | 2022-03-15 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法、及存储介质 |
US10401862B2 (en) | 2017-10-31 | 2019-09-03 | Waymo Llc | Semantic object clustering for autonomous vehicle decision making |
US10713940B2 (en) | 2017-10-31 | 2020-07-14 | Waymo Llc | Detecting and responding to traffic redirection for autonomous vehicles |
TWI782971B (zh) * | 2017-11-03 | 2022-11-11 | 英屬開曼群島商麥迪創科技股份有限公司 | 交通號誌燈號轉換提醒系統及方法 |
JP6914827B2 (ja) * | 2017-12-25 | 2021-08-04 | 株式会社デンソーアイティーラボラトリ | 見落し検知装置、見落し検知方法、およびプログラム |
US11017249B2 (en) | 2018-01-29 | 2021-05-25 | Futurewei Technologies, Inc. | Primary preview region and gaze based driver distraction detection |
KR102494865B1 (ko) * | 2018-02-20 | 2023-02-02 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
WO2019167285A1 (ja) * | 2018-03-02 | 2019-09-06 | 三菱電機株式会社 | 運転支援装置及び運転支援方法 |
CN108447303B (zh) * | 2018-03-20 | 2021-01-15 | 武汉理工大学 | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 |
US11206375B2 (en) | 2018-03-28 | 2021-12-21 | Gal Zuckerman | Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles |
IL260822B (en) * | 2018-07-26 | 2019-12-31 | Ophir Yoav | Method and system for a dynamic collision awareness envelope for a vehicle |
US11138418B2 (en) | 2018-08-06 | 2021-10-05 | Gal Zuckerman | Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles |
FR3085927B1 (fr) * | 2018-09-18 | 2023-04-14 | Valeo Comfort & Driving Assistance | Dispositif, systeme et procede de detection de la distraction d'un conducteur |
US10882398B2 (en) * | 2019-02-13 | 2021-01-05 | Xevo Inc. | System and method for correlating user attention direction and outside view |
WO2020208804A1 (ja) * | 2019-04-12 | 2020-10-15 | 三菱電機株式会社 | 表示制御装置、表示制御方法、及び表示制御プログラム |
US20220139093A1 (en) * | 2019-04-24 | 2022-05-05 | Mitsubishi Electric Corporation | Travel environment analysis apparatus, travel environment analysis system, and travel environment analysis method |
JP2020190942A (ja) * | 2019-05-22 | 2020-11-26 | 株式会社デンソー | 表示制御装置 |
JP7158352B2 (ja) * | 2019-08-08 | 2022-10-21 | 本田技研工業株式会社 | 運転支援装置、車両の制御方法、およびプログラム |
JP7354686B2 (ja) * | 2019-08-27 | 2023-10-03 | 株式会社リコー | 出力制御装置、表示制御システム、出力制御方法およびプログラム |
JP7056632B2 (ja) * | 2019-09-05 | 2022-04-19 | トヨタ自動車株式会社 | 運転支援装置 |
WO2021140621A1 (ja) * | 2020-01-09 | 2021-07-15 | 三菱電機株式会社 | 情報生成装置、警告装置、情報生成方法、警告方法、情報生成プログラム、および警告プログラム |
JP2021149641A (ja) * | 2020-03-19 | 2021-09-27 | 日産自動車株式会社 | 対象物提示装置及び対象物提示方法 |
CN111477036B (zh) * | 2020-04-08 | 2021-01-29 | 中国电子科技集团公司第二十八研究所 | 一种空管自动化***航空器高度异常检测方法 |
CN113570901B (zh) * | 2020-04-27 | 2022-09-20 | 北京七鑫易维信息技术有限公司 | 车辆驾驶的辅助方法及装置 |
JP7465738B2 (ja) | 2020-07-17 | 2024-04-11 | 京セラ株式会社 | 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム |
JP7433155B2 (ja) | 2020-07-17 | 2024-02-19 | 京セラ株式会社 | 電子機器、情報処理装置、推定方法、および推定プログラム |
JP7415892B2 (ja) * | 2020-11-25 | 2024-01-17 | トヨタ自動車株式会社 | 歩行支援システム |
JP2022088959A (ja) | 2020-12-03 | 2022-06-15 | 京セラ株式会社 | 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法 |
JP2022088962A (ja) | 2020-12-03 | 2022-06-15 | 京セラ株式会社 | 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法 |
US11954921B2 (en) * | 2021-02-26 | 2024-04-09 | Honda Motor Co., Ltd. | System and method for improving driver situation awareness prediction using human visual sensory and memory mechanism |
EP4064116B1 (en) * | 2021-03-23 | 2024-01-17 | Aptiv Technologies Limited | Method and a device for assigning a bounding box to an object |
JP2022169357A (ja) | 2021-04-27 | 2022-11-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
JP2022169359A (ja) | 2021-04-27 | 2022-11-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
JP2024048772A (ja) * | 2022-09-28 | 2024-04-09 | マツダ株式会社 | 運転者異常予兆検出装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2929927B2 (ja) * | 1993-12-14 | 1999-08-03 | 日産自動車株式会社 | 走行情報提供装置 |
CN2512665Y (zh) * | 2001-09-13 | 2002-09-25 | 项联鹏 | 汽车周边侦测用的光纤影像侦测*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09244003A (ja) * | 1996-03-13 | 1997-09-19 | Toyota Motor Corp | 車両用画面制御装置 |
JP3884815B2 (ja) | 1997-03-03 | 2007-02-21 | 本田技研工業株式会社 | 車両用情報表示装置 |
JP3450189B2 (ja) | 1998-06-16 | 2003-09-22 | ダイハツ工業株式会社 | 歩行者検知システム及びその制御方法 |
JP4385392B2 (ja) | 2000-06-15 | 2009-12-16 | マツダ株式会社 | 車両用情報提供装置 |
WO2005088970A1 (ja) * | 2004-03-11 | 2005-09-22 | Olympus Corporation | 画像生成装置、画像生成方法、および画像生成プログラム |
US7403124B2 (en) * | 2005-05-10 | 2008-07-22 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
CN102343819B (zh) * | 2005-08-30 | 2015-06-17 | 本田技研工业株式会社 | 车辆显示装置,设置有车辆显示装置的车辆 |
JP4926437B2 (ja) * | 2005-09-28 | 2012-05-09 | 富士重工業株式会社 | 車両の運転支援装置 |
-
2007
- 2007-09-04 WO PCT/JP2007/067211 patent/WO2008029802A1/ja active Application Filing
- 2007-09-04 CN CN2007800327596A patent/CN101512617B/zh not_active Expired - Fee Related
- 2007-09-04 US US12/439,766 patent/US8085140B2/en not_active Expired - Fee Related
- 2007-09-04 JP JP2008533162A patent/JP5171629B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2929927B2 (ja) * | 1993-12-14 | 1999-08-03 | 日産自動車株式会社 | 走行情報提供装置 |
CN2512665Y (zh) * | 2001-09-13 | 2002-09-25 | 项联鹏 | 汽车周边侦测用的光纤影像侦测*** |
Also Published As
Publication number | Publication date |
---|---|
CN101512617A (zh) | 2009-08-19 |
US20090303078A1 (en) | 2009-12-10 |
JPWO2008029802A1 (ja) | 2010-01-21 |
WO2008029802A1 (fr) | 2008-03-13 |
JP5171629B2 (ja) | 2013-03-27 |
US8085140B2 (en) | 2011-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101512617B (zh) | 行驶信息提供装置 | |
CN110892351B (zh) | 车辆控制装置和车辆控制方法 | |
US11827152B2 (en) | Vehicular vision system | |
CN106293032B (zh) | 便携终端设备及其控制方法和装置 | |
US10717447B2 (en) | Visual perception assistance system and visual-perception target object detection system | |
CN106585629B (zh) | 一种车辆控制方法和装置 | |
CN108639055B (zh) | 车辆的显示***及车辆的显示***的控制方法 | |
DE102013110332B4 (de) | Visuelles leitsystem | |
CN105459919B (zh) | 车辆的视线引导装置 | |
CN108859961A (zh) | 用于自动驾驶的环绕摄像*** | |
CN106143308B (zh) | 基于智能后视镜的车道偏离预警*** | |
CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和*** | |
CN103732480A (zh) | 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备 | |
CN113276821B (zh) | 驾驶员状态推断装置 | |
CN109849919A (zh) | 自动驾驶接管的安全警示***及其方法 | |
CN106627529A (zh) | 一种汽车智能监控方法和装置 | |
CN110506305A (zh) | 提醒注意装置 | |
CN102792208A (zh) | 在汽车风挡上的信息显示装置 | |
CN113276822B (zh) | 驾驶员状态推断装置 | |
CN108705972A (zh) | 一种车辆横向控制信息显示*** | |
CN106652353A (zh) | 一种交通工具控制方法和装置 | |
US11908208B2 (en) | Interface sharpness distraction mitigation method and system | |
US20230252668A1 (en) | Gaze direction determination apparatus | |
JP2018018184A (ja) | 車両用事象判別装置 | |
CN116229422A (zh) | 一种便于色觉异常人士识别交通信号灯的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120201 Termination date: 20130904 |