CN109712431A - 驾驶辅助装置及驾驶辅助*** - Google Patents
驾驶辅助装置及驾驶辅助*** Download PDFInfo
- Publication number
- CN109712431A CN109712431A CN201811214963.6A CN201811214963A CN109712431A CN 109712431 A CN109712431 A CN 109712431A CN 201811214963 A CN201811214963 A CN 201811214963A CN 109712431 A CN109712431 A CN 109712431A
- Authority
- CN
- China
- Prior art keywords
- personage
- dangerous scene
- model information
- barrier
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 42
- 230000004888 barrier function Effects 0.000 claims abstract description 30
- 238000010191 image analysis Methods 0.000 claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明提供驾驶辅助装置及驾驶辅助***。驾驶辅助装置具备:图像分析部,其对由前方拍摄用的车载摄像机所拍摄到的图像进行分析,并在识别出向面向车辆前方的行驶道路而存在的障碍物的方向进行动作的人物及从障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下,将该识别出的人物的动作以及物体的组合确定为危险场景的模型;存储部,其对与所确定的危险场景的模型相关的危险场景、模型信息进行存储;判断部,其对摄像机的拍摄图像所包含的人物的动作与所存储的危险场景、模型信息中所包含的人物的动作是否类似进行判断;驾驶辅助部,其提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上。
Description
技术领域
本发明涉及一种驾驶辅助装置及驾驶辅助***。
背景技术
在下述专利文献1中公开了一种以如下方式进行辅助的驾驶辅助装置,即,在更早的阶段对处于本车辆行驶的行驶车道的路侧的行人的横穿可能性进行预测,从而防止与行人的碰撞。
在先技术文献
专利文献
专利文献1:日本特开2012-234499号公报
发明内容
发明所要解决的课题
在专利文献1中,虽然能够对由被搭载于本车辆的摄像机所检测出的行人的横穿可能性进行预测,但是无法对例如在面向行驶道路而存在的建筑物的背侧朝向行驶道路移动的人物等那样无法通过车载摄像机而进行检测的物体的横穿可能性进行预测。
因此,本发明的目的在于提供一种能够对无法通过车载摄像机而进行检测的物体的横穿可能性进行预测的驾驶辅助装置以及驾驶辅助***。
用于解决课题的方法
本发明的一个方式所涉及的驾驶辅助装置为,被搭载于车辆上的驾驶辅助装置,并具备:发送部,其向服务器发送由被搭载于所述车辆上的前方拍摄用的摄像机所拍摄到的图像;接收部,其从服务器接收与如下的危险场景的模型相关的危险场景、模型信息,所述危险场景的模型由对上述图像进行分析而识别出的、向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物以及从所述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的组合构成;存储部,其对接收到的所述危险场景、模型信息进行存储;判断部,其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中所包含的人物的动作是否类似进行判断;驾驶辅助部,其在由所述判断部而判断为类似的情况下,通过提醒驾驶员注意被判断为类似的危险场景、模型信息所包含的所述物体可能会出现在车辆前方的行驶道路上,从而对驾驶进行辅助。
在上述方式中,也可以采用如下方式,即,所述接收部至少于危险场景、模型信息每次在服务器中被存储时、以及每隔预定的周期的任意一个时刻,而接收从服务器被发送的危险场景、模型信息。
在上述方式中,也可以采用如下方式,即,向所述障碍物的方向正在进行动作的人物至少为,向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
在上述方式中,也可以采用如下方式,即,所述驾驶辅助部通过从扬声器输出语音消息及通过在显示器上显示由包含文字的影像所构成的消息中的任意一个,来提醒驾驶员注意。
本发明的其他方式所涉及的驾驶辅助***解析具备:图像分析部,其对由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像进行分析,并在识别出向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、以及从所述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下,将该识别出的人物的动作以及所述物体的组合确定为危险场景的模型;存储部,其对与所确定的所述危险场景的模型有关的危险场景、模型信息进行存储;判断部,其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中包含的人物的动作是否类似进行判断;驾驶辅助部,其在由所述判断部判断为类似的情况下,通过提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上,从而对驾驶进行辅助。
在上述方式中,也可以采用如下方式,向所述障碍物的方向正在进行动作的人物至少为,向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
在上述方式中,也可以采用如下方式,即,所述驾驶辅助部至少通过从扬声器输出语音消息及在显示器上显示由包含文字的影像所构成的消息中的任意一个,来提醒驾驶员注意。
发明效果
根据本发明,可提供一种能够对无法通过车载摄像机而进行检测的物体的横穿可能性进行预测的驾驶辅助装置以及驾驶辅助***。
附图说明
图1为例示了包括实施方式所涉及的驾驶辅助***的驾驶辅助装置的结构的图。
图2为例示了危险场景的模型的模式图
图3为例示出危险场景的模型的模式图。
图4为对存储危险场景、模型信息时的动作例进行说明的时序图。
图5为对利用危险场景、模型信息来提醒司机注意时的动作例的流程图。
具体实施方式
参照附图,对本发明的优选的实施方式进行说明。另外,在各附图中,标注了相同符号的部件具有相同或同样的结构。
参照图1,对包括实施方式所涉及的驾驶辅助装置的驾驶辅助***的结构进行说明。驾驶辅助***100例如包括被配置于数据中心等的服务器1、和被搭载于车辆上的驾驶辅助装置2。服务器1以及驾驶辅助装置2被构成为,能够经由无线网络而相互通信。
服务器1作为功能性的结构而具有例如图像分析部11、存储单元12和通信部13。服务器1被构成为,作为物理性的结构而具备例如包含CPU(Central Processing Unit:中央处理单元)及存储器的控制单元、存储装置、通信装置等。通过由CPU执行被存储于存储器中的预定的程序,从而实现了图像分析部11、存储部12以及通信部13的各个功能。以下,对各个功能进行说明。
图像分析部11对从驾驶辅助装置2接收的图像进行分析。从驾驶辅助装置2接收到的图像为,由后文所述的被搭载于的车辆上的前方拍摄用的摄像机所拍摄到的图像。
图像分析部11对图像进行分析,并确定危险场景的模型。危险场景的模型根据例如向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、和从障碍物的背侧朝向车辆前方的行驶道路而移动的物体的组合而确定。在物体中,例如包括人物、动物、车辆、自行车等进行移动的物体。
即,图像分析部11对图像进行分析,并分别对向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、以及从障碍物的背侧朝向车辆前方的行驶道路而移动的物体进行识别,并且基于识别出的人物和物体来确定危险场景的模型。参照图2和图3,对危险场景的模型进行具体说明。
图2为表示人物P和建筑物S落入正在行驶于行驶道路T上的车辆X所搭载的摄像机的拍摄范围R内的情况的示意图。人物(例如母亲)P向面向车辆X的前方的行驶道路T而存在的建筑物S的方向正在进行挥手的动作。之后,从建筑物S的背侧朝向车辆前方的行驶道路T移动的物体(例如孩子)被车载摄像机检测出,并通过图像分析部11而被识别出。
在该情况下,在正在进行向建筑物S的方向挥手的动作的人物和从建筑物S的背侧朝向行驶道路T而移动的物体(人物)被确定为危险场景的模型。
图3为表示多个人物P和建筑物S落入正在行驶于行驶道路T上的车辆X所搭载的摄像机的拍摄范围R内的情况的模式图。多个人物(例如行人)T正在进行将视线或面部朝向面向车辆X的前方的行驶道路T而存在的建筑物S的方向的动作。之后,从建筑物S的背侧朝向车辆前方的行驶道路T而移动的物体(例如消防车)被车载摄像机检测出,并通过图像分析部11而被识别出。
在该情况下,将正在进行将视线或面部朝向建筑物S的方向的动作的多个人物和从建筑物S的背侧朝向行驶道路T而移动的物体(车辆)等确定为危险场景的模型。
返回至图1的说明。服务器1的存储单元12对与由图像分析部11而被确定的危险场景的模型相关的危险场景、模型信息进行存储。
服务器1的通信部13对与其他装置的通信进行控制。例如,通信部13接收由驾驶辅助装置2所发送的图像,并将被存储于存储部12中的危险场景、模型信息发送至驾驶辅助装置2。将危险场景、模型信息发送至驾驶辅助装置2的时刻例如既可以是每次存储危险场景、模型信息时,也可以是每隔预定的周期时,能够任意地进行设定。
图1所示的驾驶辅助装置2作为功能性的结构而具有例如判断部21、驾驶辅助部22、通信部23以及存储部24。驾驶辅助装置2被构成为,作为物理性的结构而具备例如包含CPU以及存储器的控制单元、通信装置、存储装置、摄像机、操作部、显示器、扬声器等。通过由CPU执行被存储在存储器中的预定的程序,从而实现了判断部21、驾驶辅助部22、通信部23以及存储部24的各个功能。以下,对各个功能进行说明。
判断部21对基于由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像而识别出的人物的动作与由存储部24存储的危险场景、模型信息所包含的人物的动作是否类似进行判断。例如,判断部21对基于由摄像机所拍摄到的图像而识别出的人物部分与由存储部24存储的危险场景、模型信息所包含的模型图像进行对照,并在存在相似度为预定值以上的模型图像的情况下,判断为类似。以下进行具体说明。
例如,当在图2所示的人物P所处的位置上识别出了朝向建筑物S的方向而挥手的人物的情况下,判断部21判断为类似。另外,当在图3所示的多个人物P所处的位置上识别出了将视线、面部朝向建筑物S的方向的人物的情况下,判断部21判断为类似。
图1的驾驶辅助部22在由判断部21判断为类似的情况下,通过提醒驾驶员注意与被判断为类似的危险场景、模型信息对应的物体可能会出现在车辆前方的行驶道路上,从而对驾驶进行辅助。以下进行具体说明。
例如,在图2所示的人物T的位置上存在向建筑物S的方向挥手的人物的情况下,驾驶辅助部22提醒驾驶员注意从建筑物S的背侧朝向行驶道路T而移动的人物。另外,在图3所示的多个人物T的位置上存在将视线、面部朝向建筑物S的方向的人物的情况下,驾驶辅助部22提醒驾驶员注意从建筑物S的背侧朝向行驶道路T而移动的车辆。
提醒注意的方法既可以设为从扬声器输出语音信息,也可以设为在显示器等上显示由包含文字等的影像所构成的信息。
图1所示的驾驶辅助装置2的通信部23对与其他装置的通信进行控制。例如,通信部23向服务器1发送由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像,并从服务器1接收作为对图像进行了分析的结果的危险场景、模型信息。
驾驶辅助装置2的存储部24对从服务器1接收到的危险场景、模型信息进行存储。
另外,服务器1以及驾驶辅助装置2的构成要素并不限定于前述的构成要素,能够根据需要而适当地追加任意的构成要素。
接下来,对包括实施方式所涉及的驾驶辅助装置的驾驶辅助***的动作的一个示例进行说明。首先,参照图4,对储存危险场景、模型信息时的动作进行说明。
首先,驾驶辅助装置2的通信部23向服务器1发送由前方拍摄用的车载摄像机所拍摄到的图像(步骤S101)。
接着,服务器1的图像解析部11对在上述步骤S101中接收到的图像进行分析,并确定危险场景的模型(步骤S102)。
接着,服务器1的存储部12对包含在上述步骤S102中所确定的危险场景的模型在内的危险场景、模型信息进行存储(步骤S103)。
接着,服务器1的通信部13将在上述步骤S103中所存储的危险场景模型信息向驾驶辅助装置2发送(步骤S104)。
接着,驾驶辅助装置2的存储部24对在上述步骤S104中从服务器1接收到的危险场景、模型信息进行存储(步骤S105)。然后,结束本动作。
接着,参照图5,对在驾驶辅助装置2中利用危险场景模型信息而提醒驾驶员注意时的动作进行说明。
首先,驾驶辅助装置2的判断部21对基于由前方拍摄用的车载摄像机所拍摄到的图像而识别出的人物的动作与被存储于存储部24中的危险场景、模型信息所包含的人物的动作是否类似进行判断(步骤S201)。在该判断为“否”的情况下(步骤S201为否),结束本动作。
在上述步骤S201的判断中判断为类似的情况下(步骤S201为是),驾驶辅助装置2的驾驶辅助部22提醒驾驶员注意被判断为类似的危险场景、模型信息所包含的物体可能会出现在车辆前方的行驶道路上(步骤S202)。然后,结束本动作。
如上文所述,根据实施方式中的驾驶辅助***100,在对由前方拍摄用的车载摄像机所拍摄到的图像进行分析,并分别识别出向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物和从该障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下,能够将该识别出的人物的动作以及物体的组合确定为危险场景的模型,并作为危险场景、模型信息而进行存储。
而且,对基于车载摄像机的拍摄图像而被识别出的人物的动作与所存储的危险场景、模型信息所包含的人物的动作是否类似进行判断,并且在被判断为类似的情况下,能够提醒驾驶员注意与被判断为类似的该危险场景、模型信息相对应的物体可能会出现在车辆前方的行驶道路上。
换言之,根据实施方式中的驾驶辅助***100,预先对由于障碍物的存在而使得驾驶员无法预测的危险场景的模型进行存储,并在车辆正在行驶时,利用车载摄像机而对行人等人物的运动进行识别,且在检测到与危险场景的模型类似的运动的情况下,能够提醒驾驶员注意物体可能会从障碍物出现在行驶道路上。由此,能够将事故防患于未然。
这样,根据实施方式中的驾驶辅助***100,能够预测无法通过车载摄像机而进行检测的物体的横穿可能性。
[改变例]
另外,本发明并不限定于上述的实施方式,在不脱离本发明的主旨的范围内,能够以其他各种形式来实施。因此,上述实施方式在所有方面上只不过为示例,并非被限定性地解释的实施方式。例如,上述的各处理步骤能够在处理内容不产生矛盾的范围内任意地改变顺序或者并列地执行。
另外,虽然在上述的实施方式中,在服务器1以及驾驶辅助装置2双方中利用存储部而对危险场景、模型信息进行存储,但是也可以通过任意一方或者另外设置的存储服务器装置等来存储危险场景、模型信息。在这种情况下,未存储危险场景、模型信息的装置只需设为经由通信部而参照危险场景、模型信息即可。
符号说明
1服务器;2…驾驶辅助装置;11…图像分析部;12…存储部;13…通信部;21…判断部;22…驾驶辅助部;23…通信部;24…存储部;100…驾驶辅助***。
Claims (7)
1.一种驾驶辅助装置,其被搭载于车辆上,并具备:
发送部,其向服务器发送由被搭载于所述车辆上的前方拍摄用的摄像机所拍摄到的图像;
接收部,其从服务器接收与如下的危险场景的模型相关的危险场景、模型信息,所述危险场景的模型由对所述图像进行分析而识别出的、向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物以及从所述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的组合构成;
存储部,其对接收到的所述危险场景、模型信息进行存储;
判断部,其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中所包含的人物的动作是否类似进行判断;
驾驶辅助部,其在由所述判断部判断为类似的情况下,通过提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上,从而对驾驶进行辅助。
2.如权利要求1所述的驾驶辅助装置,其中,
所述接收部至少于危险场景、模型信息每次在服务器中被存储时、以及每隔预定的周期的任意一个时刻,而接收从服务器被发送的危险场景、模型信息。
3.如权利要求1所述的驾驶辅助装置,其中,
向所述障碍物的方向正在进行动作的人物至少为,向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
4.如权利要求1所述的驾驶辅助装置,其中,
所述驾驶辅助部通过从扬声器输出语音消息以及在显示器上显示由包含文字的影像所构成的消息中的任意一个,来提醒驾驶员注意。
5.一种驾驶辅助***,其特征在于,具备:
图像分析部,其对由被搭载于车辆上的前方拍摄用的摄像机所拍摄到的图像进行分析,并在识别出向面向车辆前方的行驶道路而存在的障碍物的方向正在进行动作的人物、以及从上述障碍物的背侧朝向车辆前方的行驶道路而移动的物体的情况下,将该识别出的人物的动作以及所述物体的组合确定为危险场景的模型,
存储部,其对与所确定的所述危险场景的模型相关的危险场景、模型信息进行存储;
判断部,其对基于由所述摄像机所拍摄到的图像而识别出的人物的动作与由所述存储部所存储的危险场景、模型信息中包含的人物的动作是否类似进行判断;
驾驶辅助部,其在由所述判断部判断为类似的情况下,通过提醒驾驶员注意被判断为类似的危险场景、模型信息中所包含的所述物体可能会出现在车辆前方的行驶道路上,从而对驾驶进行辅助。
6.如权利要求5所述的驾驶辅助***,其中,
向所述障碍物的方向正在进行动作的人物至少为,向所述障碍物的方向挥手的人物、以及将视线或面部朝向所述障碍物的方向的人物中的任意一个。
7.如权利要求5所述的驾驶辅助***,其中,
所述驾驶辅助部至少通过从扬声器输出语音消息以及在显示器上显示由包含文字的影像所构成的消息中的任意一个,来提醒驾驶员注意。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-207359 | 2017-10-26 | ||
JP2017207359A JP6880455B2 (ja) | 2017-10-26 | 2017-10-26 | 運転支援装置及び運転支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109712431A true CN109712431A (zh) | 2019-05-03 |
CN109712431B CN109712431B (zh) | 2021-03-12 |
Family
ID=66244053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811214963.6A Active CN109712431B (zh) | 2017-10-26 | 2018-10-18 | 驾驶辅助装置及驾驶辅助*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US10504371B2 (zh) |
JP (1) | JP6880455B2 (zh) |
CN (1) | CN109712431B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276322A (zh) * | 2019-06-26 | 2019-09-24 | 湖北亿咖通科技有限公司 | 一种结合车机闲散资源的图像处理方法及装置 |
CN110435672A (zh) * | 2019-08-11 | 2019-11-12 | 西藏宁算科技集团有限公司 | 一种基于场景预判安全驾驶辅助方法及其*** |
CN111294586A (zh) * | 2020-02-10 | 2020-06-16 | Oppo广东移动通信有限公司 | 图像显示方法、装置、头戴显示设备及计算机可读介质 |
CN111572540A (zh) * | 2020-04-09 | 2020-08-25 | 大连理工大学 | 一种检测视野外是否来车的安全辅助驾驶***、车辆 |
CN112908032A (zh) * | 2019-11-19 | 2021-06-04 | 丰田自动车株式会社 | 信息收集***、中继装置、收集装置以及记录介质 |
CN113415232A (zh) * | 2021-07-07 | 2021-09-21 | 深圳前海汉视科技有限公司 | 一种用于障碍物识别的车灯*** |
CN114944082A (zh) * | 2021-02-16 | 2022-08-26 | 丰田自动车株式会社 | 图像收集装置、图像收集方法以及记录介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113225433B (zh) * | 2021-03-26 | 2023-01-10 | 北京海纳川汽车部件股份有限公司 | 车辆语音提醒方法、装置、电子设备及存储介质 |
JP2022160956A (ja) * | 2021-04-07 | 2022-10-20 | トヨタ自動車株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び端末装置 |
CN115009272B (zh) * | 2022-07-08 | 2023-01-31 | 北京捷升通达信息技术有限公司 | 一种基于激光雷达路障分类识别的车辆全自主越障方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011159214A (ja) * | 2010-02-03 | 2011-08-18 | Fuji Heavy Ind Ltd | 行動検出装置 |
CN201946119U (zh) * | 2010-11-02 | 2011-08-24 | 南通大学 | 一种道路交通警示装置 |
JP2012234499A (ja) * | 2011-05-09 | 2012-11-29 | Mitsubishi Motors Corp | 運転支援装置 |
CN103155015A (zh) * | 2010-09-08 | 2013-06-12 | 丰田自动车株式会社 | 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法 |
US20140249722A1 (en) * | 2013-03-04 | 2014-09-04 | Conti Temic Microelectronic Gmbh | Method of Operating a Driver Assistance System of a Motor Vehicle |
CN104361649A (zh) * | 2014-10-14 | 2015-02-18 | 江苏科技大学 | 一种具有提示其他车辆的行车记录仪及其控制方法 |
CN105324803A (zh) * | 2013-06-12 | 2016-02-10 | 沃伊斯拉夫·伊利耶夫 | 用于道路交通参与者的光-声警报*** |
CN105513421A (zh) * | 2014-10-13 | 2016-04-20 | 罗伯特·博世有限公司 | 用于对机动车的周围环境作出反应的方法 |
CN105612567A (zh) * | 2013-07-19 | 2016-05-25 | 日产自动车株式会社 | 车辆用驾驶辅助装置以及车辆用驾驶辅助方法 |
CN105678316A (zh) * | 2015-12-29 | 2016-06-15 | 大连楼兰科技股份有限公司 | 基于多信息融合的主动驾驶方法 |
CN105774809A (zh) * | 2014-12-26 | 2016-07-20 | ***通信集团公司 | 一种行车盲区提示的方法和装置 |
US20170021765A1 (en) * | 2015-07-21 | 2017-01-26 | Toyota Jidosha Kabushiki Kaisha | Information presentation system |
CN106515580A (zh) * | 2015-09-15 | 2017-03-22 | 北汽福田汽车股份有限公司 | 用于实现安全控制的方法和*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4255906B2 (ja) * | 2004-12-03 | 2009-04-22 | 富士通テン株式会社 | 運転支援装置 |
JP2007219836A (ja) * | 2006-02-16 | 2007-08-30 | Mazda Motor Corp | 車両用走行支援装置 |
JP2008310376A (ja) * | 2007-06-12 | 2008-12-25 | Mazda Motor Corp | 歩行者検出装置 |
JP2010113601A (ja) | 2008-11-07 | 2010-05-20 | Toyota Motor Corp | 車両用警告装置 |
JP2014006700A (ja) | 2012-06-25 | 2014-01-16 | Mitsubishi Motors Corp | 歩行者検出装置 |
JP6630521B2 (ja) * | 2014-12-26 | 2020-01-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 危険判定方法、危険判定装置、危険出力装置及び危険判定システム |
-
2017
- 2017-10-26 JP JP2017207359A patent/JP6880455B2/ja active Active
-
2018
- 2018-10-18 CN CN201811214963.6A patent/CN109712431B/zh active Active
- 2018-10-23 US US16/168,375 patent/US10504371B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011159214A (ja) * | 2010-02-03 | 2011-08-18 | Fuji Heavy Ind Ltd | 行動検出装置 |
CN103155015A (zh) * | 2010-09-08 | 2013-06-12 | 丰田自动车株式会社 | 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法 |
CN201946119U (zh) * | 2010-11-02 | 2011-08-24 | 南通大学 | 一种道路交通警示装置 |
JP2012234499A (ja) * | 2011-05-09 | 2012-11-29 | Mitsubishi Motors Corp | 運転支援装置 |
US20140249722A1 (en) * | 2013-03-04 | 2014-09-04 | Conti Temic Microelectronic Gmbh | Method of Operating a Driver Assistance System of a Motor Vehicle |
CN105324803A (zh) * | 2013-06-12 | 2016-02-10 | 沃伊斯拉夫·伊利耶夫 | 用于道路交通参与者的光-声警报*** |
CN105612567A (zh) * | 2013-07-19 | 2016-05-25 | 日产自动车株式会社 | 车辆用驾驶辅助装置以及车辆用驾驶辅助方法 |
CN105513421A (zh) * | 2014-10-13 | 2016-04-20 | 罗伯特·博世有限公司 | 用于对机动车的周围环境作出反应的方法 |
CN104361649A (zh) * | 2014-10-14 | 2015-02-18 | 江苏科技大学 | 一种具有提示其他车辆的行车记录仪及其控制方法 |
CN105774809A (zh) * | 2014-12-26 | 2016-07-20 | ***通信集团公司 | 一种行车盲区提示的方法和装置 |
US20170021765A1 (en) * | 2015-07-21 | 2017-01-26 | Toyota Jidosha Kabushiki Kaisha | Information presentation system |
CN106515580A (zh) * | 2015-09-15 | 2017-03-22 | 北汽福田汽车股份有限公司 | 用于实现安全控制的方法和*** |
CN105678316A (zh) * | 2015-12-29 | 2016-06-15 | 大连楼兰科技股份有限公司 | 基于多信息融合的主动驾驶方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276322A (zh) * | 2019-06-26 | 2019-09-24 | 湖北亿咖通科技有限公司 | 一种结合车机闲散资源的图像处理方法及装置 |
CN110276322B (zh) * | 2019-06-26 | 2022-01-07 | 湖北亿咖通科技有限公司 | 一种结合车机闲散资源的图像处理方法及装置 |
CN110435672A (zh) * | 2019-08-11 | 2019-11-12 | 西藏宁算科技集团有限公司 | 一种基于场景预判安全驾驶辅助方法及其*** |
CN112908032A (zh) * | 2019-11-19 | 2021-06-04 | 丰田自动车株式会社 | 信息收集***、中继装置、收集装置以及记录介质 |
US11532231B2 (en) | 2019-11-19 | 2022-12-20 | Toyota Jidosha Kabushiki Kaisha | Information collection system, relay device, collection device, and recording medium storing program |
CN112908032B (zh) * | 2019-11-19 | 2023-08-29 | 丰田自动车株式会社 | 信息收集***、中继装置、收集装置以及记录介质 |
CN111294586A (zh) * | 2020-02-10 | 2020-06-16 | Oppo广东移动通信有限公司 | 图像显示方法、装置、头戴显示设备及计算机可读介质 |
CN111572540A (zh) * | 2020-04-09 | 2020-08-25 | 大连理工大学 | 一种检测视野外是否来车的安全辅助驾驶***、车辆 |
CN114944082A (zh) * | 2021-02-16 | 2022-08-26 | 丰田自动车株式会社 | 图像收集装置、图像收集方法以及记录介质 |
CN113415232A (zh) * | 2021-07-07 | 2021-09-21 | 深圳前海汉视科技有限公司 | 一种用于障碍物识别的车灯*** |
CN113415232B (zh) * | 2021-07-07 | 2022-02-01 | 深圳前海汉视科技有限公司 | 一种用于障碍物识别的车灯*** |
Also Published As
Publication number | Publication date |
---|---|
JP2019079413A (ja) | 2019-05-23 |
US20190130757A1 (en) | 2019-05-02 |
JP6880455B2 (ja) | 2021-06-02 |
CN109712431B (zh) | 2021-03-12 |
US10504371B2 (en) | 2019-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109712431A (zh) | 驾驶辅助装置及驾驶辅助*** | |
KR102334318B1 (ko) | 외부 이동 수단으로 릴레이 메시지를 전송하는 전자 장치 및 그 동작 방법 | |
US20180164809A1 (en) | Autonomous School Bus | |
EP3260816B1 (en) | Information processing system, on-vehicle device, and terminal device | |
US8340902B1 (en) | Remote vehicle management system by video radar | |
US20180356237A1 (en) | Enhanced navigation instruction and user determination | |
CN109501801A (zh) | 计划碰撞避免机动的方法、控制单元、车辆和计算机程序 | |
US20200184827A1 (en) | Electronic control device and vehicle comprising the same | |
US10546500B2 (en) | Vehicle dispatch method, vehicle dispatch system, and parking fee charging system including the same | |
US11146918B2 (en) | Systems and methods for network node communication using dynamically configurable interaction modes | |
CN110060465B (zh) | 一种用于车辆行人交互***的交互方法及交互*** | |
JP6650596B2 (ja) | 車両状況判定装置、車両状況判定方法、および車両状況判定プログラム | |
EP2629237A1 (en) | Remote vehicle management system by video radar | |
CN113892131B (zh) | 利用事件检测的车辆记录*** | |
US20190080614A1 (en) | Vehicle Communication Management Systems and Methods | |
US10762778B2 (en) | Device, method, and computer program for capturing and transferring data | |
JP2021015459A (ja) | 車両制御装置、車両制御方法、及びプログラム | |
US20150112590A1 (en) | Method for Communicating within an Ad Hoc-Type Motor Vehicle Communication System | |
JP2017102664A (ja) | 情報伝達装置及びプログラム | |
Tahmasbi-Sarvestani et al. | System architecture for cooperative vehicle-pedestrian safety applications using DSRC communication | |
CN112185170B (zh) | 交通安全提示方法及道路监控设备 | |
WO2017100790A1 (en) | Enhanced navigation instruction and user determination | |
JP6157644B2 (ja) | 保持すべき総計算容量を削減するための方法、車対x通信装置及び車対x通信装置の使用 | |
CN107054214B (zh) | 信息提示方法及装置 | |
JP7514612B2 (ja) | 車両動作適応システムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |