JP2019079413A - 運転支援装置及び運転支援システム - Google Patents

運転支援装置及び運転支援システム Download PDF

Info

Publication number
JP2019079413A
JP2019079413A JP2017207359A JP2017207359A JP2019079413A JP 2019079413 A JP2019079413 A JP 2019079413A JP 2017207359 A JP2017207359 A JP 2017207359A JP 2017207359 A JP2017207359 A JP 2017207359A JP 2019079413 A JP2019079413 A JP 2019079413A
Authority
JP
Japan
Prior art keywords
person
vehicle
dangerous scene
obstacle
pattern information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017207359A
Other languages
English (en)
Other versions
JP6880455B2 (ja
Inventor
敬滋 堀
Takashige Hori
敬滋 堀
真 赤羽
Makoto Akahane
真 赤羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017207359A priority Critical patent/JP6880455B2/ja
Priority to CN201811214963.6A priority patent/CN109712431B/zh
Priority to US16/168,375 priority patent/US10504371B2/en
Publication of JP2019079413A publication Critical patent/JP2019079413A/ja
Application granted granted Critical
Publication of JP6880455B2 publication Critical patent/JP6880455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】車載カメラにより検知することができない物体の横断可能性を予測する。【解決手段】前方撮影用の車載カメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、その認識した人物の動作及び物体の組み合わせを危険シーンのパターンとして特定する画像解析部１１と、特定した危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部１２、２４と、カメラの撮影画像に含まれる人物の動作が、記憶した危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部２１と、類似すると判定された危険シーン・パターン情報に含まれる物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起する運転支援部２２と、を備える。【選択図】図１

Description

本発明は、運転支援装置及び運転支援システムに関する。
下記特許文献１には、自車両が走行する走行車線の路側にいる歩行者の横断可能性をより早い段階で予測して、歩行者との衝突を防止するように支援する運転支援装置が開示されている。
特開２０１２−２３４４９９号公報
特許文献１では、自車両に搭載されたカメラにより検知された歩行者の横断可能性を予測することはできるが、例えば、走行路に面して存在する建物の裏側で走行路に向かって移動している人物等のように、車載カメラにより検知することができない物体の横断可能性を予測することはできない。
そこで、本発明は、車載カメラにより検知することができない物体の横断可能性を予測することができる運転支援装置及び運転支援システムを提供することを目的とする。
本発明の一態様に係る運転支援装置は、車両に搭載される運転支援装置であって、前記車両に搭載される前方撮影用のカメラで撮影された画像をサーバに送信する送信部と、前記画像を解析して認識された、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体の組み合わせからなる危険シーンのパターンに関する危険シーン・パターン情報をサーバから受信する受信部と、前記受信された危険シーン・パターン情報を記憶する記憶部と、前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、を備える。
上記態様において、前記受信部は、少なくとも危険シーン・パターン情報がサーバにおいて記憶されるたび及び所定の周期ごとのいずれかのタイミングによりサーバから送信される危険シーン・パターン情報を受信することとしてもよい。
上記態様において、前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかであることとしてもよい。
上記態様において、前記運転支援部は、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起することとしてもよい。
本発明の他の態様に係る運転支援システムは、車両に搭載される前方撮影用のカメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、当該認識した人物の動作及び前記物体の組み合わせを、危険シーンのパターンとして特定する画像解析部と、前記特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部と、前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、を備える。
上記他の態様において、前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかであることとしてもよい。
上記他の態様において、前記運転支援部は、少なくとも、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起することとしてもよい。
本発明によれば、車載カメラにより検知することができない物体の横断可能性を予測することができる運転支援装置及び運転支援システムを提供することができる。
実施形態に係る運転支援装置を含む運転支援システムの構成を例示する図である。 危険シーンのパターンを例示する模式図である。 危険シーンのパターンを例示する模式図である。 危険シーン・パターン情報を蓄積する際の動作例を説明するシーケンスチャートである。 危険シーン・パターン情報を利用して運転者に注意を喚起する際の動作例を説明するフローチャートである。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは同一又は同様の構成を有する。
図１を参照し、実施形態に係る運転支援装置を含む運転支援システムの構成について説明する。運転支援システム１００は、例えば、データセンタ等に配置されるサーバ１と、車両に搭載される運転支援装置２とを含む。サーバ１及び運転支援装置２は、無線ネットワークを介して相互に通信できるように構成される。
サーバ１は、機能的な構成として、例えば、画像解析部１１と、記憶部１２と、通信部１３とを有する。サーバ１は、物理的な構成として、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びメモリを含む制御ユニット、記憶装置、通信装置等を備えて構成される。ＣＰＵがメモリに格納された所定のプログラムを実行することにより、画像解析部１１、記憶部１２及び通信部１３の各機能が実現する。各機能について、以下に説明する。
画像解析部１１は、運転支援装置２から受信する画像を解析する。運転支援装置２から受信する画像は、後述する車両に搭載される前方撮影用のカメラで撮影された画像である。
画像解析部１１は、画像を解析し、危険シーンのパターンを特定する。危険シーンのパターンは、例えば、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物と、障害物の裏側から車両前方の走行路に向かって移動する物体と、の組み合わせにより定まる。物体には、例えば、人物、動物、車両、自転車等の移動するものが含まれる。
つまり、画像解析部１１は、画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び障害物の裏側から車両前方の走行路に向かって移動する物体をそれぞれ認識し、認識した人物と物体とに基づいて、危険シーンのパターンを特定する。図２及び図３を参照して、危険シーンのパターンについて具体的に説明する。
図２は、走行路Ｔを走行している車両Ｘに搭載されているカメラの撮影範囲Ｒに、人物Ｐと建築物Ｓとが納まっていることを示す模式図である。人物（例えば母親）Ｐは、車両Ｘの前方の走行路Ｔに面して存在する建築物Ｓの方向に手を振る動作を行っている。この後、建築物Ｓの裏側から車両前方の走行路Ｔに向かって移動する物体（例えば子供）が、車載カメラによって検知され、画像解析部１１により認識されることとなる。
この場合、建築物Ｓの方向に手を振る動作を行っている人物と、建築物Ｓの裏側から走行路Ｔに向かって移動する物体（人物）とが、危険シーンのパターンとして特定される。
図３は、走行路Ｔを走行している車両Ｘに搭載されているカメラの撮影範囲Ｒに、複数の人物Ｐと建築物Ｓとが納まっていることを示す模式図である。複数の人物（例えば通行人）Ｐは、車両Ｘの前方の走行路Ｔに面して存在する建築物Ｓの方向に目線や顔を向ける動作を行っている。この後、建築物Ｓの裏側から車両前方の走行路Ｔに向かって移動する物体（例えば消防車）が、車載カメラによって検知され、画像解析部１１により認識されることとなる。
この場合、建築物Ｓの方向に目線や顔を向ける動作を行っている複数の人物と、建築物Ｓの裏側から走行路Ｔに向かって移動する物体（車両）とが、危険シーンのパターンとして特定される。
図１の説明に戻る。サーバ１の記憶部１２は、画像解析部１１により特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する。
サーバ１の通信部１３は、他の装置との通信を制御する。例えば、通信部１３は、運転支援装置２により送信された画像を受信し、記憶部１２に記憶された危険シーン・パターン情報を運転支援装置２に送信する。危険シーン・パターン情報を運転支援装置２に送信するタイミングは、例えば、危険シーン・パターン情報を記憶するたびであってもよいし、所定の周期ごとであってもよく、任意に設定することができる。
図１に示す運転支援装置２は、機能的な構成として、例えば、判定部２１と、運転支援部２２と、通信部２３と、記憶部２４とを有する。運転支援装置２は、物理的な構成として、例えば、ＣＰＵ及びメモリを含む制御ユニット、通信装置、記憶装置、カメラ、操作部、ディスプレイ、スピーカ等を備えて構成される。ＣＰＵがメモリに格納された所定のプログラムを実行することにより、判定部２１、運転支援部２２、通信部２３及び記憶部２４の各機能が実現する。各機能について、以下に説明する。
判定部２１は、車両に搭載される前方撮影用のカメラで撮影された画像に基づいて認識される人物の動作が、記憶部２４により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する。例えば、判定部２１は、カメラで撮影された画像に基づいて認識される人物部分と、記憶部２４により記憶された危険シーン・パターン情報に含まれるパターン画像とを照合し、類似度が所定値以上となるパターン画像が存在する場合に、類似すると判定する。以下に、具体的に説明する。
例えば、図２に示す人物Ｐが存在する場所に、建築物Ｓの方向に手を振る人物が認識された場合、判定部２１は、類似すると判定することになる。また、図３に示す複数の人物Ｐが存在する場所に、建築物Ｓの方向に目線や顔を向ける人物が認識された場合、判定部２１は、類似すると判定することになる。
図１の運転支援部２２は、判定部２１により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に対応する物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する。以下に、具体的に説明する。
例えば、図２に示す人物Ｐの位置に、建築物Ｓの方向に手を振る人物が存在する場合、運転支援部２２は、建築物Ｓの裏側から走行路Ｔに向かって移動する人物に注意するように、運転手に喚起する。また、図３に示す複数の人物Ｐの位置に、建築物Ｓの方向に目線や顔を向ける人物が存在する場合、運転支援部２２は、建築物Ｓの裏側から走行路Ｔに向かって移動する車両に注意するように、運転手に喚起する。
注意喚起する方法は、音声メッセージをスピーカから出力することとしてもよいし、文字等を含むイメージによるメッセージをディスプレイ等に表示することとしてもよい。
図１に示す運転支援装置２の通信部２３は、他の装置との通信を制御する。例えば、通信部２３は、車両に搭載される前方撮影用のカメラで撮影された画像をサーバ１に送信し、画像を解析した結果である危険シーン・パターン情報をサーバ１から受信する。
運転支援装置２の記憶部２４は、サーバ１から受信した危険シーン・パターン情報を記憶する。
なお、サーバ１及び運転支援装置２の構成要素は、前述した構成要素に限定されることなく、必要に応じて任意の構成要素を適宜追加することができる。
次に、実施形態に係る運転支援装置を含む運転支援システムの動作の一例について説明する。まず、図４を参照して、危険シーン・パターン情報を蓄積する際の動作について説明する。
最初に、運転支援装置２の通信部２３は、前方撮影用の車載カメラで撮影された画像をサーバ１に送信する（ステップＳ１０１）。
続いて、サーバ１の画像解析部１１は、上記ステップＳ１０１で受信した画像を解析し、危険シーンのパターンを特定する（ステップＳ１０２）。
続いて、サーバ１の記憶部１２は、上記ステップＳ１０２で特定した危険シーンのパターンを含む危険シーン・パターン情報を記憶する（ステップＳ１０３）。
続いて、サーバ１の通信部１３は、上記ステップＳ１０３で記憶した危険シーン・パターン情報を運転支援装置２に送信する（ステップＳ１０４）。
続いて、運転支援装置２の記憶部２４は、上記ステップＳ１０４でサーバ１から受信した危険シーン・パターン情報を記憶する（ステップＳ１０５）。そして、本動作を終了する。
次に、図５を参照して、運転支援装置２において、危険シーン・パターン情報を利用して運転者に注意を喚起する際の動作について説明する。
最初に、運転支援装置２の判定部２１は、前方撮影用の車載カメラで撮影された画像に基づいて認識される人物の動作が、記憶部２４に記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する（ステップＳ２０１）。この判定がＮＯである場合（ステップＳ２０１；ＮＯ）には、本動作を終了する。
上記ステップＳ２０１の判定で類似すると判定された場合（ステップＳ２０１；ＹＥＳ）に、運転支援装置２の運転支援部２２は、類似すると判定された危険シーン・パターン情報に含まれる物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起する（ステップＳ２０２）。そして、本動作を終了する。
前述したように、実施形態における運転支援システム１００によれば、前方撮影用の車載カメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物と、その障害物の裏側から車両前方の走行路に向かって移動する物体とをそれぞれ認識した場合に、その認識した人物の動作及び物体の組み合わせを危険シーンのパターンとして特定し、危険シーン・パターン情報として記憶することができる。
加えて、車載カメラの撮影画像に基づいて認識される人物の動作が、記憶した危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定し、類似すると判定した場合に、その類似すると判定した危険シーン・パターン情報に対応する物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することができる。
換言すると、実施形態における運転支援システム１００によれば、障害物の存在により運転者が予測できない危険シーンのパターンを予め蓄積しておき、車両で走行している際に、車載カメラを利用して通行人等の人物の動きを認識し、危険シーンのパターンと類似する動きが検知された場合に、障害物から走行路に物体が出現する可能性があることを、運転者に注意喚起することができる。これにより、事故を未然に防ぐことができる。
このように実施形態における運転支援システム１００によれば、車載カメラにより検知することができない物体の横断可能性を予測することが可能となる。
[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。したがって、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、前述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。
また、前述した実施形態では、サーバ１及び運転支援装置２の双方において、危険シーン・パターン情報を記憶部で記憶しているが、いずれか一方、又は別途設けた記憶サーバ装置等で危険シーン・パターン情報を記憶することとしてもよい。この場合、危険シーン・パターン情報を記憶していない装置は、通信部を介して危険シーン・パターン情報を参照することとすればよい。
１…サーバ、２…運転支援装置、１１…画像解析部、１２…記憶部、１３…通信部、２１…判定部、２２…運転支援部、２３…通信部、２４…記憶部、１００…運転支援システム

Claims (7)

  1. 車両に搭載される運転支援装置であって、
    前記車両に搭載される前方撮影用のカメラで撮影された画像をサーバに送信する送信部と、
    前記画像を解析して認識された、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体の組み合わせからなる危険シーンのパターンに関する危険シーン・パターン情報をサーバから受信する受信部と、
    前記受信された危険シーン・パターン情報を記憶する記憶部と、
    前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、
    前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、
    を備える運転支援装置。
  2. 前記受信部は、少なくとも危険シーン・パターン情報がサーバにおいて記憶されるたび及び所定の周期ごとのいずれかのタイミングによりサーバから送信される危険シーン・パターン情報を受信する、
    請求項１記載の運転支援装置。
  3. 前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかである、
    請求項１又は２記載の運転支援装置。
  4. 前記運転支援部は、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起する、
    請求項１から３のいずれか一項に記載の運転支援装置。
  5. 車両に搭載される前方撮影用のカメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、当該認識した人物の動作及び前記物体の組み合わせを、危険シーンのパターンとして特定する画像解析部と、
    前記特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部と、
    前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、
    前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、
    を備える運転支援システム。
  6. 前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかである、
    請求項５記載の運転支援システム。
  7. 前記運転支援部は、少なくとも、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起する、
    請求項５又は６記載の運転支援システム。
JP2017207359A 2017-10-26 2017-10-26 運転支援装置及び運転支援システム Active JP6880455B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017207359A JP6880455B2 (ja) 2017-10-26 2017-10-26 運転支援装置及び運転支援システム
CN201811214963.6A CN109712431B (zh) 2017-10-26 2018-10-18 驾驶辅助装置及驾驶辅助***
US16/168,375 US10504371B2 (en) 2017-10-26 2018-10-23 Drive assist apparatus and drive assist system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207359A JP6880455B2 (ja) 2017-10-26 2017-10-26 運転支援装置及び運転支援システム

Publications (2)

Publication Number Publication Date
JP2019079413A true JP2019079413A (ja) 2019-05-23
JP6880455B2 JP6880455B2 (ja) 2021-06-02

Family

ID=66244053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207359A Active JP6880455B2 (ja) 2017-10-26 2017-10-26 運転支援装置及び運転支援システム

Country Status (3)

Country Link
US (1) US10504371B2 (ja)
JP (1) JP6880455B2 (ja)
CN (1) CN109712431B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115009272A (zh) * 2022-07-08 2022-09-06 北京捷升通达信息技术有限公司 一种基于激光雷达路障分类识别的车辆全自主越障方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276322B (zh) * 2019-06-26 2022-01-07 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像处理方法及装置
CN110435672A (zh) * 2019-08-11 2019-11-12 西藏宁算科技集团有限公司 一种基于场景预判安全驾驶辅助方法及其***
JP7276093B2 (ja) * 2019-11-19 2023-05-18 トヨタ自動車株式会社 情報収集システム、中継装置、及びプログラム
CN111294586B (zh) * 2020-02-10 2022-06-21 Oppo广东移动通信有限公司 图像显示方法、装置、头戴显示设备及计算机可读介质
CN111572540A (zh) * 2020-04-09 2020-08-25 大连理工大学 一种检测视野外是否来车的安全辅助驾驶***、车辆
JP7384181B2 (ja) * 2021-02-16 2023-11-21 トヨタ自動車株式会社 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム
CN113225433B (zh) * 2021-03-26 2023-01-10 北京海纳川汽车部件股份有限公司 车辆语音提醒方法、装置、电子设备及存储介质
JP2022160956A (ja) * 2021-04-07 2022-10-20 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び端末装置
CN113415232B (zh) * 2021-07-07 2022-02-01 深圳前海汉视科技有限公司 一种用于障碍物识别的车灯***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2007219836A (ja) * 2006-02-16 2007-08-30 Mazda Motor Corp 車両用走行支援装置
JP2008310376A (ja) * 2007-06-12 2008-12-25 Mazda Motor Corp 歩行者検出装置
JP2016126756A (ja) * 2014-12-26 2016-07-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険判定方法、危険判定装置、危険出力装置及び危険判定システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113601A (ja) 2008-11-07 2010-05-20 Toyota Motor Corp 車両用警告装置
JP5498183B2 (ja) * 2010-02-03 2014-05-21 富士重工業株式会社 行動検出装置
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
CN201946119U (zh) * 2010-11-02 2011-08-24 南通大学 一种道路交通警示装置
JP2012234499A (ja) * 2011-05-09 2012-11-29 Mitsubishi Motors Corp 運転支援装置
JP2014006700A (ja) 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
DE102013102087A1 (de) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
HRP20130542A2 (hr) * 2013-06-12 2013-11-22 Vojislav Iliev Svjetlosno-zvuäśni sustav upozorbe sudionika u cestovnom prometu
MX345733B (es) * 2013-07-19 2017-02-14 Nissan Motor Dispositivo de asistencia a la conduccion para vehiculo y metodo de asistencia a la conduccion para vehiculo.
DE102014220654A1 (de) * 2014-10-13 2016-04-14 Robert Bosch Gmbh Verfahren zum Reagieren auf eine Umfeldsituation eines Kraftfahrzeugs
CN104361649B (zh) * 2014-10-14 2017-02-15 江苏科技大学 一种具有信号灯提示其他车辆的行车记录仪及其控制方法
CN105774809B (zh) * 2014-12-26 2019-01-08 ***通信集团公司 一种行车盲区提示的方法和装置
JP6254554B2 (ja) * 2015-07-21 2017-12-27 トヨタ自動車株式会社 情報提示システム
CN106515580A (zh) * 2015-09-15 2017-03-22 北汽福田汽车股份有限公司 用于实现安全控制的方法和***
CN105678316B (zh) * 2015-12-29 2019-08-27 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2007219836A (ja) * 2006-02-16 2007-08-30 Mazda Motor Corp 車両用走行支援装置
JP2008310376A (ja) * 2007-06-12 2008-12-25 Mazda Motor Corp 歩行者検出装置
JP2016126756A (ja) * 2014-12-26 2016-07-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険判定方法、危険判定装置、危険出力装置及び危険判定システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115009272A (zh) * 2022-07-08 2022-09-06 北京捷升通达信息技术有限公司 一种基于激光雷达路障分类识别的车辆全自主越障方法
CN115009272B (zh) * 2022-07-08 2023-01-31 北京捷升通达信息技术有限公司 一种基于激光雷达路障分类识别的车辆全自主越障方法

Also Published As

Publication number Publication date
US20190130757A1 (en) 2019-05-02
JP6880455B2 (ja) 2021-06-02
US10504371B2 (en) 2019-12-10
CN109712431B (zh) 2021-03-12
CN109712431A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
JP2019079413A (ja) 運転支援装置及び運転支援システム
CN107608388B (zh) 自主警车
RU2693367C2 (ru) Транспортное средство и способ для использования в нем для выявления угрозы в ожидании открывания двери транспортного средства
CN106611512B (zh) 前车起步的处理方法、装置和***
US20120133738A1 (en) Data Processing System and Method for Providing at Least One Driver Assistance Function
CN111699680B (zh) 行车记录仪、显示控制方法以及存储介质
EP2940673B1 (en) System and method for detecting potential accident situations with a car
WO2021024798A1 (ja) 走行支援方法、道路撮影画像収集方法、および路側装置
CN106314424A (zh) 基于汽车的超车辅助方法、装置及汽车
CN116342641A (zh) 图像处理装置、以及移动体
JP2015219736A (ja) 運転支援装置
CN112542052A (zh) 用于警告未受保护的交通参与者的方法
KR101827557B1 (ko) 보행 안전 서비스 제공 방법
JP2019185105A (ja) 車両システム、空間領域推測方法及び空間領域推測装置
SE539693C2 (en) Method, control unit and system for warning a road user
US20220092313A1 (en) Method for deep neural network functional module deduplication
JP7136538B2 (ja) 電子装置
CN111762175A (zh) 控制装置、控制方法以及存储介质
KR102025354B1 (ko) 위험차량 경고장치 및 그 동작 방법
CN111526475A (zh) 目标车辆的追踪方法、装置、电子设备和存储介质
JP2014044458A (ja) 車載機器、及び、危険報知方法
CN112581792B (zh) 行驶辅助***、行驶辅助方法及计算机可读取存储介质
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
WO2020194391A1 (ja) 事故予測率算出コンピュータ、方法及びプログラム
KR101590510B1 (ko) 통신망을 통해 긴급정보를 송수신하는 블랙박스 및 그 이용방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210414

R151 Written notification of patent or utility model registration

Ref document number: 6880455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151