JP2020067979A - 車両用障害物報知装置 - Google Patents

車両用障害物報知装置 Download PDF

Info

Publication number
JP2020067979A
JP2020067979A JP2018202209A JP2018202209A JP2020067979A JP 2020067979 A JP2020067979 A JP 2020067979A JP 2018202209 A JP2018202209 A JP 2018202209A JP 2018202209 A JP2018202209 A JP 2018202209A JP 2020067979 A JP2020067979 A JP 2020067979A
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
occupant
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018202209A
Other languages
English (en)
Other versions
JP7263733B2 (ja
Inventor
智志 安江
Tomoshi Yasue
智志 安江
樹博 加藤
Kihiro Kato
樹博 加藤
智史 山道
Satoshi Yamamichi
智史 山道
寛 平岩
Hiroshi Hiraiwa
寛 平岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018202209A priority Critical patent/JP7263733B2/ja
Priority to CN201910812328.6A priority patent/CN111098783B/zh
Priority to US16/661,134 priority patent/US11040658B2/en
Publication of JP2020067979A publication Critical patent/JP2020067979A/ja
Application granted granted Critical
Publication of JP7263733B2 publication Critical patent/JP7263733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】自動運転時における安心感と快適性の両立を図ることができる車両用障害物報知装置を提供する。【解決手段】車両用障害物報知装置１０は、車両の周囲の障害物を検知する障害物検知部５０と、運転席に着座した乗員の視線方向を検知する視線検知部５２と、車両の自動運転時において、視線検知部５２によって検知された乗員の視線が障害物に向けられた場合に、該障害物の存在を表示及び音声の少なくとも一方により乗員に知らせる出力部５６と、を有する。【選択図】図６

Description

本発明は、車両用障害物報知装置に関する。
特許文献１には、ドライバの視線方向に障害物の位置とドライバの視線方向とを表示させる運転支援装置が開示されている。この特許文献１の技術では、ドライバが視線方向を移動させると、移動先に障害物の位置とドライバの視線方向が表示される。
特開２００７−３０４７１２号公報
ところで、自動で走行可能な自動運転車両では、自車両の周辺の障害物が検知されていることを把握することで安心できる反面、特許文献１のように乗員が視線方向を変えても表示されると煩わしさを感じることがある。
本発明は上記事実を考慮し、自動運転時における安心感と快適性の両立を図ることができる車両用障害物報知装置を得ることを目的とする。
請求項１に記載の車両用障害物報知装置は、車両の周囲の障害物を検知する障害物検知部と、運転席に着座した乗員の視線方向を検知する視線検知部と、車両の自動運転時において、前記視線検知部によって検知された乗員の視線が障害物に向けられた場合に、該障害物の存在を表示及び音声の少なくとも一方により乗員に知らせる報知部と、を有する。
請求項１に記載の車両用障害物報知装置では、障害物検知部によって車両の周囲の障害物が検知される。また、視線検知部によって運転席に着座した乗員の視線方向が検知される。さらに、自動運転時には、報知部によって障害物の存在を表示及び音声の少なくとも一方によって乗員に知らせる。これにより、自動運転時に障害物が正しく検知されていることを乗員が把握することができ、安心感を得ることができる。
また、報知部は、乗員の視線が障害物に向けられた場合に障害物の存在を乗員に知らせるように構成されている。これにより、乗員が障害物の存在を気にしている場合のみ知らされるので、煩わしさを感じにくい。
請求項２に記載の車両用障害物報知装置は、請求項１において、前記報知部は、車内と車外とを隔成するウインドシールドに障害物の強調表示を行うことで乗員に障害物の存在を知らせる表示装置を含んで構成されており、前記表示装置は、障害物の種類に応じて表示マークを変更する。
請求項２に記載の車両用障害物報知装置では、障害物の種類に応じて表示マークが変わることで、障害物の種類が正しく検知されていることを把握できる。
請求項３に記載の車両用障害物報知装置は、請求項１又は２において、前記報知部は、前記障害物検知部によって検知された障害物のうち、特定の障害物だけを乗員に知らせる。
請求項３に記載の車両用障害物報知装置では、例えば、特定の障害物として、歩行者や自車両の側方を走行中の車両だけを乗員に知らせることができる。これにより、自車両の前方を走行中の車両など乗員に知らせる必要性が低い障害物についての報知を省略することができる。
請求項４に記載の車両用障害物報知装置は、請求項１〜３の何れか１項において、前記報知部は、指向性スピーカを含んで構成されており、前記指向性スピーカから運転席に着座した乗員へ向けて障害物の情報を出力させる。
請求項４に記載の車両用障害物報知装置では、指向性スピーカから乗員へ障害物の情報が出力されるため、運転席に着座した乗員のみが障害物の情報を把握することができる。
以上説明したように、請求項１に記載の車両用障害物報知装置によれば、自動運転時における安心感と快適性の両立を図ることができる。
請求項２に記載の車両用障害物報知装置によれば、自動運転時における乗員の安心感を向上させることができる。
請求項３に記載の車両用障害物報知装置によれば、自動運転時における快適性を向上させることができる。
請求項４に記載の車両用障害物報知装置によれば、障害物の情報が必要な乗員にのみ障害物の情報を知らせることができる。
第１実施形態に係る車両用障害物報知装置を備えた車両の車室前部を車室側から見た概略図である。 図１の状態から乗員の視線方向が変えられた状態を示す概略図である。 第１実施形態に係る車両用障害物報知装置を備えた車両の車室前部を車両幅方向から見た概略側面図である。 第１実施形態に係る車両用障害物報知装置のハードウェア構成を示すブロック図である。 第１実施形態に係る車両用障害物報知装置を構成するＥＣＵのハードウェア構成を示すブロック図である。 第１実施形態に係る車両用通知システムの機能構成を示すブロック図である。 第１実施形態に係る報知処理の流れを示すフローチャートである。 変形例に係る報知処理の流れを示すフローチャートである。 第２実施形態に係る車両用障害物報知装置を備えた車両の車室前部を車室側から見た概略図である。
＜第１実施形態＞
第１実施形態に係る車両用障害物報知装置１０について、図面を参照して説明する。なお、図面の寸法比率は、説明の便宜上、誇張されており、実際の寸法比率とは異なる場合がある。また、各図に適宜記す矢印ＦＲ、矢印ＵＰ及び矢印ＬＨは、車両の前方向、上方向及び幅方向の左側をそれぞれ示している。以下、単に前後、上下、左右の方向を用いて説明する場合は、特に断りのない限り、車両前後方向の前後、車両上下方向の上下、車両前方向を向いた場合の左右を示すものとする。
＜第１実施形態＞
図１に示されるように、本実施形態に係る車両用障害物報知装置１０が搭載された車両１２における車室内の前部には、車内と車外とを隔成するウインドシールド１４が設けられている。ウインドシールド１４は、ガラスや透明樹脂など透明の部材で形成されており、車室内の乗員がウインドシールド１４を通じて車外の景色を視認できるように構成されている。
ここで、本実施形態の車両１２は、自動で走行可能な、所謂自動運転車両であり、乗員が運転する手動運転モードと、自動走行する自動運転モードとの間で切替可能に構成されている。
ウインドシールド１４の車両幅方向両側にはフロントピラー１６が設けられている。フロントピラー１６は、車両上下方向に延在されており、このフロントピラー１６の車両後方側にはフロントサイドガラス１８が設けられている。
ウインドシールド１４における下端部の車内側には、インストルメントパネル２２が設けられている。そして、図３に示されるように、インストルメントパネル２２の車両下方側には、報知部としての表示装置２３が設けられている。
表示装置２３は、映像を出力する映像出力部２４と、映像出力部２４から出力された映像をウインドシールド１４へ反射させるミラー２６とを含んで構成されている。ここで、ミラー２６は、図示しない回動軸に取り付けられており、回動軸の回動によってミラー２６の角度が変更される。そして、ミラー２６の角度を変更させることで、映像出力部２４から出力された映像をウインドシールド１４の任意の領域へ投影することができるように構成されている。
図１に示されるように、ウインドシールド１４にはマークＭ１が表示されている。マークＭ１は、表示装置２３によって表示されており、車外の歩行者Ｐを囲むように略枠状に表示されている。なお、このときの運転者（乗員）の視線方向は、矢印Ｌ１で示す方向となっている。すなわち、運転者の視線方向が歩行者Ｐに向けられている場合にマークＭ１を表示させることで、歩行者Ｐが強調表示され、運転者に障害物である歩行者Ｐの存在を知らせるように構成されている。
また、図２に示されるように、運転者の視線方向が歩行者Ｐから前方の車両Ｖに向けられた場合、表示装置２３（図３）によってマークＭ２が表示される。このマークＭ２は、車両Ｖを囲むように略枠状に表示されている。すなわち、運転者の視線方向が車両Ｖに向けられている場合にマークＭ２を表示させることで、車両Ｖが強調表示され、運転者に障害物である車両Ｖの存在を知らせるように構成されている。
図４は、車両用障害物報知装置１０のハードウェア構成を示すブロック図である。この図４に示されるように、車両用障害物報知装置１０は、ＥＣＵ（Electronic Control Unit）２０、表示装置２３、視線検知装置２８、指向性スピーカ３０、周辺検知センサ３２及び光学カメラ３４を含んで構成されている。
ＥＣＵ２０は、図１に示されるように、車両１２の前部に設けられており、制御部として機能している。そして、図４に示されるように、このＥＣＵ２０に対して、表示装置２３、視線検知装置２８、報知部としての指向性スピーカ３０、周辺検知センサ３２及び光学カメラ３４が電気的に接続されている。
表示装置２３は、上述したように、映像出力部２４とミラー２６とを含んで構成されており、ＥＣＵ２０からの信号によって映像出力部２４から強調表示用のマークが出力される。また、ＥＣＵ２０からの信号によってミラー２６の角度が調整される。
視線検知装置２８は、運転席に着座した乗員の視線方向を検知する。この視線検知装置２８としては、例えば、インストルメントパネル２２又は天井部に取り付けられて乗員の顔を撮像するカメラなどを用いることができる。この他に、乗員が装着するメガネ型のウェアラブル機器などを用いてもよい。
指向性スピーカ３０は、車室内に設けられており、ＥＣＵ２０からの信号により音声を出力する。また、本実施形態の指向性スピーカ３０は、指向性を有するスピーカが用いられており、運転者へ向けて音声が出力されるように構成されている。このため、運転席以外の座席に着座している乗員には指向性スピーカ３０から出力される音声が聞こえない、又はほとんど聞こえない。
周辺検知センサ３２は、車両１２に設けられており、車両１２の周辺を検知するセンサである。この周辺検知センサ３２としては、ミリ波レーダ、超音波センサ及びレーザレーダの少なくとも一つを含んで構成されている。光学カメラ３４は、車両１２の前方を撮像するカメラであり、車両１２の前方に存在する障害物を撮像することで認識する。
図５は、車両用障害物報知装置１０を構成するＥＣＵ２０のハードウェア構成を示すブロック図である。この図５に示されるように、ＥＣＵ２０は、ＣＰＵ（Central Processing Unit：プロセッサ）３６、ＲＯＭ（Read Only Memory）３８、ＲＡＭ（Random Access Memory）４０、ストレージ４２、ＧＰＳ受信機４４及び通信インタフェース４６を含んで構成されている。各構成は、バス４７を介して相互に通信可能に接続されている。
ＣＰＵ３６は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３６は、ＲＯＭ３８又はストレージ４２からプログラムを読み出し、ＲＡＭ４０を作業領域としてプログラムを実行する。ＣＰＵ３６は、ＲＯＭ３８又はストレージ４２に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ３８は、各種プログラムおよび各種データを格納する。ＲＡＭ４０は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ４２は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
ＧＰＳ受信機４４は、ＧＰＳ方式に基づく信号を複数の衛星から受信し、信号の到着時間差から、車両（自車）１２の位置を特定する。通信インタフェース４６は、ＥＣＵ２０がサーバ及び他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）などの規格が用いられる。
車両用障害物報知装置１０は、図４及び図５に示されるハードウェア資源を用いて、各種の機能を実現する。車両用障害物報知装置１０が実現する機能構成について図６を参照して説明する。
図６に示されるように、車両用障害物報知装置１０は、機能構成として、受信部４８、障害物検知部５０、視線検知部５２、判断部５４及び出力部５６を備えている。各機能構成は、ＥＣＵ２０のＣＰＵ３６がＲＯＭ３８又はストレージ４２に記憶されたプログラムを読み出し、実行することにより実現される。
受信部４８は、視線検知装置２８から送信された乗員の視線方向に関するデータを受信する。また、受信部４８は、周辺検知センサ３２、光学カメラ３４及び他の機器から送信された車両１２の周辺の障害物に関するデータを受信する。
障害物検知部５０は、受信部４８で受信されたデータに基づいて障害物の方向、距離及び障害物の種類などを検知する。視線検知部５２は、視線検知装置２８から受信したデータに基づいて、乗員の視線方向を検知する。
判断部５４は、障害物検知部５０で検知された障害物の位置と、視線検知部５２で検知された乗員の視線方向とから、乗員が障害物の方向に視線を向けているかについて判断する。すなわち、乗員の視線方向の先に障害物が存在する場合、乗員が障害物に視線を向けていると判断する。
出力部５６は、障害物の存在を表示及び音声の少なくとも一方の方法により乗員に知らせる。具体的には、表示装置２３によってウインドシールド１４に障害物を強調表示させる方法、及び、指向性スピーカ３０から乗員へ障害物の情報を音声で出力させる方法の少なくとも一方の方法により乗員に障害物の存在を知らせる。
次に、本実施形態の車両用障害物報知装置１０による報知処理の流れについて、図７のフローチャートを参照して説明する。例えば、ＣＰＵ３６がＲＯＭ３８又はストレージ４２からプログラムを読み出して、ＲＡＭ４０に展開して実行することによって報知処理が行われる。
図７には、乗員に対して障害物を強調表示させる際の報知処理の流れの一例が示されている。この図７に示されるように、ＣＰＵ３６は、ステップＳ１０２で自動運転がＯＮになったか否かを判断する。例えば、乗員の操作によって車両の自動運転が開始されると、自動運転が開始されたことがＥＣＵ２０に伝達され、この信号によって自動運転がＯＮになったと判断してもよい。
ＣＰＵ３６は、ステップＳ１０２で自動運転がＯＮになったと判断された場合、ステップＳ１０４の処理へ移行する。また、ＣＰＵ３６は、ステップＳ１０２で自動運転がＯＮになったと判断されなかった場合、すなわち、自動運転がＯＦＦであると判断された場合、繰り返しステップＳ１０２の処理を行う。
ＣＰＵ３６は、ステップＳ１０４で車両周辺の障害物を検知する。ここでは、障害物検知部５０の機能により、周辺検知センサ３２及び光学カメラ３４からの信号に基づいて、障害物の位置及び種類を検知する。図１の状態では、歩行者Ｐ及び車両Ｖが障害物として検知される。
図７に示されるように、ＣＰＵ３６は、ステップＳ１０６で乗員の視線方向を検知する。ここでは、視線検知部５２の機能により、視線検知装置２８からの信号に基づいて乗員の視線方向を検知する。
ＣＰＵ３６は、ステップＳ１０８で障害物と視線方向とが一致しているか否かについて判断する。具体的には、ステップＳ１０４で検知された障害物の位置と、ステップＳ１０６で検知された乗員の視線方向とから、乗員が障害物の方向に視線を向けているかについて判断する。そして、乗員の視線方向の先に障害物が存在する場合、ＣＰＵ３６は、乗員が障害物に視線を向けていると判断してステップＳ１１０の処理へ移行する。また、障害物と視線方向とが一致していない場合、ＣＰＵ３６は、通知処理を終了させる。例えば、図１の状態では、矢印Ｌ１に示されるように、乗員の視線方向の先に歩行者Ｐが存在する。このため、ＣＰＵ３６は、乗員が障害物（歩行者Ｐ）に視線を向けていると判断してステップＳ１１０の処理へ移行する。
図７に示されるように、ＣＰＵ３６は、ステップＳ１１０で障害物を強調表示させる。すなわち、出力部５６の機能により、表示装置２３の映像出力部２４から映像を出力させ、ミラー２６で反射させることで、図１に示されるように、歩行者Ｐを囲むようにマークＭ１を表示させる。
以上のように、本実施形態では、乗員の視線が障害物に向けられた場合に、障害物の存在を強調表示させることで乗員に知らせる。
（作用）
次に、本実施形態の作用を説明する。
本実施形態の車両用障害物報知装置１０では、上述したように、障害物検知部５０によって車両１２の周囲の障害物が検知される。また、視線検知部５２によって運転席に着座した乗員の視線方向が検知され、自動運転時には、表示装置２３によって障害物の存在を乗員に知らせる。これにより、自動運転時に障害物が正しく検知されていることを乗員が把握することができ、安心感を得ることができる。
また、表示装置２３は、乗員の視線が障害物に向けられた場合に障害物の存在を乗員に知らせるように構成されている。これにより、乗員が障害物の存在を気にしている場合のみ知らされるので、煩わしさを感じにくい。この結果、自動運転時における安心感と快適性の両立を図ることができる。
なお、本実施形態の報知処理では、障害物を強調表示させることで乗員に障害物の存在を知らせたが、これに限定されない。例えば、図８に示されるような報知処理を行ってもよい。
（変形例）
図８には、乗員に対して障害物を音声で通知させる際の報知処理の流れの一例が示されている。この図８に示されるように、ＣＰＵ３６は、ステップＳ２０２で自動運転がＯＮになったか否かを判断する。
ＣＰＵ３６は、ステップＳ２０２で自動運転がＯＮになったと判断された場合、ステップＳ２０４の処理へ移行する。また、ＣＰＵ３６は、ステップＳ２０２で自動運転がＯＮになったと判断されなかった場合、すなわち、自動運転がＯＦＦであると判断された場合、繰り返しステップＳ２０２の処理を行う。
ＣＰＵ３６は、ステップＳ２０４で車両周辺の障害物を検知する。また、ＣＰＵ３６は、ステップＳ２０６で乗員の視線方向を検知する。ここでは、視線検知部５２の機能により、視線検知装置２８からの信号に基づいて乗員の視線方向を検知する。
ＣＰＵ３６は、ステップＳ２０８で障害物と視線方向とが一致しているか否かについて判断する。図７のフローチャートにおけるステップＳ１０８と同様の方法で判断される。そして、ＣＰＵ３６は、乗員が障害物に視線を向けていると判断してステップＳ２１０の処理へ移行する。また、障害物と視線方向とが一致していない場合、ＣＰＵ３６は、通知処理を終了させる。
ＣＰＵ３６は、ステップＳ２１０で障害物を音声で通知させる。すなわち、ＣＰＵ３６は、出力部５６の機能により、指向性スピーカ３０から乗員へ向けて障害物の情報を出力させる。
以上のように、本変形例では、乗員の視線が障害物に向けられた場合に、障害物の存在を音声で通知させることで乗員に知らせる。このように、指向性スピーカ３０から乗員へ障害物の情報を出力させることで、運転席に着座した乗員のみが障害物の情報を把握することができる。すなわち、障害物の情報が必要な乗員にのみ障害物の情報を知らせることができる。
なお、ステップＳ２１０では、音声で通知させると共に、表示装置２３によって強調表示させてもよい。
＜第２実施形態＞
次に、第２実施形態に係る車両用障害物報知装置について説明する。なお、第１実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。
図９に示されるように、本実施形態の車両用障害物報知装置６０では、障害物の種類に応じて表示マークが変更されている点で第１実施形態と異なる。また、その他の構成は第１実施形態と同様である。
本実施形態では、矢印Ｌ３で示すように、乗員の視線方向が車外の歩行者Ｐに向けられている場合に、ウインドシールド１４にマークＭ３が表示される。マークＭ３は、表示装置２３によって表示されており、車外の歩行者Ｐの頭上に矢印状のアイコンとして表示される。すなわち、運転者の視線方向が歩行者Ｐに向けられている場合にマークＭ３を表示させることで、歩行者Ｐが強調表示され、運転者に障害物の存在を知らせるように構成されている。
一方、乗員の視線方向が車両Ｖに向けられた場合には、第１実施形態と同様のマークＭ２が表示される（図２参照）。このように、本実施形態では、障害物の種類に応じて表示マークを変更する。
なお、本実施形態における報知処理の流れについては、第１実施形態と同様に図７及び図８に示されたフローチャートを用いることができる。すなわち、図７のステップＳ１０４では、ＣＰＵ３６は、障害物の種類について検知する。また、ステップＳ１１０では、ＣＰＵ３６は、表示装置２３によって障害物を強調表示させる際に、障害物の種類に応じて強調表示させるマークを変更する。
（作用）
次に、本実施形態の作用を説明する。
本実施形態の車両用障害物報知装置６０では、障害物の種類に応じて表示マークが変わることで、障害物の種類が正しく検知されていることを乗員が把握できる。この結果、自動運転時における乗員の安心感を向上させることができる。その他の作用については第１実施形態と同様である。
以上、実施形態及び変形例について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、歩行者及び周囲の車両を障害物として検知したが、この他の障害物を検知して乗員に知らせるようにしてもよい。路面上の落下物、及び工事現場の領域などを障害物として検知させてもよい。
また、検知された障害物のうち、特定の障害物だけを乗員に知らせるようにしてもよい。例えば、特定の障害物として、歩行者や自車両の側方を走行中の車両だけを乗員に知らせるようにしてもよい。この場合、前方を走行する車両については、乗員の視線が向けられている場合でも強調表示させない。これにより、乗員へ知らせる必要性が低い障害物について乗員へ報知を行わないことで、自動運転時における快適性を向上させることができる。
さらに、上記実施形態では、表示装置２３によってウインドシールド１４にマークを表示させたが、これに限定されず、他の方法で強調表示を行ってもよい。例えば、ウインドシールド１４の前面に透明液晶ディスプレイを設け、この透明液晶ディスプレイにマークを表示させるようにしてもよい。
さらに、上記実施形態では、ウインドシールド１４に強調表示を行うことについて説明したが、これに加えて、フロントサイドガラス１８にも強調表示を行うようにしてもよい。例えば、フロントサイドガラス１８に透明液晶ディスプレイを設け、乗員がフロントサイドガラス１８を通じて車外の障害物へ視線を向けた場合に、フロントサイドガラス１８にマークを表示させるようにしてもよい。
さらに、上記実施形態でＣＰＵ３６がソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが例示される。また、上記処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
さらに、上記実施形態では、ストレージ４２を記録部としたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリなどの記録媒体を記録部としてもよい。
１０ 車両用障害物報知装置
１２ 車両
１４ ウインドシールド
２３ 表示装置（報知部）
３０ 指向性スピーカ（報知部）
５０ 障害物検知部
５２ 視線検知部
Ｐ 歩行者（障害物）
Ｖ 車両（障害物）

Claims (4)

  1. 車両の周囲の障害物を検知する障害物検知部と、
    運転席に着座した乗員の視線方向を検知する視線検知部と、
    車両の自動運転時において、前記視線検知部によって検知された乗員の視線が障害物に向けられた場合に、該障害物の存在を表示及び音声の少なくとも一方により乗員に知らせる報知部と、
    を有する車両用障害物報知装置。
  2. 前記報知部は、車内と車外とを隔成するウインドシールドに障害物の強調表示を行うことで乗員に障害物の存在を知らせる表示装置を含んで構成されており、
    前記表示装置は、障害物の種類に応じて表示マークを変更する請求項１に記載の車両用障害物報知装置。
  3. 前記報知部は、前記障害物検知部によって検知された障害物のうち、特定の障害物だけを乗員に知らせる請求項１又は２に記載の車両用障害物報知装置。
  4. 前記報知部は、指向性スピーカを含んで構成されており、
    前記指向性スピーカから運転席に着座した乗員へ向けて障害物の情報を出力させる請求項１〜３の何れか１項に記載の車両用障害物報知装置。
JP2018202209A 2018-10-26 2018-10-26 車両用障害物報知装置 Active JP7263733B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018202209A JP7263733B2 (ja) 2018-10-26 2018-10-26 車両用障害物報知装置
CN201910812328.6A CN111098783B (zh) 2018-10-26 2019-08-30 车辆用障碍物通知装置
US16/661,134 US11040658B2 (en) 2018-10-26 2019-10-23 Vehicle obstacle informing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018202209A JP7263733B2 (ja) 2018-10-26 2018-10-26 車両用障害物報知装置

Publications (2)

Publication Number Publication Date
JP2020067979A true JP2020067979A (ja) 2020-04-30
JP7263733B2 JP7263733B2 (ja) 2023-04-25

Family

ID=70325027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018202209A Active JP7263733B2 (ja) 2018-10-26 2018-10-26 車両用障害物報知装置

Country Status (3)

Country Link
US (1) US11040658B2 (ja)
JP (1) JP7263733B2 (ja)
CN (1) CN111098783B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021164505A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164504A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164503A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164507A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164506A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11203295B2 (en) * 2017-04-14 2021-12-21 Panasonic Automotive Svstems Company of America, Division of Panasonic Corporation of North America Rearview head up display
JP7440237B2 (ja) 2019-10-16 2024-02-28 トヨタ自動車株式会社 表示装置
CN115122910A (zh) * 2021-03-29 2022-09-30 本田技研工业株式会社 车辆用显示装置
JP7517252B2 (ja) * 2021-06-04 2024-07-17 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
JP2010191666A (ja) * 2009-02-18 2010-09-02 Honda Motor Co Ltd 車両の周辺監視装置
JP2012058827A (ja) * 2010-09-06 2012-03-22 Denso Corp 運転支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216299A (ja) * 2001-01-17 2002-08-02 Alpine Electronics Inc 障害物通知装置
JP2004130893A (ja) * 2002-10-09 2004-04-30 Fujitsu Ten Ltd 車両障害物検出確認装置
JP2006219077A (ja) 2005-02-14 2006-08-24 Denso Corp 危険個所、障害物等の呼称運転支援装置
JP4683192B2 (ja) * 2005-02-15 2011-05-11 株式会社デンソー 車両用死角監視装置及び車両用運転支援システム
JP4867463B2 (ja) 2006-05-09 2012-02-01 株式会社デンソー 運転支援装置
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP6230132B2 (ja) * 2015-12-21 2017-11-15 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御プログラム、及びゲーム制御装置
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
KR102064223B1 (ko) * 2017-07-12 2020-02-11 엘지전자 주식회사 차량용 주행 시스템 및 차량
KR102436962B1 (ko) * 2017-09-19 2022-08-29 삼성전자주식회사 운송 장치에 구비된 전자 장치 및 이의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
JP2010191666A (ja) * 2009-02-18 2010-09-02 Honda Motor Co Ltd 車両の周辺監視装置
JP2012058827A (ja) * 2010-09-06 2012-03-22 Denso Corp 運転支援装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021164505A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164504A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164503A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164507A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機
JP2021164506A (ja) * 2020-04-04 2021-10-14 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
CN111098783A (zh) 2020-05-05
US11040658B2 (en) 2021-06-22
CN111098783B (zh) 2023-08-15
US20200130580A1 (en) 2020-04-30
JP7263733B2 (ja) 2023-04-25

Similar Documents

Publication Publication Date Title
JP7263733B2 (ja) 車両用障害物報知装置
JP4846426B2 (ja) 車両周囲監視装置
JP4134939B2 (ja) 車両周辺表示制御装置
JP4275507B2 (ja) 運転支援装置
JP5601930B2 (ja) 車両用表示装置
US11050929B2 (en) Driver recorder, display control method and program
JP4867463B2 (ja) 運転支援装置
CN110431613B (zh) 信息处理装置、信息处理方法、程序和移动物体
CN113232659B (zh) 死角信息取得装置及方法、车辆及记录了程序的记录介质
JP2008221906A (ja) 車両損傷箇所報知システム
JP2009015547A (ja) 運転支援装置および方法、並びに、プログラム
JP2017094922A (ja) 周辺監視装置
JP6547787B2 (ja) 運転支援装置
JP2013161440A (ja) 車両周辺監視装置
US11062149B2 (en) System and method for recording images reflected from a visor
JP2006113781A (ja) 危険警報システム
JP5281421B2 (ja) 車載システム
JP7299193B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2022090218A (ja) 車両報知装置
JP2007233477A (ja) 車両用警報装置
JP2004130893A (ja) 車両障害物検出確認装置
JP7272007B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
CN114450208B (zh) 停车辅助装置
JP7187949B2 (ja) 拘束装置制御システム
JP2023061205A (ja) 車両後方監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R151 Written notification of patent or utility model registration

Ref document number: 7263733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151