JP5616531B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP5616531B2
JP5616531B2 JP2013534767A JP2013534767A JP5616531B2 JP 5616531 B2 JP5616531 B2 JP 5616531B2 JP 2013534767 A JP2013534767 A JP 2013534767A JP 2013534767 A JP2013534767 A JP 2013534767A JP 5616531 B2 JP5616531 B2 JP 5616531B2
Authority
JP
Japan
Prior art keywords
vehicle
monitoring device
region
image
periphery monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013534767A
Other languages
English (en)
Other versions
JPWO2013042767A1 (ja
Inventor
高津戸 泉
泉 高津戸
長岡 伸治
伸治 長岡
誠 相村
誠 相村
幸大 松田
幸大 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013534767A priority Critical patent/JP5616531B2/ja
Application granted granted Critical
Publication of JP5616531B2 publication Critical patent/JP5616531B2/ja
Publication of JPWO2013042767A1 publication Critical patent/JPWO2013042767A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

この発明は、車両周辺の監視対象物を検知して簡易表示する車両周辺監視装置に関する。
従来の車両周辺監視装置として、赤外線カメラによる車両前方の画像を運転席前方のディスプレイに表示すると共に、当該画像から検出された歩行者の画像部位を強調表示する装置が知られている(特開2009−67214号公報の図5参照)。
また、ディスプレイ内に表示する画像における歩行者の画像部位の強調表示に加えて、ヘッドアップディスプレイ(HUD)に、歩行者の存在を知らせるアイコンの表示を行う装置も知られている。特開2004−364112号公報では、赤外線カメラの撮像画像中に歩行者が存在すると判定した場合、HUDに歩行者のアイコンを表示する(図6、[0036]〜[0038]参照)。
なお、歩行者を検出する技術としては、例えば、2値化情報から歩行者の候補を簡易に選定し、グレースケール情報を用いて歩行者と判定することで処理速度と判定精度の両立を実現可能なものも存在する(特開2003−284057号公報の要約参照)。
上記のように、特開2004−364112号公報では、HUDに歩行者の存在を知らせるアイコンを表示する。しかしながら、ユーザに対してより適切な注意喚起を行う余地は依然として存在している。
この発明はこのような課題を考慮してなされたものであり、ユーザに対して適切な注意喚起を行うことが可能な車両周辺監視装置を提供することを目的とする。
この発明に係る車両周辺監視装置は、車両に搭載された撮像装置から出力された撮像信号に基づいて、前記車両の周辺における監視対象物を検知する装置であって、前記撮像信号が表す撮像画像を表示する第1表示部と、前記第1表示部に表示される前記撮像画像を構成する複数のサブ領域にそれぞれ対応付けられた各マークの表示の有無によって、前記撮像画像の前記各サブ領域内における前記監視対象物の存否情報を可視化する第2表示部と、前記撮像画像の中から前記監視対象物を少なくとも1つ検知した場合、前記車両にとっての前記監視対象物の注意度を評価する注意度評価部とを備え、前記第2表示部は、前記注意度評価部により評価された前記注意度に応じて前記マークの表示形態を異ならせて表示する。
この発明によれば、撮像画像の中から監視対象物を少なくとも1つ検知した場合、車両にとっての前記監視対象物の注意度に応じて、マークの表示形態を異ならせて表示する。このため、ユーザに対して、各監視対象物における注意レベルの差異を視覚的に報知可能であり、適切な注意喚起を行うことができる。
また、前記注意度は、前記車両の乗員が、前記マークの表示を視認することで前記監視対象物の位置を誤認し得る誤認可能性であり、前記第2表示部は、前記誤認可能性が高いと判別された場合、前記監視対象物の少なくとも一部が存在する前記サブ領域及びこれと隣り合う前記サブ領域に対応させて、複数の前記マークを同時に又は交互に表示してもよい。このため、監視対象物の存在を強調表示し、ユーザに対して適切な注意喚起を行うことが可能になる。
更に、前記注意度評価部は、前記監視対象物が前記複数のサブ領域の境界線上に存在する場合、前記誤認可能性が高いと判別してもよい。
更に、前記注意度評価部は、前記監視対象物が前記複数のサブ領域の境界線を跨ぐ前後である場合、前記誤認可能性が高いと判別してもよい。
更に、前記注意度評価部は、前記監視対象物が前記車両に接触する可能性が高い場合、前記注意度が高いと判別してもよい。
また、前記注意度は、前記監視対象物が前記車両に接触し得る接触可能性であり、前記注意度評価部は、2以上の前記サブ領域から前記監視対象物をそれぞれ検知した場合、各前記監視対象物における前記接触可能性をそれぞれ評価し、前記第2表示部は、前記接触可能性に応じて表示形態を異ならせた前記マークをそれぞれ表示してもよい。このため、複数の監視対象物における注意レベルの差異をユーザに報知可能であり、運転の支援となり便宜である。
更に、前記第2表示部は、前記接触可能性が高いと評価された少なくとも1つの前記監視対象物に応じた前記マークを、残余の監視対象物に応じた前記マークよりも視覚的に強調して表示してもよい。これにより、複数の監視対象物のうち注意レベルが相対的に高い監視対象物の存在を運転者に報知可能であり、更に便宜である。
更に、前記注意度評価部は、前記車両の運転者にとって前記監視対象物の発見が容易であるか否かについて少なくとも前記撮像信号に基づいて判別をし、該判別の結果に応じて前記接触可能性を評価してもよい。これにより、運転者の視点での評価が更に加わり、危険度の評価についての確度が高くなる。
更に、前記注意度評価部は、前記監視対象物が前記車両の存在を認識しているか否かについて少なくとも前記撮像信号に基づいて判別をし、該判別の結果に応じて前記接触可能性を評価してもよい。これにより、監視対象物の視点での評価が更に加わり、危険度の評価についての確度が高くなる。
更に、前記注意度評価部は、前記車両の軌道について予測をし、該予測の結果に応じて前記接触可能性を評価してもよい。このように、車両の軌道予測をも併せて考慮することで、危険度の評価についての確度が高くなる。
更に、前記注意度評価部は、前記監視対象物の移動方向について予測をし、該予測の結果に応じて前記接触可能性を評価してもよい。このように、監視対象物の移動予測をも併せて考慮することで、危険度の評価についての確度が高くなる。
また、前記複数のサブ領域は、前記撮像装置による前記車両の前方の撮像範囲の内の、前記車両の進行方向を含む中央範囲に対応する中央領域と、前記中央範囲の左方範囲に対応する左方領域と、前記中央範囲の右方範囲に対応する右方領域とから構成されてもよい。このため、車両の進行方向に存在し、車両と接触するおそれがある監視対象物について、進行方向の左方及び右方に存在する監視対象物と区別して、注意喚起を行うことができる。
更に、前記撮像画像の中から探索された、前記監視対象物の画像部分としての対象物画像部分が前記複数のサブ領域のうちどのサブ領域に属するかを選択する領域選択部を更に備え、前記領域選択部は、前記対象物画像部分が前記中央領域と前記左方領域との境界線上、又は前記中央領域と前記右方領域との境界線上にあるときは、前記中央領域を選択してもよい。
一般に、運転者は、車両進行方向を含む中央範囲に存在する監視対象物に対して、左方範囲及び右方範囲に存在する監視対象物よりも注意力を増大させる。対象物画像部分が、中央領域と左方又は右方領域とに跨って、中央領域の境界線上にあるときは、左方領域又は右方領域ではなく、中央領域に属すると検出されることにより、中央領域に完全に含まれる監視対象物と同様の注意力を運転者に払わせることができる。
更に、前記車両の旋回方向を検出する旋回方向検出センサと、前記旋回方向検出センサが前記車両の左旋回を検出したときは、前記中央領域と前記右方領域との境界線を前記右方領域側へ変位させ、前記旋回方向検出センサが前記車両の右旋回を検出したときは、前記中央領域と前記左方領域との境界線を前記左方領域側へ変位させる境界線設定部とを更に備えてもよい。
車両が曲線道路を走行している場合、直線道路を走行している場合よりも、道路端付近に存在する監視対象物と車両間の水平方向の間隔が拡大する傾向がある。これに対処して、境界線設定部は、左旋回時では、中央領域と右方領域との境界線を右方領域側へ変位させ、また、右旋回時では、中央領域と左方領域との境界線を左方領域側へ変位させる。これにより、道路端付近に存在する監視対象物の画像部分が、前記中央領域に属するようにして、第2表示部の表示により運転者に該監視対象物への注意を促すことができる。
更に、前記車両の車速を検出する車速センサを備え、前記車速センサの検出した車速が高速であるときは低速であるときよりも、前記中央領域と前記左方領域との境界線を前記左方領域側へ変位させると共に、前記中央領域と前記右方領域との境界線を前記右方領域側へ変位させる境界線設定部とを更に備えてもよい。
高速走行時では、低速走行時に比して、車両が前方の監視対象物に接近するまでの時間が短くなり、その分、運転者は該監視対象物に対する注意力を増大させる必要がある。そこで、境界線設定部は、高速走行時では、中央領域と左方領域との境界線を左方領域側へ変位させると共に、中央領域と右方領域との境界線を右方領域側へ変位させる。これにより、低速走行時では第2表示部に左方領域又は右方領域に属するものとして表示されていた対象物画像部分が、高速走行時では第2表示部に中央領域に属するものとして表示される。そのため、高速走行時において、前記車両に接近する監視対象物について運転者に早期に注意喚起をすることができる。
第1実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図1の車両周辺監視装置が組み込まれた車両の概略斜視図である。 図2の車両において運転者側から視た眺めを示す図である。 汎用モニタの表示画面の一例を示す図である。 MID(Multi-Information Display)の表示画面の一例を示す図である。 汎用モニタ及びMIDの表示の関係を示す図である。 図1の車両周辺監視装置の動作の概要を示すフローチャートである。 生体が遠くにいる場合における車両と生体の位置関係、汎用モニタのグレースケール画像の一例及びMIDのアイコン画像の一例を示す図である。 生体が近くにいる場合における車両と生体の位置関係、汎用モニタのグレースケール画像の一例及びMIDのアイコン画像の一例を示す図である。 低速走行時における車両と生体の位置関係、汎用モニタのグレースケール画像の一例及びMIDのアイコン画像の一例を示す図である。 高速走行時における車両と生体の位置関係、汎用モニタのグレースケール画像の一例及びMIDのアイコン画像の一例を示す図である。 汎用モニタ及びMIDの表示の関係を示す別の図である。 図13A及び図13Bは、車両と生体の位置関係、汎用モニタの撮像画像の一例及びMIDのアイコン画像の一例を示す図である。 車両の旋回に応じて撮像画像を区分けする処理のフローチャートである。 図15A〜図15Cは、旋回時の区分け処理の効果についての説明図である。 車速に応じて撮像画像を区分けする処理のフローチャートである。 図17A及び図17Bは、車速に応じた区分け処理の効果についての説明図である。 第2実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図19Aは、汎用モニタの正面図である。図19Bは、MIDの正面図である。 図18に示す車両周辺監視装置の動作説明に供されるフローチャートである。 図21A及び図21Bは、赤外線カメラを用いた撮像により取得された第1画像の例示図である。 第1表示領域内の第1位置と、第2表示領域内の第2位置との対応関係を表す概略説明図である。 図21Aに示す第1画像に関する情報を、汎用モニタ及びMIDにそれぞれ表示させた画像の例示図である。 図20のステップS37についての詳細フローチャートである。 図25A〜図25Cは、監視対象物の移動方向から危険度を評価する方法を例示する概略説明図である。 図26A及び図26Bは、車両の予測軌道から危険度を評価する方法を例示する概略説明図である。 図21Bに示す第1画像に関する情報を、汎用モニタ及びMIDにそれぞれ表示させた画像の例示図である。
以下、本発明に係る車両周辺監視装置について好適な実施形態を挙げ、添付の図面を参照しながら説明する。具体的には、第1実施形態に関して図1〜図11を、その変形例に関して図12〜図17Bを、第2実施形態に関して図18〜図27をそれぞれ参照する。
A.第1実施形態
[1.構成]
(1−1.全体構成)
図1は、第1実施形態に係る車両周辺監視装置10の構成を示すブロック図である。図2は、車両周辺監視装置10が組み込まれた車両12の概略斜視図である。図3は、車両12において運転者側から視た眺めを示す図である。なお、図3は、車両全般が右側走行することを取り決められている国の道路を車両12が走行している状況を示しており、車両12は左ハンドル車として図示されている。代わりに、右ハンドル車であっても同様の構成を採用することができる。
図1及び図2に示すように、車両周辺監視装置10は、左右の赤外線カメラ16L、16Rと、車速センサ18と、ヨーレートセンサ20(旋回方向検出センサ)と、電子制御装置(以下「ECU22」という。)と、スピーカ24と、汎用モニタ26(第1表示部)と、MID28(Multi-Information Display;第2表示部)とを有する。
(1−2.赤外線カメラ16L、16R)
赤外線カメラ16L、16Rは、車両12の周囲を撮像する撮像装置であり、撮像手段として機能する。本実施形態では、2つの赤外線カメラ16L、16Rを組み合わせてステレオカメラを構成する。赤外線カメラ16L、16Rは、被写体の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有する。
図2に示すように、赤外線カメラ16L、16Rは、車両12の前部バンパー部に、車両12の車幅方向中心部に対してほぼ対称な位置に配置されている。また、2つの赤外線カメラ16L、16Rは、それらの光軸が互いに平行であり、且つ両者の路面からの高さが等しくなるように固定されている。
(1−3.車速センサ18及びヨーレートセンサ20)
車速センサ18は、車両12の車速V[km/h]を検出し、ECU22に出力する。ヨーレートセンサ20は、車両12のヨーレートYr[°/sec]を検出し、ECU22に出力する。
(1−4.ECU22)
ECU22は、車両周辺監視装置10を制御するものであり、図1に示すように、入出力部30、演算部32及び記憶部34を有する。
赤外線カメラ16L、16R、車速センサ18及びヨーレートセンサ20からの各信号は、入出力部30を介してECU22に供給される。また、ECU22からの出力信号は、入出力部30を介してスピーカ24、汎用モニタ26及びMID28に出力される。入出力部30は、入力されたアナログ信号をデジタル信号に変換する図示しないA/D変換回路を備える。
演算部32は、赤外線カメラ16L、16R、車速センサ18及びヨーレートセンサ20からの各信号に基づく演算を行い、演算結果に基づきスピーカ24、汎用モニタ26及びMID28に対する信号を生成する。
図1に示すように、演算部32は、2値化機能40、生体抽出機能42、注意度評価機能44(注意度評価部)、スピーカ制御機能45、汎用モニタ制御機能46及びMID制御機能48を有する。各機能40、42、44、45、46、48は、記憶部34に記憶されているプログラムを実行することにより実現される。或いは、前記プログラムは、図示しない無線通信装置(携帯電話機、スマートフォン等)を介して外部から供給されてもよい。
2値化機能40は、赤外線カメラ16L、16Rの一方(本実施形態では、左側の赤外線カメラ16L)が取得したグレースケール画像72(図4)を2値化して2値化画像(図示せず)を生成する。生体抽出機能42は、グレースケール画像72及び前記2値化画像を用いて、これらの画像中におけるヒトや動物等の生体(監視対象物;単に対象物ともいう)を抽出する。注意度評価機能44は、少なくとも1つの生体を検知した場合、車両12にとっての前記生体の注意度を評価する。スピーカ制御機能45は、スピーカ24に警報音を出力させる等、スピーカ24を制御する。汎用モニタ制御機能46は、汎用モニタ26に対してグレースケール画像72を表示させる等、汎用モニタ26を制御する。
MID制御機能48は、MID28に対して人(ヒト)及び動物等の生体を示すマーク、例えばアイコン(以下「生体アイコン」という。)を表示させる等、MID28を制御する。図1に示すように、MID制御機能48は、境界線設定機能50(境界線設定部)、サブ領域選択機能52(領域選択部)及びアイコン表示機能54を有する。各機能50、52、54の詳細については後述する。
記憶部34は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するRAM(Random Access Memory)、及び実行プログラム、テーブル若しくはマップ等を記憶するROM(Read Only Memory)等で構成される。
(1−5.スピーカ24)
スピーカ24は、ECU22からの指令に応じて、警報音等の出力を行う。スピーカ24は、ダッシュボード60(図3)に設けられる(但し、図3において、スピーカ24は図示していない。)。図示しないオーディオ装置又はナビゲーション装置に設けられているスピーカをスピーカ24として用いてもよい。
(1−6.汎用モニタ26)
汎用モニタ26は、カラー画像又はモノクロ画像を表示可能であり、例えば、液晶パネル、有機EL(Electro-Luminescence)又は無機ELパネルを備える。図2及び図3に示すように、汎用モニタ26は、ダッシュボード60の所定部位、具体的には、ハンドル64の配設位置に対して右方の部位に配設されている。
図4は、汎用モニタ26の表示画面の一例を示す図である。図4において、汎用モニタ26の表示領域(以下「第1表示領域70」又は「表示領域70」という。)には、左側の赤外線カメラ16Lが撮像したグレースケール画像72が表示されている。
グレースケール画像72には、汎用モニタ制御機能46が生成した強調表示を付加することができる。すなわち、図4に示すように、ヒトや動物等の生体が抽出された画像部分(対象物画像部分;以下「生体対応部分74」という。)には、強調枠76が表示される。或いは、生体対応部分74に着色してもよい。或いは、強調枠76の表示及び生体対応部分74の着色の両方を行うこともできる。或いは、その他の方法による強調であってもよい。
なお、汎用モニタ26は、左側の赤外線カメラ16Lからのグレースケール画像72の代わりに、右側の赤外線カメラ16Rからのグレースケール画像72を表示してもよい。また、汎用モニタ26は、赤外線カメラ16L又は赤外線カメラ16Rからのグレースケール画像72に加え、その他の画像、例えば、ナビゲーション用の各種画像(道路地図、サービス情報等)、動画コンテンツ等を同時に又は切り替えて表示してもよい。各画像の切替えは、例えば、特定のプッシュボタンの押圧、又は切替え条件の事前設定により行うことが可能である。
(1−7.MID28)
MID28は、車両12の運転の際の付随情報を可視化して表示する簡易表示装置(アイコン表示装置)であり、汎用モニタ26(特に、その表示用パネル)よりも構成が簡便で、且つ安価な表示モジュールである。例えば、汎用モニタ26よりも解像度の低い表示用パネル(例えば、ノンインタレース方式で動作するもの)をMID28として用いることができる。
図2及び図3に示すように、MID28は、計器盤62の上側近傍のダッシュボード60(又は計器盤62内)に設けられる。MID28は、乗員としての運転者がハンドル64の上側の隙間を介してMID28を視認可能となるような位置に配置されている。これにより、運転者は、車両12の前方へ顔を向けた状態のまま、MID28を見ることが可能となる。
図5は、MID28の表示画面の一例を示す図である。図5において、MID28の表示領域(以下「第2表示領域80」又は「表示領域80」という。)には、グレースケール画像72に対応する各種のアイコンを含む画像(以下「アイコン画像82」という。)が表示される。
例えば、図5に示すように、表示領域80の下側には、車両12の進行方向の道路を示す道路アイコン84が表示されている。道路アイコン84は、3本のライン、すなわち、左から順に、ライン84L、84C、84Rで構成されている。ライン84L、84R間の幅は、表示領域80のうち遠方位置を想起させる上側ほど狭くなっている。すなわち、道路アイコン84の表示により、運転席から前方の直線道路を眺めたときの道路形状を、運転者に観念させることができる。
また、図5に示すように、表示領域80の上側には、車両12の周囲に存在する歩行者を示すヒトアイコン86を表示することができる。本実施形態において、ヒトアイコン86は、表示領域80の3箇所(すなわち、左側、中央及び右側)に表示可能である(図6、図8等参照)。
なお、ヒトアイコン86の代わりに、その他の生体を示すアイコン(例えば、動物を示す動物アイコン)を表示してもよい。
また、MID28は、上記の各種アイコン(道路アイコン84、ヒトアイコン86及び前記動物アイコン)を表示する代わりに、車両12の燃費、現在時刻、計器盤62に関する情報等を表示してもよい。各情報(画像)の切替えは、例えば、特定のプッシュボタンの押圧、又は切替え条件の事前設定により行うことが可能である。
[2.汎用モニタ26及びMID28の表示の関係]
図6は、汎用モニタ26及びMID28の表示の関係を示す図である。図6に示すように、本実施形態では、グレースケール画像72を車幅方向に3つの領域(以下「第1サブ領域90L、90C、90R」といい、「第1サブ領域90」と総称する。)に区分けする。以下では、各第1サブ領域90の境界線(以下「第1境界線92L、92R」といい、「第1境界線92」と総称する。)は、実際のグレースケール画像72には含まれない仮想的な線であると共に、固定されており、変化しない。なお、実際の処理では、第1サブ領域90の位置情報を用いずに、第1境界線92の位置情報のみを用いることも可能である。第1境界線92は、MID28の道路アイコン84のように、車線に沿う形(ハの字)であってもよい。
また、図6に示すように、アイコン画像82を車幅方向に3つの領域(以下「第2サブ領域100L、100C、100R」といい、「第2サブ領域100」と総称する。)に区分けする。アイコン画像82における各第2サブ領域100の境界線(以下「第2境界線102L、102R」といい、「第2境界線102」と総称する。)は、実際のアイコン画像82には含まれない仮想的な線であると共に、固定されており、変化しない。第2境界線102L、102Rは、それぞれ第1境界線92L、92Rと対応付けられている。第1境界線92と同様、第2境界線102は、MID28の道路アイコン84のように、車線に沿う形(ハの字)であってもよい。
本実施形態では、グレースケール画像72中の生体対応部分74が属する第1サブ領域90(以下「第1生体存在サブ領域」という。)を判定し、MID28におけるアイコン画像82の第2サブ領域100のうち第1生体存在サブ領域に対応するもの(以下「第2生体存在サブ領域」という。)に生体アイコン(ヒトアイコン86、前記動物アイコン等)を表示する。換言すれば、汎用モニタ26に表示されるグレースケール画像72を構成する複数の第1サブ領域90にそれぞれ対応付けられた各マーク(ヒトアイコン86等)の表示の有無によって、グレースケール画像72の各第1サブ領域90内における監視対象物(生体)の存否情報を可視化する。なお、所定の場合には、表示する生体アイコンの数を1から2に増加させる(詳細は後述する。)。
[3.車両周辺監視装置10の動作]
図7は、車両周辺監視装置10の動作の概要を示すフローチャートである。ステップS1において、赤外線カメラ16L、16Rは、車両12の周辺を撮像する。ステップS2において、ECU22は、赤外線カメラ16L、16Rからの信号をA/D変換してグレースケール画像72を取得する。ステップS3において、ECU22は、2値化処理を実行する。2値化処理では、グレースケール画像72を2値化して2値化画像(図示せず)を取得する。
ステップS4において、ECU22は、取得した2値化画像及びグレースケール画像72から生体対応部分74を抽出する。生体はその周囲より高温となっているので、2値化画像及びグレースケール画像72において生体に対応する部分(生体対応部分74)は高輝度となる。従って、2値化画像及びグレースケール画像72において、輝度が所定の閾値以上の画素の領域を探索することにより、生体対応部分74を抽出することが可能となる。
なお、2値化画像及びグレースケール画像72の両方を用いるのは、2値化画像を用いて簡易に生体の存在を特定し、その後、グレースケール画像72を用いて生体に関する詳細な情報を取得するためである。そのような処理として、例えば、特開2003−284057号公報に記載のものを用いることができる。また、2値化画像及びグレースケール画像72の一方のみを用いて生体対応部分74を抽出してもよい。
ステップS5において、ECU22は、生体対応部分74を強調したグレースケール画像72を汎用モニタ26に表示する。上述したように、強調表示は、例えば、強調枠76の表示(図4)及び生体対応部分74の着色の少なくとも一方等を行う。
ステップS6において、ECU22は、グレースケール画像72又は2値化画像において第1境界線92(図6)を設定して第1サブ領域90を特定する。ここでは、横方向に沿って3等分するように第1境界線92を設定する。
ステップS7において、ECU22は、生体対応部分74が属する第1サブ領域90(第1生体存在サブ領域)を判定する。ここで、生体対応部分74が第1境界線92上にある場合、当該第1境界線92を挟む2つの第1サブ領域90を、生体対応部分74が属する第1サブ領域90と判定する場合がある。
図8〜図11は、生体対応部分74が属する第1サブ領域90(第1生体存在サブ領域)の特定方法を説明する図である。すなわち、図8は、人110が遠くにいる場合における車両12と人110の位置関係、汎用モニタ26のグレースケール画像72の一例及びMID28のアイコン画像82の一例を示す図である。図9は、人110が近くにいる場合における車両12と人110の位置関係、汎用モニタ26のグレースケール画像72の一例及びMID28のアイコン画像82の一例を示す図である。図10は、車速Vが低い場合(低速走行時)における車両12と人110の位置関係、汎用モニタ26のグレースケール画像72の一例及びMID28のアイコン画像82の一例を示す図である。図11は、車速Vが高い場合(高速走行時)における車両12と人110の位置関係、汎用モニタ26のグレースケール画像72の一例及びMID28のアイコン画像82の一例を示す図である。図8〜図11において、αは、赤外線カメラ16Lの映像画角を示す。
図8に示すように、人110が遠くにいる場合且つ人110(生体対応部分74)が第1境界線92L上にある場合、MID28に表示する生体アイコン(ヒトアイコン86)は、1箇所のみとする。一方、図9に示すように、人110が近くにいる場合且つ人110(生体対応部分74)が第1境界線92L上にある場合、MID28に表示する生体アイコン(ヒトアイコン86)は、2箇所とする。これにより、運転者に人110を強調して通知することが可能となる。
図10に示すように、車速Vが低く且つ人110(生体対応部分74)が第1境界線92L上にある場合、MID28に表示する生体アイコン(ヒトアイコン86)は、1箇所のみとする。一方、図11に示すように、車速Vが高く且つ人110(生体対応部分74)が第1境界線92L上にある場合、MID28に表示する生体アイコンは、2箇所とする。これにより、運転者に人110を強調して通知することが可能となる。なお、図11例では、生体アイコンを複数同時に表示しているが、複数の生体アイコン(ヒトアイコン86等)を交互に表示してもよい。
ステップS8において、ECU22は、第1生体存在サブ領域に対応する第2サブ領域100(第2生体存在サブ領域)を判定する。
ステップS9において、ECU22は、生体を示す生体アイコン(ヒトアイコン86等)を、ステップS8で判定した第2生体存在サブ領域に表示する。なお、車両12と生体との間の接触可能性が高い場合、スピーカ24から警告音を発してもよい。
[4.補足]
上記実施形態では、生体対応部分74が第1境界線92上にあるか否かの判定を、現時点(今回の演算周期)の生体対応部分74の位置に基づいて行ったが、当該判定の方法は、これに限らない。例えば、人110(生体対応部分74)の移動ベクトル又はグレースケール画像72上の位置に基づいて、人110(生体対応部分74)が将来移動する可能性が高い第1サブ領域90を第1生体存在サブ領域とすることも可能である。これにより、運転者への注意喚起をより的確に行うことが可能となる。
移動ベクトルを用いる場合、例えば、生体対応部分74が中央の第1サブ領域90Cに存在し、移動ベクトルが左方向に向いていれば、中央の第1サブ領域90C及び左側の第1サブ領域90Lを選択する。また、生体対応部分74が中央の第1サブ領域90Cに存在し、移動ベクトルが右方向に向いていれば、中央の第1サブ領域90C及び右側の第1サブ領域90Rを選択する。
グレースケール画像72上の位置を用いる場合、例えば、生体対応部分74が中央の第1サブ領域90Cのうち左側に存在すれば、中央の第1サブ領域90C及び左側の第1サブ領域90Lを選択する。生体対応部分74が中央の第1サブ領域90Cのうち右側に存在すれば、中央の第1サブ領域90C及び右側の第1サブ領域90Rを選択する。
移動ベクトル又はグレースケール画像72上の位置は、上述した第1境界線92を用いた処理や上述した車両12に接触する可能性が高いことで用いる生体対応部分74の位置を補正するために用いることもできる。例えば、生体対応部分74の移動ベクトルが左向きである場合、生体対応部分74が存在する位置(現在位置)よりも所定画素数分、左側に移動した座標を用いて、第1境界線92上にあるか否かを判定してもよい。
[5.効果]
以上のように、グレースケール画像72中の第1サブ領域90から生体(人110、動物160を含む監視対象物)を少なくとも1つ検知した場合、車両12にとっての生体の注意度を評価する注意度評価機能44を設け、MID28は、注意度評価機能44により評価された注意度に応じてマークの表示形態を異ならせて表示する。このため、このため、ユーザに対して、各監視対象物における注意レベルの差異を視覚的に報知可能であり、適切な注意喚起を行うことができる。
第1実施形態によれば、注意度は、車両12の乗員が、マークの表示を視認することで人110等の監視対象物の位置を誤認し得る誤認可能性であり、この誤認可能性が高いと判別された場合、監視対象物の少なくとも一部が存在する第1サブ領域90及びこれと隣り合う第1サブ領域90に対応させて、複数の生体アイコン(ヒトアイコン86)を同時にMID28に表示する。
ここで、「誤認可能性が高い」とは、例えば、(1)生体対応部分74が第1境界線92上に存在する場合、(2)生体対応部分74が第1境界線92を跨ぐ前後である場合、(3)人110が車両12に接触する可能性が高い場合(例えば、人110が車両12の近くにいる場合、或いは、車速Vが高い場合)のいずれかである。
B.第1実施形態の変形例
続いて、車両周辺監視装置10の動作における変形例について説明する。第1実施形態と比べて、境界線設定機能50の挙動(図7に示すステップS6の処理)が異なっている。以下、図12〜図17Bを参照しながら詳細に説明する。なお、本変形例では、車両全般が左側走行することを取り決められている国の道路を車両12が走行する場合を想定する。
[1.第1実施形態の区分け動作]
図7のステップS6において、ECU22は、グレースケール画像である撮像画像134を、赤外線カメラ16Rによる車両12(図13A等参照)の前方の撮像範囲の内の、車両12の進行方向を含む中央範囲に対応する中央領域と、中央範囲の左方範囲に対応する左方領域と、中央範囲の右方範囲に対応する右方領域との3つのサブ領域に区分けする。この3つのサブ領域の具体的な区分けについて、図12を参照して説明する。本図では、車両12の前方に存在する生体が動物160(図13A等参照)であると想定している。
撮像画像134は、車両12の前方の撮像範囲の内の、車両12の進行方向を含む中央範囲に対応する中央領域154Cと、中央範囲に対して左側の左方範囲に対応する左方領域154Lと、中央範囲に対して右側の右方範囲に対応する右方領域154Rとの3つのサブ領域に、中央領域154Cの左右の左境界線151Lと右境界線151Rとにより区分けされている。撮像画像134についての図12に図示の区分けは初期設定の区分けを示しており、該初期設定の領域区分けは撮像画像134の左右方向へ3つに等分割する区分けになっている。
左境界線151L及び右境界線151Rは、アイコン画像144の生成処理のために使用するものであり、汎用モニタ26の実際の撮像画像134には表示されない。撮像画像134を生成する各データは、撮像画像134を構成する各画素の輝度データとなっている。対象物画像を構成する画素群が左方領域154L、中央領域154C及び右方領域154Rに属するかは、各画素群の各画素が左方領域154L、中央領域154C及び右方領域154Rの内のどの領域に属するかに基づいて判断される。
図12の左境界線151L及び右境界線151Rと赤外線カメラ16Rの左右視野範囲との関係について、図13A及び図13Bを参照して説明する。撮像画像134の左右の両端は、赤外線カメラ16Rの左右視野角αの左右方向範囲を画成する左画成線161L及び右画成線161Rにより決定される。すなわち、左画成線161L及び右画成線161Rより内側に存在する物体のみが、赤外線カメラ16Rにより撮像されて、撮像画像134に変換される。左画成線161L及び右画成線161Rより外側に存在する物体は撮像画像134から除外される。
中央視野角βは、左右視野角αの内側に定義され、左右両側を中左画成線166L及び中右画成線166Rにより画成されている。中左画成線166L及び中右画成線166Rは撮像画像134の左境界線151L及び右境界線151Rを規定する。すなわち、中央視野角β内の事物についての画像部分は撮像画像134の中央領域154Cに表示される。
図12の下段に左右方向に3つ並ぶアイコン画像144では、左から右へ順番に、道路アイコン145に対する動物アイコン157の位置が左方、中央及び右方になっている。道路アイコン145と動物アイコン157とは、アイコン画像144においてそれぞれ下側及び上側の関係で配置される。道路アイコン145は、左右のラインと中央のラインとの計3本のラインから構成され、運転席からの車両前方の眺めに対応させて、遠方をイメージする上側ほど、左右のラインの幅が狭くなっている。
左から1番目のアイコン画像144では、動物アイコン157は、左方位置として道路アイコン145の右肩上がりの左ラインに対して左側に表示される。左から2番目のアイコン画像144では、動物アイコン157は、中央位置として道路アイコン145の中央ラインの延長上に表示される。左から3番目のアイコン画像144では、動物アイコン157は、右方位置として道路アイコン145の左肩上がりの右ラインに対して右側に表示されている。
図12の下段の3つのアイコン画像144は、撮像画像134における動物画像部分149(対象物画像部分)がそれぞれ左方領域154L、中央領域154C及び右方領域154Rに属している場合に、MID28に表示される。
なお、車両12の前方に複数の対象物が存在する場合には、アイコン画像144には、それら複数の対象物に対して複数の動物アイコン157が、各監視対象物の車幅方向位置に応じて表示される。なお、同一の領域に複数の生体画像部分が属している場合には、MID28には、該領域に対応する位置にまとめて1つの生体アイコンだけ表示してもよい。
図12の上段のように、撮像画像134を左方領域154L、中央領域154C及び右方領域154Rに区分けしたときに、車両12から生体としての動物160までの距離と、該動物160の動物画像部分149が撮像画像134において属する領域との関係について、再び、図13A及び図13Bを参照して説明する。
図13A及び図13Bにおいて、動物160は、現実には、道路131の左側の側縁に対してその左外側に存在していることを想定している。図13Aのように、動物160が車両12から十分に遠方にいるときには、動物160は中央視野角βの内側になる。これに対し、動物160の位置が変化しなくても、車両12が動物160に接近して来ると、図13Bのように、動物160は中央視野角βの外側になる。
このように、車両12に対して遠方にある生体ほど、その生体アイコンは、MID28において中央位置に表示される傾向となる。注意喚起の距離内に存在する生体について、遠方のものほど、車両12が該生体に実際に接近した時の生体の位置が不確定になるので、MID28において中央位置に表示されるようにして、運転者に注意を促すことができる。
なお、車両12から遠い生体ほど、撮像画像134における生体画像部分の寸法は小さくなるので、撮像画像134における生体画像部分のサイズが所定の閾値未満のものについて、抽出しないようにして、車両12から所定距離以上遠方の生体については、中央視野角βの内側に存在していても、MID28のアイコン画像144にはその生体アイコンを表示しないようにする。なお、車両12から生体までの距離は、生体に対する赤外線カメラ16R、16Lの視差に基づき算出する。
運転者は、MID28を見て、MID28のアイコン画像144内に動物アイコン157が表示されていれば、前方に動物160が存在することを知る。そして、車両12の車幅方向への動物160の位置について、MID28から汎用モニタ26へ目を移すことなく、MID28における道路アイコン145に対する動物アイコン157の左右方向位置から、動物160が車両前方の中央、左方及び右方のどの範囲に存在するかを判断することができる。
生体は、車両12の進行方向を含む中央範囲にあるときは、中央範囲に対して両側の左方範囲又は右方範囲にあるときよりも、車両12との接触の可能性が高まるので、運転者は、アイコン画像144において生体アイコンが中央位置(図12の下段において左から2番目のアイコン画像144)にあるときは、左方位置又は右方位置(図12の下段において左から1番目又は3番目のアイコン画像144)にあるときより注意力を増大させると考えられる。
第1実施形態における領域区分けは、初期設定区分けとしての3等分割の区分けになっている。これに対して、種々の改良を行うことができる。
[2.第1の改良例]
図14は、アイコン画像144における動物アイコン157の左右方向位置を基にする領域区分けを、車両12の旋回に応じて調整する処理のフローチャートである。なお、初期設定区分けを3等分割の区分けにする必要はない。中央領域154Cを左方領域154L及び右方領域154Rより幅広にしたり、幅狭にしたりしたものを初期設定区分けとしてもよい。
ステップS11において、ECU22は、汎用モニタ26用の画像である撮像画像134に対して初期設定区分けを行う。すなわち、左右視野角αを左、中央及び右の角度区分に3等分割して、撮像画像134を左境界線151L及び右境界線151Rにより左右方向へ3等分割された左方領域154L、中央領域154C及び右方領域154Rに区分けするものである。
ステップS12において、ECU22は、車両12が右旋回中か否かを調べ、右旋回中であればステップS13へ進み、右旋回中でなければステップS13をスキップしてステップS14へ進む。車両12が現在、直進中か、右旋回中か、又は左旋回中かは、ヨーレートセンサ20の出力から判断することができる。
ステップS13において、ECU22は、撮像画像134における左境界線151Lを所定量、左へシフトさせる。車両12の旋回方向に応じて左境界線151L及び右境界線151Rをシフトさせる理由について、図15A〜図15Cを参照して説明する。
図15A〜図15Cでは、動物160が道路131上で且つ道路131の右カーブ部分内の左側縁近くに存在していることを想定し、該動物160に対する汎用モニタ26の撮像画像134及びMID28のアイコン画像144の表示態様を示している。
図15Aでは、車両12が道路画像部分140(図12参照)の右カーブ部分へ進入する手前の直進路部分を走行している。車両12が直進しているときの撮像画像134の区分けは初期設定区分けに設定されている。一方、動物160は、左右視野角αの中心線付近に存在しており、中央視野角β内になっている。この結果、撮像画像134において動物画像部分149は中央領域154Cに表示され、アイコン画像144において、動物アイコン157は中央位置で表示される。
図15B及び図15Cは、車両12が、動物160の存在する、道路画像部分140の右カーブ部分へ進入して、右旋回している時の撮像画像134及びアイコン画像144の表示態様を説明している。図15Bは、撮像画像134における領域区分けが初期設定区分けのまま変更されなかったときの表示態様であり、図15Cは、撮像画像134における領域区分けが、初期設定区分け(ステップS11参照)から変更されたときの表示態様である。
道路131の端付近に存在する対象物と車両12間の水平方向の間隔は、車両12が曲線道路を走行している場合、直線道路を走行している場合よりも、拡大する傾向がある。従って、図15Bのように、車両12の右旋回中は、撮像画像134における領域区分けが、図15Aのように、直進中の初期設定区分けのままとされると、実際の動物160は、道路131上に存在するにもかかわらず、中左画成線166Lより左側に出てしまう。このことにより、撮像画像134では、動物160の動物画像部分149は左方領域154Lに属することになり、アイコン画像144では、動物160は道路131外の対象物として左方位置の動物アイコン157により表示されてしまい、道路131に対する動物160の現実の位置とは異なってしまう。
そこで、左旋回時では、ステップS13の処理が実施されることにより、図15Cに示すように、中左画成線166Lが旋回方向外側としての左へ角度qだけシフトされ、動物160は車両12の左右方向へ中左画成線166Lの内側になる。この結果、撮像画像134上では、左境界線151Lが左へ寸法Qだけシフトされることになり、動物画像部分149は、撮像画像134における位置については変更されないものの、アイコン画像144では、動物160は道路131上の対象物の動物アイコン157として左方位置に表示される。こうして、運転者は、旋回中も、車幅方向へ道路131に対する動物160の位置を正しく認識することができる。
図14に戻って、ステップS14において、車両12が左旋回中か否かを調べ、左旋回中であればステップS15へ進み、左旋回中でなければ旋回対応区分け処理を終了する。従って、車両12の直進中は、撮像画像134は初期設定区分けの左方領域154L、中央領域154C及び右方領域154Rとなる。ステップS15では、撮像画像134における右境界線151Rを所定量、右へシフトさせる。
なお、図15A〜図15Cでは、車両12の右旋回時における左境界線151Lの左シフトについて説明しているが、ステップS15における車両12の左旋回時における右境界線151Rの右シフトの意義も同様である。
[3.第2の改良例]
図16は、アイコン画像144におけるヒトアイコン136の左右方向位置を基にする領域区分けを、車速Vに応じて調整する処理のフローチャートである。
ステップS21において、ECU22は、汎用モニタ26用の画像である撮像画像134に対して初期設定区分けを行う。なお、上述した第1の改良例(図14のステップS11)と同様であるので説明を省略する。
ステップS22において、ECU22は、車速Vが閾値以上であるか否かを調べ、閾値以上であればステップS23へ進み、閾値未満であれば車速対応区分け処理を終了する。ステップS23では、ECU22は、左境界線151L及び右境界線151Rを左右方向外側へシフトする。
この場合におけるアイコン画像144の具体的な表示態様について、図17A及び図17Bを参照しながら説明する。ここでは、図16に示す閾値(ステップS22参照)を例えば60[km/h]に設定している。図17Aに示す30[km/h]は車速Vが閾値未満(低車速時)の一例であると共に、図17Bに示す70[km/h]は車速Vが閾値以上(高車速時)の一例である。
本図では、人110が車両12の前方において道路131の左外側で、且つ道路131の近傍に存在していると想定している。図17Aの中央視野角β1は初期設定区分け時の中央視野角βの値であり、中央視野角β1の左右の中左画成線166L及び中右画成線166Rは左右視野角αを3等分割する直線となっている。従って、β1=α/3である。これに対し、図17Bの中央視野角β2は初期設定区分けの時の中央視野角β1に対して広げた時の中央視野角βの値であり、β2>β1となっている。
低車速時(図17A)における左境界線151L及び右境界線151Rは、初期設定区分け時の中央視野角β1に対応する位置に設定される。左境界線151L−右境界線151R間の寸法は、中央視野角β1に対応して、汎用モニタ26上の撮像画像134における換算寸法でaとなっている。このとき、撮像画像134においてヒト画像部分133(対象物画像部分)は左方領域154Lに属するので、アイコン画像144においてヒトアイコン136は左方位置に表示される。
これに対して、高車速時(図17B)における左境界線151L−右境界線151R間の寸法は、中央視野角β2に対応して、汎用モニタ26上の撮像画像134における換算寸法でb(b>a)となる。この結果、撮像画像134においてヒト画像部分133は中央領域154Cに属するので、アイコン画像144においてヒトアイコン136は中央位置に表示される。
車両12の高速走行時では、低速走行時に比して、車両12が前方の対象物に接近するまでの時間が短くなり、その分、運転者は該対象物に対する注意力を増大させる必要がある。高速走行時では、ステップS23において、中央領域154Cと左方領域154Lとの左境界線151L、及び中央領域154Cと右方領域154Rとの右境界線151Rをそれぞれ左方領域154L側及び右方領域154R側へ変位させる。これにより、低速走行時ではMID28に左方領域154L又は右方領域154Rに属するものとして表示されていたヒト画像部分133等の生体画像部分が、高速走行時ではMID28に中央領域154Cに属するものとして表示される。そのため、高速走行時では、運転者に注意喚起を開始する時の車両12から生体までの距離を増大させて、注意喚起の遅滞を防止することができる。
図17A及び図17Bの車速対応区分け処理では、区分けはaとbとの2段階であるが、車速Vに応じて3段階以上に切り替えてもよいし、左境界線151L−右境界線151R間の寸法を車速Vに応じて連続的に変更させるようにしてもよい。
[4.補足]
以上のように、領域区分けを改良することで、現時点での運転状況に応じた適切な方法で、運転者に対して注意力を払わせることができる。なお、上記した変形例は、第1実施形態に適用してもよいし、後述する第2実施形態に適用してもよい。
C.第2実施形態
続いて、第2実施形態に係る車両周辺監視装置210について説明する。
[1.構成]
図18は、第2実施形態に係る車両周辺監視装置210の構成を示すブロック図である。車両周辺監視装置210は、赤外線カメラ16R、16L、車速センサ18、ヨーレートセンサ20、スピーカ24、汎用モニタ26、MID28(図1の車両周辺監視装置10参照)の他、ブレーキセンサ19、及び画像処理ユニット214を更に備える。ブレーキセンサ19は、運転者によるブレーキペダルの操作量(以下、ブレーキ操作量Br)を検出し、画像処理ユニット214に出力する。
車両周辺監視装置210を制御する画像処理ユニット214は、入力されたアナログ信号をデジタル信号に変換する図示しないA/D変換回路、各種演算処理を実行するCPU214c(中央処理装置)、画像処理に供される各種データを記憶するための記憶部214m、スピーカ24の駆動信号、汎用モニタ26及びMID28の表示信号をそれぞれ出力する図示しない出力回路を更に備える。
CPU214cは、対象物検知部240、位置算出部242(より詳細には、第1位置算出部244、第2位置算出部246及び実際位置算出部248を含む。)、注意度評価部250(より詳細には、単体評価部252及び比較評価部254を含む。)、及び表示マーク決定部256等として機能する。
図19Aは汎用モニタ26の正面図であり、図19BはMID28の正面図である。
図19Aに示す汎用モニタ26の略全面には、横方向に長尺な矩形状の第1表示領域260が設けられている。本図では、赤外線カメラ16Lから出力された撮像信号に基づく第1画像262を、第1表示領域260内に表示した状態を表している。
図19Bに示すMID28の略全面には、横方向に長尺な矩形状の第2表示領域264が設けられている。本図では、第1画像262における所定の特徴部位のみを抽出し適宜変形した第2画像266を、第2表示領域264内に表示した状態を表している。具体例として、第2表示領域264の下方部には、道路アイコン268が表示されている。道路アイコン268は、3本のライン、左から順に、ライン267L、267C、267Rで構成されている。
なお、車両周辺監視装置210の車両12への搭載形態は、第1実施形態(図2及び図3参照)と同様であるので、詳細な説明を省略する。第2実施形態に係る車両周辺監視装置210は、基本的には以上のように構成される。
[2.車両周辺監視装置210の動作]
続いて、この車両周辺監視装置210の動作について、図20のフローチャートに沿って、他の図面を適宜参照しながら説明する。
先ず、ステップS31において、画像処理ユニット214は、走行中である車両12の周辺を赤外線カメラ16R、16Lを用いて撮像することで、現時点での撮像信号を取得する。例えば、撮像間隔が約33msである場合、赤外線カメラ16R(16L)は、1秒間当り30フレームの撮像信号を連続的又は間欠的に出力する。
次いで、ステップS32において、画像処理ユニット214は、赤外線カメラ16R、16Lのうちいずれか一方、ここでは赤外線カメラ16Lの撮像信号を汎用モニタ26側に供給する。そして、汎用モニタ26は、その第1表示領域260(図19A参照)内に現時点での第1画像270(又は272)を表示する。なお、汎用モニタ26は、図示しない操作部による設定に応じて、第1画像270、272の他、種々の画像を表示可能である。別の画像(映像)を表示している場合、本ステップを省略する。
図21Aに示す第1画像270は、対象物画像部分としての人体部位H1(現実には、1人のヒト)が路面領域Rd内(現実には、路面上)に存在する状態を表している。また、図21Bに示す第1画像272は、上記した人体部位H1が路面領域Rd内に存在し、且つ、対象物画像部分としての人体部位H2(現実には、もう1人のヒト)が路面領域Rdの辺縁部(現実には、路肩)に存在する状態を表す。
次いで、ステップS33において、対象物検知部240は、撮像信号が表す画像領域の中から監視対象物を検知する。監視対象物の一例として、ヒトの他、各種動物(具体的には、鹿、馬、羊、犬、猫等の哺乳動物、鳥類等)、人工構造物(具体的には、電柱、ガードレール、壁等)等が挙げられる。なお、検出アルゴリズムには、公知の手法を種々適用してもよく、監視対象物の種別に応じた適切な手法を選択することが好ましい。
次いで、ステップS34において、第1位置算出部244は、第1表示領域260内での各監視対象物の位置又は存在範囲(以下、第1位置という。)を算出する。汎用モニタ26の表示解像度が高い場合、監視対象物の位置を高精度に特定可能である。
次いで、ステップS35において、第2位置算出部246は、第2表示領域264内での各監視対象物の位置(以下、第2位置という。)を算出する。第1表示領域260内の第1位置と、第2表示領域264内の第2位置との対応関係について、図22を参照しながら以下説明する。
図22に示すように、汎用モニタ26における第1表示領域260は、3つのサブ領域、左から順に、左方領域274、中央領域276、及び右方領域278に均等分割されている。MID28における第2表示領域264は、3つの位置、左から順に、左側位置284、中央位置286、及び右側位置288が定義されている。そして、左方領域274を左側位置284に、中央領域276を中央位置286に、右方領域278を右側位置288にそれぞれ対応付けておく。
なお、第1表示領域260の分割に関し、図22例に限定されることなく種々の形態を採り得る。例えば、分割数は2つであっても4つ以上であってもよいし、中央領域276のサイズを左方領域274、右方領域278と比べて大きく(又は小さく)してもよい。また、第1表示領域260の左右方向の分割のみならず、上下方向の分割を組み合わせてもよい。更に、第1表示領域260は、車線に沿う形(すなわちハの字)に分割されてもよい。
次いで、ステップS36において、対象物検知部240は、ステップS33での検知結果から複数の監視対象物を検知したか否かを判別する。検知された監視対象物の数が0個、又は1個であった場合、ステップS38において、画像処理ユニット214は、第2画像266(図19B参照)、又は第2画像289(図23参照)に関する表示信号をMID28側に供給する。そして、MID28は、その第2表示領域264内に現時点での第2画像289を表示する。
第2画像289(図23参照)の表示に先立ち、表示マーク決定部256は、MID28に表示させるマークの形態(例えば、形状、色彩等)を決定する。図21Aに示す第1画像270において、第1表示領域260のうち中央領域276(図22参照)内に人体部位H1が検知されたので、表示マーク決定部256は、通常の表示色(例えば、白色)であるヒトアイコンを中央位置286(同図参照)に配置することを決定する。
その結果、図23に示すように、第2表示領域264の略中央には、白色のヒトアイコン290が表示される。表示するマークとして、監視対象物の形状を模したアイコンを用いることで、運転者はその種別を一見して把握できる。例えば、監視対象物の種別が動物であった場合、動物アイコンを用いてもよい。このように、第2画像289は、監視対象物の存否情報(種別、存否及び数)を可視化する画像に相当する。
また、3つのサブ領域(左方領域274、中央領域276及び右方領域278)の配置傾向に合致した位置(左側位置284、中央位置286及び右側位置288)に、各マークをそれぞれ表示することで、監視対象物の存否及び位置を直感的に把握できる。
次いで、ステップS39において、画像処理ユニット214は、車両12が監視対象物に接触する可能性があるか否かを判別する。接触の可能性がないと判別された場合、ステップS31に戻り、以下、ステップS31〜S38を順次繰り返す。
一方、接触の可能性があると判別された場合、ステップS40において、車両周辺監視装置210は、例えばスピーカ24を通じて警報音を発生することで、接触可能性の旨の情報を運転者に提供する。これにより、車両12の運転者の回避操作を促すことができる。
[3.ステップS37の動作説明]
ところで、図20のステップS36に戻って、監視対象物の数が2以上である場合、ステップS37に一旦進む。例えば、図21Bに示すように、中央領域276及び右方領域278(図22参照)に監視対象物が1つずつ存在する場合を想定する。
本実施形態では、注意度評価部250は、監視対象物が車両12に接触し得る接触可能性(以下、危険度ともいう)を評価する。以下、ステップS37における危険度の評価方法について、図24のフローチャートを参照しながら詳細に説明する。
先ず、ステップS51において、注意度評価部250は、未評価である監視対象物を1つ指定する。ここで指定された監視対象物に関し、単体評価部252は、種々の状態を考慮した上で(後述するステップS52〜S57を経て)、現時点での危険度を評価する。
次いで、ステップS52において、単体評価部252は、車両12との位置関係から、監視対象物に接触する危険度を評価する。評価に先立ち、実際位置算出部248は、赤外線カメラ16R、16Lからの一対の撮像信号から、三角測量法等の公知の手法を用いて、監視対象物(例えば、人体部位H1に相当する人体)の実際の位置、及び車両12との実距離を算出する。そして、単体評価部252は、車両12との距離が短い場合、監視対象物に接触する危険度が高いと評価する。一方、車両12との距離が長い場合、監視対象物に接触する危険度が低いと評価する。
次いで、ステップS53において、単体評価部252は、監視対象物の移動方向から、該監視対象物に接触する危険度を評価する。
図25A〜図25Cは、監視対象物の移動方向から危険度を評価する方法を例示する概略説明図である。路面に存在する第1歩行者は該路面を横断すると共に、第2歩行者は路肩に沿って歩行する場合を想定する。すなわち、図25A(第1画像272)に示す人体部位H1は、時間が経過するにつれて、換言すれば図25B(第1画像272a)、図25C(第1画像272b)に遷移するにつれて矢印MV1に向かって相対移動する。また、図25Aに示す人体部位H2は、時間が経過するにつれて(図25B、図25Cに遷移するにつれて)矢印MV2に向かって相対移動する。すなわち、MV1は第1歩行者の移動ベクトル(単位時間当りの移動量)を、MV2は第2歩行者の移動ベクトル(単位時間当りの移動量)をそれぞれ表す。
そこで、単体評価部252は、移動ベクトル(具体的には向き)に応じて、監視対象物に接触する危険度を評価する。例えば、人体部位H1における移動ベクトルMV1は第1画像272の水平方向に略平行するので、単体評価部252は、人体部位H1は横断中の歩行者であると推定し、監視対象物に接触する危険度が高いと評価する。一方、人体部位H2における移動ベクトルMV2は第1画像272の水平方向に対し所定角度以上だけ傾いているので、単体評価部252は、人体部位H2は横断中の歩行者でないと推定し、監視対象物に接触する危険度が低いと評価する。
次いで、ステップS54において、単体評価部252は、車両12の予測軌道から、監視対象物に接触する危険度を評価する。
図26A及び図26Bに示すように、同一の第1画像272上に、車両12の進行方向(矢印方向)に沿って一点鎖線で図示する仮想線P1、P2をそれぞれ引いている。この仮想線P1、P2は、車両12の予測軌道を表している。
図26Aの場合、予測軌道P1からの人体部位H1の距離は、予測軌道P1からの人体部位H2の距離よりも短い。従って、単体評価部252は、仮にこの運転状態を継続すると第1歩行者(人体部位H1)に接触するおそれがあると予測し、監視対象物に接触する危険度が高いと評価する。一方、単体評価部252は、仮にこの運転状態を継続しても第2歩行者(人体部位H2)に接触するおそれがないと予測し、監視対象物に接触する危険度が低いと評価する。
図26Bの場合、予測軌道P2からの人体部位H1の距離は、予測軌道P2からの人体部位H2の距離よりも長い。従って、単体評価部252は、仮にこの運転状態を継続すると第2歩行者(人体部位H2)に接触するおそれがあると予測し、監視対象物に接触する危険度が高いと評価する。一方、単体評価部252は、仮にこの運転状態を継続しても第1歩行者(人体部位H1)に接触するおそれがないと予測し、監視対象物に接触する危険度が低いと評価する。
次いで、ステップS55において、単体評価部252は、運転者における監視対象物の発見容易性から、該監視対象物に接触する危険度を評価する。具体的には、運転者にとって監視対象物の発見が困難であろう状態を予め想定し、単体評価部252は、この状態下では、運転者が実際に発見したか否かにかかわらず危険度を高く評価する。例えば、検知部位のサイズが小さい場合、移動量(移動ベクトル)が小さい場合、検知部位の形状が通常と異なる場合等が挙げられる。なお、検知部位の形状が通常である具体例として、歩行している場合、走っている場合、立ち止まっている場合等が想定される。また、検知部位の形状が通常と異なる具体例として、しゃがんでいる場合、寝そべっている場合等が想定される。
更に、監視対象物の色とその背景色との色差が小さい場合、例えば、歩行者が夜間に無彩色・低明度の衣類を着用している場合、運転者にとって監視対象物を発見することが困難である。赤外線カメラ16R、16L等により取得されるグレースケール画像において、両者の輝度の差に基づいて判別可能である。カラーカメラ等により取得されるカラー画像において、CIERGB、CIELAB等の色空間上での両者の色差に基づいて判別可能である。
次いで、ステップS56において、単体評価部252は、監視対象物における車両12の存在の認識性から、該監視対象物に接触する危険度を評価する。具体的には、監視対象物にとって車両12の存在が認識できないであろう状態を予め想定し、単体評価部252は、この状態下では、監視対象物が実際に認識したか否かにかかわらず危険度を高く評価する。例えば、監視対象物の姿勢(例えば、人体の場合は、顔の向き)を検知することで、車両12が該監視対象物の視界に入っているか否かを推定可能である。この場合、車両12に対し、背面、横向き、正面の順で危険度を高く評価すればよい。
なお、頭部の2値画像における輝度(オン画素の存在比率)から、顔の向きを精度よく検出できる。なぜならば、人体が車両12側を向く場合には顔の地肌(オン画素)の面積が大きくなり、人体が車両12に背を向ける場合には頭髪(オフ画素)の面積が大きくなる特徴があるためである。同様に、正面・背面以外の中間的な状態(横向き、斜め向き)を推定してもよい。
また、監視対象物の状況判断能力及び/又は挙動予測性を推定し、危険性の評価に反映させてもよい。例えば、人体と判別された監視対象物に対し、検知部位の形状や挙動等から老人(又は子供)であるか否かを更に判別し、これらの危険度を高く評価することもできる。
次いで、ステップS57において、単体評価部252は、ステップS51で指定された監視対象物の危険度を総合評価する。危険度は、数値、レベルのいずれであってもよく、データ形式は問わない。また、ステップS52〜S56で評価・算出された各評価値の比重(重み付け)を任意に変更してもよい。例えば、原則的には、車両12との位置関係(ステップS52参照)から危険度を評価し、もし危険度が高いレベルであった監視対象物が複数存在する場合、他の評価項目(ステップS53〜S56参照)を併せて考慮してもよい。
ステップS53によれば、監視対象物の移動予測をも併せて考慮することで、危険度の評価についての確度が高くなる。また、ステップS54によれば、車両12の予測軌道をも併せて考慮することで、危険度の評価についての確度が高くなる。更に、ステップS55によれば、運転者の視点での評価が更に加わり、危険度の評価についての確度が高くなる。更にステップS56によれば、監視対象物の視点での評価が更に加わり、危険度の評価の確度が高くなる。なお、ステップS53〜S56のいずれの評価に関し、第1画像272又はその他の入力情報、例えば、車速V、ブレーキ操作量Br、ヨーレートYr、GPS(Global Positioning System)又は測距手段から取得した距離情報等を種々用いることができる。
次いで、ステップS58において、注意度評価部250は、各監視対象物についての評価がすべて完了したか否かを判別する。完了したと判別された場合、ステップS51に戻って、以下、すべての評価が完了するまでステップS51〜S57を順次繰り返す。一方、完了したと判別された場合、次のステップ(S59)に進む。
最後に、ステップS59において、比較評価部254は、複数の監視対象物のうち危険度のレベルが高い監視対象物を少なくとも1つ選択する。この選択結果は、1つのみであってもよいし、2以上であってもよい。ここでは、2つの監視対象物(人体部位H1、H2)のうち人体部位H1が選択されたとする。
以上のようにして、ステップS37が終了する。そして、MID28は、その第2表示領域264(図19B参照)内に現時点での第2画像291を表示する(ステップS38)。
第2画像291の表示に先立ち、表示マーク決定部256は、MID28に表示させるマークの形態を決定する。図21Bに示す第1画像272において、第1表示領域260のうち中央領域276(図22参照)内に人体部位H1が検知されたので、表示マーク決定部256は、ヒトアイコンを中央位置286(同図参照)に配置することを決定する。また、第1表示領域260のうち右方領域278(図22参照)内に人体部位H2が検知されたので、表示マーク決定部256は、ヒトアイコンを右側位置288(同図参照)に配置することを決定する。更に、比較評価部254によって人体部位H1の危険度が一層高いと評価されたので、表示マーク決定部256は、中央位置286に配置しようとするヒトアイコンを通常よりも目立つ表示色(例えば、赤色)にし、右側位置288に配置しようとする残余のヒトアイコンを通常の表示色(白色)にする。
その結果、図27に示すように、第2表示領域264の略中央には赤色のヒトアイコン292が、右側には白色のヒトアイコン294がそれぞれ表示される。運転者は、MID28を視認する際、視覚的に強調された赤色のヒトアイコン292に目を向ける。そして、運転者は、ヒトアイコン292と第1表示領域260との相対的位置関係から、第1画像272の中央領域、すなわち車両12の前方正面に対する警戒意識を高めることができる。すなわち、複数の監視対象物のうち注意レベルが相対的に高い監視対象物の存在を運転者に報知できる。
なお、ヒトアイコン292、294の表示形態を異ならせる手法として、上記のように、ヒトアイコン294を通常よりも目立つ形態で表示する場合に限られず、もう一方のヒトアイコン292を通常よりも目立たない形態で表示する手法、あるいはその両方を組み合わせた手法を採ってもよい。また、表示形態には、上記した表示色の他、形状(例えばサイズ)の変更や、視覚効果(例えば、点滅表示、揺動表示等)の付与が含まれてもよく、複数のマークに対して相対的に視認差を設けることができれば手段は問わない。
[4.効果]
第2実施形態によれば、2以上のサブ領域(例えば、中央領域276及び右方領域278)から監視対象物(人体部位H1、H2)をそれぞれ検知した場合、MID28は、注意度評価部250により評価された危険度に応じてヒトアイコン292、294の表示形態を異ならせて表示する。これにより、複数の監視対象物における注意レベルの差異を運転者に報知可能であり、運転の支援となり便宜である。ここで、危険度(注意度)は、監視対象物が車両12に接触し得る接触可能性である。
D.変形例
なお、この発明は、上記した第1、第2実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
[1.搭載対象]
上記実施形態において、車両12は、四輪車を前提としていたが(図2参照)、車両周辺監視装置10、210を搭載する車両12は、これに限らない。例えば、二輪車(自転車を含む。)、三輪車又は六輪車にも搭載することが可能である。
上記実施形態において、車両周辺監視装置10、210を車両12に搭載したが、周辺の監視対象物を検知し、これをユーザに報知するものであれば、別の移動体にも搭載することができる。当該移動体として、例えば、船舶及び航空機を挙げることができる。
[2.撮像手段]
上記実施形態では、車両12の周囲を撮像する撮像手段として、2つの赤外線カメラ16L、16Rを用いたが、車両12の周囲を撮像することができるものであれば、これに限らない。例えば、撮像手段は、複眼(ステレオカメラ)であっても単眼(1つのカメラ)であってもよい。また、赤外線カメラに代替して、主に可視光領域の波長を有する光を利用するカメラ(カラーカメラ)を用いてもよく、あるいは両方を併せ備えてもよい。
[3.汎用モニタ26(第1表示部)及びMID28(第2表示部)]
上記実施形態では、赤外線カメラ16Lからのグレースケール画像72を表示するものとして汎用モニタ26を用いたが、撮像手段が撮像した画像を表示するものであれば、これに限らない。また、上記実施形態では、汎用モニタ26に表示するグレースケール画像72に強調枠76を表示させたが、強調表示を付することなく、赤外線カメラ16Lからのグレースケール画像72をそのまま汎用モニタ26に表示してもよい。
上記実施形態では、生体アイコン(マーク)を表示するものとして、ノンインタレース方式で動作する比較的汎用性のある表示装置をMID28として用いたが、これに限らず、生体アイコンのみを表示するインジケータを複数(例えば3つ)並べたものをMID28の代わりに用いることもできる。或いは、特願2004−364112号公報の図2に示すようなヘッドアップディスプレイ(HUD)をMID28の代わりに用いることも可能である。
上記実施形態では、汎用モニタ26とMID28の両方を用いたが、MID28のみを用いる構成も可能である。この場合、赤外線カメラ16Lで取得したグレースケール画像72は、MID28に表示するために用いられる。

Claims (15)

  1. 車両(12)に搭載された撮像装置(16R、16L)から出力された撮像信号に基づいて、前記車両(12)の周辺における監視対象物(110、160)を検知する車両周辺監視装置(10、210)であって、
    前記撮像信号が表す撮像画像(72、134、262、270、272、272a、272b)を表示する第1表示部(26)と、
    前記第1表示部(26)に表示される前記撮像画像(72、134、262、270、272、272a、272b)を構成する複数のサブ領域(90R、90C、90L、154R、154C、154L、274、276、278)にそれぞれ対応付けられた各マーク(86、136、157、290、292、294)の表示の有無によって、前記撮像画像(72、134、262、270、272、272a、272b)の前記各サブ領域(90R、90C、90L、154R、154C、154L、274、276、278)内における前記監視対象物(110、160)の存否情報を可視化する第2表示部(28)と、
    前記撮像画像(72、134、262、270、272、272a、272b)の中から前記監視対象物(110、160)を少なくとも1つ検知した場合、前記車両(12)にとっての前記監視対象物(110、160)の注意度を評価する注意度評価部(44、250)と
    を備え、
    前記第2表示部(28)は、前記注意度評価部(44、250)により評価された前記注意度に応じて前記マーク(86、136、157、290、292、294)の表示形態を異ならせて表示する
    ことを特徴とする車両周辺監視装置(10、210)。
  2. 請求項1記載の車両周辺監視装置(10)において、
    前記注意度は、前記車両(12)の乗員が、前記マーク(86、136、157)の表示を視認することで前記監視対象物(110、160)の位置を誤認し得る誤認可能性であり、
    前記第2表示部(28)は、前記誤認可能性が高いと判別された場合、前記監視対象物(110、160)の少なくとも一部が存在する前記サブ領域(90R、90C、90L、154R、154C、154L)及びこれと隣り合う前記サブ領域(90R、90C、90L、154R、154C、154L)に対応させて、複数の前記マーク(86、136、157)を同時に又は交互に表示することを特徴とする車両周辺監視装置(10)。
  3. 請求項2記載の車両周辺監視装置(10)において、
    前記注意度評価部(44)は、前記監視対象物(110、160)が前記複数のサブ領域(90R、90C、90L、154R、154C、154L)の境界線(92R、92L、151R、151L)上に存在する場合、前記誤認可能性が高いと判別することを特徴とする車両周辺監視装置(10)。
  4. 請求項2記載の車両周辺監視装置(10)において、
    前記注意度評価部(44)は、前記監視対象物(110、160)が前記複数のサブ領域(90R、90C、90L、154R、154C、154L)の境界線(92R、92L、151R、151L)を跨ぐ前後である場合、前記誤認可能性が高いと判別することを特徴とする車両周辺監視装置(10)。
  5. 請求項2記載の車両周辺監視装置(10)において、
    前記注意度評価部(44)は、前記監視対象物(110、160)が前記車両(12)に接触する可能性が高い場合、前記注意度が高いと判別することを特徴とする車両周辺監視装置(10)。
  6. 請求項1記載の車両周辺監視装置(210)において、
    前記注意度は、前記監視対象物(110、160)が前記車両(12)に接触し得る接触可能性であり、
    前記注意度評価部(250)は、2以上の前記サブ領域(274、276、278)から前記監視対象物(110、160)をそれぞれ検知した場合、各前記監視対象物(110、160)における前記接触可能性をそれぞれ評価し、
    前記第2表示部(28)は、前記接触可能性に応じて表示形態を異ならせた前記マーク(290、292、294)をそれぞれ表示する
    ことを特徴とする車両周辺監視装置(210)。
  7. 請求項6記載の車両周辺監視装置(210)において、
    前記第2表示部(28)は、前記接触可能性が高いと評価された少なくとも1つの前記監視対象物(110、160)に応じた前記マーク(292)を、残余の監視対象物(110、160)に応じた前記マーク(290、294)よりも視覚的に強調して表示することを特徴とする車両周辺監視装置(210)。
  8. 請求項6記載の車両周辺監視装置(210)において、
    前記注意度評価部(250)は、前記車両(12)の運転者にとって前記監視対象物(110、160)の発見が容易であるか否かについて少なくとも前記撮像信号に基づいて判別をし、該判別の結果に応じて前記接触可能性を評価することを特徴とする車両周辺監視装置(210)。
  9. 請求項6記載の車両周辺監視装置(210)において、
    前記注意度評価部(250)は、前記監視対象物(110、160)が前記車両(12)の存在を認識しているか否かについて少なくとも前記撮像信号に基づいて判別をし、該判別の結果に応じて前記接触可能性を評価することを特徴とする車両周辺監視装置(210)。
  10. 請求項6記載の車両周辺監視装置(210)において、
    前記注意度評価部(250)は、前記車両(12)の軌道について予測をし、該予測の結果に応じて前記接触可能性を評価することを特徴とする車両周辺監視装置(210)。
  11. 請求項6記載の車両周辺監視装置(210)において、
    前記注意度評価部(250)は、前記監視対象物(110、160)の移動方向について予測をし、該予測の結果に応じて前記接触可能性を評価することを特徴とする車両周辺監視装置(210)。
  12. 請求項1記載の車両周辺監視装置(10、210)において、
    前記複数のサブ領域(90R、90C、90L、154R、154C、154L、274、276、278)は、前記撮像装置(16R、16L)による前記車両(12)の前方の撮像範囲の内の、前記車両(12)の進行方向を含む中央範囲に対応する中央領域(90C、154C、276)と、前記中央範囲の左方範囲に対応する左方領域(90L、154L、274)と、前記中央範囲の右方範囲に対応する右方領域(90R、154R、278)とから構成される
    ことを特徴とする車両周辺監視装置(10、210)。
  13. 請求項12記載の車両周辺監視装置(10、210)において、
    前記撮像画像(72、134、262、270、272、272a、272b)の中から探索された、前記監視対象物(110、160)の画像部分としての対象物画像部分(74、133、149、H1、H2)が前記複数のサブ領域(90R、90C、90L、154R、154C、154L、274、276、278)のうちどのサブ領域(90R、90C、90L、154R、154C、154L、274、276、278)に属するかを選択する領域選択部(52、242)を更に備え、
    前記領域選択部(52、242)は、前記対象物画像部分(74、133、149、H1、H2)が前記中央領域(90C、154C、276)と前記左方領域(90L、154L、274)との境界線(92L、151L)上、又は前記中央領域(90C、154C、276)と前記右方領域(90R、154R、278)との境界線(92R、151R)上にあるときは、前記中央領域(90C、154C、276)を選択する
    ことを特徴とする車両周辺監視装置(10、210)。
  14. 請求項12記載の車両周辺監視装置(10)において、
    前記車両(12)の旋回方向を検出する旋回方向検出センサ(20)と、
    前記旋回方向検出センサ(20)が前記車両(12)の左旋回を検出したときは、前記中央領域(90C、154C)と前記右方領域(90R、154R)との境界線(92R、151R)を前記右方領域(90R、154R)側へ変位させ、前記旋回方向検出センサ(20)が前記車両(12)の右旋回を検出したときは、前記中央領域(90C、154C)と前記左方領域(90L、154L)との境界線(92L、151L)を前記左方領域(90L、154L)側へ変位させる境界線設定部(50)と
    を更に備えることを特徴とする車両周辺監視装置(10)。
  15. 請求項12記載の車両周辺監視装置(10、210)において、
    前記車両(12)の車速(V)を検出する車速センサ(18)を備え、
    前記車速センサ(18)の検出した車速(V)が高速であるときは低速であるときよりも、前記中央領域(90C、154C)と前記左方領域(90L、154L)との境界線(92L、151L)を前記左方領域(90L、154L)側へ変位させると共に、前記中央領域(90C、154C)と前記右方領域(90R、154R)との境界線(92R、151R)を前記右方領域(90R、154R)側へ変位させる境界線設定部(50)と
    を更に備えることを特徴とする車両周辺監視装置(10、210)。
JP2013534767A 2011-09-21 2012-09-21 車両周辺監視装置 Active JP5616531B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013534767A JP5616531B2 (ja) 2011-09-21 2012-09-21 車両周辺監視装置

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011206620 2011-09-21
JP2011206620 2011-09-21
JP2011224528 2011-10-12
JP2011224528 2011-10-12
JP2011238600 2011-10-31
JP2011238600 2011-10-31
JP2013534767A JP5616531B2 (ja) 2011-09-21 2012-09-21 車両周辺監視装置
PCT/JP2012/074229 WO2013042767A1 (ja) 2011-09-21 2012-09-21 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP5616531B2 true JP5616531B2 (ja) 2014-10-29
JPWO2013042767A1 JPWO2013042767A1 (ja) 2015-03-26

Family

ID=47914527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013534767A Active JP5616531B2 (ja) 2011-09-21 2012-09-21 車両周辺監視装置

Country Status (5)

Country Link
US (1) US20140226015A1 (ja)
EP (1) EP2759999B1 (ja)
JP (1) JP5616531B2 (ja)
CN (1) CN103797530B (ja)
WO (1) WO2013042767A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076324A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 表示制御装置および車両制御装置
WO2017126221A1 (ja) * 2016-01-19 2017-07-27 日産自動車株式会社 表示装置の制御方法および表示装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
US9292735B2 (en) * 2011-09-28 2016-03-22 Honda Motor Co., Ltd. Living body recognizing device
JP6440115B2 (ja) * 2014-03-06 2018-12-19 パナソニックIpマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US9409519B2 (en) * 2014-08-27 2016-08-09 Toyota Jidosha Kabushiki Kaisha Generating spatial information for a heads-up display
US10131276B2 (en) * 2014-09-30 2018-11-20 Subaru Corporation Vehicle sightline guidance apparatus
JP6518497B2 (ja) * 2014-09-30 2019-05-22 株式会社Subaru 車両の視線誘導装置
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
US9588340B2 (en) 2015-03-03 2017-03-07 Honda Motor Co., Ltd. Pedestrian intersection alert system and method thereof
US9847022B2 (en) * 2015-07-22 2017-12-19 Ace/Avant Concrete Construction Co., Inc. Vehicle detection system and method
US10093181B1 (en) 2015-09-30 2018-10-09 Waymo Llc Occupant facing vehicle display
CN105216715A (zh) * 2015-10-13 2016-01-06 湖南七迪视觉科技有限公司 一种汽车驾驶员视觉辅助增强***
JP6493196B2 (ja) 2015-12-17 2019-04-03 株式会社デンソー 制御装置、制御方法
WO2017221663A1 (ja) * 2016-06-20 2017-12-28 パナソニックIpマネジメント株式会社 映像表示システム
US11195026B2 (en) 2016-06-29 2021-12-07 Kyocera Corporation Object detection and display apparatus, moveable body, and object detection and display method
JP6353881B2 (ja) * 2016-08-25 2018-07-04 株式会社Subaru 車両の表示装置
JP6551377B2 (ja) * 2016-12-15 2019-07-31 トヨタ自動車株式会社 車両用注意喚起装置
JP7092688B2 (ja) * 2017-02-17 2022-06-28 住友重機械工業株式会社 作業機械用周辺監視システム
JP7203512B2 (ja) * 2018-05-17 2023-01-13 株式会社小糸製作所 センサデータ生成装置
JP7244221B2 (ja) * 2018-06-14 2023-03-22 フォルシアクラリオン・エレクトロニクス株式会社 物体認識装置
JP2020145564A (ja) * 2019-03-05 2020-09-10 株式会社デンソーテン 画像処理装置および画像処理方法
DE102019117689A1 (de) * 2019-07-01 2021-01-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Darstellung einer Verkehrssituation durch Ausblenden von Verkehrsteilnehmer-Symbolen
CN112428989B (zh) * 2020-10-30 2022-03-11 惠州华阳通用电子有限公司 一种车辆控制方法
CN115553780B (zh) * 2022-12-06 2023-03-21 深圳市心流科技有限公司 注意力评估方法、设备及存储介质
CN115581457B (zh) * 2022-12-13 2023-05-12 深圳市心流科技有限公司 注意力评估方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2007069806A (ja) * 2005-09-08 2007-03-22 Clarion Co Ltd 車両用障害物検出装置
JP2007323578A (ja) * 2006-06-05 2007-12-13 Honda Motor Co Ltd 車両周辺監視装置
JP2008026985A (ja) * 2006-07-18 2008-02-07 Toyota Motor Corp 車載用歩行者検出装置
JP2010044561A (ja) * 2008-08-12 2010-02-25 Panasonic Corp 乗物搭載用監視装置
JP2010247621A (ja) * 2009-04-14 2010-11-04 Stanley Electric Co Ltd 自動車の運転支援システム
JP2011087006A (ja) * 2009-10-13 2011-04-28 Denso Corp 車両用表示装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001021446A1 (en) * 1999-09-20 2001-03-29 Matsushita Electric Industrial Co., Ltd. Device for assisting automobile driver
JP4060159B2 (ja) 2002-01-18 2008-03-12 本田技研工業株式会社 車両周辺監視装置
JP4055656B2 (ja) * 2003-05-30 2008-03-05 トヨタ自動車株式会社 衝突予測装置
JP4176558B2 (ja) 2003-06-06 2008-11-05 本田技研工業株式会社 車両周辺表示装置
JP4650079B2 (ja) * 2004-11-30 2011-03-16 日産自動車株式会社 物体検出装置、および方法
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP4900146B2 (ja) 2007-09-12 2012-03-21 トヨタ自動車株式会社 障害物検知装置
JP2009098956A (ja) * 2007-10-17 2009-05-07 Mazda Motor Corp 車両用運転支援装置
US8095276B2 (en) * 2008-10-15 2012-01-10 Autoliv Asp, Inc. Sensor system including a confirmation sensor for detecting an impending collision
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2007069806A (ja) * 2005-09-08 2007-03-22 Clarion Co Ltd 車両用障害物検出装置
JP2007323578A (ja) * 2006-06-05 2007-12-13 Honda Motor Co Ltd 車両周辺監視装置
JP2008026985A (ja) * 2006-07-18 2008-02-07 Toyota Motor Corp 車載用歩行者検出装置
JP2010044561A (ja) * 2008-08-12 2010-02-25 Panasonic Corp 乗物搭載用監視装置
JP2010247621A (ja) * 2009-04-14 2010-11-04 Stanley Electric Co Ltd 自動車の運転支援システム
JP2011087006A (ja) * 2009-10-13 2011-04-28 Denso Corp 車両用表示装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076324A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 表示制御装置および車両制御装置
WO2017065297A1 (ja) * 2015-10-16 2017-04-20 株式会社デンソー 表示制御装置および車両制御装置
US11514793B2 (en) 2015-10-16 2022-11-29 Denso Corporation Display control apparatus and vehicle control apparatus
WO2017126221A1 (ja) * 2016-01-19 2017-07-27 日産自動車株式会社 表示装置の制御方法および表示装置
KR20180094992A (ko) * 2016-01-19 2018-08-24 닛산 지도우샤 가부시키가이샤 표시 장치의 제어 방법 및 표시 장치
JPWO2017126221A1 (ja) * 2016-01-19 2018-12-06 日産自動車株式会社 表示装置の制御方法および表示装置
KR101999079B1 (ko) 2016-01-19 2019-07-10 닛산 지도우샤 가부시키가이샤 표시 장치의 제어 방법 및 표시 장치
US10522041B2 (en) 2016-01-19 2019-12-31 Nissan Motor Co., Ltd. Display device control method and display device

Also Published As

Publication number Publication date
EP2759999B1 (en) 2016-07-27
WO2013042767A1 (ja) 2013-03-28
CN103797530A (zh) 2014-05-14
US20140226015A1 (en) 2014-08-14
EP2759999A1 (en) 2014-07-30
CN103797530B (zh) 2015-09-09
EP2759999A4 (en) 2015-04-15
JPWO2013042767A1 (ja) 2015-03-26

Similar Documents

Publication Publication Date Title
JP5616531B2 (ja) 車両周辺監視装置
JP5639283B2 (ja) 車両周辺監視装置
JP5706874B2 (ja) 車両の周辺監視装置
JP5577398B2 (ja) 車両の周辺監視装置
EP2465092B1 (en) Vehicle vicinity monitoring apparatus
JP5774770B2 (ja) 車両周辺監視装置
JP2018195301A (ja) 制御装置及び制御方法
JP4692344B2 (ja) 画像認識装置
JP4173902B2 (ja) 車両周辺監視装置
JP5480925B2 (ja) 車両周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
EP2642463A1 (en) Peripheral monitoring device for vehicle
JP5192007B2 (ja) 車両の周辺監視装置
JP6087240B2 (ja) 車両周辺監視装置
JP5604011B2 (ja) 車両周辺監視装置
JP2012058999A (ja) 車両周辺監視装置
JP5430633B2 (ja) 車両周辺監視装置
JP5703192B2 (ja) 車両周辺監視装置
JP5383246B2 (ja) 車両の周辺監視装置
JP2012142832A (ja) 撮像装置
JP5907849B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

R150 Certificate of patent or registration of utility model

Ref document number: 5616531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250