JP2021069075A

JP2021069075A - 車両用周囲監視装置および車両用周囲監視方法

Info

Publication number: JP2021069075A
Application number: JP2019194994A
Authority: JP
Inventors: 智能小城戸; Tomoyoshi Kokido; 考平森; Kohei Mori; 成晃竹原; Nariaki Takehara
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-10-28
Filing date: 2019-10-28
Publication date: 2021-04-30
Anticipated expiration: 2039-10-28
Also published as: DE102020204957A1; CN112734981A; JP6976298B2

Abstract

【課題】周辺監視カメラ装置と後側方監視カメラ装置との共用できる部分を共通化して１つの装置に統合することで、車両用周囲監視装置の大型化を抑制する。【解決手段】周辺監視映像を撮像する周辺監視カメラ２と、後側方監視映像を撮像する後側方監視カメラ３と、自車の車両状況に基づいて１つまたは複数の周辺監視機能および１つまたは複数の後側方監視機能の中の１つまたは複数を選択監視機能として選択し、選択監視機能に基づいて周辺監視映像および後側方監視映像のいずれか一方を入力映像として決定すると共に、選択監視機能に対応する映像処理方法を決定する監視機能選択部５と、監視機能選択部で決定された入力映像を周辺監視カメラおよび後側方監視カメラのいずれか一方から取得する入力映像取得部６と、入力映像に対して監視機能選択部で決定された映像処理方法で映像処理を行う入力映像処理部７とを備えている。【選択図】図１

Description

本願は、車両用周囲監視装置および車両用周囲監視方法に関する。

近年、車両に監視カメラを搭載し、ドライバの死角になり易い車両周辺の映像を提供する監視カメラ装置が開示されている。最近では、車両に周辺を撮像する複数のカメラを搭載し、車両の上から周辺３６０°を見渡したような俯瞰映像を提供する周辺監視カメラ装置も開示されている。この周辺監視カメラ装置は、複数のカメラで撮像した複数の映像を座標変換して合成することで車両の上から周辺３６０°を見渡したような俯瞰映像を生成している（例えば、特許文献１参照）。

また、車両に後側方を撮像するカメラを搭載し、撮像した映像から自車の後側方の走行レーンを認識し、その走行レーンの監視領域内を走行する後続車を検知する後側方監視カメラ装置が開示されている。この後側方監視カメラ装置は、検知した後続車の方向にドライバがウィンカの操作をすると警報を報知する機能などを備えている（例えば、特許文献２参照）。

特許第３２８６３０６号公報特開平２−２８７７９９号公報

周辺監視カメラ装置は主に駐車時に使用され、後側方監視カメラ装置は主に走行時に使用される。この２つの装置を１台の車両に搭載すると、駐車時および走行時の両方において車両の安全性を向上させる車両用周囲監視装置となる。しかしながら、この２つの装置を単に１台の車両に搭載した場合、それぞれの装置スペースが必要となるため車両用周囲監視装置が大型になるという問題があった。

本願は、上述の課題を解決するためになされたもので、複数の監視カメラ装置が使用されるときの車両状況が異なることに着目し、それらの装置の共用できる部分を共通化して１つの装置に統合することで、車両用周囲監視装置の大型化を抑制することを目的とする。

本願に係る車両用周囲監視装置は、複数のカメラで構成されるカメラ部と、自車の車両状況を判定する車両状況判定部と、この車両状況判定部で判定された自車の車両状況に基づいて、１つまたは複数の監視機能を選択監視機能として選択し、選択監視機能に必要なカメラ部からの入力映像を決定すると共に、選択監視機能に対応する映像処理方法を決定する監視機能選択部と、この監視機能選択部で決定されたカメラ部からの入力映像を切り替えて取得する入力映像取得部と、この入力映像取得部で取得された入力映像に監視機能選択部で決定された映像処理方法で映像処理を行う入力映像処理部とを備えている。

本願の車両用周囲監視装置は、車両状況判定部で判定された自車の車両状況に基づいて１つまたは複数の監視機能を選択監視機能として選択し、選択監視機能に必要なカメラ部からの入力映像を決定すると共に、選択監視機能に対応する映像処理方法を決定する監視機能選択部と、この監視機能選択部で決定されたカメラ部からの入力映像を切り替えて取得する入力映像取得部と、この入力映像取得部で取得された入力映像に監視機能選択部で決定された映像処理方法で映像処理を行う入力映像処理部とを備えているので、車両用周囲監視装置の大型化を抑制することができる。

実施の形態１に係る車両用周囲監視装置の構成図である。実施の形態１における監視カメラの撮像範囲を示す模式図である。実施の形態１における周辺監視画像の一例を示す図である。実施の形態１における後側方監視画像の一例を示す図である。実施の形態１における車両用周囲監視方法のフローチャートである。実施の形態１における車両用周囲監視方法のフローチャートである。実施の形態１における車両用周囲監視装置のハードウェアの一例を示す模式図である。

以下、本願を実施するための実施の形態に係る車両用周囲監視装置について、図面を参照して詳細に説明する。なお、各図において同一符号は同一もしくは相当部分を示している。

実施の形態１．
図１は、実施の形態１に係る車両用周囲監視装置の構成図である。本実施の形態の車両用周囲監視装置は車両に搭載されており、周辺監視機能と後側方監視機能とを備えている。周辺監視機能とは、車両の上から周辺３６０°を見渡したようなドライバ向けの俯瞰映像の表示機能、車両周辺の映像から駐車枠線を検知し、検知した駐車枠線に沿わせて自動で駐車を行う自動駐車機能、車両後退時に車両周辺および後方の歩行者、車両、障害物などを検知し、警報およびブレーキ制御による衝突回避機能などである。また、後側方監視機能とは、自車の後側方を走行する後続車を検知する後続車検知機能、検知した後続車の方向にドライバがウィンカの操作を行うと警報を報知する車線変更警報機能などである。

図１に示す本実施の形態の車両用周囲監視装置１は、自車の周辺監視映像を撮像する周辺監視カメラ２と、自車の後側方監視映像を撮像する後側方監視カメラ３と、自車の車両状況を判定する車両状況判定部４と、この車両状況判定部４で判定された自車の車両状況に基づいて１つまたは複数の周辺監視機能および１つまたは複数の後側方監視機能の中の１つまたは複数を選択監視機能として選択し、選択監視機能に基づいて周辺監視映像および後側方監視映像のいずれか一方を入力映像として決定すると共に、選択監視機能に対応する映像処理方法を決定する監視機能選択部５と、この監視機能選択部５で決定された入力映像を周辺監視カメラ２および後側方監視カメラ３のいずれか一方から取得する入力映像取得部６と、この入力映像取得部６で取得された入力映像に監視機能選択部５で決定された映像処理方法で映像処理を行う入力映像処理部７とを備えている。

周辺監視カメラ２は、自車の車両周辺を撮像領域とするフロントカメラ、リアカメラ、左サイドカメラ、右サイドカメラなどの１台以上の光学カメラで構成されている。なお、本実施の形態では、周辺監視カメラ２は４台のカメラで構成されているが、自車の周辺を撮像するためのカメラであれば何台で構成されていてもよい。周辺監視カメラ２は、これらのカメラで撮像された映像を周辺監視映像として出力する。

後側方監視カメラ３は、自車の後側方を撮像領域とする後右サイドカメラ、後左サイドカメラなどの１台以上の光学カメラで構成されている。なお、本実施の形態では、後側方監視カメラ３は２台のカメラで構成されているが、自車の後側方を撮像するためのカメラであれば何台で構成されていてもよい。後側方監視カメラ３は、これらのカメラで撮像された映像を後側方監視映像として出力する。

図２は、本実施の形態における周辺監視カメラ２の撮像範囲および後側方監視カメラ３の撮像範囲の一例を示す模式図である。周辺監視カメラ２は、車両１８のフロントグリルに取り付けられたフロントカメラ２１と、左右の前扉下にそれぞれ取り付けられた右サイドカメラ２２および左サイドカメラ２３と、リアバンパーに取り付けられたリアカメラ２４とで構成されている。後側方監視カメラ３は、リアバンパーの右端部に取り付けられた後右サイドカメラ３１と、リアバンパーの左端部に取り付けられた後左サイドカメラ３２とで構成されている。周辺監視カメラ２の撮像範囲１９は、車両１８からの距離が約１０ｍで周囲約３６０°の範囲である。後側方監視カメラ３の撮像範囲２０は、車両１８からの距離が約１００ｍで車両１８の左側の後側方および右側の後側方の範囲である。なお、図２に示す車両では、周辺監視カメラ２および後側方監視カメラ３を構成するそれぞれのカメラは車両の外側に取り付けられているが、車両の内側に取り付けられていてもよい。例えば、フロントカメラ２１は、フロントガラスの内側の上部に取り付けられていてもよい。

車両状況判定部４は、車両状況通知部１１から自車の車速信号、ハンドル操舵角信号、ウィンカ信号、ギア信号などを受け取る。車両状況通知部１１は、例えばエレクトロニックコントロールユニットなどである。なおこれ以降、車速信号、ハンドル操舵角信号、ウィンカ信号、ギア信号などをまとめてＣＡＮ情報（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ情報：ＣＡＮは登録商標）と記す。また、車両状況判定部４は、車両位置情報通知部１２から経緯度情報、地図情報などを受け取る。車両位置情報通知部１２は、例えばカーナビゲーションシステムなどであり、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）から経緯度情報を、地図データベースから地図情報を取得することができる。車両状況判定部４は、車両状況通知部１１から受け取ったＣＡＮ情報および車両位置情報通知部１２から受け取った経緯度情報、地図情報などに基づいて、自車の車両状況を判定する。そして、車両状況判定部４は、判定した自車の車両状況を監視機能選択部５に通知する。具体的な車両状況の判定の例を３つ示す。１つ目の例として、車両状況判定部４はＣＡＮ情報からギアが後退ギアに設定されているか否かを取得し、後退ギアに設定されている場合は自車が後退していると判定する。そして、車両状況判定部４はギアが後退ギア以外に設定されている場合は自車が前進または停止していると判定する。２つ目の例として、車両状況判定部４は自車の経緯度情報と地図情報とで得られる自車の現在地から自車が駐車場を走行中か否かを判定する。３つ目の例として、車両状況判定部４は自車の現在地から自車が車道を走行中か否かを判定する。車両状況判定部４で判定される車両状況は、周辺監視機能および後側方監視機能の中の少なくとも１つを選択監視機能として選択するために有用な車両状況であればこれ以外でもよい。なお、車両状況判定部４は自車の現在地を車両位置情報通知部１２から直接取得してもよい。

監視機能選択部５は、ドライバ指示情報通知部１３から通知されたドライバ指示情報と車両状況判定部４から通知された車両状況とに基づいて、複数の周辺監視機能および複数の後側方監視機能の中の１つまたは複数を選択監視機能として選択する。そして、監視機能選択部５は、選択監視機能に基づいて周辺監視映像と後側方監視映像とのどちらか一方を入力映像として決定する。また、監視機能選択部５は、選択監視機能として周辺監視機能を選択した場合はそれに対応する周辺監視映像処理方法を映像処理方法として決定し、選択監視機能として後側方監視機能を選択した場合はそれに対応する後側方監視映像処理方法を映像処理方法として決定する。さらに、監視機能選択部５は、決定した入力映像を入力映像取得部６に通知すると共に、決定した映像処理方法を入力映像処理部７に通知する。なお、ドライバ指示情報通知部１３は、例えばインストルメントパネル、センタークラスタ、ハンドルなどに設置された実行機能設定ボタン、カーナビゲーションシステムの画面上のボタンなどである。ドライバ指示情報通知部１３は、ドライバがこれらのボタンを押すことでドライバ指示情報を監視機能選択部５に通知する。

次に、車両状況判定部４および監視機能選択部５の動作について説明する。ドライバ指示情報通知部１３からドライバ指示情報が通知された場合、監視機能選択部５はそのドライバ指示情報にしたがって周辺監視機能および後側方監視機能の中の１つまたは複数を選択監視機能として選択し、それに対応する入力映像および映像処理方法を決定する。ドライバ指示情報通知部１３からドライバ指示情報が通知されなかった場合は、監視機能選択部５は、車両状況判定部４から通知された車両状況に基づいて、周辺監視機能および後側方監視機能の中の１つまたは複数を選択監視機能として選択し、それに対応する入力映像および映像処理方法を決定する。例えば、車両状況判定部４は、ＣＡＮ情報に基づいて自車が後退しているか前進しているかまたは停止しているかを判定する。車両状況判定部４が自車は後退していると判定した場合は、監視機能選択部５は周辺監視機能の中の１つまたは複数を選択監視機能として選択し、それに対応する入力映像および映像処理方法を決定する。車両状況判定部４が自車は前進しているかまたは停止していると判定した場合は、車両状況判定部４は車両位置情報通知部１２から得られる自車の現在地に基づいて、自車の位置が駐車場か車道かまたはそのどちらでもないかを判定する。車両状況判定部４が自車の位置は駐車場と判定した場合は、監視機能選択部５は周辺監視機能の中の１つまたは複数を選択監視機能として選択し、それに対応する入力映像および映像処理方法を決定する。車両状況判定部４が自車の位置は車道と判定した場合は、監視機能選択部５は後側方監視機能の中の１つまたは複数を選択監視機能として選択し、それに対応する入力映像および映像処理方法を決定する。車両状況判定部４が自車の位置は駐車場および車道のどちらでもないと判定した場合は、監視機能選択部５は後側方監視機能の中の１つまたは複数を選択監視機能として選択し、それに対応する入力映像および映像処理方法を決定する。そして、監視機能選択部５は、決定した映像処理方法を特定する映像処理情報を出力する。

入力映像取得部６は、監視機能選択部５で入力映像として決定された周辺監視映像または後側方監視映像を周辺監視カメラ２および後側方監視カメラ３のいずれか一方から取得する。入力映像取得部６において、入力映像を周辺監視映像と後側方監視映像との間で切り替える方法は、ハードウェアで切り替える方法でもよいしソフトウェアで切り替える方法でもよい。入力映像取得部６は、取得した入力映像を入力映像処理部７に送る。

入力映像処理部７は、入力映像取得部６から送られてきた入力映像に対して監視機能選択部５で決定された映像処理方法を用いて映像処理を行う。入力映像として周辺監視映像が送られてきた場合、入力映像処理部７は監視機能選択部５で映像処理方法として決定された周辺監視映像処理方法を用いて映像処理を行う。入力映像として後側方監視映像が送られてきた場合、入力映像処理部７は監視機能選択部５で映像処理方法として決定された後側方監視映像処理方法を用いて映像処理を行う。例えば、入力映像として周辺監視映像が送られてきた場合、入力映像処理部７はこの周辺監視映像を座標変換して合成することにより車両の上から周辺３６０°を見渡したような俯瞰映像を生成する。そして、入力映像処理部７は、周辺監視映像に対してディープラーニングなどの機械学習またはエッジ検出を用いて、自動駐車のための駐車枠線の検知を行う。または、入力映像処理部７は、周辺監視映像に対してＨｏＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）特徴量、ディープラーニングなどを用いた機械学習またはオプティカルフローを用いて、車両周辺または後方の歩行者、車両、障害物などの検知などを行う。上述のように、周辺監視機能は、ドライバ向けの俯瞰映像の表示機能、駐車枠線に沿わせて自動で駐車を行う自動駐車機能、警報およびブレーキ制御による衝突回避機能など複数ある。また、周辺監視映像処理方法はそれら複数の機能にそれぞれ対応したものが複数ある。監視機能選択部５は、複数の周辺監視機能の中から１つまたは複数を選択監視機能として選択し、その選択監視機能に対応する映像処理方法を決定している。

図３は、本実施の形態における周辺監視画像の一例である。図３に示す周辺監視画像は、車両の上から周辺３６０°を見渡したような俯瞰映像であり、自動駐車機能が作動しているときの周辺監視画像である。この周辺監視画像は、入力映像処理部７が周辺監視カメラの撮像範囲１９の中にある駐車枠線２５および他の車両２６を検知した状態を示している。

入力映像として後側方監視映像が送られてきた場合、入力映像処理部７は、後側方監視映像に対してＨｏＧ特徴量、ディープラーニングなどを用いた機械学習またはオプティカルフローを用いて、後側方の車両および二輪車の検知などを行う。後側方監視機能も、後続車を検知し、検知した後続車の方向にドライバがウィンカの操作を行うと警報を報知する車線変更警報機能、すり抜けてくる二輪車を検知し警告する機能など複数ある。また、後側方監視映像処理方法もそれら複数の機能にそれぞれ対応したものが複数ある。監視機能選択部５は、複数の後側方監視機能の中から１つまたは複数を選択監視機能として選択し、その選択監視機能に対応する映像処理方法を決定している。

図４は、本実施の形態における後側方監視画像の一例である。図４に示す後側方監視画像は、後続車検知機能が作動しているときの後側方監視画像である。この後側方監視画像は、入力映像処理部７が後側方監視カメラの撮像範囲２０の中にある白線２７を検知して後側方の隣接走行レーンを認識した状態を示している。さらに入力映像処理部７は、その走行レーンを走行している後続車２８を検知している。

なお、入力映像処理部７で行う映像処理方法は、上述の手法以外の映像処理方法でもよい。入力映像処理部７は、入力映像に対して映像処理を行った結果を映像処理結果情報として出力する。映像処理結果情報は、映像処理の結果として得られる情報であり、例えば自車が歩行者、車両、二輪車、障害物などとの衝突の可能性があるか否かの情報である。また、本実施の形態の車両用周囲監視装置においては、周辺監視機能および後側方監視機能がそれぞれ複数ある例を示したが、周辺監視機能および後側方監視機能はそれぞれ１つ以上であればよい。

本実施の形態の車両用周囲監視装置１には、映像出力判定部８、警報出力判定部９および車両制御判定部１０の少なくとも１つが含まれていてもよい。映像出力判定部８、警報出力判定部９および車両制御判定部１０には、監視機能選択部５から出力された映像処理情報、および入力映像処理部７から出力された映像処理結果情報が通知される。また、映像出力判定部８には、映像処理結果情報に加えて、入力映像処理部７で入力映像に対して映像処理されたドライバ向け表示映像も送られる。また、警報出力判定部９および車両制御判定部１０には、車両状況通知部１１からＣＡＮ情報も通知される。

映像出力判定部８は、監視機能選択部５から通知された映像処理情報と入力映像処理部７から通知された映像処理結果情報とに基づいて映像表示の要否を判定する。そして、映像出力判定部８は、映像表示が必要と判定した場合は入力映像処理部７から送られてきたドライバ向け表示映像を映像出力部１４に表示する。例えば、映像処理情報が周辺監視映像処理方法の場合、映像出力判定部８は入力映像処理部７で生成された車両の周辺３６０°を見渡せる俯瞰映像を映像出力部１４に表示する。一方、映像処理情報が後側方監視映像処理方法の場合、映像出力判定部８は映像出力部１４に映像を表示する必要はないと判定する。

警報出力判定部９は、車両状況通知部１１から通知されたＣＡＮ情報と、監視機能選択部５から通知された映像処理情報と、入力映像処理部７から通知された映像処理結果情報とに基づいて警報出力の要否を判定する。そして、警報出力判定部９は、警報出力が必要と判定した場合は警報出力方法を決定して警報出力部１５に通知する。例えば、映像処理情報が周辺監視映像処理方法の場合、警報出力判定部９は映像処理結果情報に基づいて車両周辺または後方に障害物が存在し自車と接触する可能性があると判定したとする。このとき警報出力判定部９は、警報出力部１５に対してブザーなどによる警報音の出力、または座席あるいはハンドルを振動させる警報振動の出力を通知する。

一方、映像処理情報が後側方監視映像処理方法の場合、警報出力判定部９は映像処理結果情報に基づいて後側方に近接車両が存在すると判定したとする。このとき警報出力判定部９は、例えば左右のサイドミラー近傍に設置されたＬＥＤなどのインジケータを点灯するように警報出力部１５に通知を行う。このようにすることで、警報出力部１５は後側方の障害物の存在を視覚情報によりドライバに伝達し、車線変更を行うときの注意喚起を行うことができる。さらに、視覚情報による注意喚起を行った状態において、近接車両が存在する隣接走行車線側へ車線変更を行うためにドライバがハンドルを操作したりウィンカを操作したりした場合、警報出力判定部９は、ブザーなどによる警報音の出力、および座席あるいはハンドルを振動させる警報振動の出力を警報出力部１５に通知する。このようにすることで、警報出力判定部９は、視覚情報に加えて聴覚情報および触覚情報による注意喚起を行うことができる。なお、警報方法については、他の方法でもよい。

車両制御判定部１０は、車両状況通知部１１から通知されたＣＡＮ情報と、監視機能選択部５から通知された映像処理情報と、入力映像処理部７から通知された映像処理結果情報とに基づいて車両制御の要否を判定する。そして、車両制御判定部１０は、車両制御が必要と判定した場合は車両制御方法および車両制御量を決定して車両制御部１６に通知する。例えば、映像処理情報が周辺監視映像処理方法の場合、車両制御判定部１０は映像処理結果情報から車両周辺または後方に障害物が存在し自車と接触する可能性があると判定したとする。このとき車両制御判定部１０は、接触を回避するようにブレーキ制御量を決定して車両制御部１６に通知する。または、車両制御判定部１０は映像処理結果情報から駐車枠線に沿わせて自車を自動駐車させると判定したとする。このとき車両制御判定部１０は、駆動量およびハンドル操舵量を決定して車両制御部１６に通知する。一方、映像処理情報が後側方監視映像処理方法の場合、車両制御判定部１０は映像処理結果情報から後側方に近接車両が存在し進路変更しては接触の可能性があると判定したとする。このとき車両制御判定部１０は、接触を回避するようにハンドル操舵量およびブレーキ制御量を決定して車両制御部１６に通知する。

映像出力部１４は、例えばカーナビゲーションシステムのモニタ、インストルメントパネル、バックミラーモニタなどであり、映像出力判定部８から映像処理された入力映像が送られてきた場合にその入力映像を表示する。警報出力部１５は、警報出力判定部９から通知された警報出力情報に基づいて、ブザー、ＬＥＤ、座席、ハンドルなどを用いた必要な警報を出力する。車両制御部１６は、例えばエレクトロニックコントロールユニットなどであり、車両制御判定部１０から通知された車両制御方法および車両制御量に基づいて駆動制御、ハンドル制御、ブレーキ制御などを行う。

なお、図１に示すように、車両状況判定部４、監視機能選択部５、入力映像処理部７、映像出力判定部８、警報出力判定部９および車両制御判定部１０は、１つのＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１７に集積されていることが好ましい。これらの構成要素が１つのＣＰＵ１７に集積されることで、構成要素間のデータの伝達時間が短くなる。

次に、本実施の形態の車両用周囲監視装置における車両用周囲監視方法を説明する。図５および図６は、本実施の形態における車両用周囲監視方法のフローチャートである。図５のフローチャートと図６のフローチャートとは、図５および図６に示したＡおよびＢの箇所でそれぞれ繋がった１つのフローチャートである。

図５のステップＳ１において、車両のキーがオンにされる。次にステップＳ２において、車両状況判定部４は、車両状況通知部１１からＣＡＮ情報を取得する。次にステップＳ３において、車両状況判定部４は、車両位置情報通知部１２のＧＰＳから得られる経緯度情報と地図データベースから得られる地図情報とを取得する。次にステップＳ４において、監視機能選択部５は、ドライバ指示情報通知部１３からドライバ指示情報を取得する。次にステップＳ５において、車両状況判定部４は、取得したＣＡＮ情報、経緯度情報および地図情報から自車の現在地および自車の走行方向並びに車速などの走行状態を含む自車の車両状況を判定する。車両状況判定部４は、判定した車両状況を監視機能選択部５に通知する。

ステップＳ６において、監視機能選択部５は、車両状況判定部４から通知された自車の車両状況とドライバ指示情報通知部１３から通知されたドライバ指示情報とに基づいて、１つまたは複数の周辺監視機能および１つまたは複数の後側方監視機能の中の１つまたは複数を選択監視機能として選択する。また、監視機能選択部５は、その選択監視機能に対応した入力映像および映像処理方法を決定する。さらに、監視機能選択部５は、決定した入力映像を入力映像取得部６へ通知すると共に、決定した映像処理方法を入力映像処理部７に通知する。また、監視機能選択部５は、決定した映像処理方法に関する映像処理情報を映像出力判定部８、警報出力判定部９および車両制御判定部１０に通知する。

ステップＳ６において監視機能選択部５が選択監視機能として周辺監視機能を選択した場合、ステップＳ７において、入力映像取得部６は、入力映像を切り替えて周辺監視カメラ２から周辺監視映像を取得する。そして、入力映像取得部６は、取得した周辺監視映像を入力映像として入力映像処理部７へ送る。ステップＳ８において、入力映像処理部７は、入力映像取得部６から送られてきた入力映像に対して監視機能選択部５において映像処理方法として決定された周辺監視映像処理方法を用いて映像処理を行う。そして、入力映像処理部７は、映像処理を行った入力映像に関する映像処理結果情報を映像出力判定部８、警報出力判定部９および車両制御判定部１０に通知する。

ステップＳ６において監視機能選択部５が選択監視機能として後側方監視機能を選択した場合、ステップＳ９において、入力映像取得部６は、入力映像を切り替えて後側方監視カメラ３から後側方監視映像を取得する。そして、入力映像取得部６は、取得した後側方監視映像を入力映像として入力映像処理部７へ送る。ステップＳ１０において、入力映像処理部７は、入力映像取得部６から送られてきた入力映像に対して監視機能選択部５において映像処理方法として決定された後側方映像処理方法を用いて映像処理を行う。そして、入力映像処理部７は、映像処理を行った入力映像に関する映像処理結果情報を映像出力判定部８、警報出力判定部９および車両制御判定部１０に通知する。

ステップＳ１１において、映像出力判定部８は、映像処理情報と映像処理結果情報とに基づいて入力映像処理部７で映像処理された入力映像を出力する必要があるか否かを判定する。ステップＳ１１において映像表示が必要と判定された場合は（ＹＥＳ）、映像出力判定部８は映像出力情報を映像出力部１４に通知する。ステップＳ１２において、映像出力部１４は必要な映像を表示する。ステップＳ１１において、映像表示が不要と判定された場合は（ＮＯ）、ステップＳ１３に進む。

図６のステップＳ１３において、警報出力判定部９は、ＣＡＮ情報と映像処理情報と映像処理結果情報とに基づいて警報を出力する必要があるか否かを判定する。ステップＳ１３において警報出力が必要と判定された場合は（ＹＥＳ）、警報出力判定部９はステップＳ１４において警報出力方法を決定し、警報出力部１５に通知する。ステップＳ１５において、警報出力部１５は、警報出力判定部９から通知された警報出力方法に基づいて警報を出力する。ステップＳ１３において、警報出力が不要と判定された場合は（ＮＯ）、ステップＳ１６に進む。

ステップＳ１６において、車両制御判定部１０は、ＣＡＮ情報と映像処理情報と映像処理結果情報とに基づいて車両制御が必要か否かを判定する。ステップＳ１６において、車両制御が必要と判定された場合は（ＹＥＳ）、車両制御判定部１０はステップＳ１７において車両制御方法を決定すると共に、ステップＳ１８において車両制御量を決定し、それらを車両制御部１６に通知する。ステップＳ１９において、車両制御部１６は、車両制御判定部１０から通知された車両制御方法および車両制御量に基づいて車両を制御する。ステップＳ１６において、車両制御が不要と判定された場合は（ＮＯ）、ステップＳ２０に進む。

ステップＳ２０において、キーがオフされたか否かを判定する。キーがオフされた場合は（ＹＥＳ）、一連の車両用周囲監視方法を終了する。キーがオフされていない場合は（ＮＯ）、ステップＳ２に戻る。

なお、車両状況判定部４は、ステップＳ３において車両位置情報通知部１２から経緯度情報と地図情報とを取得し、ステップＳ５において経緯度情報および地図情報から自車の現在地を判定しているが、ステップＳ３において車両位置情報通知部１２から自車の現在地を直接取得することもできる。

また、ステップＳ１１からステップＳ１２に示した映像出力判定部８に係る動作、ステップＳ１３からステップＳ１５に示した警報出力判定部９に係る動作、およびステップＳ１６からステップＳ１９に示した車両制御判定部１０に係る動作の順番は入れ替わってもよい。

このように構成された車両用周囲監視装置においては、周辺監視カメラ装置と後側方監視カメラ装置とを１台の車両に搭載した場合でも監視機能選択部が１つまたは複数の周辺監視機能および１つまたは複数の後側方監視機能の中の１つまたは複数を選択監視機能として選択し、さらにその選択監視機能に対応した入力映像および映像処理方法を決定しているので、入力映像処理部を共通化して１つの装置に統合することができる。その結果、車両用周囲監視装置が大型になることを抑制できる。また、入力映像処理部を共通化し、自車の車両状況に応じて、適切に映像処理を切り替えることにより、演算処理の処理負荷が低減するので、入力映像処理部のチップ単価を抑制することもできる。

また、監視機能選択部５が自車の車両状況に基づいて複数の周辺監視機能および複数の後側方監視機能の中の１つまたは複数を選択監視機能として選択し、選択監視機能に応じて、入力映像と映像処理とを切り替えているので、この車両用周囲監視装置はより適切な周囲監視を行うことができる。例えば監視機能選択部５は高速走行時には後側方監視機能を選択し、低速走行時には周辺監視機能を選択してもよい。しかし、ドライバが車道に停止した状態から走行を開始しようとする場合、ドライバは後方の走行車両を確認するために後側方監視機能を使用したい場合がある。本実施の形態の車両用周囲監視装置においては、車両位置情報通知部から通知される情報に基づいて自車の現在地が車道であるのか駐車場であるのか、それともそれ以外の場所に位置するのかを判定することができる。そのため、監視機能選択部５は、低速走行であっても自車の位置が車道である場合は後側方監視機能を自動で選択することができる。その結果、車道に停止した状態から走行を開始しようとする場合に後側方監視機能が自動的に作動する。

また、例えば監視機能選択部５はギアが後退ギアに設定されているときには周辺監視機能を選択し、ギアが後退ギア以外に設定されているときは後側方監視機能を選択してもよい。しかし、ドライバは必ずしも後退で駐車するとは限らない。ドライバが前方へ進みながら駐車枠線に沿わせて駐車する場合、ドライバは周辺の障害物などを確認するために周辺監視機能を使用したい場合がある。本実施の形態の車両用周囲監視装置においては、車両位置情報通知部から通知される情報に基づいて自車の現在地が車道であるのか駐車場であるのか、それともそれ以外の場所に位置するのかを判定することができる。そのため、監視機能選択部５は、ギアが後退ギア以外に設定されていても自車の位置が駐車場である場合は周辺監視機能を自動で選択することができる。その結果、前方へ進みながら駐車枠線に沿わせて駐車する場合に周辺監視機能が自動的に作動する。

本実施の形態において、周辺監視カメラ２と後側方監視カメラ３とはそれぞれ別のカメラで構成しているが、撮像領域が広いカメラであれば一部のカメラは同じカメラであってもよい。同じカメラで撮像された映像であっても、入力映像処理部は、監視機能選択部で決定された映像処理方法を用いて映像処理することで、その映像を周辺監視映像または後側方監視映像として適切に処理することができる。

なお、本実施の形態において、監視機能選択部は周辺監視機能および後側方監視機能の中から選択監視機能を選択しているが、それ以外の監視機能を選択してもよい。例えば、それ以外の監視機能は、前方を走行する車両を監視して追突を防止するための前方監視機能などである。

なお、車両状況判定部４、監視機能選択部５、入力映像処理部７、映像出力判定部８、警報出力判定部９および車両制御判定部１０は、ＣＰＵ１７に集積されていることが好ましい。このＣＰＵ１７の一例を図７に示す。このＣＰＵ１７は、プロセッサ１００と記憶装置１０１とから構成される。記憶装置は図示していないが、ランダムアクセスメモリなどの揮発性記憶装置と、フラッシュメモリなどの不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１００は、記憶装置１０１から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１００にプログラムが入力される。また、プロセッサ１００は、演算結果などのデータを記憶装置１０１の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

本願は、様々な例示的な実施の形態が記載されているが、１つまたは複数の実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
したがって、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１車両用周囲監視装置、２周辺監視カメラ、３後側方監視カメラ、４車両状況判定部、５監視機能選択部、６入力映像取得部、７入力映像処理部、８映像出力判定部、９警報出力判定部、１０車両制御判定部、１１車両状況通知部、１２車両位置情報通知部、１３ドライバ指示情報通知部、１４映像出力部、１５警報出力部、１６車両制御部、１７ＣＰＵ、１８車両、１９、２０撮像範囲、２１フロントカメラ、２２右サイドカメラ、２３左サイドカメラ、２４リアカメラ、２５駐車枠線、２６他の車両、２７白線、２８後続車、３１後右サイドカメラ、３２後左サイドカメラ、１００プロセッサ、１０１記憶装置。

本願に係る車両用周囲監視装置は、複数のカメラで構成されるカメラ部と、自車の車両状況を判定する車両状況判定部と、この車両状況判定部で判定された自車の車両状況に基づいて、１つまたは複数の監視機能を選択監視機能として選択し、選択監視機能に必要なカメラ部からの入力映像を決定すると共に、選択監視機能に対応する映像処理方法を決定する監視機能選択部と、この監視機能選択部で決定されたカメラ部からの入力映像を切り替えて取得する入力映像取得部と、この入力映像取得部で取得された入力映像に監視機能選択部で決定された映像処理方法で映像処理を行う入力映像処理部とを備えており、車両状況判定部は自車の現在地を判定し、車両状況判定部が自車の現在地が駐車場であると判定した場合、監視機能選択部は、周辺監視機能を選択監視機能として選択し、車両状況判定部が自車の現在地が車道であると判定した場合、監視機能選択部は、後側方監視機能を選択監視機能として選択する。

本願の車両用周囲監視装置は、車両状況判定部で判定された自車の車両状況に基づいて１つまたは複数の監視機能を選択監視機能として選択し、選択監視機能に必要なカメラ部からの入力映像を決定すると共に、選択監視機能に対応する映像処理方法を決定する監視機能選択部と、この監視機能選択部で決定されたカメラ部からの入力映像を切り替えて取得する入力映像取得部と、この入力映像取得部で取得された入力映像に監視機能選択部で決定された映像処理方法で映像処理を行う入力映像処理部とを備えており、車両状況判定部は自車の現在地を判定し、車両状況判定部が自車の現在地が駐車場であると判定した場合、監視機能選択部は、周辺監視機能を選択監視機能として選択し、車両状況判定部が自車の現在地が車道であると判定した場合、監視機能選択部は、後側方監視機能を選択監視機能として選択しているので、車両用周囲監視装置の大型化を抑制することができると共に、車道に停止した状態から走行を開始しようとする場合に後側方監視機能を自動的に作動させることができる。

Claims

複数のカメラで構成されるカメラ部と、
自車の車両状況を判定する車両状況判定部と、
この車両状況判定部で判定された前記自車の車両状況に基づいて、１つまたは複数の監視機能を選択監視機能として選択し、前記選択監視機能に必要な前記カメラ部からの入力映像を決定すると共に、前記選択監視機能に対応する映像処理方法を決定する監視機能選択部と、
この監視機能選択部で決定された前記カメラ部からの前記入力映像を切り替えて取得する入力映像取得部と、
この入力映像取得部で取得された前記入力映像に前記監視機能選択部で決定された前記映像処理方法で映像処理を行う入力映像処理部とを備えたことを特徴とする車両用周囲監視装置。
周辺監視映像を撮像する周辺監視カメラと、
後側方監視映像を撮像する後側方監視カメラと、
自車の位置または前記自車の走行状態を含む前記自車の車両状況を判定する車両状況判定部と、
この車両状況判定部で判定された前記自車の車両状況に基づいて１つまたは複数の周辺監視機能および１つまたは複数の後側方監視機能の中の１つまたは複数を選択監視機能として選択し、前記選択監視機能が前記周辺監視機能である場合は前記周辺監視映像を入力映像として決定し、前記選択監視機能が前記後側方監視機能である場合は前記後側方監視映像を前記入力映像として決定すると共に、前記選択監視機能に対応する映像処理方法を決定する監視機能選択部と、
この監視機能選択部で決定された前記入力映像を前記周辺監視カメラおよび前記後側方監視カメラのいずれか一方から取得する入力映像取得部と、
この入力映像取得部で取得された前記入力映像に前記監視機能選択部で決定された前記映像処理方法で映像処理を行う入力映像処理部とを備えたことを特徴とする車両用周囲監視装置。
前記車両状況判定部は前記自車のギアが後退ギアに設定されているか否かを判定し、前記監視機能選択部は、前記車両状況判定部で前記自車のギアが後退ギアに設定されていると判定された場合は前記周辺監視機能を前記選択監視機能として選択し、前記車両状況判定部で前記自車のギアが後退ギア以外に設定されていると判定された場合は前記後側方監視機能を前記選択監視機能として選択することを特徴とする請求項２に記載の車両用周囲監視装置。
前記車両状況判定部は前記自車の現在地を判定し、前記監視機能選択部は、前記車両状況判定部で判定された前記自車の現在地に基づいて前記選択監視機能を選択することを特徴とする請求項２に記載の車両用周囲監視装置。
前記車両状況判定部が前記自車の現在地が駐車場であると判定した場合、前記監視機能選択部は、前記周辺監視機能を前記選択監視機能として選択することを特徴とする請求項４に記載の車両用周囲監視装置。
前記車両状況判定部が前記自車の現在地が車道であると判定した場合、前記監視機能選択部は、前記後側方監視機能を前記選択監視機能として選択することを特徴とする請求項４に記載の車両用周囲監視装置。
前記監視機能選択部から通知される映像処理情報と前記入力映像処理部から通知される映像処理結果情報とに基づいて前記入力映像処理部で映像処理された前記入力映像を出力するか否かを判定する映像出力判定部をさらに備えたことを特徴とする請求項１から６のいずれか１項に記載の車両用周囲監視装置。
前記監視機能選択部から通知される映像処理情報と前記入力映像処理部から通知される映像処理結果情報とに基づいて警報を出力するか否かを判定する警報出力判定部をさらに備えたことを特徴とする請求項１から６のいずれか１項に記載の車両用周囲監視装置。
前記監視機能選択部から通知される映像処理情報と前記入力映像処理部から通知される映像処理結果情報とに基づいて車両制御を行うか否かを判定する車両制御判定部をさらに備えたことを特徴とする請求項１から６のいずれか１項に記載の車両用周囲監視装置。
前記監視機能選択部は、ドライバ指示情報が通知された場合、前記車両状況判定部で判定された前記自車の車両状況よりも前記ドライバ指示情報を優先して前記選択監視機能を選択することを特徴とする請求項１から９のいずれか１項に記載の車両用周囲監視装置。
自車の車両状況に基づいて、１つまたは複数の機能を選択監視機能として選択し、前記選択監視機能に必要なカメラ部からの入力映像を決定すると共に、前記選択監視機能に対応する映像処理方法を決定する監視機能選択ステップと、
この監視機能選択ステップで決定された前記カメラ部からの前記入力映像を切り替えて取得する入力映像取得ステップと、
この入力映像取得ステップで取得された前記入力映像に前記監視機能選択ステップで決定された前記映像処理方法で映像処理を行う入力映像処理ステップとを備えたことを特徴とする車両用周囲監視方法。
自車の位置または前記自車の走行状態を含む前記自車の車両状況を判定する車両状況判定ステップと、
この車両状況判定ステップで判定された前記自車の車両状況に基づいて１つまたは複数の周辺監視機能および１つまたは複数の後側方監視機能の中のいずれか１つまたは複数を選択監視機能として選択し、前記選択監視機能に基づいて周辺監視映像および後側方監視映像のいずれか一方を入力映像として決定すると共に、前記選択監視機能に対応する映像処理方法を決定する監視機能選択ステップと、
この監視機能選択ステップで決定された前記入力映像を周辺監視カメラおよび後側方監視カメラのいずれか一方から取得する入力映像取得ステップと、
この入力映像取得ステップで取得された前記入力映像に前記監視機能選択ステップで決定された前記映像処理方法で映像処理を行う入力映像処理ステップとを備えたことを特徴とする車両用周囲監視方法。