JP3670647B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3670647B2 JP3670647B2 JP2003006257A JP2003006257A JP3670647B2 JP 3670647 B2 JP3670647 B2 JP 3670647B2 JP 2003006257 A JP2003006257 A JP 2003006257A JP 2003006257 A JP2003006257 A JP 2003006257A JP 3670647 B2 JP3670647 B2 JP 3670647B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- composite image
- message
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、車両に設置した複数のカメラの撮像画像を用いて合成画像を生成する画像処理技術に関するものであり、特に、車両運転の際の安全確認の補助などに利用される監視システムに有効な技術に属する。
【0002】
【従来の技術】
従来、車両の周囲をカメラを用いて監視する装置として、特開平11−78692号公報に記載の車両用映像提供装置が知られている。この装置では、車両用映像提供のための複数のカメラを車両の周囲に取り付け、各カメラによって撮影された画像を変形し、境界の連続性を保ちながら合成して新たな画像を作成し、モニタに表示している。
【0003】
【発明が解決しようとする課題】
上述したような車両周囲監視システムでは、一旦設置したカメラは、通常、その設置位置や向きは変化しない、ということを前提にして、画像処理が実行されている、と考えられる。なぜなら、合成画像を生成する画像処理を、カメラの設置位置や向きをその都度考慮しながらリアルタイムで行うことは、処理時間や装置規模の面からみて、実用上極めて困難であるからである。
【0004】
一方、車両の空力面やデザイン面などを考慮すると、このような監視システムに用いられるカメラが、ドアミラー取り付け部付近や、トランク、ボンネットなどのような可動部分に設置される可能性は、十分にあり得る。
【0005】
このとき、次のような問題が生じる。
【0006】
すなわち、カメラが取り付けられた可動部分の状態変化が、カメラの撮像画像に影響を与え、合成画像にずれなどを生じさせる可能性がある。例えば、カメラがドアミラー付近に取り付けらた場合、ドアを開けたとき、カメラの向きが変わるので、合成画像上でそのカメラ画像を用いた部分のみにずれが生じる。この結果、表示画面上、利用者に違和感を与えることになる。
【0007】
また、カメラが固定部分にとりつけられた場合でも、同様の問題が生じる。例えばドアが開いたことによって、特定のカメラの撮像画像にそのドアが映り込んだ場合には、合成画像上でそのカメラ画像を用いた部分のみにずれが生じる。合成画像上のずれは、結果として、利用者に違和感を与えることになり、好ましくない。
【0008】
前記の問題に鑑み、本発明は、車両に設置された複数のカメラの撮像画像を用いて合成画像を生成する画像処理装置として、車両の可動部分の状態変化によってカメラの撮像画像が影響を受けた場合でも、表示画像上、利用者に違和感を与えないようにすることを課題とする。
【0009】
【課題を解決するための手段】
前記の課題を解決するために、請求項1の発明が講じた解決手段は、画像処理装置として、車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から、前記車両およびその周囲の状況を示す合成画像を生成し、表示装置に出力する画像処理部を備え、前記画像処理部は、前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも1つの設置位置または向きが変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を通常モードから異常モードに切り替え、異常モードにおいて、合成画像とともに、異常モードの原因となる可動部分の状態変化を利用者に知らせるメッセージを出力するものであり、前記メッセージは、状態変化が生じた可動部分の種類によって異なるものである。
【0010】
請求項1の発明によると、合成画像の表示態様の切替によって、可動部分の状態が、例えば車両の走行に望ましくない状態であることを、利用者に素早く的確に知らしめることが可能になる。
【0011】
そして、請求項2の発明では、前記請求項1の画像処理装置におけるメッセージは、状態変化が生じた可動部分を特定する内容を含むものとする。
【0012】
また、請求項3の発明では、前記請求項1の画像処理装置における画像処理部は、前記メッセージを、合成画像上の、状態変化が生じた可動部分付近に、出力するものとする。
【0013】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【0014】
(第1の実施形態)
図1は本発明の第1の実施形態に係る監視システムの構成を示すブロック図である。図1に示す監視システムにおいて、画像処理部2は、撮像部1から出力された複数のカメラ画像を入力とし、これらを合成して新たな画像を生成する。この合成画像は、表示装置3によって表示される。画像処理部2によって、本発明に係る画像処理装置が構成される。
【0015】
図2は本実施形態におけるカメラ配置の例、図3は各カメラの撮像画像の例を示す図である。ここでは、8台のカメラが、図2および図3のように配置されているものとする。なお、図2および図3のカメラ配置においては、周囲の死角をなるべくなくすために、互いに隣り合うカメラの画像においてオーバーラップする領域ができるように、各カメラの位置・向きを決めるのが好ましい。
【0016】
画像処理部2は、図3に示す8枚のカメラ画像を変形・合成し、例えば、車両上方から鉛直下方に見下ろしたような合成画像を生成する。合成画像の生成のためには、画像変形処理や、変形された部分画像の合成処理(境界処理を含む)が必要になるが、図1の構成では、マッピングテーブル参照部22を備え、撮像画像の加工を一つの工程で行うために、マッピングテーブルMPTを利用する。マッピングテーブルについては後述する。
【0017】
マッピングテーブル選択部41は、合成画像の表示内容を選択し、選択した表示内容に応じたマッピングテーブルMPTを指示する。この選択は、人為的に行ってもよいし、ギア位置、ハンドル舵角またはウィンカーなどの車両の状態に応じて自動的に行うようにしてもよい。マッピングテーブルMPTを選択する信号は、マッピングテーブル参照部22とともに、メッセージ出力部26におくられる。
【0018】
表示切替部23は、車両の可動部分の状態を示す状態信号S1を受けて、合成画像の表示態様を切り替える。例えば、可動部分の状態変化に起因して複数のカメラのいずれかの設置位置または向きが変化し、合成画像が正常でなくなるときは、合成画像の表示態様を、通常モードから異常モードに切り替える。異常モードにおいては、例えば、設置位置または向きが変化したカメラの撮像画像を用いないで、合成画像を生成する。
【0019】
図4は車両の可動部分の状態変化に起因して正常でなくなった合成画像の一例である。図4の合成画像を見ると分かるように、車両の右ドアが開状態になったことに起因してカメラ1およびカメラ2の撮像画像が変化したため、カメラ1およびカメラ2の撮像画像を用いた部分にずれが生じている。
【0020】
そこで、本実施形態では、車両の可動部分の状態として、カメラが設置された右ドア、左ドア、トランクおよびボンネットの開閉状態を用いる。すなわち、表示切替部23には、状態信号S1によって、例えば「右ドアが開いている」「ボンネットが閉じている」などの情報が入力される。表示切替部23は、図5に示すような車両の可動部分とカメラ番号との対応関係を示すデータを予め有しており、この対応関係と状態信号S1が示す情報とを用いて、合成画像の表示態様の切替を行う。
【0021】
図6は本発明に係る合成画像の表示態様の切替の例を示す図である。同図中、(a)は通常モードにおける合成画像である。車両の可動部分が全て閉状態であるときは、合成画像は正常になるので図6(a)のように表示する。図6(b)は異常モードにおける合成画像の例であり、車両の右ドアが開状態になったときを想定している。図6(b)の合成画像では、右ドアに設置されたカメラ1およびカメラ2の撮像画像を画像合成に用いず、代わりに、所定の色で塗りつぶしている。なお、所定の色で塗りつぶす代わりに、他の模様を用いたり、また、適当な時間間隔で色を切り換えたりしてもかまわない。
【0022】
本実施形態では、このような合成画像の表示態様の切替を、マッピングテーブルMPTのマッピングデータを書き換えることによって、実現する。
【0023】
また、異常モードでは、合成画像の出力自体を中止したり、メッセージ出力部26がメッセージを出力したりしてもよい。
【0024】
図6(c)では、異常モードにおいて、合成画像を出力せずに、右ドアが開状態であることを示すメッセージのみを出力している。さらに、図6(d)では、図6(b)に示す合成画像を表示し、かつ、図6(c)と同じメッセージを併せて出力している。図6(d)のように、可動部分の状態変化の影響を受けたカメラ画像を合成画像の生成に用いないだけでなく、その原因となる可動部分の状態変化(例えばドアが開いているなど)を利用者に知らせるメッセージを併せて出力することによって、運転者など自車の状態をより素早く的確に知ることが可能となる。
【0025】
メッセージ出力部26は、表示すべきメッセージを例えば画像の形式で予め蓄えておき、車両の可動部分の状態を示す状態信号S1と、マッピッングテーブル選択部41から出力されたマッピングテーブルMPTを選択する信号とを受けて、合成画像に表示すべきメッセージ画像を選択し、映像信号生成部24に送る。
【0026】
図7はメッセージ出力部26が蓄えているメッセージ画像の例を示す図である。図7の例では、メッセージの部分が白色(RGB各256階調で表現したときは(255,255,255))、それ以外の部分が黒色(0,0,0)で表されている。メッセージ画像のサイズは合成画像のサイズと同一にしておく。
【0027】
メッセージ画像におけるメッセージの内容および表示位置は、合成画像の生成に用いられるマッピングテーブルや、状態変化が生じた可動部分の種類によって、異なる。このため、想定される各条件に対してそれぞれメッセージ画像を準備しておき、状況に応じてメッセージ画像を選択して利用できることが望ましい。
【0028】
図8は合成画像に用いるマッピングテーブルおよび車両の可動部分の状態と、表示すべきメッセージ画像との対応関係を示す図である。例えば、図8の2行目は、現在選択されているマッピングテーブルが「見下ろし」画像生成用のものであり、かつ、車両の可動部分のうち「右ドア」が開いている場合には、メッセージ画像として、1番の画像を選択することを意味している。図7(a)は1番のメッセージ画像の例である。マッピングテーブルが「見下ろし」であり、「右ドア」が開状態のときは、右ドア部に設置されたカメラの撮像画像は画像合成に用いられないので、合成画像上で右ドア部に設置されたカメラ画像が用いられるはずの位置に、「右ドアが開いている」旨のメッセージが表示される。
【0029】
メッセージ出力部26は、図8に示すような情報を予め記憶しておき、車両の可動部分の状態を示す状態信号S1と、マッピングテーブルMPTを選択する信号とを受けて、表示すべきメッセージ画像を選択し、出力する。映像信号生成部24は、メッセージ出力部26から出力されたメッセージ画像を受け取り、画素合成部21から出力された合成画像に重ねて表示する。
【0030】
メッセージ画像の重ね合わせには、例えば、各画素について、合成画像およびメッセージ画像におけるRGB値をそれぞれ取り出し、値の大きい方を出力する、などの方法を用いればよい。例えばこの方法を図7(a)のメッセージ画像に適用すると、メッセージ画像の黒画素の部分については合成画像のRGB値が用いられる一方、メッセージ画像の白画素の部分については必ずメッセージ画像のRGB値が用いられることになり、この結果、メッセージの部分だけが合成画像に重ね合わさった画像を得ることができる。この場合、白色のメッセージが重ね合わせた結果見づらくならないように、合成画像上でカメラ画像を用いない部分は、暗い色で塗りつぶすことが望ましい。
【0031】
また、この重ね合わせ方法を用いて、いずれの可動部分も閉じている状態(すなわち通常モード)の合成画像を表示する場合には、メッセージ画像として、図7(b)に示すような全体を黒(0,0,0)で塗りつぶした画像を準備すればよい。すなわち、図8の最下行に示した7番目のメッセージ画像として、図7(b)に示すような画像を準備すればよい。もちろん、通常モードにおいては、メッセージ出力部26がメッセージ画像を出力しないようにしてもかまわない。
【0032】
さらに、複数箇所の可動部分が開状態である場合には、次のように対応することができる。例えば、マッピングテーブルとして「見下ろし」が選択されており、かつ、右ドアと左ドアの両方が開いている場合には、メッセージ出力部26は、まず、それぞれの条件に対応したメッセージ画像として1番(例えば図7(a))および2番(例えば図7(c))の画像を選択する。そして、各画素について、1番の画像および2番の画像におけるRGB値をそれぞれ取り出し、値の大きい方を選択することによって、新たなメッセージ画像(例えば図7(d))を生成し、これを映像信号生成部24に送ればよい。
【0033】
なおここでは、メッセージとして文字を利用するものとしたが、文字に限らず、例えば簡略図やイラストなどをメッセージとして用いてもかまわない。また、異常モードにおいてメッセージ出力を行わない場合には、メッセージ出力部26を省いて良いことはいうまでもない。
【0034】
以下、マッピングデータの書き換えについて、詳細に説明する。
【0035】
「マッピングテーブル」とは、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテーブルのことをいい、合成画像の生成処理を高速に行うために用いられる。
【0036】
カメラ画像の画素と合成画像の画素とは、1対1に対応する場合もあるし、複数対1に対応する場合もある。1対1に対応するか、または複数対1に対応するかは、カメラの設置位置や、生成する合成画像の種類などに依存する。例えば、カメラ画像の境界部において境界処理が行われる場合には、カメラ画像の画素と合成画像の画素とは複数対1に対応することが多い。
【0037】
図9はマッピングテーブルの一例を示す模式図である。図9に示すマッピングテーブルでは、合成画像の各画素座標(i,j)に対応して、マッピングデータがそれぞれ設けられている。
【0038】
例えば、画素座標(i1,j1)に対応して、マッピングデータMP1が設けられている。このマッピングデータMP1は、合成画像の座標(i1,j1)の画素の生成のために、カメラ1の撮像画像の座標(12,45)の画素データのみが用いられることを表している。また、必要度が「1」であるので、この場合は、合成画像の座標(i1,j1)の画素値として、カメラ1の撮影画像の座標(12,45)の画素データがそのまま用いられる。
【0039】
また、画素座標(i2,j2)に対応して、マッピングデータMP2が設けられている。このマッピングデータMP2は、合成画像の座標(i2,j2)の画素の生成のために、カメラ1の撮影画像の座標(10,10)の画素データと、カメラ0の撮影画像の座標(56,80)の画素データとが用いられることを表している。この場合、合成画像の座標(i2,j2)の画素値は、必要度に応じて、例えば、
画素値={(カメラ1の座標(56,80)の画素値)×0.5
+(カメラ0の座標(10,10)の画素値)×0.3}
/(0.5+0.3)
のように決めることができる。
【0040】
このようなマッピングテーブルを、予め幾何変換等を用いた計算または手作業などによって予め作成しておくことによって、所望の合成画像、例えば車両の周囲の全体や後方または側方を表すような合成画像を、高速に生成することができる。そして、合成画像生成に用いるマッピングテーブルを切り替えることによって、合成画像の表示モードを容易に切り替えることができる。この表示モードの切替は、手動によっても可能であり、また車両の走行状態に応じて自動的に行うことも可能である。
【0041】
マッピングテーブルは具体的には、例えばROM(EEPROM等の書き込み・消去可能なROMを含む)またはRAMに格納されている。マッピングテーブルの格納は、例えば、画像処理部内のプロセッサが計算で求めたマッピングデータをROMまたはRAMに書き込むことによって実現してもよいし、ファームウェアとして提供されるマッピングテーブルデータを、通信回線やディスクドライブ等のデータ転送手段を用いてRAMまたはROMに書き込むようにしてもよい。
【0042】
次に、マッピングテーブルMPTおよび表示切替部23を用いて、合成画像を生成する動作について、説明する。
【0043】
図10は本実施形態に係る画像合成動作の全体の流れを示すフローチャートである。まず、ステップS11において、撮像部1のフレームメモリ12a,12bの切替を行う。タイミング生成部25は、合成画像の動画系列を生成するためのタイミング信号を生成する。タイミング生成部25から出力されたフレーム開始のタイミング信号によって、撮像部1は、各カメラ11の撮像画像を書き込むフレームメモリと、画像処理部2から参照されるフレームメモリとを切り替える。これは、後述するように、画像処理部2から参照されるカメラ画像の画素の位置が、カメラ11からの書き込みの順序とは無関係に飛び飛びになるので、書き込みと参照とが干渉しないようにするためである。
【0044】
次に、ステップS12において、タイミング生成部25は、合成出力のタイミングに合わせて、出力すべき合成画像の画素を設定する。
【0045】
そして、ステップS13において、マッピングテーブル参照部22は、タイミング生成部25によって設定された画素に対応するマッピングデータを、設定されたマッピングテーブルMPTから読み出し、表示切替部23に出力する。ステップS20において、表示切換部23は、状態信号S1を受けて、必要に応じて、マッピングテーブル参照部22から読み出されたマッピングデータを書き換える。そして、画素合成部21に出力する。ステップS20の詳細については後述する。
【0046】
ステップS30において、画素合成部21は、入力されたマッピングデータに応じて、タイミング生成部25によって設定された画素の値を合成し、映像信号生成部24に出力する。そして、ステップS14において、映像信号生成部24は、タイミング生成部25からのタイミング信号に応じて、入力された合成画像の画素の値を映像信号に変換し、表示装置3に出力する。
【0047】
タイミング生成部25は、ステップS12以下の処理を、フレームの全画素について実行し(S15,S16)、フレームの最終画素の処理が終われば、次のフレームの処理を開始する。
【0048】
もちろん、フィールド単位の処理を実行してもかまわない。
【0049】
図11は図10に示すフローのステップS20における表示切替部23の動作を示すフローチャートである。
【0050】
まずステップS21において、入力した状態信号S1から、車両の可動部分のいずれか、すなわち右ドア、左ドア、トランクまたはボンネットのうちのいずれかの開閉状態を読み出す。そして、可動部分が開状態のとき(S22でYES)はステップS23にすすみ、図5に示すような予め有しているデータから、その可動部分に設置されているカメラの番号を得る。一方、閉状態のとき(S22でNO)は、他の可動部分の開閉状態の読み出しを行う(S27,S21)。
【0051】
ステップS25では、ステップS23で得たカメラ番号と、マッピングデータに書かれたカメラ番号とが一致するか否かを調べる。一致するとき(S25でYES)はステップS26にすすみ、マッピングデータにおけるそのカメラ番号に関するデータを、カメラ使用不可状態を表す内容に書き換える。図11の例では、カメラ番号、X座標およびY座標の値を全て「−1」に書き換えている。一方、カメラ番号が一致しないとき(S25でNO)は、他の可動部分の開閉状態の読み出しを行う(S27,S21)。
【0052】
全ての可動部分について、上述の処理が終了したとき(S27でYES)はステップS28にすすみ、マッピングデータの必要度を再計算し、処理を終了する。
【0053】
ステップS20における表示切替部23の動作を、図9に示すマッピングデータMP2が表示切換部23に入力された場合を例にとって、具体的に説明する。なおここでは、説明のために、車両の右ドアのみが、開状態であるものとする。
【0054】
まず、車両の右ドアが開状態であると分かるので(S21,S22)、図5に示す対応関係を参照し、右ドアに設置されたカメラのカメラ番号として「1」および「2」を得る(S23)。
【0055】
次に、カメラ番号「1」および「2」が、マッピングデータMP2に記述されたカメラ番号と一致するか否かを調べる(S25)。カメラ番号「1」はマッピングデータMP2に記述されているので、カメラ1に関するデータをカメラ使用不可状態を表す内容に書き換える(S26)。一方、カメラ番号「2」については、マッピングデータMP2に記述されていないので、書き換えは行わない。
【0056】
他の可動部分については全て閉状態であるので、ステップS28に進み、必要度の再計算を行う。ここでは、使用不可になったカメラ1についてその必要度を「0」にするとともに、カメラ0についての必要度を「1」にする。
【0057】
図12は図10に示すフローにおけるステップS30における画素合成処理の詳細を示すフローチャートである。
【0058】
まず、ステップS31において、合成する画素の値を「0」に初期化する。
【0059】
そしてステップS32において、対応するマッピングデータからカメラ番号、画素のX,Y座標および必要度を読み出す。読み出したカメラ番号が使用可能であるときは、該当するカメラ画像が格納されたフレームメモリから、X,Y座標に対応する画素値を読み出し保持する(S34)。一方、読み出したカメラ番号が使用不可であるときは、カメラ使用不可を示す所定の画素値(例えば黒)を保持し、出力する(S35,S39)。
【0060】
ステップS36において、保持した画素値に必要度で重み付けし、合成する画素の値に加算する。
【0061】
上述した処理を、マッピングデータに記述された全てのカメラ番号について、繰り返し実行し(S37,S38)、処理が終了すると(S37でYES)、合成する画素の値を出力する(S39)。
【0062】
以上のように、合成画像の表示態様を切り替えることによって、車両の可動部分の状態が変化し、合成画像が正常でなくなるときでも、利用者に違和感を与えることを回避することができる。
【0063】
(第2の実施形態)
図13は本発明の第2の実施形態に係る監視システムの構成を示すブロック図である。図13では、図1と共通の構成要素には図1と同一の符号を付しており、ここではその詳細な説明を省略する。
【0064】
図13の構成は、表示切換部23Aが、撮像部1から画素合成部21Aへのカメラ画像の入力の有無を、状態信号S1に応じて切り替えることによって、合成画像の表示態様の切替を実現することを特徴とする。すなわち、画素合成部21Aのカメラ画像入力側にスイッチ31が設けられており、表示切替部23Aは、状態信号S1によって可動部分のいずれかが開状態であることを認識すると、図5に示すような情報から、合成画像生成に使用できないカメラを特定し、そのカメラの撮像画像が画素合成部21Aに入力されないように、スイッチ31を切替制御する。
【0065】
このため、本実施形態では、第1の実施形態と同様にマッピングテーブルを用いて画像合成を行うが、図10に示すフローにおいてマッピングデータを変更する処理S20が省略される点が、第1の実施の形態と異なる。すなわち、カメラの撮像画像の入力を物理的に中止するので、可動部分の状態に応じてマッピングデータを変更する処理S20は、当然のことながら不要になる。そして、これに伴い、図12のフローにおけるステップS33,S35も省略される。
【0066】
なお、この第2の実施形態の構成は、マッピングテーブルを用いない構成の画像処理部についても、容易に適用することができる。
【0067】
なお、上述した各実施形態において、表示装置3は、典型的には液晶ディスプレイであるが、プラズマディスプレイ等の他の表示デバイスを用いてもかまわない。また、車両搭載型のGPS端末ディスプレイ、いわゆるカーナビゲーションシステムのディスプレイと共用してもかまわない。また、撮像部1に用いるカメラ11は、典型的にはCCD,CMOSデバイス等の固体撮像素子を有するカラーまたはモノクロのデジタルカメラであるが、他の撮像デバイスを用いてもかまわない。
【0068】
なお、上述した各実施形態では、ドアやボンネットのような可動部分の状態変化に起因してカメラの設置位置や向きが変化し、これによって合成画像が正常でなくなる場合を想定している。ところがこれ以外でも、可動部分の状態変化に起因してカメラの撮像画像において可動部分が占める領域が変化し、これによって合成画像が正常でなくなるような場合もあり得る。例えば、ドアを開けたときに、その開けたドアがあるカメラの撮像画像内に映り込むような場合である。
【0069】
このような場合でも、図5に示すようなデータの代わりに、可動部分と、その可動部分の状態変化が撮像画像に影響を与えるカメラとの対応関係を示すデータを予め表示切替部に準備しておけば、上述した各実施形態と同様の処理によって同様の効果を得ることができる。
【0070】
なお、開閉状態という二値情報の代わりに、例えば、開き具合のような情報を利用することも可能である。例えば、ドアの開き具合が微小なときは通常モードを保ち、開き具合が所定のしきい値を超えたときに、通常モードから異常モードに切り替えるようにしてもよい。また、可動部分は、ドア、ボンネットおよびトランクに限られるものではなく、タイヤ、アンテナ、可動式ミラーやライトなどが考えられる。例えば、タイヤが合成画像に影響を与える場合には、タイヤの舵角に応じて、表示態様を切り替えるようにしても良い。
【0071】
また、本発明において、車両とは、普通自動車、軽自動車、貨物自動車、バス等を含む。また、本発明の技術思想が適用されうるものであれば、クレーン車、シャベルカー等の特殊車両も本発明の車両とすることができる。
【0072】
なお、以上の説明では、本発明に係る監視システムや画像処理装置は、車両に適用するものとしたが、車両以外の移動体、例えば飛行機や船舶などであっても、同様に適用することができる。また、移動体以外の監視対象、例えば店舗、住居、ショールームなどにカメラを設置してもよい。
【0073】
また、複数のカメラの設置位置や台数は、ここで示したものに限られるものではない。
【0074】
また、本発明に係る画像処理装置の機能は、その全部または一部を、専用のハードウェアを用いて実現してもかまわないし、ソフトウェアによって実現してもかまわない。また、本発明に係る画像処理装置の機能の全部または一部をコンピュータに実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用することも可能である。
【0075】
【発明の効果】
以上のように本発明によると、車両の可動部分の状態変化に起因して合成画像に異常が生じた場合であっても、利用者に違和感を与えるような画像が表示されることを回避することができる。また、合成画像の表示態様の切替によって、可動部分が例えば車両の走行に望ましくない状態であることを、利用者に素早く的確に知らしめることも可能になる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態に係る監視システムの構成を示すブロック図である。
【図2】 本発明の第1の実施形態におけるカメラ配置の例である。
【図3】 本発明の第1の実施形態におけるカメラ配置と各カメラの撮像画像の例を示す図である。
【図4】 車両可動部分の状態変化に起因して正常でなくなった合成画像の一例である。
【図5】 表示切替部が有する,車両可動部分とカメラとの対応関係を示すデータである。
【図6】 本発明に係る合成画像の表示態様の切替の例を示す図である。
【図7】 メッセージ画像の例を示す図である。
【図8】 マッピングテーブルおよび車両の可動部分の状態と、表示すべきメッセージ画像との対応関係を示す図である。
【図9】 マッピングテーブルの一例を示す模式図である。
【図10】 画像合成動作の全体の流れを示すフローチャートである。
【図11】 図10に示すフローにおけるステップS20の詳細を示すフローチャートである。
【図12】 図10に示すフローにおけるステップS30の詳細を示すフローチャートである。
【図13】 本発明の第2の実施形態に係る監視システムの構成を示すブロック図である。
【符号の説明】
2 画像処理部
3 表示装置
11 カメラ
Claims (3)
- 車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から、前記車両およびその周囲の状況を示す合成画像を生成し、表示装置に出力する画像処理部を備え、
前記画像処理部は、
前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも1つの設置位置または向きが変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を、通常モードから異常モードに切り替え、
異常モードにおいて、合成画像とともに、異常モードの原因となる可動部分の状態変化を利用者に知らせるメッセージを出力するものであり、
前記メッセージは、状態変化が生じた可動部分の種類によって、異なる
ことを特徴とする画像処理装置。 - 請求項1記載の画像処理装置において、
前記メッセージは、状態変化が生じた可動部分を特定する内容を含む
ことを特徴とする画像処理装置。 - 請求項1記載の画像処理装置において、
前記画像処理部は、前記メッセージを、合成画像上の、状態変化が生じた可動部分付近に、出力する
ことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003006257A JP3670647B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003006257A JP3670647B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000155898A Division JP3599639B2 (ja) | 2000-05-26 | 2000-05-26 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003264827A JP2003264827A (ja) | 2003-09-19 |
JP3670647B2 true JP3670647B2 (ja) | 2005-07-13 |
JP2003264827A5 JP2003264827A5 (ja) | 2005-08-18 |
Family
ID=29208333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003006257A Expired - Lifetime JP3670647B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3670647B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4823938B2 (ja) * | 2007-02-14 | 2011-11-24 | アルパイン株式会社 | 画面切り替え判定装置、車両周辺監視装置および画面切り替え判定方法 |
JP5436086B2 (ja) * | 2009-08-03 | 2014-03-05 | アルパイン株式会社 | 車両周辺画像表示装置および車両周辺画像表示方法 |
DE102011112578A1 (de) * | 2011-09-08 | 2013-03-14 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63146710U (ja) * | 1987-03-17 | 1988-09-28 | ||
JP2696516B2 (ja) * | 1987-11-09 | 1998-01-14 | 三菱自動車工業株式会社 | 車輌の安全監視装置 |
JP3475507B2 (ja) * | 1994-08-08 | 2003-12-08 | 日産自動車株式会社 | 車両用周囲モニタ装置 |
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
-
2003
- 2003-01-14 JP JP2003006257A patent/JP3670647B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003264827A (ja) | 2003-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3599639B2 (ja) | 画像処理装置 | |
JP4254887B2 (ja) | 車両用画像表示システム | |
US8294563B2 (en) | Vehicle-surrounding image display apparatus and vehicle-surrounding image display method | |
JP4766841B2 (ja) | 車両に搭載されるカメラ装置及び車両周辺監視装置 | |
JP4976685B2 (ja) | 画像処理装置 | |
JP2012064096A (ja) | 車両用画像表示装置 | |
JP2002019556A (ja) | 監視システム | |
JP5036891B2 (ja) | 車両に搭載されるカメラ装置及び車両周辺監視装置 | |
WO2017122654A1 (ja) | 運転支援装置及び運転支援方法 | |
JP4552525B2 (ja) | 車両の画像処理装置 | |
JP3961969B2 (ja) | 車両周辺画像処理システム | |
US10594934B2 (en) | Vehicle display | |
JP3670647B2 (ja) | 画像処理装置 | |
JP2007302238A (ja) | 車両の画像処理装置 | |
JP5195776B2 (ja) | 車両周辺監視装置 | |
US10821900B2 (en) | Image processing device | |
US9940908B2 (en) | Display control device | |
JP7113348B2 (ja) | 車両周辺表示システム、表示制御装置およびコンピュータプログラム | |
JP7009637B2 (ja) | 仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置 | |
JP4679260B2 (ja) | 車両運転支援装置 | |
US20220144187A1 (en) | Camera system for a trailer hitch system | |
JP2021150838A (ja) | 画像処理装置 | |
JP2009194938A (ja) | 車両画像処理装置 | |
JP2011008421A (ja) | 画像生成装置及び画像表示システム | |
JP2017065406A (ja) | 表示制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20050201 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3670647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080422 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |