JP4004871B2 - 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 - Google Patents
車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 Download PDFInfo
- Publication number
- JP4004871B2 JP4004871B2 JP2002187106A JP2002187106A JP4004871B2 JP 4004871 B2 JP4004871 B2 JP 4004871B2 JP 2002187106 A JP2002187106 A JP 2002187106A JP 2002187106 A JP2002187106 A JP 2002187106A JP 4004871 B2 JP4004871 B2 JP 4004871B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- unit
- virtual
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、車両に搭載した一つ以上のカメラからの車両周囲に関する撮影画像を複数の仮想視点から見た画像に座標変換するように画像処理した上でモニタ等の画像出力部で表示する車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置に関する。
【0002】
【従来の技術】
従来、主として車両後退時に車両後方の周囲をモニタ等の画像出力部に表示する車両周囲監視装置には、複数台のカメラからの車両周囲の撮影画像を画像処理して視点変換し、あたかも斜め上方から見下ろすように車両後方を見たような俯瞰画像として画像出力部に表示するものが知られている(例えば、特開平3−99952号公報参照)。
【0003】
この特開平3−99952号公報に開示の技術は、カメラから入力された画像に対し、仮想的に設置した仮想カメラからの画像となるように視点変換を施し、あたかも真上から地面を見下ろしたような頂上視野の画像を合成することにより、自車両とその後方の白線や駐車スペース等との位置関係を解り易く運転者等に提示するものである。
【0004】
しかしながら、このような頂上視野は、原理上、遠方の画像が荒れて表示されてしまうため、自車両の周囲を広範囲に表示するには適さないという問題が生じていた。
【0005】
このため、本願出願人は、特願2001−293519号において、上述した真上から地面を見たような頂上視野の画像に変えて、斜め上方から地面を見下ろしたような斜め視野の仮想視点へと視点変換を行う画像合成手段を設け、その斜め視野からの画像を画像出力部に表示する技術を提案している。
【0006】
このような斜め視野においては、自車両とその周囲の状況の位置関係では頂上視野の画像に比べて解り難くなるが、遠方での画像の荒れは頂上視野の画像に比べて抑えることができるので、これら双方の利点を利用して、遠方を確認する時には斜め視野による画像、近傍を確認する時には頂上視野による画像といったような使い分けをすることができる。
【0007】
具体的には、車両を駐車させる場合において、駐車場所を推定するときなどの比較的広い範囲に対する情報を知りたいときには斜め視野による画像、駐車場所を決定してその駐車位置と自車両との位置合わせを行う時には頂上視野による画像といった使い分けが可能となる。
【0008】
ここで、特願2001−293519号による視点変換について説明する。
【0009】
図7(A)に示すように、実際に車両(図示せず)に搭載されたカメラ11の光軸Q1と垂直な撮像面12上に構成されている画像G1(図7(B)参照)は、地面と同一平面上に仮想的に設置された仮想スクリーンG(13)に投影される。
【0010】
次に、仮想スクリーン13上に投影された画像を、仮想的に地面に垂直に設置した仮想カメラ14により撮影する。すると、カメラ11は地面に対して斜めに設置しているにもかかわらず、仮想カメラ14により撮影された変換画像(仮想カメラ14の光軸Q2と垂直な撮像面15に構成される画像は、あたかも真上から撮影した画像G2のようになる(図7(C)参照)。
【0011】
斜め視野の場合は、以上の説明と略同様の考え方で説明することができるが、上記と異なるのは、仮想カメラ14が地面に対して斜めに仮想設置されている点である。
【0012】
即ち、図8(A)に示すように、仮想スクリーン13上に撮影された画像G3(図8(B)参照)を、斜めに傾いた仮想カメラ14により撮影することにより、仮想カメラ14により撮影された変換画像G4(仮想カメラ14の光軸Q2と垂直な撮像面15に構成される画像G4は、あたかも斜め後方を見下ろして撮影した画像のようになる(図8(C)参照)。
【0013】
【発明が解決しようとする課題】
ところで、上述した特願2001−293519号に開示の技術にあっては、仮想スクリーン13は地面と同一平面上に固定しているため、斜め視野の画像においても地面に相当する領域、即ち、水平線よりも下の領域のみしか表示することができないという問題が生じていた。
【0014】
図9(A)は従来のモデルにおいて不具合が生じるカメラ1の設置例を示し、図9(B)はその時のカメラ1の画像例(撮像面12上に構成された画像の例)を示す。
【0015】
図9(A)に示すように、カメラ11の撮像領域は図示異なるハッチングで区別する領域R1及び領域R2を合わせた部分(符号12’は、説明の便宜上の撮像面である)である。すなわち、実際に撮像面12’上に形成されている画像領域は領域R1及び領域R2内に含まれる情報を撮像面12に投影したものであり、領域R1に相当する画像は図9(B)に示す表示領域H1内の画像であり、領域R2に相当する画像は図9(B)に示す表示領域H2内の画像である。
【0016】
尚、領域R1と領域R2との境界面Rは、撮像面12’に投影した際の水平線H(実際に表示される線ではない)となる。ここで、撮像面12’に形成された画像を仮想スクリーン3に投影することを考えると、図9(A)から明らかなように、表示領域H1に対応する領域R1は水平線Hよりも下側にあるので、仮想スクリーン13に投影されることとなるが、表示領域H2に対応する領域R2は水平線Hよりも上側にあるので仮想スクリーン13に投影されないことになる。このため、図9(A)と同様のモデルにより斜め視野に視点変換を行うと、実際の画像は、図9(C)に示すように、水平線Hよりも上方に位置する表示領域H2の画像が欠如したものとる。
【0017】
このように、特願2001−293519号に開示の技術では、斜め視野に視点変換を行った際に、変換画像上で水平線Hよりも上方の部分を表示することが不可能であった。
【0018】
また、同様の理由により、図9(C)に示したように、カメラ11上で水平線よりも上方に突出した状態となる立体物(図の場合は立体物の上部)は、表示されなくなってしまう。そのため、表示される変換画像は、見た目も不自然となってしまう上、遠方まで表示しようという斜め視野としての効果も薄れてしまうばかりでなく、立体物がカメラ11では撮影されているにもかかわらず、変換画像上では表示されない虞がある。
【0019】
また、上述した特願2001−293519号にあっては、仮想視点の切り替えのための手段として、レバー等の連続的に変化する装置を用いているが、このような装置では操作部が動作するだけの操作スペースが必要となり、狭い車室内に充分な操作スペースが確保されないと設置(特に、後付け等)が困難となってしまうという問題も生じていた。
【0020】
本発明は、上記問題を解決するため、状況に応じて変化する利用者の好みに対して最適な視点変換画像を与えることができ、汎用性を向上させることができる車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置を提供することを目的とする。
【0021】
ここで、斜め視野は、従来の原理の欠点を改良し、従来の手法では表示し得なかった水平線よりも上方を表示することを可能とし、その結果として見た目の違和感を解消することを意味する。
【0022】
また、画像の切り替え操作は、直感的に分かりやすいものであり、その切替手段の形状は省スペース化の見地からカメラの回転方向のみを指定する形式としている。
【0023】
【課題を解決するための手段】
その目的を達成するため、請求項1に記載の車両周囲画像表示方法は、車両に搭載したカメラからの車両周囲に関する撮影画像を画像処理して画像出力部に表示させる車両周囲画像表示方法において、
前記画像処理は前記カメラの撮影画像を前記カメラによる視点とは異なる複数の仮想視点から見た仮想画像となるように座標変換することであり、その座標変換を行うに際しては、前記カメラの光軸を基準とした撮影画像を、地面と同一面上のスクリーンを介することなく、前記仮想視点から見た撮像を実現するための仮想カメラの光軸に対して垂直に設置されている仮想スクリーン上に直接投影し、この撮影画像の投影により前記仮想スクリーン上に得られる画像が前記仮想カメラにより撮像したときの画像となるように座標変換し、画像切替手段によって前記複数の仮想視点のうちの任意の仮想視点を選択してその仮想視点から見た画像を表示することを特徴とする。
【0024】
請求項2に記載の車両周囲画像表示方法は、前記複数の仮想視点とは、車両斜め後方を見下ろすような斜め視野の仮想視点であり且つその斜め視野の地面に対する見下ろし角度が複数であることを特徴とする。
【0025】
請求項3に記載の車両周囲画像表示方法は、前記複数の仮想視点とは、車両を垂直に見下ろすような頂上視野の仮想視点であり且つその頂上視野の地面に対する高さが複数であることを特徴とする。
【0026】
請求項4に記載の信号処理装置は、カメラ信号をRGB信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルRGB信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する見下ろし角度が異なる複数の斜め視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルRGB信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各見下ろし角度毎に記録したルックアップテーブルが保存された複数のROMと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のROMに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする。
【0027】
請求項5に記載の信号処理装置は、車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって斜め視野の見下ろし角度を選択し、その選択した見下ろし角度に基づく斜め視野から見た画像を前記画像出力部で表示することを特徴とする。
【0028】
請求項6に記載の信号処理装置は、カメラ信号をRGB信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルRGB信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する高さの異なる複数の頂上視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルRGB信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各高さ毎に記録したルックアップテーブルが保存された複数のROMと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のROMに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする。
【0029】
請求項7に記載の信号処理装置は、車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって頂上視野の高さを選択し、その選択した高さに基づく頂上視野から見た画像を前記画像出力部で表示することを特徴とする。
【0030】
請求項8に記載の信号処理装置は、前記画像切替手段は複数の釦を備え、該複数の釦を操作することによって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする。
【0031】
請求項9に記載の信号処理装置は、前記画像切替手段は一つの操作キー又は操作レバーを備え、該一つの操作キー又は操作レバーの操作に連動する電気接点出力信号によって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする。
【0032】
請求項10に記載の車両周囲監視装置は、請求項5,7,8,9の何れか1項に記載の信号処理装置を用い、車両に搭載された複数台のカメラの画像を斜め視野若しくは頂上視野の画像に座標変換した後に合成して一つの画像として画像出力部に表示することを特徴とする。
【0033】
【発明の実施の形態】
次に、本発明の実施の形態を図面に基づいて説明する。
【0034】
図1(A)において、11は車両(図示せず)の後方に搭載されるカメラ、12はカメラ11の撮像面、13は仮想スクリーン、14は仮想スクリーン13と垂直な光軸Q2上に設置したと仮定される仮想カメラ、15はその仮想カメラ14の撮像面、Gは水平線としての地面である。
【0035】
カメラ11から仮想カメラ14への視点変換は、カメラ11からの撮影画像を仮想スクリーン13に投影し、その仮想スクリーン13上に投影された画像を仮想カメラ14で撮影することとする。
【0036】
この仮想スクリーン13は、仮想カメラ14が地面Gに対していかなる角度であろうとも、仮想カメラ14の光軸Q2に対して垂直に配置される。即ち、仮想カメラ14の地面Gに対する見下ろし角度(俯角)が変化する毎に仮想スクリーン13の向きも変化することを意味する。これにより、仮想カメラ14が斜めに傾いているときであっても、図1(B)に示すように、変換画像G5において水平線よりも高い位置の物体を反映することができる。
【0037】
次に、図2のブロック図に基づいてシステム構成を説明する。
【0038】
図2において、11はカメラ、21は画像合成機、22はデコード部、23は同期分離部、24はメモリ、25は画像制御部、26〜30はROM、31は画像重畳部、32はエンコード部、33は画像出力部としての液晶画面等のモニタである。
【0039】
カメラ11より入力されたNTSC又はPAL信号は、画像合成機21におけるデコード部22においてRGB信号にデコードされると共にデジタル信号化され、メモリ24にデジタルRGBデータとして保存される。
【0040】
一方、ROM26〜30には、出力画像の各座標(Xo,Yo)に対して、カメラ11からの入力画像において、どの座標(Xi,Yi)の画素を出力画像に書き込むか、或いは、画像重畳部31により自車位置等を重畳表示する際に重畳する場所とその色、を記載したデータ(以下、「ルックアップテーブル」と称する。)が予め記録されている。
【0041】
このルックアップテーブルは、カメラ11のカメラ設置位置等のパラメータを事前に決定しておくことにより、所望の視点変換が行えるよう、適切な形で作成されている。
【0042】
画像制御部25は、画像切替手段34からの信号に基づいてROM26〜30のルックアップテーブルのどれか1つを選択・参照する。その情報に基づいて出力画像の各座標(Xo,Yo)毎に、メモリ23上のどのアドレスの情報を用いるかをメモリ23に、又は、その出力座標に画像重畳部31を用いるか、用いた場合にどの色を発生させるかの情報を画像重畳部31に送り、最終的にメモリ23の指定されたアドレスのデータ又は画像重畳部31により発生した色データがエンコード部32に送られる。
【0043】
そして、エンコード部32においてD/A変換及びNTSC又はPAL信号へのエンコードがなされ、モニタ33において出力画像が表示される。
【0044】
本実施の形態において、ROM26〜30内に記録されているルックアップテーブルは、カメラ11のカメラ取り付け位置等のパラメータを事前に決定しておくことにより、変換及び合成に適切な形で予め記録されている。
【0045】
例えば、図3(A)〜図3(E)に示すように、仮想視点の位置が斜め視野が変化(俯角θ=0°からθ=40°までの間で10°毎の5段階)させるように作られている。その図3(A)〜図3(E)において、G6〜G11は各俯角に対応する画像の一例を示している。
【0046】
尚、俯角θ=0°は水平を意味するのではなく、基準角度(俯角)を示すもので、例えば、仮想カメラ14の光軸Q2がカメラ11の光軸Q1と一致する場合を0°とする場合と、これとは異なる角度(基本的には光軸Q1よりも俯角は大きい)の場合の何れでも良い。また、これとは逆に、θ=0°を地面Gに垂直な光軸Q2とし、以下、光軸Q1に近付く方向に10°毎としても良い。この際、θ=40°を光軸Q1と一致するようにカメラ11を設置してもよい。図3に示した状態は、図3(A)を俯角θ=0°(頂上視野である地面Gと垂直)、図3(E)をカメラ11の実際の映像と一致させた俯角θ=40°としている。
【0047】
以後、便宜上、これらのルックアップテーブル(変換テーブル)をθ=0°から10°刻みで順にT0,T1,…T4とする。
【0048】
画像切替手段34は、図4(A)に示すように、2種類の釦41,42を備えている。釦41は仮想視点の俯角を大きくする(仮想カメラ14が斜め上方に向かう)際の操作用とされ、釦42は仮想視点の俯角を小さくする(仮想カメラ14が斜め下方に向かう)際の操作用とされている。
【0049】
変換テーブルTnを用いてシステムが画像変換を行っている状態で釦41を利用者(例えば、運転手)が押圧操作すると、その信号(画像切替信号)は画像合成機21の画像制御部25に送られる。画像制御部25は、その画像切替信号に基づいて画像変換に用いる変換テーブルをTn+1に変更する。
【0050】
もし、釦41を押す前の段階でT 4 であった場合、画像制御部25は変換テーブルを変換することなく、そのまま変換テーブルT 4 を画像変換用に用いる。逆に、変換テーブルTnを用いている状態で釦42を押した場合、その信号は画像制御部25に送られ、画像制御部25はその信号に基づいて画像変換に用いる変換テーブルをTn-1に変更する。
【0051】
もし、釦42を押す前の段階でT 0 であった場合、画像制御部25は変換テーブルを変更することなくそのままT 0 を変換に用いる。
【0052】
このような構成とすることにより、変換テーブルの変更、即ち、仮想視点の変換を2つの釦により行うことができる。
【0053】
この例では、釦41,42を押すごとに変換を使用するテーブルを切り替える構成であるが、これに加えて釦41,42の長押し時にテーブルを順番に切り替えるようにしても良い。ここで長押しとは釦41若しくは釦2を一定時間以上押し続ける操作のことを意味する。
【0054】
例えば、変換テーブルTnを用いて画像変換を行っている状態で釦41を押圧操作し、その結果として変換テーブルがTn+1に変更された後、釦41を一定時間t以上押し続けた結果として、釦41が押されているという信号が一定時間t以上の間、画像制御部25に入力されていた場合、画像制御部25は変換テーブルをTn+2に変更する。
【0055】
さらに、釦41が押し続けられた場合、釦41が離されるまで、時間t毎に変換テーブルを順次変更する。その後、変換テーブルがT4となった際には、変換テーブルのそれ以上の変更は行わない。
【0056】
逆に、釦42を長押しした場合も、変換テーブルがT 0 (n=0)になるまでnの値を減少する点が異なるだけで同様の動作となる。
【0057】
本実施例においては、仮想視点の俯角を0°〜40°までの間の10°刻みにし、合計5つのパターン(図3(A)〜図3(E))としているが、このパターン数を増やし、角度刻み幅をパターン数の増加に伴って小さくすれば、さらにスムースな視点変換を行うことができ、より好ましいものとなる。また、10°〜40°という仮想視点の俯角の範囲も、さらに広範囲としても良いし、逆に狭い範囲としても良いことは勿論である。
【0058】
さらに、上記実施の形態においては、仮想カメラ14の回転方向(俯角変化に一致)は上下方向に限定されていたが、これに限定されるものではなく、自由回転を行っても良い。
【0059】
図4(B)は、このような自由回転を実現するための画像切替手段34を示すもので、上下左右の4つ釦51,52,53,54の四方向スイッチから構成され、これら各釦51〜54の組み合わせにより上下左右並びにこれらの複合の斜めといった自由回転を実現する。尚、この各釦51〜54は、釦41,42と同様に、仮想カメラ14の移動方向に一致することが好ましい。尚、左右に関しては運転者が前向きの状態の左右と仮想カメラ14の移動方向とは逆になるので、運転者が前方を向いているときの車体右側を見たいときには右向きの釦54を操作することにより仮想カメラ14が左に移動して車体右側の画像を表示し、運転者が前方を向いているときの車体左側を見たいときには左向きの釦53を操作することにより仮想カメラ14が右に移動して車体左側の画像を表示するようにすることも可能である。また、このような場合のほか、図4(C)に示すような十字キー(四方向)やジョイステック(図示せず)などでも良い。
【0060】
また、上記実施の形態においては、仮想視点の俯角の異なる複数の変換テーブルを切り替える形式としたが、これは、例えば、図5(A)〜図5(E)に示すように、仮想視点の高さの異なる画像と対応させ、画像の拡大・縮小が行えるようにしても良い。なお、図5(A)〜図5(E)において、G11〜G15はそれぞれ高さの異なる変換画像の一例を示している。
【0061】
上記実施の形態では、一つのカメラ11の場合で説明したが、例えば、特願2001−293519号に記載の実施例のような構成とし、2台以上のカメラを変換・合成する形式への適用も可能である。
【0062】
図6は、2台のカメラを設置した場合のシステム構成のブロック図である。
【0063】
図6において、11,35はカメラ、21は画像合成機、22,36はデコード部、23は同期分離部、24,37はメモリ、38はカメラ11,35を選択する切替スイッチ、25は画像制御部、26〜30はROM、31は画像重畳部、32はエンコード部、33は画像出力部としての液晶画面等のモニタである。
【0064】
そして、このような構成においても、切替スイッチ35に切り替えられたカメラ11,35を使用して上記と同様の画像処理を行う。
【0065】
【発明の効果】
以上説明したように、本発明は、仮想カメラの地面に対する見下ろし角度(俯角)或いは高さが変化する毎に仮想スクリーンの向きや高さが変化することにより、運転状況に則した見やすい画面を表示することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示し、(A)は実際に車体に搭載された状態でのカメラと仮想カメラとの関係の説明図、(B)は仮想カメラによる画像表示例の説明図である。
【図2】同じく、1台のカメラの場合の画像処理のシステム構成のブロック図である。
【図3】同じく、(A)は俯角0°の場合の斜め視野画像表示例の説明図、(B)は俯角10°の場合の斜め視野画像表示例の説明図、(C)は俯角20°の場合の斜め視野画像表示例の説明図、(D)は俯角30°の場合の斜め視野画像表示例の説明図、(E)は俯角40°の場合の斜め視野画像表示例の説明図である。
【図4】同じく、(A)は二つ釦の場合の画像切換手段の正面図、(B)は四つ釦の場合の画像切替手段の正面図、(C)は十字キーの場合の画像切換手段の正面図である。
【図5】同じく、(A)は最大高さの場合の頂上視野画像表示例の説明図、(B)は第二高さの場合の頂上視野画像表示例の説明図、(C)は第三高さの場合の場合の頂上視野画像表示例の説明図、(D)は第四高さの場合の頂上視野画像表示例の説明図、(E)は最小高さの場合の頂上視野画像表示例の説明図である。
【図6】同じく、2台のカメラの場合の画像処理のシステム構成のブロック図である。
【図7】従来技術を示し、(A)は実際に車体に搭載された状態でのカメラと頂上視野時の仮想カメラとの関係の説明図、(B)は実際のカメラによる画像表示例の説明図、(C)は仮想カメラによる頂上視野画像表示例の説明図である。
【図8】従来技術を示し、(A)は実際に車体に搭載された状態でのカメラと斜め視野時の仮想カメラとの関係の説明図、(B)は実際のカメラによる画像表示例の説明図、(C)は仮想カメラによる斜め視野画像表示例の説明図である。
【図9】従来技術を示し、(A)は実際に車体に搭載された状態でのカメラと撮像領域との関係の説明図、(B)は撮像領域に対する表示領域の説明図、(C)は実際の表示される表示領域に対する斜め視野画像表示例の説明図である。
【符号の説明】
11…カメラ
13…仮想スクリーン
14…仮想カメラ
22…デコード部
23…同期分離部
24…メモリ部
25…画像処理部
26〜30…ROM
31…画像重畳部
32…エンコード部
33…モニタ(画像出力部)
34…画像切換手段
Claims (10)
- 車両に搭載したカメラからの車両周囲に関する撮影画像を画像処理して画像出力部に表示させる車両周囲画像表示方法において、
前記画像処理は前記カメラの撮影画像を前記カメラによる視点とは異なる複数の仮想視点から見た仮想画像となるように座標変換することであり、その座標変換を行うに際しては、前記カメラの光軸を基準とした撮影画像を、地面と同一面上のスクリーンを介することなく、前記仮想視点から見た撮像を実現するための仮想カメラの光軸に対して垂直に設置されている仮想スクリーン上に直接投影し、この撮影画像の投影により前記仮想スクリーン上に得られる画像が前記仮想カメラにより撮像したときの画像となるように座標変換し、画像切替手段によって前記複数の仮想視点のうちの任意の仮想視点を選択してその仮想視点から見た画像を表示することを特徴とする車両周囲画像表示方法。 - 前記複数の仮想視点とは、車両斜め後方を見下ろすような斜め視野の仮想視点であり且つその斜め視野の地面に対する見下ろし角度が複数であることを特徴とする請求項1に記載の車両周囲画像表示方法。
- 前記複数の仮想視点とは、車両を垂直に見下ろすような頂上視野の仮想視点であり且つその頂上視野の地面に対する高さが複数であることを特徴とする請求項1に記載の車両周囲画像表示方法。
- カメラ信号をRGB信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルRGB信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する見下ろし角度が異なる複数の斜め視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルRGB信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各見下ろし角度毎に記録したルックアップテーブルが保存された複数のROMと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のROMに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする信号処理装置。 - 車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって斜め視野の見下ろし角度を選択し、その選択した見下ろし角度に基づく斜め視野から見た画像を前記画像出力部で表示することを特徴とする請求項4に記載の信号処理装置
- カメラ信号をRGB信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルRGB信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する高さの異なる複数の頂上視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルRGB信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各高さ毎に記録したルックアップテーブルが保存された複数のROMと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のROMに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする信号処理装置。 - 車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって頂上視野の高さを選択し、その選択した高さに基づく頂上視野から見た画像を前記画像出力部で表示することを特徴とする請求項6に記載の信号処理装置。
- 前記画像切替手段は複数の釦を備え、該複数の釦を操作することによって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする請求項5又は請求項7に記載の信号処理装置。
- 前記画像切替手段は一つの操作キー又は操作レバーを備え、該一つの操作キー又は操作レバーの操作に連動する電気接点出力信号によって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする請求項5又は請求項7に記載の信号処理装置。
- 請求項5,7,8,9の何れか1項に記載の信号処理装置を用い、車両に搭載された複数台のカメラの画像を斜め視野若しくは頂上視野の画像に座標変換した後に合成して一つの画像として画像出力部に表示することを特徴とする車両周囲監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002187106A JP4004871B2 (ja) | 2002-06-27 | 2002-06-27 | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002187106A JP4004871B2 (ja) | 2002-06-27 | 2002-06-27 | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004032464A JP2004032464A (ja) | 2004-01-29 |
JP4004871B2 true JP4004871B2 (ja) | 2007-11-07 |
Family
ID=31182243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002187106A Expired - Fee Related JP4004871B2 (ja) | 2002-06-27 | 2002-06-27 | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4004871B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4380550B2 (ja) * | 2004-03-31 | 2009-12-09 | 株式会社デンソー | 車載用撮影装置 |
JP4569285B2 (ja) * | 2004-12-13 | 2010-10-27 | 日産自動車株式会社 | 画像処理装置 |
JP4257356B2 (ja) | 2006-09-26 | 2009-04-22 | 株式会社日立製作所 | 画像生成装置および画像生成方法 |
WO2008087707A1 (ja) * | 2007-01-16 | 2008-07-24 | Pioneer Corporation | 車両用画像処理装置及び車両用画像処理プログラム |
JP4844979B2 (ja) * | 2007-08-30 | 2011-12-28 | 京セラ株式会社 | 画像処理方法と該画像処理方法を用いた撮像装置 |
JP2011091527A (ja) * | 2009-10-21 | 2011-05-06 | Panasonic Corp | 映像変換装置及び撮像装置 |
JP5735227B2 (ja) | 2010-07-16 | 2015-06-17 | ルネサスエレクトロニクス株式会社 | 画像変換装置及び画像変換システム |
JP5944170B2 (ja) * | 2011-05-11 | 2016-07-05 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5959684B2 (ja) * | 2015-04-16 | 2016-08-02 | ルネサスエレクトロニクス株式会社 | 画像変換システム |
CN106274684A (zh) * | 2015-06-24 | 2017-01-04 | 张烂熳 | 一种小角度摄像头实现的汽车全景环视*** |
JP6416805B2 (ja) * | 2016-02-09 | 2018-10-31 | 株式会社ユニバーサルエンターテインメント | 遊技機の製造方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3526896B2 (ja) * | 1993-12-09 | 2004-05-17 | 株式会社応用計測研究所 | 動画像処理装置 |
EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
-
2002
- 2002-06-27 JP JP2002187106A patent/JP4004871B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
CN103802725B (zh) * | 2012-11-06 | 2016-03-09 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2004032464A (ja) | 2004-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
US7429998B2 (en) | Method and apparatus for monitoring vehicle rear, and signal processor | |
JP3916958B2 (ja) | 車両後方モニタシステムおよびモニタ装置 | |
JP4004871B2 (ja) | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 | |
JP4786076B2 (ja) | 運転支援表示装置 | |
JP5813944B2 (ja) | 画像表示システム、画像処理装置及び画像表示方法 | |
EP2161925A2 (en) | Method and system for fusing video streams | |
JP2007109166A (ja) | 運転支援システム | |
JP4537537B2 (ja) | 運転支援装置 | |
JP2001218197A (ja) | 車両用周辺表示装置 | |
JP2003281505A (ja) | 車両用画像処理装置 | |
JP2012049918A (ja) | 撮像装置、撮像システム及び撮像方法 | |
JP2791310B2 (ja) | 多角度撮影用の撮像装置 | |
JPH11348659A (ja) | 車載画像表示装置 | |
US20050243073A1 (en) | Presentation device and display method | |
JP2000244814A (ja) | 画像合成装置、画像合成方法が記録された記録媒体 | |
JP5168186B2 (ja) | 画像処理装置 | |
JP6073433B2 (ja) | 画像表示システム、画像処理装置及び画像表示方法 | |
JP2005236493A (ja) | 運転支援装置 | |
JP2005333565A (ja) | 監視装置 | |
JPH10327349A (ja) | 画像生成装置および画像生成方法 | |
JP2008162308A (ja) | 車両用撮像装置及び車両用画像処理装置 | |
JP2006318015A (ja) | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム | |
JP2009083744A (ja) | 合成画像調整装置 | |
JP2007149011A (ja) | 車両周辺視認装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4004871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |