JP2004328240A

JP2004328240A - 周辺画像表示装置

Info

Publication number: JP2004328240A
Application number: JP2003118610A
Authority: JP
Inventors: Michinaga Nagura; 道長名倉
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-04-23
Filing date: 2003-04-23
Publication date: 2004-11-18
Anticipated expiration: 2023-04-23
Also published as: JP3997945B2

Abstract

【課題】撮像手段により撮影した画像中に立体物が存在している場合に、これを立体物として推定することができるようにする。
【解決手段】自動車１の後部をカメラ４で撮影してモニタ３に表示するもので、赤外線投光器５ａ，５ｂによりスリット光Ｌを撮影エリアＡに照射し、カメラ４で撮影する。制御装置２は、スリット光照射画像とスリット光未照射画像とから、その差分画像データを演算し、スリット光の画像データを得ると、このスリット光の画像のパターンが、撮影エリアＡ内に立体物が存在しない状態のパターンに対して異なるときに、その部分に立体物が存在することを推定しモニタ３に表示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、車両など移動体に搭載され、その周辺を撮影して表示手段に表示するようにした周辺画像表示装置に関する。
【０００２】
【従来の技術】
例えば、自動車の後方をカメラで撮影して運転席部に設けたモニタにより後方を確認することができるようにした装置がある。これは後方が確認しにくい車両や、慣れない運転者にとってモニタに後方の画像が映し出されるのを見て確認することができるので、使い勝手に優れるものである。
【０００３】
このようなものとして、例えば、図９の左側の画像で示すように、カメラにより撮影した画像をそのまま表示することに加えて、同図右側の画像で示すように、真上から見た画像つまり鳥瞰図に変換して表示させることで、自車の位置を把握しやすくしたものが提供されつつある（例えば、特許文献１〜４参照）。
【０００４】
【特許文献１】
特開２００２−０８７１６０号公報
【０００５】
【特許文献２】
特開２００２−２６２２８０号公報
【０００６】
【特許文献３】
特開２００２−２６２２８１号公報
【０００７】
【特許文献４】
特開２００２−２８３９１３号公報
【０００８】
【発明が解決しようとする課題】
上記した従来技術のものでは、車両後部に取り付けたカメラにより撮影された画像を基にして真上から見た画像に変換して鳥瞰図として示すようにしたのであるが、このときカメラにより撮影された後方の画面には他の車両や障害物などの立体物が存在する。これらの立体物は、鳥瞰図に示す場合に平面上のパターンとして貼り付けられるので、図９に示したように、鳥瞰図としての画像の歪みが大きくなると共に、立体物を認識するのに自車との位置関係を見誤ってしまうこともあった。
【０００９】
本発明は上記事情に鑑みてなされたものであり、その目的は、撮像手段により撮影した画像中に立体物が存在している場合に、これを立体物として推定することで、画像から使用者が立体物の把握をし易い表示を行うことができるようにした周辺画像表示装置を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１の発明によれば、撮像手段は、投光手段により撮影エリアにスリット光を照射したときのスリット光照射画像と未照射のときのスリット光未照射画像とを撮影し、制御手段は、両者の画像の画素成分の差分を演算して差分画像データを作成する。上記した差分のデータは、スリット光の照射の有無の違いに相当するので、スリット光のみのデータを得ることができる。
【００１１】
このスリット光の画像パターンが、撮影エリア内に立体物が存在しない状態のパターンと比較して異なるパターンとなっているときに、その部分に立体物が存在することを推定することができる。制御手段は、このようにして立体物の存在を推定した結果を、表示手段に表示させる。これにより、撮像手段により撮影した撮影エリア内の画像について、立体物の存在を同時に表示させることができるので、撮影対象となる領域の画像に歪みが生ずるような場合でも、その画像内の立体物を確実に認識することができるようになる。
【００１２】
請求項２の発明によれば、上記発明において、制御手段により、撮像手段により撮影された撮影エリアの画像を鳥瞰図に変換して推定した立体物と共に表示手段に表示させるようにしたので、特に遠方に位置する立体物の撮影画像が小さく且つ歪んだ状態の画像として得られている場合でも、鳥瞰図に変換したときに歪みに起因して見誤ることなく確実に立体物を認識することができるようになる。
【００１３】
請求項３の発明によれば、上記各発明において、投光手段を、スリット光として赤外線のスリット光を照射する構成としているので、スリット光を照射して撮影する際に、使用者が違和感をを感ずることなく立体物の推定処理を行うことができるようになる。
【００１４】
請求項４の発明によれば、上記各発明において、制御手段を、撮影エリア内に立体物が存在しないときの投光手段が照射するスリット光の投影領域をマスクエリアとして設定し、差分画像データについてマスクエリアに沿ってスリット光の存在の有無を判定して立体物の存在の推定を行うようにしたので、マスクエリア近傍の画素データについて簡単な画像処理を行うことで迅速に立体物の存在の推定処理を行うことができるようになる。
【００１５】
請求項５の発明によれば、上記請求項４の発明において、移動体の移動に伴ってスリット光照射画像とスリット光未照射画像とが異なる位置での画像となったとき、制御手段により、差分画像データのうちの差分値が大きいところで且つマスクエリアの差分値が小さいところに立体物が存在することを推定するようにしたので、マスクエリア内での差分値のデータ判断を簡単且つ迅速に行うことができるようになる。
【００１６】
請求項６の発明によれば、側方撮像手段および側方投光手段を設けて側方の撮影エリア内に存在する立体物を推定することができるので、車両などの移動体においては、走行時に側方に存在する障害物などを表示手段を視認することで確実に認識することができるようになる。これにより、側方についても不用意に移動して衝突するなどの事故を未然に防止することができるようになる。
【００１７】
【発明の実施の形態】
（第１の実施形態）
以下、本発明を自動車のバックビューモニタに適用した場合の第１の実施形態について図１ないし図７を参照して説明する。
図１は、本装置を自動車１に搭載した状態を概略的に示すもので、制御装置２、モニタ３、カメラ４、赤外線投光器５ａ，５ｂから構成されている。表示手段としてのモニタ３は、液晶などの表示装置を用いたもので、自動車１のダッシュボード上などに設けられ、運転者が見ることができるように設置されている。
【００１８】
撮像手段としてのカメラ４は、可視光から赤外線領域までの光を撮影可能なもので、自動車１の後部に配設され、後方の撮影エリアＡを撮影する。赤外線投光器５ａ，５ｂは、例えば、自動車１のテールランプ部分に設けられ、後述するようにして撮影エリアＡ内にスリット光Ｌを放射状に投光する。
【００１９】
制御手段としての制御装置２は、後述するように撮影した画像を処理してモニタ２に表示させるためのもので、自動車１の座席下などに配設されている。この制御装置２は、図２に概略的なブロック構成を示すように、制御回路６、投光制御回路７、同期回路８、メモリ９などから構成されている。
【００２０】
制御回路６は、ＣＰＵおよびＲＯＭ、ＲＡＭなどを主体として構成されるもので、表示制御プログラムにより後述する表示動作を行うように構成されている。投光制御回路７は、赤外線投光器５ａ，５ｂに対して投光動作の制御を行うもので、スリット光Ｌを撮影エリアＡに対して投光させる。これにより、図１に示したように、各赤外線投光器５ａ，５ｂから放射状にスリット光Ｌが投光されるようになる。
【００２１】
同期回路８は、投光制御回路７とカメラ４とを同期させて動作させるためのもので、後述するように赤外線投光器５ａ，５ｂによりスリット光Ｌを投光した状態でカメラ４により撮影するスリット光照射画像と、スリット光Ｌを投光しない状態でカメラ４により撮影するスリット光未照射画像とを得るために両者のタイミングを制御するものである。
【００２２】
次に、本実施形態の作用について図３ないし図７も参照して説明する。
図３は、この装置により立体物を推定するための原理を示したもので、カメラ４の位置から撮影したことを仮定して示した図である。赤外線投光器５ａ，５ｂからは、同図（ｂ）に示すようにスリット光Ｌが撮影エリアＡ内に照射されることで、エリア内に立体物が存在しない場合にはスリット光Ｌにより地面にはラインＳのように直線が投影される。
【００２３】
一方、スリット光Ｌを横切るように立体物Ｐが存在する場合には、スリット光Ｌにより形成される投影像はラインＳｐのように立体物Ｐに沿った形状に曲げられたものとなる。これをカメラ４で撮影すると、図示のように折れ線ラインＳｐが撮影されるようになる。
【００２４】
したがって、立体物Ｐが存在しない場合に得られるべきラインＳの画像に対して、実際に撮影して得られた画像のラインＳｐとを比較することで、重ならない部分に立体物Ｐが存在していることを推定することができるようになる。
【００２５】
さて、この実施形態においては、スリット光Ｌは赤外線として投光するようにしており、カメラ４は赤外線領域の波長も撮影可能なものとして設けられている。これは、可視光のスリット光を投光する場合の違和感をなくすためにしたもので、赤外線を用いる必然的理由はない。
【００２６】
そして、赤外線投光器５ａ，５ｂにより照射された投影画像を得るのに、スリット光Ｌを照射したときのスリット光照射画像と、スリット光Ｌを照射しないときのスリット光未照射画像との差を演算して差分画像データとして得るようにしている。
【００２７】
次に、実際に撮影エリアＡ内の立体物Ｐを推定する処理動作について図４，５，６を参照して説明する。いま、例えば、自動車１を駐車場の駐車スペースＰＡに入庫して駐車を行う場合を想定して説明する。この駐車スペースＰＡには、輪止めのブロックＰ１，Ｐ２が配置してあり、これが立体物Ｐとして推定するべきものとなる。駐車スペースＰＡには、自動車１を整列した状態で１台ずつ駐車するために、その目安となる区画をコンクリートの床面に対して認識しやすいように白いラインＷＬで表示している。
【００２８】
図４は、自動車１を運転者がバックで駐車スペースＰＡに入庫させる場合の画像を示しており、この例では自動車１はこの位置で停止した状態で撮影をした場合で示している。制御装置２は、同期回路８、投光制御回路７を制御することにより、赤外線投光器５ａ，５ｂに投光動作を行わせると共にカメラ４による撮影を行わせる。
【００２９】
同図（ａ）はスリット光照射画像を示しており、同図（ｂ）はスリット光未照射画像を示している。なお、ここでは、簡単のために、赤外線投光器５ａのスリット光Ｌのみを照射した画像として示しているが、実際には赤外線投光器５ｂのスリット光Ｌも照射することで撮影エリアＡの領域をカバーする物である。また、制御装置２は、このようなスリット光照射画像とスリット光未照射画像とを交互に得るように同期回路８を制御している。
【００３０】
同図（ａ）に示すように、輪止めＰ１、Ｐ２の部分でスリット光Ｌは屈曲しており、床面に投影されたスリット光ＬのラインＳは折れ線Ｓｐとして画面に撮影されることになる。輪止めＰ１，Ｐ２が存在しない場合には、破線で示すように直線で放射状をなすラインＳとして撮影されるものである。
【００３１】
制御装置２は、得られた２つの画像についてこれらの差分を演算して同図（ｃ）に示すような差分画像データを得るようになる。この差分画像データでは、駐車スペースＰＡの画像は相殺されて赤外線投光器５ａから照射されたスリット光ＬのラインＳ、Ｓｐのみが残ることになる。
【００３２】
制御装置２は、得られた差分画像データから、折れ線となっているラインＳｐを認識するとその部分に立体物Ｐが存在することを推定するようになる。この場合、制御装置２は、図５（ｂ）に示すように、立体物Ｐが存在しない場合に得られるスリット光Ｌの投影画像であるラインＳの領域を、同図（ａ）に示すようにマスクエリアＭＡとして設定し、このマスクエリアＭＡに沿って差分値が大きいか否かをチェックする。そして、差分値が小さいところつまりラインＳが屈曲していてラインＳｐとなる部分では、マスクエリアＭＡ内にラインＳの画像が存在しないことから、この部分に立体物Ｐが存在していることを推定することができる。
【００３３】
次に制御装置２は、カメラ４で撮影した画像を上方から見た画像すなわち鳥瞰図に変換し、これに上記推定した立体物Ｐの推定領域ＰＥを合成して図６に示すような画像として表示させるようになる。これにより、使用者（運転者）は、モニタ３に表示された駐車スペースＰＡと自車１の位置とを鳥瞰図として見ながら、所定の位置に入庫するようにバックさせることができるようになる。このとき、画像には立体物Ｐとして推定領域ＰＥが表示されるので、注意しながらハンドル操作をすることができるようになる。
【００３４】
次に、自動車１が移動している状態で上記した推定の動作を行う場合について簡単に説明する。この場合には、カメラ４が移動しながらスリット光照射画像とスリット光未照射画像を撮影することから、両者の差分を演算する際に若干のずれが生ずる。
【００３５】
ここで、例えば自動車１をバックで車庫入れする場合を想定すると、移動速度は時速１０ｋｍ程度と仮定することができる。また、画像の撮影速度は、１画像を１／３０秒毎程度で撮影するのが一般的である。この結果、移動中の画像間の変位距離は１０ｃｍ程度となる。そして、この程度の移動では、画像上で大きな変化はなく、スリット光の位置は移動に関係なく一定である。
【００３６】
図７は、前述した図５のスリット光照射画像、スリット光未照射画像、差分画像データのそれぞれに対応する画像を示したものである。ここで、同図（ａ）のスリット光照射画像に対して、同図（ｂ）のスリット光未照射画像はカメラ４の位置が上述したように少し移動しており、差分画像データにはスリット光ＬのラインＳ、Ｓｐに加えて白いラインＷＬなどの境界線付近において差分の大きな領域Ｓｗが発生する。
【００３７】
しかし、この程度のずれは、停止している場合の算出過程と同様にして、差分を演算すると、スリット光Ｌおよび白いラインＷＬの境界付近の差分が大きく発生するが、立体物Ｐが存在する部分では、逆に差分が小さくなるので検出することができるようになる。また、移動しながらの判定では、物体の境界付近で多少の誤差を生ずるが、同じテクスチャを持つ領域を立体物Ｐとして抽出することでほぼ確実に立体物Ｐを推定することができるようになる。
【００３８】
このような第１の実施形態によれば、赤外線投光器５ａ，５ｂからのスリット光Ｌの照射の有無に対応した画像をカメラ４で撮影し、それらの差分画像データを作成して立体物Ｐの存在を推定するようにしたので、カメラ４で撮影した画像のみでは認識しにくい立体物の存在を合成してモニタ３に表示することができるようになる。これにより、例えば鳥瞰図に変換して表示する場合には見誤るのを極力防止して確実に認識することができるようになる。
【００３９】
（第２の実施形態）
図８は本発明の第２の実施形態を示すもので、第１の実施形態の構成に加えて、側方の立体物も推定することができるようにしたものである。
前述したように、鳥瞰図に変換する際には隣に駐車されている自動車１ａも床面の模様として処理されるので、実際の距離よりも遠くに存在しているように見えてしまう。これにより、使用者は距離感を失って、錯覚を起こして接触事故などを起こしたりすることも有り得るのである。
【００４０】
この実施形態においては、このような場合にも対応できるように、後方について設けられたカメラ４、赤外線投光器５ａ，５ｂに相当する構成を両側部にも設ける構成としている。ここでは、側方の撮像手段としてのカメラ１０，１１をそれぞれ設けると共に、側方投光手段としての赤外線投光器１２ａ，１２ｂおよび１３ａ，１３ｂを設けた構成としている。これらは、制御装置２に接続され、その処理結果である推定される立体物Ｐの存在領域がモニタ３に表示されるようになっている。
【００４１】
これにより、例えば、自動車１を駐車スペースＰＡに駐車するときには存在していなかった自動車１ａが出発時には駐車されているような場合でも、カメラ１０，１１により左右の撮影エリアＡＬ，ＡＲを撮影して、立体物の存在の推定処理をすることで、出発前に認識して立体物としてモニタ３に表示することができるようになる。
【００４２】
なお、この実施形態においては、左右の撮影エリアＡＬ，ＡＲについて認識する構成としたが、運転席と反対側の側の見難い側のみを検出するように設ける構成とすることもできる。
【００４３】
（他の実施形態）
本発明は上記しかつ図面に示した実施形態に限定されるものではなく、次のように変形することが出来る。
上記実施形態では、カメラ４に対して左右にそれぞれ赤外線投光器５ａ，５ｂを設ける構成としたが、１個だけ設ける構成とすることもできるし、検出する領域に対応して３個以上設ける構成とすることもできる。
撮影エリアＡの立体物を推定するのに複数台のカメラを設ける構成とすることもできる。
【００４４】
投光手段として、赤外線投光器５ａ，５ｂを用いたが、可視光や紫外線などをを照射する投光器を用いることもできる。投光手段として、例えばハロゲンランプ、通常のランプあるいはＬＥＤ，レーザーなどを用いることもできる。この場合、ランプを使用する場合には、カメラと同期してスリット光を照射するために、メカニカルシャッターを使用したり、ストロボを用いることになる。また、レーザ光を使用する場合には、スキャン機構などを用いることで、放射線状のスリット光を実現することができる。
【００４５】
投光手段は、自動車１のテールランプ内に設ける以外に他の部分に専用に設ける構成とすることもできる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す概略的な構成図
【図２】電気的なブロック構成図
【図３】立体物の推定原理を示す作用説明図
【図４】停止時の撮影画像の表示例を示す図
【図５】マスクエリアを説明する図
【図６】鳥瞰図の表示例を示す図
【図７】移動時に対応した図４相当図
【図８】本発明の第２の実施形態を示す図１相当図
【図９】従来技術の表示画面の例を示す図
【符号の説明】
１は自動車（車両）、２は制御装置（制御手段）、３はモニタ（表示手段）、４はカメラ（撮像手段）、５ａ，５ｂは赤外線投光器（投光手段）、６は制御回路、７は投光制御回路、８は同期回路、９はメモリ、１０，１１はカメラ（側方撮像手段）、１２ａ，１２ｂ，１３ａ，１３ｂは赤外線投光器（側方投光手段）、Ｌはスリット光、Ａは撮影エリア、ＡＬ，ＡＲは側方の撮影エリア、Ｐは立体物、ＷＬは白いライン、ＰＡは駐車スペース、Ｐ１，Ｐ２は輪止め（立体物）である。

Claims

移動体に搭載され、その周辺を撮像手段により撮影して表示手段に表示するようにした周辺画像表示装置において、
撮影エリアにスリット光を照射する投光手段と、
前記投光手段に前記スリット光を照射させたときのスリット光照射画像と前記スリット光を未照射のときのスリット光未照射画像とを取り込んでそれらの画素成分の差分を演算した差分画像データを作成すると共に、その差分画像データから立体物を推定して前記表示手段に表示させる制御手段とを備えたことを特徴とする周辺画像表示装置。
請求項１に記載の周辺画像表示装置において、
前記制御手段は、前記撮像手段により撮影された撮影エリアの画像を鳥瞰図に変換して前記推定した立体物と共に前記表示手段に表示させることを特徴とする周辺画像表示装置。
請求項１または２に記載の周辺画像表示装置において、
前記投光手段は、前記スリット光として赤外線のスリット光を照射するように構成されていることを特徴とする周辺画像表示装置。
請求項１ないし３のいずれかに記載の周辺画像表示装置において、
前記制御手段は、前記撮影エリア内に立体物が存在しないときの前記投光手段が照射するスリット光の投影部分をマスクエリアとして設定し、前記差分画像データについて前記マスクエリアに沿って前記スリット光の存在の有無を判定して前記立体物の推定を行うように構成されていることを特徴とする周辺画像表示装置。
請求項４に記載の周辺画像表示装置において、
前記移動体の移動に伴って前記スリット光照射画像とスリット光未照射画像とが異なる位置での画像となったとき、
前記制御手段は、前記差分画像データのうちの差分値が大きいところで且つ前記マスクエリアの差分値が小さいところに立体物が存在することを推定することを特徴とする周辺画像表示装置。
請求項１ないし５のいずれかに記載の周辺画像表示装置において、
前記移動体の移動方向に対して側方を撮影エリアとして設定された側方撮像手段を備えると共に、
その側方の撮影エリア内にスリット光を照射する側方投光手段を備え、
前記制御手段は、側方の撮影エリアについても立体物の存在の推定を行うように構成されていることを特徴とする周辺画像表示装置。