JP4625418B2 - 自影判定方法 - Google Patents

Description

本発明は、撮像装置によって撮像された撮像画像に基づいて、車両の駐車支援やロボットの物体検出などを行う際の画像処理技術を改良する自影判定方法に関する。

近年、車両を駐車する際に駐車目標位置への駐車支援を行う駐車支援技術や、ロボットが自動的に目標位置まで進行するための制御技術などが考案されている。例えば、下記の特許文献１には、短時間で車両を駐車目標位置に駐車させることができる駐車支援技術が開示されている。
特開２００５−３１３７１０号公報

従来の技術では、例えばロボットや車両などの移動体に撮像装置が搭載されており、移動体の進行方向を撮像装置によって撮像して、その撮像画像を視認したり、撮像画像に対して物体検出処理を行ったりすることによって、進行方向の安全性の確認が行われている。しかしながら、移動体の影が進行方向などの移動体の周辺に投影される場合には、撮像画像内に影が写り込むことになり、進行方向などの移動体の周辺に対する視認性が悪くなったり、影の中に存在する物体や路面の凹凸などが検知できなくなったりするという問題がある。この場合、影の中に存在する物体や路面の凹凸に気づかず、移動体がその物体に衝突してしまったり、路面の凹凸に乗り上げてしまったりするおそれもあり、安全面においても問題が生じる。

本発明は、上記の問題を解決するため、移動体に設置されたカメラによって撮像された撮像画像内に存在する影の中から、移動体の影（自影）を判定するための自影判定方法を提供することを目的とする。

上記の目的を達成するため、本発明の自影判定方法は、移動体と共に移動するように前記移動体に設置されている撮像装置によって撮像された画像内において、前記移動体の影を判定するためにコンピュータによって実行される自影判定方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
影認識装置によって認識された前記画像内に存在する影を、影認識結果として取得する影認識結果取得ステップと、
前記影認識結果取得ステップで取得された前記影認識結果から、前記画像内の所定の自影判定領域に影が存在するか否かを判定し、前記所定の自影判定領域に影が存在する場合に、前記所定の自影判定領域の影を含む影のまとまりを前記移動体の影と決定する自影判定ステップとを、
有する。
これにより、移動体に設置されたカメラによって撮像された撮像画像内に存在する影の中から、移動体の影（自影）を判定することが可能となり、例えば、撮像画像において自影の影響を低減させるなどの処理を行うことによって、移動体の移動の安全性を向上させることが可能となる。

さらに、本発明の自影判定方法は、上記の自影判定方法に加えて、前記移動体が撮像される画像領域の一部を切り出し領域と定め、前記切り出し領域を拡張する処理を行うことによって、前記所定の自影判定領域を定める。
これにより、移動体に設置されたカメラによって撮像された撮像画像内において、移動体によって投影される影を確実に特定することが可能となる。

さらに、本発明の自影判定方法は、上記の自影判定方法に加えて、前記所定の自影判定領域の作成に用いている画像領域の一部を撮影前記画像の中央下側に配備することによって、光源位置による影の変形に対応する。
これにより、光源位置の変更や影の変形などの影響を受けることなく、移動体によって投影される影を確実に特定することが可能となる。

本発明は、移動体に設置されたカメラによって撮像された撮像画像内に存在する影の中から、移動体の影（自影）を判定することができ、これによって、移動体の影の影響が少なくなるように画像の補正を行えるようになるという効果を有している。

以下、図面を参照しながら、本発明の実施の形態について説明する。

まず、図１を参照しながら、本発明の実施の形態における自影判定方法を用いた自影補正システムの構成について説明する。図１には、本発明の実施の形態における自影判定方法を用いた自影補正システムの構成の一例が図示されている。

図１に図示されている自影補正システムは、カメラ（撮像装置）１１、影認識装置１２、自影判定装置１３、影補正装置１４、表示モニタ１５、駐車支援装置１６、物体検出装置１７を有している。また、自影判定装置１３は、自影判定部１３ａ及び参照情報格納部１３ｂを有している。

図１において、カメラ１１は、任意の撮像方向の撮像を行う機能を有しており、移動体と共に移動するように移動体に設置されている。なお、移動体は、例えば、車両、船、飛行機などに加えて、自律的に又はリモートコントロールによって移動するロボットなどである。カメラ１１で撮像された撮像画像は、影認識装置１２及び影補正装置１４に供給される。なお、カメラ１１で撮像される撮像画像は、静止画像であってもよく、動画像であってもよい。

また、影認識装置１２は、カメラ１１で撮像された撮像画像内に存在する影を認識する機能を有している。なお、本発明は、撮像画像内に存在する影の認識方法に特に制限されるものではなく、すなわち、影認識装置１２は、撮像画像内に存在する影を認識するために、任意の影認識技術を用いることが可能である。影認識装置１２による影認識結果は、自影判定装置１３に供給される。

自影判定装置１３は、本発明に係る自影判定方法を実行するための機能を有している。自影判定装置１３の自影判定部１３ａは、影認識装置１２から供給された影認識結果に基づいて、カメラ１１が搭載されている移動体の影（本明細書では、自影と呼ぶこともある）と、それ以外の影（その他の物体によって作り出された影）とを識別することで、自影を判定する機能を有している。なお、自影判定部１３ａによる自影判定機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。

また、自影判定装置１３の参照情報格納部１３ｂには、自影判定部１３ａによる自影の判定の際に用いられる参照情報が格納されている。なお、参照情報は、例えば、後述の自車部分画像や自影判定領域を示す情報などである。自影判定部１３ａによる自影判定結果は、影補正装置１４に供給される。

影補正装置１４は、カメラ１１から供給された撮像画像において、自影判定装置１３から供給された自影判定結果を参照することによって自影を特定し、撮像画像内における自影領域の画質を補正（改善）する機能を有している。影補正装置１４は、自影領域の補正を行うことによって、撮像画像における自影による影響を低減させることが可能である。なお、本発明は、撮像画像内に存在する自影の補正方法に特に制限されるものではなく、すなわち、影補正装置１４は、撮像画像内に存在する自影を補正するために、任意の影補正技術を用いることが可能である。影補正装置１４によって自影が補正された撮像画像（補正後の撮像画像）は、様々な用途に使用可能である。

例えば、影補正装置１４で生成された補正後の撮像画像は、表示モニタ１５に送られて表示される。補正後の撮像画像は、自影領域の画質が改善されており、本来、自影によって見えにくいはずの画像領域の視認性が向上される。

また、例えば、影補正装置１４で生成された補正後の撮像画像は、駐車支援装置１６に送られる。駐車支援装置１６では、例えばカメラ１１による撮像画像に基づいて、移動体（車両）を所望の駐車目標位置に駐車させる支援が行われるが、自影を含むカメラ１１からの撮像画像に代わって、自影の影響が除去された補正後の撮像画像を利用することで、より安全かつ確実な駐車支援が行われるようになる。

また、例えば、影補正装置１４で生成された補正後の撮像画像は、物体検出装置１７に送られる。物体検出装置１７においても、駐車支援装置１６と同様にカメラ１１による撮像画像に基づいて、進行方向を含む移動体の周辺に存在する物体（障害物）の検出が行われる。したがって、物体検出装置１７においても、自影を含むカメラ１１からの撮像画像に代わって、自影の影響が除去された補正後の撮像画像を利用することで、より確実に物体検出が行われるようになる。

次に、図２を参照しながら、図１に図示されている自影補正システムの動作の一例について説明する。図２には、本発明の実施の形態における自影判定方法を用いた自影補正システムの動作の一例を示すフローチャートが図示されている。なお、以下に説明する動作例では、図１に図示されている自影補正システムを駐車支援システムに適用し、図３Ａに図示されているように、移動体が車両３１であり、車両の後方に設置されているリヤカメラ３２（図１のカメラ１１に対応）が車両３１の後方を撮像するように車両３１のリヤ部に設置されている場合について説明する。

図２に示されているように、まず、例えば車両３１のシフトレバーがバック位置に操作された場合に、リヤカメラ３２が車両３１の後方の撮像を開始する（ステップＳ１００）。

ここで、リヤカメラ３２で撮像される撮像画像は、例えば図３Ｂに図示されているような画像であるとする。すなわち、リヤカメラ３２によって、自車両の一部３４ａ、立体物３５ａ、２本の白線３６、２つの車庫止め３７が撮像されている。なお、太陽などの光源が車両３１の前方右側に存在しており、自車両の影３４ｂ及び立体物の影３５ｂも撮像されている。また、図３Ｃに図示されているように、リヤカメラ３２によって撮像された撮像画像を鳥瞰画像に変換して表示モニタに表示することも可能である。

影認識装置１２は、リヤカメラ３２によって撮像された撮像画像を取得し、撮像画像内に存在する影の認識処理を行う（ステップＳ１０１）。なお、影認識装置１２は、上述のように任意の影認識技術を用いて影の認識を行うことが可能であるが、ここでは、影認識結果として、図４Ａに図示されているような影４１及び非影を表す２値画像（影画像）が得られるものとする。

この影認識結果を取得した自影判定装置１３の自影判定部１３ａは、まず、参照情報格納部１３ｂに格納されている自車部分画像を読み出す。なお、自車部分画像は、例えば図４Ｂに図示されているように、自車両の一部４２及び何も存在しない状態の外部４３を含む２値画像である。そして、自影判定装置１３の自影判定部１３ａは、この自車部分画像と影画像とを比較することによって、自影の候補を抽出する（ステップＳ１０２）。

なお、具体的には、ステップＳ１０２では、例えば下記の式（１）を用いて影画像と自車部分画像との差分を取ることで、図４Ｃに図示されているような差分画像を求めることが可能であり、この差分画像に含まれる影を自影の候補とすることが可能である。

ここで、式（１）において、Ｉｄ（ｘ，ｙ）、Ｉｓ（ｘ，ｙ）とＩｂ（ｘ，ｙ）は、それぞれ差分画像の輝度情報、影画像の輝度情報、自車部分画像の輝度値である。

なお、影認識装置１２による影認識結果の精度が高く、影と非影とを確実に認識することが可能であるならば、影認識装置１２による影認識結果と上記の差分画像とはほぼ等価である。したがって、影認識装置１２による影認識結果の精度が高い場合には、必ずしもステップＳ１０２の処理は行われる必要はない。

そして、自影判定装置１３の自影判定部１３ａは、ステップＳ１０２で得られた差分画像を用いて、影の塊（１つながりの影のまとまり）に分割し、ＩＤ（識別情報）を割り振るなどの影解析処理を行って自影の候補を解析する（ステップＳ１０３）。なお、具体的には、ステップＳ１０３では、ラベリング処理を用いて影の解析が行われる。その結果、図４Ｃに図示されているように、各影（図４Ｃでは影４４ａ及び影４４ｂ）に対してＩＤ（図４Ｃではラベル番号１及びラベル番号２）が付与される。

次に、自影判定装置１３の自影判定部１３ａは、参照情報格納部１３ｂに格納されている自影判定領域を示す情報を用いて、自影の選定を行う（ステップＳ１０４）。例えば、図５Ａに図示されているように、自影判定領域５１に重なっている影を自車両の影５２と判定し、それ以外を他物体の影５３と定める。具体的には、例えば下記の式（２）を用いて自影の判定が行われる。

ここで、式（２）において、Ｓ_Nは影の塊であり、Ｎは影のＩＤ（ラベル番号）であり、Ｓ_REFは自影判定領域である。

なお、自影判定領域は、例えば自車部分画像から設定することが可能である。自影判定領域は、例えば図５Ｂに示すように、自車部分画像内の自車両の一部４２が撮像されている領域の一部を切り出して切り出し領域５４とし、この切り出し領域５４に関して膨張などの処理を行って、膨張で得た領域５５を自影判定領域とすることが可能である。

また、自影判定領域は、図６Ａ〜図６Ｄを用いて説明される下記の理由により、リヤカメラ３２によって撮像される撮像画像の中央下側に配置されることが望ましい。

図６Ａには、光源６１が車両６２の前方右側に存在する場合に、車両６２によって投影される自影（自車両の影）６３が図示されている。図６Ａに図示されているような影が形成されている場合、リヤカメラ３２によって撮像される撮像画像は、図６Ｂに図示されているように、自車両の影６３が撮像画像内に大きく写り込むことになる。

一方、図６Ｃには、光源６１が車両６２の側方右側に存在する場合に、車両６２によって投影される自影（自車両の影）６５が図示されている。図６Ｃに図示されているような影が形成されている場合、リヤカメラ３２によって撮像される撮像画像は、図６Ｄに図示されているように、自車両の一部６４付近に横長に写り込むことになる。

図６Ｂ及び図６Ｄの撮像画像を比較すれば分かるように、リヤカメラ３２によって撮像される撮像画像内において、自車両の影は光源の位置によって領域の面積が大きく変化するが、影領域の大小を問わず、撮像画像に自影が写り込む場合には、必ず自車両の一部６４付近（自車両の一部６４の直上）は自影領域となる。また、図６Ａ〜図６Ｄの例では、車両の右側に光源６１が存在する場合について説明したが、車両の左側に光源６１が存在する場合は、左右対称の影が発生する。そして、実際には、車両の右側及び左側に光源が存在する確率は同一であることから、自影は、基本的に、撮像画像の中央下側に写り込むと言うことができる。したがって、自影の検出を行う自影判定領域を撮像画像の中央下側に配置することが有効である。

ステップＳ１０４で自影判定装置１３の自影判定部１３ａによる自影の選定結果は、影補正装置１４に供給される。影補正装置１４は、例えば、自影領域の周辺の画素（非影領域の画素）の輝度情報を用いて、自影領域の輝度情報を補正する（自影領域の輝度を上げる）などの処理を行って、撮像画像において自影の影響が少なくなるように画像の補正を行う（ステップＳ１０５）。

ステップＳ１０５で自影の影響が少なくなるように自影領域のみが補正された補正後の撮像画像は、例えば表示モニタ１５から表示される。その結果、表示モニタ１５には、図７Ａに図示されているように自影の影響の少ない画像が表示され、例えば、自影によって見えにくかった障害物７０がはっきりと確認できるようになる。また、図７Ｂに図示されているように、図７Ａの画像を鳥瞰画像に変換してから表示モニタ１５に表示することも可能である。

以上、説明したように、本発明によれば、移動体に設置されたカメラによって撮像された撮像画像内に存在する影の中から、移動体の影（自影）を判定することによって、移動体の影の影響が少なくなるように画像の補正を行うことが可能となる。特に、カメラが移動体の進行方向を撮像するように設置されている場合には、撮像画像内における自影の影響を少なくすることによって、進行方向に存在する物体や路面の凹凸などをより確実に確認（又は検出）できるようになり、移動体の進行の安全性を高めることが可能となる。

なお、本発明によれば、移動体と共に移動するように前記移動体に設置されている撮像装置によって撮像された画像内において、前記移動体の影を判定するための自影判定装置であって、
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
影認識装置によって認識された前記画像内に存在する影を、影認識結果として取得する影認識結果取得手段と、
前記影認識結果取得手段で取得された前記影認識結果から、前記画像内における前記移動体の影を判定する自影判定手段とを、
有する自影判定装置も提供される。

また、本発明によれば、本発明の自影判定方法をコンピュータに実行させるためのプログラムも提供される。

本発明は、移動体に設置されたカメラによって撮像された撮像画像内に存在する影の中から、移動体の影（自影）を判定することによって、移動体の影の影響が少なくなるように画像の補正を行うことが可能であり、撮像装置によって撮像された撮像画像に基づいて、車両の駐車支援やロボットの物体検出などを行う際の画像処理技術や、移動体を動かすユーザ支援技術、移動体の移動制御技術などに適用可能である。

本発明の実施の形態における自影判定方法を用いた自影補正システムの構成の一例を示す図である。 本発明の実施の形態における自影判定方法を用いた自影補正システムの動作の一例を示すフローチャートである。 本発明の実施の形態における自影判定方法が適用される車両を模式的に示す図である。 図３Ａに図示されているリヤカメラによって撮像される撮像画像の一例を示す図である。 図３Ａに図示されているリヤカメラによって撮像される撮像画像に係る鳥瞰画像の一例を示す図である。 図２に示すフローチャートのステップＳ１０１で得られる影認識結果（影画像）の一例を示す図である。 図２に示すフローチャートのステップＳ１０２で使用される自車部分画像の一例を示す図である。 図２に示すフローチャートのステップＳ１０２で作成される差分画像の一例を示す図である。 図２に示すフローチャートのステップＳ１０４における自影の選定の際に用いられる自影判定領域の概念を示す図である。 図５Ａに図示されている自影判定領域を設定する際に用いられる切り出し領域及び膨張処理の概念を示す図である。 車両の前方右側に光源が存在する場合に投影される車両の影を示す図である。 図６Ａの状況において、リヤカメラによって撮像される撮像画像の一例を示す図である。 車両の側方右側に光源が存在する場合に投影される車両の影を示す図である。 図６Ｃの状況において、リヤカメラによって撮像される撮像画像の一例を示す図である。 本発明の実施の形態における自影判定方法によって補正された撮像画像の一例を示す図である。 本発明の実施の形態における自影判定方法によって補正された撮像画像に係る鳥瞰画像の一例を示す図である。

符号の説明

１１ カメラ（撮像装置）
１２ 影認識装置
１３ 自影判定装置
１３ａ 自影判定部
１３ｂ 参照情報格納部
１４ 影補正装置
１５ 表示モニタ
１６ 駐車支援装置
１７ 物体検出装置
３１、６２ 車両
３２ リヤカメラ
３４ａ、４２、６４ 自車両の一部
３４ｂ、５２、６３、６５ 自車両の影（自影）
３５ａ 立体物
３５ｂ 立体物の影
３６ 白線
３７ 車庫止め
４１ 影
４３ 外部
４４ａ 影（ラベル番号１）
４４ｂ 影（ラベル番号２）
５１ 自影判定領域
５３ 他物体の影
５４ 切り出し領域
５５ 膨張で得た領域
６１ 光源
７０ 障害物

Claims (3)

1. 移動体と共に移動するように前記移動体に設置されている撮像装置によって撮像された画像内において、前記移動体の影を判定するためにコンピュータによって実行される自影判定方法であって、
   前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
   影認識装置によって認識された前記画像内に存在する影を、影認識結果として取得する影認識結果取得ステップと、
   前記影認識結果取得ステップで取得された前記影認識結果から、前記画像内の所定の自影判定領域に影が存在するか否かを判定し、前記所定の自影判定領域に影が存在する場合に、前記所定の自影判定領域の影を含む影のまとまりを前記移動体の影と決定する自影判定ステップとを、
   有する自影判定方法。
2. 前記移動体が撮像される画像領域の一部を切り出し領域と定め、前記切り出し領域を拡張する処理を行うことによって、前記所定の自影判定領域を定める請求項１に記載の自影判定方法。
3. 前記所定の自影判定領域の作成に用いている画像領域の一部を前記画像の中央下側に配備することによって、光源位置による影の変形に対応する請求項２に記載の自影判定方法。

Images