JP4732317B2 - 撮影制御装置、撮影装置、撮影制御プログラム、撮影制御方法 - Google Patents

Description

本発明は、照明及び撮影の制御を行う撮影制御装置、撮影装置、撮影制御プログラム、撮影制御方法に関するものである。

交通事故を減らすための技術の一つとして、車両周辺の歩行者や走行車両等、走路上もしくは走路内に進入し得る障害物を、車載カメラ映像に基づいて認識し、運転者へ提示することにより、運転者への注意を喚起する技術がある。

なお、本発明の関連ある従来技術として、ステレオカメラを用いて障害物を検出するステレオ式車外監視装置がある（例えば、特許文献１参照）。また、単一カメラを用いて障害物を検出する障害物検出装置がある（例えば、特許文献２参照）。また、アクティブセンサを用いる車両周辺監視装置がある（例えば、特許文献３参照）。また、外乱光の影響を抑える車載周辺状況検出装置がある（例えば、特許文献４参照）。
特開２００１−４１７４１号公報 特開２００３−４４９９６号公報 特開２００５−１５９３９２号公報 特開２００６−１１６７１号公報

しかしながら、特許文献１及び特許文献２の技術においては、複雑な画像処理が必要であるという問題がある。また、パッシブセンサであるため、撮影した画像に外乱光（夜間の対向車のヘッドライトや昼間の逆光等）が入った場合、障害物として誤認識する場合がある。また、撮影した画像における外乱光の影響により撮影した画像が飽和してしまう場合、障害物を認識することができなくなる。

また、特許文献３の技術によれば、近赤外光を照射して障害物を高輝度に撮影するアクティブセンサを用いることにより、画像処理の負荷を軽減することができる。また、夜間の障害物認識にも有効であり、障害物認識を行わない夜間の視覚補助機能は、実用化されている。しかしながら、上述した外乱光を障害物として誤認識する問題、及び外乱光による画像の飽和の問題には対応できていない。

また、特許文献４の技術によれば、近赤外光をＯＮにして撮影した画像（ＯＮ画像）と近赤外光をＯＦＦにして撮影した画像（ＯＦＦ画像）との差分画像から、高輝度で反射する標識を認識することができる。この技術によれば、ＯＮ画像とＯＦＦ画像において、外乱光が同様に撮影されるため、差分画像において外乱光の影響を小さくすることができ、上述した外乱光を障害物として誤認識する問題を低減することができる。しかしながら、外乱光による画像の飽和の問題は、解決されていない。

本発明は上述した問題点を解決するためになされたものであり、外乱光の影響を低減した画像を取得する撮影制御装置、撮影装置、撮影制御プログラム、撮影制御方法を提供することを目的とする。

上述した課題を解決するため、本発明は、照明部を点灯状態にしてカメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを行う取得部と、前記取得部より取得された前記第１画像及び前記第２画像に基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整を行う調整部とを備える。本発明によれば、外乱光の影響を低減した画像を取得することができる。

また、本発明は、指示に基づいて発光量を変化させることができる照明部と、指示に基づいて露光量を変化させることができるカメラと、前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを行う取得部と、前記取得部より取得された前記第１画像及び前記第２画像に基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整を行う調整部とを備える。

また、本発明は、照明部とカメラの制御をコンピュータに実行させる撮影制御プログラムであって、前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを実行する取得ステップと、前記取得ステップより取得された前記第１画像及び前記第２画像に基づいて、以後の前記取得ステップにおける前記カメラの露光量の制御を行う調整ステップとをコンピュータに実行させる。

また、本発明は、照明部とカメラの制御を行う撮影制御方法であって、前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを実行する取得ステップと、前記取得ステップより取得された前記第１画像及び前記第２画像に基づいて、以後の前記取得ステップにおける前記カメラの露光量の制御を行う調整ステップとを実行する。

また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。本発明によれば、外乱光の影響を低減した画像を取得することができる。

本発明によれば、外乱光の影響を低減した画像を取得することができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。

実施の形態１．
本実施の形態においては、本発明の撮影装置を適用した障害物検知装置について説明する。この障害物検知装置は、車両に搭載され、撮影した障害物（被写体）の存在を運転者に通知するものである。

まず、障害物検知装置の構成について説明する。

図１は、本実施の形態に係る障害物検知装置の構成の第１の例を示すブロック図である。この障害物検知装置２０は、タイミング制御部１、照明部２、カメラ３、画像メモリ４ａ，４ｂ、差分演算部５、強調部６、認識部７、通知部８、外乱光評価部９、強調評価部１０、調整部１１を備える。

照明部２は、可視光から近赤外光までの光を照射できるＬＥＤ（Light-Emitting Diode）であり、所定の撮影方向に向けて設置されている。また、照明部２の発光量は、調整部１１から与えられる発光量制御パラメータにより制御される。本実施の形態における発光量制御パラメータは、照明部２へ供給される電流値である。同様に、カメラ３は、可視光から近赤外光までを撮影できるカメラであり、所定の撮影方向に向けて設置されている。また、カメラ３の露光量は、調整部１１から与えられる露光量制御パラメータにより制御される。本実施の形態における露光量制御パラメータは、カメラ３のシャッタースピード及びアイリス（絞り）である。

タイミング制御部１は、照明部２がＯＮになる照射タイミング、カメラ３が撮影を行う撮影タイミングの制御を行う。なお、照明部２及びカメラ３は、本実施の形態の波長領域と異なる波長領域（例えば、近赤外光のみ、可視光のみ）を対象としても良い。

次に、障害物検知装置２０の動作について説明する。

図２は、本実施の形態に係る障害物検知装置の動作の一例を示すフローチャートである。最初の動作の前に、調整部１１は、照明部２に対して予め設定された発光量制御パラメータの初期値を設定し、カメラ３に対して予め設定された露光量制御パラメータの初期値を設定する。

まず、タイミング制御部１は、第１撮影処理を行う（Ｓ１１）。第１撮影処理において、タイミング制御部１は、照明部２に点灯タイミングを指示し、カメラ３、画像メモリ４ａ、調整部１１に対して、撮影タイミングを指示する。照明部２は、タイミング制御部１からの点灯タイミングの指示に従って点灯を行い、その後、カメラ３は、タイミング制御部１からの撮影タイミングに従って撮影を行う。画像メモリ４ａは、タイミング制御部１からの撮影タイミングに従って、照明部２の点灯時にカメラ３で撮影された画像ａを格納する。

次に、タイミング制御部１は、第２撮影処理を行う（Ｓ１２）。第１撮影処理と同様、第２撮影処理において、タイミング制御部１は、照明部２に消灯タイミングを指示し、カメラ３、画像メモリ４ｂ、調整部１１に対して、撮影タイミングを指示する。照明部２は、タイミング制御部１からの消灯タイミングの指示に従って消灯を行い、その後、カメラ３は、タイミング制御部１からの撮影タイミングに従って撮影を行う。画像メモリ４ｂは、照明部２の消灯時にカメラ３で撮影された画像ｂを格納する。

次に、外乱光評価部９及び強調評価部１０は、評価準備処理を行う（Ｓ１３）。ここで、外乱光評価部９は、外乱光の輝度の最大値である外乱光輝度最大値Ｐの値を０に初期化する。更に、強調評価部１０は、強調処理に用いる強調パラメータＱの値を１に初期化する。

次に、差分演算部５は、画素読み出し処理を行う（Ｓ１４）。ここで、差分演算部５は、第１撮影処理により画像メモリ４ａに格納された画像ａからラスタスキャン順に１画素ずつの輝度Ａ（画素値）を読み出すと共に、第２撮影処理により画像メモリ４ｂに格納された画像ｂからラスタスキャン順に１画素ずつの輝度Ｂ（画素値）を読み出す。

次に、差分演算部５は、画素毎に（Ａ−Ｂ）を算出して輝度Ｃとする差分演算処理を行う（Ｓ１５）。ここで、各画素の輝度Ｃからなる画像を画像ｃとする。次に、外乱光評価部９は、輝度Ａ，Ｃに基づいて、外乱光の部分の輝度Ａの最大値Ｐを求める外乱光評価処理を行う（Ｓ１６）。外乱光評価処理については、後述する。

次に、強調評価部１０は、画像ｃに基づいて、後述する強調処理により画像ｃを強調するための強調パラメータＱを算出する強調評価処理を行う（Ｓ１７）。強調処理は、画像ｃのダイナミックレンジを拡大する処理であり、強調評価処理は、強調処理において画像ｃに乗ずる倍率を強調パラメータＱとして算出する処理である。つまり、画像ｃのダイナミックレンジが小さいほど、強調パラメータＱの値は大きくなる。ここで、強調評価部１０は、画像ｃのダイナミックレンジ（輝度Ｃの最小値及び最大値）を算出し、このダイナミックレンジに基づいてＱを算出し、１フレーム分の強調評価処理から得られたＱの値を次のフレームの強調処理まで格納しておく。

次に、強調部６は、１フレーム前に算出されて格納された強調パラメータＱの値であるＱ’を用いて、現フレームの画像ｃを強調する強調処理を行う（Ｓ１８）。ここで、強調部６は、画像ｃにおける各画素の輝度Ｃに強調パラメータＱ’を乗じ、画像ｄを得る。つまり、画像ｄは、画像ｃのコントラストを高めた画像であり、障害物が強調された画像である。障害物が強調された画像ｄを用いて後段の認識処理を行うことにより、認識処置の負荷を軽減することができる。更に、後段の通知処理においてユーザが障害物を認識しやすい表示を行うことができる。

次に、強調部６は、１フレーム分の全ての画素について処理Ｓ１４〜Ｓ１８が終了したか否かの判定を行い、終了していない場合（Ｓ１９，Ｎ）、処理Ｓ１４に戻り、次の画素の処理を行い、終了した場合（Ｓ１９，Ｙ）、次の処理へ移行する。

次に、調整部１１は、外乱光評価処理により算出された外乱光輝度最大値Ｐ及び強調評価処理により算出された強調パラメータＱに基づいて、照明部２の発光量制御パラメータ及びカメラ３の露光量制御パラメータを調整する調整処理を行う（Ｓ２０）。次に、認識部７は、画像ｄに基づいて撮影方向における障害物を認識する認識処理を行う（Ｓ２１）。次に、通知部８は、画像ｄの表示、及び認識処理により認識された障害物の通知を行う通知処理を行い（Ｓ２２）、このフローは終了する。

なお、通知部８は、画像ｄを表示すると共に、認識処理により認識された障害物を強調表示しても良い。また、通知部８が画像ｄの表示だけを行う場合、障害物検知装置２０は、認識部７を備えなくても良い。また、障害物検知装置２０が認識部７を備える場合、通知部８は、画像ｄの表示を行わずに、表示、音声、振動等による障害物の通知を行っても良い。

次に、外乱光評価処理の詳細について説明する。

図３は、本実施の形態に係る外乱光評価処理の一例を示すフローチャートである。まず、外乱光評価部９は、予め設定された閾値Ｔ１（第１閾値）を用いて、｜Ｃ｜＜Ｔｄが成立するか否かの判定を行い、｜Ｃ｜＜Ｔ１が成立しない場合（Ｓ３１，Ｎ）、このフローは終了し、｜Ｃ｜＜Ｔ１が成立する場合（Ｓ３１，Ｙ）、次の処理へ移行する。次に、外乱光評価部９は、予め設定された閾値Ｔ２（第２閾値）を用いて、Ａ＞Ｔ２が成立するか否かの判定を行い、Ａ＞Ｔ２が成立しない場合（Ｓ３２，Ｎ）、このフローは終了し、Ａ＞Ｔ２が成立する場合（Ｓ３２，Ｙ）、次の処理へ移行する。次に、外乱光評価部９は、予め設定された閾値Ｔ２を用いて、Ａ＞Ｐが成立するか否かの判定を行い、Ａ＞Ｐが成立しない場合（Ｓ３３，Ｎ）、このフローは終了し、Ａ＞Ｐが成立する場合（Ｓ３３，Ｙ）、ＡをＰの値として更新し（Ｓ３４）、このフローは終了する。この外乱光評価処理によれば、点灯時と消灯時の輝度の差が小さく且つ輝度が高い画素を、外乱光の画素と判定することにより、外乱光輝度最大値Ｐを算出することができる。

次に、調整処理について説明する。

図４は、本実施の形態に係る調整処理の内容の一例を示す表である。この表は、外乱光輝度最大値Ｐ及び強調パラメータＱについての条件Ｃ１，Ｃ２，Ｃ３を示し、各条件に対して、Ｐの範囲、Ｑの範囲、状況、照明部２の発光量の調整方法、カメラ３の露光量の調整方法を示す。照明部２の発光量の調整方法、及びカメラ３の露光量の調整方法の内容は、実行済みの第１撮影処理及び第２撮影処理における発光量及び露光量に対して、次に実行する第１撮影処理及び第２撮影処理における発光量及び露光量をどのように変更するかを示す。

照明部２の発光量の調整方法において、「発光量を増大させる」とは、次回の第１撮影処理時に照明部２に供給する電流値を増大させることであり、「発光量を減少させる」とは、次の第１撮影処理時に照明部２に供給する電流値を減少させることである。また、カメラ３の露光量の調整方法において、「露光量を増大させる」とは、次の第１撮影処理時及び第２撮影処理時にカメラ３のシャッタースピードをより遅くすること、またはアイリスをより広くすること、または、それら両方を行うことであり、「露光量を減少させる」とは、次の第１撮影処理時及び第２撮影処理時にカメラ３のシャッタースピードをより速くすること、またはアイリスをより狭くすること、またはそれら両方を行うことである。

図５は、本実施の形態に係る発光量と露光量と画像の関係の第１の例を示す表である。この例の撮影環境は、夜間の場合であり、且つ画像内にヘッドライト光が入る場合である。この表は、照明部２の発光量の設定及びカメラ３の露光量の設定と、その設定に応じて得られる画像ａ，ｂ，ｃを示す。ここで、発光量は、「強」、「中」、「弱」の３段階で表され、露光量は、「大」、「小」の２段階で表される。図６は、本実施の形態に係る発光量と露光量と画像の関係の第２の例を示す表である。この例の撮影環境は、昼間の場合であり、且つ画像内に太陽光が入る場合である。この表の表記方法は、図５と同様である。

また、図５及び図６において、画像Ｆ１０，Ｆ３０は、照明部２が消灯状態、露光量が小のときの画像ｂである。画像Ｆ１１，Ｆ３１は、照明部２が点灯状態で発光量が弱、露光量が小のときの画像ａである。画像Ｆ１２，Ｆ３２は、照明部２が点灯状態で発光量が中、露光量が小のときの画像ａである。画像Ｆ１３，Ｆ３３は、照明部２が点灯状態で発光量が強、露光量が小のときの画像ａである。同様に、画像Ｆ２０，Ｆ４０は、照明部２が消灯状態、露光量が大のときの画像ｂである。画像Ｆ２１，Ｆ４１は、照明部２が点灯状態で発光量が弱、露光量が大のときの画像ａである。画像Ｆ２２，Ｆ４２は、照明部２が点灯状態で発光量が中、露光量が大のときの画像ａである。画像Ｆ２３，Ｆ４３は、照明部２が点灯状態で発光量が強、露光量が大のときの画像ａである。

ここで、画像Ｆ２０，Ｆ２１，Ｆ２２，Ｆ２３は、ヘッドライト光により飽和し、ヘッドライト光の領域が広がった画像になっている。また、画像Ｆ４０，Ｆ４１，Ｆ４２，Ｆ４３は、太陽光により飽和し、太陽光の領域が広がった画像になっている。

画像Ｆ１４は、画像Ｆ１０，Ｆ１１から得られる画像ｃである。画像Ｆ１５は、画像Ｆ１０，Ｆ１２から得られる画像ｃである。画像Ｆ１６は、画像Ｆ１０，Ｆ１３から得られる画像ｃである。画像Ｆ２４は、画像Ｆ２０，Ｆ２１から得られる画像ｃである。画像Ｆ２５は、画像Ｆ２０，Ｆ２２から得られる画像ｃである。画像Ｆ２６は、画像Ｆ２０，Ｆ２３から得られる画像ｃである。画像Ｆ３４は、画像Ｆ３０，Ｆ３１から得られる画像ｃである。画像Ｆ３５は、画像Ｆ３０，Ｆ３２から得られる画像ｃである。画像Ｆ３６は、画像Ｆ３０，Ｆ３３から得られる画像ｃである。画像Ｆ４４は、画像Ｆ４０，Ｆ４１から得られる画像ｃである。画像Ｆ４５は、画像Ｆ４０，Ｆ４２から得られる画像ｃである。画像Ｆ４６は、画像Ｆ４０，Ｆ４３から得られる画像ｃである。

ここで、認識処理や通知処理に適している画像ｃ、即ち、外乱光による飽和がなく、且つ障害物を区別することができる画像ｃは、画像Ｆ１５，Ｆ３６である。従って、それぞれの例の撮影環境における画像ｃとして画像Ｆ１５，Ｆ３６以外が得られた場合、調整部１１は、画像Ｆ１５，Ｆ３６が得られるように調整処理を行う。

例えば、画像ｃとして画像Ｆ１４，Ｆ２４が得られた場合、調整部１１は、発光量が弱過ぎると判断する。画像ｃとして画像Ｆ１６，Ｆ２６が得られた場合、調整部１１は、発光量が強過ぎると判断する。画像ｃとして画像Ｆ２４，Ｆ２５，Ｆ２６が得られた場合、調整部１１は、露光量が大き過ぎると判断する。同様に、画像ｃとして画像Ｆ３４，Ｆ３５，Ｆ４４，Ｆ４５が得られた場合、調整部１１は、発光量が弱過ぎると判断する。画像ｂとしてＦ４０が得られた場合、または画像ａとして画像Ｆ４１，Ｆ４２，Ｆ４３が得られた場合、調整部１１は、露光量が大き過ぎると判断する。

図７は、本実施の形態に係る調整処理の一例を示すフローチャートである。まず、調整部１１は、条件Ｃ１が成立するか否かの判定を行い、成立する場合（Ｓ４１，Ｙ）、第１調整処理を行い（Ｓ４２）、このフローを終了し、成立しない場合（Ｓ４１，Ｎ）、次の処理へ移行する。ここで、条件Ｃ１は、外乱光輝度最大値Ｐ及び予め設定された閾値Ｔ３を用い、Ｐ≧Ｔ３（第１範囲内）で表される。条件Ｃ１が成立する場合とは、外乱光が強すぎる場合である。また、この場合に実行される第１調整処理は、少なくともカメラ３の露光量を減少させるように露光量制御パラメータを変更する処理である。なお、第１調整処理は、更に照明部２の発光量を増大させるように発光量制御パラメータを変更しても良い。この第１調整処理によれば、次の第１撮影処理及び第２撮影処理において外乱光の影響を減少させ、飽和しない画像を撮影することができる。

次に、調整部１１は、条件Ｃ２が成立するか否かの判定を行い、成立する場合（Ｓ４３，Ｙ）、第２調整処理を行い（Ｓ４４）、このフローを終了し、成立しない場合（Ｓ４３，Ｎ）、次の処理へ移行する。ここで、条件Ｃ１は、強調パラメータＱ及び予め設定された閾値Ｔ４を用い、Ｑ≧Ｔ４（第２範囲内）で表される。条件Ｃ２が成立する場合とは、障害物からの反射光が弱すぎる場合である。また、この場合に実行される第２調整処理は、照明部２の発光量を増大させるように発光量制御パラメータを変更する処理、またはカメラ３の露光量を増大させるように露光量制御パラメータを変更する処理、またはそれら両方を行う処理である。例えば、障害物が遠方にのみ存在する場合、発光量制御パラメータと露光量制御パラメータの両方を変更する処理を行う。この第２調整処理によれば、次の第１撮影処理及び第２撮影処理において障害物からの反射光をより強く撮影することができる。

次に、調整部１１は、条件Ｃ３が成立するか否かの判定を行い、成立する場合（Ｓ４５，Ｙ）、第３調整処理を行い（Ｓ４６）、このフローを終了する。一方、成立しない場合（Ｓ４５，Ｎ）、調整部１１は、発光量及び露光量が適切であると判定し、照明部２の発光量制御パラメータ及びカメラ３の露光量制御パラメータを現状のまま変更せず、このフローを終了する。ここで、条件Ｃ３は、外乱光輝度最大値Ｐ及び予め設定された閾値Ｔ５を用いて、Ｑ＜Ｔ５（第３範囲内）で表される。条件Ｃ３が成立する場合とは、障害物からの反射光が強すぎる場合である。また、この場合に実行される第３調整処理は、照明部２の発光量を減少させるように発光量制御パラメータを変更する処理、またはカメラ３の露光量を減少させるように露光量制御パラメータを変更する処理、またはそれら両方を行う処理である。この第３調整処理によれば、次の第１撮影処理及び第２撮影処理において障害物からの反射光をより弱く撮影することができる。

この調整処理によれば、発光量及び露光量がフィードバック制御されることにより、以後の第１撮影処理及び第２撮影処理において認識処理及び通知処理に適した画像を取得することができる。特に、以後の第１撮影処理及び第２撮影処理における外乱光の影響を低減することができる。

なお、閾値Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５は予め設定されるとしたが、調整部１１は、取得した画像に基づいて各閾値を調整しても良い。また、調整処理において、Ｐの範囲、Ｑの範囲、発光量の調整方法、露光量の調整方法は、本実施の形態と異なる内容を用いても良い。

また、強調パラメータＱの代わりに画像ｃのダイナミックレンジＲを用いても良い。この場合、ダイナミックレンジが小さいほど、強調パラメータが大きくなるので、条件Ｃ１，Ｃ２，Ｃ３に用いるＲの範囲は、Ｑの範囲に比べて大小関係が逆になる。

本実施の形態によれば、障害物検知装置２０は、画像から撮影環境を判断し、発光量と露光量を調整することにより、障害物認識に適した画像を得ることができる。

ここで、本実施の形態に係る障害物検知装置の構成の第２の例について説明する。

図８は、本実施の形態に係る障害物検知装置の構成の第２の例を示すブロック図である。この図において、図１と同一符号は図１に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図１と比較すると、新たに差分画像メモリ１２を備える。

図９は、本実施の形態に係る障害物検知装置の動作の第２の例を示すフローチャートである。この図において、図２と同一符号は図２に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図２と比較すると、処理Ｓ１８を必要としない。

まず、図２と同様、処理Ｓ１１〜Ｓ１７が実行される。処理Ｓ１５において、差分演算部５は更に、画像ｃを差分画像メモリ１２に格納する。また、処理Ｓ１７において、強調評価部１０は、算出した強調パラメータＱを次のフレームまで格納する必要がない。処理Ｓ１７の後、強調評価部１０は、１フレーム分の全ての画素について、処理Ｓ１４〜Ｓ１７を終了したか否かの判断を行い、終了しない場合（Ｓ５０，Ｎ）、処理Ｓ１４へ戻り、次の画素の処理を行い、終了した場合（Ｓ５０，Ｙ）、次の処理へ移行する。

次に、強調部６は、画素読み出し処理を行う（Ｓ５１）。ここで、強調部６は、差分画像メモリ１２に格納された画像ｃからラスタスキャン順に１画素ずつの輝度Ｃ（画素値）を読み出す。次に、強調部６は、処理Ｓ１７により算出された現フレームの強調パラメータＱを用いて、現フレームの画像ｃを強調する強調処理を行う（Ｓ５４）。

次に、強調部６は、１フレーム分の全ての画素について、処理Ｓ５１，Ｓ５４を終了したか否かの判断を行い、終了しない場合（Ｓ５５，Ｎ）、処理Ｓ５１へ戻り、次の画素の処理を行い、終了した場合（Ｓ５５，Ｙ）、図２と同様、処理Ｓ２０〜Ｓ２２が実行される。

図１及び図２で示される障害物検知装置は、前フレームから得られる強調パラメータＱ’を用いて現フレームの強調処理を行ったが、図８及び図９で示される障害物検知装置は、現フレームから得られる強調パラメータＱを用いて現フレームの強調処理を行うことができ、強調パラメータＱの誤差が小さく、より正確な強調処理、認識処理、通知処理を行うことができる。

ここで、本実施の形態に係る障害物検知装置の構成の第３の例について説明する。

ここでの障害物検知装置の構成は、図１と同様である。図１０は、本実施の形態に係る障害物検知装置の動作の第３の例を示すフローチャートである。この図において、図２と同一符号は図２に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図２と比較すると、処理Ｓ１８を必要としない。

まず、図２と同様、処理Ｓ１１〜Ｓ１７が実行される。処理Ｓ１７において、強調評価部１０は、算出した強調パラメータＱを次のフレームまで格納する必要がない。処理Ｓ１７の後、強調評価部１０は、１フレーム分の全ての画素について、処理Ｓ１４〜Ｓ１７を終了したか否かの判断を行い、終了しない場合（Ｓ５０，Ｎ）、処理Ｓ１４へ戻り、次の画素の処理を行い、終了した場合（Ｓ５０，Ｙ）、次の処理へ移行する。

次に、差分演算部５は、処理Ｓ１４と同様の画素読み出し処理を行い（Ｓ５２）、処理Ｓ１５と同様の差分演算処理を行う（Ｓ５３）。次に、強調部６は、処理Ｓ１７により算出された現フレームの強調パラメータＱを用いて、処理Ｓ５３により算出された現フレームの画像ｃを強調する強調処理を行う（Ｓ５４）。

次に、強調部６は、１フレーム分の全ての画素について、処理Ｓ５２，Ｓ５３，Ｓ５４を終了したか否かの判断を行い、終了しない場合（Ｓ５５，Ｎ）、処理Ｓ５１へ戻り、次の画素の処理を行い、終了した場合（Ｓ５５，Ｙ）、図２と同様、処理Ｓ２０〜Ｓ２２が実行される。

この障害物検知装置は、現フレームから得られる強調パラメータＱを用いて現フレームの強調処理を行うことができるだけでなく、差分演算メモリ１２を必要としないため、コストの上昇を防ぐことができる。

実施の形態２．
本実施の形態においては、本発明の撮影装置を適用した障害物検知システムについて説明する。

まず、障害物検知システムの構成について説明する。

図１１は、本実施の形態に係る障害物検知システムの構成の一例を示すブロック図である。この障害物検知システムは、インフラ装置２１と車載装置２２を備える。この図において、図１と同一符号は図１に示された対象と同一又は相当物を示しており、ここでの説明を省略する。インフラ装置２１は、障害物検知装置２０におけるタイミング制御部１、照明部２、カメラ３、画像メモリ４ａ，４ｂ、差分演算部５、強調部６、外乱光評価部９、強調評価部１０、調整部１１の他に、送信部３１を備える。車載装置２２は、障害物検知装置２０における認識部７、通知部８の他に、受信部４１を備える。

次に、障害物検知システムの動作について説明する。

この障害物検知システムにおいて、障害物検知装置２０における処理Ｓ１１〜Ｓ２０は、インフラ装置２１により行われ、障害物検知装置２０における処理Ｓ２１〜Ｓ２２は、車載装置２２により行われる。また、送信部３１は、強調部６により得られる画像ｄのデータを車載装置２２へ送信し、受信部４１は、インフラ装置２１から送信された画像ｄのデータを受信し、認識部７及び通知部８へ渡す。

図１２は、本実施の形態に係る障害物検知システムの動作の一例を示す概念図である。交差点において路側に設置されたインフラ装置２１は、カメラ３で障害物を撮影し、撮影した画像から得られるデータを送信部３１により車載装置２２へ送信する。車両５１に搭載された車載装置２２は、受信したデータに基づいて車両の運転者への通知を行う。この図に示すように、カメラ３は、車両５１の死角５３を撮影するように設置される。ここで、車両５１は、交差点で右折しようとする車両であり、車両５１の死角５３とは、車両５１から見て対向車線の右折車５２により隠れる領域である。

なお、車載装置２２における認識部７は、インフラ装置２１に備えられても良い。この場合、送信部３１は、認識部７により認識された障害物のデータを車載装置２２へ送信し、受信部４１は、インフラ装置２１から送信された障害物のデータを受信し、通知部８へ渡す。この場合、車載装置２２は、認識部７が不要となるため、車載装置２２の負担を軽減することができる。更に、送信部３１から受信部４１へのデータは、画像のデータより小さいため、通信への負担を軽減することができる。また、通知部８が画像ｄの表示だけを行う場合、インフラ装置２１及び車載装置２２は、認識部７を備えなくても良い。また、インフラ装置２１または車載装置２２が認識部７を備える場合、通知部８は、画像ｄの表示を行わずに、表示、音声、振動等による障害物の通知を行っても良い。

本実施の形態によれば、車両の運転者に対して視覚補助を行うことにより、車両の運転における安全性を向上させることができる。

なお、取得部は、実施の形態におけるタイミング制御部１に対応する。また、調整部は、実施の形態における調整部、差分演算部、外乱光評価部、強調評価部に対応する。また、表示部及び通知部は、実施の形態における通知部に対応する。また、第１処理は、実施の形態における第１撮影処理に対応する。また、第２処理は、実施の形態における第３撮影処理に対応する。また、取得ステップは、実施の形態における処理Ｓ１１，Ｓ１２に対応する。また、調整ステップは、実施の形態における処理Ｓ１３〜Ｓ１７，Ｓ１９，Ｓ２０に対応する。

また、上述した実施の形態に係る障害物検知装置、インフラ装置、車載装置は、情報処理装置に容易に適用することができ、情報処理装置の性能をより高めることができる。ここで、情報処理装置には、例えばカーナビゲーションシステム、ＥＣＵ（Electric Control Unit）、ＰＣ（Personal Computer）等が含まれ得る。

更に、撮影制御装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、撮影制御プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、撮影制御装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。

（付記１） 照明部を点灯状態にしてカメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを行う取得部と、
前記取得部より取得された前記第１画像及び前記第２画像に基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整を行う調整部と、
を備える撮影制御装置。
（付記２） 付記１に記載の撮影制御装置において、
前記調整部は更に、前記取得部より取得された前記第１画像及び前記第２画像に基づいて、以後の前記第１処理及び前記第２処理における前記照明部の発光量の調整を行うことを特徴とする撮影制御装置。
（付記３） 付記１または付記２に記載の撮影制御装置において、
前記調整部は、前記第１画像及び前記第２画像における対応する画素値の差を算出することにより第３画像を取得し、前記第１画像及び前記第２画像のいずれかである第４画像と前記第３画像とに基づいて前記調整を行うことを特徴とする撮影制御装置。
（付記４） 付記３に記載の撮影制御装置において、
前記調整部は、前記第３画像中の画素値が所定の第１閾値より小さく、且つ前記第４画像中の画素値が所定の第２閾値より大きい領域を第１領域とし、前記第４画像のうち前記第１領域中の画素値に基づいて第１パラメータを算出し、前記第３画像中の画素値の分布に基づいて第２パラメータを算出し、前記第１パラメータと前記第２パラメータを含むことを特徴とする撮影制御装置。
（付記５） 付記４に記載の撮影制御装置において、
前記第１パラメータが所定の第１範囲内である場合、前記調整部は、前記発光量を増大させる処理と前記露光量を減少させる処理との少なくとも前記露光量を減少させる処理を行うことを特徴とする撮影制御装置。
（付記６） 付記５に記載の撮影制御装置において、
前記第１パラメータが所定の第１範囲内でない場合、且つ前記第２パラメータが所定の第２範囲内である場合、前記調整部は、前記発光量を増大させる処理と前記露光量を増大させる処理との少なくともいずれかを行うことを特徴とする撮影制御装置。
（付記７） 付記６に記載の撮影制御装置において、
前記第１パラメータが所定の第１範囲内でない場合、且つ前記第２パラメータが所定の第２範囲内でない場合、且つ前記第２パラメータが所定の第３範囲内である場合、前記調整部は、前記発光量を減少させる処理と前記露光量を減少させる処理との少なくともいずれかを行うことを特徴とする撮影制御装置。
（付記８） 付記４乃至付記７のいずれかに記載の撮影制御装置において、
前記第１パラメータは、前記第４画像のうち前記第１領域中の画素値の最大値であることを特徴とする撮影制御装置。
（付記９） 付記４乃至付記８のいずれかに記載の撮影制御装置において、
前記第２パラメータは、前記第３画像中の画素値のダイナミックレンジを拡大するための画素値の倍率であることを特徴とする撮影制御装置。
（付記１０） 付記１乃至付記９のいずれかに記載の撮影制御装置において、
前記調整部は、前記カメラのシャッタースピード及びアイリスの少なくともいずれかの制御を行うことにより、前記露光量の制御を行うことを特徴とする撮影制御装置。
（付記１１） 付記４乃至付記１０のいずれかに記載の撮影制御装置において、
更に、前記調整部により算出された第２パラメータに基づいて前記第３画像における被写体の強調を行うことにより第５画像を取得する強調部を備えることを特徴とする撮影制御装置。
（付記１２） 付記１１に記載の撮影制御装置において、
更に、前記強調部により算出された第５画像の表示を行う表示部を備えることを特徴とする撮影制御装置。
（付記１３） 付記１１または付記１２に記載の撮影制御装置において、
更に、前記強調部により算出された第５画像に基づいて、前記被写体の認識を行う認識部を備えることを特徴とする撮影制御装置。
（付記１４） 付記１３に記載の撮影制御装置において、
更に、前記認識部により認識された被写体の通知を行う通知部を備えることを特徴とする撮影制御装置。
（付記１５） 付記１３または付記１４に記載の撮影制御装置において、
更に、前記強調部により算出された第５画像と前記認識部により認識された被写体の情報との少なくともいずれかの送信を行う送信部を備えることを特徴とする撮影制御装置。
（付記１６） 指示に基づいて発光量を変化させることができる照明部と、
指示に基づいて露光量を変化させることができるカメラと、
前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを行う取得部と、
前記取得部より取得された前記第１画像及び前記第２画像に基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整を行う調整部と、
を備える撮影装置。
（付記１７） 付記１６に記載の撮影装置において、
前記調整部は更に、前記取得部より取得された前記第１画像及び前記第２画像に基づいて、以後の前記第１処理及び前記第２処理における前記照明部の発光量の調整を行うことを特徴とする撮影装置。
（付記１８） 照明部とカメラの制御をコンピュータに実行させる撮影制御プログラムであって、
前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを実行する取得ステップと、
前記取得ステップより取得された前記第１画像及び前記第２画像に基づいて、以後の前記取得ステップにおける前記カメラの露光量の制御を行う調整ステップと、
をコンピュータに実行させる撮影制御プログラム。
（付記１９） 付記１８に記載の撮影制御プログラムにおいて、
前記調整ステップは更に、前記取得部より取得された前記第１画像及び前記第２画像に基づいて、以後の前記第１処理及び前記第２処理における前記照明部の発光量の調整を行うことを特徴とする撮影制御プログラム。
（付記２０） 照明部とカメラの制御を行う撮影制御方法であって、
前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを実行する取得ステップと、
前記取得ステップより取得された前記第１画像及び前記第２画像に基づいて、以後の前記取得ステップにおける前記カメラの露光量の制御を行う調整ステップと、
を実行する撮影制御方法。

実施の形態１に係る障害物検知装置の構成の第１の例を示すブロック図である。 実施の形態１に係る障害物検知装置の動作の第１の例を示すフローチャートである。 実施の形態１に係る外乱光評価処理の一例を示すフローチャートである。 実施の形態１に係る調整処理の内容の一例を示す表である。 実施の形態１に係る発光量と露光量と画像の関係の第１の例を示す表である。 実施の形態１に係る発光量と露光量と画像の関係の第２の例を示す表である。 実施の形態１に係る調整処理の一例を示すフローチャートである。 実施の形態１に係る障害物検知装置の構成の第２の例を示すブロック図である。 実施の形態１に係る障害物検知装置の動作の第２の例を示すフローチャートである。 実施の形態１に係る障害物検知装置の動作の第３の例を示すフローチャートである。 実施の形態２に係る障害物検知システムの構成の一例を示すブロック図である。 実施の形態２に係る障害物検知システムの動作の一例を示す概念図である。

符号の説明

１ タイミング制御部、２ 照明部、３ カメラ、４ａ，４ｂ 画像メモリ、５ 差分演算部、６ 強調部、７ 認識部、８ 通知部、９ 外乱光評価部、１０ 強調評価部、１１ 調整部、１２ 差分画像メモリ、２０ 障害物検知装置、２１ インフラ装置、２２ 車載装置、３１ 送信部、４１ 受信部、５１ 車両、５２ 右折車、５３ 死角。

Claims (5)

1. 照明部を点灯状態にしてカメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを行う取得部と、
   前記取得部より取得された前記第１画像及び前記第２画像における対応する画素値の差を算出することにより第３画像を取得し、前記第３画像中の画素値が所定の第１閾値より小さく、且つ前記第１画像及び前記第２画像のいずれかである第４画像中の画素値が所定の第２閾値より大きい領域を第１領域とし、前記第４画像のうち前記第１領域中の画素値に基づいて第１パラメータを算出し、前記第３画像中の画素値のダイナミックレンジに基づいて第２パラメータを算出し、前記第１パラメータと前記第２パラメータとに基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整と以後の前記第１処理における前記照明部の発光量の調整とを行う調整部と、
   を備える撮影制御装置。
2. 請求項１に記載の撮影制御装置において、
   前記第１パラメータは、前記第４画像のうち前記第１領域中の画素値の最大値であることを特徴とする撮影制御装置。
3. 指示に基づいて発光量を変化させることができる照明部と、
   指示に基づいて露光量を変化させることができるカメラと、
   前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを行う取得部と、
   前記取得部より取得された前記第１画像及び前記第２画像おける対応する画素値の差を算出することにより第３画像を取得し、前記第３画像中の画素値が所定の第１閾値より小さく、且つ前記第１画像及び前記第２画像のいずれかである第４画像中の画素値が所定の第２閾値より大きい領域を第１領域とし、前記第４画像のうち前記第１領域中の画素値に基づいて第１パラメータを算出し、前記第３画像中の画素値のダイナミックレンジに基づいて第２パラメータを算出し、前記第１パラメータと前記第２パラメータとに基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整と以後の前記第１処理における前記照明部の発光量の調整とを行う調整部と、
   を備える撮影装置。
4. 照明部とカメラの制御をコンピュータに実行させる撮影制御プログラムであって、
   前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを実行する取得ステップと、
   前記取得ステップより取得された前記第１画像及び前記第２画像おける対応する画素値の差を算出することにより第３画像を取得し、前記第３画像中の画素値が所定の第１閾値より小さく、且つ前記第１画像及び前記第２画像のいずれかである第４画像中の画素値が所定の第２閾値より大きい領域を第１領域とし、前記第４画像のうち前記第１領域中の画素値に基づいて第１パラメータを算出し、前記第３画像中の画素値のダイナミックレンジに基づいて第２パラメータを算出し、前記第１パラメータと前記第２パラメータとに基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整と以後の前記第１処理における前記照明部の発光量の調整とを行う調整ステップと、
   をコンピュータに実行させる撮影制御プログラム。
5. 照明部とカメラの制御を行う撮影制御方法であって、
   前記照明部を点灯状態にして前記カメラに撮影を行わせることにより第１画像を取得する第１処理と、前記照明部を消灯状態にして前記カメラに撮影を行わせることにより第２画像を取得する第２処理とを実行する取得ステップと、
   前記取得ステップより取得された前記第１画像及び前記第２画像おける対応する画素値の差を算出することにより第３画像を取得し、前記第３画像中の画素値が所定の第１閾値より小さく、且つ前記第１画像及び前記第２画像のいずれかである第４画像中の画素値が所定の第２閾値より大きい領域を第１領域とし、前記第４画像のうち前記第１領域中の画素値に基づいて第１パラメータを算出し、前記第３画像中の画素値のダイナミックレンジに基づいて第２パラメータを算出し、前記第１パラメータと前記第２パラメータとに基づいて、以後の前記第１処理及び前記第２処理における前記カメラの露光量の調整と以後の前記第１処理における前記照明部の発光量の調整とを行う調整ステップと、
   を実行する撮影制御方法。