JP2011150600A - 画像評価装置、画像評価方法、及び画像評価プログラム - Google Patents

Abstract

【課題】移動体に搭載されているカメラが移動中に得た画像の品質を適切に評価する。
【解決手段】算出部１１は、道路上の移動体に設置されたカメラ２で撮像された、当該道路の前方の風景の画像の空間周波数を算出する。評価部１２は、算出部１１が算出した画像の空間周波数における、カメラ２で画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、その画像の品質を評価する。
【選択図】 図１

Description

本明細書で議論される実施態様は、画像処理技術に関する。

昨今、移動体に搭載したカメラで得られる画像情報を利用する様々な技術が提案されている。そのような技術のうちのひとつに、自動車に搭載したカメラで撮像した画像から他車の像や道路上の白線の像を認識して、他車との衝突の防止機能や走行レーンをキープした走行機能を提供するシステムが現れてきている。このような機能を利用して車両の走行の安全を維持するには、カメラでの撮像画像の品質が、各種の特徴物の検出に適したものであるかどうかを判断し、品質が低い場合には、例えばシステムを停止させる等の対処を行う必要がある。

この撮像画像の品質を低下させる要因のひとつとして、カメラの画像ボケや、雨・霧などの天候状態を挙げることができる。このうちの画像ボケの程度については、一次元又は二次元のＦＦＴ（高速フーリエ変換）等で画像の空間周波数を算出し、そのうちの高周波成分の強度を参照して評価する手法が一般的に知られている。

このような、画像の品質の評価を機械的に行う技術として、この他にも、複数の画像から最も鮮明なものを選択するために、ウェーブレット変換を使用して画像の鮮明度を得るという技術が提案されている。また、ＪＰＥＧ（Joint Photographic Coding Experts Group）形式の圧縮された画像のボケの有無の判定を高速に行うために、離散コサイン変換を用いるという技術も提案されている。

特開平１０−７４１９２号公報 特開２００７−２２０００９号公報

移動体に搭載したカメラは、電柱や建造物等の人工物も、風景の一部として撮像してしまう。このような人工物を含む風景の画像の空間周波数は高周波成分が多い。また、移動体が移動中である場合には、被写体までの距離や背景そのものが時々刻々と変化するため、空間周波数の各成分は大きく変化する。つまり、移動体が移動中である場合では、画像の空間周波数における高周波成分の変動は、濃霧等の天候に起因するものよりも、背景の変化に起因するものの方が支配的となる。このため、画像の空間周波数における高周波成分の強度を単純に参照していても、画像ボケの程度を的確に求めることは難しい。また、従来用いられてきた画像ボケの検出手法は、ほぼ同一の被写体を様々な条件のもとで撮影し、相対的なボケ状態の比較を行うものであるため、被写体が不明である画像のボケ状態を判別する、絶対的な評価とはなりえない。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、移動体に搭載されているカメラが移動中に得た画像の品質を適切に評価することである。

本明細書で後述する画像評価装置のひとつには、算出手段と評価手段とを有するというものがある。このうち、算出手段は、道路上の移動体に設置されたカメラで撮像された、当該道路の前方の風景の画像の空間周波数を算出する。また、評価手段は、算出手段が算出した画像の空間周波数における、当該カメラで画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、その画像の品質を評価する。

また、本明細書で後述する画像評価方法のひとつは、まず、道路上の移動体に設置されたカメラで撮像された、該道路の前方の風景の画像の空間周波数を算出する。そして、算出された画像の空間周波数における、当該カメラで画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、その画像の品質を評価する。

また、本明細書で後述する画像評価プログラムのひとつは、演算処理装置が実行することによって、算出処理と評価処理とを、その演算処理装置に行わせるというものである。
このうち、算出処理は、道路上の移動体に設置されたカメラで撮像された、該道路の前方の風景の画像の空間周波数を算出する。また、評価処理は、算出処理により算出された画像の空間周波数における、当該カメラで該画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、その画像の品質を評価する。

本明細書で後述する画像評価装置は、移動体に搭載されているカメラが移動中に得た画像の品質を適切に評価できる。

画像処理システムである。 カメラの自動車への搭載例を模式的に描いた図である。 画像評価装置のハードウェア構成図である。 画像評価処理の処理内容を図解したフローチャートである。 カメラでの撮像画像例（その１）である。 自動車が走行している場面（シーン）と、部分画像の空間周波数の高周波数成分との関係の実測結果を表しているグラフである。 部分画像の空間周波数のうちの垂直方向成分のパワースペクトルの周波数分布例である。 カメラでの撮像画像例（その２）である。

まず図１について説明する。図１には、画像処理システムの構成の一例が図解されている。この画像処理システムは、画像評価装置１、カメラ２、及び画像処理装置３を備えており、本実施形態においては、移動体である自動車に搭載する。

画像評価装置１は、カメラ２から出力される撮像画像の品質の評価、特に、当該画像のボケの評価を行い、評価結果を出力する。画像評価装置１は、算出部１１と評価部１２とを機能ブロックとして有している。

算出部１１は、カメラ２で撮像された画像の空間周波数を算出する。
評価部１２は、算出部１１が算出した画像の空間周波数における、カメラ２で画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である、垂直方向成分に基づいて、その画像の品質（本実施形態では画像のボケ）を評価する。

カメラ２は、自動車に設置されており、本実施形態においては、当該自動車が走行する道路の前方（進行方向）の風景を被写体とする画像の撮像を行い、得られた撮像画像を出力する。

図２は、カメラ２の自動車への搭載例を模式的に描いた図である。この搭載例は、車内の上部に設置されているルームミラーの裏側にカメラ２を固定して設置していることを表している。

なお、カメラ２の撮像方向は、なるべく遠方の風景（走行中の直線平坦道路の彼方など）が撮像画像に映り込む方向に向けて設置することが好ましい。すなわち、例えば、カメラ２の位置に置いた視点から見た自動車前方の風景の像における消失点が、撮像画像中に含まれるように撮像方向を向けて設置することが好ましい。なお、カメラ２の撮像方向をこのような方向に向けることに加え、本実施形態では、撮像画像の横方向が撮像画像に映る風景における水平線方向と一致するように、カメラ２の撮影方向に対する回転角（ロール角）を固定して設置する。

画像処理装置３は、カメラ２から出力される撮像画像に対して画像処理を施して、当該撮像画像から各種の情報を取得して出力する。例えば、画像処理装置３は、他車との衝突の防止機能や走行レーンをキープした走行機能を自動車が提供するために利用される、当該撮像画像から他車の像や道路上の白線の像を認識する処理を行う。なお、画像処理装置３は、画像評価装置１から受け取る当該撮像画像の評価結果が「良好」であった場合には、このような画像処理を実施して処理結果を出力する。その一方、画像処理装置３は、画像評価装置１から受け取る当該撮像画像の評価結果が「不良」であった場合には、このような画像処理を実施せず、処理結果を出力しない。

次に図３について説明する。図３には、図１の画像処理システムにおける画像評価装置１のハードウェア構成が図解されている。
画像評価装置１は、ＭＰＵ１６、インタフェース部１７、ＲＯＭ１８、及びＲＡＭ１９を有している。なお、これらの構成要素はバス２０を介して接続されており、ＭＰＵ１６の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（Micro Processing Unit）１６は、画像評価装置１全体の動作を制御する演算処理装置である。
インタフェース部１７は、図１の画像処理システムに備えられているカメラ２及び画像処理装置３との間で行う各種の情報の授受を管理する。

ＲＯＭ（Read Only Memory）１８は、所定の基本制御プログラム及び画像評価プログラムと、これらのプログラムの実行の際に使用される各種のデータとが予め記録されている読み出し専用半導体メモリである。ＭＰＵ１６は、図１の画像処理システムの起動時に基本制御プログラムをＲＯＭ１８から読み出して実行することにより、画像評価装置１の各構成要素の動作制御が可能になる。ＭＰＵ１６は、この後に、画像評価プログラムをＲＯＭ１８から読み出して実行することにより、後述する画像評価処理を画像評価装置１が行うようになる。なお、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）をＲＯＭ１８として使用することは、勿論可能である。

ＲＡＭ（Random Access Memory）１９は、ＭＰＵ１６が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。

次に図４について説明する。図４は、画像評価装置１のＭＰＵ１６により行われる画像評価処理の処理内容を図解したフローチャートである。ＭＰＵ１６は、Ｓ１０１からＳ１０３の処理を行うことで算出部１１としての機能を提供し、Ｓ１０４からＳ１０６の処理を行うことで評価部１２としての機能を提供する。

この画像評価処理が開始されると、まず、Ｓ１０１において、カメラ２から出力される撮像画像を取得する処理が行われる。
次に、Ｓ１０２において、評価対象領域画像抽出処理が行われる。この処理は、Ｓ１０１の処理で取得した撮像画像から、評価部１２での画質評価の対象とする領域内の画像（部分画像）を抽出する処理である。この部分画像の抽出について、図５の画像例を用いて説明する。

評価部１２での画質評価の対象とする部分画像は、より遠方の風景が映っているものの方が好ましい。これは、霧や豪雨等といった野外での自然現象が発生している場合には、撮像画像に映る風景におけるより遠方の被写体ほどボケ量が多くなるので、撮影画像におけるボケの発生を見つけ易いからである。また、カメラ２に余りに近い風景の画像を画質評価の対象とすると、そのような部分画像には被写体がその細部に亘って映るために、部分画像の撮像毎の変動が大きくなり、全体的な画像ボケの傾向が把握し難くなるという側面も有しているからである。更には、撮像画像の画質評価の対象を、このように、当該撮像画像における一部の領域のみに限定することで、後に行う空間周波数の算出をこの一部の領域のみ行えばよくなる。従って、このように限定する結果として、空間周波数の算出に要する処理負担が、撮像画像全体について算出する場合に比べて軽減するという効果も得られる。

本実施形態では、撮像画像の上端から縦方向に所定の範囲内に含まれる領域内の画像から部分画像を抽出するようにする。図５の撮像画像例に描かれている矩形枠内の画像部分が、このようにして撮像画像から抽出される部分画像である。カメラ２が自動車に固定して設置されており、その撮影方向も固定されているので、このようにして撮像画像から抽出した部分画像には、撮像画像のうちカメラ２から所定距離以上離れている、遠くの被写体が映っている。また、詳細は後述するが、このようにして部分画像を撮像画像から抽出したときに、被写体である風景における水平線や地平線がこの部分画像に含まれるように、カメラ２の撮影方向を予め設定しておくと好ましい。
なお、Ｓ１０２の処理を省略し、カメラ２で撮像した撮像画像全体を、評価部１２での画質評価の対象とすることも可能である。

次に、Ｓ１０３では、空間周波数算出処理が行われる。この処理は、Ｓ１０２の処理で抽出された部分画像（評価部１２での画質評価の対象とした画像）の空間周波数を算出する処理である。なお、本実施形態では、当該画像の空間周波数のうち、当該部分画像における縦方向の成分のみを算出する。なお、この縦方向とは、撮像画像における被写体である風景における水平線の方向に対する垂直方向である。これは、評価部１２が、画像の空間周波数の垂直方向成分に基づいて、撮像画像の品質評価を行うからである。この撮像画像の品質評価について説明する。

撮像画像は、水平方向と垂直方向とからなる二次元の空間領域で定義された関数で表すことができるので、周波数領域でもこの二次元で表現される。評価部１２は、撮像画像を表す関数をフーリエ変換して得られる空間周波数のうちの垂直方向成分を用いて、撮像画像のボケの評価を行う。

部分画像には、自動車が走行する道路の前方の彼方（例えば風景の消失点付近）の風景が映っているのであるが、このような部分画像には、水平線・地平線や路肩の境界などがエッジとしてほぼ定常的に映り込む。これらのエッジは、部分画像においてのほぼ横方向に延びている。従って、これらのエッジの存在は、部分画像の空間周波数の垂直方向成分における高周波成分の多さとして現れる。その一方、部分画像の空間周波数の水平方向成分における高周波成分を多くさせるエッジを部分画像にもたらすような被写体は、自動車が走行する道路周辺の環境に強く依存し、安定した指標とはなりえない。

ここで図６について説明する。図６は、図１の画像処理システムを搭載している自動車が走行している場面（シーン）と、部分画像の空間周波数の高周波数成分との関係の実測結果を表しているグラフである。

図６において、上段のグラフは［１］空間周波数の垂直方向成分についての高周波数成分を表しており、下段のグラフは［２］空間周波数の水平方向成分についての高周波数成分を表している。

両グラフの縦軸は、高周波数成分の量（高周波数成分強度）を表しており、上に行くほどその量が多いことを表している。また、両グラフの横軸は、画像を個々に識別するフレーム番号を表している。ここで、フレーム０〜５００は、「郊外」の道路を走行中に撮像された画像である。フレーム５００〜１０００は、「街中」の道路を走行中に撮像された画像であって、多数の人工物が映り込んでおり、背景が複雑なものとなっている。フレーム１０００〜１５００は、街外れの「外周路」を走行中に撮像された画像であって、上述した「街中」よりも、背景は単純なものとなっている。フレーム１５００〜２０００は、「郊外」の道路を走行中に撮像された画像であるが、フレーム０〜５００のものよりも背景のコントラストが高い画像である。

なお、以上の０〜２０００フレームまでの画像は画像ボケのない画像である。これに対し、２０００フレーム以降の画像は、霧の中を走行中に撮像された画像であり、画像ボケが発生している画像である。なお、２５００フレーム付近の撮像画像は、トンネル内を走行したときのものである。

この図６において、［１］のグラフでは、画像ボケが発生している２０００フレーム以降における高周波数成分強度は、画像ボケが発生していない２０００フレーム以前におけるものよりも低下していることが明瞭に分かる。従って、例えば、［１］のグラフの縦軸における「０．６」の値を閾値として予め設定しておき、この閾値と高周波数成分強度との大小比較を行うことで、画像ボケ発生の検出を行うことができる。
これに対し、［２］のグラフでは、２０００フレーム以降とそれ以前との間で、高周波数成分強度に明瞭な違いを見出すことが難しい。

以上のように、前述したようにして得た部分画像の多くは、空間周波数の垂直方向成分における高周波成分の量が安定しているので、画像ボケの発生による高周波成分の量の低下の検出を明瞭に行うことができるのである。評価部１２が、撮像画像のボケの評価を、部分画像の空間周波数のうちの垂直方向成分を用いて行うのは、以上の理由によるものである。

以上のように、評価部１２は、部分画像の空間周波数のうちの垂直方向成分を用いるので、図４のＳ１０３の空間周波数算出処理では、この垂直方向成分のみを算出するようにして、空間周波数算出の処理負担を軽減する。

なお、撮像画像の横方向と当該撮像画像に映る風景の水平線方向とを一致させておいたので、部分画像の空間周波数のうちの垂直方向成分は、例えば、部分画像を構成する各縦列の画素列に対し、周知の一次元高速フーリエ変換処理を施すことで容易に算出できる。勿論、部分画像を構成する各画素に対し周知の二次元高速フーリエ変換処理を施し、得られた空間周波数から垂直方向成分のみを抽出して当該垂直方向成分を得るようにしても、構わない。

次に、Ｓ１０４では、Ｓ１０３の空間周波数算出処理により算出された垂直方向成分のうちの高周波数成分を算出する処理が行われる。この処理は、まず、部分画像の空間周波数のうちの垂直方向成分を同一周波数毎に各縦列で加算して得られる、パワースペクトルの周波数分布に注目する。そして、この周波数分布において、図７に示すように、所定の周波数以上であるパワースペクトルの合計値を、高周波数成分強度として算出する処理である。なお、この所定の周波数は、予め設定しておく。図６のグラフにおける縦軸は、このＳ１０４の処理により算出された値である。

次に、Ｓ１０５では判定処理が行われる。この判定処理は、Ｓ１０４の処理により算出された、部分画像の空間周波数のうちの垂直方向成分の高周波数成分強度に基づいて、撮像画像の品質を判定する処理である。この判定処理では、より具体的には、Ｓ１０４の処理により算出された高周波数成分強度と、予め設定されている閾値との大小比較が行われる。この大小比較の結果、高周波数成分強度が閾値以下であったときには、撮像画像に画像ボケの発生を検出したとの判定を下し、撮影画像の品質の評価結果を「不良」とする。一方、この大小比較の結果、高周波数成分強度が閾値よりも大きかったときには、撮像画像に画像ボケの発生は検出されなかったとの判定を下し、撮影画像の品質の評価結果を「良好」とする。

次に、Ｓ１０６では、評価結果出力処理が行われる。この処理は、Ｓ１０５の判定処理の結果である、撮影画像の品質の評価結果を出力して画像処理装置３へ送付する処理である。このＳ１０６の処理が完了すると、図４の画像評価処理が終了する。

ＭＰＵ１６が以上の画像評価処理を行うことで、カメラ２から出力される撮像画像の品質評価が、画像評価装置１によって行われる。
なお、上述した説明では、画像評価処理におけるＳ１０３の空間周波数算出処理として、部分画像を構成する各縦列の画素列に対して一次元高速フーリエ変換処理を施して、部分画像の空間周波数のうちの垂直方向成分を算出する手法を説明した。このように、一次元高速フーリエ変換処理の対象を、部分画像を構成する全ての縦列の画素列に対して行う代わりに、そのうち一部の縦列のみに対して行うようにすることも可能である。すなわち、図８の撮像画像例のように、部分画像の範囲を示す矩形内に等間隔で配置される所定数の縦線を予め定義しておく。そして、この縦線上のみの画素列に対して一次元高速フーリエ変換処理を行って、空間周波数のうちの垂直方向成分を算出する。そして、続くＳ１０４の処理では、算出した縦線上のみについての、部分画像の空間周波数のうちの垂直方向成分を、同一周波数毎に加算して、前述したパワースペクトルの周波数分布を得るようにする。このようにすると、画像評価処理をＭＰＵ１６が行うために必要となる処理負担が軽減される。

また、図４のＳ１０１からＳ１０３までの処理を、カメラ２から時系列に順次出力される複数の撮像画像の各々に対して行い、Ｓ１０４の処理では、それらの撮像画像についての平均化したパワースペクトルの周波数分布から、高周波数成分強度を算出してもよい。この場合には、Ｓ１０５の処理により得られる、この高周波数成分強度に基づいた評価結果を、当該複数の撮像画像全てについてのものとするようにする。

なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１)
道路上の移動体に設置されたカメラで撮像された、該道路の該移動体の進行方向前方の風景の画像の空間周波数を算出する算出手段と、
該算出手段が算出した該画像の空間周波数における、該カメラで該画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、該画像の品質を評価する評価手段と、
を有することを特徴とする画像評価装置。
（付記２)
該評価手段は、該算出手段が算出した該画像の空間周波数における該垂直方向成分であって、且つ、該画像のうち該カメラから所定距離以上離れている被写体が表されている領域から抽出した部分画像についての空間周波数における該垂直方向成分に基づいて、該画像の品質を評価することを特徴とする付記１に記載の画像評価装置。
（付記３)
該カメラで撮像された画像は、横方向が該水平線方向と一致しており、
該評価手段は、該算出手段が算出した該画像の空間周波数における該垂直方向成分であって、且つ、該画像の上端から縦方向に所定の範囲内に含まれる領域内から抽出した部分画像についての空間周波数における該垂直方向成分に基づいて、該画像の品質を評価する、
ことを特徴とする付記２に記載の画像評価装置。
（付記４)
該部分画像が、該風景における地平線若しくは水平線を含むことを特徴とする付記３に記載の画像評価装置。
（付記５)
該カメラで撮像された画像は、横方向が該水平線方向と一致していることを特徴とする付記１又は２に記載の画像評価装置。
（付記６)
該算出手段は、該画像の空間周波数のうちの該垂直方向成分のみを算出することを特徴とする付記１から５のうちのいずれか一項に記載の画像評価装置。
（付記７)
該算出手段は、該画像における一部の領域のみについて該空間周波数を算出し、
該評価手段は、該算出手段が算出した該画像における該一部の領域についての空間周波数における該垂直方向成分に基づいて、該画像の品質を評価する、
ことを特徴とする付記１に記載の画像評価装置。
（付記８)
該評価手段は、該画像の品質を評価する基礎とする該空間周波数の該垂直方向成分のうち、所定の周波数以上の成分の強度が所定値以下であるときには、該画像の品質は不良であるとの評価を下すことを特徴とする付記１から７のうちのいずれか一項に記載の画像評価装置。
（付記９)
道路上の移動体に設置されたカメラで撮像された、該道路の該移動体の進行方向前方の風景の画像の空間周波数を算出し、
算出された該画像の空間周波数における、該カメラで該画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、該画像の品質を評価する、
ことを特徴とする画像評価方法。
（付記１０)
演算処理装置が実行することによって、
道路上の移動体に設置されたカメラで撮像された、該道路の該移動体の進行方向前方の風景の画像の空間周波数を算出する算出処理と、
該算出処理により算出された該画像の空間周波数における、該カメラで該画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、該画像の品質を評価する評価処理と、
を該演算処理装置に行わせることを特徴とする画像評価プログラム。

１ 画像評価装置
２ カメラ
３ 画像処理装置
１１ 算出部
１２ 評価部
１６ ＭＰＵ
１７ インタフェース部
１８ ＲＯＭ
１９ ＲＡＭ
２０ バス

Claims (7)

1. 道路上の移動体に設置されたカメラで撮像された、該道路の該移動体の進行方向前方の風景の画像の空間周波数を算出する算出手段と、
   該算出手段が算出した該画像の空間周波数における、該カメラで該画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、該画像の品質を評価する評価手段と、
   を有することを特徴とする画像評価装置。
2. 該評価手段は、該算出手段が算出した該画像の空間周波数における該垂直方向成分であって、且つ、該画像のうち該カメラから所定距離以上離れている被写体が表されている領域から抽出した部分画像についての空間周波数における該垂直方向成分に基づいて、該画像の品質を評価することを特徴とする請求項１に記載の画像評価装置。
3. 該カメラで撮像された画像は、横方向が該水平線方向と一致しており、
   該評価手段は、該算出手段が算出した該画像の空間周波数における該垂直方向成分であって、且つ、該画像の上端から縦方向に所定の範囲内に含まれる領域内から抽出した部分画像についての空間周波数における該垂直方向成分に基づいて、該画像の品質を評価する、
   ことを特徴とする請求項２に記載の画像評価装置。
4. 該部分画像が、該風景における地平線若しくは水平線を含むことを特徴とする請求項３に記載の画像評価装置。
5. 該算出手段は、該画像の空間周波数のうちの該垂直方向成分のみを算出することを特徴とする請求項１から４のうちのいずれか一項に記載の画像評価装置。
6. 道路上の移動体に設置されたカメラで撮像された、該道路の該移動体の進行方向前方の風景の画像の空間周波数を算出し、
   算出された該画像の空間周波数における、該カメラで該画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、該画像の品質を評価する、
   ことを特徴とする画像評価方法。
7. 演算処理装置が実行することによって、
   道路上の移動体に設置されたカメラで撮像された、該道路の該移動体の進行方向前方の風景の画像の空間周波数を算出する算出処理と、
   該算出処理により算出された該画像の空間周波数における、該カメラで該画像を撮像したときの被写体である風景における水平線方向に対し垂直である方向の成分である垂直方向成分に基づいて、該画像の品質を評価する評価処理と、
   を該演算処理装置に行わせることを特徴とする画像評価プログラム。