JP2016151955A - 画像処理装置、撮像装置、距離計測装置、および画像処理方法 - Google Patents

Abstract

【課題】カラー画像から空領域を精度良くかつ高解像度に取得する。
【解決手段】カラー画像と距離画像に基づいて空領域を検出する画像処理装置であって
、カラー画像の画素値に基づいて第１の暫定空マップを生成する第１生成手段と、距離画像の距離値に基づいて第２の暫定空マップを生成する第２生成手段と、前記第１の暫定空マップおよび前記第２の暫定空マップを統合した空マップを生成する統合手段と、を有する。
【選択図】図３

Description

本発明は画像処理装置に関連し、特に距離画像とカラー画像を用いて空領域を抽出する技術に関する。

従来、撮像装置および画像処理装置において記憶色再現のために、注目度の高い領域として空や人の肌、木々の緑などを抽出する技術が提案されている。それらの技術は一般的に色相・彩度・輝度を用いて領域の判定を行っている。

また近年、カラー画像と同時に距離画像を取得する撮像装置が普及し、距離画像を用いた被写体抽出方法が提案されている。ここで、距離計測を行う方法は、TOF（Time of Flight）法に代表されるアクティブ方式や、ステレオ法・DFD（Depth from Defocus）法などのパッシブ方式といった様々な手法が提案されている。何れの方式においても距離計測可能な範囲は限られ、空領域のみを正しくかつその形状を高解像度に計測することは困難である。

これらを鑑みると、空領域を正確に抽出することはカラー画像の記憶色再現のみならず距離画像の距離補正においても重要になってくる。

特許文献１では、本来記憶色補正すべきでない色が補正されてしまうことを避けるために補正対象となる色域中であっても色によって補正強度を変更して自然な補正となるようにしている。また、画像中に空が含まれるか否かを画像中の色相や撮影条件を利用して判定し、誤って空以外の領域が補正されないように制限している。

特許文献２では、被写体抽出のために距離情報を用いて特定の距離範囲に存在する画素を選択し、更にその変化度合いにより注目度を算出して被写体領域を決定している。

特許第４０４０６２５号公報 特開２０１３−１８２３３０号公報

特許文献１に記載されている空領域の抽出方法は、画面を大きなブロックに分割しそれぞれの領域の平均的な色相を求め、予め空領域として設定した色相に含まれるかを判定し、そのブロックが空領域であるか否かを決定している。この方法は空が画像中に含まれるかどうかを判定するには有効であるが、大きなブロック単位で空の有無を判定しているため空の形状を正確に抽出することができない。

また、予め空領域として設定された色相に含まれる色全てが空領域として取得され、記憶色補正等の画像処理が実行されるため、空領域以外の似た色の領域に対しても処理が実行されてしまう。

特許文献２では、距離画像を用いた被写体抽出方法が開示されている。この方法は距離画像の精度が高い場合は有効であるが、空領域のように距離が正しく計測できずエラーを含むような領域では指定距離範囲にある画素の選択時にエラーを含んでしまう。また、注
目度を算出する際にエッジ処理を利用しているため、空領域ではエッジが少なく注目度を精度良く算出できないなどの課題がある。

上記のような問題を考慮して、本発明は、精度良くかつ高解像度に空領域を抽出可能な画像処理技術を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、カラー画像と距離画像に基づいて空領域を検出する画像処理装置であって、カラー画像の画素値に基づいて第１の暫定空マップを生成する第１生成手段と、距離画像の距離値に基づいて第２の暫定空マップを生成する第２生成手段と、前記第１の暫定空マップおよび前記第２の暫定空マップを統合した空マップを生成する統合手段と、を有することを特徴とする。

また、本発明にかかる画像処理方法は、カラー画像と距離画像に基づいて空領域を検出する画像処理方法であって、画像処理装置が、カラー画像の画素値に基づいて第１の暫定空マップを生成する第１生成ステップと、距離画像の距離値に基づいて第２の暫定空マップを生成する第２生成ステップと、前記第１の暫定空マップおよび前記第２の暫定空マップを統合した空マップを生成する統合ステップと、を実行することを特徴とする。

本発明による画像処理装置によれば、空領域を精度良くかつ高解像度に抽出することが可能となる。

第一の実施形態に係る撮像装置の構成を示す図 距離計測処理のフローチャート 第一の実施形態における空マップ生成処理のフローチャート 入力画像の例 第一の実施形態の色情報空マップ生成処理のフローチャートと処理結果例 第一の実施形態の距離情報空マップ生成処理のフローチャートと処理結果例 第一の実施形態の空マップ統合処理のフローチャートと処理結果例 第一の実施形態の空マップ整形処理のフローチャートと処理結果例 第二の実施形態に係る撮像装置の構成を示す図 第二の実施形態における空マップ生成処理を説明する図

（第一実施形態）
＜システム構成＞
図１（ａ）は、本発明の第一実施形態に係る画像処理装置を有する撮像装置のシステム構成図である。図に示すように、撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、メモリ１４、距離計測部１５、画像処理部１６、入力部１７、表示部１８、記憶部１９を有する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像光学系１０としては可変焦点の光学系が用いられ、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。

撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子であり、カラー画像を取得する。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、色の異なる三板式の撮像素子でもよい。撮像素子１１は、また、可視光以外も含む３色以上
のカラー画像を取得してもよい。

制御部１２は、撮像装置１の各部を制御する機能部である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッターやフラッシュ（いずれも不図示）の制御、入力部１７や表示部１８や記憶部１９の制御などがある。

信号処理部１３は、撮像素子１１から出力された信号に対して処理を行う機能部である。信号処理部１３は、ＡＳＩＣなどの論理回路によって実現されてもよいし、マイクロプロセッサやＦＰＧＡがソフトウェアを実行することによって実現されてもよい。具体的な信号処理部１３の機能には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などを行う。信号処理部１３から出力されるデジタル画像データは一時的にメモリ１４に蓄積された後、表示部１８への表示、記憶部１９への記録（保存）、距離計測部１５への出力などがされ、所望の処理が行われる。

距離計測部１５は、画像中の物体までの奥行き方向の距離を取得する機能部である。距離計測の詳しい動作については後述する。距離計測部１５は、ＡＳＩＣなどの論理回路によって実現されてもよいし、マイクロプロセッサやＦＰＧＡがソフトウェアを実行することによって実現されてもよい。

画像処理部１６は、撮影したカラー画像と距離画像から空（そら）領域の抽出を行う。抽出した空領域は、記憶色補正に用いたり、露出制御に用いたりするなど様々な用途に利用可能となる。また、抽出した空領域を用いて距離画像の補正を行うこともできる。

入力部１７は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。

表示部１８は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１８は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

記憶部１９は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１９としては、高速に読み書きでき、且つ、大容量の記憶媒体を用いることが好ましい。例えばフラッシュメモリなどを好適に用いることができる。

＜距離計測方法＞
次に、撮像装置１が行う距離計測処理について、処理全体の流れを示したフローチャートである図２（ａ）を参照しながら詳細に説明する。ここでは、ＤＦＤ法を用いた場合の距離計測方法を示す。

ユーザが、入力部１７を操作して距離計測の実行を指示し撮影を開始すると、オートフォーカス（ＡＦ）や自動露光制御（ＡＥ）が実行された後に撮影が実行され、フォーカス位置と絞り（Ｆナンバー）が決定される（ステップＳ１１）。その後、ステップＳ１２にて撮影が実行され、撮像素子１１から画像が取り込まれる。

一枚目の撮影が完了すると、制御部１２が撮影パラメータを変更する（ステップＳ１３）。変更される撮影パラメータは、絞り（Ｆナンバー）、フォーカス位置、焦点距離のう
ちの少なくともいずれか一つである。変更後のパラメータは、予め保存された値を読み出すことによって取得されてもよいし、ユーザが入力した情報をもとに決定することによって取得されてもよい。撮影パラメータの変更が完了すると、処理はステップＳ１４に遷移し、二枚目の撮影が行われる。

本実施形態では、フォーカス位置を変更して二枚目の画像を撮影する。例えば、一枚目は主被写体に合焦するように撮影を行い、二枚目は主被写体がぼけるようにフォーカス位置を変更して撮影を行う。

二枚の画像が撮影されると、撮影された画像は、距離計測に適した輝度画像となるように信号処理部１３でそれぞれ処理され、一時的にメモリ１４に蓄積される。具体的には現像処理が行われるが、信号処理によってぼけが変化しないようにエッジ強調処理などは避ける必要がある。このとき、撮影した画像のうち少なくとも一枚にエッジ強調処理を含む信号処理し、観賞用の画像としてメモリ１４に蓄積する。

ステップＳ１５では、距離計測部（距離画像取得手段）１５が、メモリ１４に蓄積された距離計測用の二枚の輝度画像から距離画像を取得する。距離画像とは、画像中の被写体距離の分布を表すデータである。なお、被写体距離は、撮像装置から被写体までの絶対距離として表されてもよいし、フォーカス位置から被写体までの相対的な距離として表されてもよい。また、被写体距離は、物体距離で表されてもよいし、像距離で表されてもよい。さらには、ぼけの大きさや相関量などの距離に換算可能な値をそのまま被写体距離として用いても良い。取得された被写体距離の分布は表示部１８を通して表示されるとともに、記憶部１９に保存される。

次に、ステップＳ１５で距離計測部１５が行う処理（以下、距離画像成処理）について説明する。図２（ｂ）は、第一の実施形態における距離画像生成処理Ｓ１５の流れを示したフローチャート図である。

距離計測部１５は、フォーカス位置の異なる二つの輝度画像を受け取ると、帯域制限ステップＳ１５−１で輝度画像に対して所望の空間周波数帯域を抽出するようにフィルタリング処理を実行し、帯域制限された輝度画像を生成する。

領域選択ステップＳ１５−２では、距離計測部１５は、帯域制限された二つの輝度画像において同じ座標位置の注目画素およびその周辺の局所領域を選択する。１画素ずつずらして画像全体に渡り注目画素および局所領域を設定し、以下の処理を行うことで入力画像全体の距離画像を取得することが可能となる。距離画像は必ずしも入力画像と同じ画素数でなくともよく、入力画像の数画素ごとに取得しても良い。また、局所領域の設定は、予め指定された１つ以上の領域を対象として行っても良いし、入力部１７によりユーザがその範囲を指定しても良い。

次に相関演算ステップＳ１５−３では、距離計測部１５は、前記領域選択ステップＳ１５−２で選択した第一の画像の局所領域と、第二の画像の局所領域との相関を数式１にしたがって算出する。

ここで、ＮＣＣ_ｊは注目画素ｊを中心とする局所領域における相関値を表し、Ｉ_１，ｉ
は一方の画像における画素位置ｉでの画素値を表し、Ｉ_２，ｉは他方の画像における画素位置ｉでの画素値を表わす。総和は注目画素ｊを中心とする局所領域を対象として行われる。また、バーのついたＩ_１およびＩ_２は、それぞれの画像における局所領域内での画素値の平均値である。

収差が無くデフォーカスした場合のぼけ方がフォーカス前後で同じ場合、像側においてフォーカスを移動して撮影した２つのフォーカス位置の中間でぼけが同等となり、その位置での相関が最も高い値となる。この中間位置から離れるに従い、二画像のぼけ方は変化し相関が低下していく。つまりぼけが同じ位置をピークとしてその位置から前後に離れるに従い相関が低下する。相関値はデフォーカスによるぼけに応じた値となるため、相関値がわかれば対応するデフォーカス量を知ることができ、相対的な距離を取得することが可能となる。

相関演算ステップＳ１５−３が終了すると処理は終了判定ステップＳ１５−４に移る。終了判定ステップＳ１５−４では未処理の領域があるか判定され、指定された領域もしくは画像全域に対する演算が終了するまで領域選択ステップＳ１５−２と相関演算ステップＳ１５−３が繰り返される。

ここでは距離に関連する値として相関値を取得する例を説明したが、ＤＦＤ法として他の方法を用いることもできる。例えば、局所画像を周波数空間に変換し、数式２のように比を求めることで画像間のぼけ量変化を取得する手法などが挙げられる。

ｓはぼけのない画像を表し、Ｓは画像ｓを周波数空間に変換した画像を表している。ＰＳＦはそれぞれの局所画像における点像分布関数を表しており、ＯＴＦは光学伝達関数を表している。また、ＯＴＦｒは２画像間の相対的なＯＴＦを表しており、これにより距離を求めることができる。

＜他の距離画像の演算方法＞
ここでは、距離取得方法としてＤＦＤ法を例に説明したが、距離画像の演算方法はＤＦＤ法に限定するものではない。図１（ｂ）の撮像装置２のように複数の撮像光学系１０，１０’と撮像素子１１，１１’を用いて視差のある画像を取得するステレオ法による構成を用いることもできる。他にも、瞳分割ステレオ法、ＴＯＦ（Time of Flight）法などを用いることも可能である。

＜空マップ生成方法＞
次に、画像処理部１６が行う空マップ生成処理について、処理の流れを示したフローチャート図である図３を参照しながら詳細に説明する。画像処理部１６は、距離画像とカラー画像を受け取り、これらの画像から空マップの生成を行う。以下、図４に示すような風景を撮影した場合の距離画像とカラー画像が入力された場合を例に説明する。なお、処理対象の距離画像は距離画像生成ステップＳ１５において生成された画像であり、処理対象のカラー画像は距離画像生成の基になった２枚のカラー画像のうち主被写体に合焦したカラー画像である。

［カラー画像に基づく空マップ生成処理］
まず、カラー画像の画素値に基づいて空マップを生成する処理（ステップＳ２１）に関
して図５（ａ）のフローチャートを参照しながら説明する。画像処理部１６は、まず、カラー画像の色空間変換処理を行う（ステップＳ２１−１）。例えば、入力カラー画像がＲＧＢ画像であった場合、ＲＧＢ画像をＬａｂ等色色空間に変換してＬａｂ画像を得る。次に、画像処理部１６は、変換したＬａｂ画像を複数の矩形領域（ブロック領域、第１分割領域）に分割し、分割したブロック領域ごとに以下の処理を実行する（ステップＳ２１−２）。ここでブロック領域は、色判定の安定性を考慮すると一辺が数十ピクセルの大きさを有することが望ましい。あるブロック領域が選択されると、画像処理部１６は、ブロック領域内の平均明度および平均色度を演算する。ある注目領域の平均明度は、その領域のＬ成分の平均値として求めることができる（ステップＳ２１−３）。平均色度は、当該領域のａ成分の平均値、ｂ成分の平均値をそれぞれ求め、ａｂ色度平面上の座標として算出する（ステップＳ２１−４）。なお、ここではＬａｂ等色色空間に変換する場合を例に用いたが、これを限定するものではなく、他の色空間に変換して同様の処理を行うことも可能である。

算出した処理対象ブロック領域の平均明度および平均色度が空領域に対応するかを判定するために、予め様々な撮影条件における青空、夕空、曇り空などの画像を取得し、その明度および色度座標を算出して空が取りうる色空間上の領域を定義しておく。予め定義した情報は、メモリ１４または記憶部１９に保存される。

画像処理部１６は、予め定義された空領域の明度および色度の領域を読み出し、処理対象ブロック領域について算出した平均明度および平均色度が当該領域に含まれるかを判定する。算出した平均明度および平均色度があらかじめ定義された空領域の明度および色度の領域に含まれる場合は、画像処理部１６は、処理対象ブロック領域が空領域であると判定する（ステップＳ２１−５）。

画像処理部１６は、次にステップＳ２１−６で終了判定を行い、分割した全てのブロック領域に対して空領域判定が完了したかを判定する。完了していない場合は、ステップＳ２１−２に戻り同様の処理を繰り返す。最終的に、図５（ｂ）に示すような空領域かどうかの二値のマップである色情報空マップＳｃが生成される。図５（ｂ）においてハッチングした領域が空領域を表す。ここでは空を二値のマップとして生成する例を示しているが、青空、夕空、曇り空ごとに異なる値を有する多値のマップを生成してもよい。

ここで、色情報空マップＳｃは、矩形領域（一辺数十ピクセル程度）単位で空領域であるか示されるため、入力画像よりも空間分解能の低下してしまう。さらに、空に近い色の領域が誤って空であると判定されてしまう可能性がある。また、色情報空マップＳｃは入力画像を矩形に分割してその平均明度および平均色度に基づく判定しているため、空とその他の領域が同程度に混ざった矩形領域では検出漏れが生じる。

なお、ここでは入力カラー画像をＬａｂ画像に変換して、明度および色度の平均に基づいて分割領域が空領域であるか否か判定しているが、これは必須ではない。色判定処理Ｓ２１−５では、カラー画像における明るさや色相のいずれかがあらかじめ空領域として定義された明るさおよび色相に含まれる（該当する）領域を空領域と判定すればよい。

［距離画像に基づく空マップ生成処理］
次に、距離画像を用いた空マップの生成（ステップＳ２２）に関して説明を行うが、まず、距離画像中において空領域がどのような状態で出力されるかを説明する。

空領域は、無限遠または無限遠とみなせる距離および距離計測装置の距離計測範囲外に存在する領域であり、一般に距離を取得する際、空領域の距離は不安定な値となる。例えば、パッシブ方式による距離計測の一つであるＤＦＤ法の場合は、フォーカス位置の異な
る２枚の画像からぼけの違いで距離を取得するが、遠距離にある空領域はぼけの違いを区別することが難しいため正しく距離を取得することが難しい。したがって、ある距離より離れた距離に存在するものは距離を区別できず、測距可能な最大距離の値や測距不能といった値となる。

同様にパッシブ方式のステレオ法による距離計測の場合は、空領域は遠距離のため視差がつかずある距離より離れた距離は区別できなくなり、測距可能な最大距離の値や測距不能といった値となる。更に、空領域はコントラストが低いため、視差のある２画像間のマッチングが正しく行えず距離ばらつきの大きい不安定な値となる。

アクティブ法の場合であっても、計測可能な距離は光が届く範囲に限られており、あるある距離以上は計測ができず不定な値となる。また、照射した光を反射しにくい物体が存在した場合、遠距離の物体と区別できない。

よって、どのような距離計測方法を用いた場合でも、空領域の距離は正確に計測できず、距離画像中で測距範囲外や無限遠を表す出力となる。また、空領域についてこれら以外の距離値が得られる場合であっても、空領域は距離が不安定な値を示す領域（距離のばらつきが大きい領域）となる。

つまり、測距範囲外や無限遠を表す領域および距離のばらつきが大きい領域は、距離画像中において距離計測が正しく行われず信頼度が低い領域であり、そのような領域は空領域である可能性が高いことになる。

本実施形態では、画像処理部１６は、距離画像の信頼度に着目して距離画像からの空領域を抽出する。信頼度の低い領域を局所領域の距離のばらつきに基づいて取得する場合の空領域処理Ｓ２２を、図６（ａ）のフローチャートを用いて説明する。

一般的に、距離は同じ物体においては大きな変化は少ないと考えられる。よって、ばらつきの多い領域には、空領域のように距離計測が不安定となるような測距エラーが含まれているか、ばらつきを算出する局所領域の距離差が大きい物体を含まれる。ある一定量のばらつき以上の距離ばらつきがある領域は空領域の可能性が高いと判断できる。

画像処理部１６は、まずばらつきを算出するための局所領域の選択を行う（ステップＳ２２−１）。この局所領域は、色情報空マップＳｃを算出する場合に用いた矩形領域（第１分割領域）よりも小さい領域であり、一辺が数ピクセル程度の領域であることが好ましい。

次に、画像処理部１６は、距離のばらつきを表す値として、局所領域において分散または標準偏差といった統計量を算出する（ステップＳ２２−２）。その後、画像処理部１６は、距離画像中の局所領域における距離ばらつきが閾値Ｔｈ_ｖｄ以上である（第１閾値以上である）場合に、その局所領域の中心座標の画素が空領域であると判定する（ステップＳ２２−３）。ここで、閾値Ｔｈ_ｖｄは小さな値にすると距離差がある物体の境界も空領域と判定する可能性があるため、エラーによって生じる距離ばらつきを検出できるように設定する必要がある。

以上の局所領域に対する処理を、選択する局所領域をシフトさせて順次演算し、入力画像の全領域に渡って空領域か否かの判定を行う（ステップＳ２２−４）。画像処理部１６は、最終的に、空領域であるか否かを二値で表した距離情報空マップＳｄを生成する。なお、ここでは１画素単位で空領域であるか否かが判定されるが、複数の画素からなる領域（第２分割領域）を単位として空領域であるか否かが判定されてもよい。第２分割領域の
大きさは、色情報空マップ抽出に用いられるブロック領域（第１分割領域）よりも小さいことが好ましい。上記の説明は、第２分割領域が１画素のみからなる場合の例であるといえる。

ここで、空領域における距離エラーは空領域全体に発生するとは限らず、空領域の一部のみに発生する可能性もある。よって距離情報空マップＳｄは、空領域の一部で距離のばらつきが大きい領域のみが選択され、空領域を正確に抽出して空領域の形状を再現することはできない。図６（ｂ）に距離情報空マップＳｄの例を示す。図６（ｂ）においてハッチングした領域がばらつきの大きい領域で空領域の一部である。

本実施形態では、距離画像中の距離ばらつきの大きい領域を空領域として検出したが、前述のように距離計測範囲外として示される領域や距離計測不能として示される領域を空領域として検出することもできる。また、これらの値を無限遠として定義して出力する距離計測装置の場合は、無限遠として示される領域を空領域として検出することもできる。

［空マップの統合処理］
次に色情報空マップＳｃと距離情報空マップＳｄの２つの空マップの統合処理Ｓ２３に関して説明する。前述したように、色情報空マップＳｃは、色を利用しているため、空領域の色に似た色の物体領域も誤って検出してしまう可能性がある。一方、距離情報空マップＳｄは色情報ではなく、距離の信頼度の一つである距離ばらつきを用いて算出しているが、空領域の部分的な検出結果となる可能性がある。よって、この二つの指標から得た空マップの両方を満たす領域を空領域とすることでより空領域である可能性の高い領域の抽出を行う。

空マップ統合処理Ｓ２３に関して図７（ａ）のフローチャートを用いてより具体的に説明する。前述のように、距離情報空マップＳｄは空領域の一部のみを検出しているため、画素単位で２つの空マップの共通部分を抽出すると一部の空領域のみが検出されることになる。そこで、色情報空マップＳｃにおけるブロック領域（第１分割領域）を単位として空領域であるか否かを判定する。画像処理部１６は、まず色情報空マップＳｃのブロック領域Ｂｃを選択する（ステップＳ２３−１）。次に、画像処理部１６は、選択した色情報空マップＳｃのブロック領域Ｂｃに対応する距離情報空マップＳｄのブロック領域Ｂｄを選択する（ステップＳ２３−２）。続いて、画像処理部１６は、ブロック領域Ｂｄの中に空領域が何画素含まれているかをカウントする（ステップＳ２３−３）。算出された空領域を表す画素数が閾値Ｔｈ_Ｎｄ以上含まれる場合、画像処理部１６は、色情報空マップＳｃで選択したブロック領域Ｂｃを空領域に設定する（ステップＳ２３−４）。なお、ここではブロック領域Ｂｄに含まれる空領域の画素数を用いて判定しているが、ブロック領域Ｂｄに含まれる空領域の画素の割合が所定割合以上の場合にブロック領域Ｂｃを空領域と判定してもよい。色情報空マップＳｃにおけるブロック領域Ｂｃの大きさが全て同じ場合は、画素の数を用いても割合を用いても技術的に等価である。ただし、ブロック領域Ｂｃの大きさが固定ではない場合には、ブロック領域Ｂｄに含まれる空領域の画素の割合を用いて判定することが好ましい。

以上の処理を、色情報空マップＳｃの全てのブロック領域に対して実行する（ステップＳ２３−５）。これにより、色情報空マップＳｃと同様の空間分解能で、色情報空マップＳｃと距離情報空マップＳｄが共通する領域を空領域とする統合空マップＳｉが生成できる。図５（ｂ）の色情報空マップＳｃと図６（ｂ）の距離情報空マップＳｄを統合して得られた統合空マップＳｉを図７（ｂ）に示す。

なお、統合処理の方法は上記の方法に限られない。色情報空マップＳｃと距離情報空マップＳｄのそれぞれにおいて空領域と判定されている領域の重複に基づいて空領域か否か
の判定を行えば、その他の方法を採用してもよい。例えば、色情報空マップＳｃ生成の際に用いてブロック領域（第１分割領域）とは異なる所定の領域内における、色情報空マップＳｃと距離情報空マップＳｄの両方で空領域と判定されている画素の割合あるいは数に基づいて空領域を判定してもよい。

［空マップの整形処理］
距離画像の信頼度を用いることで通常のカラー画像のみによる空領域判定よりもロバスト性を向上させることができる。しかしながら、統合空マップＳｉは、色情報空マップＳｃにおいて矩形領域に分割した大きさが分解能であり、空領域の形状を忠実に再現することができない。そこで、画像処理部１６は次に空領域の整形処理（ステップＳ２４）を行う。空領域の整形処理に関して図８（ａ）のフローチャートを用いて説明する。

まず、画像処理部１６は、入力されたカラー画像からテクスチャ量が多いか少ないかによって二値のテクスチャマップＳｔを生成する（ステップＳ２４−１）。空領域は一般的にテクスチャ量が少ないため、低テクスチャ領域を抽出することで空領域を抽出することができる。テクスチャマップＳｔの生成方法は、距離画像からの空マップ生成（ステップＳ２２）の処理とほぼ同等の処理である。相違点は、入力する画像が距離画像ではなく輝度画像であることと、統計量の算出方法が異なることである。輝度画像は入力されたカラー画像を変換することで得る。統計量は、ステップＳ２２−２と同様に分散や標準偏差を算出した後、輝度の違いによるノイズ量の違いを補正するために、局所領域における平均輝度と感度および係数を用いて規格化を行って求めることが好ましい。これは、輝度が高い領域ほど光ショットノイズによる分散が大きくなるので、この影響を補正してテクスチャによる分散を検出するためである。また、演算領域は、３×３画素領域といった狭い領域にすることで高解像度なテクスチャマップを生成するのが空領域の形状の整形処理に利用するには望ましい。画像処理部１６は、規格化した分散または標準偏差が閾値Ｔｈ_ｖｔ以下（第２閾値以下）の領域を低テクスチャ量領域として抽出する。閾値は、様々な空領域を含む画像から、空領域を検出できるような値を求めて設定する。

図８（ｂ）にテクスチャマップＳｔを示す。図８（ｂ）においてハッチングされた領域がテクスチャ量の少ない領域を表している。しかしながら、図４と図８（ｂ）を比較すると分かるように、低テクスチャ領域が必ずしも空領域とは限らない。図８（ｂ）の例では道路領域もテクスチャ量が少ないと判断されている。よって以下では、画像処理部１６は、テクスチャマップＳｔと統合空マップＳｉと併せて利用して空マップの整形を行う。

次に、画像処理部１６は、統合空マップＳｉとテクスチャマップＳｔを用いて、統合空マップＳｉにおける空領域の整形を行う。具体的には、まず、画像処理部１６は、テクスチャマップＳｔにおいて、独立した低テクスチャ領域（連続した低テクスチャ領域）ごとに個別のラベルを割り当てるラベリング処理を実行する（Ｓ２４−２）。画像処理部１６は、次にラベル選択を行い（ステップＳ２４−３）、選択したラベル領域と統合空マップＳｉにおける空領域との重複する重複量を算出する（ステップＳ２４−４）。重複量は、具体的には、選択したラベル領域の画素数と、統合空マップＳｉにおいて当該ラベル領域と重複する空領域の画素数との割合として算出できる。画像処理部１６は、重複量が閾値Ｔｈ_Ｎｔ以上（第３閾値以上）であるか判定し、重複量が閾値Ｔｈ_Ｎｔ以上である場合は、選択したラベル領域を空領域であると判定する（ステップＳ２４−５）。画像処理部１６は、以上の処理を全ラベルに対して実行する（ステップＳ２４−６）。この処理により、統合空マップＳｉにおいて空と判定された矩形領域をテクスチャマップＳｔによって高解像度な空領域に整形することができる。

画像処理部１６は、以上の処理によって空領域を高解像度に抽出した最終的な空マップＳｆを出力する。整形された最終的な空マップＳｆの例を図８（ｃ）に示す。統合空マッ
プＳｉと比較すると、最終的な空マップＳｆはカラー画像のテクスチャマップＳｔを考慮して空領域を分解能良く忠実に再現できていることが分かる。また、統合空マップＳｉにおいて誤って空領域であると判定された領域も、テクスチャＳｔを考慮することで空領域から除外することが可能となる。

画像処理部１６が出力した空マップＳｆは、メモリ１４に格納され、他のアプリケーションによって利用される。例えば、撮影したカラー画像の記憶色補正処理や、空領域の画像中に割合による露出制御処理などに用いられる。また、空マップＳｆは距離画像補正処理にも用いることができる。画像処理部１６は、距離計測部１５で取得した距離画像において空領域に対応する領域の距離値を、無限遠距離または計測可能な最大距離に置き換える。これにより、距離計測時に発生した距離エラーを補正することができる。

＜本実施形態の有利な効果＞
本実施形態によれば、カラー画像からの色情報と、距離画像からの距離算出の信頼度情報という異なる特徴量を用いることで空領域検出のロバスト性を向上させ誤検出を減らすことが可能となる。さらに、カラー画像から生成した輝度画像を用いて高解像度なテクスチャマップを利用することで、抽出した空領域における空形状をより高解像度に抽出することが可能となる。

更には、検出した空マップを用いて入力した距離画像の空領域を無限遠または計測可能な距離の最大値に設定することで距離画像を補正することが可能になるという利点がある。

（第二実施形態）
次に、本発明の第二実施形態について説明する。第二実施形態は、更に追加情報として撮像装置の撮影時の姿勢情報や設定情報を用いる点が第一実施形態と相違する。本実施形態の画像処理装置を有する撮像装置３の構成を図９に示す。撮像装置３は、図１（ａ）に示す撮像装置１の構成に加えて、重力センサ（３軸加速度センサ）２０を備える。ただし本実施形態にかかる撮像装置は、図１（ｂ）に示す撮像装置２に重力センサ２０を加えた構成であってもよい。重力センサ２０は、重力の向きが検出可能であれば、既存の任意のセンサが採用可能である。撮像装置３は、重力センサ２０からのセンサ情報によって、撮像装置３の姿勢（ピッチ角およびロール角）を把握することができる。

画像処理部１６が行う空領域検出処理について、処理の流れを示したフローチャート図である図１０（ａ）を参照しながら詳細に説明する。カラー画像からの色情報空マップ生成（ステップＳ３１）と距離画像からの距離情報空マップ生成（ステップＳ３２）は第一実施形態（図３のステップＳ２１およびＳ２２）と同様である。

ステップＳ３３の撮像装置情報に基づく空マップ生成では、画像処理部１６は、まず、重力センサ２０の情報を利用して撮像装置３の光軸が水平に対してどの程度上下しているかを判定する。図１０（ｂ）（ｃ）に示すように、撮像装置３を地面に対して水平に設置した場合の光軸方向をＺ軸とし、上下方向をＸ軸、左右方向をＹ軸とする。光軸が水平方向にあるときに水平線（または地平線）を撮影した場合、図１０（ｂ）に示すように撮影した画像の上下を二等分した水平線の上部に空領域が存在する。よって、画像処理部１６は、カラー画像が撮影された際の撮像装置３の姿勢情報から、カラー画像中における水平線（地平線）の位置を推定し、この位置から空領域の存在範囲を限定できる。

具体的には、画像処理部１６は、水平位置を基準に撮影時にＹ軸まわりに回転（ピッチング）することにより光軸方向が上下方向にずれた角度θを検出することで、画像における空領域が画像のどの高さ以上に存在するかを見積もることができる。図１０（ｃ）にＹ
軸まわりに角度θだけ回転した例を示す。このときの画像における水平線のずれの量ｄは焦点距離をｆとすると次式のようになる。

この値を画素サイズで除算することで画像上における水平線の上下方向へのずれ画素数を算出することができる。画像処理部１６は、ずれ画素から上部を空領域として二値の装置情報空マップを取得する。

また、Ｙ軸まわりの回転に加え、Ｚ軸まわりに回転（ローリング）した場合も考慮することでカラー画像中の水平線（地平線）の位置をより正確に取得することが可能である。上記と同様な計算を行うことで、空領域が画像においてどの領域にあるかを推定し、装置情報空マップを取得できる。Ｚ軸周りの回転を考慮することで、縦撮りや横撮りなどを把握して画像における空領域の位置を推定できる。

このように、撮像装置情報を考慮して装置情報空マップを用いることで、撮像装置の姿勢から画像における空領域を推定でき、空でない領域を空領域と誤検出することを抑制できる。一般的な撮影シーンにおいては、山や建物が存在するため水平線よりも上部に空が存在するが、画面下部に誤って空領域が検出された場合に、装置情報空マップを用いることで除外でき十分な効果を発揮する。

また、水平線位置取得以外に、撮影時刻、露出、色温度から屋内撮影か屋外撮影かの判定を行うことも好ましい。屋内で撮影した場合、撮影画像に空が存在しない可能性がある。屋内と判定された場合は、画像中の平均輝度に比べ輝度が大きく高い領域を検出し、更に重力センサ２０から生成される前記装置情報空マップとの共通領域を空領域として装置情報空マップを更新する。

次に、ステップＳ３４で、画像処理部１６は、色情報空マップＳｃと距離情報空マップＳｄ、装置情報空マップを統合する。画像処理部１６は、まず、第一実施形態における統合処理と同様に色情報空マップＳｃと距離情報空マップＳｄを統合し、色情報空マップＳｃと同様の空間分解能の第一の暫定空マップを得る。画像処理部１６は、次に、色情報距離マップと装置情報空マップを統合して、画像下部に存在する誤検出領域を除外した第二の暫定空マップを得る。画像処理部１６は、続いて第一の暫定空マップと第二の暫定空マップの共通領域を空領域として検出した統合空マップＳｉを取得する。

空マップの整形処理（ステップＳ３５）は第一実施形態のステップＳ２４と同様の処理であるため省略を説明する。

本実施形態では、装置情報を利用した装置情報空マップを追加することで、色が空領域と類似しかつ距離の信頼度が低い領域であっても、推定される地平線（水平線）より下の領域であれば、誤検出を防止できる。

（第三実施形態）
第三実施形態について説明する。第三実施形態は、空マップの整形にフィルタ処理を用いる点が他の実施形態と相違する。本実施形態の撮像装置の構成は、第一および第二実施形態のものと同様のため、同一の符号を用いて説明を行う。

以下、第一実施形態との処理の相違点について説明する。第三実施形態において、画像処理部１６が行う空領域検出処理の流れは図３に示した第一実施形態におけるフローチャ
ートと基本的に同様であるが、空マップの整形処理（Ｓ２４）の方法が異なる。以下に、本実施形態における空マップ整形処理について説明する。

本実施形態においては、画像処理部１６は、ステップＳ２３の統合処理によって得られた統合空マップＳｉとカラー画像を用いて公知のジョイントバイラテラルフィルタによる処理を行う。ジョイントバイラテラルフィルタは次式で表される。

補正対象画像として統合空マップＭ（ｕ）を用い、参照画像としてカラー画像Ｉ（ｕ）を用いる。局所領域Ｒ内において、注目画素ｕからの画像上の距離に応じたガウス関数Ｇｄと参照画像上の注目画素の画素値の差による距離をパラメータとするガウス関数Ｇｒによって重みを付けて統合空マップをフィルタリングする。Ｗｕは正規化項である。参照画像にカラー画像を用いることで注目画素の色に近い色ほど重みづけが大きくなる。このフィルタリング処理を全ての画素において実行する。二値の統合空マップに対してフィルタリング処理を実行した後の統合空マップは多値のマップとなる。そこで閾値を設けて二値化処理を行い最終的な空マップとする。

他にも公知のガイデットフィルタを用いて整形処理を行うことも有効である。本実施形態における空領域の整形に用いるフィルタ処理は、エッジ保存型のフィルタ処理を用いるのが好適であるがフィルタ処理の方法を限定するものではなく、他のフィルタ処理を適用しても良い。

本実施形態によれば、カラー画像による色情報を用いるため、曇り空などテクスチャの多く抜け落ちた空領域であっても周辺の空領域と色が似ていることで空領域として整形される。よって、テクスチャの高い空領域が存在した場合に抜け落ちることなく空領域を抽出することが可能となる。

＜変形例＞
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、上記の例では、カラー画像を撮影し、撮影したカラー画像に基づいて距離画像を生成する距離計測装置の代わりに、カラー画像と距離画像を外部から入力して画像処理を行う画像処理装置として実施することもできる。ただし、カラー画像と距離画像は同一視点および同一画角であることが必須ではないが好ましい。

本発明は、また、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、また、画像処理方法として実施することもできるし、当該画像処理方法を画像処理装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、各実施形態で説明した各要素技術は、任意に組み合わせてもよい。

＜実装例＞
上述した本発明の画像処理技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナル
コンピュータを含む）にも本発明を適用することができる。

また、実施形態の説明では、撮像装置本体に画像処理の機能を組み込んだ構成を示したが、画像処理は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに画像処理の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、画像処理を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理の機能を組み込み、当該コンピュータがネットワークを介して、画像処理を行うようにしてもよい。

得られた空領域情報は、例えば、記憶色補正、露出補正、画像の領域分割、距離情報補正などの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ可読記録媒体は、いずれも本発明の範疇に含まれる。

１：撮像装置 １３：信号処理部 １６：画像処理部

Claims (14)

1. カラー画像と距離画像に基づいて空領域を検出する画像処理装置であって 、
   カラー画像の画素値に基づいて第１の暫定空マップを生成する第１生成手段と、
   距離画像の距離値に基づいて第２の暫定空マップを生成する第２生成手段と、
   前記第１の暫定空マップおよび前記第２の暫定空マップを統合した空マップを生成する統合手段と、
   を有する、画像処理装置。
2. 前記統合手段は、前記第１の暫定空マップにおいて空領域と判定される領域と前記第２の暫定空マップにおいて空領域と判定される領域の重複が所定割合以上である領域を空領域として前記空マップを生成する、
   請求項１に記載の画像処理装置。
3. 前記第１生成手段は、前記カラー画像を複数に分割した分割領域ごとに空領域であるか否かを判定して前記第１の暫定空マップを生成し、
   前記統合手段は、第１の暫定空マップにおいて空領域であると判定されている分割領域に対応する第２の暫定空マップの領域において、所定割合以上が空領域と判定されている場合に、前記分割領域を空領域として前記空マップを生成する、
   請求項２に記載の画像処理装置。
4. 前記第１生成手段は、前記カラー画像における明るさおよび色相のいずれかが、あらかじめ定義された明るさおよび色相に含まれる領域を空領域として前記第１の暫定空マップを生成する、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第２生成手段は、前記距離画像において、距離のばらつきが第１閾値以上の領域、距離計測範囲外として示される領域、および距離計測不能として示される領域の少なくともいずれかを、空領域として前記第２の暫定空マップを生成する、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記カラー画像を用いて、前記統合手段によって生成された空マップを整形する整形手段を更に有する、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記整形手段は、前記カラー画像からテクスチャ量が第２閾値以下の連続した領域である低テクスチャ領域を抽出し、統合手段によって求められる空領域との重複が第３閾値以上の低テクスチャ領域を空領域とする、
   請求項６に記載の画像処理装置。
8. 前記整形手段は、前記カラー画像から輝度の分散または標準偏差を、輝度によって正規化した値を前記テクスチャ量として算出する、
   請求項７に記載の画像処理装置。
9. 前記整形手段は、前記統合手段によって取得された空領域と前記カラー画像とを用い、エッジ保存型のフィルタリングを行うことで空マップを整形する、
   請求項６記載の画像処理装置。
10. 前記整形手段によって整形された空マップを用いて、前記距離画像中の空領域の距離を補正する距離画像補正手段を更に有する、
    請求項６から９のいずれか１項に記載の画像処理装置。
11. 前記統合手段は、前記カラー画像が撮影された際の撮像装置の姿勢情報から前記カラー画像中における水平線または地平線の位置を推定し、当該水平線または地平線の位置も考慮して空領域を判定する、
    請求項１から１０のいずれか１項に記載の画像処理装置。
12. カラー画像を撮影する撮像手段と、
    請求項１から１１のいずれか１項に記載の画像処理装置と、
    を有する、撮像装置。
13. カラー画像を撮影する撮像手段と、
    前記カラー画像から距離画像を取得する距離画像取得手段と、
    請求項１０に記載の画像処理装置と、
    を有する、距離計測装置。
14. カラー画像と距離画像に基づいて空領域を検出する画像処理方法であって、
    画像処理装置が、
    カラー画像の画素値に基づいて第１の暫定空マップを生成する第１生成ステップと、
    距離画像の距離値に基づいて第２の暫定空マップを生成する第２生成ステップと、
    前記第１の暫定空マップおよび前記第２の暫定空マップを統合した空マップを生成する統合ステップと、
    を実行する、画像処理方法。

Images