JP6635799B2

JP6635799B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP6635799B2
Application number: JP2016009136A
Authority: JP
Inventors: 靖浩伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2020-01-29
Anticipated expiration: 2036-01-20
Also published as: JP2017130060A; US20170206690A1; US10210643B2

Description

本発明は、大気中の微粒子による影響を低減して撮像画像の視認性を改善する画像処理に関する。

監視カメラなどの分野において、カメラから被写体までの間に存在する微小粒子（例えば、霧）によって視認性が低下し、撮像画像の画質が劣化することが問題となっている。この原因として、光が大気中を通過する際に散乱することが挙げられる。そして、この大気中の微粒子による光の散乱には２種類あることが知られている。１つは、ミー散乱であり、塵、埃、水蒸気の粒など光の波長と比較して粒子径が大きい場合に発生する。ミー散乱の場合、光の波長に依存せず白く散乱し、その結果、遠い被写体ほど白くなってコントラストが低下する。もう１つは、レイリー散乱であり、空気分子のような光の波長と比較して粒子径が小さい場合に発生する。レイリー散乱の場合、波長が短い光ほどよく散乱する。その結果、遠い被写体ほど青色成分が散乱することで画像は青みがかった色調になる。上記２種類の光の散乱が発生して視認性が低下した画像から散乱成分を取り除く技術（ヘイズ除去技術）が提案されている。特許文献１では、着目画素毎に周囲の所定範囲におけるＲＧＢチャンネル内での最小画素値を算出し、最小画素値の画素で構成される画像（最小値画像）を用いて、コントラストを補正することで視認性の改善を行う技術が開示されている。さらに特許文献２には、上記特許文献１の技術ではレイリー散乱によって散乱された青い光が補正不足になることがあるという問題を踏まえ、２つの散乱の特性の違いを考慮して撮像画像内の散乱成分を除去する技術が開示されている。

ＵＳ８３４０４６１特開２０１５−１０３１６７号公報

K. He, J. Sun, and X. Tang. Guided image filtering. In ECCV ’10: European Conference on Computer Vision, pages 1-14, 2010.

上記特許文献１や特許文献２に記載の技術では、散乱成分除去のための画像処理を行う際に、撮像画像の最小画素値を参照した演算がなされる。ここで、監視カメラやデジタルカメラの撮像画像は、イメージセンサによって得られる。イメージセンサで得られる画像は、低画素値であるほどセンサノイズの影響を多く受け、画素値のばらつきが大きくなってしまうという傾向がある。このため、前述の最小値画像に基づいた画像処理を行う手法では、該最小値画像に含まれる低い画素値の影響により、ノイズがかえって目立ってしまう可能性があった。

本発明に係る画像処理装置は、撮像画像から大気中の微粒子の影響を低減した画像を生成する画像処理装置であって、前記撮像画像から導き出される微粒子による散乱光の成分が強調された画素の画素値に基づいて、前記微粒子の影響を低減する補正処理を前記撮像画像に対して行なう補正処理手段と、前記補正処理によって散乱光の成分が除去された画像を用いて、前記散乱光による輝度変化成分および色変化成分をそれぞれ抽出する抽出手段と、抽出された前記輝度変化成分および前記色変化成分を、前記散乱光の成分が除去された画像に任意の割合で合成する合成手段と、前記撮像画像から大気光成分を抽出する大気光成分抽出手段と、前記大気光成分を用いて、前記撮像画像と比べて前記微粒子による散乱光の成分が強調された画素により構成される散乱成分強調画像を生成する生成手段と、を備え、前記微粒子による散乱光の成分が強調された画素の画素値は、前記画素を含む所定ブロック内の最小画素値を除く下位の画素値に基づいて決定される、ことを特徴とする。

本発明によれば、大気中の微粒子による影響を低減して撮像画像の視認性を改善する画像処理において、イメージセンサによるノイズの影響を抑えた、より高画質な画像を得ることができる。

画像処理装置の構成の一例を示すブロック図である。画像処理装置の機能ブロック図である。ヘイズ除去処理部の内部構成を示した図である。ヘイズ除去処理部における処理の流れを示すフローチャートである。大気光成分の抽出処理の詳細を示すフローチャートである。霧が発生しているシーンを撮影した入力画像の一例を示す図である。散乱成分強調画像の生成過程を説明する図である。ＲＧＢ全体の散乱成分強調画像に基づき、入力画像からすべての散乱成分を除去する補正処理の詳細を示すフローチャートである。プレーン毎の散乱成分強調画像に基づく、入力画像からすべて散乱成分を除去する補正処理の詳細を示すフローチャートである。入力画像から抽出されたミー散乱に相当する成分を示した画像の一例である。入力画像から抽出されたレイリー散乱に相当する成分を示した画像の一例である。ヘイズ除去処理後の画像（出力画像）の一例を示す図である。

以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

［概要］
本実施例では、まず、霧などが発生しているシーンを撮影した入力画像中のミー散乱成分とレイリー散乱成分を求める。そして、求めたミー散乱成分とレイリー散乱成分を個別に抑制し再合成することで、微粒子の影響を低減した画像を得る。より具体的には以下のとおりである。

まず、入力画像であるＲＧＢ色空間の撮像画像から、大気による光の散乱成分（大気光成分）を推定する。次に、入力画像における散乱光の成分が強調された画像（散乱成分強調画像）を、ＲＧＢのプレーン毎及び全体について求める。次に、求めたプレーン毎の散乱成分強調画像とＲＧＢ全プレーンでの散乱成分強調画像をそれぞれ用いて、入力画像に対し散乱成分を除去する補正処理を行う。そして、補正結果を用いて、上述した２種類の散乱成分を抽出する。最後に、抽出したミー散乱成分とレイリー散乱成分をそれぞれ任意の割合で再合成して、視認性を改善した画像を得る。

なお、本明細書中の上記抽出や再合成の処理において演算によって求められるミー散乱成分及びレイリー散乱成分は、物理的な意味でのミー散乱とレイリー散乱を厳密・正確に表すものではないことに留意が必要である。本明細書中では、ミー散乱とは主に散乱による輝度変化成分に対応し、レイリー散乱とは主に散乱による色変化成分に対応する。

図１は、本発明に係る画像処理装置の構成の一例を示すブロック図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤＩ／Ｆ１０４、ＨＤＤ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、システムバス１０８から構成され、外部メモリ１０９、表示装置１１０、撮像装置１１１が接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０８を介して後述する各部を統括的に制御する。これにより、後述する様々な処理が実行される。

ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ(ＳＡＴＡ)等のインタフェイスであり、二次記憶装置としてのＨＤＤ１０５と接続されている。このＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出しやＨＤＤ１０５へのデータの書き込みがなされる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。

入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。この入力Ｉ／Ｆ１０６を介して、撮像装置１１１や外部メモリ１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。

出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。この出力Ｉ／Ｆ１０７を介して、表示装置１１０（液晶ディスプレイなどの各種出力デバイス）に、撮像装置１１１で撮像された画像などを表示する。

撮像装置１１１は、被写体の光情報をセンサで受光し、Ａ/Ｄ変換を施すことによって撮像画像のデジタルデータを取得する。

なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

図２は、本実施例に係る画像処理装置１００の機能ブロック図であり、入力画像データ取得部２０１、ヘイズ除去処理部２０２、ヘイズ除去画像データ出力部２０３、データ記憶部２０４から構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。

入力画像取得部２０１は、撮像装置１１１で撮像されたＲＧＢ色空間の画像を入力画像として取得する。ヘイズ除去処理部２０２は、入力画像から大気中の微粒子による光の散乱成分を除去して視認性を改善した画像（以下、「ヘイズ除去画像」と呼ぶ。）を生成する。ヘイズ除去画像データ出力部２０３は、生成されたヘイズ除去画像のデータを、表示装置１１０など外部に出力する処理を行う。データ記憶部２０４は、上述の各種画像データを格納する他、ヘイズ除去画像の生成過程で生じる処理結果等の各種データを格納する。

続いて、本発明の特徴である、ヘイズ除去処理部２０２について詳しく説明する。図３は、ヘイズ除去処理部２０２の内部構成を示した図である。ヘイズ除去処理部２０２は、大気光成分抽出部３０１、散乱成分強調画像生成部３０２、第１補正処理部３０３、第２補正処理部３０４、ミー散乱成分抽出部３０５、レイリー散乱成分抽出部３０６、及び合成処理部３０７を備える。

ヘイズ除去処理部２０２を構成する上記各部は、ＲＯＭ１０３やＨＤＤ１０５に保持されたプログラムがＲＡＭ１０２に展開されてＣＰＵ１０１で実行されることにより実現される。図４は、ヘイズ除去処理部２０２における処理の流れを示すフローチャートである。以下、図４のフローチャートに沿って、ヘイズ除去処理部２０２の動作について説明する。

ステップ４０１において、大気光成分抽出部３０１は、入力画像から大気光成分を抽出する。大気光成分は、撮像シーンにおける物体からの反射光以外の成分を意味し、上述のミー散乱成分とレイリー散乱成分が含まれる。大気光成分抽出処理の詳細は後述する。抽出した大気光成分のデータは、後続のステップでの処理に備え、データ記憶部２０４にて保存される。

ステップ４０２において、散乱成分強調画像生成部３０２は、入力画像から上述の散乱成分強調画像を生成する。散乱成分強調画像を構成する画素の値は、所定ブロック内の最小画素値を除く複数の下位の画素値に基づいて、例えば加重平均を取るなどして決定される。そして、散乱成分強調画像は、各プレーン単位とＲＧＢ全プレーンについての２種類が生成される。生成の際に所定ブロック内の最小画素値を用いないことで、センサノイズの影響を大きく受けた画素が生じないようにしている。散乱成分強調画像生成処理の詳細は後述する。生成した２種類の散乱成分強調画像のデータは、後続のステップでの処理に備え、データ記憶部２０４にて保存される。

ステップ４０３において、第１補正処理部３０３は、ＲＧＢ全体の散乱成分強調画像を用いて、入力画像からすべての散乱光成分に相当する大気光成分を除去する補正処理（第１補正処理）を行う。第１補正処理の詳細については後述する。第１補正処理によって生成された補正画像（第１補正画像）のデータは、後続のステップでの処理に備え、データ記憶部２０４にて保存される。

ステップ４０４において、第２補正処理部３０４は、プレーン毎の散乱成分強調画像を用いて、入力画像からすべての散乱光成分に相当する大気光成分を除去する補正処理（第２補正処理）を行う。第２補正処理の詳細については後述する。第２補正処理によって生成された補正画像（第２補正画像）のデータは、後続のステップでの処理に備え、データ記憶部２０４にて保存される。

ステップ４０５において、ミー散乱成分抽出部３０５は、入力画像及びＲＧＢ全体の散乱成分強調画像を用いて、ミー散乱成分を抽出する。ミー散乱成分抽出処理の詳細は後述する。抽出したミー散乱成分のデータは、後続のステップでの処理に備え、データ記憶部２０４にて保存される。

ステップ４０６において、レイリー散乱成分抽出部３０６は、入力画像及びプレーン毎の散乱成分強調画像を用いて、レイリー散乱成分を抽出する。レイリー散乱成分抽出処理の詳細は後述する。抽出したレイリー散乱成分のデータは、後続のステップでの処理に備え、データ記憶部２０４にて保存される。

ステップ４０７において、合成処理部３０７は、抽出されたミー散乱成分及びレイリー散乱成分を任意の割合で、上述の第２補正画像に合成する合成処理を行う。合成処理はプレーン単位でなされる（その詳細は後述する）。合成処理によって生成されたプレーン毎の合成画像は１つのプレーンにまとめられてデータ記憶部２０４にて保存された後、必要に応じてヘイズ除去画像として外部に出力される。

以上が、ヘイズ除去処理部２０２における処理の流れである。続いて、ヘイズ除去処理部２０２を構成する各部における処理の詳細について説明する。

［大気光成分の抽出］
大気光成分抽出部３０１における大気光成分の抽出処理（ステップ４０１）について、図５のフローチャートを参照して説明する。

ステップ５０１では、データ記憶部２０４から入力画像であるＲＧＢ色空間の画像データが読み込まれる。続くステップ５０２では、読み込んだＲＧＢ色空間の画像を輝度値を表す画像（Ｙ画像）に変換する処理がなされる。この変換には、一般的なＲＧＢ−Ｙ色変換式を適用すればよい。

ステップ５０３では、ステップ５０２で得られたＹ画像を用いて、大気光成分の推定時に参照する画素位置の候補（以下、参照画素位置候補）が決定される。具体的には、Ｙ画像の全画素値のうち所定の閾値以上の値を持つ画素の位置を、参照画素位置候補として決定する。なお、所定の閾値には、例えば全画素値のうち値の大きい上位１％が参照画素位置候補となるような値を設定すればよい。

ステップ５０４では、大気光成分の推定時に参照する画素位置が、参照画素位置候補に基づいて決定される。具体的には、ステップ５０３で決定した参照画素位置候補を対象に、RANSAC法などのロバスト推定を用いて実際の参照画素位置を決定する。大気光成分として選択されるべき画素は空の部分を表している画素が望ましい。本ステップの意義は、ステップ５０３で決定した参照画素位置候補の中に含まれる、空以外の部分の高輝度の画素を除外することにある。この点、空以外の高輝度部分が入力画像上に占める割合は少なく、かつ、空の色とは輝度が異なる傾向にある。そのため、参照画素位置候補の画素のうち輝度が異なる画素を参照画素に含まないように外れ値として扱い、参照画素を適切に絞り込むことが可能なロバスト推定を行う。この時、参照画素として決定する画素の数を制限してもよい。これは、入力画像上で例えば空の色がグラデーションになっている場合など同じ空でも色（画素値）が異なることがあり、あまり多くの画素を参照するとこのような色の変化を含む空が推定対象となってしまうので、これを避けるためである。

ステップ５０５では、ステップ５０４で決定された参照画素位置に従って、大気光成分推定の処理対象とする画素（注目参照画素）を１つ決定し、当該注目参照画素の画素値を、ＲＧＢそれぞれの色毎に加算する処理がなされる。注目参照画素は、例えば参照画素として決定された画素のうち入力画像内の画素位置が最も左上の画素を最初の注目参照画素とし、以降は順次右隣の画素に移行（右隣の画素がなければ１行下に移行）するなどして決定すればよい。ＲＧＢそれぞれの色毎に加算された画素値は、ＲＡＭ１０２等で保持される。

ステップ５０６では、ステップ５０４で決定された全ての参照画素位置について加算処理が完了した否かが判定される。加算処理が済んでいない参照画素位置があればステップ５０５に戻り、次の参照画素位置にある画素を注目参照画素として加算処理を続行する。一方、全ての参照画素位置について加算処理が完了していれば、ステップ５０７に進む。

ステップ５０７では、ＲＡＭ１０２などに保持された累積加算画素値を平均化し、入力画像内の大気光成分を抽出する処理がなされる。具体的には、以下の式（１）及び式（２）を用いて、ＲＧＢ画像の大気光成分A_RGBとＹ画像の大気光成分A_Yとをそれぞれ求める。
A_RGB＝(ΣA_R／n，ΣA_G／n，ΣA_B／n) ・・・式（１）
A_Y＝（３×ΣA_R／ｎ＋６×ΣAG／ｎ＋ΣA_B／ｎ）／１０・・・式（２）

上記式（１）及び式（２）において、A_R、A_G、A_BはそれぞれＲプレーン、Ｇプレーン、Ｂプレーンの大気光成分を表す値、A_YはＹ画像の大気光成分を表す値、nは参照画素の総数を表す。なお、大気光成分を求める式は上記式（１）や式（２）に限定されるわけではない。例えば、Ｙ画像の大気光成分を、ΣA_R／n，ΣA_G／n，ΣA_B／nの中で最も小さい値を求めることによって得てもよい。

以上のようにして、大気光成分抽出部３０１において入力画像内の２種類の大気光成分A_RGBとA_Yが抽出される。図６は、霧が発生しているシーンを撮影した入力画像の一例であり、このような入力画像（ＲＧＢ画像）から求められる大気光成分 A_RGBは(176,177,179)といった値となる。

［散乱成分強調画像の生成］
散乱成分強調画像生成部３０２における２種類の散乱成分強調画像の生成処理（ステップ４０２）について、図７を参照して説明する。前述の通り散乱成分強調画像には、ＲＧＢの各プレーンについて生成される散乱成分強調画像と、ＲＧＢ全体での散乱成分強調画像の２種類がある。

まず、プレーン毎の散乱成分強調画像の生成について説明する。図７（ａ）は、プレーン毎の散乱成分強調画像の生成過程を説明する図である。図７（ａ）は、ＲＧＢ画像の任意のプレーンの一部であり、太枠の矩形７００は前述の所定ブロックに対応する参照領域を示している。この例では、その中心画素７０１を注目画素とし、その周囲8画素を含む計9画素の領域（３×３画素の領域）を参照領域として、当該注目画素７０１に対応する下位画素値T_planeが導出される。ここで、注目画素７０１における下位画素値T_planeは、例えば、参照領域７００内の最小画素値を除いた下位３つの画素値の加重平均を取ることで求めることができる。この場合において、下から２番目の画素値をV_2、下から３番目の画素値をV_3、下から４番目の画素値をV_4とし、それぞれに対応する重み係数を2：4：2とすると、下位画素値T_planeは、以下の式（３）で表される。
T_plane＝(2×V_2＋4×V_3＋2×V_4)／8 ・・・式（３）

図７（ａ）の例では、参照領域７００内の最小画素値“103”を除いた下位３つの画素値（注目画素７０１の右隣：104、同直上：105、同左上：105）の加重平均を求めると、下位画素値T_plane＝104.75となる。このような処理を対象プレーンの全画素について行うことで、プレーン毎の散乱成分強調画像が得られる。このように、最小画素値を除く下位の複数の画素値の加重平均を取ることで、プレーン毎の散乱成分強調画像がセンサノイズの影響を強く受けたものにならないようにしている。そして、当該散乱成分強調画像の画素値の導出に使用する画素は、各色のプレーンからのみ採用されているため、光の散乱の波長による影響を考慮したものとなる。なお、上記式（３）は注目画素に対応する下位画素値T_planeを求める際の計算式の一例であり、これに限定されない。例えば、最小値を除く下位４つまたはそれ以上の画素値の加重平均を求めてもよい。他にも、ＲＧＢ値を輝度値に変換した上で、変換後の輝度値における下位画素値を求めてもよい。また、所定ブロックに対応する参照領域を例えば注目画素を中心とした５×５画素の領域とするなど、さらに広い領域を参照して下位画素値を求めてもよい。参照領域のサイズを決定する際には、例えばＲＧＢ値を輝度値に変換し、輝度値が大きいほど参照範囲が広くなるようにすることが考えられる。ただし、被写体までの距離が近い部分と遠い部分とは区別する必要があり、参照範囲が広いと近くにある白い壁を空と誤判定してしまう可能性があるため、このような点も加味しつつ参照範囲は決定する必要がある。

次に、ＲＧＢ全体の散乱成分強調画像の生成処理について説明する。図７（ｂ）は、ＲＧＢ全体の散乱成分強調画像の生成過程を説明する図である。図７（ｂ）には、ＲＧＢ各プレーンの一部（同一座標）が示されており、各太枠の矩形７１０、７２０、７３０は所定ブロックに対応する参照領域を示している。ＲＧＢ全体の散乱成分強調画像の生成では、３つの参照領域における同一座標の中心画素７１１、７２１、７３１を注目画素とし、各注目画素の周囲8画素を含む計27画素からなる領域のすべてを参照領域とする。すなわち、ＲＧＢ全体の散乱成分強調画像は、プレーン毎の散乱成分強調画像とは異なり、３つの同一座標の注目画素の周辺にある全プレーンにおける画素を参照領域として処理が行われる。このため、採用される画素は、ＲＧＢいずれのプレーンの画素からも選択される可能性がある。こうして、同一座標の注目画素７１１、７２１、７３１に対応する下位画素値T_RGBを導出する。このときの下位画素値T_RGBも、上述の下位画素値T_planeと同様、上記式（３）によって求めることができる。図７（ｂ）の例では、最小画素値“89”を除いた下位３つの画素値（注目画素７１１の直上：93、注目画素７２１の右上：96、注目画素７１１の左隣：97）の加重平均を求めると、下位画素値T_RGB＝95.5となる。このようにして、ＲＧＢ全体の散乱成分強調画像を得ることができる。なお、このＲＧＢ全体の散乱成分強調画像は、特許文献２におけるダークチャンネル画像（特許文献２の段落[0022]を参照）に相当するものである。

［ＲＧＢ全体の散乱成分強調画像に基づく補正画像の生成］
第１補正処理部３０３における、ＲＧＢ全体の散乱成分強調画像に基づく、入力画像からすべての散乱成分を除去する補正処理（第１補正処理：ステップ４０３）について、図８のフローチャートを参照して説明する。

ステップ８０１では、ＲＧＢ全体の散乱成分強調画像、Ｙ画像の大気光成分、及び入力画像の各データが、データ記憶部２０４から読み込まれる。

ステップ８０２では、Ｙ画像の大気光成分A_Yを用いて、ＲＧＢ全体の散乱成分強調画像が修正される。具体的には、以下の式（４）を用いて、修正されたＲＧＢ全体の散乱成分強調画像RGB＿A_Yが求められる。
RGB_A_Y(x,y)＝T_{in_RGB}(x,y)／A_Y ・・・式（４）

上記式（４）においてTin_{_RGB}は修正前のＲＧＢ全体の散乱成分強調画像を示し、(x,y)は画素位置を示す座標である。

ステップ８０３では、大気光成分A_Yによる修正後のＲＧＢ全体の散乱成分強調画像RGB_A_Yを基に、透過率分布ｔ_RGB(x,y)が導出されるを生成。具体的には、RGB_A_Yに対して以下の式（５）を適用して、ｔ_RGB(x,y)が求められる。
ｔ_RGB(x,y)＝1.0−ω(RGB_A_Y(x,y)) ・・・式（５）

上記式（５）において、ωは対象画素の透過光が霧などの微粒子による散乱光のみで構成されていた場合は透過率が“0”となり、散乱成分除去後の画素値が“0”になるのを避けるために設ける調整のための係数であって、例えば0.9といった値である。

ステップ８０４では、導出した透過率分布ｔ_RGB(x,y)が、入力画像に合わせて整形される。これは、ステップ８０３で導出された透過率分布ｔ_RGB(x,y)を、入力画像のシーンに含まれる構造物等の被写体形状に合わせるための処理である。具体的には、例えば非特許文献１に記載のエッジキープ型フィルタを用いるなどして、被写体形状を分離する。

ステップ８０５では、Ｙ画像の大気光成分A_Yと整形後の透過率分布ｔ_RGB(x,y)とを用いてから、入力画像Iに対し、すべての散乱成分を除去する処理を行なう。具体的には、以下の式（６）を用いて、散乱成分が除去された画像（以下、第１補正画像）J_RGBが求められる。

上記式（６）において、J_RGB(x,y)は第１補正画像の画素位置(x,y)における画素値、I(x,y)は入力画像Iの画素位置(x,y)における画素値を示している。また、ｔ0は整形後の透過率分布ｔ_RGB(x,y)が限りなく小さい値であった場合、J_RGB(x,y)の値が、I(x,y)のわずかな差（撮像時のショットノイズ等）によって大きく変動してしまうのを防ぐために設けられた調整のための係数である。具体的ｔ0としては、例えば0.1といった値である。

このようにして、ＲＧＢ全体の散乱成分強調画像に基づき、入力画像から散乱成分が除去された補正画像が生成される。

［プレーン毎の散乱成分除去画像に基づく補正画像の生成］
第２補正処理部３０５における、プレーン毎の散乱成分強調画像に基づく、入力画像からすべて散乱成分を除去する補正処理（第２補正処理：ステップ４０５）について、図９のフローチャートを参照して説明する。

ステップ９０１では、プレーン毎の散乱成分強調画像、ＲＧＢ画像の大気光成分、及び入力画像の各データが、データ記憶部２０４から読み込まれる。

ステップ９０２では、ＲＧＢ画像の大気光成分A_RGBを用いて、プレーン毎の散乱成分強調画像が修正される。具体的には、以下の式（７）を用いて、修正されたプレーン毎の散乱成分強調画像Plane_A_RGBが求められる。
Plane _A(x,y,c)＝T_{in_plane}(x,y,c)／A_RGB ・・・式（７）

上記式（７）において、T_{in_plane}は修正前のプレーン毎の散乱成分強調画像を示し、(x,y,c)はカラープレーンｃにおける画素位置を示す座標である。この場合において、ｃ＝1のときはＲ画像、ｃ＝2のときはＧ画像、ｃ＝3のときはＢ画像といった具合に、ｃの値と各プレーンとが対応付けられている。

ステップ９０３では、大気光成分A_RGBによる修正後のプレーン毎の散乱成分強調画像Plane_A_RGBを基に、透過率分布ｔ_plane(x,y,c)が導出される。具体的には、Plane_A_RGBに対して以下の式（８）を適用して、ｔ_plane(x,y,c)が求められる。
ｔ_plane(x,y,c)＝1.0−ω(Plane_A_RGB(x,y,c)) ・・・式（８）

上記式（８）におけるωは、前述の式（５）と同様、散乱成分除去後の画素値が“0”になるのを避けるために設ける調整のための係数であって、例えば0.9といった値である。

ステップ９０４では、導出した透過率分布ｔ_plane(x,y,c)を、入力画像に合わせて整形する。具体的な手順は前述のステップ８０４と同じである。プレーン毎の散乱成分強調画像の場合は各プレーンに対して、すなわち、透過率分布ｔ_plane(x,y,c)におけるｃを変えて、被写体形状を分離する整形が行なわれる。

ステップ９０５では、ＲＧＢ画像の大気光成分A_RGBと整形後の透過率分布ｔ_plane(x,y,c)とを用いて、入力画像Iに対し、すべての散乱成分を除去する処理を行なう。具体的には、以下の式（９）を用いて、散乱成分が除去された画像（以下、第２補正画像）J_planeが求められる。

上記式（９）において、J_plane(x,y,c)は第２補正画像の画素位置(x,y,c)における画素値、I(x,y,c)は入力画像Iの画素位置(x,y,c)における画素値を示している。また、ｔ0は上記式（６）と同様の調整係数であって、例えば0.1といった値である。

このようにして、プレーン毎の散乱成分強調画像に基づき、入力画像から散乱成分が除去された補正画像がプレーン毎に生成される。

［ミー散乱成分の抽出］
ミー散乱成分抽出部３０５における、ミー散乱成分の抽出処理（ステップ４０５）について説明する。ミー散乱成分は、散乱光による輝度変化成分であり、入力画像Iから上述の第１補正画像J_RGBを取り除いたものに相当する。具体的には、入力画像Iの画素毎に、まず式（１０）を用いてRGB各プレーン単位で画素値の減算を行い、その後に式（１１）を用いて各プレーンでの最大値を求めて１プレーンに集約することにより、ミー散乱成分Mを求めることができる。
I(x,y,c)−J_RGB(x,y)＞＝0のとき：M(x,y,c)＝I(x,y,c)−J_RGB(x,y)
I(x,y,c)−J_RGB(x,y)＜0のとき：M(x,y,c)＝0
・・・式（１０）
M(x,y)=max(M,(x,y,c))
・・・式（１１）

上記式（１０）及び式（１１）における(x,y,c)及び(x,y)の意味は、前述の式（６）及び式（７）におけるそれと同じである。図１０は、図６の入力画像から得られたミー散乱に相当する成分Mを示した画像である。このようにして、入力画像からミー散乱成分が抽出される。

なお、上述の式（１０）に代えて、以下の式（１０）’を用いてもよい。

I(x,y,c)−J_plane(x,y,c)＞＝0のとき：M(x,y,c)＝I(x,y,c)−J_plane(x,y,c)
I(x,y,c)−J_plane(x,y,c)＜0のとき：M(x,y,c)＝0
・・・式（１０）’

［レイリー散乱成分の抽出］
レイリー散乱成分抽出部３０６における、レイリー散乱成分の抽出処理（ステップ４０６）について説明する。レイリー散乱成分は、散乱光による色変化成分であり、入力画像Iから上述の第２補正画像J_planeとミー散乱成分Mを取り除いたものに相当する。従って、入力画像Iの画素毎に、以下の式（１２）を用いて画素値の減算を行うことにより、レイリー散乱成分Rを求めることができる。
I(x,y,c)−J_plane(x,y,c)−M(x,y)＞＝0のとき：R(x,y,c)＝I(x,y,c)−J_plane(x,y,c)−M(x,y)
I(x,y,c)−J_plane(x,y,c)−M(x,y)＜0のとき：R(x,y,c)＝0
・・・式（１２）

上記式（１２）における(x,y,c)及び(x,y)の意味は、前述の式（６）及び式（７）におけるそれと同じである。図１１は、図６の入力画像から得られたレイリー散乱に相当する成分を示した画像である。このようにして、入力画像からレイリー散乱成分が抽出される。

［合成処理］
最後に、合成処理部３０７における、プレーン毎に生成された第２補正画像に、抽出されたミー散乱成分とレイリー散乱成分を任意の割合で再合成する処理について説明する。具体的には、第２補正画像J_planeの画素毎に、以下の式（１３）を用いて画素値の加算を行うことにより合成画像J_combをプレーン毎に求める。
J_comb(x,y,c)＝J_plane(x,y,c)＋m・M(x,y)＋r・R(x,y,c)
・・・式（１３）

上記式（１２）において、mはミー散乱成分に乗算する強度係数、rはレイリー散乱成分に乗算する強度係数であり、例えば、r＝0.5、m＝0.1といった具合に、それぞれ0〜1の間の値を取ることが望ましい。また、m＝0、r＝0とすることで、コントラストの向上のみに特化し、色付きを考慮しない画像を得ることが可能である。さらに、rを1に近づけると処理後の色付きが弱まる傾向にあり、mを1に近づけると霧の除去強さが弱まり、コントラストが低下する傾向にある。このように、mとrの値を任意に変えて画像合成を行なうことにより、光の散乱による影響の割合を制御することができる。

そして、求めたプレーン毎の合成画像J_combを１つにまとめて、最終的な出力画像（ヘイズ除去画像）が得られる。図１２は、図６の入力画像に対して上記合成処理を行なって得られた出力画像を示している。図１２から把握することはやや困難ではあるが、大気中の微粒子による散乱成分が除去されたより自然な画像となっている。

以上説明したように、本発明によれば、より自然な形で大気中の微粒子の影響で低下したコントラストを向上させ、視認性を改善させた高画質な画像を得ることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１大気光成分抽出部
３０２下位画素画像生成部
３０３第１補正処理部
３０４第２補正処理部
３０５ミー散乱成分抽出部
３０６レイリー散乱成分抽出部
３０７合成処理部

Claims

撮像画像から大気中の微粒子の影響を低減した画像を生成する画像処理装置であって、
前記撮像画像から導き出される微粒子による散乱光の成分が強調された画素の画素値に基づいて、前記微粒子の影響を低減する補正処理を前記撮像画像に対して行なう補正処理手段と、
前記補正処理によって散乱光の成分が除去された画像を用いて、前記散乱光による輝度変化成分および色変化成分をそれぞれ抽出する抽出手段と、
抽出された前記輝度変化成分および前記色変化成分を、前記散乱光の成分が除去された画像に任意の割合で合成する合成手段と、
前記撮像画像から大気光成分を抽出する大気光成分抽出手段と、
前記大気光成分を用いて、前記撮像画像と比べて前記微粒子による散乱光の成分が強調された画素により構成される散乱成分強調画像を生成する生成手段と、
を備え、
前記微粒子による散乱光の成分が強調された画素の画素値は、前記画素を含む所定ブロック内の最小画素値を除く下位の画素値に基づいて決定される、
ことを特徴とする画像処理装置。
前記散乱成分強調画像を構成する各画素の画素値は、前記所定ブロック内の最小画素値を除く複数の下位の画素値の加重平均を取ることで決定することを特徴とする請求項１に記載の画像処理装置。
前記加重平均は、前記所定ブロック内の最小画素値を除いた下位の３つ以上の画素値を用いて行なうことを特徴とする請求項２に記載の画像処理装置。
前記撮像画像はＲＧＢ色空間の各画素値を有し、
前記散乱成分強調画像を構成する各画素の画素値は、前記所定ブロック内のＲＧＢ値から変換された輝度値に基づいて決定する
ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
前記撮像画像はＲＧＢ色空間の各画素値を有し、
ＲＧＢ値から変換された輝度値に応じて、その値が大きいほど前記所定ブロックのサイズを広く設定する手段をさらに備えた
ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
前記生成手段は、前記散乱成分強調画像をＲＧＢのプレーン毎及びＲＧＢ全体について生成し、
前記補正処理手段は、生成されたプレーン毎及びＲＧＢ全体についての散乱成分強調画像をそれぞれ用いて前記補正処理を行って、微粒子の影響を低減した２種類の画像を生成し、
前記抽出手段は、微粒子の影響を低減した前記２種類の画像と前記撮像画像を用いて、前記輝度変化成分及び前記色変化成分をそれぞれ抽出する、
ことを特徴とする請求項１に記載の画像処理装置。
前記合成では、散乱成分が除去された前記画像の画素毎に、抽出された前記輝度変化成分及び前記色変化成分にそれぞれ所定の係数を乗算して得られた値を加算する処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記合成手段は、前記合成をプレーン単位で実行し、得られたプレーン毎の合成画像を１つにまとめて出力することを特徴とする請求項７に記載の画像処理装置。
撮像画像から大気中の微粒子の影響を低減した画像を生成する画像処理方法であって、
前記撮像画像から導き出される微粒子による散乱光の成分が強調された画素の画素値に基づいて、前記微粒子の影響を低減する補正処理を前記撮像画像に対して行なうステップと、
前記補正処理によって散乱光の成分が除去された画像を用いて、前記散乱光による輝度変化成分および色変化成分をそれぞれ抽出するステップと、
抽出された前記輝度変化成分および前記色変化成分を、前記散乱光の成分が除去された画像に任意の割合で合成するステップと、
前記撮像画像から大気光成分を抽出するステップと、
前記大気光成分を用いて、前記撮像画像と比べて前記微粒子による散乱光の成分が強調された画素により構成される散乱成分強調画像を生成するステップと、
を含み、
前記微粒子による散乱光の成分が強調された画素の画素値は、前記画素を含む所定ブロック内の最小画素値を除く下位の画素値に基づいて決定される
ことを特徴とする画像処理方法。
コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。