JP6185249B2 - イメージ処理装置及びイメージ処理方法 - Google Patents

Description

本発明は、イメージ処理装置及びイメージ処理方法に関するものである。

一般住宅を始めとしてデパート、銀行、展示場、工場などの室内外に備えられる監視カメラ（ＣＣＴＶ：Closed Circuit Television）は盗難を防止し、機械の作動状態または工程の流れや状況判断などのために多様に用いられている。

監視カメラは、特定の場所に設置されて該当場所で行われる全ての状況を遠隔地でモニタリングすることを目的として用いられており、このために映像送出機及び、映像送出機から送信された信号を受信して表示装置に提供する表示部などを含む。

一方、一般的にディジタルカメラはその構造において一般的なカメラの光学方式及びメカニズムを用いるという点で似ているが、フィルムの代わりにＣＣＤ（Charge Coupled Device）というイメージセンサーで画像を取り込み、その信号をディジタルデータに変換し、グラフィックファイルでメモリに格納する方法を採るという点で違いがある。

このようなディジタルカメラは、撮影した画像を、ディスプレイ画面を通じて直ちに確認することができ、コンピュータによる編集、出力など、多様な資料の処理が可能であり、必要時には複雑なフィルム現像及び印画工程無しで、直ちにプリンタで印刷できるので、広く活用されている。

図１は従来技術によるカメラを概略的に説明する図であり、図２は従来技術による映像の状態を示す図であり、図３は従来技術による光の状態を示す図であり、図４は従来技術によるカメラを用いて撮影された映像を示す図である。

図１を参照すると、カメラは少なくとも１つの面に回折光学素子（ＤＯＥ：diffractive-optical element）が適用された負の屈折能を有する第１レンズ１と、少なくとも１つの面に回折光学素子が適用された正の屈折能を有する第２レンズ２と、第１レンズ１と第２レンズ２との間で光量調節の機能をする絞り３と、第２レンズ２とイメージセンサー５の結像面との間で低周波帯域を通過させ、ナイキスト（Nyquist）周波数以上の高周波数領域を遮断する光学的フィルタ（ＯＬＰＦ：Optical Low Pass Filter）４と、から構成される。

しかしながら、図２に示すように、回折光学素子が適用されたレンズを使用すると、イメージセンサー５の結像面に映像が正確に結ばれる１次光以外に、０次または２次光のような雑光が結ばれ、これによって映像フレア現象が発生するという問題がある。

即ち、図３に示すように、１次光を中心として、２次光及び０次光がグラフのような形態に発生し、１次光の強度が大きくなるにつれて０次及び２次光の強度も大きくなる。

言い換えると、回折光学素子を用いてレンズを製作すれば、図４に示すような映像が表出され、表出される映像には光源の周囲にフレアが形成されて画質劣化の原因となる。

このようなフレアは、０次及び２次のような光が結像面に正確に結ばれないことにより作られ、フレアを低減させるために明るさを減少させると、暗い部分の階調が埋もれるようになって、更に他の画質劣化の原因となる。

このことから、映像フレア現象を低減させて画質の劣化を防止できる技術が必要とされている。

本発明の目的は、回折光学素子を使用するカメラ等のイメージ処理装置で０次または２次光により発生するフレア現象を効果的に防止できるイメージ処理装置及びイメージ処理方法を提供することにある。

本発明の他の目的は、撮影映像を分析してフレアが発生した領域を検出し、検出された領域に対してのみ映像処理を遂行することができるイメージ処理装置及びイメージ処理方法を提供することにある。

本発明の更に他の目的は、イメージを一定領域に分割し、それによって分割された領域に互いに異なるポイントスプレッド関数を適用して、フレアが発生する以前の元のイメージを復元できるイメージ処理装置及びイメージ処理方法を提供することにある。

本発明が達成しようとする技術的課題は、前述した技術的課題に制限されず、言及されていない更に他の技術的課題は以下の記載から提案される実施形態が属する技術分野で通常の知識を有する者に明確に理解されるであろう。

本発明によるイメージ処理方法は、イメージを受信するステップと、受信されたイメージをフレーム単位で複数の領域に分割するステップと、分割された複数の領域毎に各々の領域に含まれたピクセルの明るさ情報を獲得するステップと、獲得した明るさ情報を用いて分割された領域でフレアが発生したフレア領域を検出するステップと、検出されたフレア領域に適用される映像処理条件を決定するステップと、決定された映像処理条件に基づいて、受信されたイメージを処理するステップと、を含み、フレア領域に適用される映像処理条件とフレア領域を除外したその他の領域に適用される映像処理条件とは互いに異なることを特徴とする。

また、本発明によるイメージ処理装置は、レンズと、レンズを通じて入った光を電気的なイメージに変換するイメージセンサーと、イメージセンサーを通じて変換されたイメージを複数の領域に分割し、分割された各々の領域に対する明るさ情報を用いて分割された領域のうちのフレア領域を検出し、検出したフレア領域とその他の領域に互いに異なる映像処理条件を適用してイメージ処理を遂行する映像処理部と、を含むことを特徴とする。

本発明によれば、映像を分析してフレアが発生した領域を検出し、検出された領域に対して映像処理を遂行することによって、回折光学素子を使用するカメラで０次または２次光により発生するフレア現象を効果的に防止することができる。

また、本発明によれば、フレアが発生した部分のみの映像処理条件を変更することによって、フレアが発生していない領域の画質劣化無しでフレアが発生した領域の画質を向上させることができる。

本発明によれば、映像を分析してフレアが発生した領域を検出し、それによって互いに異なるポイントスプレッド関数を適用してフレアを除去することによって、イメージの画質劣化無しで元のイメージを容易に復元することができる。

従来技術によるカメラを概略的に説明する図である。 従来技術による映像の状態を示す図である。 従来技術による光の状態を示す図である。 従来技術によるカメラを用いて撮影された映像を示す図である。 本発明の実施形態によるイメージ処理装置を説明する図である。 図５に図示された第１映像処理部の詳細構成図である。 本発明の第１実施形態による領域分割部により分割される映像を説明する図である。 本発明の第１実施形態によるフレア領域検出過程を説明するための図である。 本発明の第１実施形態によるガンマ曲線の変化を示す図である。 本発明の第２実施形態によるイメージ復元原理を説明するための図である。 本発明の第２実施形態によるイメージ復元過程を説明するための図である。 本発明の第２実施形態によるイメージ復元過程を説明するための図である。 本発明の第２実施形態によるイメージ復元過程を説明するための図である。 本発明の第２実施形態によるイメージ復元過程を説明するための図である。 本発明の第２実施形態によるイメージ復元過程を説明するための図である。 本発明の第１及び２実施形態に従って出力される映像を示す図である。 本発明の第１実施形態によるイメージ処理装置のイメージ処理方法をステップ毎に説明するフローチャートである。 本発明の第２実施形態による映像処理装置の映像処理方法をステップ毎に説明するフローチャートである。 本発明の第２実施形態による映像処理装置の映像処理方法をステップ毎に説明するフローチャートである。

以下、添付した図面を参照して本発明の好ましい実施形態を詳細に説明する。

図５は、本発明の実施形態によるイメージ処理装置を説明する図である。

図５を参照すると、イメージ処理装置１００は、レンズ部１１０、イメージセンサー１２０、第１映像処理部１３０、第２映像処理部１４０、表示部１５０、格納部１６０、入力部１７０、及び制御部１８０を含む。

レンズ部１１０は、光学系（ＯＰＳ）であって、フィルタを含んでもよく、撮影される映像の光を光学的に処理する。レンズ部１１０は被写体の光学像がイメージセンサー１２０に結ばれるようにする。

レンズ部１１０は、ズームレンズ（図示せず）とイメージセンサー１２０に結ばれる光学上の焦点を合せるために光軸方向に移動可能なフォーカスレンズ（図示せず）を含んで構成される。

即ち、レンズ部１１０はユーザが撮影しようとする被写体に対する映像を獲得する。

より詳しくは、レンズ部１１０は少なくとも一面が回折光学素子からなる凹レンズで構成される第１レンズグループと、少なくとも一面が回折光学素子からなる凸レンズで構成される第２レンズグループと、を含むことができる。

第１レンズグループは、広い視野角及び充分な後焦点距離（ＢＦＬ：Back Focal Length）を有するように負（−）のパワーを有する凹レンズである。また、第１レンズグループは一面が非球面であり、少なくとも他の一面が回折光学素子として設計されるが、回折光学素子が形成された面の分散が負の符号を有するため、軸上の色収差を容易に補正しながらもパワーの一部を負担するので、レンズの形状をある程度緩慢にすることができる。

また、凸レンズ形状の第２レンズグループは、正（＋）のパワーを有し、少なくとも一面が非球面であり、また少なくとも一面が回折光学素子で構成されて凹レンズ形状の第１レンズグループで入射された映像情報を収斂させる。

イメージセンサー１２０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤで構成される。

イメージセンサー１２０は、多数の光検出器が各々の画素として集積された形態を有し、被写体の映像情報を電気的データに変換させて出力する。

即ち、イメージセンサー１２０は、レンズ部１１０を通過した被写体のイメージを感知する。感知されたイメージは遠隔地にいるユーザに転送できる。

イメージセンサー１２０は、レンズ部１１０を通じて入力される光量を蓄積し、その蓄積された光量によってレンズ部１１０で撮影された映像を垂直同期信号に合せて出力する。

映像の獲得は、被写体から反射されて出る光を電気的な信号に変換させるイメージセンサー１２０によりなされる。

イメージセンサー１２０を用いてカラー映像を得るためにはカラーフィルタを必要とし、大部分はＣＦＡ（Color Filter Array）というフィルタ（図示せず）を採用している。ＣＦＡは１ピクセル毎に１色の光のみを通過させ、規則的に配列された構造を有し、配列構造によって多様な形態を有する。

第１映像処理部１３０は、イメージセンサー１２０で獲得された映像をフレーム単位で分析し、分析結果に従って映像の画質を補償して出力する。

より詳しくは、第１映像処理部１３０はイメージセンサー１２０で獲得された映像の中にフレアが発生した領域を確認する。そして、第１映像処理部１３０は確認したフレア発生領域の映像処理条件を変更して、フレア発生領域の画質を補償する。

この際、第１映像処理部１３０は第１実施形態による画質補償方法を用いて画質を補償することができ、あるいは、これに代えて、第２実施形態による画質補償方法を用いて画質を補償することもできる。

第１及び２実施形態による画質補償方法については、以下にさらに詳細に説明する。

第２映像処理部１４０は、ＩＳＰ（Image Signal Processor）と称され、第１映像処理部１３０を通じて出力される映像信号をフレーム単位で処理する。

表示部１５０は後述する制御部１８０の制御によって撮影された映像を表示し、写真撮影時に、必要な設定画面やユーザの動作選択のための画面を表示する。

また、実施形態に従ってプリビューキー入力時に、プリビュー画面を表示し、撮影キー入力時に、ポップ−アップされるポップ−アップ画面や、予め設定されたアニメーションあるいは映像を表示する。

格納部１６０は、イメージ処理装置１００が動作するために必要なデータを格納する。

また、実施形態に従って格納部１６０は、撮影キー入力時に、表示部１５０を通じて表示するポップ−アップ画面やアニメーションあるいは映像を格納する。

格納部１６０は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリ等）、ＲＡＭ、ＲＯＭ（ＥＥＰＲＯＭ等）のうち、少なくとも１つのタイプの格納媒体を含むことができる。

入力部１７０は、ユーザの入力を受信して制御部１８０に伝達する。

表示部１５０がタッチスクリーンとして具現された場合には、表示部１５０が同時に入力部１７０として動作することができる。

実施形態に従って、入力部１７０は撮影を遂行するための撮影キーと、プリビュー画面を表示するためのプリビューキーと、をさらに含むことができる。

制御部１８０は、カメラの各構成を制御する。

実施形態において、制御部１８０は第１映像処理部１３０により画質補償がなされるように制御し、それによって画質補償によりフレアが除去された映像が表示部１５０を通じて出力されるようにする。

図６は、図５に図示された第１映像処理部の詳細構成図である。

図６を参照すると、第１映像処理部１３０は、領域分割部１３１、ヒストグラム分析部１３２、フレア領域検出部１３３、画質補償部１３４、及び映像出力部１３５を含む。

以下、本発明の実施形態に従って第１映像処理部で遂行される動作について説明する。

以下に説明される第１実施形態と第２実施形態は、フレア除去のためのイメージ処理を遂行する目的は同一であるが、イメージ処理を遂行するためのフレア領域検出方法及び検出されたフレア領域のイメージ処理条件は互いに異なる。

即ち、第１実施形態では、ガンマ曲線、ゲイン、及びオフセットなどのイメージ処理条件を変更してフレアを除去するようにするが、第２実施形態ではポイントスプレッド関数を含むイメージ処理条件を変更してフレアを除去する。

以下、第１及び２実施形態についてより具体的に説明する。

（第１実施形態）
領域分割部１３１は、イメージセンサー１２０を通じて出力される映像を受信し、受信された映像をフレーム単位で出力する。

この際、領域分割部１３１はフレーム単位の映像を複数の領域に分割する。

分割される領域の数は実施形態に従って変えることができる。この際、分割される領域の数が増加すれば、それに従う計算量は増加するが、より正確な画質補償を遂行することができるという長所がある。

図７は、本発明の第１実施形態による領域分割部により分割される映像を説明する図である。

即ち、図７に示すように、領域分割部１３１は入力されるフレーム単位の映像７００をＮ＊Ｍ個の領域７１０に分割して出力する。

ヒストグラム分析部１３２は、領域分割部１３１を通じて出力される映像を受信し、それによって領域分割部１３１を通じて分割された各領域のヒストグラム特性を分析する。

ここで、ヒストグラム特性は、頻度数、ピーク個数、ピーク距離、及びピーク幅を含む。一般に、ヒストグラムは映像の中でピクセルに対する明暗値の分布を表したものである。即ち、これは映像の中に明るいピクセルと暗いピクセルが分布する時、その範囲と値を表現したものであって、これをグラフで表したものをヒストグラムグラフという。例えば、２５６階調の映像で明暗値の範囲は０乃至２５５の値を有し、各明暗値（レベルの頻度数）がグラフの高さで示される。ヒストグラムは多くの映像情報を有しており、多様な映像処理に用いられる。

また、本発明の好ましい実施形態において、ヒストグラムを分析することにより映像の特性が分かる。

フレア領域検出部１３３は、ヒストグラム分析部１３２で分析した各領域の特性を用いてフレア領域を検出する。

図８は、本発明の実施形態によるフレア領域検出過程を説明するための図である。

図８を参照すると、フレア領域検出部１３３は、分割された領域のうち、第１領域（８１０）に対するフレアが発生するか否かを確認する。

即ち、フレア領域検出部１３３は第１領域（８１０）に含まれたピクセルのうち、最も明るいピクセルのレベル値と、第１領域（８１０）に含まれたピクセルのうち、最大明るさ値（２５５レベル）を有するピクセル数を確認する。

この際、最大明るさ値を有するピクセル数が既定の基準値以上であれば、フレア領域検出部１３３は第１領域をフレアが発生したフレア領域と判断する。

言い換えると、フレア領域検出部１３３は最大明るさ値である２５５レベルを有するピクセルの数が既定の基準値より多い領域をフレアが発生した領域と判断する。

フレア領域判断のための基準値は、実施形態に従って多様な値とすることができる。例えば、映像の実際の明るさが最大明るさ値（２５５レベル）の場合と、上記のようにフレアが発生することによって画質劣化が発生して、映像の明るさが最大明るさ値（２５５レベル）を有する場合とを区分しなければならない。言い換えると、特定領域に含まれたピクセルが最大明るさ値を有する場合、ピクセルが元の最大明るさ値を有するものであるのか、あるいはフレアにより最大明るさ値を有するようになったのかを区別しなければならない。

この際、上記の区別は最大明るさ値を有するピクセルの連続性によって判断することができる。

例えば、基準値を１００に設定することができ、これによって特定領域に対して最大明るさ値（２５５レベル）が１００ピクセル以上の連続性を有する場合には、フレアによって上記領域に画質劣化が発生したものと判断する。

また、特定領域に対して最大明るさ値が１００ピクセル未満の連続性を有する場合には、特定領域が有する実際の明るさが最大明るさ値（２５５レベル）を有しているものと見なす。これは、実際の明るさ値が２５５レベルであり、このような最大明るさ値（２５５レベル）が１００ピクセル以上の連続性を有するような物体は稀であるという仮定の下で具現される。

フレア領域検出部１３３は、第１領域（８１０）がフレア領域であれば、第１領域（８１０）の隣接領域を分析し、隣接領域の明るさの程度を確認する。

隣接領域は、第１領域（８１０）の上に隣接している第２領域（８２０）、第１領域（８１０）の左側に隣接している第３領域（８３０）、第１領域（８１０）の下に隣接している第４領域（８４０）、及び第１領域（８１０）の右側に隣接している第５領域（８５０）を含むことができる。

これによって、フレア領域検出部１３３は、第２乃至５領域（８２０、８３０、８４０、８５０）に対して最も明るいピクセルのレベル値と、最大明るさ値（２５５レベル）を有するピクセルの数を用いて隣接領域の状態を確認する。

この際、隣接領域もフレア領域と見なすと、フレア領域検出部１３３は第１領域（８１０）がフレア領域全体で中央部分に位置したものと見なすことができる。

即ち、第１領域（８１０）でフレアが発生し、フレアが、白色が（太陽の中心のように）ぎっしり詰まった映像であれば、第１領域（８１０）はフレア領域全体の中心部に位置しているものと判断する。この際、第１領域はフレア発生の原因となった撮影物体（例えば、白熱灯）であると確認できる。

しかしながら、フレア領域検出部１３３は、隣接領域はフレア領域でないが、自身はフレア領域である場合を用いて、フレア領域全体のうち縁に位置した縁領域（８６０）を検出する。

例えば、Ａ領域のフレアの程度が弱く（例えば、最大明るさ値を有するピクセルの数が全ピクセル数の６０％位）、Ａ領域の特定隣接領域（例えば、上に隣接した隣接領域）のフレアの程度が激しく（例えば、最大明るさ値を有するピクセルの数が全ピクセル数の９０％位）であり、Ａ領域の他の隣接領域（例えば、横や下に隣接した隣接領域）にはフレアが発生しなかった場合は、Ａ領域はフレア領域全体のうち縁に位置した領域であると見なすことができる。

画質補償部１３４は、フレア領域検出部１３３を通じて縁領域（８６０）が検出されると、検出された縁領域のガンマ曲線や、ゲイン、及びオフセットのうち、少なくとも１つの条件を変更して画質補償を遂行する。

図９は、本発明の第１実施形態によるガンマ曲線の変化を示す図である。

図９を参照すると、上に描かれたグラフは一般的に適用されるガンマ曲線グラフである。

この際、画質補償部１３４はフレア領域の縁領域が検出されると、一般的に適用されるガンマ曲線を変更して、縁領域に適用されるガンマ曲線を決定する。

即ち、縁領域の明るさを減少させるために、図９の下に描かれたグラフのように一般的に適用されるガンマ曲線の傾きを減少させる。

この際、傾きの減少の程度は、縁領域のフレアの程度によって決定される。

例えば、第１縁領域（最大明るさ値を有するピクセル数が全ピクセル数の５０％の領域）と、第２縁領域（最大明るさ値を有するピクセル数が全ピクセル数の８０％の領域）に適用されるガンマ曲線の傾きは異なることがある。

即ち、第１縁領域に適用されるガンマ曲線の傾きは第２縁領域に適用されるガンマ曲線の傾きより大きいことがある。即ち、フレアの程度が激しくなるにつれて適用されるガンマ曲線の傾きは減少する。

映像出力部１３５は、画質補償部１３４を通じて画質が補償された映像をフレーム単位で出力する。

上記のように、第１実施形態によれば、フレア領域全体のうち、縁に位置した縁領域を確認し、それによって確認した縁領域の画質を補償するようにする。

上記では、フレア領域全体のうち、中央部分に位置した領域もフレア領域と見なしたが、実質的に中央部分に位置した領域は光源のような撮影物体領域であり、判断した縁領域のみをフレア領域と判断することが好ましい。

これによって、フレア領域と判断した縁領域に対してのみ画質補償を遂行することが好ましい。

（第２実施形態）
領域分割部１３１は、イメージセンサー部１２０を通じて出力されるイメージを受信し、受信されたイメージを既定の分割条件に従って分割する。

分割条件は、イメージの解像度によって変えることができる。

ヒストグラム分析部１３２は、領域分割部１３１を通じて分割されたイメージを受信し、分割された領域毎にピクセルのヒストグラムを分析する。

この際、ヒストグラム分析部１３２はヒストグラムを分析するために、ピクセルの輝度レベルを確認することができる。

即ち、輝度レベルはヒストグラム分析を通じて把握できる。

フレア領域検出部１３３は、ヒストグラム分析部１３２を通じて検出された分割領域毎の輝度レベルを基準としてフレア領域を検出する。

例えば、フレア領域検出部１３３は最大明るさ値（２５５レベル）を有するピクセルが既定の基準範囲を超過すれば、該当領域を２５５領域と決定することができ、それによって２５５領域の隣接領域をフレア領域として検出することができる。

即ち、２５５領域は第１実施形態で説明したフレア領域全体の中央部分に位置した領域ということができ、２５５領域の隣接領域は第１実施形態で説明した縁領域ということができる。

画質補償部１３４はフレア領域が検出されると、検出されたフレア領域に対して互いに異なるポイントスプレッド関数を適用して画質補償を遂行する。

フレア領域に適用されるポイントスプレッド関数は制御部１８０により設定され、これに関する具体的な説明は後述する。

映像出力部１３５は、画質補償部１３４を通じて画質補償がなされたイメージを出力する。

図１０は、本発明の第２実施形態によるイメージ復元原理を説明するための図である。

図１０を参照すると、元のイメージ（ｆ［ｘ，ｙ］）が特定ポイントスプレッド関数（ｈ［ｘ，ｙ］）によってレンズを通過すれば、それに従う撮影イメージ（ｇ［ｘ，ｙ］）が生成される。

この際、レンズからポイントスプレッド関数の逆数

を算出して、入力（ｇ［ｘ，ｙ］）に対するコンボリューション演算を取得すれば、元の映像を復元することができる。

この際、カメラセンサーが飽和する前には上記のようなコンボリューションを遂行するにつれて元の映像を正確に復元することができる。

しかしながら、カメラセンサーが飽和した以後には、上記のようなコンボリューションを遂行しても、既にセンサーで飽和がなされたため、あたかもポイントスプレッド関数がｈ［ｘ，ｙ］でない他の値で適用されたものと同様であり、これによって、

を適用するとしても正確な元のイメージを復元することができない。これは、強い光源で雑音レベルが高まり、画質が落ちる原因によるものである。

これによって、実施形態では飽和がなされてフレア領域が発生したならば、フレア領域は元のポイントスプレッド関数と異なるポイントスプレッド関数が適用されたことを確認し、それによってフレア領域に対しては元のイメージ復元のために適用するポイントスプレッド関数を補正する。

以下、イメージ復元過程について、添付した図面を参照してより具体的に説明する。

図１１乃至１５は、本発明の第２実施形態によるイメージ復元過程を説明するための図である。

まず、図１１を参照すると、領域分割部１３１は入力イメージを既定の分割条件に従って複数の領域に分割する。

即ち、領域分割部１３１は入力イメージ１１００を第１領域１１１０と同一の大きさの１００個の領域に分割する。

この際、図面上にはイメージが１００個の領域に分割される場合を例示したが、これは一実施形態に過ぎないものであり、分割された領域数は、これより多い場合もあり、少ない場合もある。

次に、図１２を参照すると、ヒストグラム分析部１３２は領域分割部１３１を通じて分割された各領域に対し、ピクセル毎の輝度レベルを判断する。

輝度レベルは前述したようにヒストグラムの分析によって確認できる。

そして、フレア領域検出部１３３は、輝度レベル判断部１３２を通じて確認された輝度レベルに対する情報を受信し、それによって既定の数（例えば、１００個）以上のピクセルが最大明るさ値（２５５レベル）を有する領域の存否を判断する。

また、フレア領域検出部１３３は、最大明るさ値（２５５レベル）を有する領域が存在すれば、領域を２５５領域（フレア領域の中心領域）として指定する。

図１２では、入力イメージ１２００の上で第１領域（１２１０）に含まれたピクセルのうち、最大明るさ値（２５５レベル）を有するピクセルの数が既定の基準値から外れた場合であり、これによって第１領域（１２１０）は２５５領域として指定できる。

以後、フレア領域検出部１３３は２５５領域が確認されると、２５５領域の隣接領域（１２２０）（第１実施形態では、縁領域）をフレア領域として指定する。

この際、隣接領域（１２２０）は２５５領域を中心として、上下左右方向にA番目に位置した領域まで含めることができる。また、図面上には隣接領域（１２２０）が２５５領域を中心として、上下左右方向に２番目に位置した領域まで含まれるとしたが、これは一実施形態に過ぎないものであり、隣接領域に含まれる領域の数は、これより多い場合もあり、少ない場合もある。

これによって、隣接領域（１２２０）は２５５領域を中心として、上下左右方向に最初に位置した領域を含む第１隣接領域（１２２２）と、２番目に位置した領域を含む第２隣接領域（１２２４）を含むことができる。

図１３は、隣接領域に対する明るさ増加率を示す図である。

図１３を参照すると、ピクセル毎の明るさ増加率は、図面のように２５５領域で隣接するほど傾きが急激に増加することが分かる。

これにより、イメージの飽和度が激しいということが分かり、ポイントスプレッド関数の歪みの程度が大きいということが分かる。

これによって、本実施形態では、イメージの飽和の程度、言い換えると２５５領域と近接するほどポイントスプレッド関数の歪みの程度が激しいので、ポイントスプレッド関数の補償率を高めるようにする。

例えば、２５５領域は歪みが発生しなかったので、元のポイントスプレッド関数をそのまま適用し、２５５領域の隣接領域は、ポイントスプレッド関数に一定倍数を乗算した補正ポイントスプレッド関数を適用する。また、補正ポイントスプレッド関数は２５５領域に隣接するほど増加するようになり、それによって最も遠く離れた隣接領域に適用される補正ポイントスプレッド関数は実質的に元のポイントスプレッド関数と同一になる。

即ち、図１４を参照すると、実施形態では２５５領域には元のポイントスプレッド関数、即ち基準ポイントスプレッド関数を適用して元のイメージを復元する。

また、２５５領域に最も近接している第１隣接領域（Ａ）は基準ポイントスプレッド関数に倍数ｘを乗算した第１補正ポイントスプレッド関数を適用する。

また、２５５領域に２番目に近接している第２隣接領域（Ｂ）は基準ポイントスプレッド関数に倍数ｙを乗算した第２補正ポイントスプレッド関数を適用する。

この際、第１補正ポイントスプレッド関数に適用される倍数ｘは、第２補正ポイントスプレッド関数に適用される倍数ｙより大きい。即ち、２５５領域に近いほどポイントスプレッド関数の歪みの程度が激しいので、より高い倍数を乗算して補正ポイントスプレッド関数を算出する。

例えば、基準ポイントスプレッド関数を１＊ＰＳＦとし、第１補正ポイントスプレッド関数を５＊ＰＳＦとし、第２補正ポイントスプレッド関数を３＊ＰＳＦとしてもよい。

画質補償部１３４は、基準ポイントスプレッド関数及び補正ポイントスプレッド関数が決定されると、基準ポイントスプレッド関数及び補正ポイントスプレッド関数の逆数を取ってコンボリューションを遂行することによって、フレアが除去された元のイメージを復元する。

一方、上記のような方法により補正ポイントスプレッド関数を適用してもよいが、より正確なフレア除去のためにフレア領域として指定された領域をより細分化する作業を遂行することができる。

即ち、上記では２５５領域を中心として隣接した２つの領域までフレア領域として指定され、これによって２つの補正ポイントスプレッド関数が適用された。

この場合、フレア除去は可能であるが、フレア除去の満足度を最大限には上げられない場合がある。

そのため、本実施形態では図１５のように、フレア領域が指定されると、領域分割部１３１は指定されたフレア領域に対してより細分化した分割作業を遂行する。

即ち、これまでは２つの隣接領域のみフレア領域として指定したが、領域分割部１３１は２つの領域を５個の領域に細分化して、５個の隣接領域がフレア領域に含まれるようにする。

これによって、５個の隣接領域に対する補正ポイントスプレッド関数を算出し、これに対する逆数を取って元のイメージの復元がなされるようにする。

即ち、２５５領域に最も近接している第１隣接領域に第１補正ポイントスプレッド関数を適用し、２番目に近接している第２隣接領域に第２補正ポイントスプレッド関数を適用し、３番目に近接している第３隣接領域に第３補正ポイントスプレッド関数を適用し、４番目に近接している第４隣接領域に第４補正ポイントスプレッド関数を適用し、５番目に近接している第５隣接領域に第５補正ポイントスプレッド関数を適用する。

この際、第１補正ポイントスプレッド関数乃至第５補正ポイントスプレッド関数の関係は、２５５領域から遠ざかるほど小さくなり、２５５領域から最も遠い領域に適用される補正ポイントスプレッド関数は基準ポイントスプレッド関数とほとんど同一になる。

上記のような補正ポイントスプレッド関数を適用してコンボリューションを遂行すれば、図１６のように、実際の光源のような物体の領域はそのまま存在し、その周辺に発生するフレアのみ効果的に除去することができる。

また、フレア領域を除外した他の領域に対しては基準ポイントスプレッド関数がそのまま適用されるため、他の領域で発生する画質劣化を防止することができる。

上記のような実施形態によれば、映像を分析してフレアが発生した領域を検出し、それによって互いに異なるポイントスプレッド関数を適用してフレアを除去することによって、イメージの画質劣化無しで元のイメージを容易に復元することができる。

図１７は、本発明の第１実施形態によるイメージ処理装置のイメージ処理方法をステップ毎に説明するフローチャートである。

図１７を参照すると、まず領域分割部１３１はイメージセンサー１２０を通じて出力される映像を受信する（ステップＳ１０１）。

以後、領域分割部１３１は受信された映像をフレーム単位に区分し、それによってフレーム単位の映像を複数の領域に分割する（ステップＳ１０２）。

分割された複数の領域のうち、第１領域（特定領域）がフレア領域か否かを判断するために、第１領域に対する検証過程を遂行する（ステップＳ１０３）。

ヒストグラム分析部１３２は、第１領域及び第１領域に隣接している隣接領域のヒストグラムを分析する（ステップＳ１０４）。

以後、フレア領域検出部１３３は、ヒストグラム分析部１３２を通じて分析された第１領域及び隣接領域のヒストグラムを用いて、第１領域がフレア領域であるか否か、及び、第１領域がフレア領域であれば、フレア領域全体のうち、どの部分に第１領域が位置しているかを判断する（ステップＳ１０５）。

フレア領域検出部１３３は、領域分割部１３１を通じて分割された全ての領域に対して上記のような検証過程が遂行されたか否かを判断する（ステップＳ１０６）。

上記の判断の結果（ステップＳ１０６）、検証が遂行されていない領域があれば、次の領域を選択（ステップＳ１０５）し、それによって選択された次の領域に対して上記のような過程（ステップＳ１０４〜ステップＳ１０５）を遂行する。

以後、フレア領域が判断されると、フレア領域全体のうち、縁領域に位置した領域の画質補償条件を決定し、それによって決定した画質補償条件を用いて領域の画質補償を遂行する（ステップＳ１０８）。

図１８及び図１９は、本発明の第２実施形態によるイメージ処理装置のイメージ処理方法をステップ毎に説明するためのフローチャートである。

まず、図１８を参照すると、イメージが受信されると、受信されたイメージを複数の領域に分割する（ステップＳ２０１）。

以後、分割された領域の各々に対し、ピクセル毎の輝度レベルを確認する（ステップＳ２０２）。
ピクセル毎の輝度レベルが確認されると、領域のうち、２５５領域の存否を判断する（ステップＳ２０３）。

即ち、２５５レベルを有するピクセルの数が既定の基準値以上の領域の存否を判断する。

２５５領域が存在すれば、２５５領域を中心としてＡ番目まで隣接している領域を隣接領域として指定する（ステップＳ２０４）。

以後、指定された隣接領域に適用される補正ポイントスプレッド関数を決定する（ステップＳ２０５）。補正ポイントスプレッド関数の決定方法に関しては前述したので、これについての説明は省略する。

補正ポイントスプレッド関数が決定されると、決定された補正ポイントスプレッド関数と、基準ポイントスプレッド関数を用いてイメージの各領域に対する復元過程を遂行する（ステップＳ２０６）。

一方、２５５領域が存在しなければ、センサー飽和が発生しなかったと判断し、それによって基準ポイントスプレッド関数を確認する（ステップＳ２０７）。

以後、確認した基準ポイントスプレッド関数をイメージの全ての領域に適用して元のイメージを復元する（ステップＳ２０８）。

次に、図１９を参照すると、フレア領域が判断されると、判断されたフレア領域を別個に分離する（ステップＳ３０１）。

以後、分離されたフレア領域を以前の分割条件より細分化して、より多くの領域に分割する（ステップＳ３０２）。

次に、細分化して分割された各々の隣接領域に適用される補正ポイントスプレッド関数を決定する（ステップＳ３０３）。

以後、決定された補正ポイントスプレッド関数を用いて元のイメージを復元する（ステップＳ３０４）。

本実施形態によれば、映像を分析してフレアが発生した領域を検出し、それによって互いに異なるポイントスプレッド関数を適用してフレアを除去することによって、イメージの画質劣化無しで元のイメージを容易に復元することができる。

１００ イメージ処理装置
１１０ レンズ部
１２０ イメージセンサー
１３０ 第１映像処理部
１３１ 領域分割部
１３２ ヒストグラム分析部
１３３ フレア領域検出部
１３４ 画質補償部
１３５ 映像出力部
１４０ 第２映像処理部
１５０ 表示部
１６０ 格納部
１７０ 入力部
１８０ 制御部

Claims (18)

1. イメージを受信するステップと、
   受信された前記イメージをフレーム単位で複数の領域に分割するステップと、
   分割された前記複数の領域毎に各々の領域に含まれるピクセルの明るさ情報を獲得するステップと、
   獲得した前記明るさ情報を用いて前記の分割された領域でフレアが発生したフレア領域を検出するステップと、
   検出された前記フレア領域に適用される映像処理条件を決定するステップと、
   決定された前記映像処理条件に基づいて、受信された前記イメージを処理するステップと、を含み、
   前記フレア領域に適用される映像処理条件と、前記フレア領域を除外したその他の領域に適用される映像処理条件とは、互いに異なり、
   前記明るさ情報を獲得するステップは、前記各々の領域内で最も明るいレベルを有するピクセルの明るさ値と、最大明るさ値を有するピクセルの数とを獲得するステップを含むことを特徴とする、イメージ処理装置のイメージ処理方法。
2. 前記最大明るさ値は、２５５レベルである、請求項１に記載のイメージ処理装置のイメージ処理方法。
3. 前記フレア領域を検出するステップは、
   第１条件を満たす第１領域を検出するステップと、
   前記第１領域の隣接領域のうち、一部の隣接領域が前記第１条件を満たし、残りの一部の隣接領域が前記第１条件とは反対の第２条件を満たすか否かを判断するステップと、
   前記の判断結果に従って前記第１領域をフレア領域として検出するステップと、を含み、
   前記第１条件は、各々の領域に含まれたピクセルのうち、前記最大明るさ値を有するピクセルの数が既定の基準値を超過する条件であり、
   前記第２条件は、各々の領域に含まれたピクセルのうち、前記最大明るさ値を有するピクセルの数が既定の基準値以下になる条件である、請求項１又は２に記載のイメージ処理装置のイメージ処理方法。
4. 前記映像処理条件を決定するステップは、検出された前記フレア領域に適用されるガンマ曲線、ゲイン、及びオフセットのうち、少なくとも１つの条件を決定するステップを含む、請求項１乃至３のうちのいずれか一項に記載のイメージ処理装置のイメージ処理方法。
5. 適用される前記ガンマ曲線は、前記フレア領域のフレアの程度によって傾きが減少し、
   前記フレアの程度は、前記フレア領域に含まれる前記最大明るさ値を有するピクセル数により決定される、請求項４に記載のイメージ処理装置のイメージ処理方法。
6. 前記フレア領域を検出するステップは、
   獲得した前記明るさ情報を用いて前記分割された領域のうち、前記最大明るさ値を有するピクセル数が既定の基準値を超過する第１領域を確認するステップと、
   確認した前記第１領域の隣接領域を前記フレア領域として検出するステップと、
   を含む、請求項１に記載のイメージ処理装置のイメージ処理方法。
7. 前記映像処理条件を決定するステップは、
   レンズから基準ポイントスプレッド関数を導出するステップと、
   導出した前記基準ポイントスプレッド関数を用いて前記フレア領域に適用される補正ポイントスプレッド関数を算出するステップと、を含み、
   算出した前記補正ポイントスプレッド関数は、検出した前記フレア領域に適用され、
   前記基準ポイントスプレッド関数は、前記フレア領域を除外した残りの領域に適用される、請求項６に記載のイメージ処理装置のイメージ処理方法。
8. 前記フレア領域は、前記第１領域に最も近接した第１フレア領域乃至Ｎ番目に近接した第Ｎフレア領域を含み、
   前記第１フレア領域乃至第Ｎフレア領域に適用される補正スプレッド関数は互いに異なる、請求項７に記載のイメージ処理装置のイメージ処理方法。
9. レンズと、
   前記レンズを通じて入った光を電気的なイメージに変換するイメージセンサーと、
   前記イメージセンサを通じて変換されたイメージを受信し、前記受信されたイメージをフレーム単位で複数の領域に分割する領域分割部と、
   前記領域分割部を通じて分割された各々の領域の明るさ情報を獲得するヒストグラム分析部と、
   獲得した前記明るさ情報を用いて、分割された前記領域のうち、フレア領域を検出するフレア領域検出部と、
   検出された前記フレア領域に適用される映像処理条件を決定し、決定された前記映像処理条件を基準に前記フレア領域とその他の領域に互いに異なる映像処理条件を適用してイメージ処理を遂行する画質補償部と、を含み、
   前記フレア領域検出部は、獲得した前記明るさ情報を用いて、前記各々の領域のうち、最大明るさ値を有するピクセル数が既定の基準値を超過する第１領域を確認し、前記確認された第１領域の隣接領域を前記フレア領域として検出することを特徴とする、イメージ処理装置。
10. 前記フレア領域検出部は、
    分割された前記領域のうち、第１条件を満たす前記第１領域を検出し、
    前記の検出された第１領域の隣接領域のうち、一部の隣接領域が前記第１条件を満たし、残りの一部の隣接領域が前記第１条件とは反対の第２条件を満たすか否かを判断し、前記第１条件を満たす隣接領域と前記第２条件を満たす隣接領域とが全て存在すれば、前記第１領域をフレア領域として検出し、
    前記第１条件は、各々の領域に含まれるピクセルのうち、最大明るさ値を有するピクセルの数が既定の基準値を超過する条件であり、
    前記第２条件は、各々の領域に含まれたピクセルのうち、最大明るさ値を有するピクセルの数が既定の基準値以下になる条件である、請求項９に記載のイメージ処理装置。
11. 前記映像処理条件は、検出された前記フレア領域に適用されるガンマ曲線、ゲイン、及びオフセットのうち、少なくとも１つの条件を含む、請求項１０に記載のイメージ処理装置。
12. 適用される前記ガンマ曲線は、前記フレア領域のフレアの程度によって傾きが減少し、
    前記フレアの程度は、前記フレア領域に含まれる最大明るさ値を有するピクセル数により決定される、請求項１１に記載のイメージ処理装置。
13. 前記レンズから基準ポイントスプレッド関数を導出し、導出した前記基準ポイントスプレッド関数を用いて前記フレア領域に適用される補正ポイントスプレッド関数を算出する制御部をさらに含む、請求項９〜１２のいずれか一項に記載のイメージ処理装置。
14. 前記制御部は、
    前記フレア領域に算出した前記補正ポイントスプレッド関数を適用し、
    前記フレア領域を除外した残りの領域に導出した前記基準ポイントスプレッド関数が適用されてイメージ処理がなされるようにする、請求項１３に記載のイメージ処理装置。
15. 前記制御部は、前記第１領域と近接する程度によって前記フレア領域として指定された各々の隣接領域に適用される補正ポイントスプレッド関数を算出する、請求項１４に記載のイメージ処理装置。
16. 前記フレア領域として指定される隣接領域は、前記第１領域から最も近接した第１隣接領域乃至Ｎ番目に近接した第Ｎ隣接領域を含み、
    前記第１隣接領域乃至第Ｎ隣接領域に対して算出される補正ポイントスプレッド関数は互いに異なる、請求項１５に記載のイメージ処理装置。
17. 前記画質補償部は、各々の前記隣接領域に対して算出された補正ポイントスプレッド関数及び前記基準ポイントスプレッド関数を用いてコンボリューションを遂行する、請求項１６に記載のイメージ処理装置。
18. 前記領域分割部は、前記フレア領域が検出されると、検出された前記フレア領域を細分化した領域に再分割し、
    前記制御部は、再分割された前記領域に各々適用される補正ポイントスプレッド関数を算出する、請求項１５〜１７のいずれか一項に記載のイメージ処理装置。

Images