JP2007114864A - 画像処理装置 - Google Patents

Abstract

【課題】同じ輝度を持ち色相が異なる部分が画像に含まれていても、所望の画質が得られうる画像処理装置を提供すること。
【解決手段】モニタ１７上に表示された画像における非補正対象領域の入力に基づいて、制御部５２３は、入力画像に対しその画素値に応じた強度変換を行って相異なる直交基底にて標本化した後、標本化によって得られた各標本化画像を低域通過フィルタによりフィルタ処理し、更に、標本化に用いられた直交基底に応じた重み係数が乗じられた、フィルタ処理後の各標本化画像を加算して調整用画像を生成する調整用画像生成部５２１と、入力画像と調整用画像とを所定の合成比で合成する画像合成部５２２との少なくとも何れか一方の動作を阻止する。
【選択図】図１

Description

本発明は、画像処理装置に関する。

画像の画質を向上させる手法の１つとして、ヒストグラム均等化法と呼ばれる手法がある。この手法は入力画像の全画素の輝度の分布状態を示すヒストグラムを作成し、このヒストグラムに基づいた輝度変換曲線を使用し、入力画像の各画素の輝度値を変換する手法である。この種のヒストグラム均等化法では画像の輝度のヒストグラムが略均一となり、入力画像における暗い部分等の輝度情報量を増加させることが可能である。ところで、この手法では、入力画像の全領域の輝度を同一の輝度変換曲線で変換する為、入力画像の種類によってはコントラストが低下する。

これに対し、特許文献１のような画質向上方法及びそのための装置が提案されている。この特許文献１の提案においては、局所におけるヒストグラムの均等化に加えて、画素の輝度レベルに応じて処理強度を変えることで、ヒストグラムを修正し画像の画質を改善している。
特表２００４−５３０３６８号公報

ここで、特許文献１の手法は、同じ輝度を持ち、色相が異なる部分の画像に対して一律に処理を行うため、全体として不自然な画像になることがある。例えば、画像において「黒い」部分と「暗い」部分とが混在している場合には、補正により、暗い部分と共に、本来黒いはずの部分までもが明るくなってしまう可能性がある。この場合、実物の画像とは異なる色になり、ユーザが望む画質の画像が得られないおそれがある。

本発明は、上記した事情に鑑みてなされたもので、同じ輝度を持ち色相が異なる部分が画像に含まれていても、所望の画質が得られうる画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像処理装置は、入力画像に対し、その画素値に応じた強度変換を行って相異なる直交基底にて標本化した後、標本化によって得られた各標本化画像を低域通過フィルタによりフィルタ処理し、更に、前記標本化に用いられた前記直交基底に応じた重み係数が乗じられた、前記フィルタ処理後の各標本化画像を加算して調整用画像を生成する調整用画像生成部と、前記入力画像と前記調整用画像とを所定の合成比で合成する画像合成部と、前記入力画像を表示する表示部と、前記表示部上に表示された画像に対する入力に基づき、前記調整用画像の生成又は前記合成を阻止する領域を設定する領域設定部と、前記領域設定部における設定結果に基づき、前記調整用画像の生成と前記合成の少なくとも一方の動作を阻止するように制御する制御部とを具備することを特徴とする。

この第１の態様においては、表示部上で、例えばユーザにより調整用画像の生成又は合成を阻止する領域が設定されると、その設定結果に基づき、制御部は、調整用画像生成部又は画像合成部の少なくとも一方を制御して、調整用画像の生成又は合成を阻止する。
これにより、被写体に対して、輝度が同じながら特性が異なる領域を任意に設定し、領域毎にその特性に応じた処理を行うことが可能となるので、所望の画質で違和感のない画像を得ることが可能となる。

本発明によれば、同じ輝度を持ち色相が異なる部分が画像に含まれていても、所望の画質が得られうる画像処理装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置を適用したデジタルカメラ３０の内部構成を示す図である。レンズ１２は、入射してきた光像をその後方に配置されたＣＣＤ１３に結像させる。ＣＣＤ１３は、レンズ１２を介して結像された光像を光電変換によって画像信号に変換する。ＡＦＥ（アナログフロントエンド）回路１４は、ＣＣＤ１３で得られた画像信号に対して、増幅、波形整形、ノイズ除去等の所定の処理を行う。Ａ/Ｄ変換回路１５はＡＦＥ回路１４処理されたアナログの画像信号をデジタルの画像信号に変換する。記憶部５３には、Ａ/Ｄ変換回路１５で得られたデジタルの画像信号が一旦格納される。本発明の第１の実施形態に係る画像処理装置としての画像処理部１６は、記憶部５３に格納された画像を画素単位で読み出して、後述する画像のコントラスト補正処理を含む種々の画像処理を行い、処理後の画像を、図示しない記憶部に格納すると共に、表示部としてのモニタ１７に表示させる。

入力部１８は、モニタ１７に表示される画面上でユーザが各種操作を行うためのユーザインターフェースである。図２は、図１のデジタルカメラ３０の一面を示した図であり、この一面には、入力部１８として、例えばタッチペン３１と十字キー３２の少なくとも１つ以上、及び決定ボタン３３等が設けられている。領域設定部１９には、モニタ１７に表示された画面上でのユーザの入力部１８の操作に従って画面内において画像処理部１６によるコントラスト補正処理を阻止する領域（非補正対象領域）の情報が設定される。

次に、画像処理部１６におけるコントラスト補正処理に関する構成について更に詳しく説明する。画像処理部１６は、補正部５２と、セレクタ５４とを有している。補正部５２は、記憶部５３から画素単位で読み出した画像のコントラストを改善した補正画像を生成する。セレクタ５４は、記憶部５３から読み出した画像と補正部５２からの補正画像との何れかを選択し、選択したほうの画像をモニタ１７に出力する。

更に、補正部５２は、調整用画像生成部５２１と、画像合成部５２２と、スイッチ（ＳＷ）５２４と、制御部５２３とを有している。調整用画像生成部５２１は、コントラスト調整のための調整用画像を生成する。画像合成部５２２は、調整用画像生成部５２１で得られた調整用画像と記憶部５３から読み出された画像とをα：１−α（αは０、又は０＜α≦１の間の所定の設定値の何れかに切り替え可能）の比で合成して補正画像を生成する。スイッチ５２４は、記憶部５３と調整用画像生成部５２１との間の接続のＯＮ/ＯＦＦを切り替える。制御部５２３は、合成比を規定するαの切り替えとスイッチ５２４のＯＮ/ＯＦＦの切り替えとを領域設定部１９の設定に従って制御する。

また、調整用画像生成部５２１は、複数の調整用画像（ｉ）生成回路５２１ｉ（ｉ＝０、…、ｎ）と、複数の調整用画像（ｉ）生成回路５２１ｉから出力された調整用画像を加算する加算回路５２１ｂと、を有する。ここで、各調整用画像（ｉ）生成回路５２１ｉは、記憶部５３から読み出した画像に対し、その画像の画素値に応じた強度変換を行って、調整用画像（ｉ）生成回路５２１ｉ毎に異なる所定の直交基底にて標本化した後、標本化された画像を低域通過空間フィルタによりフィルタ処理し、更に、標本化に用いた直交基底に応じた重み係数を乗じて加算回路５２１ｂに出力する。各調整用画像（ｉ）生成回路５２１ｉにおいて、画像の低輝度側の画素値に重きを置いた強度変換を行うようにすれば、画像における低輝度側のコントラストが向上する。

ここで、調整用画像（ｉ）生成回路５２１ｉにおける強度変換として、例えば上記特許文献１には、以下のような強度変換Ｆ、
Ｆ（Ｉ）＝｛log（Ｉ＋Δ）−log（Δ）｝/｛log（１＋Δ）−１ｏｇ（Δ）｝
が開示されている。上式においては、記憶部５３から読み出される画像をＩ、強調の重きを置く輝度を決めるパラメータをΔ（＜１ Δが小さいほど低輝度側に重きが置かれる）としている。

以下、図１の画像処理部１６の作用について説明する。図３は、図１の画像処理部１６における画像処理の処理内容を示すフローチャートである。

まず、記憶部５３から画像が入力されると、画像処理部１６は、この入力画像をセレクタ５４により選択し、選択した画像をモニタ１７上に表示させる（ステップＳ２１）。次に、ユーザは、モニタ１７を見ながら、タッチペン３１、十字キー３２の少なくとも１つ以上及び決定ボタン３３等で構成される入力部１８を使用し、コントラストの補正を阻止する領域を設定する操作を行う。この操作を受けて領域設定部１９に非補正対象領域が設定される（ステップＳ２７）。

ステップＳ２７の非補正対象領域の設定について更に説明する。図４（ａ）は、暗色の背景４１ａに黒色の車４２を撮影して得られた画像をモニタ１７に表示させたときの様子を示したものである。この図４（ａ）のような画像が表示されている状態で、タッチペン３１等によって暗色の背景４１ａが選択されると、図４（ｂ）のようにして、現在、領域４１ｂが非補正対象領域として選択されていることを示す表示（例えば、この領域を視別可能なように着色するなど）がなされる。このような表示がなされている状態でユーザは、選択されている領域４１が非補正対象領域として正しいことを確認し、決定ボタン３３を押す。決定ボタン３３の押下により、領域設定部１９に設定されている非補正対象領域が確定される。ここで、タッチペン３１の代わりに、指や十字キー３２等によって非補正対象領域を設定するようにしてもよい。

ステップＳ２７の後、領域設定部１９に設定された非補正対象領域に基づいて、画像処理部１６で画像のコントラスト補正処理が実行される（ステップＳ２８）。具体的には、制御部５２３は、領域設定部１９に設定されている非補正対象領域に対しては、スイッチ５２４をＯＦＦし、且つα＝０として、調整用画像生成部５２１の機能を停止させる。そして、記憶部５３から読み出した画像をセレクタ５４によって選択し、選択した画像をモニタ１７に表示させる。一方、非補正対象領域以外の領域においては、制御部５２３は、スイッチ５２４をＯＮとし、且つ、αを設定値に戻す。そして、調整用画像生成部５２１によりコントラスト補正が実行された補正画像をセレクタ５４によって選択し、選択した画像をモニタ１７に表示させる。

以上説明した第１の実施形態によれば、ユーザは、図４（ａ）に示したような、同じ輝度を持つが、色相の異なる被写体（図４（ａ）のように暗い背景と黒い車とが混在しているような被写体）に対して、非補正対象領域を任意に決定できる。これにより、画像の必要な部分だけコントラスト補正を行うことができるので画像の画質を向上させることができ、且つ違和感の無い自然な画像を得ることができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。ここで、第１の実施形態と同一の機能を有する構成については同一の参照符号を付して説明を省略する。図５は、第２の実施形態における画像処理部１６の構成について示した図である。図５に示すように、第２の実施形態における画像処理部１６は、第１の実施形態の構成に加え、輝度演算部５１と、領域設定補助部５５とを更に有する。輝度演算部５１は、記憶部５３から読み出された画像の輝度の頻度を演算してヒストグラムを作成し、作成したヒストグラムをモニタ１７に表示させるために出力する。領域設定補助部５５は、輝度演算部５１で演算されてモニタ１７上に表示されたヒストグラムを参照してユーザにより設定された、輝度の閾値以下の領域に対応する画像を、他の領域と視別可能なようにモニタ１７に表示させる。

以下、図５の画像処理部１６の作用について説明する。図６は、図５の画像処理部１６における画像処理の処理内容を示すフローチャートである。

まず、記憶部５３から読み出された画像は輝度演算部５１に入力される（ステップＳ２１）。次に、輝度演算部５１は、入力画像の輝度の頻度を演算してヒストグラムを作成し、この作成したヒストグラムを図７のようにしてモニタ１７上に表示させる（ステップＳ２４−１）。この図７のヒストグラム表示においては、図中、右側ほど明るい画素の分布を示し、左側ほど暗い画素の分布を示している。また、図７のヒストグラム表示においては、閾値表示７１がなされ、この閾値表示７１の位置はタッチペン３１や十字キー３２等の入力部１８を用いて設定可能である。

次にユーザは、モニタ１７に図７のようにして表示されたヒストグラムを参照しながら、輝度の閾値表示７１の位置をタッチペン３１や十字キー３２等の入力部１８を用いて設定する。この設定された輝度の閾値表示７１の情報は、領域設定補助部５５に入力される（ステップＳ２４−２）。

次に、領域設定補助部５５は、記憶部５３から読み出した画像に対して、輝度の閾値以下（図７の閾値表示７１よりも左側）の領域を非補正対象領域の候補となる領域とし、この領域の画像を他の領域の画像と視別可能なようにモニタ１７に表示させる（ステップＳ２４−３）。この表示としては、例えばモニタ１７に表示された画像のうち、輝度の閾値表示７１以下に対応する領域の表示を、図４（ｂ）で示したように変えれば良い。次に、ユーザはモニタ１７を見ながら、非補正対象領域の候補となる領域から、タッチペン３１、十字キー３２の少なくとも１つ以上及び決定ボタン３３等の入力部１８を使用し、最終的な非補正対象領域を選択する。この選択に応じて非補正対象領域の候補となる領域から非補正対象領域に対応する領域が抽出され（ステップＳ２６）、この抽出された非補正対象領域が領域設定部１９に設定される（ステップＳ２７）。以後のステップＳ２８の処理は、第１の実施形態と同様である。

以上説明した第２の実施形態によれば、画像の輝度のヒストグラムを用いて非補正対象領域の候補領域とする輝度の閾値を決定し、この決定された閾値に基づいて非補正対象領域の候補となる領域をモニタ１７に表示させるようにしているので、非補正対象領域の設定が容易になると共に、個々の画像の特性に応じた閾値の設定をも行うことが可能となる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。ここで、第１の実施形態と同一の機能を有する構成については同一の参照符号を付して説明を省略する。図８は、第３の実施形態における画像処理部１６の構成について示した図である。図８に示すように、第３の実施の形態における画像処理部１６は、第１の実施形態の構成に加え、二値化処理部８１と、領域設定補助部５５とを更に有する。二値化処理部８１は、非補正対象領域の候補となる領域を設定するための閾値を保持しており、記憶部５３から読み出された画像を、保持している閾値と比較し、閾値以下の画像領域に関する領域情報を領域設定補助部５５に出力する。領域設定補助部５５は、二値化処理部８１から入力された領域情報に基づき、記憶部５３から読み出した画像に対して閾値以下の領域とその他の領域とを視別可能に表示できるように（例えば図４（ｂ）のように）処理し、処理した画像をモニタ１７に表示させる。

ここで、二値化処理部８１に保持しておく閾値を設定する画像特性としては、輝度、色相、或いはその組み合わせ等、用途に応じて決めれば良い。また、この閾値はユーザが設定するようにしても良い。

以下、図８の画像処理部１６の作用について説明する。図９は、図８の画像処理部１６における画像処理の処理内容を示すフローチャートである。

まず、記憶部５３から読み出された画像は二値化処理部８１に入力される（ステップＳ２１）。次に、二値化処理部８１は、記憶部５３から読み出された画像を、保持している閾値と比較し、閾値以下の画像領域に関する領域情報を領域設定補助部５５に出力する（ステップＳ２４−２）。次に、領域設定補助部５５は、二値化処理部８１からの領域情報に基づき、記憶部５３から読み出した画像に対して閾値以上の領域とその他の領域とを視別可能に表示できるように処理し、処理した画像をモニタ１７に表示させる（ステップＳ２４−３）。

次に、ユーザはモニタ１７を見ながら、非補正対象領域の候補となる領域から、タッチペン３１、十字キー３２の少なくとも１つ以上及び決定ボタン３３等の入力部１８を使用し、コントラストの補正を阻止する非補正対象領域を選択する。この選択に応じて非補正対象領域の候補となる領域から非補正対象領域に対応する領域が抽出され（ステップＳ２６）、この抽出された非補正対象領域が領域設定部１９に設定される（ステップＳ２７）。以後のステップＳ２８の処理は、第１の実施形態と同様である。

以上説明した第３の実施形態によれば、第２の実施形態と同様に、非補正対象領域の候補となる領域が表示されるので、非補正対象領域の設定が容易になる。

次に、第３の実施形態の変形例について説明する。この変形例は、同一輝度領域内において、更に色相に基づいて非補正対象の候補となる領域をモニタ１７に表示させる例である。図１０は、第３の実施形態の変形例における画像処理部１６の構成について示した図である。図１０に示す二値化処理部８１は、閾値として輝度に関する閾値を保持し、輝度に関して処理を行う。また、図１０に示すように、変形例は、図８の構成に加え、色相に関する非補正対象領域の候補となる領域を設定するための色相閾値を保持し、二値化処理部８１からの領域情報（第１の領域情報とする）に基づき、色相閾値以下の画像領域において、保持している閾値以下の画像領域に関する領域情報（第２の領域情報とする）を領域設定補助部５５に出力する色相比較部１０１を更に有している。領域設定補助部５５は、第１の領域情報及び第２の領域情報に基づき、記憶部５３から読み出した画像に対し、色相に関する閾値以下の領域とその他の領域とを視別可能に表示できるように処理し、処理した画像をモニタ１７に表示させる。

図１１は、変形例における処理内容を示すフローチャートである。まず、記憶部５３から読み出された画像は二値化処理部８１に入力される（ステップＳ２１）。次に、二値化処理部８１は、記憶部５３から読み出された画像を、保持している輝度の閾値と比較し、輝度の閾値以下の画像領域に関する第１の領域情報を、領域設定補助部５５及び色相比較部１０１に出力する（ステップＳ２４−１）。次に、色相比較部１０１は、第１の領域情報に示される画像領域において、更に、記憶部５３から読み出された画像を、保持している色相閾値と比較し、色相閾値以下の画像領域に関する第２の領域情報を領域設定補助部５５に出力する（ステップＳ２４−２）。次に、領域設定補助部５５は、第１の領域情報と第２の領域情報とに基づき、記憶部５３から読み出した画像に対し、色相に関する閾値以下の領域とその他の領域とを視別可能に表示できるように処理し、処理した画像をモニタ１７に表示させる（ステップＳ２４−３）。以降のステップＳ２６〜ステップＳ２８における処理は、第３の実施形態と同様である。

この変形例により、二値化処理だけを行い非補正対象領域の候補となる画像領域を抽出する場合よりも、精度が高い補正領域の抽出ができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した各実施形態においては、領域設定部１９の設定に応じてスイッチ５２４の切り替えとαの切り替えを行うようにしているが、何れか一方の切り替えを行わないようにしても良い。また、上記した実施形態で説明した画像処理装置をデジタルカメラ以外に適用しても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る画像処理装置を適用したデジタルカメラの内部構成を示す図である。 図１のデジタルカメラの一面を示した図である。 図１の画像処理部における画像処理の処理内容を示すフローチャートである。 非補正対象領域の設定について説明するための図である。 本発明の第２の実施形態における画像処理部の構成について示した図である。 図５の画像処理部における画像処理の処理内容を示すフローチャートである。 輝度のヒストグラム表示の例について示した図である。 本発明の第３の実施形態における画像処理部の構成について示した図である。 図８の画像処理部における画像処理の処理内容を示すフローチャートである。 本発明の第３の実施形態の変形例における画像処理部の構成について示した図である。 変形例における処理内容を示すフローチャートである。

符号の説明

１２…レンズ、１３…ＣＣＤ、１４…ＡＦＥ回路、１５…Ａ/Ｄ変換回路、１６…画像処理部、１７…モニタ、１８…入力部、１９…領域設定部、５１…輝度演算部、５２…補正部、５３…記憶部、５４…セレクタ、５５…領域設定補助部、８１…二値化処理部、１０１…色相比較部、５２１…調整用画像生成部、５２２…画像合成部、５２３…制御部、５２４…スイッチ（ＳＷ）

Claims (5)

1. 入力画像に対し、その画素値に応じた強度変換を行って相異なる直交基底にて標本化した後、標本化によって得られた各標本化画像を低域通過フィルタによりフィルタ処理し、更に、前記標本化に用いられた前記直交基底に応じた重み係数が乗じられた、前記フィルタ処理後の各標本化画像を加算して調整用画像を生成する調整用画像生成部と、
   前記入力画像と前記調整用画像とを所定の合成比で合成する画像合成部と、
   前記入力画像を表示する表示部と、
   前記表示部上に表示された画像に対する入力に基づき、前記調整用画像の生成又は前記合成を阻止する領域を設定する領域設定部と、
   前記領域設定部における設定結果に基づき、前記調整用画像の生成と前記合成の少なくとも一方の動作を阻止するように制御する制御部と、
   を具備することを特徴とする画像処理装置。
2. 前記入力画像の輝度の頻度を演算する輝度演算部と、
   前記演算された輝度の頻度に基づいて輝度の閾値を設定し、前記輝度の閾値以下の領域を前記表示上に表示させる領域設定補助部と、
   を更に具備することを特徴とする請求項１に記載の画像処理装置。
3. 画像の色に関する特性に関して設定された所定の閾値を保持し、この所定の閾値と前記入力画像とを比較する画像比較部と、
   前記画像比較部の比較結果に対応する表示を前記表示部上に行う領域設定補助部と、
   を更に具備することを特徴とする請求項１に記載の画像処理装置。
4. 画像の第１の特性に関して設定された第１の閾値を保持し、この第１の閾値と前記入力画像とを比較する第１の画像比較部と、
   前記第１の特性とは異なる第２の特性に関して設定された第２の閾値を保持し、この第２の閾値と前記入力画像とを比較する第２の画像比較部と、
   前記第１の画像比較部の比較結果と前記第２の画像比較部の比較結果とに対応する表示を前記表示部上に行う領域設定補助部と、
   を更に具備することを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の特性は画像の輝度の特性であり、前記第２の特性は画像の色相の特性であることを特徴とする請求項４に記載の画像処理装置。

Images