JP6080531B2

JP6080531B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体

Info

Publication number: JP6080531B2
Application number: JP2012277441A
Authority: JP
Inventors: 池田　剛; 剛池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-19
Filing date: 2012-12-19
Publication date: 2017-02-15
Anticipated expiration: 2032-12-19
Also published as: US20140168464A1; JP2014121079A; US9019407B2

Description

本発明は、画像の階調補正を行う画像処理技術に関する。

画像の入出力特性を示すガンマ特性は、ガンマの傾きを大きくするほど、入力画像に対する出力画像の階調の表現力が増加する。また、ガンマ特性は、テレビの入出力特性の逆ガンマという位置付けの他に、自然界の広いダイナミックレンジを如何にして圧縮してカメラのダイナミックレンジに収めるかという目的に基づいて決定されている。

通常のガンマ特性は、画像中の低輝度部分の傾きは大きく、高輝度部分の傾きは小さく設定されている。そのため、低輝度部分よりも高輝度部分の方が表現力としては不利である。このようなガンマ特性を持ったカメラにおいて、撮影画面内に高輝度の被写体が存在し、かつ、画面全体の明るさを変化させたくない場合、高輝度部分のガンマの傾きを大きくするのが一般的である。これにより、高輝度の被写体だけを暗く、かつ、階調の表現力を改善することができる。但し、高輝度の被写体が人物の肌であった場合、高輝度部分の階調を立てると色曲がりが目立ってしまう。

空、緑、肌のような記憶色でなければ、色曲がりが発生して実物と色が違っていても殆ど不自然さは感じないし、仮に不自然さを感じたとしても許容できることが多い。しかしながら、記憶色であると人物の色への感度が非常に高いため、少しでも実物や記憶している色との違いを感じると不自然さを感じてしまう。特に、人物の肌に関しては不自然さを感じ、かつ、画質の悪いカメラという印象を大きく与えることになる。

このような色曲がりに関連する技術として、例えば、特許文献１には、Ｒ、Ｇ、Ｂ各色のいずれかが飽和し始めたら、その他の色の出力をその時点でクリップすることが記載されている。

特開平１０−２３４０５２号公報

しかしながら、上記特許文献１では、色曲がりを抑えても、Ｒ，Ｇ，Ｂ各色のいずれかが飽和した時点でその他の色をクリップしてしまうので、クリップレベル以上の画素は階調が表現できなくなり、べっとりとした不自然な画像となってしまう。また、色が残ってべっとりとなるのを防ぐため、Ｒ，Ｇ，Ｂ各色のいずれかが飽和した時点で色を消してしまう方法もあるが、急に色がなくなるため、これも不自然な画像となってしまう。

本発明は、上記課題に鑑みてなされ、その目的は、高輝度部分の階調を制御することにより、画面全体を通した総合的な画質を向上させることである。

上記課題を解決するために、本発明の画像処理装置は、画像を入力する入力手段と、入力画像中の人物を検出する被写体検出手段と、前記入力画像のうち、画素の信号レベルが第１の閾値以上の画素の割合を算出するとともに、前記被写体検出手段により検出された人物の画素データのうち、画素の信号レベルが第２の閾値以上の画素の割合を算出する第１の算出手段と、前記第１の算出手段により算出された前記第１の閾値以上の画素の割合に基づいて階調制御を行うための制御量を算出する第２の算出手段と、前記第１の算出手段により算出された前記第２の閾値以上の画素の割合に応じて、前記制御量を補正するための補正量を算出する第３の算出手段と、前記第２の算出手段により算出された制御量と前記第３の算出手段により算出された補正量とに基づき画像の入出力特性を決定する制御手段と、を備え、前記第３の算出手段は、前記第２の閾値以上の画素の割合が大きいほど、補正量が小さくなり、前記第２の閾値以上の画素の割合が小さいほど、補正量が大きくなるように前記補正量を決定する。

本発明によれば、高輝度部分の階調を制御することにより、画面全体を通した総合的な画質を向上させることができる。

本発明に係る実施形態の装置構成を示すブロック図。本実施形態における白飛び枠の抽出方法を説明する図。本実施形態の階調制御における画像の入出力変換特性と、白飛び枠平均値と階調変更量との関係を示す図。本実施形態の階調制御による色曲がりの原因を説明する図。本実施形態の顔検出処理により取得される顔のヒストグラムと、顔の白飛び割合と階調補正量との関係を示す図。本実施形態による階調制御を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明の画像処理装置を、例えば、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、撮影レンズ１００は、被写体の光像を集光し、イメージセンサ１０２の撮像面に結像させる。絞り１０１は、被写体の光像の入射光量を調整する。イメージセンサ１０２はＣＣＤやＣＭＯＳなどの撮像素子であり、撮影レンズ１００により結像された被写体像を光電変換する。ＡＦＥ（アナログフロントエンド）１０３は撮影レンズ１００の収差を補正したり、イメージセンサ１０２の欠陥画素信号を補正したり、映像信号を電気的に増幅させる。

絞り制御部１０７は、絞り１０１を制御する。露光制御部１０８は、イメージセンサ１０２に光を蓄積させる時間（電荷蓄積時間あるいは露光時間）を制御する。ゲイン制御部１０９は、ＡＦＥ１０３の映像信号を電気的に増幅させるブロックの制御を行う。画素データ取得部１１０はＡＦＥ１０３から出力される映像信号の画素データを取得する。評価値生成部１１１は、画素データ取得部１１０で取得した画素データを用いて評価値を生成する。この評価値生成部１１１では、図２（ａ）のように撮影画面を複数のエリアに分割し、各エリアごとに重み付けを行った後に加重平均により評価値を生成する。

撮影制御部１１２は、所定のプログラム線図に従い、評価値生成部１１１で生成された評価値を入力し、所定の基準値との比較結果に応じて絞り制御部１０７や露光制御部１０８やゲイン制御部１０９に制御指令を出力する。撮影制御部１１２は、例えば、評価値が所定の基準値を超えていれば露出オーバーと判定し、評価値が所定の基準値に収まるような適正な露出となるように、各制御部に制御値を出力する。プログラム線図とは、被写体の明るさに対応して、絞り１０１とシャッター速度の組み合わせが予め決められた制御値である。

白飛び検出部１１３は、画素データ取得部１１０で取得した画素データを入力して、撮影画面全体の白飛び割合を算出する。白飛び検出部１１３は、例えば、入力画像のうち、所定の第１の閾値以上の画素の割合がどの程度になるかを算出したり、所定の第１の閾値以上の画素の平均値を算出する。

階調制御量算出部１１４は、白飛び検出部１１３で検出された白飛び割合や平均値に応じて階調制御量を算出する。デジタル信号処理部（ＤＳＰ）１０４に含まれる階調制御部１０５は、階調制御量算出部１１４により算出された制御量に応じて入力画像の階調を制御し、最終的に画像の入出力変換特性を決定する。この階調制御部１０５から出力される画像信号は、記録部へ記録される。また、被写体検出部１１５は、入力画像中の人物の顔の位置や大きさ等の被写体の特徴情報を検出する。

＜階調制御＞次に、図２を参照して、本実施形態の階調制御部１０５により実施される階調制御について説明する。

画素データ取得部１１０は、撮影画面全体の画像信号を入力し、評価値生成用や白飛び検出用に、図２（ａ）に示すように撮影画面を複数のエリアに分割して、各分割エリアごとに画素データを取得する。各分割エリアごとの画素データは白飛び検出部１１３に入力される。白飛び検出部１１３は、白飛びと判定する画素レベルの第１の閾値Ｙｔｈが予め設定されており、図２（ｂ）に示すように各分割エリアごとに第１の閾値Ｙｔｈ以上の画素の割合を算出する。図中の数値の単位は％である。そして、白飛び検出部１１３は、算出された第１の閾値以上の画素の割合が所定の基準値Ｄｔｈ以上である分割エリアを抽出する。このようにして抽出された所定の基準値以上の分割エリアを、白飛び枠と呼ぶ。本実施形態では白飛び枠として抽出するための所定の基準値Ｄｔｈを７０％と設定すると、図２（ｃ）に示すように、抽出される白飛び枠は太枠で示した２００から２０４となる。

次に、これらの白飛び枠のデータを用いた高輝度部分の階調制御方法について説明する。

まず、白飛び算出部１１３は、白飛び枠２００から２０４の第１の閾値Ｙｔｈ以上の画素の割合の平均値Ｄａｖｅを算出する。本実施形態では平均値Ｄａｖｅは８０％となる。所定の基準値Ｄｔｈを７０と設定したため、算出される平均値の範囲は最小Ｄｍｉｎが７０％であり、最大Ｄｍａｘが１００％となる。図３は、階調制御部１０５で実施される高輝度部分の階調制御における画像の入出力変換特性を示しており、高輝度部分の入出力変換特性が複数用意されている。図３の実線Ａのカーブは階調制御部１０５に初期値として設定されている入出力特性であり、破線のカーブは階調制御量算出部１１４での算出結果に応じて初期値Ａ以外に設定できる入出力特性である。特に、破線Ｂのカーブは、白飛びに見える画素を最も暗く、かつ、階調を際立たせて見せるために、カーブＡよりも高輝度部分の入力が小さく出力される入出力特性である。

白飛び検出部１１３により算出された白飛び枠の平均値Ｄａｖｅを用いて、階調制御量算出部１１４は、図３に示した入出力特性のうち、いずれを選択するかを決定する。図３（ｂ）にその決定方法を示し、横軸を白飛び枠平均値Ｄａｖｅ（％）とし、縦軸を階調変更量（％）とする。階調変更量０％は初期値である図３（ａ）のカーブＡに対応し、階調変更量１００％はカーブＢに対応している。白飛び枠の平均値Ｄａｖｅが７０％以下の場合、すなわち、白飛び枠が抽出されなかった、または、白飛び枠が抽出されたが白飛びの割合が小さい場合は、階調変更量は０％で初期値であるカーブＡとなる。そして、白飛び枠の平均値Ｄａｖｅが大きくなるほど、すなわち、白飛び割合が大きくなるほど、階調変更量は大きくなり、最終的にはカーブＢとなり、より暗くそして階調が際立って（入出力の傾きが大きく）表現される。この階調制御により、高輝度の被写体は暗くなり、白飛び度合いを軽減でき、かつ、明暗差が大きくなる。本実施形態では、撮影画面全体を複数のエリアに分割して算出を行ったが、任意のエリアを複数に分割して算出しても良い。

ここで、図４を参照して、上記階調制御を行った場合の弊害である色曲がりの顕在化について説明する。

上記階調制御を行う際に、撮影画面内に人物が存在し、その人物の肌において白飛び気味の明るい部分が存在した場合、白飛び気味のところに肌色ではない色がついてしまう。例えば、図４は人物の肌の部分の中の、ある１画素を抜き出したときの入出力特性の違いによる出力画像の違いを示す。図示のようにＲ画素のみが飽和してしまった場合、カーブＡのＲとＢの出力差Δ（Ｒ−Ｂ）Ａよりも、カーブＢの出力差Δ（Ｒ−Ｂ）の方が大きいため、色曲がりが大きくなる。この色曲り対策として、以下のような制御を行うことで色曲がりを軽減することができる。

図１の被写体検出部１１５で人物の顔を検出し、算出された人物の顔の撮影画面における位置と大きさ等の特徴情報を画素データ取得部１１０に出力する。画素データ取得部１１０は、特徴情報を用いて人物の顔の画素データを取得する。ここで取得する画素データは図５（ａ）に示すような顔のヒストグラムを示す。なお、ヒストグラムでなくても、顔領域を複数のエリアに分割し、各分割エリアごとに画素データを取得しても良い。画素データ取得部１１０で取得した画素データは白飛び検出部１１３へ出力され、白飛び検出部１１３は、取得した顔のヒストグラムから信号レベルが所定の第２の閾値Ｈｔｈ以上となる画素の数をカウントし、カウントされた画素数の顔全体の画素数に対する割合Ｄｆを算出する。以下、このようにして算出された第２の閾値以上の画素の割合を、顔の白飛び割合と呼ぶ。本実施形態では顔の白飛び割合Ｄｆは３０％であったとする。階調制御量算出部１１４は、白飛び検出部１１３で算出された顔の白飛び割合を入力し、階調制御量を補正するための階調補正量を算出し、階調制御部１０５へ出力する。

次に、図５（ｂ）を参照して、階調制御量算出部１１４による階調補正量算出処理について説明する。図５（ｂ）は、横軸を顔の白飛び割合Ｄｆ（％）とし、縦軸を階調補正量（％）とする。この階調補正量とは、前述した撮影画面全体を見て決定した階調制御量に対して、どれだけ有効にするかを決定する値である。すなわち、撮影画面全体から算出された階調制御量が８０％で、顔の白飛び割合から決定された階調補正量が８０％であれば、８０％×８０％で合計６４％の階調制御量になる。したがって、顔の白飛び割合Ｄｆが大きくなるほど、階調補正量が小さくなり、結果として階調制御量は小さくなる。換言すると、顔の白飛びによる色曲がりが大量に発生している場合は、階調を図３（ａ）のカーブＡに近づけるようにし、反対に、顔の白飛びによる色曲がりがあまり発生していない場合は、階調を図３（ａ）のカーブＢに近づけるようにする。

本実施形態では、撮影画面全体の白飛び枠平均値Ｄａｖeで決定した階調制御量は図３（ｂ）から４０％であり、顔の白飛び割合Ｄｆで決定した階調補正量は図５（ｂ）から４２．９％となる。そして、図１の階調制御量算出部１１４により算出される最終的な階調制御量は、４０％×４２．９％＝１７．２％となる。階調制御部１０５は、この補正量を用いて、図３（ａ）に示すカーブＡからＢの間の線形補完を行ったときのＡ側から１７．２％分だけＢ側に寄ったカーブに基づいて高輝度部分の階調を生成する。

このように、顔の白飛びに応じて高輝度側の階調を制御することにより、色の変化に対して人間の目の感応度の強い記憶色の色曲がりをできるだけ抑えた階調制御が可能となり、画面全体を通した総合的な画質の良さの向上を図ることができる。

＜制御フロー＞次に、図６を参照して、本実施形態の階調制御手順について説明する。

なお、図６の処理は、図１の各部が所定の制御プログラムに従って処理を実行することにより実現される。

Ｓ６００では、白飛び検出部１１３が、図２で説明したように、白飛び枠の平均値Ｄａｖｅを算出する。

Ｓ６０１では、階調制御量算出部１１４が、白飛び検出部１１３により算出された白飛び枠の平均値Ｄａｖｅを用いて、階調変更量を算出する。

Ｓ６０２では、被写体検出部１１５が入力画像中の人物の顔検出を行い、撮影画面中に人物の顔が存在するか判定し、存在する場合はＳ６０４へ進み、存在しない場合はＳ６０３ヘ進む。

Ｓ６０３では入力画像中に人物の顔が存在しないので、階調制御部１０５は、Ｓ６０１で算出された階調変更量に基づき階調制御を実行する。

Ｓ６０４では入力画像中に人物の顔が存在するので、画素データ取得部１１０は、被写体検出部１１５で検出された人物の顔のヒストグラムを取得し、白飛び検出部１１３は画素データ取得部１１０で取得した顔のヒストグラムから顔の白飛び割合を算出する。

Ｓ６０５では、階調制御量算出部１１４は、図５（ｂ）の関係を用いて、Ｓ６０４で算出された顔の白飛び割合から階調補正量を算出する。

Ｓ６０６では、階調制御量算出部１１４は、Ｓ６０１で算出された階調変更量に、Ｓ６０５で算出された階調補正量を乗算することにより階調変更量を再計算する。

Ｓ６０３では、階調制御部１０５は、Ｓ６０６で算出された階調変更量に基づき階調制御を実行する。

以上説明したように、顔の白飛びに応じて高輝度部分の階調を制御することにより、色の変化に対して人間の目の感応度の強い記憶色の色曲がりをできるだけ抑えた階調制御が可能となり、画面全体を通した総合的な画質の向上を図ることができる。

また、人物を撮影し画素が飽和して色曲がりが発生した場合において、高輝度部分の階調を制御することにより色曲がりを最小限に抑え、かつ、階調も自然に表現することができる。

上述した実施形態においては、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、これに限られず、入力画像の階調制御を行う装置であれば適用可能である。

また、上述した実施形態では、白飛び枠の平均値Ｄａｖｅを用いて算出した階調変更量を、顔の白飛び割合を用いて算出した階調補正量で補正して最終的な階調変更量を算出している。しかしながら、人物の顔領域を対象とした白飛びに関する情報（第１の情報）と顔領域よりも大きい領域を対象とした白飛びに関する情報（第２の情報）とに基づいて高輝度部分の階調を制御する方法は、上述した方法に限定されない。例えば、白飛びに関する情報として、白飛びとみなせる領域の割合ではなく、白飛びとみなせる画素数、対象領域を複数のブロックに分割したときの白飛びとみなせるブロック数、白飛びとみなせる領域の大きさを用いてもよい。また、第１の情報と第２の情報との組み合わせに階調変更量を対応付けしたテーブルを階調制御量算出部１１４に予め記憶しておき、テーブルから条件に合った階調変更量を選択するようにしてもよい。あるいは、図３（ａ）に示したカーブＡのような入出力特性に関する情報を階調制御量算出部１１４に多数記憶しておき、第１の情報と第２の情報との組み合わせに基づいて、最適な入出力特性に関する情報を選択するようにしてもよい。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims

画像を入力する入力手段と、
入力画像中の人物を検出する被写体検出手段と、
前記入力画像のうち、画素の信号レベルが第１の閾値以上の画素の割合を算出するとともに、前記被写体検出手段により検出された人物の画素データのうち、画素の信号レベルが第２の閾値以上の画素の割合を算出する第１の算出手段と、
前記第１の算出手段により算出された前記第１の閾値以上の画素の割合に基づいて階調制御を行うための制御量を算出する第２の算出手段と、
前記第１の算出手段により算出された前記第２の閾値以上の画素の割合に応じて、前記制御量を補正するための補正量を算出する第３の算出手段と、
前記第２の算出手段により算出された制御量と前記第３の算出手段により算出された補正量とに基づき画像の入出力特性を決定する制御手段と、を備え、
前記第３の算出手段は、前記第２の閾値以上の画素の割合が大きいほど、補正量が小さくなり、前記第２の閾値以上の画素の割合が小さいほど、補正量が大きくなるように前記補正量を決定することを特徴とする画像処理装置。
前記被写体検出手段は、入力画像中の人物の顔を検出し、
前記第１の算出手段は、前記入力画像のうち、画素の信号レベルが前記第１の閾値以上の画素の割合から画面全体の白飛び割合を算出し、前記被写体検出手段により検出された人物の顔の画素データのうち、画素の信号レベルが前記第２の閾値以上の画素の割合から顔全体の白飛び割合を算出することを特徴とする請求項１に記載の画像処理装置。
前記被写体検出手段により検出された人物の顔の画素データから顔のヒストグラムを生成する生成手段をさらに有し、
前記第１の算出手段は、前記顔のヒストグラムから前記第２の閾値以上の画素の割合を算出することを特徴とする請求項２に記載の画像処理装置。
前記第２の算出手段は、前記画面全体の白飛び割合が大きいほど、前記画像の入出力特性の傾きが大きくなるように前記制御量を決定することを特徴とする請求項２に記載の画像処理装置。
前記第３の算出手段は、前記顔全体の白飛び割合が大きいほど、前記画像の入出力特性の傾きが小さくなるように前記補正量を決定することを特徴とする請求項２に記載の画像処理装置。
画像を撮像する撮像手段をさらに有し、
前記入力画像は、前記撮像手段により撮像された画像であることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
入力画像中の人物を検出する被写体検出工程と、
前記入力画像のうち、画素の信号レベルが第１の閾値以上の画素の割合を算出するとともに、前記被写体検出工程により検出された人物の画素データのうち、画素の信号レベルが第２の閾値以上の画素の割合を算出する第１の算出工程と、
前記第１の算出工程により算出された前記第１の閾値以上の画素の割合に基づいて階調制御を行うための制御量を算出する第２の算出工程と、
前記第１の算出工程により算出された前記第２の閾値以上の画素の割合に応じて、前記制御量を補正するための補正量を算出する第３の算出工程と、
前記第２の算出工程により算出された制御量と前記第３の算出工程により算出された補正量とに基づき画像の入出力特性を決定する制御工程と、を備え、
前記第３の算出工程では、前記第２の閾値以上の画素の割合が大きいほど、補正量が小さくなり、前記第２の閾値以上の画素の割合が小さいほど、補正量が大きくなるように前記補正量を決定することを特徴とする画像処理方法。
請求項７に記載の画像処理方法をコンピュータに実行させるためのプログラム。
コンピュータに、請求項７に記載された画像処理方法を実行させるためのプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。