JP4154128B2 - 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体 - Google Patents
画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4154128B2 JP4154128B2 JP2001037763A JP2001037763A JP4154128B2 JP 4154128 B2 JP4154128 B2 JP 4154128B2 JP 2001037763 A JP2001037763 A JP 2001037763A JP 2001037763 A JP2001037763 A JP 2001037763A JP 4154128 B2 JP4154128 B2 JP 4154128B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- data
- image
- brightness
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 42
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 title description 33
- 238000012937 correction Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005375 photometry Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラやフィルムスキャナなどに用いることができる画像処理装置に係わり、特に、逆光で取り込んだり、夜間に取り込んだ画像データを最適露出状態の画像データに補正することができる画像処理装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ、インターネット、家庭用プリンタなどの普及、およびハードディスクなどの記憶容量の大容量化により、デジタルデータで写真画像を扱う機会が増えている。それに伴い、デジタル写真画像データ（以下、単に画像データと称する）の入力手段としてデジタルカメラやフィルムスキャナなどが一般に使用されるようになった。
前記において、デジタルカメラには撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、種々の方法があるが、光量検出のため、画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均を取り、絞りやシャッタスピードなどを調節する方法が一般的で、単に画面全体の加重平均を取る方式は平均測光方式、中央部を重点的に測光する方式は、中央重点測光方式と呼ばれる。
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあり、完全なものはない。とりわけ、主被写体の真後ろに光源があって背景と主被写体との輝度差が大きい逆光状態では被写体に露出があわないと背景の明るさに引っ張られて露出がマイナスに補正され、被写体が暗く写ってしまう。
また、夜間のストロボ撮影では、被写体にストロボ光が当たることが前提になるため、絞りやシャッタスピードは既定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
あるいは、元々被写体自体が暗かったり明るかったりすると、露出自体は適正であっても、露出不良に見える場合もある。人間は周囲の明るさに脳が順応して見ているが、カメラでは入ってきた輝度をそのまま記録することがその原因である。
【０００３】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に露出補正する技術も多数提案されている。なお、露出補正とは、シーンに対して不適切な明るさを持つ被写体をシーンに適した明るさに調節することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバーな被写体を暗くしたりすることである。カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタスピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数等を用いて入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。
例えば、特開昭59-65835号公報に示された写真画像濃度情報収録方式では、ネガフィルム等の写真画像において、周辺（四つ角）からべたを除くことで背景を除去し主被写体部分の情報を得る。しかし、この特開昭59-65835号公報に示された従来技術では、シーンに関わらず一律にべた部を除去するので、背景ではない部分をも除去してしまう恐れがあり、主被写体部分を高精細に切り離すことができない。
【０００４】
また、特開平06-189186号公報に示された方法では、画像データの明るさに対する頻度分布を平均値を境界に双方２段階、合計４段階に区分してそれぞれの段階に属するデータの数（出現頻度）を求め、暗い方に区分した２段階のうち明るい区分の出現頻度が他の区分におけるそれよりも大きいときに逆光シーンと判定し、暗い方のレベルを相対的に高めるような補正を行う。しかし、この特開平06-189186号公報に示された従来技術では、頻度情報のみから逆光判定を行うので、逆光シーンでなくても頻度分布の形が同様である場合に誤判定する。
また、特開平11-202378号公報に示された従来技術では、画像データの明るさに対する頻度分布を4段階に区分し頻度を求める一方、画像は中心を最大値として同心円状に重み係数を持つ。頻度と重み係数より、どの段階が重要な明るさかを評価し、逆光、過順光、背景の平坦な画像、および順光のシーンのいずれに属するかの判定を行い、露出を制御する。しかし、この特開平11-202378号公報に示された従来技術では、画像中の被写体の大きさや位置により露出が適切か否かの結果が左右され、被写体が小さい場合や、中央に位置しない場合に誤判定する。
また、特開平12-134467号公報に示された画像処理装置では、画像データの明るさに対する頻度分布のピーク領域の数、ピーク両端の輝度値、およびダイナミックレンジにより、入力画像を露出オーバー、アンダー、標準露出、および逆光などその他の露出状態に分類する。露出オーバー、アンダー、標準露出の場合は固定LUTによる補正を行い、その他の場合は最も低輝度に分布する頻度分布を高輝度域にシフトする補正を行う。しかし、特開平12-134467号公報に示された従来技術では、頻度分布のピーク情報を用いてシーン判別を行うので、画像中の被写体が小さいと主被写体部分のピークが現れず、誤判定する。また、シーン判別が正しく行われても、主被写体部分が適正露出か否かの判定は行われない。
【０００５】
【発明が解決しようとする課題】
前記したように、従来技術においては、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正し得ていない。
本発明の目的は、このような従来技術の問題を解決して、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正することができる画像処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記の課題を解決するために、請求項１記載の発明では、被写体データを有する画像データを最適露出状態の画像データに補正する画像処理装置であって、前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別手段と、前記シーン判別手段により前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体データ以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定手段と、前記被写体露出判定手段の判定結果に基づいて、被写体データ領域の明るさを補正する補正手段と、を備え、前記シーン判別手段は、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を有し、前記第１の出現割合算出手段の算出値と前記第２の出現割合算出手段の算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする。
【０００７】
また、請求項２記載の発明では、請求項１記載の発明において、前記シーン判別手段は、前記画像データの各画素を、各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、最暗部レベルまたは最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、前記最暗部レベルまたは前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を備え、前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には逆光撮影シーンとみなす、ことを特徴とする。
また、請求項３記載の発明では、請求項２記載の発明において、前記シーン判別手段により逆光シーンであると判定された場合、前記複数の明るさレベルのうち最も明るい側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成した。
【０００８】
また、請求項４記載の発明では、請求項２記載の発明において、前記シーン判別手段により夜間撮影シーンであると判定された場合、前記複数の明るさレベルのうち最も暗い側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成した。
また、請求項５記載の発明では、請求項３又は４記載の発明において、前記被写体露出判定手段により主被写体の明るさが不適切であると判定された場合、主被写体の明るさに近い明るさの画像データを補正するように補正手段を構成したことを特徴とする。
また、請求項６記載の発明では、被写体データを有する画像データを最適露出状態の画像データに補正する画像処理方法であって、前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別ステップと、前記シーン判別ステップにより前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定ステップと、前記被写体露出判定ステップの判定結果に基づいて、被写体領域の明るさを補正する補正ステップと、を備え、前記シーン判別ステップは、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分けステップと、最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出ステップと、前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出ステップと、を有し、前記第１の出現割合算出ステップの算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする。
また、請求項７記載の発明では、請求項６記載の画像処理方法のプログラムが記録されたコンピュータ読取り可能な記録媒体であることを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面により本発明の実施の形態を詳細に説明する。
図１は本発明の各実施の形態の画像処理システムを示す概略構成図、図２はその具体例を示す構成図である。
図１に示したように、この画像処理システムは、画像入力装置１００、画像処理装置１０１、および画像出力装置１０４を備え、画像処理装置１０１は判定部１０２および露出補正部１０３を備える。そして、画像入力装置１００は写真などをマトリックス状の画素として表した実写の画素数分の画像データを画像処理装置１０１に出力する。画像処理装置１０１は各種画像処理を行うとともに、判定部１０２においてシーン判別および被写体露出判定を行い、露出補正部１０３において露出補正を行う。また、画像出力装置１０４は、画像処理した画像データをドットマトリクス状の画素で出力する。
なお、画像入力装置１００には、図２におけるフィルムスキャナ２００およびデジタルカメラ２０１、あるいはビデオカメラ２０２などが該当し、画像処理装置１０１には、コンピュータ２１０、ハードディスク２０３、キーボード２０４、ＣＤ−ＲＯＭドライブ２０５、フロッピーディスクドライブ２０６、およびモデム２０７などからなるコンピュータシステムが該当し、画像出力装置１０４には、インクジェットプリンタなどのプリンタ２０９やディスプレイ２０８が該当する。前記モデム２０７は公衆通信回線に接続され、外部のネットワークを介してソフトウェアやデータをダウンロードして導入することも可能である。また、本発明の実施の形態の場合、画像データとしては写真などの実写データが適している。
【００１０】
一方、コンピュータ２１０内にはオペレーティングシステム２１２が稼動しており、プリンタやディスプレイに対応したプリンタドライバ２１４やディスプレイドライバ２１３が組み込まれている。また、画像処理アプリケーション２１１はオペレーティングシステムにより処理の実行を制御され、必要に応じてプリンタドライバやディスプレイドライバと連携し所定の画像処理を実行する。よって、画像処理装置としてこのコンピュータの役割は、ＲＧＢ（赤，緑，青）の階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバを介してディスプレイに表示させるとともに、プリンタドライバを介してＣＭＹ，もしくはＣＭＹＫの２値データに変換してプリンタに印刷させることになる。
また、前記した、判定部１０２におけるシーン判別および被写体露出判定、露出補正部１０３における露出補正は、具体的には前記コンピュータ２１０内において例えば図３に示した第１の実施の形態のフローチャートに対応した画像処理プログラムにより行っている。
【００１１】
以下、図３に示すフローチャートを参照しながら画像処理装置１０１で行われる第１の実施の形態の画像処理について説明する。
まず、判定部１０２が画像データのシーン判別を行う（３０１）。光源が主被写体の真後ろに存在する『逆光シーン』か、夜間にストロボなどを用いて撮影した『夜間撮影シーン』か、それともそれらのいずれにも属さない『その他』のシーンであるかを判別するのである。例えば、画像周辺部と中央部の輝度差を閾値と比較したり、輝度頻度分布の２極化の形状から逆光シーンを判別することができる。また、エッジ情報から主被写体領域を判別し、主被写体部分の明るさと全体の明るさを比較するなどによって夜間撮影シーンを判別することもできる。また、後述する方法を用いてもよい。
シーン判別の結果、対象画像が『逆光シーン』または『夜間撮影シーン』であった場合、主被写体と背景との輝度差が大きいので、画像全体で露出を判定しても正しい結果が得られない。よって、判定部１０２が、まず主被写体を特定するために余分な領域を取り除く（３０２）。例えば、逆光シーンの場合は背景が高輝度白色光であることに注目し、そのような条件を満たす画像端部からの連続画素を削除する。また、夜間撮影シーンの場合、背景は暗闇であることが多いことから閾値を設け、同様に端部からの連続画素を排除すればよい。また、端部から隣接画素間の差分と閾値を比較する方法などもある。
主被写体領域が特定したら次に、露出補正部１０３が、明度や輝度中央値などの統計的な評価値を用いて主被写体が適切な明るさを持つか否かを判定する（３０３）。予め設定した評価値と主被写体の明度や輝度とを比べて判定するのである。例えば、j番目の画素(j=0,1,2,...N,N：総画素数)の輝度:Y(j)は以下の式で表せる。
Y(j) = 0.299・R(j) + 0.587・G(j) + 0.114・B(j) … (1)
なお、R(j)，G(j)，B(j) は入力された画像データから得られる。
また、シーンが逆光や夜景撮影に属さない『その他』の場合は、画像全体が主被写体であるとみなし、必要であれば同様の方法で適正露出か否かを調べることができる。
【００１２】
主被写体の明るさが適切でなかった場合、つまり露出が適切でなかった場合、次に、露出補正部１０３が明るさ補正を行う（３０４）。明るさ補正の方法には、例えば後述するトーンカーブによる方法を用いる。また、被写体の露出が適切だった場合、明るさ補正は行わない。
なお、逆光シーンや夜間撮影シーンの判別法としては、前記の方法以外にも様々な方法が提案されているがその方法についてはいずれの方法であってもよい。また、主被写体を特定するために背景を取り除く方法についても前記の例以外に様々な方法が提案されているがこれにはこだわらない。
また、主被写体が適切な明るさを持つか否かの判定にも前記の例以外にさまざまな方法が提案されているがこれにはこだわらない。中央値等の統計値を求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用しても良い。また、明るさ補正にも、種々の方法が提案されているがこれにはこだわらない。
いずれにせよ、画像が逆光や夜間撮影シーンのように背景と主被写体の明るさが著しく異なっている場合は背景を取り除いて主被写体部分を抽出して、適正露出か否かの判断を行い、必要であれば明るさ補正を行うことにより、画質を向上させることができる。
【００１３】
次に、図４に従って本発明の第２の実施の形態について説明する。
この実施の形態の方法で、画像データが逆光か夜間撮影か、そのいずれにも属さないシーンであるかを判別する方法を説明する前に、まず、各シーンが撮影される状況を述べる。
最初に、逆光シーンでは、主被写体の真後ろに光源があり、背景と主被写体との輝度差が大きい状態で撮影される。このような状況では、背景の明るさに引っ張られて露出がマイナスに補正されるので、主被写体が暗く写ってしまう。つまり、明るさに対する輝度頻度分布を取ると分布は明と暗とに２極化している。
また、夜間撮影シーンは、夜景と人物が一緒に写っている場合もあるが、基本的に背景は暗闇であり背景に対して主被写体は明るい。
以上の撮影状況を考慮すると、画像の平均的な明るさに比べて、逆光なら極端に明るい背景が存在しかつ明るさに対する頻度分布が２極化しており、夜間撮影なら極端に暗い背景があると考えられる。よって、
［条件１］画像の平均的な明るさに比べて、極端に明るい部分、もしくは極端に暗い部分が、所定の閾値（割合）以上あるか
［条件２］前記条件を満たすとき、極端に明るい部分、もしくは暗い部分のほとんどは画像端部にあるか
［条件３］逆光画像の可能性がある場合、輝度分布は明と暗とに２極化しているか
を調べればよい。
【００１４】
そこで、まず画像の平均的な明るさに比べ、極端に明るい部分もしくは暗い部分を抽出するために、画像データの明るさ、例えば輝度レベルを４段階に区分し、各レベルについて、以下に定義した各レベルに属する画像データの出現回数H(i)(i=0,1,2,3)を求める（４０２）。
輝度レベル0以上63未満のレベルをレベル0とし、出現回数をH(0)とする。
輝度レベル64以上127未満 ⇒ レベル1とし、出現回数をH(1)とする。
輝度レベル128以上191未満⇒ レベル2とし、出現回数をH(2)とする。
輝度レベル192以上255未満⇒ レベル3とし、出現回数をH(3)とする。 … (2)
【００１５】
次に、総画素数Nに対し、最暗部、もしくは最明部レベルの出現頻度割合（第１の出現頻度割合）P1(i)(i=0,3)を算出する（４０３）。
P1(i) = (H(i)/N)×100 (%) … (3)
また、出現頻度割合P1(i)のうち、例えば図５に示した黒領域である画像端部に含まれる出現頻度割合（第２の出現頻度割合）P2(i)を算出する（４０４）。
P2(i) = (レベルiに属する画素のうち画像端部に含まれる画素数)/H(i) ×100 (%) … (4)
次に、シーンの判別を行う。例えばレベル0の頻度割合が全体の画素に対して60％以上を占め、かつレベル0の70％以上が画像端部に存在している場合（４０５でＹｅｓ）、すなわち
P1(0)>60 && P2(0)>70
のとき、『夜間撮影シーン』とみなす（４０７）。
【００１６】
また、例えばレベル3の頻度が全体の画素に対して15％以上を占め、かつレベル0とレベル3の頻度の合計が60％以上を占め、かつレベル3の70％以上が画像端部に存在している場合（406でYes）、すなわち
P1(3)>15 && P1(0)+P1(3)>60 && P2(3)>70
のとき、『逆光シーン』とみなす（４０８）。
そして、前記のいずれの条件も満たさなかった場合『その他のシーン』とする（４０９）。
なお、前記においては、明るさに対する情報として輝度を用いたが、明度やG（緑）信号を用いてもよく、これにはこだわらない。また、頻度分布のコントラスト調節を行った後に区分化を行ってもよい。
また、頻度分布の区分化方法や段階数（レベル数）、画像端部領域のとり方は前記以外にも考えられ、これにはこだわらない。
また、シーン判別のためのパーセンテージは前記以外の数字であってもよい。
いずれにせよ、画像の平均的な明るさに比べて極端に明るい背景が存在し、頻度分布が２極化しているのであれば、逆光シーンとみなし、極端に暗い背景が存在しているのであれば夜間撮影シーンであるとみなすシーン判別方法を用いることにより、被写体の大きさや位置に左右されない、高精細なシーン判別を行うことができる。
【００１７】
次に、本発明の第３の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが逆光シーンと判別された場合、例えば区分後の最明部であるレベル3に属する部分を背景とみなし、露出判定対象から除く。なお、レベル3に属する領域のみを背景とみなす代わりに、レベル3とレベル2、またはレベル3からレベル1に属する領域を背景とみなしてもよい。また、主被写体が適正露出であるか否かの判定は、例えば以下のように行う。
逆光シーンの場合、人間の肌に相当する部分は最暗部であるレベル0に属さない可能性が多い。よって、レベル3とレベル0を除いた領域を主被写体部分とみなし、輝度中央値が120以上であれば適正露出とし、120以下の場合は露出不足とする。
いずれにせよ、この実施の形態では、逆光シーンに対し背景部分を除いて主被写体部分の露出を判定することにより、高精細に被写体露出の適性を判定することができる。
【００１８】
次に、本発明の第４の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが夜間撮影シーンと判別された場合、例えば区分後の最暗部であるレベル0に属する領域を背景とみなし露出判定対象から除く。なお、レベル0に属する領域のみを背景とみなす代わりにレベル0とレベル1、またはレベル0からレベル2に属する領域を背景とみなしてもよい。
また、主被写体が適正露出であるか否かの判定は、例えば輝度中央値が80以上であれば適正露出とし、80以下の場合は露出不足とする。
いずれにせよ、この実施の形態では、夜間撮影シーンに対し背景部分を除いて主被写体部分の露出を判定することにより、高精細に被写体露出の適性を判定することができる。
【００１９】
本発明の第５の実施の形態では、第３および第４の実施の形態において、主被写体が露出不良（露出不足）の場合、補正を行う。以下、図６に従って、トーンカーブf1(x)を用いた場合についてこの実施の形態を説明する。
まず、図６（ａ）に示すように、輝度頻度分布における主被写体領域に対応する入力域(入力値AからBまで)を抽出し、AB間で入出力値特性の傾きが1もしくはそれ以上を保ちつつ明るさが補正されるように出力値(A'からB')を決める。例えば、
A' = A×1.2 かつ、直線の傾き1.1
のように設定する。
【００２０】
次に、原点，A'，B'，および出力最大値Max_outを結び、カーブ形状を決定する（図６（ｂ））。そして、カーブ形状が決定したら、以下のような変換を行う。
まず、入力輝度値Y1(j)(j=1,2,....N) に対してトーンカーブ変換後の出力輝度値Y2(j)を算出し、露出補正係数C(j) を以下の式で算出する。
次に、入力信号(R1(j),G1(j),B1(j)) を以下の式で変換し、露出補正を行う。
(R2(j),G2(j),B2(j)) = C2(j)・(R1(j),G1(j),B1(j)) … (6)
なお、この例では傾きの異なる直線を用いてトーンカーブ形状を決定したが、スプラインなどの曲線を用いて決定してもよく、これにはこだわらない。
また、前記した例では、端点を含めた4点を通るカーブで構成しているが、節点の数にはこだわらない。例えば夜間撮影では背景が明るくならないほうが良い場合もあるので、このような場合は、図６（ｄ）のようにシャドー側に節点を複数設定し、シャドー部の出力レベルが変わらないように設定することもできる。また、トーンカーブ補正の結果、ハイライトの階調性が失われる恐れがあればハイライト側に節点を複数設定し、ハイライトの階調が保たれるように設定することもできる。
いずれにせよ、前記のようにして、背景と主被写体の明るさが異なり、かつ主被写体の露出が不適切な場合、主被写体近傍の明るさを補正する処理を行うことにより、画質を向上させることができる。
【００２１】
次に、図７に従って、本発明の第６の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが逆光および夜間撮影以外のシーンと判別された場合、それは被写体と背景の間に著しい輝度差がない状態、すなわち、順光で撮影された適正露出か、何らかの理由で露出アンダー、もしくはオーバーなシーンであると考える。
適正露出画像の場合、輝度頻度はレベル全域にわたって比較的均等に分布、もしくはガウス分布している。しかし、露出アンダーの場合は低レベル側に、また露出オーバーの場合は高レベル側に頻度分布の重心が偏る。図７（ａ）に露出アンダーシーンの頻度分布を示す。
このような場合には、まず式1を用いて輝度などの明るさに対する頻度分布を算出する。そして、頻度分布の偏り度合いを算出する。なお、偏り度合いの評価値としては、中央値や分布の対照性を表す歪度等を用いればよい。ここで、歪度Zは以下の式で算出される。
Z = (1/N)Σ((Y(j)/ave(Y(j))/S(Y(j)))^3 … (7)
ただし、Nは総画素数であり、Σの和はj=1からNについてとる。また、ave(Y(j))はY(j)の平均値、S(Y(j))は標準偏差である。
中央値を評価値にした場合、例えば50以下で露出アンダー、200以上で露出オーバーとする。また、歪度を評価値にした場合は、0.5以上で露出アンダー、-0.5以下で露出オーバーとする。
【００２２】
次に、前記で算出した偏り度合いが大きくなるにつれて頻度分布が平坦化するように画像データの補正を行う。以下にトーンカーブf2(i)を用いた補正方法の実施の形態を説明する。
例えば、f2(i)は累積頻度分布I(i)(i=0,1,2,....255)を用いて以下のように設定できる。
f2(i) = i + α(Z)×I(i) … (8)
ただし、α(Z)は歪度で求まる関数とし、頻度分布の偏り度合いが小さいと0に近づき、大きいほど高い値をとる。また、露出アンダーの場合はα(Z)＞0、オーバーの場合はα(Z)＜0、をとる。また、累積頻度分布I(i)における累積値はi=0からｘについてとる。
【００２３】
トーンカーブを用いた補正方法は式(3)、(4)の方法と同様にできる。露出アンダー画像の輝度分布から作成されたトーンカーブと、補正後の輝度分布を図７（ｂ）、図７（ｃ）に示す。図７（ｃ）では露出アンダー画像が補正されている。
なお、前記においては、頻度分布の偏り度合いに中央値や歪度を用いたが、種々の方法が考えられ、これにはこだわらない。また、中央値等の統計値を求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用してもよい。
また、前記においては、累積頻度分布を用いてトーンカーブ形状を決定したが、種々の方法が考えられこれにはこだわらない。
いずれにせよ、この実施の形態では、背景と主被写体の明るさが同程度の場合において、露出アンダーなど、頻度分布が偏っている場合のみそれを平滑化する処理を行うことにより、画質を向上させることができる。
以上、本発明の画像処理方法を図１の構成の場合で説明したが、これまで説明したような画像処理方法に従ってプログラミングしたプログラムを例えば着脱可能な記憶媒体に記憶させ、その記憶媒体をこれまで本発明によった画像処理を行えなかった例えばパーソナルコンピュータのようなコンピュータシステムに装着することにより、そのコンピュータシステムにおいても本発明によった画像処理を行うことができる。
【００２４】
【発明の効果】
以上説明したように、請求項１および請求項６記載の発明では、取り込んだ自然画像データを最適露出状態の画像データに補正することができる画像処理装置において、取り込まれた画像データについて少なくとも逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかが判別され、逆光シーンのデータまたは夜間撮影シーンのデータであると判別された場合には、背景データを取り除いて露出状態が判定され、その判定結果に基づいて異なった画像補正が行われるので、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正することができる。また、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、最暗部レベルまたは最明部レベルに振り分けられた出現割合が求められ、前記最暗部レベルまたは最明部レベルに振り分けられた個数中に占める、画像端部の所定領域に属する個数の割合が求められ、求められた２つの割合からシーン判別が行われるので、請求項１記載の発明の効果を容易に実現することができる。
また、請求項２記載の発明では、請求項１記載の発明において、前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には夜間撮影シーンとみなすので、最適な夜間撮影シーンを設定することができる。
【００２５】
また、請求項３記載の発明では、請求項２記載の発明において、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、逆光シーンであると判定された場合、少なくとも、前記複数の明るさレベルのうちの最明部レベルを除くレベルに対応する画像データの明るさ分布から、主被写体の明るさが適切か否かが判定されるので、判定精度が向上し、逆光で撮影された画像の主被写体をより適切な明るさに補正することができる。
また、請求項４記載の発明では、請求項２記載の発明において、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、夜間撮影シーンであると判定された場合、少なくとも、前記複数の明るさレベルのうちの最暗部レベルを除くレベルに対応する画像データの明るさ分布から、主被写体の明るさが適切か否かが判定されるので、判定精度が向上し、夜間に撮影された画像の主被写体をより適切な明るさに補正することができる。
また、請求項５記載の発明では、請求項３又は４記載の発明において、逆光シーンまたは夜間撮影シーンにおける主被写体の明るさが不適切だった場合、主被写体の明るさ近傍部の画像データが補正されるので、画質を向上させることができる。
また、請求項７記載の発明では、請求項６記載の画像処理方法に従ってプログラミングしたプログラムが例えば着脱可能な記憶媒体に記憶されるので、その記憶媒体をこれまで請求項６記載の発明によった画像処理を行えなかったコンピュータシステムに装着することにより、そのコンピュータシステムにおいても発明の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の各実施の形態の画像処理装置を含む画像処理システムを示す概略構成図である。
【図２】本発明の各実施の形態の画像処理システムの具体例を示す構成図である。
【図３】本発明の第１の実施の形態を示す画像処理装置のフローチャートである。
【図４】本発明の第２の実施の形態を示す画像処理装置のフローチャートである。
【図５】本発明の第２の実施の形態を示す画像処理装置の説明図である。
【図６】本発明の第５の実施の形態を示す画像処理装置の説明図である。
【図７】本発明の第６の実施の形態を示す画像処理装置の説明図である。
【符号の説明】
１００：画像入力装置
１０１：画像処理装置
１０２：判定部
１０３：露出補正部
１０４：画像出力装置
２０１：デジタルカメラ
２１０：コンピュータ
【発明の属する技術分野】
本発明は、デジタルカメラやフィルムスキャナなどに用いることができる画像処理装置に係わり、特に、逆光で取り込んだり、夜間に取り込んだ画像データを最適露出状態の画像データに補正することができる画像処理装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ、インターネット、家庭用プリンタなどの普及、およびハードディスクなどの記憶容量の大容量化により、デジタルデータで写真画像を扱う機会が増えている。それに伴い、デジタル写真画像データ（以下、単に画像データと称する）の入力手段としてデジタルカメラやフィルムスキャナなどが一般に使用されるようになった。
前記において、デジタルカメラには撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、種々の方法があるが、光量検出のため、画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均を取り、絞りやシャッタスピードなどを調節する方法が一般的で、単に画面全体の加重平均を取る方式は平均測光方式、中央部を重点的に測光する方式は、中央重点測光方式と呼ばれる。
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあり、完全なものはない。とりわけ、主被写体の真後ろに光源があって背景と主被写体との輝度差が大きい逆光状態では被写体に露出があわないと背景の明るさに引っ張られて露出がマイナスに補正され、被写体が暗く写ってしまう。
また、夜間のストロボ撮影では、被写体にストロボ光が当たることが前提になるため、絞りやシャッタスピードは既定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
あるいは、元々被写体自体が暗かったり明るかったりすると、露出自体は適正であっても、露出不良に見える場合もある。人間は周囲の明るさに脳が順応して見ているが、カメラでは入ってきた輝度をそのまま記録することがその原因である。
【０００３】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に露出補正する技術も多数提案されている。なお、露出補正とは、シーンに対して不適切な明るさを持つ被写体をシーンに適した明るさに調節することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバーな被写体を暗くしたりすることである。カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタスピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数等を用いて入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。
例えば、特開昭59-65835号公報に示された写真画像濃度情報収録方式では、ネガフィルム等の写真画像において、周辺（四つ角）からべたを除くことで背景を除去し主被写体部分の情報を得る。しかし、この特開昭59-65835号公報に示された従来技術では、シーンに関わらず一律にべた部を除去するので、背景ではない部分をも除去してしまう恐れがあり、主被写体部分を高精細に切り離すことができない。
【０００４】
また、特開平06-189186号公報に示された方法では、画像データの明るさに対する頻度分布を平均値を境界に双方２段階、合計４段階に区分してそれぞれの段階に属するデータの数（出現頻度）を求め、暗い方に区分した２段階のうち明るい区分の出現頻度が他の区分におけるそれよりも大きいときに逆光シーンと判定し、暗い方のレベルを相対的に高めるような補正を行う。しかし、この特開平06-189186号公報に示された従来技術では、頻度情報のみから逆光判定を行うので、逆光シーンでなくても頻度分布の形が同様である場合に誤判定する。
また、特開平11-202378号公報に示された従来技術では、画像データの明るさに対する頻度分布を4段階に区分し頻度を求める一方、画像は中心を最大値として同心円状に重み係数を持つ。頻度と重み係数より、どの段階が重要な明るさかを評価し、逆光、過順光、背景の平坦な画像、および順光のシーンのいずれに属するかの判定を行い、露出を制御する。しかし、この特開平11-202378号公報に示された従来技術では、画像中の被写体の大きさや位置により露出が適切か否かの結果が左右され、被写体が小さい場合や、中央に位置しない場合に誤判定する。
また、特開平12-134467号公報に示された画像処理装置では、画像データの明るさに対する頻度分布のピーク領域の数、ピーク両端の輝度値、およびダイナミックレンジにより、入力画像を露出オーバー、アンダー、標準露出、および逆光などその他の露出状態に分類する。露出オーバー、アンダー、標準露出の場合は固定LUTによる補正を行い、その他の場合は最も低輝度に分布する頻度分布を高輝度域にシフトする補正を行う。しかし、特開平12-134467号公報に示された従来技術では、頻度分布のピーク情報を用いてシーン判別を行うので、画像中の被写体が小さいと主被写体部分のピークが現れず、誤判定する。また、シーン判別が正しく行われても、主被写体部分が適正露出か否かの判定は行われない。
【０００５】
【発明が解決しようとする課題】
前記したように、従来技術においては、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正し得ていない。
本発明の目的は、このような従来技術の問題を解決して、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正することができる画像処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記の課題を解決するために、請求項１記載の発明では、被写体データを有する画像データを最適露出状態の画像データに補正する画像処理装置であって、前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別手段と、前記シーン判別手段により前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体データ以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定手段と、前記被写体露出判定手段の判定結果に基づいて、被写体データ領域の明るさを補正する補正手段と、を備え、前記シーン判別手段は、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を有し、前記第１の出現割合算出手段の算出値と前記第２の出現割合算出手段の算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする。
【０００７】
また、請求項２記載の発明では、請求項１記載の発明において、前記シーン判別手段は、前記画像データの各画素を、各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、最暗部レベルまたは最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、前記最暗部レベルまたは前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を備え、前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には逆光撮影シーンとみなす、ことを特徴とする。
また、請求項３記載の発明では、請求項２記載の発明において、前記シーン判別手段により逆光シーンであると判定された場合、前記複数の明るさレベルのうち最も明るい側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成した。
【０００８】
また、請求項４記載の発明では、請求項２記載の発明において、前記シーン判別手段により夜間撮影シーンであると判定された場合、前記複数の明るさレベルのうち最も暗い側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成した。
また、請求項５記載の発明では、請求項３又は４記載の発明において、前記被写体露出判定手段により主被写体の明るさが不適切であると判定された場合、主被写体の明るさに近い明るさの画像データを補正するように補正手段を構成したことを特徴とする。
また、請求項６記載の発明では、被写体データを有する画像データを最適露出状態の画像データに補正する画像処理方法であって、前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別ステップと、前記シーン判別ステップにより前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定ステップと、前記被写体露出判定ステップの判定結果に基づいて、被写体領域の明るさを補正する補正ステップと、を備え、前記シーン判別ステップは、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分けステップと、最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出ステップと、前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出ステップと、を有し、前記第１の出現割合算出ステップの算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする。
また、請求項７記載の発明では、請求項６記載の画像処理方法のプログラムが記録されたコンピュータ読取り可能な記録媒体であることを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面により本発明の実施の形態を詳細に説明する。
図１は本発明の各実施の形態の画像処理システムを示す概略構成図、図２はその具体例を示す構成図である。
図１に示したように、この画像処理システムは、画像入力装置１００、画像処理装置１０１、および画像出力装置１０４を備え、画像処理装置１０１は判定部１０２および露出補正部１０３を備える。そして、画像入力装置１００は写真などをマトリックス状の画素として表した実写の画素数分の画像データを画像処理装置１０１に出力する。画像処理装置１０１は各種画像処理を行うとともに、判定部１０２においてシーン判別および被写体露出判定を行い、露出補正部１０３において露出補正を行う。また、画像出力装置１０４は、画像処理した画像データをドットマトリクス状の画素で出力する。
なお、画像入力装置１００には、図２におけるフィルムスキャナ２００およびデジタルカメラ２０１、あるいはビデオカメラ２０２などが該当し、画像処理装置１０１には、コンピュータ２１０、ハードディスク２０３、キーボード２０４、ＣＤ−ＲＯＭドライブ２０５、フロッピーディスクドライブ２０６、およびモデム２０７などからなるコンピュータシステムが該当し、画像出力装置１０４には、インクジェットプリンタなどのプリンタ２０９やディスプレイ２０８が該当する。前記モデム２０７は公衆通信回線に接続され、外部のネットワークを介してソフトウェアやデータをダウンロードして導入することも可能である。また、本発明の実施の形態の場合、画像データとしては写真などの実写データが適している。
【００１０】
一方、コンピュータ２１０内にはオペレーティングシステム２１２が稼動しており、プリンタやディスプレイに対応したプリンタドライバ２１４やディスプレイドライバ２１３が組み込まれている。また、画像処理アプリケーション２１１はオペレーティングシステムにより処理の実行を制御され、必要に応じてプリンタドライバやディスプレイドライバと連携し所定の画像処理を実行する。よって、画像処理装置としてこのコンピュータの役割は、ＲＧＢ（赤，緑，青）の階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバを介してディスプレイに表示させるとともに、プリンタドライバを介してＣＭＹ，もしくはＣＭＹＫの２値データに変換してプリンタに印刷させることになる。
また、前記した、判定部１０２におけるシーン判別および被写体露出判定、露出補正部１０３における露出補正は、具体的には前記コンピュータ２１０内において例えば図３に示した第１の実施の形態のフローチャートに対応した画像処理プログラムにより行っている。
【００１１】
以下、図３に示すフローチャートを参照しながら画像処理装置１０１で行われる第１の実施の形態の画像処理について説明する。
まず、判定部１０２が画像データのシーン判別を行う（３０１）。光源が主被写体の真後ろに存在する『逆光シーン』か、夜間にストロボなどを用いて撮影した『夜間撮影シーン』か、それともそれらのいずれにも属さない『その他』のシーンであるかを判別するのである。例えば、画像周辺部と中央部の輝度差を閾値と比較したり、輝度頻度分布の２極化の形状から逆光シーンを判別することができる。また、エッジ情報から主被写体領域を判別し、主被写体部分の明るさと全体の明るさを比較するなどによって夜間撮影シーンを判別することもできる。また、後述する方法を用いてもよい。
シーン判別の結果、対象画像が『逆光シーン』または『夜間撮影シーン』であった場合、主被写体と背景との輝度差が大きいので、画像全体で露出を判定しても正しい結果が得られない。よって、判定部１０２が、まず主被写体を特定するために余分な領域を取り除く（３０２）。例えば、逆光シーンの場合は背景が高輝度白色光であることに注目し、そのような条件を満たす画像端部からの連続画素を削除する。また、夜間撮影シーンの場合、背景は暗闇であることが多いことから閾値を設け、同様に端部からの連続画素を排除すればよい。また、端部から隣接画素間の差分と閾値を比較する方法などもある。
主被写体領域が特定したら次に、露出補正部１０３が、明度や輝度中央値などの統計的な評価値を用いて主被写体が適切な明るさを持つか否かを判定する（３０３）。予め設定した評価値と主被写体の明度や輝度とを比べて判定するのである。例えば、j番目の画素(j=0,1,2,...N,N：総画素数)の輝度:Y(j)は以下の式で表せる。
Y(j) = 0.299・R(j) + 0.587・G(j) + 0.114・B(j) … (1)
なお、R(j)，G(j)，B(j) は入力された画像データから得られる。
また、シーンが逆光や夜景撮影に属さない『その他』の場合は、画像全体が主被写体であるとみなし、必要であれば同様の方法で適正露出か否かを調べることができる。
【００１２】
主被写体の明るさが適切でなかった場合、つまり露出が適切でなかった場合、次に、露出補正部１０３が明るさ補正を行う（３０４）。明るさ補正の方法には、例えば後述するトーンカーブによる方法を用いる。また、被写体の露出が適切だった場合、明るさ補正は行わない。
なお、逆光シーンや夜間撮影シーンの判別法としては、前記の方法以外にも様々な方法が提案されているがその方法についてはいずれの方法であってもよい。また、主被写体を特定するために背景を取り除く方法についても前記の例以外に様々な方法が提案されているがこれにはこだわらない。
また、主被写体が適切な明るさを持つか否かの判定にも前記の例以外にさまざまな方法が提案されているがこれにはこだわらない。中央値等の統計値を求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用しても良い。また、明るさ補正にも、種々の方法が提案されているがこれにはこだわらない。
いずれにせよ、画像が逆光や夜間撮影シーンのように背景と主被写体の明るさが著しく異なっている場合は背景を取り除いて主被写体部分を抽出して、適正露出か否かの判断を行い、必要であれば明るさ補正を行うことにより、画質を向上させることができる。
【００１３】
次に、図４に従って本発明の第２の実施の形態について説明する。
この実施の形態の方法で、画像データが逆光か夜間撮影か、そのいずれにも属さないシーンであるかを判別する方法を説明する前に、まず、各シーンが撮影される状況を述べる。
最初に、逆光シーンでは、主被写体の真後ろに光源があり、背景と主被写体との輝度差が大きい状態で撮影される。このような状況では、背景の明るさに引っ張られて露出がマイナスに補正されるので、主被写体が暗く写ってしまう。つまり、明るさに対する輝度頻度分布を取ると分布は明と暗とに２極化している。
また、夜間撮影シーンは、夜景と人物が一緒に写っている場合もあるが、基本的に背景は暗闇であり背景に対して主被写体は明るい。
以上の撮影状況を考慮すると、画像の平均的な明るさに比べて、逆光なら極端に明るい背景が存在しかつ明るさに対する頻度分布が２極化しており、夜間撮影なら極端に暗い背景があると考えられる。よって、
［条件１］画像の平均的な明るさに比べて、極端に明るい部分、もしくは極端に暗い部分が、所定の閾値（割合）以上あるか
［条件２］前記条件を満たすとき、極端に明るい部分、もしくは暗い部分のほとんどは画像端部にあるか
［条件３］逆光画像の可能性がある場合、輝度分布は明と暗とに２極化しているか
を調べればよい。
【００１４】
そこで、まず画像の平均的な明るさに比べ、極端に明るい部分もしくは暗い部分を抽出するために、画像データの明るさ、例えば輝度レベルを４段階に区分し、各レベルについて、以下に定義した各レベルに属する画像データの出現回数H(i)(i=0,1,2,3)を求める（４０２）。
輝度レベル0以上63未満のレベルをレベル0とし、出現回数をH(0)とする。
輝度レベル64以上127未満 ⇒ レベル1とし、出現回数をH(1)とする。
輝度レベル128以上191未満⇒ レベル2とし、出現回数をH(2)とする。
輝度レベル192以上255未満⇒ レベル3とし、出現回数をH(3)とする。 … (2)
【００１５】
次に、総画素数Nに対し、最暗部、もしくは最明部レベルの出現頻度割合（第１の出現頻度割合）P1(i)(i=0,3)を算出する（４０３）。
P1(i) = (H(i)/N)×100 (%) … (3)
また、出現頻度割合P1(i)のうち、例えば図５に示した黒領域である画像端部に含まれる出現頻度割合（第２の出現頻度割合）P2(i)を算出する（４０４）。
P2(i) = (レベルiに属する画素のうち画像端部に含まれる画素数)/H(i) ×100 (%) … (4)
次に、シーンの判別を行う。例えばレベル0の頻度割合が全体の画素に対して60％以上を占め、かつレベル0の70％以上が画像端部に存在している場合（４０５でＹｅｓ）、すなわち
P1(0)>60 && P2(0)>70
のとき、『夜間撮影シーン』とみなす（４０７）。
【００１６】
また、例えばレベル3の頻度が全体の画素に対して15％以上を占め、かつレベル0とレベル3の頻度の合計が60％以上を占め、かつレベル3の70％以上が画像端部に存在している場合（406でYes）、すなわち
P1(3)>15 && P1(0)+P1(3)>60 && P2(3)>70
のとき、『逆光シーン』とみなす（４０８）。
そして、前記のいずれの条件も満たさなかった場合『その他のシーン』とする（４０９）。
なお、前記においては、明るさに対する情報として輝度を用いたが、明度やG（緑）信号を用いてもよく、これにはこだわらない。また、頻度分布のコントラスト調節を行った後に区分化を行ってもよい。
また、頻度分布の区分化方法や段階数（レベル数）、画像端部領域のとり方は前記以外にも考えられ、これにはこだわらない。
また、シーン判別のためのパーセンテージは前記以外の数字であってもよい。
いずれにせよ、画像の平均的な明るさに比べて極端に明るい背景が存在し、頻度分布が２極化しているのであれば、逆光シーンとみなし、極端に暗い背景が存在しているのであれば夜間撮影シーンであるとみなすシーン判別方法を用いることにより、被写体の大きさや位置に左右されない、高精細なシーン判別を行うことができる。
【００１７】
次に、本発明の第３の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが逆光シーンと判別された場合、例えば区分後の最明部であるレベル3に属する部分を背景とみなし、露出判定対象から除く。なお、レベル3に属する領域のみを背景とみなす代わりに、レベル3とレベル2、またはレベル3からレベル1に属する領域を背景とみなしてもよい。また、主被写体が適正露出であるか否かの判定は、例えば以下のように行う。
逆光シーンの場合、人間の肌に相当する部分は最暗部であるレベル0に属さない可能性が多い。よって、レベル3とレベル0を除いた領域を主被写体部分とみなし、輝度中央値が120以上であれば適正露出とし、120以下の場合は露出不足とする。
いずれにせよ、この実施の形態では、逆光シーンに対し背景部分を除いて主被写体部分の露出を判定することにより、高精細に被写体露出の適性を判定することができる。
【００１８】
次に、本発明の第４の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが夜間撮影シーンと判別された場合、例えば区分後の最暗部であるレベル0に属する領域を背景とみなし露出判定対象から除く。なお、レベル0に属する領域のみを背景とみなす代わりにレベル0とレベル1、またはレベル0からレベル2に属する領域を背景とみなしてもよい。
また、主被写体が適正露出であるか否かの判定は、例えば輝度中央値が80以上であれば適正露出とし、80以下の場合は露出不足とする。
いずれにせよ、この実施の形態では、夜間撮影シーンに対し背景部分を除いて主被写体部分の露出を判定することにより、高精細に被写体露出の適性を判定することができる。
【００１９】
本発明の第５の実施の形態では、第３および第４の実施の形態において、主被写体が露出不良（露出不足）の場合、補正を行う。以下、図６に従って、トーンカーブf1(x)を用いた場合についてこの実施の形態を説明する。
まず、図６（ａ）に示すように、輝度頻度分布における主被写体領域に対応する入力域(入力値AからBまで)を抽出し、AB間で入出力値特性の傾きが1もしくはそれ以上を保ちつつ明るさが補正されるように出力値(A'からB')を決める。例えば、
A' = A×1.2 かつ、直線の傾き1.1
のように設定する。
【００２０】
次に、原点，A'，B'，および出力最大値Max_outを結び、カーブ形状を決定する（図６（ｂ））。そして、カーブ形状が決定したら、以下のような変換を行う。
まず、入力輝度値Y1(j)(j=1,2,....N) に対してトーンカーブ変換後の出力輝度値Y2(j)を算出し、露出補正係数C(j) を以下の式で算出する。
(R2(j),G2(j),B2(j)) = C2(j)・(R1(j),G1(j),B1(j)) … (6)
なお、この例では傾きの異なる直線を用いてトーンカーブ形状を決定したが、スプラインなどの曲線を用いて決定してもよく、これにはこだわらない。
また、前記した例では、端点を含めた4点を通るカーブで構成しているが、節点の数にはこだわらない。例えば夜間撮影では背景が明るくならないほうが良い場合もあるので、このような場合は、図６（ｄ）のようにシャドー側に節点を複数設定し、シャドー部の出力レベルが変わらないように設定することもできる。また、トーンカーブ補正の結果、ハイライトの階調性が失われる恐れがあればハイライト側に節点を複数設定し、ハイライトの階調が保たれるように設定することもできる。
いずれにせよ、前記のようにして、背景と主被写体の明るさが異なり、かつ主被写体の露出が不適切な場合、主被写体近傍の明るさを補正する処理を行うことにより、画質を向上させることができる。
【００２１】
次に、図７に従って、本発明の第６の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが逆光および夜間撮影以外のシーンと判別された場合、それは被写体と背景の間に著しい輝度差がない状態、すなわち、順光で撮影された適正露出か、何らかの理由で露出アンダー、もしくはオーバーなシーンであると考える。
適正露出画像の場合、輝度頻度はレベル全域にわたって比較的均等に分布、もしくはガウス分布している。しかし、露出アンダーの場合は低レベル側に、また露出オーバーの場合は高レベル側に頻度分布の重心が偏る。図７（ａ）に露出アンダーシーンの頻度分布を示す。
このような場合には、まず式1を用いて輝度などの明るさに対する頻度分布を算出する。そして、頻度分布の偏り度合いを算出する。なお、偏り度合いの評価値としては、中央値や分布の対照性を表す歪度等を用いればよい。ここで、歪度Zは以下の式で算出される。
Z = (1/N)Σ((Y(j)/ave(Y(j))/S(Y(j)))^3 … (7)
ただし、Nは総画素数であり、Σの和はj=1からNについてとる。また、ave(Y(j))はY(j)の平均値、S(Y(j))は標準偏差である。
中央値を評価値にした場合、例えば50以下で露出アンダー、200以上で露出オーバーとする。また、歪度を評価値にした場合は、0.5以上で露出アンダー、-0.5以下で露出オーバーとする。
【００２２】
次に、前記で算出した偏り度合いが大きくなるにつれて頻度分布が平坦化するように画像データの補正を行う。以下にトーンカーブf2(i)を用いた補正方法の実施の形態を説明する。
例えば、f2(i)は累積頻度分布I(i)(i=0,1,2,....255)を用いて以下のように設定できる。
f2(i) = i + α(Z)×I(i) … (8)
ただし、α(Z)は歪度で求まる関数とし、頻度分布の偏り度合いが小さいと0に近づき、大きいほど高い値をとる。また、露出アンダーの場合はα(Z)＞0、オーバーの場合はα(Z)＜0、をとる。また、累積頻度分布I(i)における累積値はi=0からｘについてとる。
【００２３】
トーンカーブを用いた補正方法は式(3)、(4)の方法と同様にできる。露出アンダー画像の輝度分布から作成されたトーンカーブと、補正後の輝度分布を図７（ｂ）、図７（ｃ）に示す。図７（ｃ）では露出アンダー画像が補正されている。
なお、前記においては、頻度分布の偏り度合いに中央値や歪度を用いたが、種々の方法が考えられ、これにはこだわらない。また、中央値等の統計値を求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用してもよい。
また、前記においては、累積頻度分布を用いてトーンカーブ形状を決定したが、種々の方法が考えられこれにはこだわらない。
いずれにせよ、この実施の形態では、背景と主被写体の明るさが同程度の場合において、露出アンダーなど、頻度分布が偏っている場合のみそれを平滑化する処理を行うことにより、画質を向上させることができる。
以上、本発明の画像処理方法を図１の構成の場合で説明したが、これまで説明したような画像処理方法に従ってプログラミングしたプログラムを例えば着脱可能な記憶媒体に記憶させ、その記憶媒体をこれまで本発明によった画像処理を行えなかった例えばパーソナルコンピュータのようなコンピュータシステムに装着することにより、そのコンピュータシステムにおいても本発明によった画像処理を行うことができる。
【００２４】
【発明の効果】
以上説明したように、請求項１および請求項６記載の発明では、取り込んだ自然画像データを最適露出状態の画像データに補正することができる画像処理装置において、取り込まれた画像データについて少なくとも逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかが判別され、逆光シーンのデータまたは夜間撮影シーンのデータであると判別された場合には、背景データを取り除いて露出状態が判定され、その判定結果に基づいて異なった画像補正が行われるので、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正することができる。また、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、最暗部レベルまたは最明部レベルに振り分けられた出現割合が求められ、前記最暗部レベルまたは最明部レベルに振り分けられた個数中に占める、画像端部の所定領域に属する個数の割合が求められ、求められた２つの割合からシーン判別が行われるので、請求項１記載の発明の効果を容易に実現することができる。
また、請求項２記載の発明では、請求項１記載の発明において、前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には夜間撮影シーンとみなすので、最適な夜間撮影シーンを設定することができる。
【００２５】
また、請求項３記載の発明では、請求項２記載の発明において、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、逆光シーンであると判定された場合、少なくとも、前記複数の明るさレベルのうちの最明部レベルを除くレベルに対応する画像データの明るさ分布から、主被写体の明るさが適切か否かが判定されるので、判定精度が向上し、逆光で撮影された画像の主被写体をより適切な明るさに補正することができる。
また、請求項４記載の発明では、請求項２記載の発明において、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、夜間撮影シーンであると判定された場合、少なくとも、前記複数の明るさレベルのうちの最暗部レベルを除くレベルに対応する画像データの明るさ分布から、主被写体の明るさが適切か否かが判定されるので、判定精度が向上し、夜間に撮影された画像の主被写体をより適切な明るさに補正することができる。
また、請求項５記載の発明では、請求項３又は４記載の発明において、逆光シーンまたは夜間撮影シーンにおける主被写体の明るさが不適切だった場合、主被写体の明るさ近傍部の画像データが補正されるので、画質を向上させることができる。
また、請求項７記載の発明では、請求項６記載の画像処理方法に従ってプログラミングしたプログラムが例えば着脱可能な記憶媒体に記憶されるので、その記憶媒体をこれまで請求項６記載の発明によった画像処理を行えなかったコンピュータシステムに装着することにより、そのコンピュータシステムにおいても発明の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の各実施の形態の画像処理装置を含む画像処理システムを示す概略構成図である。
【図２】本発明の各実施の形態の画像処理システムの具体例を示す構成図である。
【図３】本発明の第１の実施の形態を示す画像処理装置のフローチャートである。
【図４】本発明の第２の実施の形態を示す画像処理装置のフローチャートである。
【図５】本発明の第２の実施の形態を示す画像処理装置の説明図である。
【図６】本発明の第５の実施の形態を示す画像処理装置の説明図である。
【図７】本発明の第６の実施の形態を示す画像処理装置の説明図である。
【符号の説明】
１００：画像入力装置
１０１：画像処理装置
１０２：判定部
１０３：露出補正部
１０４：画像出力装置
２０１：デジタルカメラ
２１０：コンピュータ
Claims (7)
- 被写体データを有する画像データを最適露出状態の画像データに補正する画像処理装置であって、
前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別手段と、
前記シーン判別手段により前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体データ以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定手段と、
前記被写体露出判定手段の判定結果に基づいて、被写体データ領域の明るさを補正する補正手段と、を備え、
前記シーン判別手段は、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、
最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、
前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を有し、
前記第１の出現割合算出手段の算出値と前記第２の出現割合算出手段の算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする画像処理装置。 - 前記シーン判別手段は、前記画像データの各画素を、各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、
最暗部レベルまたは最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、
前記最暗部レベルまたは前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を備え、
前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、
前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、
かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、
かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には逆光撮影シーンとみなす、
ことを特徴とする請求項１記載の画像処理装置。 - 前記シーン判別手段により逆光シーンであると判定された場合、前記複数の明るさレベルのうち最も明るい側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成したことを特徴とする請求項２記載の画像処理装置。
- 前記シーン判別手段により夜間撮影シーンであると判定された場合、前記複数の明るさレベルのうち最も暗い側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成したことを特徴とする請求項２記載の画像処理装置。
- 前記被写体露出判定手段により主被写体の明るさが不適切であると判定された場合、主被写体の明るさに近い明るさの画像データを補正するように補正手段を構成したことを特徴とする請求項３又は４記載の画像処理装置。
- 被写体データを有する画像データを最適露出状態の画像データに補正する画像処理方法であって、
前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別ステップと、
前記シーン判別ステップにより前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定ステップと、
前記被写体露出判定ステップの判定結果に基づいて、被写体領域の明るさを補正する補正ステップと、
を備え、
前記シーン判別ステップは、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分けステップと、
最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出ステップと、
前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出ステップと、を有し、
前記第１の出現割合算出ステップの算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする画像処理方法。 - 請求項６記載の画像処理方法のプログラムが記録されたコンピュータ読取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037763A JP4154128B2 (ja) | 2001-02-14 | 2001-02-14 | 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037763A JP4154128B2 (ja) | 2001-02-14 | 2001-02-14 | 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002247361A JP2002247361A (ja) | 2002-08-30 |
| JP2002247361A5 JP2002247361A5 (ja) | 2005-09-02 |
| JP4154128B2 true JP4154128B2 (ja) | 2008-09-24 |
Family
ID=18900843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001037763A Expired - Fee Related JP4154128B2 (ja) | 2001-02-14 | 2001-02-14 | 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154128B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101341095B1 (ko) | 2007-08-23 | 2013-12-13 | 삼성전기주식회사 | 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법 |
| CN103581565A (zh) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | 摄像设备、摄像设备的控制方法和电子装置 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6937365B2 (en) | 2001-05-30 | 2005-08-30 | Polaroid Corporation | Rendering images utilizing adaptive error diffusion |
| US6906736B2 (en) | 2002-02-19 | 2005-06-14 | Polaroid Corporation | Technique for printing a color image |
| US7283666B2 (en) * | 2003-02-27 | 2007-10-16 | Saquib Suhail S | Digital image exposure correction |
| JP4167097B2 (ja) | 2003-03-17 | 2008-10-15 | 株式会社沖データ | 画像処理方法および画像処理装置 |
| JP2004336516A (ja) * | 2003-05-09 | 2004-11-25 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像記録装置 |
| WO2005112428A1 (ja) * | 2004-05-18 | 2005-11-24 | Konica Minolta Photo Imaging, Inc. | 画像処理方法、画像処理装置、画像記録装置及び画像処理プログラム |
| JP2006107329A (ja) * | 2004-10-08 | 2006-04-20 | Noritsu Koki Co Ltd | 撮影画像処理装置 |
| JP2006333205A (ja) * | 2005-05-27 | 2006-12-07 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理方法及び画像処理プログラム |
| JP2007081550A (ja) * | 2005-09-12 | 2007-03-29 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
| JP4750801B2 (ja) * | 2005-12-20 | 2011-08-17 | 富士通株式会社 | 画像判別装置 |
| JP5473582B2 (ja) * | 2009-12-15 | 2014-04-16 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
| JP6365355B2 (ja) * | 2015-03-09 | 2018-08-01 | オムロン株式会社 | 画像生成装置および画像生成方法 |
-
2001
- 2001-02-14 JP JP2001037763A patent/JP4154128B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101341095B1 (ko) | 2007-08-23 | 2013-12-13 | 삼성전기주식회사 | 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법 |
| CN103581565A (zh) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | 摄像设备、摄像设备的控制方法和电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002247361A (ja) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10412296B2 (en) | Camera using preview image to select exposure | |
| JP3992177B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ・プログラム | |
| US7251056B2 (en) | Image processing apparatus, image processing method and information recording medium | |
| JP5520038B2 (ja) | 映像処理装置及び映像処理方法 | |
| JP4006347B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| US20110279710A1 (en) | Apparatus and method for automatically controlling image brightness in image photographing device | |
| JP4154128B2 (ja) | 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体 | |
| US20090167932A1 (en) | Image capturing apparatus | |
| JP4367821B2 (ja) | 画像処理装置、画像処理方法および記録媒体 | |
| KR101754425B1 (ko) | 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법 | |
| JP2009124264A (ja) | 画像処理装置および画像処理方法 | |
| JPH1169372A (ja) | 画像の明度調整方法およびその方法に使用するデジタルカメラ並びに画像処理装置 | |
| JP4107812B2 (ja) | 画像処理装置および画像処理方法および記録媒体 | |
| JP2007228221A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP3964796B2 (ja) | 赤目検出および修正方法 | |
| JP4219577B2 (ja) | 画像処理装置と画像出力装置と画像処理方法及び記憶媒体 | |
| JP2009063674A (ja) | 撮像装置及びフラッシュ制御方法 | |
| JP2002369074A (ja) | 光学機器の露出制御装置およびプログラム、並びに方法 | |
| JP2007288245A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
| US6037109A (en) | Device and method for reproducing originals onto light-sensitive material | |
| JP2007184887A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP5782546B2 (ja) | 映像処理装置、映像処理方法、撮像装置、プログラムおよび記憶媒体 | |
| JP4398595B2 (ja) | 画像処理装置及びプログラム | |
| JP2002268116A (ja) | 自動露出制御装置およびそのプログラムを組み込んだ外部記憶媒体 | |
| JP2007243556A (ja) | 撮像装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080508 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |