JP2004343610A - Image processing for dark background image - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To appropriately perform an image processing for a figure picture and a non-figure picture which have a dark background by using photographing information. <P>SOLUTION: A CPU 200 determines whether a parameter value of an expose program stored as an Exif information is set as portrait when it is determined that a photography scene type stored as the Exif information is set as night view. The CPU 200 determines that a picture at the time of photography was a night view figure picture when it is determined that a value of the expose program is set as portrait, and determines amount of positive intensity correction in order to make intensity of image data GD high. The CPU 200 determines that a picture at the time of photography was a night view non-figure picture when it is determined that a value of the expose program is not set as portrait, and determines amount of negative intensity correction in order to make intensity of the image data GD low. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影時の撮影情報を用いた画像データに対する画像処理装置、および画像処理方法に関する。
【０００２】
【従来の技術】
ディジタルスチルカメラ（ＤＳＣ）等にて生成された画像データに対する画像処理技術が種々提案、実用化されている。これら画像処理技術では、ユーザにより選択されたコントラスト補正、明度補正、彩度補正といった既定の補正条件または画像データの解析に基づいて画像データに対する画像処理が実行されるため、必ずしも夜景、夕景といった撮影場面（撮影シーン）に適した画像処理結果を得ることができなかった。
【０００３】
これに対して、現在、ＤＳＣにて生成されたほとんどの画像データには、撮影時の撮影条件を示す撮影情報がそのヘッダ部分に記述されている。したがって、画像データのヘッダ部に記述された撮影情報を用いることによって、画像処理装置では、例えば、撮影時の撮影場面が夜景、夕景といった背景の暗い撮影場面であったか否かを判断することが可能となり、夜景、夕景に合わせた画像処理を画像データに対して施すことができる（特許文献１参照）。
【０００４】
【特許文献１】
特願２００１−０７４６７１号
【０００５】
【発明が解決しようとする課題】
しかしながら、撮影情報を用いて撮影場面が夜景、夕景であることを判断できた場合であっても、従来、夜景画像の画像処理では、一様に明るくするまたは暗くするといった明度補正が実施されていたため、撮影場面によっては、依然として適切な画像処理結果を得ることができなかった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、撮影情報を利用して、暗い背景を有する人物画像並びに非人物画像に対する画像処理を適切に実行することを目的とする。
【０００７】
【課題を解決するための手段および作用・効果】
上記課題を解決するために本発明の第１の態様は、画像に対する画像処理を実行する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記画像のデータである画像データを取得する画像データ取得手段と、前記画像の撮影時における撮影条件を示す撮影情報を取得する撮影情報取得手段と、前記取得した撮影情報を用いて撮影時における背景の明度を判定する背景明度判定手段と、前記撮影時の背景明度が低いと判定された場合には、前記取得した撮影情報に応じて前記画像データの明度を高くする画質調整または低くする画質調整を実行する明度調整手段とを備えることを特徴とする。
【０００８】
本発明の第１の態様に係る画像処理装置によれば、取得した撮影情報を用いて撮影時における背景の明度を判定し、撮影時の背景明度が低いと判定された場合には、取得した撮影情報に応じて画像データの明度を高くする画質調整または低くする画質調整を実行するので、撮影情報を利用して、暗い背景を有する人物画像並びに非人物画像に対する画像処理を適切に実行することができる。
【０００９】
本発明の第１の態様に係る画像処理装置において、前記撮影情報には、撮影時の撮影場面を示す情報および撮影時における被写体の輝度を示す輝度値の少なくともいずれか一方が含まれており、前記背景明度判定手段は、前記撮影場面を示す情報が撮影時に夜景または夕景であったことを示す場合、または、前記輝度値が所定値以下の場合には、前記撮影時の背景明度が低いと判定しても良い。かかる場合には、撮影者により設定される撮影場面を示す情報、および撮影時における被写体の輝度の少なくともいすれか一方に基づき撮影画像が暗い背景を有しているか否かを判定するので、より確実に撮影画像が暗い背景を有していたか否かを判定することができる。
【００１０】
本発明の第１の態様に係る画像処理装置において、前記撮影情報には、撮影時に設定された露出プログラムの設定値が含まれており、前記明度調整手段は、前記露出プログラム設定値が人物撮影を示す場合には、前記画像データの明度を高くする画質調整を実行しても良い。かかる場合には、撮影画像が人物画像であったか否かをより適切に判定することが可能となり、また、画像データに対する画質調整において明度を高くすることにより、暗い背景における人物画像を明確に表すことができる。なお、人物画像とは、被写体が撮像装置に対して近接している画像を意味する。
【００１１】
本発明の第１の態様に係る画像処理装置において、前記撮影情報には、ストロボの発光の有無を示すフラッシュ値が含まれており、前記明度調整手段は、前記フラッシュ値がストロボ発光有りを示す場合には、前記画像データの明度を高くする画質調整を実行しても良い。夜景の撮影条件下において、ストロボ発光が有った場合には撮影画像が人物画像であると適切に判定することができる。また、画像データに対する画質調整において明度を高くすることにより、暗い背景における人物画像を明確に表すことができる。
【００１２】
本発明の第１の態様に係る画像処理装置において、前記撮影情報には、被写体との距離を示す被写体距離レンジの値が含まれており、前記明度調整手段は、前記被写体距離レンジの値が近景を示す場合には、前記画像データの明度を高くする画質調整を実行しても良い。かかる場合には、被写体が近接しているので、撮影画像が人物画像であると適切に判定することができる。また、画像データに対する画質調整において明度を高くすることにより、暗い背景における人物画像を明確に表すことができる。
【００１３】
本発明の第１の態様に係る画像処理装置はさらに、前記画像データを解析して前記画像データ中の肌色画素の割合値を取得する肌色画素割合値取得手段を備え、前記明度調整手段は、前記肌色画素の割合値が５％以上の場合には、前記画像データの明度を高くする画質調整を実行しても良い。かかる場合には、人物画像における特徴的パラメータである肌色画素の割合値を用いるので、撮影画像が人物画像であるか否かを適切に判定することができる。
【００１４】
本発明の第１の態様に係る画像処理装置において、前記撮影情報にはさらに、露出プログラム設定値が含まれており、前記明度調整手段は、前記露出プログラム設定値が人物撮影を示す場合には、前記ストロボ発光の有無、前記被写体距離レンジまたは前記肌色画素の割合値にかかわらず、前記画像データの明度を高くする画質調整を実行しても良い。露出プログラム設定値は、撮影者によって恣意的に設定される値であり、撮影時の撮影条件を適切に表している。また、撮影者の撮影意図を示す値であるから、露出プログラム設定値に基づいた画像処理を実行すれば、撮影者の意図に沿った画像処理結果を提供することができる。
【００１５】
本発明の第１の態様に係る画像処理装置において、前記撮影情報にはさらに、ストロボュの発光の有無を示すフラッシュ値が含まれており、前記明度調整手段は、前記露出プログラム設定値が人物撮影以外に設定されまたは未設定を示し、且つ、前記フラッシュ値がストロボ発光有りを示す場合には、前記画像データの明度を高くする画質調整を実行しても良い。露出プログラム設定値は、撮影者により恣意的に設定される値であり、必ずしも全ての撮影者が設定するとは限らない。したがって、露出プログラム設定値に加えてフラッシュ値を撮影画像が人物画像であるか否かの判定に用いることによって、より確実な人物画像判定を実行することができる。
【００１６】
本発明の第２の態様は、画像に対する画像処理を実行する画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、前記画像のデータである画像データを取得する画像データ取得手段と、前記画像の撮影時における撮影条件を示す撮影情報を取得する撮影情報取得手段と、前記取得した撮影情報を用いて撮影時における背景の明度を判定する背景明度判定手段と、前記取得した撮影情報を用いて前記取得した画像データに対応する撮影時の画像が人物画像であるか否かを判定する人物画像判定手段と、前記撮影時の背景明度が低いと判定されると共に、前記撮影時の画像が人物画像であると判定された場合には、前記画像データの明度を高くする画質調整を実行する明度調整手段とを備えることを特徴とする。
【００１７】
本発明の第２の態様に係る画像処理装置によれば、撮影情報を用いて撮影時における背景の明度を判定し、撮影情報を用いて取得した画像データに対応する撮影時の画像が人物画像であるか否かを判定し、撮影時の背景明度が低いと判定されると共に、撮影時の画像が人物画像であると判定された場合には、画像データの明度を高くするので、撮影情報を利用して、暗い背景を有する人物画像に対する画像処理を適切に実行することができる。
【００１８】
本発明の第２の態様に係る画像処理装置において、前記撮影情報には、撮影時の撮影場面を示す情報および撮影時における被写体の輝度を示す輝度値の少なくともいずれか一方が含まれており、前記背景明度判定手段は、前記撮影場面を示す情報が撮影時に夜景または夕景であったことを示す場合、または、前記輝度値が所定値以下の場合には、前記撮影時の背景明度が低いと判定しても良い。かかる場合には、より確実に撮影画像が暗い背景を有していたか否かを判定することができる。
【００１９】
本発明の第２の態様に係る画像処理装置において、前記撮影情報には、撮影時に設定された露出プログラムの設定値、ストロボ発光の有無の値、および被写体との距離を示す被写体距離レンジの値の少なくともいずれか１つが含まれており、前記人物画像判定手段は、前記撮影情報に含まれている、前記撮影情報に含まれている露出プログラムの値、ストロボ発光の有無の値、および被写体距離レンジの値に基づいて、前記撮影時の画像が人物画像であるか否かを判定しても良い。かかる場合には、撮影画像が人物画像であるか否かを適切に判定することができる。
【００２０】
本発明の第２の態様に係る画像処理装置において、前記明度調整手段は、前記撮影時の背景明度が低いと判定されると共に、前記撮影時の画像が人物画像でないと判定された場合には、前記画像データの明度を低くする画質調整を実行しても良い。かかる場合には、撮影情報を利用して、暗い背景を有する非人物画像に対する画像処理を適切に実行することができる。
【００２１】
本発明の第３の態様は、暗い背景を有する人物画像に対する画像処理方法を提供する。本発明の第３の態様に係る画像処理方法は、前記画像のデータである画像データを取得し、前記画像の撮影時における撮影条件を示す撮影情報を取得し、前記取得した撮影情報を用いて、前記取得した画像データとなった画像が暗い背景を有する人物画像であるか否かを判定し、前記取得した画像データとなった画像が暗い背景を有する人物画像であると判定した場合には、前記取得した撮影情報に応じて前記画像データの明度を高くする画質調整を実行することを特徴とする。
【００２２】
本発明の第３の態様に係る画像処理方法によれば、本発明の第２の態様に係る画像処理装置と同様の作用効果を得ることができる。
【００２３】
本発明の第３の態様に係る画像処理方法において、前記撮影情報には、撮影時の撮影場面を示す情報、並びに撮影時に設定された露出プログラムの設定値、ストロボ発光の有無の値、撮影時における被写体の輝度値、被写体との距離を示す被写体距離レンジの値および画像中の肌色画素の割合値の少なくともいずれか１つが含まれており、前記画像が暗い背景を有する人物画像であるか否かの判定は、さらに、
前記撮影場面を示す情報が撮影時に夜景または夕景であったことを示す場合または撮影時における被写体の輝度値が所定値以下の場合には、撮影時における背景は暗かったと判定し、
前記撮影情報に含まれている、前記露出プログラムの設定値、ストロボ発光の有無の値、前記被写体距離レンジの値および画像中の肌色画素の割合値の少なくともいずれか１つを用いて前記取得した画像データとなった画像が人物画像であるか否かを判定することを含むことを特徴とする。かかる場合には、画像が暗い背景を有する人物画像であるか否かを適切に判定することができる。
【００２４】
本発明の第３の態様に係る画像処理方法はさらに、前記画像データを解析して前記画像データ中に含まれる肌色画素の割合値を取得し、前記取得した画像データとなった画像が人物画像であるか否かの判定は、前記撮影情報に加えて、前記取得した肌色画素の割合値を反映して行われても良い。かかる場合には、撮影画像が人物画像であるか否かをより適切に判定することができる。
【００２５】
本発明の第１および第２の態様に係る画像処理装置、並びに本発明の第３の態様に係る画像処理方法は、この他にも、画像処理プログラムおよび画像処理プログラムが記録された記録媒体としても実現され得る。
【００２６】
【発明の実施の形態】
以下、本発明に係る画像処理装置について図面を参照しつつ、いくつかの実施例に基づいて説明する。
【００２７】
Ａ．画像処理システムの構成：
第１の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図１および図２を参照して説明する。図１は第１の実施例に係る画像処理装置としてのパーソナルコンピュータを含む画像処理システムの一例を示す説明図である。図２はディジタルスチルカメラにおける撮影モードの選択場面を示す説明図である。
【００２８】
画像処理システムは、画像ファイルを生成する入力装置としてのディジタルスチルカメラ１０、ディジタルスチルカメラ１０にて生成された画像ファイルに基づいて画像処理を実行し、印刷用画像データを出力する画像処理装置としてのパーソナルコンピュータ２０、印刷用画像データを用いて画像を出力する出力装置としてのカラープリンタ３０を備えている。なお、カラープリンタ３０は、パーソナルコンピュータＰＣが備える画像処理機能を備えていても良く、かかる場合には、スタンドアローンにて画像処理、画像出力を実行することができる。また、出力装置としては、プリンタ３０の他に、ＣＲＴディスプレイ、ＬＣＤディスプレイ等のモニタ２５、プロジェクタ等が用いられ得る。以下の説明では、パーソナルコンピュータ２０と接続されて用いられるカラープリンタ３０を出力装置として用いるものとする。
【００２９】
パーソナルコンピュータ２０は、一般的に用いられているタイプのコンピュータであり、本発明に係る画像処理プログラムを実行するＣＰＵ２００、ＣＰＵ２００における演算結果、画像データ等を一時的に格納するＲＡＭ２０１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）２０２を備えている。パーソナルコンピュータ２０は、メモリカードＭＣを装着するためのカードスロット２０３、ディジタルスチルカメラ１０等からの接続ケーブルを接続するための入出力端子２０４を備えている。
【００３０】
ディジタルスチルカメラ１０は、図２に示すように、選択・決定ボタン１１と、撮影画像をプレビューしたり、選択・決定ボタン１１を用いた選択・決定を実行するための液晶ディスプレイ１２とを備えている。選択・決定ボタン１１は、シャッター速度、露出プログラム、ＩＳＯスピードレート等の撮影条件、夕景、夜景、ポートレートといった撮影シーンに応じて予め複数の撮影パラメータの値が設定されている撮影モードを設定するために用いられる。図２に示す例では、撮影シーンタイプが夜景に設定されている。
【００３１】
ディジタルスチルカメラ１０はまた、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管）に結像させることにより画像を取得するカメラであり、光情報を電気情報に変換するためのＣＣＤ等を備える光電変換回路、光電変換回路を制御して画像を取得するための画像取得回路、取得したディジタル画像を加工処理するための画像処理回路等を備えている。ディジタルスチルカメラ１０は、取得した画像をディジタルデータとして記憶装置としてのメモリカードＭＣに保存する。ディジタルスチルカメラ１０における画像データの保存形式としては、非可逆圧縮保存方式としてＪＰＥＧデータ形式、可逆圧縮保存方式としてＴＩＦＦデータ形式が一般的であるが、この他にもＲＡＷデータ形式、ＧＩＦデータ形式、ＢＭＰデータ形式等の保存形式が用いられ得る。
【００３２】
ディジタルスチルカメラ１０は、画像撮影時（画像データ生成時）における撮影情報（Ｅｘｉｆ情報）ＳＩと画像データとを関連づけて画像ファイルＧＦとしてメモリカードＭＣに格納する。ユーザによって、人物、夜景、夕景といった撮影条件に適した撮影シーンタイプ（撮影モード）が選択された場合には、選択された撮影シーンタイプが撮影情報ＳＩとして画像データに関連づけられ、また、設定された露出プログラムの設定値（例えば、ポートレートモード、露出優先、シャッター優先、ランドスケープモード）、被写体距離レンジ、被写体の輝度値、ストロボの発光状態を示すフラッシュといった複数の撮影条件パラメータのパラメータ値が画像データに関連づけられてメモリカードＭＣに格納される。
【００３３】
ディジタルスチルカメラ１０において生成された画像ファイルＧＦは、例えば、ケーブルＣＶ、コンピュータ２０を介して、あるいは、ケーブルＣＶを介してカラープリンタ３０に送出される。あるいは、ディジタルスチルカメラ１０にて画像ファイルＧＦが格納されたメモリカードＭＣが、メモリカード・スロットに装着されたコンピュータ２０を介して、あるいは、メモリカードＭＣをプリンタ３０に対して直接、接続することによって画像ファイルがカラープリンタ３０に送出される。なお、以下の説明では、撮影情報ＳＩを用いた画像データＧＤに対する画像処理がパーソナルコンピュータ２０にて実行され、処理済みの画像データがカラープリンタ３０に対して出力される場合について説明する。
【００３４】
カラープリンタ３０は、カラー画像の出力が可能なプリンタであり、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン、ＬＣ）、ライトマゼンタ（薄いマゼンタ、ＬＭ）、ダークイエロ（暗いイエロ、ＤＹ）を用いても良い。
【００３５】
Ｂ．画像ファイルの構成：
本実施例に係る画像ファイルＧＦは、例えば、電子情報技術産業協会（ＪＥＩＴＡ）によってディジタルスチルカメラ用画像ファイルフォーマットの規格として提唱されているＥｘｉｆフォーマットに従うファイル構造（Ｅｘｉｆファイル）、Ｃ−Ｃｕｂｅ Ｍｉｃｒｏｓｙｓｔｅｍｓ社， Ｘｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ社， Ｄｉｇｉｔａｌ Ｏｒｉｇｉｎ（Ｒａｄｉｕｓ）社の３社によって策定された、ＪＰＥＧデータファイルの互換性を目的とした規格であるＪＦＩＦフォーマットに従うファイル構造（ＪＦＩＦファイル）、画像データに関するパラメータをタグ形式にて指定するＴＩＦＦフォーマットに従うファイル構造（ＴＩＦＦファイル）を備えることができる。Ｅｘｉｆファイルは、格納する画像データの種類によって、非可逆圧縮タイプのＪＰＥＧ画像データを格納するＪＰＥＧ−Ｅｘｉｆファイル、可逆圧縮タイプのＴＩＦＦ画像データを格納するＴＩＦＦ−Ｅｘｉｆファイルに区別することができる。
【００３６】
図３〜図６を参照して本実施例にて用いられ得るＪＰＥＧデータ格納ファイルとしてのＥｘｉｆ画像ファイルの概略構成について説明する。図３はＥｘｉｆ画像ファイルのファイル構成を模式的に示す説明図である。図４は本実施例において用いられ得るＥｘｉｆ画像フォーマットにおける撮影条件タグの概略的な内部構造を詳細に示す説明図である。図５はパーソナルコンピュータ２０において撮影画像が夜景画像であるか否かを判定する際に用いられる夜景シーン判定要素を示す説明図である。図６はパーソナルコンピュータ２０において撮影画像が人物画像であるか否かを判定する際に用いられる人物画像判定要素を示す説明図である。なお、本実施例中におけるファイルの構造、データの構造、格納領域といった用語は、ファイルまたはデータ等が記憶装置内に格納された状態におけるファイルまたはデータのイメージを意味するものである。
【００３７】
画像ファイルＧＦは、ＪＰＥＧ画像データＧＤ、ＪＰＥＧ画像データＧＤに対する付属情報を格納するアプリケーション・マーカセグメントＡＰＰを備えている。アプリケーション・マーカセグメントＡＰＰ（ＩＦＤ）では、各情報を特定するためにタグが用いられており、各情報はタグ名によって呼ばれることがある。図３に示すアプリケーション・マーカセグメントＡＰＰには、画像処理制御情報ＧＩを格納するタグ（領域）、Ｅｘｉｆ情報を格納するタグ（領域）、サムネイル画像データが含まれている。
【００３８】
Ｅｘｉｆ情報には、ユーザ情報を格納するタグ、撮影条件を格納するタグ等が含まれている。ユーザ情報タグには、Ｅｘｉｆファイルユーザ（例えば、ＤＳＣ製造者）が任意に使用可能なＭａｋｅｒｎｏｔｅタグが用意されており、画像処理制御情報ＧＩは、このＭａｋｅｒｎｏｔｅタグに記述されても良い。撮影条件タグには、図４に示すように、露出プログラム、撮影シーンタイプを始めとする撮影条件に関する各種パラメータの値が記述されている。
【００３９】
Ｃ．パーソナルコンピュータ２０における画像処理：
図７〜図９を参照してパーソナルコンピュータ２０において実行される画像処理について説明する。図７は第１の実施例におけるパーソナルコンピュータにて実行される画像処理の処理ルーチンを示すフローチャートである。図８は第１の実施例におけるパーソナルコンピュータにて実行される撮影条件ＳＩを用いた明度補正処理量決定処理ルーチンを示すフローチャートである。図９は画像データの各画素についての明度の入力レベルと出力レベルの関係を概念的に示すグラフである。
【００４０】
パーソナルコンピュータ２０（ＣＰＵ２００）は、スロット２０３にメモリカードＭＣが差し込まれると、あるいは、ディジタルスチルカメラ１０に接続されている接続ケーブルＣＶが入出力端子２０４に接続されると本画像処理のプログラムを起動する。ＣＰＵ２００は、ユーザの指示に従ってメモリカードＭＣから画像ファイルＧＦを取得し（読み出し）、取得した画像ファイルＧＦをＲＡＭ２０１に一時的に格納する（ステップＳ１００）。
【００４１】
ＣＰＵ２００は、画像ファイルＧＦにＥｘｉｆ情報（撮影情報ＳＩ）が含まれているか否かを判定する（ステップＳ１１０）。ＣＰＵ２００は、画像ファイルＧＦからＥｘｉｆ情報を発見（検出）することができた場合には（ステップＳ１１０：Ｙｅｓ）、Ｅｘｉｆ情報を取得して（ステップＳ１２０）、画像データＧＤの伸長、色変換処理を実行する（ステップＳ１３０）。
【００４２】
ＣＰＵ２００は、画像データＧＤを伸張し、伸張した画像データＧＤに対してマトリクスＳを用いたマトリクス演算、並びに画像処理制御情報ＧＩによって指定されたガンマ補正値を用いたガンマ補正、およびマトリクスＭを含むマトリクスＮ^−１Ｍを用いたマトリクス演算を実行してＹＣｂＣｒ→ｗＲＧＢ色変換処理を実行する。
【００４３】
本フローチャートにて処理される画像ファイルＧＦは、ＪＰＥＧ画像データを格納しており、ＪＰＥＧデータはＹＣｂＣｒデータを圧縮したデータである。また、現在のパーソナルコンピュータＰＣ、プリンタにおける画像処理では一般的にＲＧＢデータが用いられている。したがって、ＪＰＥＧデータの伸張（デコード）、ＹＣｂＣｒデータのＲＧＢデータへの色変換処理が必要となる。マトリクスＳは、ＪＦＩＦ規格において、ＹＣｂＣｒデータをＲＧＢデータへと変換する際に一般的に用いられるマトリクスであり、当業者にとって周知のマトリクスであるから詳細な説明は省略する。また、色変換に当たっては、ＸＹＺ値との関係を線形化するためにガンマ補正処理を実行して画像データＧＤの線形化を実行する。
【００４４】
本実施例では、マトリクスＳを用いた一般的なＹＣｂＣｒ→ＲＧＢ色変換処理に加えて、カラープリンタ３０が有する色再現特性を考慮したマトリクスＭを含むマトリクスＮ^−１Ｍを用いてＲＧＢ→ｗＲＧＢ色変換処理を実行する。マトリクスＭは、マトリクスＳ演算実行後のＲＧＢデータを定義（指定）するＲＧＢ色空間（ターゲット色空間）から機器独立色空間であるＸＹＺ色空間へと色空間を変換するためのマトリクスである。マトリクスＳ演算実行後のＲＧＢデータがｓＲＧＢ色空間の表色域を超えるＲＧＢ値を持つ場合には、マトリクスＳ演算実行後のＲＧＢデータの色空間として、例えば、ｓＲＧＢ色空間よりも少なくともその一部の表色域が広いｗＲＧＢ色空間を指定することにより、ＲＧＢ値の喪失を防止して、後段の広いｗＲＧＢ色空間（作業色空間）へとつなげることができる。マトリクスＮはカラープリンタ３０が許容するＲＧＢ色空間、例えば、ｗＲＧＢ色空間からＸＹＺ色空間へと色空間を変換するためのマトリクスである。マトリクスＮ^−１ＭはＲＧＢ→ＸＹＺ→ｗＲＧＢの色変換処理を実行するための合成マトリクスである。
【００４５】
ＣＰＵ２００は、続いて、ＲＧＢデータに変換された画像データに対して、Ｅｘｉｆ情報を用いた明度補正のための画像タイプ処理を実行する（ステップＳ１４０）。Ｅｘｉｆ情報を用いた明度補正量の決定処理について図８を参照して説明する。
【００４６】
本実施例では、夜景、夕景といった画像背景が暗い撮影シーンにおける人物画像および非人物画像（風景画像）それぞれに対して適正な明度補正を実行するためにＥｘｉｆ情報（撮影情報ＳＩ）を用いる。
【００４７】
ＣＰＵ２００は、Ｅｘｉｆ情報として格納されている撮影シーンタイプが夜景に設定されているか（撮影画像が夜景画像であるか）否かを判定し（ステップＳ２００）、撮影シーンタイプが夜景以外に設定されていると判定した場合には（ステップＳ２００：Ｎｏ）、Ｅｘｉｆ情報として格納されている輝度値が−２以下であるか否かを判定する（ステップＳ２１０）。ＣＰＵ２００は、輝度値が−２より大きいと判定した場合には（ステップＳ２１０：Ｎｏ）、本処理ルーチンを終了して図７の処理ルーチンにリターンする。
【００４８】
撮影シーンタイプは、撮影者によって意図的に設定される撮影条件パラメータであり、撮影条件が夜景であったことを容易かつ確実に判定することが可能なパラメータである。したがって、本実施例では、既述のように、撮影条件が夜景であったか否かの判定要素として、撮影シーンタイプを用いている。その一方で、撮影シーンタイプが設定されることなく、すなわち標準に設定されたまま夜景、暗い背景において撮影がなされることも予想される。そこで、撮影者の意図とは無関係に、撮影時における被写体の輝度を示す輝度値を用いて撮影場面が暗い場面であったか否かを判定し、撮影場面についての判定精度を向上する。なお、Ｅｘｉｆ情報に記述される輝度値は、ストロボ発光前における被写体の輝度を示すので、ストロボ発光による輝度変化を考慮することなく、撮影場面の明るさを判定することができる。なお、本実施例において、夜景画像とは、夜景、夕景のほか、照明の暗い室内場面、影により暗い撮影場面といった暗い撮影場面をも含む意味で用いられる。
【００４９】
ＣＰＵ２００は、撮影シーンタイプが夜景に設定されていると（撮影画像が夜景画像であると）判定した場合には（ステップＳ２００：Ｙｅｓ）、Ｅｘｉｆ情報として格納されている露出プログラムのパラメータ値がポートレートに設定されているか否かを判定する（ステップＳ２２０）。ＣＰＵ２００は、ステップＳ２１０において、輝度値が−２以下であると判定した場合にも（ステップＳ２１０：Ｙｅｓ）、Ｅｘｉｆ情報として格納されている露出プログラムのパラメータ値がポートレートに設定されているか否かを判定する（ステップＳ２２０）。
【００５０】
露出プログラムは、撮影者によって意図的に設定される撮影条件パラメータであり、被写体が人物であったことを容易かつ確実に判定することが可能なパラメータである。したがって、本実施例では、既述のように、撮影画像が人物であったか否かの判定要素の１つとして、露出プログラムを用いている。なお、本実施例における「人物画像」の用語は、必ずしも被写体が人物であることを意味するものでなく、背景に対してディジタルスチルカメラ１０に近い位置に位置する被写体を中心とした画像を意味する。
【００５１】
ＣＰＵ２００は、露出プログラムの値がポートレートに設定されていると判定した場合には（ステップＳ２２０：Ｙｅｓ）、処理対象の画像データＧＤとなった画像、すなわち画像データＧＤに対応する撮影時の画像は夜景人物画像であったと判定する（ステップＳ２３０）。すなわち、本実施例では、撮影シーンタイプの値が夜景に設定されていることと、露出プログラムの値がポートレートに設定されていることをもって、撮影画像が夜景人物画像であると判定する。
【００５２】
撮影画像が夜景人物画像であると判定したＣＰＵ２００は、画像データＧＤの明度を高く（明るく）するために正の明度補正量を決定して（ステップＳ２４０）、本処理ルーチンを終了して図７に示す画像処理ルーチンにリターンする。撮影画像が夜景人物画像である場合に、明度を高くする補正を画像データＧＤに対して実行することにより、人物が明確に表された出力画像を得ることができるので明度補正量を＋の明度補正量とする。かかる出力画像は、人物を撮影したいという撮影者の意図に沿うものであり、撮影者を満足させる画像処理（明度補正）を実行することができる。
【００５３】
ＣＰＵ２００は、露出プログラムの値がポートレートに設定されていないと判定した場合には（ステップＳ２２０：Ｎｏ）、Ｅｘｉｆ情報として格納されているフラッシュのパラメータ値にフラッシュの発光が記述されているか否かを判定する（ステップＳ２５０）。露出プログラムは、被写体が人物であっても撮影者によって必ずしも設定されないことがあるので、フラッシュのパラメータ値を用いることによって、撮影画像が人物画像であったか否かを重ねて判断するのである。ここで、フラッシュのパラメータを人物画像の判定に用いるのは、夜景の条件下にて、人物を撮影する場合には通常、ストロボが発光し、夜景風景を撮影する場合には通常、意図的にストロボ発光は禁止されるからである。
【００５４】
ＣＰＵ２００は、Ｅｘｉｆ情報にフラッシュの発光が記述されていた場合には（ステップＳ２５０：Ｙｅｓ）、撮影画像は夜景人物画像であると判定し（ステップＳ２３０）、明度補正量を正に設定して（ステップＳ２４０）、本処理ルーチンから図７に示す処理ルーチンへリターンする。
【００５５】
ＣＰＵ２００は、Ｅｘｉｆ情報にフラッシュの発光が記述されていない場合には（ステップＳ２５０：Ｎｏ）、撮影画像は夜景非人物画像であると判定し（ステップＳ２６０）、明度補正量を負に設定して（ステップＳ２７０）、本処理ルーチンから図７に示す処理ルーチンへリターンする。
【００５６】
撮影画像が夜景非人物画像、すなわち夜景風景である場合に、明度を低くする補正を画像データＧＤに対して実行することにより、イルミネーション等が映える出力画像または暗い風景描写を損なうことのない出力画像を得ることができるので、明度補正量を−の明度補正量に設定する。かかる出力画像は、夜景風景を撮影したいという撮影者の意図に沿うものであり、撮影者を満足させる画像処理（明度補正）を実行することができる。
【００５７】
図７に戻り説明を続けると、ＣＰＵ２００は、画像データＧＤに対する明度補正処理量決定処理を終えると、Ｅｘｉｆ情報および基準値を用いた画像処理を実行する（ステップＳ１５０）。Ｅｘｉｆ情報および基準値を用いた画像処理について詳細に説明すると、ＣＰＵ２００は、画像データＧＤを画素単位にて解析して画像データＧＤの特性を示す各種の特性パラメータ値、例えば、輝度最小値、輝度最大値、明度代表値といった画像統計値を取得する。ＣＰＵ２００は、ＨＤＤ２０２に格納されている各特性パラメータに対して予め定められた基準値と、解析により得られた画像統計値との差を解消または低減させるように補正量を求め、画像データＧＤのＲＧＢ値を補正する。画像データＧＤの補正は、例えば、求めた補正値を入力値に対する出力値の関係を規定するトーンカーブに適用して修正し、かかるトーンカーブに対して画像データＧＤを入力値として適用することにより実行される。
【００５８】
ここで、明度補正の手法について簡単に説明する。明度補正の基準となる明度基準値Ｂｓｔｄは、例えば、０〜２５５の値を取り得る８ビットの情報であり、その標準値は１２８に設定されている。この標準値に対して、決定された明度補正量を適用することによって、明度基準値Ｂｓｔｄを修正する。すなわち、Ｂｓｔｄ＝１２８＋明度補正量となる。例えば、明度補正量が＋２０に設定された場合には、明度基準値Ｂｓｔｄは、１２８＋２０＝１４８となる。一方、明度補正量が−１０に設定された場合には、明度基準値Ｂｓｔｄは、１２８−１０＝１１８となる。
【００５９】
画像データＧＤの明度値を基準値に近づける補正は、以下の式に基づいて実行される。
【００６０】
【数１】

【００６１】
画像データＧＤの明度値を基準値に近づける補正を実行する際に用いられる入力レベルと出力レベルとの関係について図９を参照して説明する。明度補正量が正の値であり、明度を明るくする補正を実行した場合には、例えば、入力レベルの１／４のポイントにて補正レベルに応じて出力レベルＯＬ１，ＯＬ２を持ち上げる。一方、明度補正量が負の値であり、明度を暗くする補正を実行した場合には、例えば、入力レベルの３／４のポイントにて補正レベルに応じて出力レベルＯＬ３を下げる。補正レベルに対応する点を除く値は、スプライン曲線にて補間される。
【００６２】
あるいは、明度基準値Ｂｓｔｄを修正することなく、明度補正レベルＢｒｅｖを直接、増減補正しても良い。例えば、明度補正量が１０に設定されている場合、明度補正レベルＢｒｅｖ＝１０＋明度基準値Ｂｓｔｄとなる。明度基準値Ｂｓｔｄ＝１０とすれば、結果として明度補正レベルＢｒｅｖ＝２０が得られる。この値は、既述のように、画像データＧＤの明度値の入力レベルに対する出力レベルを決定するためのトーンカーブの修正に用いられ、画像データＧＤの各画素の明度値が補正されることにより画像データＧＤの明度が調整される。
【００６３】
ＣＰＵ２００は、画質調整処理が施された画像データ（ＲＧＢデータ）をＣＭＹＫデータに変換する色変換処理を実行する。すなわち、画像データの表色系をカラープリンタ２０が印刷処理を実行する際に用いる表色系であるＣＭＹＫ表色系に変換する。具体的には、ＨＤＤ２０２（ＲＯＭ）に格納されているＲＧＢ表色系とＣＭＹＫ表色系とを対応付けたルックアップデーブルを用いて実行される。
【００６４】
ＣＰＵ２００は、処理された画像データをプリンタドライバへ出力し（ステップＳ１６０）、本処理ルーチンを終了する。プリンタドライバでは、ハーフトーン処理、解像度変換処理が実行され、印刷用のラスタデータとしてカラープリンタ３０に出力される。
【００６５】
一方、ＣＰＵ２００は、画像ファイルＧＦからＥｘｉｆ情報を検出することができなかった場合には（ステップＳ１１０：Ｎｏ）、予め用意された画像処理条件にしたがって、通常画像処理を実行し（ステップＳ１７０）、処理された画像データをプリンタドライバへ出力して（ステップＳ１６０）、本処理ルーチンを終了する。通常画像処理においても、基準値を用いた画像処理が実行され得ることはいうまでもない。
【００６６】
以上説明したように、第１の実施例に係る画像処理装置としてのパーソナルコンピュータ２０によれば、Ｅｘｉｆ情報（撮影情報ＳＩ）を用いて、撮影画像が夜景人物画像（暗い撮影シーンでの人物画像）であるか否かを判定し、夜景人物画像であると判定した場合には、画像データＧＤに対して明度を高くする（明るくする）補正を実行することができる。一方、夜景非人物画像であると判定した場合には、画像データＧＤに対して明度を低くする（暗くする）補正を実行することができる。したがって、夜景人物画像である場合には、人物（被写体）が明確に表された出力画像を得ることができ、夜景非人物画像である場合には、夜景（風景）を損なうことのない出力画像を得ることができる。また、これら出力画像は、撮影者の撮影意図に沿うものであり、撮影者の撮影意図を損なうことのない画像処理を実行することができる。
【００６７】
また、第１の実施例に係るパーソナルコンピュータ２０によれば、撮影条件を示すＥｘｉｆ情報に基づいて撮影画像が夜景人物画像であるか否かを判定するので、パーソナルコンピュータ２０においても撮影条件を適切に判定することができる。さらに、パーソナルコンピュータ２０における画像処理時に、ユーザが特にパラメータ等を指定することなく、夜景人物画像および夜景非人物画像に対する適切な画像処理を実行することができる。
【００６８】
・第２の実施例：
第１の実施例では、フラッシュのパラメータ値を判定することで、夜景人物画像であるか否かの判定を終えていたが、第２の実施例では、輝度値、被写体距離レンジ、肌色割合値を用いて、さらに判定精度を高くする。第２の実施例に係るパーソナルコンピュータは、第１の実施例に係るパーソナルコンピュータ２０と同一の構成を有するので同一の構成要素については同一の符号を付すことでその説明を省略する。
【００６９】
図１０を参照して第２の実施例におけるＥｘｉｆ情報を用いた明度補正量決定処理について説明する。図１０は第２の実施例において実行されるＥｘｉｆ情報を用いた明度補正量決定処理の処理ルーチンを示すフローチャートである。なお、重複説明を省くため、フラッシュの判定処理以降を図示する。
【００７０】
ＣＰＵ２００は、Ｅｘｉｆ情報にフラッシュの発光が記述されていた場合には（ステップＳ２５０：Ｙｅｓ）、輝度値が算術輝度値未満であるか否か判定する（ステップＳ２５１０）。ＣＰＵ２００は、輝度値が算術輝度値以上であると判定した場合には（ステップＳ２５１０：Ｎｏ）、撮影画像は人物画像ではないと判定し、夜景非人物画像であると判定する（ステップＳ２６０）。一方、ＣＰＵ２００は、輝度値が算術輝度値未満であると判定した場合には（ステップＳ２５１：Ｙｅｓ）、被写体距離レンジとして近景が記述されているか否かを判定する（ステップＳ２５２０）。
【００７１】
算術輝度値は、画像データＧＤを解析することによって得られた輝度値であり、撮影時におけるストロボ発光後の画像輝度値である。一方、Ｅｘｉｆ情報に記述されている輝度値は、撮影時におけるストロボ発光前の被写体輝度値である。したがって、輝度値が算術輝度値未満である場合には、ストロボ発光と近距離に所在した被写体とに起因して輝度が高くなったと考えられ、人物を撮影した画像であると判断することができる。一方、輝度値が算術輝度値以上の場合には、ストロボ発光が撮影画像に影響を与えておらず、被写体は近距離に所在せず、風景を撮影した画像であると判断することができる。
【００７２】
ＣＰＵ２００は、被写体距離レンジが近景である場合には（ステップＳ２５２０：Ｙｅｓ）、撮影画像は人物画像であると判定し、肌色割合値が５％以上であるか否かを判定する（ステップＳ２５３０）。ＣＰＵ２００は、被写体距離レンジが近景意外である場合には（ステップＳ２５２０：Ｎｏ）、撮影画像は人物画像ではないと判定し、夜景非人物画像であると判定する（ステップＳ２６０）。
【００７３】
Ｅｘｉｆ情報に記述されている被写体距離レンジは、撮影時におけるディジタルスチルカメラ１０と被写体との大まかな距離レンジを示すパラメータであり、ディジタルスチルカメラ１０によって算出・決定される値である。一般的に、人物が被写体となる人物画像では被写体距離が近いので、被写体距離レンジに近景が記述されている場合には、撮影画像は人物画像であると判定することができる。
【００７４】
また、肌色割合値は、パーソナルコンピュータ２０において、画像データＧＤを解析する際に得られるパラメータであり、画像を構成する全画素に占める肌色画素の割合を示すパラメータである。一般的に、人物画像では肌色画素割合値が５％以上であるので、本実施例では５％を人物画像であるか否かの判定値として用いる。
【００７５】
ＣＰＵ２００は、肌色割合値が５％以上である場合には（ステップＳ２５３０：Ｙｅｓ）、撮影画像は人物画像であると判定し、最終的に撮影画像は夜景人物画像であると判定する（ステップＳ２３０）。一方、ＣＰＵ２００は、肌色割合値が５％未満ある場合には（ステップＳ２５３０：Ｎｏ）、撮影画像は人物画像ではないと判定し、夜景非人物画像であると判定する（ステップＳ２７０）。
【００７６】
以上説明したように、第２の実施例に従うＥｘｉｆ情報を用いた明度補正量決定処理によれば、撮影画像が夜景人物画像であるか否かをより正確に判定することができる。例えば、夜景条件下で人物を被写体として撮影したにもかかわらず、フラッシュが発光しなかった場合、さらに他の人物画像の判定に適したパラメータに基づき人物画像であるか否かを判定するので、撮影画像をより適切に判定することができる。
【００７７】
・その他の実施例：
上記実施例では、画像処理装置として、パーソナルコンピュータ２０を用いて画像処理を実行しているが、このほかにも、例えば、画像処理機能を備えるスタンドアローン型のプリンタを画像処理装置として用いてもよく、係る場合にはプリンタにおいて上記画像処理が実行される。また、画像処理装置等のハードウェア構成を伴うことなく、プリンタドライバ、画像処理アプリケーション（プログラム）としても実現され得る。
【００７８】
また、上記実施例では撮影情報ＳＩが画像データのヘッダに記述されている例を用いて説明したが、これら各情報ＳＩは画像データＧＤと一対一に対応付けられた他のデータファイルとして提供されても良い。
【００７９】
上記実施例では、Ｅｘｉｆ情報（撮影情報ＳＩ）を用いて撮影場面が夜景であったか否かを判定しているが、ディジタルスチルカメラ１０によって画像データＧＤに対して付与されまたは関連付けられる、画像処理装置における画像処理を指定する画像処理制御情報ＧＩを用いて撮影場面を判定しても良い。画像処理制御情報ＧＩには、より詳細な撮影場面を指定するパラメータが含まれ得る。
【００８０】
以上、実施例に基づき本発明に係る画像処理装置、画像処理方法および画像処理プログラムを説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【図面の簡単な説明】
【図１】第１の実施例に係る画像処理装置としてのパーソナルコンピュータを含む画像処理システムの一例を示す説明図である。
【図２】ディジタルスチルカメラにおける撮影モードの選択場面を示す説明図である。
【図３】Ｅｘｉｆ画像ファイルのファイル構成を模式的に示す説明図である。
【図４】第１の実施例において用いられ得るＥｘｉｆ画像フォーマットにおける撮影条件タグの概略的な内部構造を詳細に示す説明図である。
【図５】パーソナルコンピュータ２０において撮影画像が夜景画像であるか否かを判定する際に用いられる夜景シーン判定要素を示す説明図である。
【図６】パーソナルコンピュータ２０において撮影画像が人物画像であるか否かを判定する際に用いられる人物画像判定要素を示す説明図である。
【図７】第１の実施例におけるパーソナルコンピュータにて実行される画像処理の処理ルーチンを示すフローチャートである。
【図８】第１の実施例におけるパーソナルコンピュータにて実行される撮影条件ＳＩを用いた明度補正処理量決定処理ルーチンを示すフローチャートである。
【図９】画像データの各画素についての明度の入力レベルと出力レベルの関係を概念的に示すグラフである。
【図１０】第２の実施例において実行されるＥｘｉｆ情報を用いた明度補正量決定処理の処理ルーチンを示すフローチャートである。
【符号の説明】
１０…ディジタルスチルカメラ（ＤＳＣ）
１１…選択・決定ボタン
１２…液晶ディスプレイ
２０…パーソナルコンピュータ
２００…中央演算装置（ＣＰＵ）
２０１…リードオンリメモリ（ＲＯＭ）
２０２…ハードディスク（ＨＤＤ）
２０３…ランダムアクセスメモリ（ＲＡＭ）
２０４…カードスロット
２０５…入出力端子
２５…表示装置
３０…プリンタ
ＭＣ…メモリカード[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method for image data using shooting information at the time of shooting.
[0002]
[Prior art]
Various image processing techniques for image data generated by a digital still camera (DSC) or the like have been proposed and put into practical use. In these image processing techniques, image processing is performed on image data based on predetermined correction conditions such as contrast correction, brightness correction, and saturation correction selected by a user or on the basis of analysis of image data. An image processing result suitable for a scene (shooting scene) could not be obtained.
[0003]
On the other hand, at present, most of the image data generated by the DSC has shooting information indicating shooting conditions at the time of shooting described in a header portion thereof. Therefore, by using the shooting information described in the header part of the image data, the image processing apparatus can determine whether the shooting scene at the time of shooting is a dark shooting scene such as a night scene or a sunset scene, for example. Thus, image processing can be performed on the image data in accordance with the night view and the evening view (see Patent Document 1).
[0004]
[Patent Document 1]
Japanese Patent Application No. 2001-074671
[0005]
[Problems to be solved by the invention]
However, even when it is possible to determine that the shooting scene is a night scene or a sunset scene using the shooting information, conventionally, in the image processing of the night scene image, brightness correction such as uniformly brightening or darkening is performed. Therefore, an appropriate image processing result cannot be obtained depending on a shooting scene.
[0006]
The present invention has been made to solve the above-described problem, and has as its object to appropriately execute image processing on a person image having a dark background and a non-person image using photographing information.
[0007]
[Means for Solving the Problems and Functions / Effects]
In order to solve the above-described problems, a first aspect of the present invention provides an image processing device that performs image processing on an image. An image processing apparatus according to a first aspect of the present invention includes an image data acquiring unit that acquires image data that is data of the image, and a photographing information acquiring unit that acquires photographing information indicating a photographing condition at the time of photographing the image. And, the background brightness determination means for determining the brightness of the background at the time of shooting using the obtained shooting information, and when it is determined that the background brightness at the time of shooting is low, the background according to the obtained shooting information A brightness adjustment unit that performs image quality adjustment for increasing the brightness of the image data or image quality adjustment for reducing the brightness of the image data.
[0008]
According to the image processing device according to the first aspect of the present invention, the brightness of the background at the time of shooting is determined using the obtained shooting information, and when the background brightness at the time of shooting is determined to be low, the acquired brightness is determined. Since the image quality adjustment for increasing or decreasing the brightness of the image data is performed in accordance with the shooting information, the image processing for the person image having a dark background and the non-human image is appropriately performed using the shooting information. Can be.
[0009]
In the image processing apparatus according to the first aspect of the present invention, the shooting information includes at least one of information indicating a shooting scene at the time of shooting and a luminance value indicating a luminance of a subject at the time of shooting. The background lightness determining means may be configured such that when the information indicating the shooting scene indicates that it was a night scene or evening scene at the time of shooting, or when the brightness value is equal to or less than a predetermined value, the background lightness at the time of shooting is low. It may be determined. In such a case, it is determined whether or not the captured image has a dark background based on information indicating the shooting scene set by the photographer and at least one of the luminance of the subject at the time of shooting. It is possible to reliably determine whether the captured image has a dark background.
[0010]
In the image processing apparatus according to the first aspect of the present invention, the photographing information includes a setting value of an exposure program set at the time of photographing, and the brightness adjusting unit determines that the exposure program setting value is a person photographing value. In this case, image quality adjustment for increasing the brightness of the image data may be performed. In such a case, it is possible to more appropriately determine whether or not the captured image is a human image, and to clearly express the human image on a dark background by increasing the brightness in adjusting the image quality of the image data. Can be. In addition, a person image means an image in which a subject is close to the imaging device.
[0011]
In the image processing apparatus according to the first aspect of the present invention, the photographing information includes a flash value indicating whether or not a flash is emitted, and the brightness adjusting unit indicates that the flash value indicates that a flash is emitted. In this case, image quality adjustment for increasing the brightness of the image data may be executed. Under the shooting conditions of a night view, if there is flash emission, it can be appropriately determined that the shot image is a portrait image. In addition, by increasing the lightness in the image quality adjustment of the image data, a person image on a dark background can be clearly represented.
[0012]
In the image processing device according to the first aspect of the present invention, the shooting information includes a value of a subject distance range indicating a distance to a subject, and the brightness adjustment unit determines that the value of the subject distance range is When a near view is indicated, image quality adjustment for increasing the brightness of the image data may be performed. In such a case, since the subject is close, it can be appropriately determined that the captured image is a person image. In addition, by increasing the lightness in the image quality adjustment of the image data, a person image on a dark background can be clearly represented.
[0013]
The image processing device according to the first aspect of the present invention further includes a skin color pixel ratio value obtaining unit that analyzes the image data and obtains a ratio value of skin color pixels in the image data, wherein the brightness adjustment unit includes: When the ratio of the skin color pixels is 5% or more, image quality adjustment for increasing the brightness of the image data may be performed. In such a case, since the ratio of skin color pixels, which is a characteristic parameter in the human image, is used, it is possible to appropriately determine whether the captured image is a human image.
[0014]
In the image processing device according to the first aspect of the present invention, the photographing information further includes an exposure program setting value, and the brightness adjustment unit determines whether the exposure program setting value indicates a person photographing. The image quality may be adjusted to increase the brightness of the image data irrespective of the presence or absence of the strobe light, the subject distance range, or the ratio value of the skin color pixels. The exposure program setting value is a value arbitrarily set by the photographer, and appropriately represents a photographing condition at the time of photographing. Further, since the value indicates the photographing intention of the photographer, if the image processing is performed based on the exposure program set value, the image processing result according to the photographer's intention can be provided.
[0015]
In the image processing apparatus according to the first aspect of the present invention, the photographing information further includes a flash value indicating whether or not a strobe light is emitted, and the brightness adjusting unit determines that the exposure program setting value is a person photographing value. If the flash data indicates that the flash data is set or not set, and the flash value indicates that flash light is emitted, image quality adjustment for increasing the brightness of the image data may be performed. The exposure program setting value is a value arbitrarily set by the photographer, and is not necessarily set by all photographers. Therefore, by using the flash value in addition to the exposure program setting value to determine whether or not the captured image is a person image, more reliable person image determination can be performed.
[0016]
A second aspect of the present invention provides an image processing device that performs image processing on an image. An image processing apparatus according to a second aspect of the present invention includes: an image data acquiring unit that acquires image data that is data of the image; and a photographing information acquiring unit that acquires photographing information indicating a photographing condition at the time of photographing the image. A background lightness determining unit that determines the brightness of the background at the time of shooting using the obtained shooting information; and a person image is a shooting image corresponding to the obtained image data using the obtained shooting information. A human image determination unit that determines whether or not the background brightness at the time of shooting is low, and if it is determined that the image at the time of shooting is a human image, the brightness of the image data is And a brightness adjusting unit for performing image quality adjustment for increasing the image quality.
[0017]
According to the image processing apparatus according to the second aspect of the present invention, the brightness of the background at the time of shooting is determined using the shooting information, and the image at the time of shooting corresponding to the image data acquired using the shooting information is a human image Is determined, the background brightness at the time of shooting is determined to be low, and when the image at the time of shooting is determined to be a human image, the brightness of the image data is increased. , Image processing on a person image having a dark background can be appropriately executed.
[0018]
In the image processing device according to the second aspect of the present invention, the shooting information includes at least one of information indicating a shooting scene at the time of shooting and a brightness value indicating a luminance of a subject at the time of shooting. The background lightness determining means may be configured such that when the information indicating the shooting scene indicates that it was a night scene or evening scene at the time of shooting, or when the brightness value is equal to or less than a predetermined value, the background lightness at the time of shooting is low. It may be determined. In such a case, it is possible to more reliably determine whether the captured image has a dark background.
[0019]
In the image processing apparatus according to the second aspect of the present invention, the shooting information includes a setting value of an exposure program set at the time of shooting, a value indicating whether or not a flash is used, and a value of a subject distance range indicating a distance to the subject. And the person image determining means includes a value of an exposure program included in the shooting information, a value of presence / absence of strobe light emission, and a subject distance included in the shooting information. Based on the range value, it may be determined whether or not the image at the time of shooting is a human image. In such a case, it can be appropriately determined whether or not the captured image is a person image.
[0020]
In the image processing device according to the second aspect of the present invention, the brightness adjustment unit determines that the background brightness at the time of shooting is low, and determines that the image at the time of shooting is not a human image. Alternatively, image quality adjustment for lowering the brightness of the image data may be executed. In such a case, it is possible to appropriately execute image processing on a non-human image having a dark background using the shooting information.
[0021]
A third aspect of the present invention provides an image processing method for a person image having a dark background. An image processing method according to a third aspect of the present invention obtains image data that is data of the image, obtains shooting information indicating shooting conditions at the time of shooting the image, and uses the obtained shooting information. It is determined whether or not the image that has become the acquired image data is a person image having a dark background, and if it is determined that the image that has become the acquired image data is a person image having a dark background, And performing image quality adjustment for increasing the brightness of the image data in accordance with the acquired shooting information.
[0022]
According to the image processing method according to the third aspect of the present invention, it is possible to obtain the same functions and effects as those of the image processing apparatus according to the second aspect of the present invention.
[0023]
In the image processing method according to the third aspect of the present invention, the photographing information includes information indicating a photographing scene at the time of photographing, a set value of an exposure program set at the time of photographing, a value of presence or absence of strobe light, At least one of the luminance value of the subject, the value of the subject distance range indicating the distance to the subject, and the ratio value of the skin color pixels in the image, and whether the image is a person image having a dark background. The determination of whether
If the information indicating the shooting scene indicates that it was a night scene or evening scene at the time of shooting, or if the luminance value of the subject at the time of shooting is a predetermined value or less, it is determined that the background at the time of shooting was dark,
The acquisition is performed using at least one of the setting value of the exposure program, the value of the presence or absence of strobe light, the value of the subject distance range, and the ratio of the skin color pixels in the image included in the shooting information. It is characterized in that it includes determining whether or not the image that has become the image data is a person image. In such a case, it is possible to appropriately determine whether or not the image is a person image having a dark background.
[0024]
The image processing method according to the third aspect of the present invention further includes analyzing the image data to obtain a ratio value of flesh color pixels included in the image data, and obtaining the obtained image data as an image of a person. May be determined by reflecting the acquired skin color pixel ratio value in addition to the shooting information. In such a case, it can be more appropriately determined whether or not the captured image is a person image.
[0025]
The image processing apparatus according to the first and second aspects of the present invention, and the image processing method according to the third aspect of the present invention can also be implemented as an image processing program and a recording medium on which the image processing program is recorded. Can also be realized.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an image processing apparatus according to the present invention will be described based on some embodiments with reference to the drawings.
[0027]
A. Configuration of image processing system:
A configuration of an image processing system to which the image processing apparatus according to the first embodiment can be applied will be described with reference to FIGS. FIG. 1 is an explanatory diagram illustrating an example of an image processing system including a personal computer as an image processing apparatus according to the first embodiment. FIG. 2 is an explanatory view showing a scene in which a photographing mode is selected in the digital still camera.
[0028]
The image processing system is a digital still camera 10 as an input device that generates an image file, and an image processing device that executes image processing based on an image file generated by the digital still camera 10 and outputs print image data. And a color printer 30 as an output device that outputs an image using print image data. Note that the color printer 30 may have an image processing function provided in the personal computer PC, and in such a case, the image processing and image output can be executed in a stand-alone manner. Further, as the output device, in addition to the printer 30, a monitor 25 such as a CRT display and an LCD display, a projector, and the like can be used. In the following description, it is assumed that a color printer 30 used by being connected to the personal computer 20 is used as an output device.
[0029]
The personal computer 20 is a computer of a generally used type, and includes a CPU 200 that executes an image processing program according to the present invention, a RAM 201 that temporarily stores calculation results, image data, and the like in the CPU 200, and an image processing program. A hard disk drive (HDD) 202 for storing is provided. The personal computer 20 includes a card slot 203 for mounting a memory card MC, and an input / output terminal 204 for connecting a connection cable from the digital still camera 10 or the like.
[0030]
As shown in FIG. 2, the digital still camera 10 includes a selection / decision button 11 and a liquid crystal display 12 for previewing a captured image and executing selection / decision using the selection / decision button 11. I have. The selection / decision button 11 is used to set a shooting mode in which a plurality of shooting parameter values are set in advance according to shooting conditions such as a shutter speed, an exposure program, an ISO speed rate, and a shooting scene such as an evening scene, a night scene, and a portrait. Used for In the example shown in FIG. 2, the shooting scene type is set to night view.
[0031]
The digital still camera 10 is a camera that obtains an image by forming light information on a digital device (CCD or photomultiplier tube), and includes a CCD or the like for converting light information into electric information. A circuit, an image acquisition circuit for controlling the photoelectric conversion circuit to acquire an image, an image processing circuit for processing the acquired digital image, and the like. The digital still camera 10 stores the obtained image as digital data in a memory card MC as a storage device. As a storage format of image data in the digital still camera 10, a JPEG data format is generally used as an irreversible compression storage system, and a TIFF data format is generally used as a lossless compression storage system. In addition, a RAW data format, a GIF data format, A storage format such as a BMP data format may be used.
[0032]
The digital still camera 10 stores shooting information (Exif information) SI at the time of shooting an image (when generating image data) and the image data in the memory card MC in association with the image data GF. When the user selects a shooting scene type (shooting mode) suitable for shooting conditions such as a person, a night scene, and a sunset scene, the selected shooting scene type is associated with image data as shooting information SI and set. The parameter values of a plurality of shooting condition parameters such as setting values of an exposure program (for example, portrait mode, exposure priority, shutter priority, landscape mode), subject distance range, subject brightness value, and flash indicating strobe light emission state The data is stored in the memory card MC in association with the data.
[0033]
The image file GF generated by the digital still camera 10 is sent to the color printer 30 via the cable CV, the computer 20, or via the cable CV, for example. Alternatively, the memory card MC storing the image file GF in the digital still camera 10 is connected via the computer 20 mounted in the memory card slot or directly to the printer 30. Thus, the image file is sent to the color printer 30. In the following description, a case will be described where image processing is performed on the image data GD using the shooting information SI by the personal computer 20 and the processed image data is output to the color printer 30.
[0034]
The color printer 30 is a printer capable of outputting a color image. For example, the color printer 30 ejects four color inks of cyan (C), magenta (M), yellow (Y), and black (K) onto a print medium. This is an ink jet printer that forms an image by forming a dot pattern. Alternatively, it is an electrophotographic printer that forms an image by transferring and fixing a color toner on a print medium. As the color ink, in addition to the above four colors, light cyan (light cyan, LC), light magenta (light magenta, LM), and dark yellow (dark yellow, DY) may be used.
[0035]
B. Structure of image file:
The image file GF according to the present embodiment has, for example, a file structure (Exif file) conforming to the Exif format proposed by the Japan Electronics and Information Technology Industries Association (JEITA) as a standard for an image file format for digital still cameras, and C-Cube Microsystems. , Xing Technology, and Digital Origin (Radius), a file structure (JFIF file) conforming to the JFIF format, which is a standard for compatibility of JPEG data files, and parameters relating to image data in a tag format. A file structure (TIFF file) according to the TIFF format specified by the user can be provided. The Exif file can be classified into a JPEG-Exif file that stores JPEG image data of a lossy compression type and a TIFF-Exif file that stores TIFF image data of a lossless compression type, depending on the type of image data to be stored.
[0036]
A schematic configuration of an Exif image file as a JPEG data storage file that can be used in the present embodiment will be described with reference to FIGS. FIG. 3 is an explanatory diagram schematically showing the file configuration of the Exif image file. FIG. 4 is an explanatory diagram showing in detail the schematic internal structure of the shooting condition tag in the Exif image format that can be used in the present embodiment. FIG. 5 is an explanatory diagram showing a night scene scene determination element used when the personal computer 20 determines whether or not the captured image is a night scene image. FIG. 6 is an explanatory diagram showing a person image determination element used when the personal computer 20 determines whether or not the captured image is a person image. Note that terms such as file structure, data structure, and storage area in this embodiment mean an image of a file or data in a state where the file or data is stored in the storage device.
[0037]
The image file GF includes JPEG image data GD and an application / marker segment APP that stores information attached to the JPEG image data GD. In the application marker segment APP (IFD), a tag is used to specify each piece of information, and each piece of information may be called by a tag name. The application / marker segment APP shown in FIG. 3 includes a tag (area) for storing image processing control information GI, a tag (area) for storing Exif information, and thumbnail image data.
[0038]
The Exif information includes a tag for storing user information, a tag for storing shooting conditions, and the like. As the user information tag, a Makernote tag that can be used arbitrarily by an Exif file user (for example, a DSC maker) is prepared, and the image processing control information GI may be described in the Makernote tag. As shown in FIG. 4, the shooting condition tag describes values of various parameters relating to shooting conditions such as an exposure program and a shooting scene type.
[0039]
C. Image processing in personal computer 20:
The image processing executed in the personal computer 20 will be described with reference to FIGS. FIG. 7 is a flowchart showing a processing routine of image processing executed by the personal computer in the first embodiment. FIG. 8 is a flowchart showing a brightness correction processing amount determination processing routine using the photographing conditions SI executed by the personal computer in the first embodiment. FIG. 9 is a graph conceptually showing the relationship between the brightness input level and output level for each pixel of the image data.
[0040]
The personal computer 20 (CPU 200) starts the image processing program when the memory card MC is inserted into the slot 203 or when the connection cable CV connected to the digital still camera 10 is connected to the input / output terminal 204. I do. The CPU 200 acquires (reads) the image file GF from the memory card MC in accordance with a user's instruction, and temporarily stores the acquired image file GF in the RAM 201 (step S100).
[0041]
CPU 200 determines whether or not Exif information (photographing information SI) is included in image file GF (step S110). When the Exif information can be found (detected) from the image file GF (Step S110: Yes), the CPU 200 acquires the Exif information (Step S120), and performs the expansion of the image data GD and the color conversion processing. Execute (Step S130).
[0042]
The CPU 200 expands the image data GD, includes a matrix operation using the matrix S on the expanded image data GD, a gamma correction using a gamma correction value specified by the image processing control information GI, and a matrix M. Matrix N ^-1 A matrix operation using M is executed to execute a YCbCr → wRGB color conversion process.
[0043]
The image file GF processed in this flowchart stores JPEG image data, and the JPEG data is data obtained by compressing YCbCr data. Further, RGB data is generally used in image processing in personal computers PCs and printers at present. Therefore, expansion (decoding) of JPEG data and color conversion processing of YCbCr data to RGB data are required. The matrix S is a matrix that is generally used when converting YCbCr data into RGB data in the JFIF standard, and is a matrix that is well known to those skilled in the art. In the color conversion, a gamma correction process is performed to linearize the relationship with the XYZ values, and the image data GD is linearized.
[0044]
In this embodiment, in addition to a general YCbCr → RGB color conversion process using the matrix S, a matrix N including a matrix M taking into account the color reproduction characteristics of the color printer 30 ^-1 The RGB to wRGB color conversion process is executed using M. The matrix M is a matrix for converting a color space from an RGB color space (target color space) defining (designating) RGB data after execution of the matrix S operation to an XYZ color space which is a device independent color space. If the RGB data after execution of the matrix S operation has an RGB value exceeding the color gamut of the sRGB color space, the RGB data after execution of the matrix S operation is, for example, at least part of the color space of the sRGB color space. By specifying a wRGB color space having a wide color gamut, it is possible to prevent loss of RGB values and to connect to a later wide wRGB color space (working color space). The matrix N is a matrix for converting a color space allowed by the color printer 30 from an RGB color space, for example, a wRGB color space to an XYZ color space. Matrix N ^-1 M is a synthesis matrix for executing RGB → XYZ → wRGB color conversion processing.
[0045]
Subsequently, the CPU 200 executes image type processing for brightness correction using Exif information on the image data converted into the RGB data (step S140). The process of determining the brightness correction amount using the Exif information will be described with reference to FIG.
[0046]
In the present embodiment, Exif information (shooting information SI) is used to execute appropriate brightness correction on each of a human image and a non-human image (landscape image) in a shooting scene with a dark image background such as a night scene or a sunset scene.
[0047]
CPU 200 determines whether or not the shooting scene type stored as Exif information is set to a night scene (whether the shot image is a night scene image) (step S200). If it is determined that the luminance value is present (Step S200: No), it is determined whether or not the luminance value stored as the Exif information is −2 or less (Step S210). If the CPU 200 determines that the luminance value is larger than −2 (step S210: No), the CPU 200 ends the present processing routine and returns to the processing routine of FIG.
[0048]
The photographing scene type is a photographing condition parameter intentionally set by the photographer, and is a parameter that can easily and reliably determine that the photographing condition is a night scene. Therefore, in the present embodiment, as described above, the shooting scene type is used as a determination element for determining whether or not the shooting condition is a night view. On the other hand, it is also expected that shooting is performed without setting the shooting scene type, that is, in a night view or a dark background while being set to the standard. Therefore, regardless of the intention of the photographer, it is determined whether or not the shooting scene is a dark scene using a luminance value indicating the luminance of the subject at the time of shooting, and the determination accuracy for the shooting scene is improved. Since the luminance value described in the Exif information indicates the luminance of the subject before the flash emission, the brightness of the shooting scene can be determined without considering the luminance change due to the flash emission. In the present embodiment, the night view image is used to mean not only a night view and a sunset view, but also a dark shooting scene such as an indoor scene with dark lighting and a shooting scene dark due to shadows.
[0049]
If the CPU 200 determines that the shooting scene type is set to the night scene (the shooting image is a night scene image) (step S200: Yes), the CPU 200 determines whether the parameter value of the exposure program stored as Exif information is It is determined whether or not the rate is set (step S220). Even if the CPU 200 determines in step S210 that the luminance value is −2 or less (step S210: Yes), the CPU 200 determines whether the parameter value of the exposure program stored as Exif information is set to portrait. Is determined (step S220).
[0050]
The exposure program is a photographing condition parameter that is intentionally set by the photographer, and is a parameter that can easily and reliably determine that the subject is a person. Therefore, in the present embodiment, as described above, the exposure program is used as one of the elements for determining whether or not the captured image is a person. Note that the term “person image” in the present embodiment does not necessarily mean that the subject is a person, but means an image centered on a subject located close to the digital still camera 10 with respect to the background. I do.
[0051]
If the CPU 200 determines that the value of the exposure program is set to portrait (step S220: Yes), the image that has become the image data GD to be processed, that is, the image at the time of shooting corresponding to the image data GD Is determined to be a night view person image (step S230). That is, in the present embodiment, it is determined that the photographed image is a night scene portrait image based on the fact that the value of the photographing scene type is set to the night scene and the value of the exposure program is set to the portrait.
[0052]
The CPU 200 that has determined that the captured image is a night view portrait image determines a positive brightness correction amount to increase (brighten) the brightness of the image data GD (step S240), and terminates the processing routine of FIG. The process returns to the image processing routine shown in FIG. When the captured image is a night view portrait image, by executing a correction to increase the brightness on the image data GD, an output image in which the person is clearly represented can be obtained. The correction amount is used. Such an output image conforms to the photographer's intention to photograph a person, and can execute image processing (brightness correction) that satisfies the photographer.
[0053]
If the CPU 200 determines that the value of the exposure program is not set to the portrait (step S220: No), the CPU 200 determines whether or not the flash parameter value stored as the Exif information describes flash emission. Is determined (step S250). The exposure program is not always set by the photographer even if the subject is a person. Therefore, by using the parameter values of the flash, it is repeatedly determined whether or not the photographed image is a person image. Here, the use of the flash parameters for the determination of a person image is usually performed when a person is photographed under a night view condition, and a flash is emitted, and when a night scenery is photographed, it is usually intentional. This is because strobe light emission is prohibited.
[0054]
When the flash emission is described in the Exif information (step S250: Yes), the CPU 200 determines that the captured image is a night scene portrait image (step S230), and sets the brightness correction amount to positive (step S230). (Step S240), and returns from the present processing routine to the processing routine shown in FIG.
[0055]
If the flash emission is not described in the Exif information (step S250: No), the CPU 200 determines that the captured image is a night scene non-person image (step S260), and sets the brightness correction amount to negative. (Step S270), and the process returns from the present processing routine to the processing routine shown in FIG.
[0056]
If the captured image is a night scene non-person image, that is, a night scene scenery, by executing a correction for lowering the brightness on the image data GD, an output image that illuminates and the like or an output image that does not impair the depiction of a dark scenery Therefore, the brightness correction amount is set to the minus value brightness correction amount. Such an output image conforms to the photographer's intention to photograph a night scenery, and can execute image processing (brightness correction) that satisfies the photographer.
[0057]
Returning to FIG. 7, when the CPU 200 completes the brightness correction processing amount determination processing for the image data GD, the CPU 200 executes image processing using the Exif information and the reference value (step S150). The image processing using the Exif information and the reference value will be described in detail. The CPU 200 analyzes the image data GD on a pixel-by-pixel basis, and various characteristic parameter values indicating the characteristics of the image data GD, for example, a minimum luminance value and a minimum luminance value. The image statistics such as the maximum value and the representative value of the brightness are acquired. The CPU 200 obtains a correction amount so as to eliminate or reduce a difference between a predetermined reference value for each characteristic parameter stored in the HDD 202 and an image statistical value obtained by the analysis, and obtains a correction amount of the image data GD. Correct the RGB values. The correction of the image data GD is performed by, for example, applying the obtained correction value to a tone curve that defines the relationship between the input value and the output value to correct the correction, and applying the image data GD to the tone curve as the input value. Be executed.
[0058]
Here, a method of lightness correction will be briefly described. The brightness reference value Bstd as a reference for brightness correction is, for example, 8-bit information that can take a value of 0 to 255, and its standard value is set to 128. The brightness reference value Bstd is corrected by applying the determined brightness correction amount to the standard value. That is, Bstd = 128 + lightness correction amount. For example, when the lightness correction amount is set to +20, the lightness reference value Bstd is 128 + 20 = 148. On the other hand, when the brightness correction amount is set to −10, the brightness reference value Bstd is 128−10 = 118.
[0059]
The correction for bringing the brightness value of the image data GD closer to the reference value is executed based on the following equation.
[0060]
(Equation 1)

[0061]
The relationship between the input level and the output level used when executing the correction for bringing the brightness value of the image data GD closer to the reference value will be described with reference to FIG. When the brightness correction amount is a positive value and the correction for increasing the brightness is executed, for example, the output levels OL1 and OL2 are raised in accordance with the correction level at a point of 1/4 of the input level. On the other hand, when the lightness correction amount is a negative value and the correction for darkening the lightness is executed, for example, the output level OL3 is lowered according to the correction level at a point of ／ of the input level. Values excluding the point corresponding to the correction level are interpolated by a spline curve.
[0062]
Alternatively, the brightness correction level Brev may be directly increased or decreased without correcting the brightness reference value Bstd. For example, when the brightness correction amount is set to 10, the brightness correction level Brev = 10 + the brightness reference value Bstd. If the brightness reference value Bstd = 10, a brightness correction level Brev = 20 is obtained as a result. This value is used for correcting the tone curve for determining the output level of the brightness value of the image data GD with respect to the input level, and the brightness value of each pixel of the image data GD is corrected as described above. The brightness of the image data GD is adjusted.
[0063]
The CPU 200 executes a color conversion process for converting image data (RGB data) subjected to the image quality adjustment process into CMYK data. That is, the color system of the image data is converted into the CMYK color system which is the color system used when the color printer 20 executes the printing process. More specifically, the processing is performed using a look-up table stored in the HDD 202 (ROM) in which the RGB color system and the CMYK color system are associated with each other.
[0064]
CPU 200 outputs the processed image data to the printer driver (step S160), and ends this processing routine. The printer driver performs a halftone process and a resolution conversion process, and outputs the data to the color printer 30 as raster data for printing.
[0065]
On the other hand, when the Exif information cannot be detected from the image file GF (Step S110: No), the CPU 200 executes the normal image processing according to the image processing conditions prepared in advance (Step S170). The processed image data is output to the printer driver (step S160), and this processing routine ends. It goes without saying that also in the normal image processing, the image processing using the reference value can be executed.
[0066]
As described above, according to the personal computer 20 as the image processing apparatus according to the first embodiment, the photographed image can be converted into a night scene person image (a person image in a dark photographing scene) using Exif information (shooting information SI). ), And if it is determined that the image is a night scene portrait image, a correction to increase the brightness (increase the brightness) of the image data GD can be executed. On the other hand, when it is determined that the image is a night view non-person image, correction for lowering (darkening) the brightness of the image data GD can be executed. Therefore, in the case of a night scene portrait image, an output image in which a person (subject) is clearly shown can be obtained. Can be obtained. Further, these output images are in line with the photographing intention of the photographer, and can perform image processing without impairing the photographing intention of the photographer.
[0067]
Further, according to the personal computer 20 according to the first embodiment, it is determined whether or not the photographed image is a night scene portrait image based on the Exif information indicating the photographing condition. Can be determined. Further, at the time of image processing in the personal computer 20, it is possible to execute appropriate image processing on a night view person image and a night view non-person image without a user designating a parameter or the like.
[0068]
-2nd Example:
In the first embodiment, the determination of whether or not the image is a night scene person image has been completed by determining the parameter value of the flash. However, in the second embodiment, the luminance value, the subject distance range, the skin color ratio value Is used to further increase the determination accuracy. Since the personal computer according to the second embodiment has the same configuration as the personal computer 20 according to the first embodiment, the same components are denoted by the same reference numerals and description thereof will be omitted.
[0069]
The brightness correction amount determination processing using Exif information in the second embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing a processing routine of a brightness correction amount determination process using Exif information executed in the second embodiment. In addition, in order to omit redundant description, the flash determination processing and subsequent steps are illustrated.
[0070]
When the flash emission is described in the Exif information (Step S250: Yes), the CPU 200 determines whether or not the luminance value is less than the arithmetic luminance value (Step S2510). When determining that the luminance value is equal to or greater than the arithmetic luminance value (Step S2510: No), CPU 200 determines that the captured image is not a portrait image and determines that it is a night scene non-person image (Step S260). On the other hand, when determining that the luminance value is less than the arithmetic luminance value (step S251: Yes), the CPU 200 determines whether a foreground is described as the subject distance range (step S2520).
[0071]
The arithmetic luminance value is a luminance value obtained by analyzing the image data GD, and is an image luminance value after flash emission at the time of photographing. On the other hand, the brightness value described in the Exif information is the subject brightness value before flash emission at the time of shooting. Therefore, when the luminance value is less than the arithmetic luminance value, it is considered that the luminance has increased due to the strobe light emission and the subject located at a short distance, and it can be determined that the image is a photograph of a person. . On the other hand, when the luminance value is equal to or greater than the arithmetic luminance value, it can be determined that the flash emission does not affect the captured image, the subject is not located at a short distance, and the image is a landscape image.
[0072]
When the subject distance range is the near view (step S2520: Yes), CPU 200 determines that the captured image is a human image and determines whether or not the skin color ratio value is 5% or more (step S2530). . When the subject distance range is other than the foreground view (Step S2520: No), CPU 200 determines that the captured image is not a portrait image and determines that it is a night view non-portrait image (Step S260).
[0073]
The subject distance range described in the Exif information is a parameter indicating a rough distance range between the digital still camera 10 and the subject at the time of shooting, and is a value calculated and determined by the digital still camera 10. In general, a subject image in which a person is a subject has a short subject distance, and therefore, when a close-up view is described in the subject distance range, the captured image can be determined to be a human image.
[0074]
The skin color ratio value is a parameter obtained when the personal computer 20 analyzes the image data GD, and is a parameter indicating the ratio of the skin color pixels to all the pixels forming the image. Generally, in a person image, the skin color pixel ratio value is 5% or more, and therefore, in this embodiment, 5% is used as a determination value of whether or not a person image.
[0075]
When the skin color ratio value is 5% or more (Step S2530: Yes), CPU 200 determines that the captured image is a portrait image, and finally determines that the captured image is a nightscape portrait image (Step S230). ). On the other hand, when the skin color ratio value is less than 5% (Step S2530: No), CPU 200 determines that the captured image is not a portrait image and determines that it is a night scene non-person image (Step S270).
[0076]
As described above, according to the brightness correction amount determination processing using Exif information according to the second embodiment, it is possible to more accurately determine whether or not a captured image is a night scene portrait image. For example, in the case where the flash did not fire even though a person was photographed as a subject under night view conditions, it is further determined whether or not the image is a person image based on parameters suitable for determining other person images. The captured image can be determined more appropriately.
[0077]
-Other examples:
In the above embodiment, image processing is performed using the personal computer 20 as an image processing apparatus. However, in addition to this, for example, a stand-alone printer having an image processing function may be used as the image processing apparatus. Often, in such a case, the image processing is executed in the printer. Further, it can be realized as a printer driver or an image processing application (program) without involving a hardware configuration such as an image processing apparatus.
[0078]
Further, in the above embodiment, the example in which the photographing information SI is described in the header of the image data has been described. However, each of these information SIs is provided as another data file that is associated with the image data GD on a one-to-one basis. May be.
[0079]
In the above embodiment, whether or not the shooting scene is a night scene is determined using Exif information (shooting information SI). However, the image processing apparatus which is added to or associated with the image data GD by the digital still camera 10 is used. The shooting scene may be determined using the image processing control information GI that specifies the image processing in. The image processing control information GI may include a parameter for specifying a more detailed shooting scene.
[0080]
As described above, the image processing apparatus, the image processing method, and the image processing program according to the present invention have been described based on the embodiments. However, the above-described embodiments of the present invention are for facilitating understanding of the present invention. It is not intended to limit the invention. The present invention can be modified and improved without departing from the spirit and scope of the claims, and it is needless to say that the present invention includes equivalents thereof.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram illustrating an example of an image processing system including a personal computer as an image processing apparatus according to a first embodiment.
FIG. 2 is an explanatory diagram showing a scene where a photographing mode is selected in a digital still camera.
FIG. 3 is an explanatory diagram schematically showing a file configuration of an Exif image file.
FIG. 4 is an explanatory diagram showing in detail a schematic internal structure of a shooting condition tag in an Exif image format that can be used in the first embodiment.
FIG. 5 is an explanatory diagram showing night scene scene determination elements used when the personal computer 20 determines whether or not a captured image is a night scene image.
FIG. 6 is an explanatory diagram showing a person image determination element used when the personal computer 20 determines whether or not a captured image is a person image.
FIG. 7 is a flowchart illustrating a processing routine of image processing executed by the personal computer in the first embodiment.
FIG. 8 is a flowchart showing a lightness correction processing amount determination processing routine using a shooting condition SI executed by the personal computer in the first embodiment.
FIG. 9 is a graph conceptually showing a relationship between a lightness input level and an output level for each pixel of image data.
FIG. 10 is a flowchart illustrating a processing routine of a brightness correction amount determination process using Exif information executed in the second embodiment.
[Explanation of symbols]
10. Digital still camera (DSC)
11… Select / Enter button
12 ... Liquid crystal display
20 Personal computer
200: Central processing unit (CPU)
201: Read only memory (ROM)
202: Hard disk (HDD)
203: random access memory (RAM)
204 ... Card slot
205 ... input / output terminal
25 Display device
30 ... Printer
MC: Memory card

Claims (15)

画像に対する画像処理を実行する画像処理装置であって、
前記画像のデータである画像データを取得する画像データ取得手段と、
前記画像の撮影時における撮影条件を示す撮影情報を取得する撮影情報取得手段と、
前記取得した撮影情報を用いて撮影時における背景の明度を判定する背景明度判定手段と、
前記撮影時の背景明度が低いと判定された場合には、前記取得した撮影情報に応じて前記画像データの明度を高くする画質調整または低くする画質調整を実行する明度調整手段とを備える画像処理装置。An image processing apparatus that performs image processing on an image,
Image data acquisition means for acquiring image data that is data of the image,
Shooting information obtaining means for obtaining shooting information indicating shooting conditions at the time of shooting the image,
Background lightness determining means for determining the lightness of the background at the time of shooting using the obtained shooting information,
Image processing comprising: a brightness adjustment unit that performs image quality adjustment to increase or decrease image brightness of the image data according to the acquired imaging information, when it is determined that the background brightness at the time of imaging is low. apparatus. 請求項１に記載の画像処理装置において、
前記撮影情報には、撮影時の撮影場面を示す情報および撮影時における被写体の輝度を示す輝度値の少なくともいずれか一方が含まれており、
前記背景明度判定手段は、前記撮影場面を示す情報が撮影時に夜景または夕景であったことを示す場合、または、前記輝度値が所定値以下の場合には、前記撮影時の背景明度が低いと判定する画像処理装置。The image processing apparatus according to claim 1,
The shooting information includes at least one of information indicating a shooting scene at the time of shooting and a brightness value indicating the brightness of the subject at the time of shooting,
The background lightness determining means may be configured such that when the information indicating the shooting scene indicates that it was a night scene or evening scene at the time of shooting, or when the brightness value is equal to or less than a predetermined value, the background lightness at the time of shooting is low. Image processing device to determine. 請求項２に記載の画像処理装置において、
前記撮影情報には、撮影時に設定された露出プログラムの設定値が含まれており、
前記明度調整手段は、前記露出プログラム設定値が人物撮影を示す場合には、前記画像データの明度を高くする画質調整を実行する画像処理装置。The image processing device according to claim 2,
The shooting information includes a setting value of an exposure program set at the time of shooting,
The image processing apparatus, wherein when the exposure program set value indicates a person photographing, the brightness adjustment unit performs image quality adjustment for increasing the brightness of the image data. 請求項２に記載の画像処理装置において、
前記撮影情報には、ストロボの発光の有無を示すフラッシュ値が含まれており、
前記明度調整手段は、前記フラッシュ値がストロボ発光有りを示す場合には、前記画像データの明度を高くする画質調整を実行する画像処理装置。The image processing device according to claim 2,
The photographing information includes a flash value indicating whether or not a flash light is emitted,
The image processing device, wherein when the flash value indicates that flash light is emitted, the brightness adjustment unit performs image quality adjustment to increase the brightness of the image data. 請求項２に記載の画像処理装置において、
前記撮影情報には、被写体との距離を示す被写体距離レンジの値が含まれており、
前記明度調整手段は、前記被写体距離レンジの値が近景を示す場合には、前記画像データの明度を高くする画質調整を実行する画像処理装置。The image processing device according to claim 2,
The shooting information includes a value of a subject distance range indicating a distance to the subject,
The image processing apparatus, wherein when the value of the subject distance range indicates a close-up view, the brightness adjustment unit performs image quality adjustment to increase the brightness of the image data. 請求項２に記載の画像処理装置はさらに、
前記画像データを解析して前記画像データ中の肌色画素の割合値を取得する肌色画素割合値取得手段を備え、
前記明度調整手段は、前記肌色画素の割合値が５％以上の場合には、前記画像データの明度を高くする画質調整を実行する画像処理装置。The image processing device according to claim 2 further includes:
A skin color pixel ratio value acquisition unit that analyzes the image data and obtains a ratio value of skin color pixels in the image data,
The image processing device, wherein the lightness adjusting means performs image quality adjustment for increasing the lightness of the image data when the skin color pixel ratio value is 5% or more. 請求項４ないし請求項６のいずれかに記載の画像処理装置において、
前記撮影情報にはさらに、露出プログラム設定値が含まれており、
前記明度調整手段は、前記露出プログラム設定値が人物撮影を示す場合には、前記ストロボ発光の有無、前記被写体距離レンジまたは前記肌色画素の割合値にかかわらず、前記画像データの明度を高くする画質調整を実行する画像処理装置。The image processing apparatus according to any one of claims 4 to 6,
The shooting information further includes an exposure program setting value,
The brightness adjusting means increases the brightness of the image data irrespective of the presence or absence of the strobe light, the subject distance range, or the ratio value of the skin color pixel when the exposure program setting value indicates a person photographing. An image processing device that performs adjustment. 請求項３に記載の画像処理装置において、
前記撮影情報にはさらに、ストロボュの発光の有無を示すフラッシュ値が含まれており、
前記明度調整手段は、前記露出プログラム設定値が人物撮影以外に設定されまたは未設定を示し、且つ、前記フラッシュ値がストロボ発光有りを示す場合には、前記画像データの明度を高くする画質調整を実行する画像処理装置。The image processing device according to claim 3,
The photographing information further includes a flash value indicating whether or not the strobe light is emitted,
The brightness adjustment unit performs image quality adjustment to increase the brightness of the image data when the exposure program setting value is set or not set to other than person photographing, and when the flash value indicates that flash light is emitted. Image processing device to execute. 画像に対する画像処理を実行する画像処理装置であって、
前記画像のデータである画像データを取得する画像データ取得手段と、
前記画像の撮影時における撮影条件を示す撮影情報を取得する撮影情報取得手段と、
前記取得した撮影情報を用いて撮影時における背景の明度を判定する背景明度判定手段と、
前記取得した撮影情報を用いて前記取得した画像データに対応する撮影時の画像が人物画像であるか否かを判定する人物画像判定手段と、
前記撮影時の背景明度が低いと判定されると共に、前記撮影時の画像が人物画像であると判定された場合には、前記画像データの明度を高くする画質調整を実行する明度調整手段とを備える画像処理装置。An image processing apparatus that performs image processing on an image,
Image data acquisition means for acquiring image data that is data of the image,
Shooting information obtaining means for obtaining shooting information indicating shooting conditions at the time of shooting the image,
Background lightness determining means for determining the lightness of the background at the time of shooting using the obtained shooting information,
A person image determining unit that determines whether an image at the time of shooting corresponding to the obtained image data is a person image using the obtained shooting information,
When the background brightness at the time of shooting is determined to be low, and when the image at the time of shooting is determined to be a human image, brightness adjustment means for performing image quality adjustment to increase the brightness of the image data is provided. Image processing device provided. 請求項９に記載の画像処理装置において、
前記撮影情報には、撮影時の撮影場面を示す情報および撮影時における被写体の輝度を示す輝度値の少なくともいずれか一方が含まれており、
前記背景明度判定手段は、前記撮影場面を示す情報が撮影時に夜景または夕景であったことを示す場合、または、前記輝度値が所定値以下の場合には、前記撮影時の背景明度が低いと判定する画像処理装置The image processing apparatus according to claim 9,
The shooting information includes at least one of information indicating a shooting scene at the time of shooting and a brightness value indicating the brightness of the subject at the time of shooting,
The background lightness determining means may be configured such that when the information indicating the shooting scene indicates that it was a night scene or evening scene at the time of shooting, or when the brightness value is equal to or less than a predetermined value, the background lightness at the time of shooting is low. Image processing device to determine 請求項９または請求項１０に記載の画像処理装置において、
前記撮影情報には、撮影時に設定された露出プログラムの設定値、ストロボ発光の有無の値、および被写体との距離を示す被写体距離レンジの値の少なくともいずれか１つが含まれており、
前記人物画像判定手段は、前記撮影情報に含まれている、前記撮影情報に含まれている露出プログラムの値、ストロボ発光の有無の値、輝度値および被写体距離レンジの値に基づいて、前記撮影時の画像が人物画像であるか否かを判定する画像処理装置。In the image processing device according to claim 9 or 10,
The shooting information includes at least one of a setting value of an exposure program set at the time of shooting, a value of whether or not a flash is fired, and a value of a subject distance range indicating a distance to the subject.
The person image determination unit performs the shooting based on a value of an exposure program, a value of presence or absence of strobe light, a brightness value, and a value of a subject distance range included in the shooting information. An image processing device that determines whether or not the image at the time is a person image. 請求項９に記載の画像処理装置において、
前記明度調整手段は、前記撮影時の背景明度が低いと判定されると共に、前記撮影時の画像が人物画像でないと判定された場合には、前記画像データの明度を低くする画質調整を実行する画像処理装置。The image processing apparatus according to claim 9,
The brightness adjuster executes image quality adjustment to reduce the brightness of the image data when it is determined that the background brightness at the time of shooting is low, and when it is determined that the image at the time of shooting is not a human image. Image processing device. 暗い背景を有する人物画像に対する画像処理方法であって、
前記画像のデータである画像データを取得し、
前記画像の撮影時における撮影条件を示す撮影情報を取得し、
前記取得した撮影情報を用いて、前記取得した画像データとなった画像が暗い背景を有する人物画像であるか否かを判定し、
前記取得した画像データとなった画像が暗い背景を有する人物画像であると判定した場合には、前記取得した撮影情報に応じて前記画像データの明度を高くする画質調整を実行する画像処理方法。An image processing method for a person image having a dark background,
Obtaining image data which is data of the image,
Obtaining shooting information indicating shooting conditions at the time of shooting the image,
Using the obtained shooting information, determine whether the image that has become the obtained image data is a person image having a dark background,
An image processing method for performing image quality adjustment to increase the brightness of the image data in accordance with the acquired shooting information, when it is determined that the acquired image data is a human image having a dark background. 請求項１３に記載の画像処理方法において、
前記撮影情報には、撮影時の撮影場面を示す情報、並びに撮影時に設定された露出プログラムの設定値、ストロボ発光の有無の値、撮影時における被写体の輝度値および被写体との距離を示す被写体距離レンジの値の少なくともいずれか１つが含まれており、
前記画像が暗い背景を有する人物画像であるか否かの判定は、さらに、
前記撮影場面を示す情報が撮影時に夜景または夕景であったことを示す場合または前記輝度値が所定値以下の場合には、撮影時における背景は暗かったと判定し、
前記撮影情報に含まれている、前記露出プログラムの設定値、ストロボ発光の有無の値、および前記被写体距離レンジの値の少なくともいずれか１つを用いて前記取得した画像データとなった画像が人物画像であるか否かを判定することを含む画像処理方法。The image processing method according to claim 13,
The shooting information includes information indicating a shooting scene at the time of shooting, a setting value of an exposure program set at the time of shooting, a value of whether or not strobe light is emitted, a subject brightness value at shooting, and a subject distance indicating a distance to the subject. Contains at least one of the range values,
The determination as to whether the image is a person image having a dark background,
If the information indicating the shooting scene indicates that it was a night scene or evening scene at the time of shooting, or if the luminance value is equal to or less than a predetermined value, it is determined that the background at the time of shooting was dark,
The image that is the acquired image data using at least one of the setting value of the exposure program, the value of the presence or absence of strobe light emission, and the value of the subject distance range included in the shooting information is a person. An image processing method including determining whether the image is an image. 請求項１４に記載の画像処理方法はさらに、
前記画像データを解析して前記画像データ中に含まれる肌色画素の割合値を取得し、
前記取得した画像データとなった画像が人物画像であるか否かの判定は、前記撮影情報に加えて、前記取得した肌色画素の割合値を反映して行われる画像処理方法。The image processing method according to claim 14, further comprising:
Analyzing the image data to obtain a ratio value of flesh color pixels included in the image data,
An image processing method in which the determination as to whether or not the acquired image data is a human image is performed by reflecting the acquired ratio of skin color pixels in addition to the photographing information.

Images