JP4780104B2 - 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 Download PDF

Info

Publication number
JP4780104B2
JP4780104B2 JP2007518967A JP2007518967A JP4780104B2 JP 4780104 B2 JP4780104 B2 JP 4780104B2 JP 2007518967 A JP2007518967 A JP 2007518967A JP 2007518967 A JP2007518967 A JP 2007518967A JP 4780104 B2 JP4780104 B2 JP 4780104B2
Authority
JP
Japan
Prior art keywords
scene
image
face area
value
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007518967A
Other languages
English (en)
Other versions
JPWO2006129601A1 (ja
Inventor
英康 国場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007518967A priority Critical patent/JP4780104B2/ja
Publication of JPWO2006129601A1 publication Critical patent/JPWO2006129601A1/ja
Application granted granted Critical
Publication of JP4780104B2 publication Critical patent/JP4780104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像を画像処理する画像処理装置、画像処理方法、画像処理プログラム製品、および画像を撮像する撮像装置に関する。
次のような主要画像検出方法が特許文献1によって知られている。この主要画像検出方法によれば、色濃度判定によって画像内における主要画像を検出し、主要画像の画像特徴量に基づいて画像のシーン判定を行う。
特公平6−40198号公報
しかしながら、従来の方法においては、主要画像となる可能性が高い物体の色を基準色とし、この基準色に基づいて色濃度判定を行って主要画像を検出するため、主要画像としたい物体以外の部分に基準色が存在する場合には、主要画像を誤検出する可能性があり、シーンを誤って判定する可能性があるという問題が生じていた。
(1)本発明の第1の態様によると、複数の画素からなる画像から人物の顔領域を検出する顔検出部と、該顔検出部で検出した前記人物の顔領域の画素値および前記顔領域以外の非顔領域の画素値に基づいて前記画像のシーンを判定するシーン判定部と、該シーン判定部で判定した前記画像のシーンに応じて前記画像に階調補正を施すための階調補正パラメータのパラメータ値を設定するパラメータ値設定部と、を備えた画像処理装置において、前記シーン判定部は、(1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合には、前記画像のシーンは通常シーンであると判定し、(2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは逆光シーンであると判定し、(3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは夜景シーンであると判定し、前記パラメータ値設定部は、(4)前記シーン判定部によって前記画像のシーンが通常シーンであると判定された場合には、前記画像を階調補正しないように前記パラメータ値を設定し、(5)前記シーン判定部によって前記画像のシーンが逆光シーンであると判定された場合には、前記画像を明るく階調補正するように前記パラメータ値を設定し、(6)前記シーン判定部によって前記画像のシーンが夜景シーンであると判定した場合には、前記画像を前記逆光シーンの階調補正よりも弱めに明るく階調補正するように前記パラメータ値を設定する。
(2)本発明の第2の態様によると、前記顔領域の画素値および前記非顔領域の画素値の組の分布を、予め、通常シーンに相当する範囲、逆光シーンに相当する範囲、および夜景シーンに相当する範囲とに分割して設定するシーン設定部をさらに備え、前記シーン判定部は、前記画像の前記顔領域の画素値および前記非顔領域の画素値の組が、前記シーン設定部によって設定された範囲のいずれに含まれるかを判定することによって、当該画像のシーンを判定する。
(3)本発明の第3の態様によると、複数の画素からなる画像から人物の顔領域を検出し、検出した前記人物の顔領域の画素値および前記顔領域以外の非顔領域の画素値に基づいて前記画像のシーンを判定し、判定した前記画像のシーンに応じて、前記画像に階調補正を施すための階調補正パラメータのパラメータ値を設定する画像処理方法において、前記画像のシーンを判定する場合、(1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合には、前記画像のシーンは通常シーンであると判定し、(2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは逆光シーンであると判定し、(3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは夜景シーンであると判定し、前記パラメータ値を設定する場合、(4)前記画像のシーンが通常シーンであると判定された場合には、前記画像を階調補正しないように前記パラメータ値を設定し、(5)前記画像のシーンが逆光シーンであると判定された場合には、前記画像を明るく階調補正するように前記パラメータ値を設定し、(6)前記画像のシーンが夜景シーンであると判定した場合には、前記画像を前記逆光シーンの階調補正よりも弱めに明るく階調補正するように前記パラメータ値を設定する。
(4)本発明の第4の態様によると、コンピュータ読み込み可能なコンピュータプログラム記録媒体であって、請求項3に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを有する。
(5)本発明の第5の態様によると、撮像装置であって、画像を撮像する撮像素子と、前記撮像素子で撮像した画像を記憶する記憶部と、請求項4に記載の画像処理プログラム記録媒体を構成する画像処理プログラムを実行するための制御部とを備え、前記制御部は、前記画像処理プログラムを実行して、前記記憶部に記憶した画像に対して階調補正処理を施す。
本発明によれば、人物の顔は一般的に主要画像であることを加味して、精度高く主要画像を検出することができ、正確にシーンを判定することができる。
本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。 シーン別の顔領域と非顔領域の輝度分布を表す図である。 顔領域の輝度と非顔領域の輝度の分布に基づくシーン判定の具体例を示す図である。 5段階のShadowパラメータで各シーンの画像をRetinex階調補正処理を行った場合の補正後の画像の評価結果を示す図である。 各シーンで撮像された元画像に対して、シーン別パラメータを設定して階調補正した場合と、共通パラメータを設定して階調補正した場合の補正後の画像の具体例を示す図である。 本実施の形態における編集装置の処理の流れを示すフローチャート図である。 デジタルカメラの構成を示す図である。 画像処理プログラムを画像処理装置に提供する様子を示す図である。
図1は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置100は、例えばパソコンであり、使用者によって操作されるマウス、キーボード、または入力スイッチなどの入力装置101と、画像処理の対象となる画像データ、および画像処理プログラムを格納するメモリ102と、CPUやその他の周辺回路で構成され、メモリ102に記憶された画像処理プログラムを読み込んで画像処理を行う制御装置103と、画像を出力するモニタ104とを備えている。
メモリ102に記憶される画像データは、例えばデジタルカメラで撮像され、複数の画素から構成され、RGB表色系で示されている。画像データを構成する各々の画素には、RGBの各色成分の色情報が存在しているものとする。ここで、RGBの各色成分の色情報とは、例えば0〜255のレベルで表される各色の強度信号(画素値)であり、RGBの各色の強度信号を基に各画素の輝度が決定される。以下では、RGBの各強度信号を単にRGBで示す。
制御装置103は、顔検出部103aと、シーン判定部103bと、階調補正部103cとを有している。顔検出部103aは、使用者によって選択された画像処理対象の画像がモニタ104に表示された状態で、使用者によって入力装置101が操作され、画像処理の開始が指示されると、公知の顔検出方法によって、当該画像に含まれる人物の顔を検出する。本実施の形態では、例えば画像内を所定の大きさを有する小領域に分割し、各小領域内の画素の輝度や色相をあらかじめ設定しておいた顔の輝度や色相パターンと比較する。そして、顔の輝度や色相パターンと一致する小領域に人物の顔が存在するものとして、その小領域を人物の顔を含む領域(顔領域)として検出する。
なお、画像内に複数の顔が存在する場合には、顔検出処理によって検出した複数の顔領域のうち、最も面積の大きい顔領域を後述する各種処理の対象としてもよく、あるいは、画像内から1つの顔領域が検出された時点で顔検出処理を終了するようにしてもよい。また、全ての顔領域を対象にしてもよい。
シーン判定部103bは、顔検出部103aによって検出された顔領域の輝度と、顔領域以外の領域の輝度に基づいて、画像のシーンを判定する。すなわち、画像のシーンと、顔領域の輝度および非顔領域の輝度分布には、後述する図2に示すような関係があることを加味して、画像のシーンを判定する。なお、本実施の形態では、顔領域に含まれる画素の輝度の平均値と、非顔領域に含まれる画素の輝度の平均値とをそれぞれの領域の輝度として定義し、画像のシーンが、通常シーン、逆光シーン、および夜景シーンのいずれであるかを判定する。
図2は、実験値に基づいて作成されたシーン別の顔領域と非顔領域の輝度分布を表す図である。この図2は、横軸に顔領域の輝度、縦軸に非顔領域の輝度をとり、通常シーンにおける輝度分布(normal.dat)、逆光シーンにおける輝度分布(backlit.dat)、および夜景シーンにおける輝度分布(night.dat)をそれぞれグラフ上にプロットしたものである。すなわち、それぞれのシーンで撮像された画像において、顔領域の輝度と、非顔領域の輝度とを算出し、顔領域の輝度と非顔領域の輝度の組によって特定できる1点を図2のグラフ上にプロットし、これを各シーンごとの複数枚の画像に対して行った結果を示す図である。
この図により、各シーンにおける輝度分布は、次の(A)〜(C)に示すような特徴があることがわかる。
(A)通常シーン
通常シーンでは、顔領域の輝度と非顔領域の輝度とは大きな差がなく分布している。すなわち、顔領域の輝度(画素値)と非顔領域の輝度(画素値)との差は所定値未満となっている。
(B)逆光シーン
逆光シーンでは、顔領域の輝度に対して非顔領域の輝度が高くなっている。すなわち、顔領域の画素値に対して非顔領域の画素値が大きくなっている。
(C)夜景シーン
夜景シーンでは、非顔領域の輝度に対して顔領域の輝度が高くなっている。すなわち、非顔領域の画素値に対して顔領域の画素値が大きくなっている。
シーン判定部103bは、判定対象の画像における顔領域の輝度と、非顔領域の輝度を算出し、この顔領域の輝度と非顔領域の輝度との組によって図2上で特定される点が、図2の輝度分布上で(A)〜(C)のいずれに該当するかを判断することによって、画像のシーンを判定する。
なお、本実施の形態では、図2に示した輝度分布に基づいて、画像が上述した(A)〜(C)のいずれに該当するかを判断するために、図2の顔領域の輝度と非顔領域の輝度の分布範囲を図3に示すように分割する。すなわち、(A)の条件に合致する通常シーン範囲3a、(B)の条件に合致する逆光シーン範囲3b、および(C)の条件に合致する夜景シーン範囲3cに分割する。そして、判定対象の画像の顔領域の輝度と非顔領域の輝度とによって特定される点が、いずれの範囲(領域)に含まれるかを判定して、シーンの判定を行う。なお、図3のように分割された顔領域の輝度と非顔領域の輝度の分布範囲に関するデータは、テーブル化してメモリ102に予め記憶(設定)しておけばよい。
そして、シーン判定部103bによって画像のシーンが判定されると、階調補正部103cは、シーンに応じて階調補正パラメータのパラメータ値を設定し、設定したパラメータ値により階調補正処理を行う。なお、本実施の形態では、USP5,991,456号公報などに開示されている公知のRetinex階調補正処理によって画像の階調補正を行うが、階調補正量については、画像の輝度をコントロールするパラメータ(画像を明るくする程度をコントロールするパラメータ)、すなわち画像の階調を補正する階調補正パラメータであるShadowパラメータの値を適宜設定して好ましい階調補正処理を行う。
このShadowパラメータは、0(補正なし)〜100の範囲で値を設定することができ、値が大きくなるほど階調補正後の画像の輝度が明るくなる傾向を示す。そして、パラメータ値に応じてRetinex処理画像と元画像の加重平均により、補正画像の階調を決定する。各シーンの画像に対して上述した階調補正処理を行った補正後の画像を評価した結果、コントラスト値を保ったまま画像全体を明るくするように補正できるパラメータ値のスコア分布は、図4に示すようになった。
すなわち、通常シーンでの画像では、図4(a)に示すように、Shadowパラメータのパラメータ値を0として階調補正処理を行った場合に、最適な出力結果を得られることが多く、逆光シーンでの画像では、図4(b)に示すように、パラメータ値を75として階調補正処理を行った場合に、暗部も明るくなる画像が得られ、最適な出力結果を得られることが多い。また、夜景シーンでの画像では、図4(c)に示すように、パラメータ値を25または50として階調補正処理を行った場合に、暗部が明るすぎずに内容がわかる程度に明るい画像が得られ、最適な出力結果を得られることが多い。
換言すれば、通常シーンでの画像に対しては、Shadowパラメータのパラメータ値を0に設定して階調補正処理を行うようにする。すなわち階調補正を行わない場合に、最適な出力画像を得ることができ、また、逆光シーンでの画像に対しては、パラメータ値を75に設定して階調補正処理を行う、すなわち明るく階調補正することによって、コントラストを保ったまま画像全体を明るくした最適な画像を得ることができる。そして、夜景シーンでの画像に対しては、パラメータ値を25に設定して階調補正処理を行う、すなわち逆光シーンよりも弱めに明るく階調補正することによって、最適な画像を得ることができる。
このように、階調補正部103cは、シーン判定部103bによって判定された画像のシーンに応じて、最適な出力結果を得ることができるShadowパラメータのパラメータ値を、各シーンごとのシーン別パラメータとして設定してRetinex階調補正処理を行ってモニタ104に出力する。すなわち、階調補正部103cは、シーン判定部103bによって判定された画像のシーンに応じて、最適な出力結果を得ることができるようにShadowパラメータのパラメータ値を異ならせる。これによって、Shadowパラメータのパラメータ値をシーンに関わらず共通にして階調補正処理する場合と比較して、各シーンごとにコントラストを保ったまま最適な明るさに階調補正した画像を得ることができるようになる。
図5は、各シーンで撮像された画像(元画像)に対して、上述したシーン別パラメータを設定して階調補正した場合と、画像のシーンに関わらず、Shadowパラメータのパラメータ値を50とした共通パラメータを設定して階調補正した場合の補正後の画像の具体例を示す図である。
シーンが通常シーンである場合には、図5(a)に示す元画像に対して、シーン別パラメータ(パラメータ値=0)を設定して階調補正を行った後の画像を図5(b)に示す。また、元画像に対して共通パラメータ(パラメータ値=50)を設定して階調補正を行った後の画像を図5(c)に示す。このように、共通パラメータを設定して階調補正を行った場合には、画像が明るくなりすぎてしまうのに対して、シーン別パラメータを設定して階調補正を行った場合、すなわち階調補正を行わない場合には、最適な明るさの画像を得ることができる。
シーンが逆光シーンである場合には、図5(d)に示す元画像に対して、シーン別パラメータ(パラメータ値=75)を設定した階調補正を行った後の画像を図5(e)に示す。また、元画像に対して共通パラメータを設定して階調補正を行った後の画像を図5(f)に示す。このように、共通パラメータを設定して階調補正を行った場合には、画像が未だ暗い状態であり、特に主要被写体である人物の顔が暗い状態であるのに対して、シーン別パラメータを設定して階調補正を行った場合には、画像全体を十分な明るさにすると同時に、人物の顔がきれいに表示されるように階調補正した画像を得ることができる。
シーンが夜景シーンである場合には、図5(g)に示す元画像に対して、シーン別パラメータ(パラメータ値=25)を設定した階調補正を行った後の画像を図5(h)に示す。また、元画像に対して共通パラメータを設定して階調補正を行った後の画像を図5(i)に示す。このように、共通パラメータを設定して階調補正を行った場合には、画像が明るくなりすぎてしまうのに対して、シーン別パラメータを設定して階調補正を行った場合には、十分な明るさとなるように階調補正され、最適な明るさの画像を得ることができる。
図6は、本実施の形態における編集装置の処理の流れを示すフローチャートである。この図6に示す処理は、使用者によって入力装置101が操作され、画像処理の開始が指示されると、画像処理プログラムがメモリ102から制御装置103に読み込まれて起動されることより実行される。
ステップS10において、上述したように画像処理対象の画像に対して顔検出処理を行って、画像内の顔を含む領域、すなわち顔領域を検出する。その後、ステップS20へ進み、顔領域の輝度と非顔領域の輝度を算出して、ステップS30へ進む。ステップS30では、上述したように、算出した顔領域の輝度と非顔領域の輝度に基づいて、画像のシーンを判定する。その後、ステップS40へ進む。
ステップS40では、判定した画像のシーンが通常シーン、逆光シーン、夜景シーンのいずれであるかを判断する。画像のシーンが通常シーンであると判断した場合には、ステップS50へ進み、上述したようにShadowパラメータのパラメータ値を0に設定して階調補正処理を行う。すなわち階調補正を行わない。また、画像のシーンが逆光シーンであると判断した場合には、ステップS60へ進み、パラメータ値を強め、例えば75に設定して階調補正処理を行う。
また、画像のシーンが夜景シーンであると判断した場合には、ステップS70へ進み、パラメータ値を弱め、例えば25に設定して階調補正処理を行う。その後、ステップS80へ進み、階調補正後の画像をモニタ104へ出力して表示し、処理を終了する。
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)画像から人物の顔領域を検出し、人物の顔領域の画素値および顔領域以外の非顔領域の画素値に基づいて画像のシーンを判定するので、人物の顔は一般的に主要画像であることを加味すると、精度高く主要画像を検出することができ、正確にシーンを判定することができる。
(2)上記のように正確に判定した画像のシーンに応じて異なる階調補正を行うので、シーンごとに最適な補正を行うことができる。
(3)顔検出処理を行って画像内における顔領域を検出した後、当該顔領域の輝度と非顔領域の輝度に基づいて画像のシーンを判定した。そして、判定したシーンに応じて画像を明るくする階調補正パラメータのパラメータ値を決定して階調補正を行うようにした。これによって、一般的に画像内で主要被写体である可能性が高い人物の顔を最適な明るさに補正することができる。
(4)階調補正パラメータのパラメータ値を決定するに当たっては、各シーンごとにコントラスト値を保ったまま画像全体を明るくするように補正できるパラメータ値のスコア分布に基づいて決定するようにした。これによって、コントラスト値を保ったまま画像全体を明るくするように補正できるパラメータ値のスコア分布がシーンごとに異なることを加味して、各シーンごとに最適なパラメータ値を決定することができる。
(5)顔領域の輝度と非顔領域の輝度に基づいて、画像のシーンを判定するに当たっては、図2に示す輝度分布に基づいて輝度分布を示す領域を図3に示すように分割して、顔領域の輝度と非顔領域の輝度とによって特定される点が、図3のいずれの領域に含まれるかを判定するようにした。これによって、人物の顔の色、すなわち肌色とその他の背景色とは、シーンごとにその輝度分布が異なることを加味して、精度高くシーン判定を行うことができる。
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
(1)上述した実施の形態では顔領域に含まれる画素の輝度の平均値と、非顔領域に含まれる画素の輝度の平均値をそれぞれ顔領域の輝度、および非顔領域の輝度として算出して、シーンの判定に用いる例について説明した。しかしこれに限定されず、例えば、顔領域内に含まれる任意の1画素の輝度と、非顔領域に含まれる任意の1画素の輝度とを、それぞれの領域の輝度としてもよく、その他の方法によってそれぞれの領域の輝度を算出するようにしてもよい。
(2)上述した実施の形態では、階調補正パラメータとしてShadowパラメータを使用する例について説明したが、これに限定されず、画像の明るさを補正することができるその他のパラメータを使用して階調補正するようにしてもよい。なお、Shadowパラメータ以外のパラメータを使用する場合には、各シーンに応じた最適なパラメータ値をあらかじめ設定する必要がある。
(3)上述した実施の形態では、画像処理装置100は、例えばパソコンである場合の例について説明したが、これに限定されず、その他の情報端末でもよい。また、上述した画像処理プログラムをデジタルカメラに搭載し、使用者がデジタルカメラで撮像した画像に対して、デジタルカメラ上で上述した階調補正処理を行えるようにしてもよい。図7は、撮像装置であるデジタルカメラ200の構成を示す図である。CCDなどの撮像素子203は、撮影レンズ202を介してで被写体201を撮像する。制御装置204は、撮像素子203からの出力信号に基づき画像データを生成しメモリ205に格納する。制御装置204は、メモリ205に格納された画像データに対して前述した階調補正処理などの画像処理を行う。この画像処理は、メモリ205に格納された画像処理プログラムを実行することにより行われる。
(4)上述した実施の形態では、輝度を元にシーンを判定した。しかし、輝度だけに限らず、例えば、明度やその他の各画素の明るさを示すパラメータを元に判定しても良い。これら明るさの度合いが分かれば良く、各画素の画素値から導き出せるものであればいずれでも良い。
(5)上述した実施の形態では、画像処理プログラムはメモリ102に格納されているとして説明した。この画像処理プログラムは、CD−ROMなどの記録媒体やインターネットなどのデータ信号を通じて画像処理装置(パーソナルコンピュータ)100に提供することができる。図8はその様子を示す図である。画像処理装置100は、CD−ROM304を介して画像処理プログラムの提供を受ける。また、画像処理装置100は通信回線301との接続機能を有する。コンピュータ302は上記画像処理プログラムを提供するサーバーコンピュータであり、ハードディスク303などの記録媒体に画像処理プログラムを格納する。通信回線301は、インターネットなどの通信回線、あるいは専用通信回線などである。コンピュータ302はハードディスク303を使用して画像処理プログラムを読み出し、通信回線301を介して画像処理プログラムを画像処理装置100に送信する。すなわち、画像処理プログラムをデータ信号として搬送波に具現化(embody)して、通信回線301を介して送信する。このように、画像処理プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
(6)上述した実施の形態では、画像処理の対象となる画像データはメモリ102に格納されているとして説明した。この画像データは、上述した画像処理プログラムと同様に、CD−ROMなどの記録媒体やインターネットなどのデータ信号を通じて画像処理装置100が取得することができる。また、画像処理装置100が、デジタルカメラとUSBインターフェースケーブルなどを介して接続し取得するようにしてもよい。
(7)上述した実施の形態では、階調補正処理として公知のRetinex階調補正処理の例を説明した。ただし、本発明における階調補正は、単に、画像の明部から暗部までの明るさを示す段数、または、その変化の度合いを補正するだけに限られず、人間が観察するのに最適な画素値の補正することも含まれるものとする。
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2005年第163814号(2005年6月3日出願)

Claims (5)

  1. 複数の画素からなる画像から人物の顔領域を検出する顔検出部と、該顔検出部で検出した前記人物の顔領域の画素値および前記顔領域以外の非顔領域の画素値に基づいて前記画像のシーンを判定するシーン判定部と、該シーン判定部で判定した前記画像のシーンに応じて前記画像に階調補正を施すための階調補正パラメータのパラメータ値を設定するパラメータ値設定部と、を備えた画像処理装置において、
    前記シーン判定部は、
    (1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合には、前記画像のシーンは通常シーンであると判定し、
    (2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは逆光シーンであると判定し、
    (3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは夜景シーンであると判定し、
    前記パラメータ値設定部は、
    (4)前記シーン判定部によって前記画像のシーンが通常シーンであると判定された場合には、前記画像を階調補正しないように前記パラメータ値を設定し、
    (5)前記シーン判定部によって前記画像のシーンが逆光シーンであると判定された場合には、前記画像を明るく階調補正するように前記パラメータ値を設定し、
    (6)前記シーン判定部によって前記画像のシーンが夜景シーンであると判定した場合には、前記画像を前記逆光シーンの階調補正よりも弱めに明るく階調補正するように前記パラメータ値を設定する。
  2. 請求項1に記載の画像処理装置において、
    前記顔領域の画素値および前記非顔領域の画素値の組の分布を、予め、通常シーンに相当する範囲、逆光シーンに相当する範囲、および夜景シーンに相当する範囲とに分割して設定するシーン設定部をさらに備え、
    前記シーン判定部は、前記画像の前記顔領域の画素値および前記非顔領域の画素値の組が、前記シーン設定部によって設定された範囲のいずれに含まれるかを判定することによって、当該画像のシーンを判定する。
  3. 複数の画素からなる画像から人物の顔領域を検出し、検出した前記人物の顔領域の画素値および前記顔領域以外の非顔領域の画素値に基づいて前記画像のシーンを判定し、判定した前記画像のシーンに応じて、前記画像に階調補正を施すための階調補正パラメータのパラメータ値を設定する画像処理方法において、
    前記画像のシーンを判定する場合、
    (1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合には、前記画像のシーンは通常シーンであると判定し、
    (2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは逆光シーンであると判定し、
    (3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大きい場合には、前記画像のシーンは夜景シーンであると判定し、
    前記パラメータ値を設定する場合、
    (4)前記画像のシーンが通常シーンであると判定された場合には、前記画像を階調補正しないように前記パラメータ値を設定し、
    (5)前記画像のシーンが逆光シーンであると判定された場合には、前記画像を明るく階調補正するように前記パラメータ値を設定し、
    (6)前記画像のシーンが夜景シーンであると判定した場合には、前記画像を前記逆光シーンの階調補正よりも弱めに明るく階調補正するように前記パラメータ値を設定する。
  4. コンピュータ読み込み可能なコンピュータプログラム記録媒体であって、
    請求項3に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを有する。
  5. 撮像装置であって、
    画像を撮像する撮像素子と、
    前記撮像素子で撮像した画像を記憶する記憶部と、
    請求項4に記載の画像処理プログラム記録媒体を構成する画像処理プログラムを実行するための制御部とを備え、
    前記制御部は、前記画像処理プログラムを実行して、前記記憶部に記憶した画像に対して階調補正処理を施す。
JP2007518967A 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 Active JP4780104B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007518967A JP4780104B2 (ja) 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005163814 2005-06-03
JP2005163814 2005-06-03
JP2007518967A JP4780104B2 (ja) 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
PCT/JP2006/310661 WO2006129601A1 (ja) 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置

Publications (2)

Publication Number Publication Date
JPWO2006129601A1 JPWO2006129601A1 (ja) 2009-01-08
JP4780104B2 true JP4780104B2 (ja) 2011-09-28

Family

ID=37481530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007518967A Active JP4780104B2 (ja) 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置

Country Status (3)

Country Link
US (1) US8150099B2 (ja)
JP (1) JP4780104B2 (ja)
WO (1) WO2006129601A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129601A1 (ja) * 2005-06-03 2006-12-07 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
JP4851505B2 (ja) * 2008-10-22 2012-01-11 三菱電機株式会社 画像処理装置及び画像処理方法
JP5031877B2 (ja) * 2010-01-06 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP4930607B2 (ja) * 2010-02-04 2012-05-16 カシオ計算機株式会社 画像処理装置、及び、画像処理プログラム
JP4924727B2 (ja) * 2010-02-16 2012-04-25 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
JP5335964B2 (ja) * 2012-05-16 2013-11-06 キヤノン株式会社 撮像装置およびその制御方法
CN103543808B (zh) * 2012-07-16 2016-04-20 华栋 Cpu供电电路保护***
JP6188452B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107341298A (zh) * 2017-06-22 2017-11-10 电子科技大学 基于pc终端下电路图图像识别的仿真***及方法
US10785419B2 (en) * 2019-01-25 2020-09-22 Pixart Imaging Inc. Light sensor chip, image processing device and operating method thereof
JP7446060B2 (ja) * 2019-03-27 2024-03-08 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
JP7414077B2 (ja) * 2019-12-17 2024-01-16 日本電気株式会社 画像処理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077592A (ja) * 2000-04-13 2002-03-15 Fuji Photo Film Co Ltd 画像処理方法
JP2002135559A (ja) * 2000-10-20 2002-05-10 Noritsu Koki Co Ltd 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP2003069846A (ja) * 2001-08-27 2003-03-07 Fujitsu Ltd 画像処理プログラム
JP2004021374A (ja) * 2002-06-13 2004-01-22 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、プログラム、記憶媒体
JP2004341901A (ja) * 2003-05-16 2004-12-02 Seiko Epson Corp 逆光人物画像の判定
JP2004363898A (ja) * 2003-06-04 2004-12-24 Mitsubishi Electric Corp 撮像表示装置
JP2005051407A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置
JP2005130484A (ja) * 2003-10-02 2005-05-19 Nikon Corp 階調補正装置、および階調補正プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0640198B2 (ja) 1986-02-17 1994-05-25 富士写真フイルム株式会社 主要画像検出方法及びこれを用いた写真焼付露光量決定方法
US5461457A (en) 1992-11-25 1995-10-24 Fuji Photo Film Co., Ltd. Method of determining amount of exposure
JP2848750B2 (ja) 1992-11-25 1999-01-20 富士写真フイルム株式会社 露光量決定方法
US5991456A (en) * 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
JP2001100087A (ja) * 1999-09-29 2001-04-13 Olympus Optical Co Ltd 多点測距装置
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
WO2001082154A1 (fr) * 2000-04-21 2001-11-01 Shiseido Company, Ltd. Appareil pour donner des conseils de maquillage
JP4123724B2 (ja) * 2001-01-30 2008-07-23 コニカミノルタビジネステクノロジーズ株式会社 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置および画像処理方法
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4115467B2 (ja) * 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
WO2006129601A1 (ja) * 2005-06-03 2006-12-07 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
JP4516503B2 (ja) * 2005-09-07 2010-08-04 富士フイルム株式会社 撮像システムおよびその制御方法
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP2009290661A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
JP2009290660A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077592A (ja) * 2000-04-13 2002-03-15 Fuji Photo Film Co Ltd 画像処理方法
JP2002135559A (ja) * 2000-10-20 2002-05-10 Noritsu Koki Co Ltd 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP2003069846A (ja) * 2001-08-27 2003-03-07 Fujitsu Ltd 画像処理プログラム
JP2004021374A (ja) * 2002-06-13 2004-01-22 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、プログラム、記憶媒体
JP2004341901A (ja) * 2003-05-16 2004-12-02 Seiko Epson Corp 逆光人物画像の判定
JP2004363898A (ja) * 2003-06-04 2004-12-24 Mitsubishi Electric Corp 撮像表示装置
JP2005051407A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置
JP2005130484A (ja) * 2003-10-02 2005-05-19 Nikon Corp 階調補正装置、および階調補正プログラム

Also Published As

Publication number Publication date
US20080292145A1 (en) 2008-11-27
WO2006129601A1 (ja) 2006-12-07
US8150099B2 (en) 2012-04-03
JPWO2006129601A1 (ja) 2009-01-08

Similar Documents

Publication Publication Date Title
JP4780104B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
US7349119B2 (en) Image storage and control device for camera to generate synthesized image with wide dynamic range
WO2009088080A1 (ja) プロジェクタ
US7656456B2 (en) Image sensing system and method of controlling same
JP4834725B2 (ja) 赤目補正において虹彩色を組み込む方法及び装置
JP2009171318A (ja) 画像処理装置及び画像処理方法並びに撮像装置
EP2068569A1 (en) Method of and apparatus for detecting and adjusting colour values of skin tone pixels
JP4739870B2 (ja) サングラス検出装置及び顔中心位置検出装置
US8717449B2 (en) Image synthesizing apparatus, image recording method, and recording medium
JP5381565B2 (ja) 画像処理装置、画像処理用プログラムおよび画像処理方法
JP4595569B2 (ja) 撮像装置
JP7292905B2 (ja) 画像処理装置及び画像処理方法、及び撮像装置
EP3334150B1 (en) Image processing apparatus
US8427549B2 (en) Apparatus, method, and recording medium for displaying a pixel having a predetermined luminance in an output image to be identifiable from a position
JP4888485B2 (ja) 階調補正特性評価装置、画像処理装置、階調補正特性評価方法、画像処理方法、階調補正特性評価プログラム、および画像処理プログラム
JP5141259B2 (ja) プロジェクタ
JP5038190B2 (ja) 撮影装置及びその設定方法
JP2007258923A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4269780B2 (ja) 画像処理装置、電子カメラ、及び画像処理プログラム
JP5103984B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2006350621A (ja) 画像処理装置及び画像処理プログラム
JP4580307B2 (ja) 検出画像領域決定装置および対象画像の特徴量算出装置ならびにそれらの制御方法およびそれらの制御プログラム
JP2007165946A (ja) 被写体像補正装置および方法
JP2008067071A (ja) 信号処理装置及び信号処理方法
JP2009032182A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110401

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4780104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250