JP4375325B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP4375325B2
JP4375325B2 JP2005334441A JP2005334441A JP4375325B2 JP 4375325 B2 JP4375325 B2 JP 4375325B2 JP 2005334441 A JP2005334441 A JP 2005334441A JP 2005334441 A JP2005334441 A JP 2005334441A JP 4375325 B2 JP4375325 B2 JP 4375325B2
Authority
JP
Japan
Prior art keywords
color difference
value
divergence
hue
saturation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005334441A
Other languages
English (en)
Other versions
JP2007142851A (ja
Inventor
昇平 坂本
淳 村木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2005334441A priority Critical patent/JP4375325B2/ja
Priority to US11/591,071 priority patent/US7821546B2/en
Publication of JP2007142851A publication Critical patent/JP2007142851A/ja
Application granted granted Critical
Publication of JP4375325B2 publication Critical patent/JP4375325B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えばデジタルカメラでポートレート撮影を行なう場合等に好適な画像処理装置画像処理方法及びプログラムに関する。
画像中の肌色部分のノイズを低減し、写っている顔などを滑らかにする画像処理を行なう場合、肌色を検出する手段が必要となる。その一つの方法として、例えば、画像信号を構成する輝度色差(YUV)信号のうちの色差(U,V)成分を用いて予め用意した2次元LUT(ルックアップテーブル)へ入力し、このLUTからの出力が輝度(Y)信号で定められる最大値及び最小値の範囲内にあるか否により、特定色域の色(肌色など)であるか否かを判定する技術が考えられている。(例えば、特許文献1)
特許第3366357号
しかしながら、上記特許文献に記載された技術は、入力された輝度色差信号が特定の色域にあるか否か、という2値判定しか行なうことができない。
また、上記特許文献の実施例中には、その2値判定結果をLPF(ローパスフィルタ)を介して滑らかにする方法が記載されているが、例えば一つの顔の画像中でも特定色であると判定される肌色と判定されない肌色とが混在する場合も多々考えられる。
そのような不自然さを解消するためには、上記LPFのカットオフ周波数を充分低く設定する必要があるが、一方で同カットオフ周波数が低すぎると、顔の外側の、肌ではない部分まで肌色と見なされてしまうという不具合が生じることとなるため、その設定が甚だ難しいものとなっている。
加えて、上述した2次元LUTは、記憶させる設定値を作成するのがきわめて煩雑であり、設計者の負担が非常に大きかった。
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、できる限り簡易な回路構成により特定色の検出を確実、且つ柔軟性をもって実行することが可能な画像処理装置画像処理方法及びプログラムを提供することにある。
本発明の第一の観点に係る画像処理装置は、青色色差値と赤色色差値とを規定する色差座標平面において、画像信号の青色色差値と赤色色差値とを示す座標を、前記色差座標平面上で特定の色を示す角度だけ回転させることにより、色差回転座標を得る回転変換手段と、前記回転変換手段で得た色差回転座標の値を、前記画像信号中の輝度値で除算することにより、色差正規化値を得る正規化手段と、前記正規化手段で得た色差正規化値と予め定められた係数との差から、彩度乖離度を算出する彩度乖離度算出手段と、前記回転変換手段で得た色差回転座標が示す一方の色差値を当該色差回転座標が示す他方の色差値で除算することにより算出される商から、色相乖離度を算出する色相乖離度算出手段とを具備する。
本発明の第二の観点に係る画像処理方法は、青色色差値と赤色色差値とを規定する色差座標平面において、画像信号の青色色差値と赤色色差値とを示す座標を、前記色差座標平面上で特定の色を示す角度だけ回転させることにより、色差回転座標を得る回転変換工程と、前記回転変換工程で得た色差回転座標の値を、前記画像信号中の輝度値で除算することにより、色差正規化値を得る正規化工程と、前記正規化工程で得た色差正規化値と予め定められた係数との差から、彩度乖離度を算出する彩度乖離度算出工程と、前記回転変換工程で得た色差回転座標が示す一方の色差値を当該色差回転座標が示す他方の色差値で除算することにより算出される商から、色相乖離度を算出する色相乖離度算出工程とを有する。
本発明の第三の観点に係るプログラムは、青色色差値と赤色色差値とを規定する色差座標平面において、画像信号の青色色差値と赤色色差値とを示す座標を、前記色差座標平面上で特定の色を示す角度だけ回転させることにより、色差回転座標を得る回転変換ステップと、前記回転変換ステップで得た色差回転座標の値を、前記画像信号中の輝度値で除算することにより、色差正規化値を得る正規化ステップと、前記正規化ステップで得た色差正規化値と予め定められた係数との差から、彩度乖離度を算出する彩度乖離度算出ステップと、前記回転変換ステップで得た色差回転座標が示す一方の色差値を当該色差回転座標が示す他方の色差値で除算することにより算出される商から、色相乖離度を算出する色相乖離度算出ステップとをコンピュータに実行させる。
本発明によれば、簡易な回路構成としながらも特定色に対する彩度と色相の各乖離度を算出することで、取得した画像を構成する色が特定色からどの程度乖離しているのかを正確に判断することができ、その判断結果から相応の処理を施すことが可能となる。
以下本発明をデジタルカメラに適用した場合の実施の一形態について図面を参照して説明する。
図1は、このデジタルカメラ10の電子回路の概念構成を示すものである。
図中、撮影モードでのモニタリング状態においては、モータ(M)11の駆動により撮影レンズ光学系12中の一部のレンズ、具体的にはズームレンズ及びフォーカスレンズの位置が適宜移動される。この撮影レンズ光学系12の撮影光軸後方の結像位置に、図示しないメカニカルシャッタを介して、固体撮像素子であるCCD13が配置される。
CCD13は、タイミング発生器(TG)14、CCDドライバ15によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
この光電変換出力は、AGC/SH(Auto Gain Control/Sample Hold)回路16において、アナログ値の信号の状態でRGBの各原色成分毎にその時点に設定されているISO感度に応じて自動ゲイン調整された後にサンプルホールドされ、A/D変換器17に送られる。
A/D変換器17では、アナログの画像データをデジタルデータに変換し、カラープロセス回路18へ出力する。
カラープロセス回路18は、デジタルの画素データに対して画素補間処理及びγ補正処理を含むカラープロセス処理を行ない、デジタル値の輝度信号Y及び色差信号Cb,Crを生成し、後述する特定色処理部18aにより画素単位で適宜輪郭強調処理を施した後にDMA(Direct Memory Access)コントローラ19に出力する。
DMAコントローラ19は、カラープロセス回路18の出力する輝度信号Y及び色差信号Cb,Crを、同じくカラープロセス回路18からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度DMAコントローラ19内部のバッファに書込み、DRAMインタフェース(I/F)20を介してバッファメモリとして使用されるDRAM21にDMA転送を行なう。
制御部22は、CPUと、後述する撮影時のストロボ発光や高感度化を含む動作プログラムを固定的に記憶したフラッシュメモリなどの不揮発性メモリ、及びワークメモリとして使用されるRAM等により構成され、このデジタルカメラ全体の制御動作を司るもので、上記輝度及び色差信号のDRAM21へのDMA転送終了後に、この輝度及び色差信号をDRAMインタフェース20を介してDRAM21より読出し、VRAMコントローラ23を介してVRAM24に書込む。
デジタルビデオエンコーダ25は、上記輝度及び色差信号をVRAMコントローラ23を介してVRAM24より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部26に出力する。
この表示部26は、デジタルカメラ10の筐体背面に配設された例えばバックライト付きのカラー液晶パネルとその駆動回路とで構成されるもので、撮影モード時には電子ファインダとして機能し、デジタルビデオエンコーダ25からのビデオ信号に基づいた表示を行なうことで、その時点でデジタルビデオエンコーダ25から取込んでいる画像情報に基づく画像をリアルタイムにモニタ表示する一方で、再生モード時には選択した画像等を再生表示する。
このように表示部26にその時点での画像がモニタ画像としてリアルタイムに表示されている、所謂スルー画像の表示状態で、静止画撮影を行ないたいタイミングでキー入力部27の一部を構成するシャッタキーを操作すると、トリガ信号を発生する。
制御部22は、このトリガ信号に応じてその時点でCCD13から取込んでいる1画面分の輝度及び色差信号のDRAM21へのDMA転送を取り止め、あらためて適正な露出条件に従ったシャッタ速度で図示しないメカニカルシャッタ及び上記CCD13を駆動して1画面分の輝度及び色差信号を得てDRAM21へ転送し、その後にこの経路を停止し、記憶保存の状態に遷移する。
この記憶保存の状態では、制御部22がDRAM21に書込まれている1フレーム分の輝度及び色差信号をDRAMインタフェース20を介してY,U,Vの各コンポーネント毎に縦8画素×横8画素の基本ブロックと呼称される単位で読出してJPEG(Joint Photograph coding Experts Group)回路28に書込み、このJPEG回路28でADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピ符号化方式であるハフマン符号化等のデータ圧縮処理により符号化する。
そして、得た符号データを1画像分のデータファイルとして該JPEG回路28から読出し、このデジタルカメラ10に着脱自在に装着されるメモリカード29に書込む。
そして、1フレーム分の輝度及び色差信号の圧縮処理及びメモリカード29への全圧縮データの書込み終了に伴なって、制御部22はCCD13からDRAM21への経路を再び起動する。
また、制御部22には、上述したキー入力部27と、音声処理部30、及びストロボ駆動部31が接続される。
キー入力部27は、上述したシャッタキーの他に、電源キー、ズームキー、撮影モードキー、再生モードキー、カーソルキー、セットキー、メニューキー、マクロキー、及びストロボキー等から構成され、それらのキー操作に伴なう信号は直接制御部22へ送出される。
音声処理部30は、PCM音源等の音源回路を備え、音声の録音時にはデジタルカメラ10の筐体前面に配設されたマイクロホン部(MIC)32より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばMP3(Moving Picture coding Experts Group−1 audio layer 3)規格にしたがってデータ圧縮して音声データファイルを作成し、上記メモリカード29へ送出する一方、音声の再生時にはメモリカード29から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記表示部26と同じくデジタルカメラ10の背面側に設けられるスピーカ部(SP)33を駆動して、拡声放音させる。
ストロボ駆動部31は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部22からの制御に基づいてキセノン放電管等で構成されるストロボ発光部34を閃光駆動させる。
しかるに、撮影モード時に静止画像ではなく動画像の撮影が選択されている場合には、1回目のシャッタキーが操作された時点で、上述した静止画データを取得してJPEG回路28でデータ圧縮し、メモリカード29へ記憶するという一連の動作を適宜フレームレート、例えば30[フレーム/秒]で連続して実行するものとして開始し、該シャッタキーが2回目に操作されるか、または所定の制限時間、例えば30秒が経過した時点でそれら一連の静止画データファイルを一括してモーションJPEGのデータファイル(AVIファイル)として設定し直す。
また、再生モード時には、制御部22がメモリカード29に記憶されている画像データを選択的に読出し、JPEG回路28で撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをDRAMインタフェース20を介しDRAM21に保持させた上で、このDRAM21の保持内容をVRAMコントローラ23を介してVRAM24に記憶させ、このVRAM24より定期的に画像データを読出してビデオ信号を発生し、上記表示部26で再生させる。
選択した画像データが静止画像ではなく動画像であった場合、選択した動画像ファイルを構成する個々の静止画データの再生を所定のフレームレートで時間的に連続して実行し、最後の静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示する。
次いで図2により上記カラープロセス回路18内に設けられた特定色処理部18aの詳細な回路構成について説明する。同図で、1画素を構成する輝度色差系の画像信号中、2つのデジタル値の色差信号U,Vは共にそのまま出力される一方で、座標回転回路41にも入力される。
座標回転回路41は、予め設定された回転角θを係数とした回転行列演算により色差回転信号Urot,Vrotを得るもので、得た色差回転信号Urotを正規化回路42及び正接回路43へ、色差回転信号Vrotを正接回路43のみへ出力する。
正規化回路42は、入力された色差回転信号Urotを対応する輝度信号Yで除算することで色差回転信号Urotから露光状態の影響を排除して正規化し、その商である色差正規信号Unを出力する。
この色差正規信号Unは、減算器44で係数Kが減算されてその差「Un−K」が絶対値化回路45に入力される。
絶対値化回路45は、入力された信号「Un−K」の絶対値を求めることで彩度乖離信号difSを得る。
一方、正接回路43は、色差回転信号Vrotを色差回転信号Urotで除算することで正接信号Tanを得るもので、この正接信号Tanを絶対値化回路46で絶対値化することで色相乖離信号difHを得る。
これら彩度乖離信号difS、色相乖離信号difHは、それぞれ乗算器47,48で定められた係数α,βによりゲインがかけられた上で最大値選択回路49へ送られる。
最大値選択回路49では、2つの乖離信号の入力のうち値の大きい方を選択してルックアップテーブル(LUT)50へ出力する。
このルックアップテーブル50は、特定色との乖離度に対応した輪郭抑圧のゲイン値が予め固定記憶されており、入力された乖離信号に対応して読出されたゲイン値は乗算器51に与えられる。
また、時間的に連続して入力される、隣接した画素のデジタル値の輝度信号Yの変化から当該画素位置の空間周波数成分の所定の高周波領域を抽出するハイパスフィルタ(HPF)52の出力が乗算器54に入力され、この乗算器54で所定の係数γで乗算された後、その積が選択回路55及び乗算器51へ与えられる。
また、乗算器51の乗算により得られる積が選択回路55へ与えられる。
選択回路55は、乗算器54の出力と乗算器51の出力のいずれか一方を選択し、加算器53に出力する。ここで選択回路55は、後述する美肌モードが選択されている場合には乗算器51の出力を選択し、美肌モード以外のモードが選択されている場合には乗算器54の出力を選択する。
上記加算器53では、瀬高路55で選択された出力と輝度信号Yとを加算することで、輝度信号Y中の高周波成分を輪郭強調処理により適宜強調させた輝度信号Y′を和として出力する。
しかしてこの特定色処理部18aにおいては、入力された色差信号U,Vをそのままスルーで出力すると共に、入力された輝度信号Yに輪郭強調処理を施した輝度信号Y′を出力する。
次に上記実施の形態の動作について説明する。
なお、このデジタルカメラ10においても、一般的な他のカメラと同様に、シャッタキーが2段階の操作ストロークを有し、第1段階としてフルストロークの半分程度までの操作、一般に半押しと称される操作状態で自動合焦(AF)処理と自動露光(AE)処理とを実行してそれぞれの処理値をロックし、その後、第2段階としてフルストロークの操作、一般に全押しと称される操作状態で、上記AF値及びAE値による本撮影を実行する、という動作ロジックに基づいた撮影動作を実行するものとする。
また、このデジタルカメラ10では静止画像の撮影モード時に、例えば「美肌モード」と称するシーンプログラム撮影をユーザが任意に設定することができるものとする。この「美肌モード」では、画像信号中から特定色として肌色を検出し、肌色であると判断される位置では輪郭強調を抑制することで、画像中の肌色部分を滑らかに表現するものとする。
以下、撮影モード時のカラープロセス回路18の特定色処理部18aの動作について予め説明しておく。
スルー画像表示時及び記録時のいずれにおいても、入力された色差信号U,Vの双方に対して座標回転回路41が回転角θを係数とする座標回転変換を実行する。
ここで、回転行列の係数となる回転角θは以下のようにして求められる。
図3に示すように、検出対象とする特定色(ここでは肌色)の基準の色差信号をUs,Vsとすると、U軸及びV軸で形成される2次元平面上で原点を中心に回転し、V=0となるU軸上に変換する行列を求める。
原点を中心に角度θだけ回転する行列は、
Figure 0004375325
で表わされる。この(1)色中の回転角θは、次式
θ=−π−arctan(Vs/Us) …(2)
で求められるもので、このときには、以下の関係
Figure 0004375325
が成立する。以上のように決定された回転行列Rによって、入力U,Vを座標変換する。すなわち、座標回転回路41は入力される信号U,Vに対して
Figure 0004375325
なる座標回転変換を実行する。
こうして得られた一方の色差回転信号Urotを用い、正規化回路42では輝度信号Yを序数として除算
Un=Urot/Y …(5)
を実行して色差正規信号Unを得る。
同時に正接回路43では、次式
Tan=Vrot/Urot …(6)
により正接信号Tanを求める。
しかるに、上記色差正規信号Unと係数Kの差を減算器44で求め、その絶対値を絶対値化回路45で求めて彩度乖離信号difSとする。すなわち、
difS=abs(Un−K) …(7)
(但し、abs(X)はXの絶対値を求める操作。)
ここで上記係数Kは、Usrotを特定色輝度Ysで正規化したもの、すなわち
K=Usrot/Ys …(8)
である。
同様に絶対値化回路46でも、上記正接信号Tanの絶対値を求めることで色相乖離信号difHとする。すなわち、
difH=abs(Tan) …(9)
となる。
こうして、特定色であればUV平面のU軸に重なるような座標回転変換を施した後にその彩度と色相の乖離度、すなわちどの程度特定色から乖離しているか、その度合いを示す信号を得る。
なお、上記図2の例では、回転行列係数として、特定色がV=0となるU軸上へ回転する場合について述べたが、本発明はこれに限らず、U=0となるV軸上へ回転するものとしても同様のことが可能となる。
さらに、座標回転変換や正規化、正接の計算を整数演算化するための係数を各回路で乗じるものとしてもよい。例えば、適切な係数Aを用いて上記(5)式及び(8)式を
Un=Urot*A/Y …(5)'
K=Usrot*A/Ys …(8)'
というように変形するものとしてもよい。
上記のようにして得られた彩度乖離信号difS、色相乖離信号difHは、予め基準とする特定色から彩度、色相がどの程度乖離しているのか、その度合いを示すものであるため、その結果にしたがった画像処理の一例として、ここでは輪郭抑圧を行なう。
すなわち、最大値選択回路49では
dif=max(α*difS,β*difH)
…(10)
(但し、α,βは夫々適宜係数、
max(A,B)はA,Bのいずれか
より大きな一方を選択する操作。)
として、より大きな一方を選択し、選択した結果を乖離信号difとしてルックアップテーブル50へ出力する。
図4は、このルックアップテーブル50に記憶されている特性の一例を示すものであり、difの値が「0(ゼロ)」(=その画素が基準の特定色そのものである)乃至第1の所定値の間は、その画素が特定色である度合いがきわめて高いものとして、充分低いゲインを出力する。
また、difの値が第1の所定値乃至第2の所定値の間は、その画素が特定色である可能性もあるものとし、その度合いに対応して、上記充分低いゲインg1からdifの値が増えるに連れ「1」に近づくような抑圧ゲインを出力する。
そして、difの値が第2の所定値と等しいか、より大きい場合には、その画素が特定色である可能性は全くないものとし、固定のゲイン「1」を出力する。
このようにルックアップテーブル50から出力されたゲインにしたがい、乗算器51でハイパスフィルタ52から出力される、輝度信号Yの高周波成分(エッジ成分)と適正な係数γとの積を乗算して適宜減衰させた積を瀬高路55を介して加算器53に送る。
加算器53は、乗算器51の出力する積と元の輝度信号Yとを加算して、輝度信号Y中の高周波成分を輪郭強調処理により適宜強調させた輝度信号Y′を和として出力する。
結果として得られる輝度信号Y′は、その画素が特定色との乖離度が小さい程、換言すれば特定色に近い程、輪郭強調を控えめにした、滑らかな画像となる。
次に図5を用い、撮影モードで静止画像の撮影を実行する場合に実行されるデジタルカメラ10全体での処理内容を説明する。
その当初にはその時点で所定のフレームレート、例えば15[フレーム/秒]で収まるように簡易なAF処理とAE処理を実行し、フレームレートを考慮したシャッタ速度によりCCD13を連続的に駆動する(ステップS01)。
このとき、カラープロセス回路18内の特定色処理部18aでは上述したように色差信号U,Vにより輝度信号Y′が作成されている。そのため、美肌モードの設定がオンであれば選択回路55に乗算器51の出力を選択させることにより肌色部分の輪郭強調を抑えた画像信号Y′UVに基づいて表示部26でスルー画像の表示がなされる一方で、美肌モードがオフであれば選択回路55により乗算器54の出力を選択させることにより通常の輪郭強調が施された画像信号Y′UVに基づいて表示部26でスルー画像の表示がなされる(ステップS02)。
こうした美肌モードのオン/オフに対応したスルー画像の表示状態から、キー入力部27のシャッタキーが半押し操作されたか否か(ステップS03)、美肌モードの設定の切換えが指示されたか否か(ステップS04)を続けて判断して、それらのいずれでもない場合には上記ステップS01に戻る、という処理を繰返し実行することで、美肌モードの設定状態に対応したスルー画像表示を行ないながらシャッタキーが半押し操作されるか、美肌モードの設定切換えが指示されるのを待機する。
ここで美肌モードの設定切換えを指示するキー操作がなされると、ステップS04でこれを判断し、その時点で設定されている美肌モードのオン/オフ状態を反転設定、すなわちオンであればオフに、オフであればオンに設定し直した後に(ステップS05)、再び上記ステップS01からの処理に戻る。
しかして、シャッタキーが半押し操作されると、ステップS03でこれを判断し、その時点で得られる画像中央に合焦するように撮影レンズ光学系12中のフォーカスレンズを移動させてロックする一方で、上記自動合焦位置をロックした状態から適正な露光値を得、その露光値から絞り値及びシャッタ速度を設定してロックする(ステップS06)。
そして、このAF及びAEをロックした状態においても、CCD13をそのロックした内容に応じて連続的に駆動するもので、カラープロセス回路18内の特定色処理部18aでは上述したように色差信号U,Vにより輝度信号Y′が作成される。そのため、美肌モードの設定がオンであれば肌色部分の輪郭強調を抑えた画像信号Y′UVに基づいて表示部26でスルー画像の表示がなされる一方で、美肌モードがオフであれば通常の輪郭強調が施された画像信号Y′UVに基づいて表示部26でスルー画像の表示がなされる(ステップS07)。
こうしてAF及びAEの各状態をロックして美肌モードのオン/オフに対応したスルー画像を表示しながら、シャッタキーがさらに全押し操作されたか否か(ステップS08)、まだ半押し操作されているか否か(ステップS09)を判断し、全押し操作はされていないが半押し操作が維持されていれば上記ステップS07からの処理に戻る。
このステップS07〜S09の処理を繰返し実行する過程で、シャッタキーの半押し操作が解除された場合にはステップS09でこれを判断し、本撮影には至らなかったものとして、AF及びAEのロック状態も解除した上で再び上記ステップS01からの処理に戻る。
また、シャッタキーが全押し操作されると、ステップS08でこれを判断し、次に直前のステップS06でロックしたAF値及びAE値にしたがって撮影を実行し(ステップS10)、撮影により得た画像データに対し、その時点で美肌モードがオン設定されていれば上記特定色処理部18aから得られる乗算器51の出力である画像信号Y′UVを、オフ設定されていれば乗算器54の出力である画像信号Y′UVを選択回路55で選択した上で(ステップS11)、得た画像データをJPEG回路28にてデータ圧縮して速やかにメモリカード29に記録した後(ステップS12)、次の撮影に備えるべく上記ステップS01からの処理に戻る。
このように、特定色処理部18aに示した如く簡易な回路構成としながらも、例えば肌色など特定色に対する彩度と色相の各乖離度を算出することで、取得した画像を構成する色が特定色からどの程度乖離しているのかを正確に判断することができ、その判断結果から相応の処理を施すことが可能となる。
この場合、上記特定色処理部18aの座標回転回路41は、検出対象の特定色で定められる係数を回転各θとして回転行列による座標回転変換を行なうものとしたため、回転変換後の色差信号から、特定色に対する彩度及び色相の乖離度をより簡便に求めることが可能となる。
加えて、特定色処理部18aでは、彩度及び色相双方の乖離度を共に絶対値化することで、該乖離度の符号(乖離している方向)に左右されず特定色からどの程度乖離しているのかを確実に判断することができる。
なお、上記実施の形態では、図2の特定色処理部18aでも示した如く彩度乖離度信号difS及び色相乖離度信号difHを求めた後、これらに基づいて特定色の輪郭強調のゲインを算出して輝度信号に反映させるようにした。
このように、特定色に近い色であるほど輪郭強調のゲインを減少させ、例えば特定色が肌色であれば輪郭強調のゲインを減少させることで画像中の肌色部分を滑らかにするなど、必要に応じてより自然な画像表現に活用することができる。
なお、上記実施の形態では、特定色として肌色に対する乖離度を計算してその結果に応じた画像処理を施すものとして説明したが、特定色は上記肌色に限らず、空または海の青、木々の緑、夕日の赤など、撮影画像中で何らかの画像処理を施したい任意の色を設定することができる。
すなわち、予め複数の特定色に対応する係数を用意しておき、ユーザの指示操作に応じてそれらの中から一つを選択して座標回転回路41に供給するものとすれば、複数の特定色に対応し、その時点で必要な一つの特定色に関する処理を実行させることができる。
また、上記特定色処理部18aに相当する回路を複数並列して備え、各特定色処理部毎に異なる特定色に対応した係数を設定するものとすれば、1枚の画像信号中、同時に複数の特定色に対応した画像処理を並列して実行させることができる。
さらに、上記実施の形態では、特定色に対する乖離度を計算してその結果に応じた画像処理として輝度信号を操作することにより輪郭強調処理を行なうものとして説明したが、本発明はこれに限らず、特定色との乖離度に応じて例えば色差信号のノイズを含む高周波成分を除去するようなバンドパスフィルタ処理を施すことで色の変化が滑らかとなるように処理しても良いし、さらに各種他の画像処理を制御するものとしてもよい。
なお、上記実施の形態では、図2に示した特定色処理部18aをハードウェア回路として備える場合について例示したが、本発明はこれに限るものではなく、カラープロセス回路18の少なくとも一部を構成する画像処理用のDSP(Digital Signal Processor)等が不揮発性メモリに記憶した動作プログラムにしたがってソフトウェア的に同様の処理を実行するものとしてもよい。
さらには、上記実施の形態はデジタルカメラに適用した場合について説明したものであるが、カメラ機能を有する携帯電話機やPDA(Personal Digital Assistants:個人向け情報携帯端末)など適用するものとしてもよいし、さらには画像データを撮影して取得するのではなく、すでにある画像データを何らかの手段で入力して必要な画像処理を施すような画像ビューワなどの各種電子機器、あるいはレタッチ用ソフトウェアの一機能に適用するものとしてもよい。
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
本発明の実施の一形態に係るデジタルカメラの機能回路構成を示すブロック図。 同実施の形態に係る図1のカラープロセス回路内の特定色処理部の詳細な機能回路構成を示すブロック図。 同実施の形態に係る図2の座標変換回路での処理内容の概念を説明するための図。 同実施の形態に係る図2のルックアップテーブルの変換特性を例示する図。 同実施の形態に係る静止画像撮影時の処理内容を示すフローチャート。
符号の説明
10…デジタルカメラ、11…モータ(M)、12…撮影レンズ光学系、13…CCD、14…タイミング発生器(TG)、15…CCDドライバ、16…AGC/SH回路、17…A/D変換器、18…カラープロセス回路、18a…特定色処理部、19…DMAコントローラ、20…DRAMインタフェース(I/F)、21…DRAM、22…制御部、23…VRAMコントローラ、24…VRAM、25…デジタルビデオエンコーダ、26…表示部、27…キー入力部、28…JPEG回路、29…メモリカード、30…音声処理部、31…ストロボ駆動部、32…マイクロホン部(MIC)、33…スピーカ部(SP)、34…ストロボ発光部、41…座標回転回路、42…正規化回路、43…正接回路、44…減算器、45,46…絶対値化回路、47,48…乗算器、49…最大値選択回路、50…ルックアップテーブル(LUT)、51…乗算器、52…ハイパスフィルタ(HPF)、53…加算器、54…乗算器、55…選択回路。

Claims (5)

  1. 青色色差値と赤色色差値とを規定する色差座標平面において、画像信号の青色色差値と赤色色差値とを示す座標を、前記色差座標平面上で特定の色を示す角度だけ回転させることにより、色差回転座標を得る回転変換手段と、
    前記回転変換手段で得た色差回転座標の値前記画像信号中の輝度値で除算することにより、色差正規化値を得る正規化手段と、
    前記正規化手段で得た色差正規化値と予め定められた係数との差から彩度乖離を算出する彩度乖離度算出手段と、
    前記回転変換手段で得た色差回転座標が示す一方の色差値を当該色差回転座標が示す他方の色差値で除算することにより算出される商から、色相乖離を算出する色相乖離度算出手段と
    を具備したことを特徴とする画像処理装置
  2. 前記彩度乖離度算出手段は、
    前記正規化手段で得た色差正規化値と予め定められた係数との差の絶対値を、前記彩度乖離度として算出し、
    前記色相乖離度算出手段は、
    前記回転変換手段で得た色差回転座標が示す一方の色差値を当該色差回転座標が示す他方の色差値で除算することにより算出される商の絶対値を、前記色相乖離度として算出する
    ことを特徴とする請求項1記載の画像処理装置。
  3. 前記彩度乖離度算出手段が算出した前記彩度乖離度と、前記色相乖離度算出手段が算出した前記色相乖離度の一方を選択する選択手段と、
    前記選択手段が選択した前記彩度乖離度、または、前記選択手段が選択した前記色相乖離度に比例する輪郭強調処理の強度を規定するテーブルを記憶している記憶手段と、
    前記選択手段が選択した前記彩度乖離度と前記テーブルとにより定まる輪郭強調処理の強度、または、前記選択手段が選択した前記色相乖離度と前記テーブルとにより定まる輪郭強調処理の強度に従い、前記画像信号が表す画像に対し輪郭強調処理を施す輪郭強調手段と
    をさらに具備したことを特徴とする請求項1または2記載の画像処理装置。
  4. 青色色差値と赤色色差値とを規定する色差座標平面において、画像信号の青色色差値と赤色色差値とを示す座標を、前記色差座標平面上で特定の色を示す角度だけ回転させることにより、色差回転座標を得る回転変換工程と、
    前記回転変換工程で得た色差回転座標の値前記画像信号中の輝度値で除算することにより、色差正規化値を得る正規化工程と、
    前記正規化工程で得た色差正規化値と予め定められた係数との差から彩度乖離を算出する彩度乖離度算出工程と、
    前記回転変換工程で得た色差回転座標が示す一方の色差値を当該色差回転座標が示す他方の色差値で除算することにより算出される商から、色相乖離を算出する色相乖離度算出工程と
    を有したことを特徴とする画像処理方法。
  5. 青色色差値と赤色色差値とを規定する色差座標平面において、画像信号の青色色差値と赤色色差値とを示す座標を、前記色差座標平面上で特定の色を示す角度だけ回転させることにより、色差回転座標を得る回転変換ステップと、
    前記回転変換ステップで得た色差回転座標の値前記画像信号中の輝度値で除算することにより、色差正規化値を得る正規化ステップと、
    前記正規化ステップで得た色差正規化値と予め定められた係数との差から彩度乖離を算出する彩度乖離度算出ステップと、
    前記回転変換ステップで得た色差回転座標が示す一方の色差値を当該色差回転座標が示す他方の色差値で除算することにより算出される商から、色相乖離を算出する色相乖離度算出ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2005334441A 2005-11-18 2005-11-18 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP4375325B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005334441A JP4375325B2 (ja) 2005-11-18 2005-11-18 画像処理装置、画像処理方法及びプログラム
US11/591,071 US7821546B2 (en) 2005-11-18 2006-11-01 Image processing apparatus, imaging apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005334441A JP4375325B2 (ja) 2005-11-18 2005-11-18 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007142851A JP2007142851A (ja) 2007-06-07
JP4375325B2 true JP4375325B2 (ja) 2009-12-02

Family

ID=38053072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005334441A Expired - Fee Related JP4375325B2 (ja) 2005-11-18 2005-11-18 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US7821546B2 (ja)
JP (1) JP4375325B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4305540B2 (ja) * 2007-03-22 2009-07-29 村田機械株式会社 画像処理装置
JP5171361B2 (ja) * 2008-04-07 2013-03-27 株式会社日立製作所 撮像装置
TWI387355B (zh) * 2008-09-09 2013-02-21 Novatek Microelectronics Corp 用於一顯示裝置中之色彩調整方法及其相關裝置
TWI493502B (zh) * 2011-09-23 2015-07-21 Altek Corp 處理影像旋轉的方法與裝置
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9811901B2 (en) 2012-09-07 2017-11-07 Massachusetts Institute Of Technology Linear-based Eulerian motion modulation
US9805475B2 (en) 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5489998A (en) * 1991-03-04 1996-02-06 Canon Kabushiki Kaisha Color image processing apparatus having transmitter and receiver which perform color correction in accordance with a common standard color image and method for same
EP1439692A3 (en) * 1997-04-02 2005-04-27 Seiko Epson Corporation Image processing device for colour printing devices
JP2002016818A (ja) 2000-04-28 2002-01-18 Fuji Photo Film Co Ltd 色補正方法および装置並びに記録媒体
JP3634730B2 (ja) * 2000-09-18 2005-03-30 三洋電機株式会社 色調補正回路および色相補正回路
JP3620529B2 (ja) * 2002-03-18 2005-02-16 日本ビクター株式会社 映像補正装置及び方法、並びに、映像補正プログラム及びこれを記録した記録媒体
JP4037276B2 (ja) 2003-01-20 2008-01-23 富士フイルム株式会社 固体撮像装置及びデジタルカメラ並びに色信号処理方法
JP2004320675A (ja) 2003-04-21 2004-11-11 Victor Co Of Japan Ltd 映像信号処理装置
EP1517542B1 (en) 2003-09-01 2010-11-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting colors of an image
JP4379580B2 (ja) 2003-10-20 2009-12-09 セイコーエプソン株式会社 色補正装置、色補正方法、色補正プログラム、色変換装置、色変換方法および色変換プログラム
JP3867726B2 (ja) 2005-02-28 2007-01-10 株式会社日立製作所 映像表示装置

Also Published As

Publication number Publication date
US7821546B2 (en) 2010-10-26
JP2007142851A (ja) 2007-06-07
US20070115370A1 (en) 2007-05-24

Similar Documents

Publication Publication Date Title
JP4466261B2 (ja) 撮像装置、明るさ補正方法及びプログラム
JP4375325B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101256326B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램을 기록한 기록 매체
US20130177242A1 (en) Super-resolution image using selected edge pixels
KR101626004B1 (ko) 디지털 영상처리장치에서 raw포맷을 선택적으로 지원하는 방법 및 장치
JP2006287387A (ja) 撮像装置、音声記録方法及びプログラム
JP5873380B2 (ja) 画像処理装置およびその制御方法
KR20080030477A (ko) 화상보정장치 및 화상보정방법과 컴퓨터 판독 가능한 매체
US7409151B2 (en) Photographing apparatus, image processing method, and recording medium for recording image processing program, capable of improving contrast characteristics in high zooming magnification
JP2003299025A (ja) デジタルカメラにおけるユーザ選択可能な画像前処理のためのシステム
US11798143B2 (en) Image processing apparatus and control method thereof
JP7157714B2 (ja) 画像処理装置およびその制御方法
JPH11298848A (ja) デジタルカメラ
JP4045829B2 (ja) 撮像装置及びその自動合焦方法
JP2001008088A (ja) 撮像装置及び方法
JP2008005248A (ja) 撮像装置
JP5120369B2 (ja) 静止画生成装置、静止画生成プログラム及び静止画生成方法
JP2009033385A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP7397640B2 (ja) 画像処理装置および画像処理方法
JP2007142639A (ja) 撮像装置及びそのプログラム
JP2006339728A (ja) 撮像装置及びそのプログラム
JP5904753B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP2007134777A (ja) 撮像装置
JP6072191B2 (ja) 画像処理装置及び画像処理装置の制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090831

R150 Certificate of patent or registration of utility model

Ref document number: 4375325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees