JP2001211339A - 画像処理方法および装置並びに記録媒体 - Google Patents

画像処理方法および装置並びに記録媒体

Info

Publication number
JP2001211339A
JP2001211339A JP2000329067A JP2000329067A JP2001211339A JP 2001211339 A JP2001211339 A JP 2001211339A JP 2000329067 A JP2000329067 A JP 2000329067A JP 2000329067 A JP2000329067 A JP 2000329067A JP 2001211339 A JP2001211339 A JP 2001211339A
Authority
JP
Japan
Prior art keywords
color
image data
density
changing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000329067A
Other languages
English (en)
Other versions
JP4244105B2 (ja
Inventor
Fumito Takemoto
文人 竹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2000329067A priority Critical patent/JP4244105B2/ja
Priority to US09/712,290 priority patent/US7034959B1/en
Publication of JP2001211339A publication Critical patent/JP2001211339A/ja
Application granted granted Critical
Publication of JP4244105B2 publication Critical patent/JP4244105B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 画像の濃度および/または階調を変換した際
に、画像中の特定色についての色味も補正する。 【解決手段】 対数変換後の画像データS1に対して、
CMY色空間において階調を変換するとともに、濃度変
換手段4において濃度を変換する処理を施し、逆対数変
換を施して画像データS4を得る。次いで、LCH変換
手段6において、画像データS4を明度、彩度、色相に
変換し、色味補正手段7において彩度および/または色
相を補正し、これをRGB変換手段8においてRGBデ
ータに変換し、処理済み画像データS5を得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はデジタルカメラやス
キャナ等により取得されたデジタルのカラー画像データ
に対して濃度や階調を変更する画像処理を施す画像処理
方法および装置並びに画像処理方法をコンピュータに実
行させるためのプログラムを記録したコンピュータ読取
り可能な記録媒体に関するものである。
【0002】
【従来の技術】デジタル電子スチルカメラ(以下デジタ
ルカメラとする)において取得したデジタル画像データ
や、フイルムに記録された画像を読取ることにより得ら
れたデジタル画像データを、プリント等のハードコピー
としてあるいはディスプレイ上にソフトコピーとして再
現する画像処理システムが提案されている。また、この
ような画像処理システムにおいて、デジタル画像データ
をCD−Rなどの記録媒体に記録して提供することも行
われている。このように、デジタルカメラやスキャナ等
により取得した画像をプリントする場合、ネガフイルム
からプリントされた写真と同様の高品位な画質を有する
ものとすることが期待されている。
【0003】このため、デジタル画像データに対して濃
度や階調を補正する画像処理を施した後にプリントする
ことが行われている。とくに人物を含む画像において
は、肌色が非常に重要な色であることから、肌色が適切
な濃度あるいは階調となるように画像データに対して画
像処理を施している。例えば、ストロボを用いて撮影し
た画像においては、人物の肌色が明るすぎることがある
ため、画像の濃度を上げる方向にシフトすることによ
り、肌色を暗くすることができる。また、逆光撮影時の
暗い肌色を明るくする場合には濃度を低くすることによ
り、肌色を明るくすることができる。
【0004】
【発明が解決しようとする課題】しかしながら、画像の
濃度を上げると肌色を暗くすることはできるものの、彩
度が低下してしまい、肌色の色味が冴えないものとなっ
てしまう。また、階調を変換するための階調曲線を下に
凸となるようにして濃度を低くすると、肌色がシアンが
かったものとなり、肌色の色味としては冴えないものと
なる。このように、画像の濃度や階調を変更すると、画
像が冴えない色味を再現するものとなってしまう場合が
ある。
【0005】本発明は上記事情に鑑みなされたものであ
り、濃度および/または階調を変更しつつも、画像中の
特定色の色味を維持できる画像処理方法および装置並び
に画像処理方法をコンピュータに実行させるためのプロ
グラムを記録したコンピュータ読取り可能な記録媒体を
提供することを目的とするものである。
【0006】
【課題を解決するための手段】本発明による第1の画像
処理方法は、カラー画像データに対して濃度および/ま
たは階調を変更する画像処理を施して処理済み画像デー
タを得る画像処理方法において、第1の色空間におい
て、前記カラー画像データにより表される画像の前記濃
度および/または階調を変更するとともに、前記第1の
色空間とは異なる第2の色空間において、前記画像にお
ける特定色の彩度および/または色相を変更して前記処
理済み画像データを得ることを特徴とするものである。
【0007】本発明による第2の画像処理方法は、カラ
ー画像データに対して濃度および階調を変更する画像処
理を施して処理済み画像データを得る画像処理方法にお
いて、第1の色空間において、前記カラー画像データに
より表される画像の前記濃度を変更した後に階調を変更
するとともに、前記第1の色空間とは異なる第2の色空
間において、前記階調の変更に伴う前記画像における特
定色の彩度および/または色相の変化を補正して前記処
理済み画像データを得ることを特徴とするものである。
【0008】なお、本発明による第2の画像処理方法に
おいては、前記特定色の彩度および/または色相が、前
記濃度を変更した後の前記画像における特定色の彩度お
よび/または色相となるように前記補正を行うことが好
ましい。
【0009】ここで、「濃度を変更する」とは、カラー
画像データの全データ値に対して一律の値を乗算または
加減算することにより、データ値を一律にシフトするこ
とをいう。なお、カラー画像データが光量により表され
る場合には一律の値を乗算し、カラー画像データが濃度
により表される場合には一律の値を加減算する。また、
「階調を変更する」とは、データ値の入力値と出力値と
の関係を表す階調変換曲線(直線)の傾きを種々変更し
てデータ値を変更する、上に凸または下に凸とした非線
形となる階調変換曲線によりデータ値を変更する、デー
タ値を一律にシフトするとともにハイライト部および/
またはシャドー部を非線形なものとした階調変換曲線に
よりデータ値を変更する等、カラー画像データの全デー
タ値に対して一律の値を乗算あるいは加減算する以外の
方法によりデータ値を変更することをいう。
【0010】「第1の色空間」としては、例えばRGB
色空間、CMY色空間のように、特定色については定義
することが困難であるが、単に画素値をシフトしたり画
素値にある値を乗算することにより、画像全体の濃度や
階調を変更することが容易な色空間が挙げられる。ま
た、「第2の色空間」としては、例えばL***色空
間あるいはL***色空間のように、特定色について
定義することが容易であり、彩度や色相を制御しやすい
色空間が挙げられる。ここで、RGB色空間やCMY色
空間においては、デジタル画像データの1単位当たりの
変化量は全色領域において均等であるが、L***
空間やL***色空間においては、デジタル画像デー
タの1単位当たりの変化量は色領域に応じて異なるもの
となる。すなわち、ある色領域においては1単位当たり
の変化量が非常に大きく、他の色領域においては1単位
当たりの変化量が非常に小さくなったりする。このた
め、L***色空間やL***色空間において濃度や
階調を変化させようとしても、色領域に応じて変化量が
異なるため、例えば1単位当たりの変化量が大きい色領
域と小さい色領域とにおいて濃度のシフト量や階調の変
化の程度が異なり、全色に亘って一律に濃度や階調を変
化させようとすると、処理済み画像に破綻を生じてしま
う。このため、本発明においては、濃度および/または
階調を変更する際にはRGB色空間、CMY色空間など
の第1の色空間において行い、彩度および/または色相
を変更する際にはL***色空間、L***色空間な
どの第2の色空間において行うようにしたものである。
【0011】なお、本発明においては、濃度および/ま
たは階調の変更、並びに彩度および/または色相の変更
を演算式に基づいて行ってもよく、予め作成されたルッ
クアップテーブルを参照することにより行ってもよい。
【0012】また、本発明においては、濃度および/ま
たは階調を変更した後に一旦中間的な画像データ(濃度
および/または階調が変更されたもの)を得、この中間
的な画像データに対して彩度および/または色相を変更
する処理を施して処理済み画像データを得るようにして
もよい。また、ルックアップテーブルを用いて濃度およ
び/または階調の変更並びに彩度および/または色相の
変更を同時に行うことが好ましい。このように、濃度お
よび/または階調の変更並びに彩度および/または色相
の変更をルックアップテーブルを用いて行うことによ
り、演算時間を短縮することができる。また、濃度およ
び/または階調の変更並びに彩度および/または色相の
変更を演算式を用いてそれぞれ別個に行った場合、中間
画像データがある一定値以上あるいは一定値以下となっ
てクリップされると、クリップされた部分については、
彩度および/または色相を適切に変更することができな
いこととなる。しかしながら、ルックアップテーブルを
用いて濃度および/または階調の変更並びに彩度および
/または色相の変更を同時に行えば、中間画像データが
生成されないことからクリップが生じることが無くな
り、これにより適切な彩度および/または色相を有する
画像を再現可能な処理済み画像データを得ることができ
る。
【0013】本発明による第1の画像処理装置は、カラ
ー画像データに対して濃度および/または階調を変更す
る画像処理を施して処理済み画像データを得る画像処理
装置において、第1の色空間において、前記カラー画像
データにより表される画像の前記濃度および/または階
調を変更する第1の変更手段と、前記第1の色空間とは
異なる第2の色空間において、前記画像における特定色
の彩度および/または色相を変更して前記処理済み画像
データを得る第2の変更手段とを備えたことを特徴とす
るものである。
【0014】なお、本発明による第1の画像処理装置に
おいては、前記第1および第2の変更手段を共通の手段
としてもよい。
【0015】本発明による第2の画像処理装置は、カラ
ー画像データに対して濃度および階調を変更する画像処
理を施して処理済み画像データを得る画像処理装置にお
いて、第1の色空間において、前記カラー画像データに
より表される画像の前記濃度を変更した後に階調を変更
する第1の変更手段と、前記第1の色空間とは異なる第
2の色空間において、前記階調の変更に伴う前記画像に
おける特定色の彩度および/または色相の変化を補正し
て前記処理済み画像データを得る第2の変更手段とを備
えたことを特徴とするものである。
【0016】なお、本発明による第2の画像処理装置に
おいては、前記第2の変更手段は、前記特定色の彩度お
よび/または色相が、前記濃度を変更した後の前記画像
における特定色の彩度および/または色相となるように
前記補正を行う手段であることが好ましい。
【0017】また、本発明による第2の画像処理装置に
おいても、前記第1および第2の変更手段を共通の手段
からなるものとしてもよい。
【0018】なお、本発明による第1および第2の画像
処理方法をコンピュータに実行させるためのプログラム
として、コンピュータ読取り可能な記録媒体に記録して
提供してもよい。
【0019】
【発明の効果】本発明によれば、濃度および/または階
調については第1の色空間において変更するようにした
ため、画像に破綻を来すことなくカラー画像データの濃
度および/または階調を変更することができる。また、
画像中の特定色の彩度および/または色相については第
2の色空間において変更するようにしたため、特定色に
ついては所望とする彩度および/または色相となるよう
に変更することができる。したがって、処理済み画像デ
ータを再生することにより得られる再生画像を所望とす
る濃度および/または階調を有し、かつ特定色において
は所望とする彩度および/または色相すなわち色味を有
するものとすることができる。
【0020】
【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。
【0021】図1は本発明の第1の実施形態による画像
処理装置の構成を示す概略ブロック図である。図1に示
すように、第1の実施形態による画像処理装置は、デジ
タルカメラにより撮像された、あるいはスキャナにより
読取られた、R,G,Bの色データR0,G0,B0か
らなる画像データS0に対して画像処理を施して処理済
み画像データS5(R5,G5,B5)を得るものであ
り、画像データS0が記録されたメディアから画像デー
タS0を読み出す、あるいはネットワークを介して転送
された画像データS0を読み出す読出手段1と、画像デ
ータS0を対数変換してCMY色空間の濃度値C1,M
1,Y1からなる画像データS1を得る対数変換手段2
と、対数変換された画像データS1に対して階調を変換
する処理を施して画像データS2を得る階調変換手段3
と、画像データS2に対して濃度を変更する処理を施し
て画像データS3を得る濃度変換手段4と、画像データ
S3を逆対数変換してRGB色空間の色データR4,G
4,B4からなる画像データS4を得る逆対数変換手段
5と、画像データS4を構成するR,G,Bの色データ
R4,G4,B4を明度L*、彩度C*および色相角HA
を表すデータL4,C4,H4に変換するLCH変換手
段6と、データL4,C4,H4に対して色味を補正す
る処理を施して処理済みデータL5,C5,H5を得る
色味補正手段7と、処理済みデータL5,C5,H5を
RGB色空間に変換して色データR5,G5,B5から
なる処理済み画像データS5を得るRGB変換手段8と
を備える。
【0022】なお、第1の実施形態は、階調変換手段3
において後述する基本階調曲線により階調を変換するこ
とにより得られる肌色の色味と、基本階調曲線により階
調を変更するとともに、濃度変換手段4によって濃度を
変更することにより得られる肌色の色味との変化量を求
め、その変化量を色味補正手段7において補正するもの
である。
【0023】したがって、本実施形態における濃度変換
手段4が本発明の第1の変更手段に対応し、色味補正手
段7が第2の変更手段に対応する。
【0024】階調変換手段3は例えば図2に示す基本階
調変換曲線により、濃度値C1,M1,Y1からなる画
像データS1を変換して濃度値C2,M2,Y2からな
る画像データS2を得る。この階調変換曲線はS字状の
カーブを有し、かつ中間濃度域において1.5の傾きを
有するものである。
【0025】濃度変換手段4には、画像全体の濃度D、
C(シアン)、M(マゼンタ)およびY(イエロー)の
各色の濃度を補正するためのDCMYキー4Aが接続さ
れており、このDCMYキー4Aを操作することによ
り、キーを押下した回数に応じて画像全体の濃度、C、
M、Yの各色の濃度が変更されることとなる。
【0026】濃度変換手段4においては例えば図3に示
すように階調変換済みの画像データS2の各濃度値C
2,M2,Y2に一律の値を加減算する。すなわち各濃
度値C2,M2,Y2をシフトして線形に濃度が変更さ
れ、濃度値C3,M3,Y3からなる画像データS3が
得られる。例えば、画像データS0により表される画像
が暗い場合、画像を明るくするために濃度を図3の下方
にシフトする。この処理は真数空間において下記の式
(1)により表すことができる。
【0027】 但し、αはキーを押下した回数に応じて定められる係数
(α>1)、R2,G2,B2は濃度値C2,M2,Y
2の、R3,G3,B3は濃度値C3,M3,Y3の真
数値である。
【0028】一方、画像データS0により表される画像
が明るい場合、画像を暗くするために濃度を図3の上方
にシフトする。この処理は上記式(1)においてα<1
とすることに相当する処理である。なお、上記式(1)
においては真数値の色データR2,G2,B2に係数α
を乗算することにより濃度をシフトしているが、これは
後述の説明を容易にするためであり、濃度値C2,M
2,Y2で表した場合には、係数αに対応する濃度シフ
ト量が濃度値C2,M2,Y2に加減算されて濃度がシ
フトされる。
【0029】なお、階調変換手段3および濃度変換手段
4ではCMY色空間にて全ての処理が行われるものであ
る。
【0030】LCH変換手段6は画像データS3を逆対
数変換することにより得られる画像データS4をRGB
色空間からL***色空間に変換するとともに、明度
*、彩度(クロマ値)C*および色相角HAを表すデー
タL4,C4,H4を得るものである。以下、この変換
について説明する。読出手段1において読み出される画
像データS0は、ITU−R BT.709(REC.
709)に準拠しているものとすると、下記の式(2)
から(4)に基づいて画像データS4を構成する色デー
タR4,G4,B4がCIE1931三刺激値X,Y,
Zに変換される。
【0031】 Pr=R4/255 Pg=G4/255 (2) Pb=B4/255 R4′=((Pr+0.099)/1.099)2.222 G4′=((Pg+0.099)/1.099)2.222 (Pr,Pg,Pb≧0.081) (3) B4′=((Pb+0.099)/1.099)2.222 R4′=Pr/4.5 G4′=Pg/4.5 (Pr,Pg,Pb<0.081) (3′) B4′=Pb/4.5 X R4′ Y =|A|・ G4′ (4) Z B4′ ここで、マトリクス|A|は、色データR4′,G
4′,B4′を三刺激値X,Y,Zに変換するためのマ
トリクスであり、例えば以下のような値を用いることが
できる。
【0032】 0.4124 0.3576 0.1805 |A| = 0.2126 0.7152 0.0722 (5) 0.0193 0.1192 1.0571 なお、マトリクス|A|に代えて、ルックアップテーブ
ルにより三刺激値X,Y,Zを求めるようにしてもよ
い。
【0033】次に、三刺激値X,Y,Zから下記の式
(6)〜(8)によりCIE1976L*(=L4)、
クロマ値C*(=C4)および色相角HA(=H4)を
求める。
【0034】 a*=500{f(X/Xn)−f(Y/Yn)} b*=200{f(Y/Yn)−f(Z/Zn)} (6) L*=116(Y/Yn)1/3−16(Y/Yn>0.0088
56のとき) L*=903.25(Y/Yn)(Y/Yn≦0.008856
のとき) ここで、 X/Xn,Y/Yn,Z/Zn>0.008856のとき f(a/an)=(a/an)1/3(a=X,Y,Z) X/Xn,Y/Yn,Z/Zn≦0.008856のとき f(a/an)=7.787(a/an)+16/11
6 なお、Xn,Yn,Znは白色に対する三刺激値であ
り、CIE−D65(色温度が6500Kの光源)に対
応する三刺激値により代用することができる。
【0035】 C*=(a*2+b*21/2 (7) HA=tan-1(b*/a*) (8) ここで、上記式(1)による濃度シフト前の画像データ
S2(階調のみが変換されたもの)を式(2)から
(4)により変換することによって得られる三刺激値を
X2,Y2,Z2、濃度シフト後の三刺激値をX3,Y
3,Z3とすると、 X3 R4′ R2 X2 Y3=|A|・ G4′=α|A|・G2=α・Y2 (9) Z3 B4′ B2 Z2 となる。したがって、係数αを用いて式(6)に基づい
てクロマ値C*を求めると(但しX/Xn,Y/Yn,
Z/Zn>0.008856とする)、 a*=500{(αX/Xn)1/3−(αY/Yn)1/3} =α1/3500{(X/Xn)1/3−(Y/Yn)1/3} b*=200{(αY/Yn)1/3−(αZ/Zn)1/3} (10) =α1/3200{(Y/Yn)1/3−(Z/Zn)1/3} となる。したがって、 C*=α1/3(a*2+b*21/2 (11) となる。
【0036】式(11)により、RGB空間において濃
度をシフトさせて画像を明るくするあるいは暗くするこ
とは、同時にクロマ値を上げるあるいは下げることに対
応する。例えば、画像を明るくする場合にはα>1とな
ることからクロマ値は上がるため、彩度が上がって知覚
される。逆に、画像を暗くする場合にはα<1となるこ
とから、クロマ値は下がるため彩度が下がって知覚され
る。
【0037】これを補正するために、色味補正手段7に
おいては、図4に示すようにL***空間の肌色領域
において、肌色の周辺部すなわち肌色から離れるほど値
が小さくなり、中心部すなわち肌色に近いほど値が大き
くなるような肌色強度関数W(a*,b*)(但し0≦W
(a*,b*)≦1)を定義しておき、下記の式(12)
に基づいて肌色領域のクロマ値を変更して変更クロマ値
C1*(=C5)を得る。
【0038】 C1*=(α1/3−1)・C*・W(a*,b*)+C* (12) ここで、整数値として設定されたa*,b*に対する肌色
強度関数(a*,b*)を予め求めておき、上記式(6)
により算出された値a*,b*を整数化し、整数化された
*,b*に対応する肌色強度関数W(a*,b*)を選択
するようにしてもよい。また、任意の値a*,b*に応じ
た肌色強度関数W(a*,b*)を予め求めておき、実際
に式(6)により算出された値a*,b*に基づいて、予
め求められたW(a*,b*)に対して補間演算を施すこ
とにより、算出された値a*,b*に対する肌色強度関数
W(a*,b*)求めるようにしてもよい。
【0039】RGB変換手段8は、変更クロマ値C1*
(=C5)および色相角HA(ここでは変更されていな
いがHA=H5となる)に基づいて、上記式(7)、
(8)を逆に解くことにより変更後のa*,b*を求め、
この変更後のa*,b*およびL *に基づいて、式(6)
を逆に解くことにより変更後の三刺激値X5,Y5,Z
5を求める。
【0040】そして、下記の式(13)により三刺激値
X5,Y5,Z5を色データR5′,G5′,B5′に
変換する。
【0041】 R5′ X5 G5′=|A|-1・Y5 (13) B5′ Z5 さらに、下記の式(14)により色データR5,G5,
B5を得、これを処理済み画像データS5とする。
【0042】 R5=255×(1.099R5′0.45−0.099) G5=255×(1.099G5′0.45−0.099)(0.018≦R5′,G5′,B5′≦1) B5=255×(1.099B5′0.45−0.099) R5=255×4.500R5′ G5=255×4.500G5′ (0≦R5′,G5′,B5′<0.018) B5=255×4.500B5′ (14) なお、上記第1の実施形態においては、濃度変換手段4
において濃度を一律にシフトすることにより線形に濃度
を変更しているが、濃度変換手段4において濃度を非線
形となるように変更するすなわち階調を変更するように
してもよい。例えば、画像データS0により表される画
像が暗い場合、図5に示すようにハイライト部とシャド
ー部とを固定して下に凸の非線形となるように階調を変
更することにより、画像を明るくすることができる。一
方、上に凸の非線形となるように階調を変更すれば、画
像を暗くすることができる。この処理により、肌色は真
数空間において下記の式(15)により表すことができ
る。
【0043】 但し、α、β、γはキーを押下した回数に応じて定めら
れる係数であり、γ>β>α>1(画像を明るくする場
合)となる。すなわち、CMY色空間において肌色の色
バランスは概ねC>M>Yであり、階調を下に凸となる
ように変更した場合は、CMY各色の変化量は図5の矢
印に示すようにC<M<Yとなるため、γ>β>α>1
となる。逆に、画像を暗くする場合には、0<γ<β<
α<1となる。
【0044】このように階調を非線形となるように変更
した場合、上記(7)において求められるクロマ値C*
が階調の変更量に応じて一律に変化しないものとなる。
また、クロマ値C*のみでなく、式(8)により算出さ
れる色相角HAも変化する。したがって、階調を非線形
となるように変更した場合には、階調変更前の三刺激値
X,Y,Zと変更後の三刺激値X,Y,Zとに基づいて
上記式(6)から(8)を用いて肌色の各画素毎にクロ
マ値C*および色相角HAの変化量ΔCおよびΔHAを
算出し、下記の式(16)、(17)に示すように、こ
れを肌色強度関数W(a*,b*)と乗算して変更クロマ
値C1*(=C5)および変更色相角HA1(=H5)
を求めればよい。
【0045】 C1*=ΔC・W(a*,b*)+C* (16) HA1=ΔHA・W(a*,b*)+HA (17) しかしながら、肌色の各画素毎に変化量ΔCおよびΔH
Aを算出するには、濃度シフトの前後においてクロマ値
および色相角を算出する必要があるため演算負荷が非常
に大きい。このため、階調変更による濃度の変化量をΔ
Dとし、この変化量ΔDに依存した変化量ΔCおよびΔ
HAのテーブルを肌色領域内に作成し、このテーブルを
参照して補正量を求めることが好ましい。これを式で表
すと下記の式(18)、(19)となる。
【0046】 C1*=fc(ΔD)・W(a*,b*)+C* (18) HA1=fh(ΔD)・W(a*,b*)+HA (19) 但し、fc(ΔD):肌色領域内のクロマ値の変化量Δ
C fh(ΔD):肌色領域内の色相角の変化量ΔHA そして、このようにして算出された変更クロマ値C1*
(=C5)および変更色相角HA1(=H5)に基づい
て、RGB変換手段8において上記式(7)、(8)を
逆に解くことにより変更後のa*,b*を求め、この変更
後のa*,b*およびL*に基づいて、式(6)を逆に解
くことにより変更後の三刺激値X5,Y5,Z5を求め
る。そして、上記式(13)および(14)に基づいて
色データR5,G5,B5を算出し、これを処理済み画
像データS5とする。
【0047】次いで、第1の実施形態の動作について説
明する。図6は本実施形態の動作を示すフローチャート
である。まず、読出手段1において画像データS0が読
み出されて対数変換手段2に入力される(ステップS
1)。対数変換手段2においては画像データS0が対数
変換されて画像データS1が得られる(ステップS
2)。画像データS1は階調変換手段3において階調変
換が施されて画像データS2が得られる(ステップS
3)。画像データS2は濃度変換手段4において濃度が
変更されて画像データS3が得られる(ステップS
4)。なお、濃度変換手段4において階調を変更しても
よい。画像データS3は逆対数変換手段5において逆対
数変換されて画像データS4が得られる(ステップS
5)。
【0048】画像データS4はLCH変換手段6におい
て明度、彩度、色相に変換され(ステップS6)、色味
補正手段7においてその色味が補正される(ステップS
7)。そして色味が補正された明度、彩度、色相データ
はRGB変換手段8においてRGBに変換されて処理済
み画像データS5が得られ(ステップS8)、処理を終
了する。
【0049】このように、本実施形態においては、濃度
および/または階調についてはCMY色空間(真数値で
考えた場合にはRGB色空間)において変更するように
したため、画像に破綻を来すことなく画像データS0の
濃度を変更することができる。また、画像中の肌色の彩
度および/または色相についてはL***色空間にお
いて変更するようにしたため、肌色については所望とす
る彩度および/または色相となるように変更することが
できる。したがって、処理済み画像データS5を再生す
ることにより得られる再生画像において、所望とする濃
度および/または階調を有し、かつ特定色においては所
望とする色味を有するものとすることができる。
【0050】次いで、本発明の第2の実施形態について
説明する。図7は本発明の第2の実施形態による画像処
理装置の構成を示す概略ブロック図である。なお、第2
の実施形態において、第1の実施形態と同一の構成につ
いては同一の参照番号を付し、詳細な説明は省略する。
第1の実施形態においては、濃度変換手段4において、
図3に示すように濃度をシフトする、あるいは図5に示
すように階調を変更するようにしているが、第2の実施
形態においては、図3に示すように濃度をシフトした
後、図8に示すように階調を変更する濃度変換手段14
を備えた点が第1の実施形態と異なるものである。
【0051】このため、第2の実施形態における濃度変
更手段14は、図3に示すように画像データS2に対し
て濃度をシフトする処理を施して画像データS2aを得
る濃度シフト手段14Aと、画像データS2aに対して
図8に示すように階調を変更する処理を施して画像デー
タS3を得る階調変更手段14Bとを備える。なお、図
3における縦軸の画像データS3は第2の実施形態にお
いては、画像データS2aに読み替えるものとする。
【0052】なお、第2の実施形態は、濃度シフト手段
14Aにおいて濃度をシフトした後の肌色の色味と、濃
度シフト後に階調変更手段14Bにおいてさらに階調を
変更することにより得られる肌色の色味との変化量を求
め、その変化量を色味補正手段7において補正するもの
である。
【0053】濃度シフト手段14Aにおいては、画像デ
ータS2の濃度値C2,M2,Y2をシフトして濃度が
変更されて濃度値C2a,M2a,Y2aからなる画像
データS2aが得られる。この処理は、真数空間におい
て下記の式(20)により表すことができる。
【0054】 ここで、αはDCMYキー4Aを押下した回数に応じて
定められる係数であって、濃度を図3の下方にシフトす
る場合はα>1、上方にシフトする場合はα<1とな
る。なお、R2a,G2a,B2aは濃度値C2a,M
2a,Y2aの真数値である。
【0055】階調変更手段14Bにおいては、図8に示
すように画像データS2の各濃度値C2a,M2a,Y
2aのハイライト部(低濃度域)が非線形となるように
階調を変更する。この処理により、肌色は真数空間にお
いて下記の式(21)により表すことができる。
【0056】 但し、α′、β′、γ′はDCMYキー4Aを押下した
回数に応じて定められる係数であり、γ′>β′>α′
>1(ハイライト部を明るくする場合)となる。逆に、
ハイライト部を暗くする場合には、0<γ′<β′<
α′<1とすればよい。
【0057】このように階調を非線形となるように変更
した場合、図5に示すように階調を非線形となるように
変更する場合と同様に、上記(7)において求められる
クロマ値C*が階調の変更量に応じて一律に変化しない
ものとなる。また、クロマ値C*のみでなく、式(8)
により算出される色相角HAも変化する。したがって、
階調を非線形となるように変更した場合には、階調変更
前の三刺激値X,Y,Z(画像データS2aから求めら
れるもの)と変更後の三刺激値X,Y,Z(画像データ
S3から求められるもの)とに基づいて上記式(6)か
ら(8)を用いて肌色の各画素毎にクロマ値C*および
色相角HAの変化量ΔCおよびΔHAを算出し、上記の
式(16)、(17)に示すように、これを肌色強度関
数W(a *,b*)と乗算して変更クロマ値C1*(=C
5)および変更色相角HA1(=H5)を求めればよ
い。
【0058】また、画像データS2aと画像データS3
との階調変更による濃度の変化量をΔDとし、この変化
量ΔDに依存した変化量ΔCおよびΔHAのマップを作
成し、このマップを参照して上記式(18)、(19)
に示すように補正量を求めることが好ましい。
【0059】そして、このようにして算出された変更ク
ロマ値C1*(=C5)および変更色相角HA1(=H
5)に基づいて、RGB変換手段8において上記式
(7)、(8)を逆に解くことにより変更後のa*,b*
を求め、この変更後のa*,b*およびL*に基づいて、
式(6)を逆に解くことにより変更後の三刺激値X5,
Y5,Z5を求める。そして、上記式(13)および
(14)に基づいて色データR5,G5,B5を算出
し、これを処理済み画像データS5とすればよい。
【0060】なお、上記第1および第2の実施形態にお
いては、LCH変換手段6においては、画像データS4
をL***空間に変換しているが、L***空間に変
換し、色味補正手段7にてL***空間において彩度
および色相を補正するようにしてもよい。
【0061】また、上記第1および第2の実施形態にお
いては、画像データS0に対して、対数変換手段2、階
調変換手段3、濃度変換手段4,14、逆対数変換手段
5、LCH変換手段6、色味補正手段7およびRGB変
換手段8においてそれぞれ上述した処理を行っている
が、各手段における処理を同時に行うためのルックアッ
プテーブルを予め作成しておき、画像データS0をこの
ルックアップテーブルを参照して変換することにより、
処理済み画像データS5を得るようにしてもよい。この
ように、ルックアップテーブルを参照して画像データS
0を変換することにより、演算量を低減して処理を高速
に行うことができる。この場合、図9の第3の実施形態
による画像処理装置に示すように、上記各手段に代え
て、上記各手段における処理を同時に行うための演算手
段20のみを設ければよいため、装置の構成を簡易なも
のとすることができる。
【0062】さらに、上記第1および第2の実施形態に
おいては肌色の色味を補正しているが、空の色や樹木の
緑色を特定色として、肌色の場合と同様に色味を補正す
ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態による画像処理装置の
構成を示す概略ブロック図
【図2】濃度シフトを説明するための図
【図3】階調変換曲線を示す図
【図4】L***空間における肌色強度関数を示す図
【図5】濃度シフトの他の例を説明するための図
【図6】本実施形態の動作を示すフローチャート
【図7】本発明の第2の実施形態による画像処理装置の
構成を示す概略ブロック図
【図8】第2の実施形態における階調変換曲線を示す図
【図9】本発明の第3の実施形態による画像処理装置の
構成を示す概略ブロック図
【符号の説明】
1 読出手段 2 対数変換手段 3 階調変換手段 4,14 濃度変換手段 5 逆対数変換手段 6 LCH変換手段 7 色味補正手段 8 RGB変換手段 20 演算手段
フロントページの続き Fターム(参考) 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE11 CE17 CE18 5C066 AA11 CA21 CA25 EA05 EA07 EB01 EE02 GA01 HA03 HA04 KE01 KE09 KE16 5C077 LL19 MP08 PP15 PP31 PP32 PP33 PP35 PP36 PP37 PQ08 PQ23 SS01 SS05 TT02 TT09 5C079 HB01 HB02 HB06 HB12 LA02 LA12 LA13 LB01 MA11 NA03 NA05 PA00

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 カラー画像データに対して濃度および
    /または階調を変更する画像処理を施して処理済み画像
    データを得る画像処理方法において、 第1の色空間において、前記カラー画像データにより表
    される画像の前記濃度および/または階調を変更すると
    ともに、 前記第1の色空間とは異なる第2の色空間において、前
    記画像における特定色の彩度および/または色相を変更
    して前記処理済み画像データを得ることを特徴とする画
    像処理方法。
  2. 【請求項2】 カラー画像データに対して濃度および
    階調を変更する画像処理を施して処理済み画像データを
    得る画像処理方法において、 第1の色空間において、前記カラー画像データにより表
    される画像の前記濃度を変更した後に階調を変更すると
    ともに、 前記第1の色空間とは異なる第2の色空間において、前
    記階調の変更に伴う前記画像における特定色の彩度およ
    び/または色相の変化を補正して前記処理済み画像デー
    タを得ることを特徴とする画像処理方法。
  3. 【請求項3】 前記特定色の彩度および/または色相
    が、前記濃度を変更した後の前記画像における特定色の
    彩度および/または色相となるように前記補正を行うこ
    とを特徴とする請求項2記載の画像処理方法。
  4. 【請求項4】 カラー画像データに対して濃度および
    /または階調を変更する画像処理を施して処理済み画像
    データを得る画像処理装置において、 第1の色空間において、前記カラー画像データにより表
    される画像の前記濃度および/または階調を変更する第
    1の変更手段と、 前記第1の色空間とは異なる第2の色空間において、前
    記画像における特定色の彩度および/または色相を変更
    して前記処理済み画像データを得る第2の変更手段とを
    備えたことを特徴とする画像処理装置。
  5. 【請求項5】 前記第1および第2の変更手段が共通
    の手段からなることを特徴とする請求項4記載の画像処
    理装置。
  6. 【請求項6】 カラー画像データに対して濃度および
    階調を変更する画像処理を施して処理済み画像データを
    得る画像処理装置において、 第1の色空間において、前記カラー画像データにより表
    される画像の前記濃度を変更した後に階調を変更する第
    1の変更手段と、 前記第1の色空間とは異なる第2の色空間において、前
    記階調の変更に伴う前記画像における特定色の彩度およ
    び/または色相の変化を補正して前記処理済み画像デー
    タを得る第2の変更手段とを備えたことを特徴とする画
    像処理装置。
  7. 【請求項7】 前記第2の変更手段は、前記特定色の
    彩度および/または色相が、前記濃度を変更した後の前
    記画像における特定色の彩度および/または色相となる
    ように前記補正を行う手段であることを特徴とする請求
    項6記載の画像処理装置。
  8. 【請求項8】 前記第1および第2の変更手段が共通
    の手段からなることを特徴とする請求項6または7記載
    の画像処理装置。
  9. 【請求項9】 カラー画像データに対して濃度および
    /または階調を変更する画像処理を施して処理済み画像
    データを得る画像処理方法をコンピュータに実行させる
    ためのプログラムを記録したコンピュータ読取り可能な
    記録媒体において、 前記プログラムは、第1の色空間において、前記カラー
    画像データにより表される画像の前記濃度および/また
    は階調を変更するとともに、 前記第1の色空間とは異なる第2の色空間において、前
    記画像における特定色の彩度および/または色相を変更
    して前記処理済み画像データを得る手順を有することを
    特徴とするコンピュータ読取り可能な記録媒体。
  10. 【請求項10】 カラー画像データに対して濃度およ
    び階調を変更する画像処理を施して処理済み画像データ
    を得る画像処理方法をコンピュータに実行させるための
    プログラムを記録したコンピュータ読取り可能な記録媒
    体において、 前記プログラムは、第1の色空間において、前記カラー
    画像データにより表される画像の前記濃度を変更した後
    に階調を変更するとともに、 前記第1の色空間とは異なる第2の色空間において、前
    記階調の変更に伴う前記画像における特定色の彩度およ
    び/または色相の変化を補正して前記処理済み画像デー
    タを得る手順を有することを特徴とするコンピュータ読
    取り可能な記録媒体。
  11. 【請求項11】 前記処理済み画像データを得る手順
    は、前記特定色の彩度および/または色相が、前記濃度
    を変更した後の前記画像における特定色の彩度および/
    または色相となるように前記補正を行う手順を有するこ
    とを特徴とする請求項10記載のコンピュータ読取り可
    能な記録媒体。
JP2000329067A 1999-11-15 2000-10-27 画像処理方法および装置並びに記録媒体 Expired - Fee Related JP4244105B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000329067A JP4244105B2 (ja) 1999-11-15 2000-10-27 画像処理方法および装置並びに記録媒体
US09/712,290 US7034959B1 (en) 1999-11-15 2000-11-15 Method, apparatus and recording medium for image processing

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP32410599 1999-11-15
JP11-324105 1999-11-15
JP2000329067A JP4244105B2 (ja) 1999-11-15 2000-10-27 画像処理方法および装置並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2001211339A true JP2001211339A (ja) 2001-08-03
JP4244105B2 JP4244105B2 (ja) 2009-03-25

Family

ID=26571384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000329067A Expired - Fee Related JP4244105B2 (ja) 1999-11-15 2000-10-27 画像処理方法および装置並びに記録媒体

Country Status (2)

Country Link
US (1) US7034959B1 (ja)
JP (1) JP4244105B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180114A (ja) * 2002-11-28 2004-06-24 Sony Corp 顔色補正方法及び顔色補正装置及び撮像機器
WO2012092488A3 (en) * 2010-12-30 2013-01-17 Pelco Inc. Color similarity sorting for video forensics search
JP2015152646A (ja) * 2014-02-10 2015-08-24 シナプティクス・ディスプレイ・デバイス合同会社 表示装置、表示パネルドライバ、画像処理装置及び画像処理方法
US9171075B2 (en) 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US9681125B2 (en) 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733873B2 (ja) * 2001-06-07 2006-01-11 ノーリツ鋼機株式会社 写真画像処理装置、方法及び写真処理装置
CN100473172C (zh) * 2002-09-26 2009-03-25 精工爱普生株式会社 图象数据的输出图象调整装置和方法
JP4584544B2 (ja) * 2003-04-11 2010-11-24 富士フイルム株式会社 画像再生装置および固体撮像装置
JP2006150810A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像処理方法、装置およびプログラム
KR101295881B1 (ko) * 2009-07-10 2013-08-12 엘지디스플레이 주식회사 선호색 보정방법과 이를 이용한 표시장치
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Jvcケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
TWI512682B (zh) * 2014-09-30 2015-12-11 Quanta Comp Inc 影像處理系統及色彩飽和度補償方法
KR102117559B1 (ko) 2019-03-22 2020-06-02 주식회사 홍진에이치제이씨 헬멧용 턱끈 디바이더

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326862A (ja) * 1993-05-17 1994-11-25 Ricoh Co Ltd ディジタルカラー複写機
JPH0923447A (ja) * 1995-07-04 1997-01-21 Canon Inc 画像処理装置及び方法
JPH10233934A (ja) * 1998-03-09 1998-09-02 Canon Inc 画像処理方法及び装置
JPH1132227A (ja) * 1997-07-14 1999-02-02 Canon Inc 画像処理方法及び装置及び記憶媒体
JPH11345321A (ja) * 1998-04-03 1999-12-14 Nikon Corp カラ―画像処理装置およびカラ―画像処理制御プログラムを記憶した記憶媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4929978A (en) * 1987-10-23 1990-05-29 Matsushita Electric Industrial Co., Ltd. Color correction method for color copier utilizing correction table derived from printed color samples
US5680230A (en) * 1993-09-09 1997-10-21 Canon Kabushiki Kaisha Image processing method and apparatus thereof
JPH07298061A (ja) * 1994-04-28 1995-11-10 Canon Inc カラーファクシミリ装置
DE69623882T2 (de) * 1995-07-17 2003-05-08 Canon Kk Bildverarbeitungsgerät und Verfahren
US6693731B1 (en) * 1995-07-31 2004-02-17 Canon Kabushiki Kaisha Image processing apparatus and method
JP3708621B2 (ja) * 1996-04-15 2005-10-19 富士写真フイルム株式会社 画像読み取り装置
US6449060B1 (en) * 1996-07-22 2002-09-10 Canon Kabushiki Kaisha Image processing apparatus and method
US6458520B2 (en) * 1997-08-05 2002-10-01 Fuji Photo Film Co., Ltd. Color image formation method
JP3584389B2 (ja) * 1998-03-25 2004-11-04 富士写真フイルム株式会社 画像処理方法および画像処理装置
JP3457562B2 (ja) * 1998-04-06 2003-10-20 富士写真フイルム株式会社 画像処理装置及び方法
US6480300B1 (en) * 1998-04-08 2002-11-12 Fuji Photo Film Co., Ltd. Image processing apparatus, image processing method and recording medium on which software for executing the image processing is recorded
US6415053B1 (en) * 1998-04-20 2002-07-02 Fuji Photo Film Co., Ltd. Image processing method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326862A (ja) * 1993-05-17 1994-11-25 Ricoh Co Ltd ディジタルカラー複写機
JPH0923447A (ja) * 1995-07-04 1997-01-21 Canon Inc 画像処理装置及び方法
JPH1132227A (ja) * 1997-07-14 1999-02-02 Canon Inc 画像処理方法及び装置及び記憶媒体
JPH10233934A (ja) * 1998-03-09 1998-09-02 Canon Inc 画像処理方法及び装置
JPH11345321A (ja) * 1998-04-03 1999-12-14 Nikon Corp カラ―画像処理装置およびカラ―画像処理制御プログラムを記憶した記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180114A (ja) * 2002-11-28 2004-06-24 Sony Corp 顔色補正方法及び顔色補正装置及び撮像機器
WO2012092488A3 (en) * 2010-12-30 2013-01-17 Pelco Inc. Color similarity sorting for video forensics search
US8737727B2 (en) 2010-12-30 2014-05-27 Pelco, Inc. Color similarity sorting for video forensics search
US9171075B2 (en) 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US9681125B2 (en) 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
JP2015152646A (ja) * 2014-02-10 2015-08-24 シナプティクス・ディスプレイ・デバイス合同会社 表示装置、表示パネルドライバ、画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP4244105B2 (ja) 2009-03-25
US7034959B1 (en) 2006-04-25

Similar Documents

Publication Publication Date Title
JP3668014B2 (ja) 画像処理方法及び装置
JP2002016818A (ja) 色補正方法および装置並びに記録媒体
US7333136B2 (en) Image processing apparatus for carrying out tone conversion processing and color correction processing using a three-dimensional look-up table
JP2001211339A (ja) 画像処理方法および装置並びに記録媒体
JP2002016874A (ja) 画像処理方法および装置並びにそのためのプログラムを記録した記録媒体
JP2003264699A (ja) レンダリングデジタル画像の色、輝度及び階調スケールの調整方法
JP2001128191A (ja) 画像処理方法および装置並びに記録媒体
US8068240B2 (en) Image processing using undeveloped image data
US20050068587A1 (en) Monotone conversion process for color images
US7184174B2 (en) Color picture signal processing method and color picture using the method
JP4581999B2 (ja) 画像処理装置および画像処理方法
CA2117030C (en) Color reproducing method used in an image data processing system comprising independent input and output devices
JP4007964B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2007019970A (ja) 色補正装置および色補正方法
JP2002033994A (ja) 画像処理装置および方法並びに記録媒体
JP4321698B2 (ja) 画像出力方法および装置並びに記録媒体
JP2000092337A (ja) 画像処理方法および装置並びに記録媒体
JP2008227959A (ja) 画像処理装置、画像処理方法および画像処理システム
JP2004297438A (ja) 画像補正方法、装置及びプログラム
JP4224933B2 (ja) 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体
JP3736648B2 (ja) 色変換方法および装置
JP3344010B2 (ja) 彩度補正装置
JP2001313839A (ja) 画像処理方法および装置並びに記録媒体
JP4150925B2 (ja) 画像処理方法及び装置並びにプリンタ
JP2001036762A (ja) 色修正定義作成方法および色修正定義作成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081225

R150 Certificate of patent or registration of utility model

Ref document number: 4244105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees