JP4065482B2 - 画像データ処理方法、装置、記憶媒体、及びプログラム - Google Patents

画像データ処理方法、装置、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP4065482B2
JP4065482B2 JP2001283193A JP2001283193A JP4065482B2 JP 4065482 B2 JP4065482 B2 JP 4065482B2 JP 2001283193 A JP2001283193 A JP 2001283193A JP 2001283193 A JP2001283193 A JP 2001283193A JP 4065482 B2 JP4065482 B2 JP 4065482B2
Authority
JP
Japan
Prior art keywords
color space
color
data
image data
space point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001283193A
Other languages
English (en)
Other versions
JP2003092690A (ja
Inventor
勇治 秋山
学 山添
良介 井口
貴志 藤田
真 鳥越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001283193A priority Critical patent/JP4065482B2/ja
Priority to US10/236,981 priority patent/US7079152B2/en
Publication of JP2003092690A publication Critical patent/JP2003092690A/ja
Priority to US11/012,292 priority patent/US7034844B2/en
Priority to US11/372,015 priority patent/US7750921B2/en
Application granted granted Critical
Publication of JP4065482B2 publication Critical patent/JP4065482B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
画像データ処理方法、装置、記憶媒体、及びプログラムに関する。
【0002】
【従来の技術】
近年デジタルスチルカメラ等の入力機器の性能向上と普及により写真画像のデジタル化が手軽になり、特にパーソナルコンピュータ上でデジタルデータとして写真調の画像を扱う機会が増えてきた。しかも、それらをパーソナルコンピュータ上で各種のアプリケーションソフトを使って加工・編集することができるようになった。
【0003】
一方でフルカラーハードコピー技術も急速に発展しており、特にインクジェット方式による印刷技術はインクドットによる粒状感を低減させる技術により、その印刷画質が銀塩写真と同等のものとなりつつあり、その比較的簡易な印刷方法により広く普及している。
【0004】
デジタルスチルカメラ等の入力危機により取り込まれた画像データは、さまざまな信号形態およびフォーマットで所定記憶手段に記録される。
【0005】
デジタルスチルカメラの場合には、画像記録はJPEGフォーマットで記録される場合が大半で、輝度・色差データ(YCbCrデータ)の形態で画像が保存される。
【0006】
一般的によく使われるデータ形態としてはRGBデータであるが、RGBデータとYCbCrデータはITU−R BT.601に準拠した以下の式の関係がある。
【0007】
(式1−1)
Y=0.299×R+0.587×G+0.114×B
Cb=(−0.299×R−0.587×G+0.886×B)×0.564+k
Cr=(0.701×R−0.587×G−0.114×B)×0.713+k
(式1−2)
R=Y+((Cr−k)×1.4020)
G=Y−((Cb−k)×0.3441)−((Cr−k)×0.7139)
B=Y+((Cb−k)×1.7718)
ここで、Cb、Crの各値は正および負の値をとり、8ビットの値として取り扱う場合、R、G、Bの各値は0〜255の値をとり、kの値は128である。
【0008】
さらに、YCbCrデータからRGBデータへ変換を行う場合には0から255以外の値を取る場合があるので0以下の値は0に、255以上の値は255に値をクリップする飽和処理を行う。
【0009】
一般的にはRGBデータは各色8ビットとして処理される。したがって、画像データをCRTモニタ等のディスプレイデバイスに表示する場合にはRGB各色0〜255の値を有するデータによって表される色のみが再現される。
【0010】
カラーマッチングを行う際に用いる色空間としてsRGB色空間(IEC 61966−2−1、ITU−R BT.709)があり、このsRGB色空間はCRTモニタの特性を考慮して規定されたものである。
【0011】
デバイス間の色の統一化ということで、パーソナルコンピュータで用いる汎用オペレーティングシステムの標準色空間として取り扱われるようになったこともあり、RGB各色0〜255の値をsRGB色空間データとして取り扱うことがここ最近一般的となってきた。
【0012】
しかしながら、実シーンはCRTモニタ等のディスプレイデバイスよりも色再現域は当然大きく、また色空間の部位によってはCRTモニタ等のディスプレイデバイスよりもプリンタデバイスによって再現される色再現域の方が広い場合がある。
【0013】
図9は色再現域を示すxy色度図であり、901はsRGB色空間を示す。902はプリンタの再現できる任意の色点を表示したものである。
【0014】
標準的な色空間として多用されているsRGB色空間は必ずしも入力および出力デバイスの色再現範囲を完全に包含しているわけではなく、図9からも明らかなようにsRGB空間データとして処理を行うとプリンタで再現可能な色領域が欠落することがわかる。
【0015】
そこで、デジタルスチルカメラにおいては、センサで取得した色信号を所定処理によりsRGB色空間へマッピングし、YCrCbデータへ変換しているが、sRGBディスプレイデバイス以外の色再現性向上のために等価的にsRGBデータの値を0以下の負の値または255以上に拡張する場合があり、この場合の最大の色域は8ビットのYCbCr信号の制限(0≦Y≦255、−128≦CbCr≦127)によって決まる色域であり、この範囲まで色再現域を拡張する場合がある。
【0016】
【発明が解決しようとする課題】
上述したように画像データをsRGB色空間に変換した場合にプリンタで再現可能な色が欠落してしまう場合がある。CRTモニタ等のディスプレイデバイスに出力した場合にはもともとの色再現域しか再現できないため、見た目には不具合のない良好な画像として再現される。しかしながらプリンタで印刷出力した場合には原画像に含まれる色に関する情報が欠落するため正しい色が再現できないことになる。
【0017】
一方、プリンタの色再現範囲を改善に包含するような図9の拡張色空間903として処理を行った場合にはCRTモニタ等のディスプレイデバイスに出力した場合に正しい表示ができなくなる。
【0018】
本発明はこのような技術の現状に鑑み、入力機器により得た画像データを、プリンタの色再現域を有効に利用するための画像データに変換し、高品質の印刷を行うことが可能な画像データ変換方法、装置、記憶媒体及びプログラムを提供することを目的とする。
【0019】
【課題を解決するための手段】
上記の目的を達成するために本発明の画像データ変換方法およびシステムは以下の構成を備える。
【0020】
YCbCr色空間データを読み込み、前記YCbCr色空間データをRGB画像データへ変換する画像データ処理方法であって
出力手段の最大色再現範囲外の第1の色空間点のYCbCr色空間データを前記出力手段の最大色再現範囲内にある第2の色空間点へ縮小移動し、
前記第1の色空間点から前記第2の色空間点への移動時の移動倍率を算出し、
前記第2の色空間点をRGB画像データに変換し、
前記第2の色空間点が変換されたRGB画像データにカラーマッチング補正し、該カラーマッチング補正で得られた値をYCbCr色空間データに変換することで、前記第2の色空間点が変換されたRGB画像データを前記出力手段の最大色再現範囲より小さい色再現範囲内の第3の色空間点へカラーマッチング補正し、
前記第3の色空間点を前記算出した移動倍率をもとに前記出力手段の最大色再現範囲内にある第4の色空間点へ拡大移動し、
前記第4の色空間点をRGB画像データに変換し、
前記変換したRGB画像データを用いて前記出力手段に画像を出力することを特徴とする。
【0023】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0024】
(第1の実施の形態)
図1は、本発明の一実施形態にかかるシステムの概略構成を示すブロック図である。
【0025】
本システムは、概略、ホストコンピュータ1、プリンタ6およびディスプレイ7を有して構成されるものである。すなわち、ホストコンピュータ1には、インクジェット方式のプリンタ6とディスプレイ7が双方向通信可能に接続されている。
【0026】
ホストコンピュータ1は、OS(オペレーティングシステム)3を有し、また、このOS3による管理下においてそれぞれの処理を行う、フォトレタッチ、レイアウト等のアプリケーションソフト2、このアプリケーションソフトによって発行され、出力画像を示す各種描画命令群(イメージ描画命令、テキスト描画命令、グラフィック描画命令)を処理して印刷データを作成するプリンタドライバ4、および同様にアプリケーションソフト2が発行する各種描画命令群を処理してディスプレイ7に表示を行うディスプレイドライバ5を同様にソフトウェアとして有している。
【0027】
また、ホストコンピュータ1は、上述のソフトウェアによって動作可能な各種ハードウェアとして中央演算処理装置(CPU)9、ハードディスクドライバ8、ランダムアクセスメモリ(RAM)10、リードオンリーメモリ(ROM)11、入力インターフェース14等を備える。すなわち、CPU9は、上述のソフトウェアに従った処理にかかる信号処理を実行し、ハードディスクドライバ8によって駆動されるハードディスク(HD)12にはたとえばデジタルスチルカメラで撮影した画像データが格納され、また、上記ソフトウェアが格納される。ROM11にも同様に、上述の各種ソフトウェアが予め格納されており、必要に応じて読み出されて用いられる。また、RAM10は、上述CPU9による信号処理実行のワークエリア等として用いられる。また、マウス、キーボードなどの入力デバイス13による入力は入力インターフェース14を介して入力し、OS3による処理に供される。
【0028】
また、デジタルスチルカメラ等の画像入力機器からホストコンピュータ1のハードディスク(HD)12への画像データの受け渡しはメモリディスクやメモリカードのリーダやケーブル接続あるいは赤外線通信、無線通信により入力インターフェース14を介して可能である。もちろんホストコンピュータ1のハードディスク(HD)12へ画像データを移動させることなくデジタルスチルカメラとホストコンピュータ1をケーブル接続あるいは赤外線通信、無線通信により接続してデジタルスチルカメラ等の画像入力機器が保持するメモリカードや内臓のメモリから直接読み込んで処理を行うことも可能である。
【0029】
以上の構成を有したシステムにおいて、利用者はアプリケーションソフト2によってディスプレイ6に表示された表示画像に基づき、同様にアプリケーションによる処理を介して文字などのテキストに分類されるテキストデータ、図形などのグラフィックスに分類されるグラフィックスデータ、デジタルスチルカメラ等で撮影した写真画像などに分類されるイメージ画像データなどからなる画像データを作成することができる。
【0030】
そして、この作成した画像データの印刷出力が利用者によって指示されると、アプリケーションソフト2はOS3に印刷出力要求を行うとともに、グラフィックスデータ部分をグラフィック描画命令、イメージ画像データ部分をイメージ描画命令として構成した出力画像を示す描画命令群をOS3に発行する。これに対し、OS3はアプリケーションソフト2の印刷出力要求を受け、その印刷を行うプリンタ6に対応したプリンタドライバ4に描画命令群を発行する。ここで一般的にイメージ描画命令は各色8ビットのデータが用いられる場合が多い。
【0031】
プリンタドライバ4はOS3から入力した印刷要求と描画命令群を処理してプリンタ6で印刷可能な形態の印刷データを作成してプリンタ6に転送する。この場合に、プリンタ6がラスタプリンタである場合は、プリンタドライバ4はOS3からの描画命令に対して、順次画像補正処理を行い、そして順次RGB24ビットページメモリ(R、G、B各色8ビット)にラスタライズし、すべての描画命令をラスタライズした後にRGB24ビットページメモリの内容をプリンタ6が印刷可能なデータ形式、例えばCMYKデータに変換を行いプリンタに転送する。
【0032】
ディスプレイ7への表示は同様にOS3がディスプレイドライバ5へ描画命令群を発行し、ディスプレイドライバ5はディスプレイ7で表示可能な形態の信号データに変換し、ディスプレイへデータを転送する。
【0033】
アプリケーションソフト中や各種演算処理においては8ビット以上の値を用いることがあるが、OS3の制約などで描画指示において8ビット以上の値を用いることができない場合があり、汎用性を考慮して扱うRGB値は各色8ビット内に収められる場合が多い。
【0034】
図2は、本発明の一実施形態にかかるアプリケーションソフトの画像データ処理の概略を示すブロック図である。
【0035】
ここでは、画像データとしてYCbCrのデータを読み取ることが可能な処理の内容について説明する。
【0036】
デジタルスチルカメラ等の入力機器213により画像データが記録された画像ファイル201はファイル読み込み部202により読み込まれる。
【0037】
読み込みはメモリディスクやメモリカードのリーダやケーブル接続あるいは赤外線通信、無線通信により入力インターフェースを介してホストコンピュータ経由で可能である。もちろんデジタルスチルカメラ等の入力機器213とホストコンピュータをケーブル接続あるいは赤外線通信、無線通信により接続してデジタルスチルカメラ等の入力機器213が保持するメモリカードや内臓のメモリから直接読み込んで処理を行うことも可能である。
【0038】
画像データはさまざまなフォーマットの形態で記録されており、データ容量を少なくするために圧縮して記録されている場合もある。ファイル読み込み部202はこのようなデータ形態を解析し、圧縮されているデータに対しては伸張処理をほどこし、所望の画像データを得る機能も有している。
【0039】
YCbCr読み込み部203で読み込まれた輝度・色差データ(YCbCrデータ)は画像補正処理部205で明るさやコントラスト、カラーバランス等の補正処理が行われY’Cb’Cr’データに変換される。補正処理の内容はユーザインターフェース204で指示される。YCbCrデータの状態で画像変換を行うことで8ビットのRGBデータへ変換した際に生じるデータ欠落による影響を受けずに原画像データの正しい色再現情報に対して補正を行うことができる。
【0040】
画像補正処理が行われたY’Cb’Cr’データはYCbCr→RGB変換部▲1▼206でRGBデータに変換される。RGBデータへの変換は、先の(式1−2)によって行われる。RGBデータは各色8ビットデータとして取り扱うため0以下の値は0に、255以上の値は255に値をクリップする飽和処理を行う。
【0041】
変換したRGBデータの色空間はsRGB色空間として取り扱われる。
【0042】
一方ではY’Cb’Cr’データはYCbCr→RGB変換部▲2▼207により8ビットのR’G’B’データに変換される。R’G’B’データはプリンタの色再現域と等価な色空間データであり、プリンタが再現できる色再現域を十分に利用して印刷を行うことを可能とする。Y’Cb’Cr’データからR’G’B’データへの詳細な変換は後で述べる。
【0043】
ここでは、従来プリンタの中で行われていたいわゆるカラーマッチング補正はR’G’B’データを利用する場合にはプリンタドライバ211では行わない。
【0044】
変換されたRGBデータは描画インターフェース208を介してディスプレイドライバ209へ送られ、ディスプレイ210で表示される。
【0045】
一方、R’G’B’データは描画インターフェース208を介してプリンタドライバ211へ送られ、プリンタ212で印刷出力される。
【0046】
上述した変換によりディスプレイ212に対してはsRGB色空間データであるRGBデータを用い、プリンタ212に対してはプリンタの色再現域と等価な拡張色空間データであるR’G’B’データを用いることでそれぞれのデバイスに適した画像データを適応することが可能であり、色の欠落が少なく、原画像が有する色特性を出力再現することが可能となる。
【0047】
図3は本発明の一実施形態にかかるプリンタの色再現域と等価な色空間データへの変換処理のフローチャートである。
【0048】
まず、ステップS301でR→Rテーブルを読み込む。
【0049】
一般的にプリンタドライバ211においてはRGBデータを下記(式2−1)および(式2−2)でCMYKデータの印刷可能な形式に変換してプリンタへデータが送られる。
【0050】
(式2−1)
=255−R
=255−G
=255−B
(式2−2)
K=min(C,M,Y
C=C−K
M=M−K
Y=Y−K
上記、(式2−1)および(式2−2)におけるR、G、B、C、M、Y、Kは各8ビットの値として0〜255の値をとる。
【0051】
RGBからCMYKへの変換は上記式による演算変換の他、RGB値とCMYK値の関係を示すルックアップテーブルを用いて変換を行う場合もある。
【0052】
→Rテーブルを図4に示すが、このR→RテーブルはRデータが本来目的とする色とRデータをCMYKデータに変換してプリンタで印刷した時の色が略一致するようにRとRを関係付けたカラーマッチング補正のためのルックアップテーブルである。
【0053】
ルックアップテーブルでは、例えば0〜255までを16ステップづつ分割した17×17×17ポイント数の離散的なRとRの関係を保持しており、各R、G、B17ポイントの間の値に関しては17×17×17ポイントのR、Rを用いて適宜補間処理により算出する。
【0054】
図4中においてRの値が(0、0、0)である場合にはRは(a1、a2、a3)、Rの値が(0、0、16)である場合にはR(b1、b2、b3)、Rの値が(128、64、16)である場合にはRは(c1、c2、c3)、Rの値が(255、255、255)である場合にはRは(d1、d2、d3)の値にそれぞれ変換される。
【0055】
(a1、a2、a3)、(b1、b2、b3)、(c1、c2、c3)、(d1、d2、d3)のそれぞれの値は先にも説明したようにRデータが本来目的とする色とRデータをCMYKデータに変換してプリンタで印刷した時の色が略一致するように求めた0〜255の間の値からなる。
【0056】
図4のR→RテーブルはRデータをsRGB色空間データとみなして作成しているため、印刷出力結果がsRGBとカラーマッチングが図れるようにRの値が設定されている。
【0057】
この上述のカラーマッチング補正は通常プリンタドライバ211内で行われるため、R→Rテーブルはプリンタ212用のプリンタドライバ211内に保持されている。
【0058】
したがってR→Rテーブルはプリンタドライバ211から読み込むことになるが、必ずしもプリンタドライバ211から読み込む必要はなく、適宜、テーブルが用意されている所定場所から読み込めばよい。
【0059】
次に、ステップS302でYCbCrデータを読み込み、ステップS303でYCbCrデータをRデータに変換する。この変換は(式1−2)で行うが、データとしては8ビット以上の値を持ち、Rデータとしては0以下、あるいは255以上の値もとりえる。その場合も0以下もしくは255以上のRデータを0〜255間に値をクリップする飽和処理は行わない。
【0060】
ステップS304で変換したRデータが0≦R≦255、0≦G≦255、0≦B≦255(以下0≦R≦255とする)であるか否かを判断し、Rデータが0≦R≦255である場合にはステップS312へ進み、R→Rテーブルを用いてRに変換する。
【0061】
ステップS304で変換したRデータが0≦R≦255であるか否かを判断し、Rデータが0≦R≦255でない場合にはステップS305へ進み、Rデータを元のYCbCrデータへ変換する。変換は(式1−1)により行う。
【0062】
次に、ステップS306でYCbCrデータをRGB各色8ビットで表現可能なYCbCr空間の値へマッピング(縮小移動)し、その移動量(倍率)Lを算出する。
【0063】
図6はYCbCr空間を示した図である。図中、縦軸は輝度Yを示し横軸Cは色相および彩度を示しており、CbおよびCrの任意断面を表している。実線601はRGB各色8ビットで表現可能な範囲を示している。
【0064】
実線601のYCbCr空間は、値が0〜255の範囲であるRGB値から(式1−1)で求めたものであり、RGB値が0〜255の値の組み合わせから求めたものであるからプリンタの色再現空間と一致するとも言える。
【0065】
ステップS305で変換したYCbCrは、RGB各色8ビットで表現できる範囲外であるPI1ポイントの点になる。このPI1ポイントを図6のYCbCr空間上のRGB各色8ビットで表現できる範囲のPI2ポイントへ移動する際の移動点(マッピング点)を求める。PI1からPI2への移動の際は、PI1の輝度を保ちながら同一色相であるPI2をマッピング点として算出する。この時PI1からPI2までの移動量(倍率)Lを算出する。
【0066】
その後、ステップS307でマッピング点PI2のR値を求める。マッピング点PI2のYCbCr値からR値への算出は(式1−2)で求める。
【0067】
次にステップS308でR→RテーブルからRを求める。
【0068】
さらに、ステップS309でRをYCbCrデータを求める。RからYCbCrへの変換は(式1−1)により行う。
【0069】
図7はYCbCr空間を示した図である。先と同様に縦軸は輝度Yを示し横軸Cは色相および彩度を示しており、CbおよびCrの任意断面を表している。実線601はRGB各色8ビットで表現可能な範囲を示し、実線601のYCBCr空間は値が0〜255の範囲であるRGB値から(式1−1)で求めたものであり、RGB値が0〜255の値の組み合わせから求めたものであるからプリンタの色再現空間と一致するとも言える。一方、点線602はプリンタがR→Rテーブルをもとにカラーマッチング補正を行った際に再現できる範囲を示している。
【0070】
→RテーブルはRがsRGB色空間データとしてカラーマッチングを行うことを考慮して作成されたものであるから、実線601のYCbCr色空間域に比べ点線602のYCbCr色空間域のほうが狭くなる。
【0071】
プリンタの色再現域の方がsRGBの色再現域よりも大きな部分があることを先の従来例にて図9を用いて説明したが、カラーマッチングを行うことにより、必ずしもRの値は0〜255の値をすべて使用している訳ではなく、言い換えればプリンタが再現可能な色再現域よりも狭くなり、プリンタの性能を十分に生かしきれていないことを示している。そこでS309で求まったYCbCrをこのプリンタの性能を生かしきれていない分を有効利用し、信号変換する。具体的に以下プリンタで再現可能な範囲内で、S306の移動量Lを考慮して色再現性を向上する方法を述べる。
【0072】
ステップS309で求めたYCbCrのポイント点を図7PO1とし、このポイント点PO1を距離(倍率)L分拡大移動(色再現範囲の拡大)してポイント点PO2を求め、このPO2におけるYCbCrを求める。
【0073】
ここでPO2が距離(倍率)L分拡大した場合に実線601の領域外に出てしまう場合があるが、この場合には拡大して実線601と接した最外点をPO2の点として処理を行う。または、距離(倍率)Lによりポイント点が実線601の領域外に出てしまわないように所定量nを決定し、L×n分拡大量を小さくしてPO2を求めるようにしても良い。
【0074】
拡大を行う際のポイント点の移動も輝度を保ちながら同一色相で行う。尚この所定値nは全データ中最大移動量のデータを輝度色相を保存した上で、PO2上に移動させた時の移動量をmとすると、n=m/Lとなる。その結果全データ中最大移動量のデータを輝度、色相を保存した上でPO2上に移動させ、その他のデータも上述の最大移動量のデータの実際に移動させられた移動率と同じ移動率で移動される。
【0075】
したがって全データがPO2内に輝度、色相を保存した上で移動される。
【0076】
ステップS306で一旦求めたPI2に対して、ステップS307からステップS309で点PO1に変換して処理を行う理由であるが、カラーマッチング処理の影響で入力点PI2の色相と出発点PO1の色相が必ずしも同一では無いことに起因する。すなわち入力点PI2は理論値であるが、出力点PO1はプリンタで印刷出力した結果が目的の色を示すためのRGB値から求めたポイント点であるからである。絶対的なカラーマッチングではなく好ましい色再現性も加味して作成されたR→Rテーブルを用いて処理が施されプリンタで印刷した結果は必ずしも理論的な色相と結果が一致するとは限らない。
【0077】
そのため、求めたポイントPO2が点線602内の色相となめらかに色がつながるよう(色相が保存される様)に一旦点線602内における色相を求めて実線601側へ拡大させる処理を行っている。
【0078】
最後にステップS310で求めたポイント点PO2のYCbCrをステップS311でRに変換する。変換は式(1−2)を用いて行う。
【0079】
本実施形態によればYCbCrデータから求めたRGB値がそれぞれ0〜255内の色に関しては図7の点線602内の色再現域で色が再現され、YCbCrデータから求めたRGB値が0〜255外の色に関しては図7の実線601の色再現域を使って色が再現されるのでプリンタの色再現域を十分に生かした画像印刷が可能となる。
【0080】
また本処理によりカラーマッチング用に設けたR→Rテーブルによる色再現性能には何ら影響を及ぼさない。
【0081】
また本実施形態のシステムで画像印刷を行う場合には原画像に含まれる色に関する情報に関して従来欠落していた部位を用い、プリンタの色再現域を有効に利用した画像印刷を行うことができる。
【0082】
本実施形態においてはYCbCr空間データにおいての変換を行ったが、利用する色空間はこれに限定されず、HSVやL*a*b*などの別の色空間の画像データに対し上述したプリンタの色再現域を十分生かした変換して処理を行っても良い。
【0083】
本実施形態のシステムの形態としては、プリンタ内部に図2 201〜212のデータ処理部を設け、上述データ処理をパーソナルコンピュータを用いない構成としても良い。この場合、画像データはプリンタに設けたカードリーダ等の読み取り部からメモリカードを介して読み取ったり、デジタルスチルカメラ等の入力機器とプリンタを有線ケーブルあるいは赤外線通信、無線通信により接続して入力機器が保持する着脱可能なメモリカードや内臓のメモリから読み出すことが可能である。
【0084】
プリンタ内部にデータ処理部を設けた形態においてディスプレイとして簡易液晶モニタがプリンタに搭載されている場合には、画像データに対して液晶モニタの表示に用いるデータと印刷に用いるデータを別の色空間データとして取り扱うことが可能である。
【0085】
本実施の形態においては入力機器としてデジタルスチルカメラを一例に説明したが、デジタルスチルカメラに限られたものではなく、たとえばデジタルビデオカメラ(デジタルカムコーダー)、イメージスキャナ、フィルムスキャナ等の入力機器に応用が可能である。
【0086】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種種変形実施可能なものとなる。
【0087】
(第2の実施例の形態)
本実施の形態では、上記図1に示したシステムにおいて、上記図2の画像データ処理構成の代わりに例えば図8に示される画像データ処理構成を用いる。
【0088】
尚、第1の実施の形態と異なる構成及び動作のみ説明する。
【0089】
本実施の形態では、第1の実施形態でYCbCr→RGB変換▲2▼部207で、演算により行っていたR’G’B’データへの変換を変換テーブルを用いて行うようにしたものである。
【0090】
テーブルを用いた変換を行うために、変換RGB→R’G’B’データ変換部801を設けた構成としている。
【0091】
変換テーブル▲1▼802は図4に示した形態のものであり入力R値としては0から255までの間の値でルックアップテーブルが構成されている。
【0092】
変換テーブル▲2▼803は図5に示した形態のルックアップテーブル構成となっている。
【0093】
図5中で、標準部分500は図4のルックアップテーブルと同じ値が設定されている。拡張部分501、502は入力R値として0以下あるいは255以上の値が設定されている。拡張部分501、502のルックアップテーブルは、あらかじめR値を設定し、先の実施例における図3のフローチャートによるステップS305からステップS311の処理による演算結果を出力R値として設定し、ルックアップテーブルを完成させる。
【0094】
YCbCr→RGB変換▲2▼部207で(式1−2)によるRGBへの変換結果が0≦RGB≦255であった場合には変換テーブル▲1▼を利用し、RGBへの変換結果が0以下あるいは255以上の値を有する場合には変換テーブル▲2▼を使用してR’G’B’データへ変換を行う。
【0095】
本実形態においてもRGB値が0以下あるいは255以上の8ビットでは収まらないデータを処理する際にRGB値が0≦RGB≦255のデータ部分の色再現に対して何ら影響を及ぼさず、プリンタが色再現可能な領域を十分に生かして画像印刷を行うことができる。
【0096】
また本実施形態のシステムにおいても、画像印刷を行う場合には原画像に含まれる色に関する情報に関して従来欠落していた部位を用い、プリンタの色再現域を有効に利用した画像印刷を行うことができる。
【0097】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種種変形実施可能なものとなる。
【0098】
本実施形態のシステムの形態としても、プリンタ内部に図8 201〜212、801〜803のデータ処理部を設け、上述データ処理をパーソナルコンピュータを用いない構成としても良い。この場合、画像データはプリンタに設けたカードリーダ等の読み取り部からメモリカードを介して読み取ったり、デジタルスチルカメラ等の入力機器とプリンタを有線ケーブルあるいは赤外線通信、無線通信により接続して入力機器が保持する着脱可能のメモリカ−ドや内臓のメモリから読み出すことが可能である。
【0099】
プリンタ内部にデータ処理部を設けた形態においてディスプレイとして簡易液晶モニタがプリンタに搭載されている場合には、画像データに対して液晶モニタの表示に用いるデータと印刷に用いるデータを別の色空間データとして取り扱うことになる。
【0100】
本実施の形態においては入力機器としてデジタルスチルカメラを一例に説明したが、デジタルスチルカメラに限られたものではなく、たとえばデジタルビデオカメラ、イメージスキャナ、フィルムスキャナ等の入力機器に応用が可能である。
【0101】
以上詳述したように、デジタルスチルカメラ等の入力機器により得たデジタル画像データをプリンタで印刷する際に、プリンタの色再現域を有効に利用するための画像データに変換し、高品質の写真画像の印刷を行うことが可能な画像データ変換方法およびそのシステムを提供することができる。
【0102】
(他の実施の形態)
また、上記実施形態では、ハードウェア等が含まれるものの、各データ処理を順次実施するソフトウェアでも実現できるものである。具体的には、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録したCD、MD、メモリカード、MO等の記憶媒体(または、記録媒体)をユーザーに供給する。そして、そのユーザーがその記憶媒体をシステムあるいは装置に装填し、そのシステムあるいは装置のコンピュータ(または、CPUやMPU)が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても上述した実施の形態の処理は達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになる。
【0103】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム(OS)等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0104】
さらに、上記記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかるシステムの概略構成を示すブロック図である。
【図2】本発明の一実施形態にかかるアプリケーションソフトの画像データ処理の概略を示すブロック図である。
【図3】本発明の一実施形態にかかるプリンタの色再現域と等価な色空間データへの変換処理のフローチャートである。
【図4】本発明の一実施形態にかかるカラーマッチング補正用のルックアップテーブルの構成を示す図である。
【図5】本発明の別の実施形態にかかるカラーマッチング補正用のルックアップテーブルの構成を示す図である。
【図6】本発明の別の一実施形態にかかるYCbCr空間上での変換処理を示す説明図である。
【図7】本発明の別の一実施形態にかかるYCbCr空間上での変換処理を示す別の説明図である。
【図8】本発明の別の実施形態にかかるアプリケーションソフトの画像データ処理の概略を示すブロック図である。
【図9】色再現を示す図である。

Claims (3)

  1. YCbCr色空間データを読み込み、前記YCbCr色空間データをRGB画像データへ変換する画像データ処理方法であって、
    出力手段の最大色再現範囲外の第1の色空間点のYCbCr色空間データを前記出力手段の最大色再現範囲内にある第2の色空間点へ縮小移動し、
    前記第1の色空間点から前記第2の色空間点への移動時の移動倍率を算出し、前記第2の色空間点をRGB画像データに変換し、
    前記第2の色空間点が変換されたRGB画像データにカラーマッチング補正し、該カラーマッチング補正で得られた値をYCbCr色空間データに変換することで、前記第2の色空間点が変換されたRGB画像データを前記出力手段の最大色再現範囲より小さい色再現範囲内の第3の色空間点へカラーマッチング補正し、
    前記第3の色空間点を前記算出した移動倍率をもとに前記出力手段の最大色再現範囲内にある第4の色空間点へ拡大移動し、
    前記第4の色空間点をRGB画像データに変換し、
    前記変換したRGB画像データを用いて前記出力手段に画像を出力することを特徴とする画像データ処理方法。
  2. YCbCr色空間データを読み込む読み込み手段と、前記YCbCr色空間データをRGB画像データへ変換する手段とを有する画像データ処理装置であって、
    出力手段の最大色再現範囲外の第1の色空間点のYCbCr色空間データを前記出力手段の最大色再現範囲内にある第2の色空間点へ縮小移動する手段と、
    前記第1の色空間点から前記第2の色空間点への移動時の移動倍率を算出する手段と、前記第2の色空間点をRGB画像データに変換する手段と、
    前記第2の色空間点が変換されたRGB画像データにカラーマッチング補正し、該カラーマッチング補正で得られた値をYCbCr色空間データに変換することで、前記第2の色空間点が変換されたRGB画像データを前記出力手段の最大色再現範囲より小さい色再現範囲内の第3の色空間点へカラーマッチング補正する手段と、
    前記第3の色空間点を前記算出した移動倍率をもとに前記出力手段の最大色再現範囲内にある第4の色空間点へ拡大移動する手段と、
    前記第4の色空間点をRGB画像データに変換する手段と、
    前記変換したRGB画像データを用いて前記出力手段に画像を出力することを特徴とする画像データ処理装置。
  3. YCbCr色空間データを読み込む手順と前記YCbCr色空間データをRGB画像データへ変換する手順を有するコンピュータにより実行されるプログラムであって、
    出力手段の最大色再現範囲外の第1の色空間点のYCbCr色空間データを前記出力手段の最大色再現範囲内にある第2の色空間点へ縮小移動する手順、
    前記第1の色空間点から前記第2の色空間点への移動における移動倍率を算出する手順、
    前記第2の色空間点が変換されたRGB画像データにカラーマッチング補正し、該カラーマッチング補正で得られた値をYCbCr色空間データに変換することで、前記第2の色空間点が変換されたRGB画像データを前記出力手段の最大色再現範囲より小さい色再現範囲内の第3の色空間点へカラーマッチング補正する手順、
    前記第3の色空間点を算出した移動倍率をもとに前記出力手段の最大色再現範囲内にある第4の色空間点へ拡大移動する手順、
    前記第4の色空間点をRGB画像データに変換する手順、
    前記変換したRGB画像データを用いて前記出力手段に画像を出力する手順を有するコンピュータにより実行されるプログラム。
JP2001283193A 2001-09-18 2001-09-18 画像データ処理方法、装置、記憶媒体、及びプログラム Expired - Fee Related JP4065482B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001283193A JP4065482B2 (ja) 2001-09-18 2001-09-18 画像データ処理方法、装置、記憶媒体、及びプログラム
US10/236,981 US7079152B2 (en) 2001-09-18 2002-09-09 Image data processing method and apparatus, storage medium product, and program product
US11/012,292 US7034844B2 (en) 2001-09-18 2004-12-16 Image data processing method and apparatus, storage medium product, and program product
US11/372,015 US7750921B2 (en) 2001-09-18 2006-03-10 Image data processing method and apparatus, storage medium product, and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001283193A JP4065482B2 (ja) 2001-09-18 2001-09-18 画像データ処理方法、装置、記憶媒体、及びプログラム

Publications (2)

Publication Number Publication Date
JP2003092690A JP2003092690A (ja) 2003-03-28
JP4065482B2 true JP4065482B2 (ja) 2008-03-26

Family

ID=19106725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001283193A Expired - Fee Related JP4065482B2 (ja) 2001-09-18 2001-09-18 画像データ処理方法、装置、記憶媒体、及びプログラム

Country Status (2)

Country Link
US (3) US7079152B2 (ja)
JP (1) JP4065482B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4183241B2 (ja) * 2002-03-01 2008-11-19 キヤノン株式会社 ファクシミリ装置及び該ファクシミリ装置の制御方法
US7283662B1 (en) * 2002-11-19 2007-10-16 Adobe System Incorporated Protecting colors from clipping
JP4272880B2 (ja) 2002-12-18 2009-06-03 キヤノン株式会社 色補正方法及び画像処理装置とルックアップテーブル
US7145575B2 (en) * 2002-12-27 2006-12-05 Canon Kabushiki Kaisha Color image processing device, color image processing method, recording medium, and program
US8085277B2 (en) * 2004-01-30 2011-12-27 Broadcom Corporation System and method for clipping values of pixels in one color space so not to exceed the limits of a second color space
JP3800427B2 (ja) 2004-07-20 2006-07-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2006086935A (ja) * 2004-09-17 2006-03-30 Canon Inc 色処理装置およびその方法、画像処理方法、並びに、プリンタドライバ
US7430061B2 (en) * 2005-01-06 2008-09-30 Toshiba Corporation System and method to eliminate clipping during color conversion
US7636178B2 (en) * 2005-04-15 2009-12-22 Canon Kabushiki Kaisha Image processing apparatus, printing apparatus and image processing method
JP4669314B2 (ja) * 2005-04-18 2011-04-13 キヤノン株式会社 画像処理方法および画像処理装置
JP4088300B2 (ja) * 2005-06-01 2008-05-21 富士通株式会社 画像領域検出装置、画像領域検出方法および画像領域検出プログラム
JP4632438B2 (ja) * 2005-08-02 2011-02-16 キヤノン株式会社 色処理方法、並びに、ルックアップテーブルを作成する色処理装置およびその方法
US7965426B2 (en) * 2005-08-12 2011-06-21 Canon Kabushiki Kaisha Image processing apparatus and method for performing gamut mapping via device-independent standard color space
KR100782826B1 (ko) 2005-12-10 2007-12-06 삼성전자주식회사 영상 획득 장치 및 방법과 그 방법을 수행하는 프로그램이기록된 기록매체
JP4676364B2 (ja) * 2006-03-17 2011-04-27 富士通株式会社 色補正方法、色補正装置、及び色補正プログラム
JP4615468B2 (ja) * 2006-03-23 2011-01-19 富士フイルム株式会社 撮影装置
US20070253626A1 (en) * 2006-04-27 2007-11-01 Eric Jeffrey Resizing Raw Image Data Before Storing The Data
JP5025323B2 (ja) 2007-05-10 2012-09-12 キヤノン株式会社 色処理装置および方法
JP5354875B2 (ja) * 2007-06-20 2013-11-27 キヤノン株式会社 色処理装置及び色処理方法
JP5344518B2 (ja) 2007-06-29 2013-11-20 キヤノン株式会社 画像処理方法および画像処理装置
JP5116393B2 (ja) * 2007-07-31 2013-01-09 キヤノン株式会社 画像処理装置及び画像処理方法
US8350924B2 (en) * 2008-02-15 2013-01-08 Semisolution Inc. System and method for processing image signals based on interpolation
JP5440195B2 (ja) * 2010-01-15 2014-03-12 コニカミノルタ株式会社 カラープロファイルの作成方法、カラープロファイルを作成する画像処理装置、及び当該画像処理装置の制御プログラム
US9694598B2 (en) 2010-05-24 2017-07-04 Canon Kabushiki Kaisha Image processing apparatus, ink jet printing apparatus, and image processing method
US9623671B2 (en) 2010-05-24 2017-04-18 Canon Kabushiki Kaisha Image processor, printing apparatus, and image processing method
JP5479219B2 (ja) 2010-05-24 2014-04-23 キヤノン株式会社 画像処理装置および画像処理方法
JP5436389B2 (ja) 2010-10-05 2014-03-05 キヤノン株式会社 画像処理装置および画像処理方法
JP5465145B2 (ja) 2010-10-05 2014-04-09 キヤノン株式会社 画像処理装置、画像処理方法、および画像記録装置
JP5541721B2 (ja) 2010-10-05 2014-07-09 キヤノン株式会社 画像処理装置および画像処理方法
JP5436388B2 (ja) 2010-10-05 2014-03-05 キヤノン株式会社 画像処理装置、画像処理方法および画像記録装置
JP6234098B2 (ja) 2013-07-19 2017-11-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6821418B2 (ja) 2016-12-16 2021-01-27 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6789904B2 (ja) * 2017-09-20 2020-11-25 株式会社東芝 ダイナミックレンジ圧縮装置及び画像処理装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510910A (en) * 1992-05-04 1996-04-23 Hewlett-Packard Company Printing with full printer color gamut, through use of gamut superposition in a common perceptual space
US5500921A (en) * 1992-10-05 1996-03-19 Canon Information Systems, Inc. Method and apparatus for printing high fidelity color reproductions of colors displayed on a monitor
US6081254A (en) * 1993-08-12 2000-06-27 Hitachi, Ltd. Color correction system of imaging apparatus
EP0650291B1 (en) * 1993-09-29 2002-04-24 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US5675716A (en) * 1994-10-11 1997-10-07 Seiko Epson Corporation Method and apparatus for vivid color correction in binary printing devices
US5699491A (en) * 1995-06-15 1997-12-16 Canon Information Systems, Inc. Printer driver having gamut-mapped colors
US6225974B1 (en) 1997-06-19 2001-05-01 Electronics For Imaging, Inc. Gamut correction with color separation and methods and apparatuses for performing same
US6366291B1 (en) * 1997-07-17 2002-04-02 Dainippon Screen Mfg. Co., Ltd. Method of color conversion, apparatus for the same, and computer program product for realizing the method
JPH1155536A (ja) * 1997-07-31 1999-02-26 Fujitsu Ltd 色変換テーブル、色変換装置、色信号生成装置、色変換テーブルの作成方法、色変換方法、及び色域判定方法
US6724507B1 (en) * 1998-07-02 2004-04-20 Fuji Xerox Co., Ltd. Image processing method and image processing apparatus
US6335983B1 (en) * 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
JP3623673B2 (ja) 1998-11-24 2005-02-23 日本電気株式会社 カラー画像記録装置およびカラー画像記録方法
JP3583630B2 (ja) * 1998-11-30 2004-11-04 富士通株式会社 カラーデータ変換方法
JP4197788B2 (ja) * 1999-02-25 2008-12-17 オリンパス株式会社 色再現システム
US6882445B1 (en) * 1999-05-31 2005-04-19 Mitsubishi Denki Kabushiki Kaisha Color gamut compression apparatus and method
JP4009812B2 (ja) * 1999-08-18 2007-11-21 富士ゼロックス株式会社 画像処理装置、コンピュータ読取可能な記憶媒体、及び画像処理方法
US6758574B1 (en) * 1999-10-29 2004-07-06 Canon Kabushiki Kaisha Conversions between standard color spaces
JP4306936B2 (ja) * 2000-07-14 2009-08-05 キヤノン株式会社 色処理装置および方法
JP4035278B2 (ja) * 2000-07-14 2008-01-16 キヤノン株式会社 画像処理方法、装置および記録媒体
JP4223708B2 (ja) * 2001-03-26 2009-02-12 セイコーエプソン株式会社 色変換プログラムを記録した媒体、色変換プログラム、色変換テーブルの作成方法、色変換装置および色変換方法

Also Published As

Publication number Publication date
US20060187231A1 (en) 2006-08-24
US20030052895A1 (en) 2003-03-20
US7079152B2 (en) 2006-07-18
JP2003092690A (ja) 2003-03-28
US20050099430A1 (en) 2005-05-12
US7750921B2 (en) 2010-07-06
US7034844B2 (en) 2006-04-25

Similar Documents

Publication Publication Date Title
JP4065482B2 (ja) 画像データ処理方法、装置、記憶媒体、及びプログラム
JP4217398B2 (ja) 画像データ処理方法、画像データ処理装置、記憶媒体、及びプログラム
JP4090175B2 (ja) 画像信号処理方法、画像信号処理装置及び画像信号処理プログラムを記録した媒体
US6608926B1 (en) Image processing method, image processing apparatus and recording medium
US7310167B2 (en) Color converting device emphasizing a contrast of output color data corresponding to a black character
JP2003110868A (ja) 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP2006340105A (ja) 画像処理方法、プロファイル作成方法および画像処理装置
JP2009154365A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4920814B2 (ja) 画像処理方法、装置および記録媒体
JP2001177731A (ja) 画像処理方法、装置および記憶媒体
JP2001169098A (ja) 出力用画像データ修整プログラムを記録した媒体、出力用画像データ修整方法、出力用画像データ修整装置、画像データ縮小プログラムを記録した媒体、画像データ縮小方法、画像データ縮小装置、画像データ修整プログラムを記録した媒体、画像データ修整方法および画像データ修整装置
JP4467202B2 (ja) 色変換装置および色変換方法
JP2010050832A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4131205B2 (ja) 画像処理装置及び画像処理をコンピュータに実行させる画像処理プログラム
JP2006254369A (ja) 色処理方法およびその装置
JP3833170B2 (ja) グレイライン設定方法、画像処理装置及び画像処理方法
JP2004236199A (ja) 画像処理装置およびその方法
JP2004295410A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2007013377A (ja) 画像処理方法、画像処理装置及びプログラム
JP2006019830A (ja) 画像処理方法および画像処理装置
JP2002314828A (ja) 色補正装置および色補正方法、並びに色補正方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006015514A (ja) 画像処理方法および画像処理装置
JP2004236159A (ja) 画像記録方法
JP2002335416A (ja) 色信号変換装置、方法、プログラム及び記憶媒体
JP2005142922A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20031209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070319

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080105

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees