JP5344518B2 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP5344518B2
JP5344518B2 JP2007172761A JP2007172761A JP5344518B2 JP 5344518 B2 JP5344518 B2 JP 5344518B2 JP 2007172761 A JP2007172761 A JP 2007172761A JP 2007172761 A JP2007172761 A JP 2007172761A JP 5344518 B2 JP5344518 B2 JP 5344518B2
Authority
JP
Japan
Prior art keywords
color
image
conversion table
color conversion
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007172761A
Other languages
English (en)
Other versions
JP2009010893A5 (ja
JP2009010893A (ja
Inventor
真耶 石井
良徳 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007172761A priority Critical patent/JP5344518B2/ja
Priority to US12/144,882 priority patent/US8503775B2/en
Publication of JP2009010893A publication Critical patent/JP2009010893A/ja
Publication of JP2009010893A5 publication Critical patent/JP2009010893A5/ja
Application granted granted Critical
Publication of JP5344518B2 publication Critical patent/JP5344518B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理方法および画像処理装置に関する。より詳細には、例えば、スキャナやデジタルスチルカメラ(以下、単にカメラと呼ぶ)などの画像入力装置の色変換処理に利用される色変換テーブルを作成し、その色変換テーブルを用いて色変換処理を行う、画像処理方法および画像処理装置に関する。
ユーザがスキャナやカメラから取得した入力画像に対して好みの色変換を行うための方法が、特許文献1に開示されている。特許文献1では、ユーザが表示装置を見ながらサンプル画像の色調整を行い、その結果を基に多次元の色変換テーブルを作成して好みの色変換を行うという方法が提案されている。すなわち、特許文献1では、画像色調整処理部にて、ユーザが行った色調整に応じて3次元LUTを作成し、該3次元LUTに基づいて画像色変換処理部がユーザの好みの色変換処理を行うことが開示されている。
特開2002−77659号公報
従来カメラではsRGB(以下、標準色空間と呼ぶ)のデータが多く扱われてきたが、近年、標準色空間のデータだけではなくAdobe RGBやWide Gamut RGB等(以下、拡張色空間と呼ぶ)のデータも多く扱われるようになってきた。しかし、従来の方法では、色変換の対象として拡張色空間のデータではなく、標準色空間のデータを対象としているものが多く、また単一の色空間に対応している。
具体的には、特許文献1のような従来の方法では表示装置を見ながらサンプル画像の色調整を行い、そのデータを基に色変換テーブルを作成するが、表示装置として一般的に使用されているのは標準色空間のものがほとんどである。よって、拡張色空間のデータに対して好みの色変換を行う場合には表示装置で正しく表示されないため、ユーザの意図する色調整を行うことは困難である。そして、それにより拡張色空間対応の色変換テーブルを作成することも困難となる。
また、従来の方法では、色調整を行うために使用した画像と同じ色空間の画像のみを色変換の対象としている。特許文献1においても、画像色変換処理部は、画像色調整処理部にて作成された3次元LUTをそのまま用いて色変換を行っている。つまり、標準色空間の画像を用いて作成した色変換テーブルを拡張色空間の画像に対して適用しようとしても、標準色空間の色域よりも外側の色には対応していないため、標準色空間よりも外側の色については色変換を行うことは困難である。
以上より、従来の方法では、サンプル画像の色空間が表示装置の色空間と異なる場合に表示装置を見ながら色調整を行うことは困難である点が課題として挙げられる。また、画像の色調整を行う画像色調整処理部と画像の色変換を行う画像色変換処理部とで色空間が異なる場合には対応することができないという点についても課題として挙げられる。
また、近年の画像処理技術や印刷技術の進歩に伴い、ユーザの所望に応じて、色再現範囲を広くした色空間にてディスプレイへの表示や印刷を行いたいという要望がある。すなわち、第1の色空間(例えば、標準色空間)に限らず、第1の色空間とは異なる第2の色空間(拡張色空間)でも色変換を行えるようにすることが望まれている。
本発明は、上述の問題を解決するためのものである。、その目的とするところは、第1の色空間の画像に対して所定の色調整を行い、第1の色空間で定義された第1の色変換テーブルを作成し、この第1の色変換テーブルに基づいて、第2の色空間で定義された第2の色変換テーブルを作成することである。
更には、画像色調整処理部において、表示装置の色空間と同じ色空間のサンプル画像を用いることでサンプル画像の色調整を容易に行うことを可能にすることである。、これと共に、画像色調整処理部と画像色変換処理部とで異なる色空間の場合にも対応可能な画像処理方法および画像処理装置を提供することにある。
このような目的を達成するために、本発明は、画像処理方法であって、色票データを含む第1の色空間の画像に対して所定の色調整を行い、当該色調整を行う前の色票データと当該色調整を反映した色票データとを関連付けて前記第1の色空間の画像に適用する第1の色変換テーブルを作成する画像色調整処理工程と、前記第1の色変換テーブルに基づいて、前記第1の色空間よりも広い色域を有する第2の色空間の画像に適用する第2の色変換テーブルを作成する色変換テーブル作成処理工程とを有することを特徴とする。
また、本発明は、画像処理装置であって、色票データを含む第1の色空間の画像に対して所定の色調整を行い、当該色調整を行う前の色票データと当該色調整を反映した色票データとを関連付けて前記第1の色空間の画像に適用する第1の色変換テーブルを作成する画像色調整処理手段と、前記第1の色変換テーブルに基づいて、前記第1の色空間よりも広い色域を有する第2の色空間の画像に適用する第2の色変換テーブルを作成する色変換テーブル作成処理手段とを備えることを特徴とする。
本発明によれば、以下のような効果が得られる。即ち、第1の色空間(例えば、標準色空間)で定義された色変換テーブルに基づき、第1の色空間とは異なる第2の色空間(拡張色空間)で定義されたテーブルを作成することができる。その結果、第2の色変換の画像に対して、第1の色変換テーブルで定義された変換特性を反映した色変換を実現できる。
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
本発明の一実施形態では、第1の色空間で作成した第1の色変換テーブルを基に、第1の色空間とは異なる第2の色空間の第2の色変換テーブルを自動で作成し、第2の色空間で第2の色変換テーブルを用いて色変換を行う。すなわち、本発明の一実施形態に係る画像処理装置は、第1の色空間で定義された第1の色変換テーブルに基づいて、第2の色空間で定義された第2の色変換テーブルを作成する。
なお、上記第2の色空間は、第1の色空間の色域よりも広い色域を有するものとする。よって、上記第2の色空間で定義された色変換テーブルは、第1の色空間で定義された色変換テーブルを拡張定義することで作成された色変換テーブルである。
本発明の一実施形態に係る画像処理装置は、限定されるわけではないが、例えばパーソナルコンピュータとして実現されるものであり、該画像処理装置の動作の制御処理やデータ処理等を実行するCPUを備えている。また、上記画像処理装置は、各処理手順等のプログラムを格納したROMと、それらの処理を実行するためのワークエリア等として用いられるRAMとを有するメモリも備えている。
また、上記画像処理装置は、所定の指令あるいはデータなどを入力するキーボードあるいは各種スイッチなどを含む入力操作部、および入力された画像や画像処理装置の設定状態などをはじめとする種々の表示を行う表示装置を備えている。該表示装置は、第1の色空間に対応したLCDモニタなどのカラー表示装置である。
また、上記画像処理装置は、スキャナやデジタルカメラ等の画像入力装置を接続することができる。このような接続により、後述するサンプル画像等の画像が入力される。なお、本発明の一実施形態では、上記画像入力装置に限らず、サンプル画像等の画像を入力できればいずれの画像入力手段を用いても良い。例えば、ネットワークインタフェースを設け、ネットワークを介して他のPCやスキャナ等の装置から入力しても良い。また、磁気ドライブや光ディスクドライブを設け、サンプル画像等の画像を記憶した磁気ディスクや光ディスクにより、該画像を入力するようにしても良い。
さらに、上記画像処理装置は、プリンタ等の画像出力装置に接続することができる。この画像出力装置は、電子写真方式、インクジェット方式などいずれの方式の画像形成装置であっても良いし、モニタなどのディスプレイであっても良い。また、上記画像出力装置は、第1の色空間に対応するものであっても良いし、第2の色空間に対応するものであっても良い。
図1は、本発明の一実施形態に係わる第1の色空間で定義された第1の色変換テーブルから第2の色空間で定義された第2の色変換テーブルを作成する処理手順を示すフローチャートである。上記画像処理装置が備えるCPUは、メモリに格納されたプログラムを読み出し、図1に示すフローチャートに従って以下の動作を実行する。
ステップS101では、入力された第1の色空間の画像に対して所定の色変換を行い、第1の色空間で定義された色変換テーブルを作成する(以下、画像色調整処理と呼ぶ)。
この画像色調整処理の一例(第1の実施形態に対応)では、画像処理装置は、第1の色空間の色域をもつLCDモニタ等の表示装置によって第1の色空間の画像を表示する。ユーザが表示装置を見ながら画像の色を所定のソフトウエアを用いて調整すると、画像処理装置は、上記色調整に応じた色変換を行うようにその結果をデータ化することで第1の色空間の色変換テーブル(第1の色空間で定義された色変換テーブル)を作成する。すなわち、画像処理装置は、第1の色空間の画像に対してユーザの操作に応じて色調整を行い、第1の色空間で定義された色変換テーブルを作成する。
ここで、表示装置は一般的に広く用いられているものとし、色調整を行う画像には、色票データが含まれているものとする。
また、画像色調整処理の他の例(第2の実施形態に対応)では、画像処理装置は、磁気ディスク、光ディスク等の可搬メディア、またはネットワークを介して入力された第1の色空間の画像の色の表現特性としての色票データを取得する。次いで、画像処理装置は、該画像処理装置の色票データと、上記取得された色票データとを比較し、上記取得された色票データに近づけるようなテーブルを作成して、第1の色空間で定義された色変換テーブルを作成する。
ステップS102では、第1の色空間で定義された色変換テーブルを基に、第2の色空間で定義された色変換テーブルを作成する(以下、色変換テーブル(TBL)自動作成処理と呼ぶ)。
この色変換テーブル作成処理では、画像処理装置は、画像色調整処理で作成した第1の色空間で定義された色変換テーブルを基に第2の色空間の色変換テーブル(第2の色空間で定義された色変換テーブル)を作成する。
なお、本明細書において、「第1の色空間で定義された色変換テーブル」とは、第1の色空間の画像に適用可能な色変換テーブルである。
また、本明細書において、「第2の色空間で定義された色変換テーブル」とは、第2の色空間の画像に対して適用可能にするように、第1の色空間で定義された色変換テーブルを拡張定義した色変換テーブルである。すなわち、第1の色空間の画像について行われた色変換を、第2の色空間の画像に反映するためのものであり、第2の色空間の画像に適用可能なものである。
さて、ステップS102にて作成された第2の色空間で定義された色変換テーブルを、画像処理装置が備えるメモリに格納することは有効である。このように格納することによって、ある画像に対してユーザによって行われた色調整を、他の画像に適用することができる。例えば、第1の色空間のある画像を表示装置にて色調整し、該色調整を、他の画像に対して反映させて第2の色空間に対応する画像出力装置から出力する場合などに有効である。この場合、第2の色空間で定義された色変換テーブルをその都度演算により取得しなくても、メモリから読み出すだけで、簡単に第2の色空間に対応させて出力することができる。もちろん、その都度演算により第2の色空間で定義された色変換テーブルを取得しても良いことは言うまでも無い。
ステップS103では、第2の色空間で定義された色変換テーブルを第2の色空間の画像に対して適用して、上記第2の色空間の画像に対して色変換を行う(以下、画像色変換処理と呼ぶ)。
画像色変換処理では、画像処理装置は、色変換テーブル作成処理で作成した第2の色空間で定義された色変換テーブルを第2の色空間の画像に対して適用し、色変換を行う。なお、図1では、ステップS102にて第2の色空間で定義された色変換テーブルを演算により取得して画像色変換処理を行っているが、予めメモリに格納された第2の色空間で定義された色変換テーブルを読み出して、画像色変換処理を行うようにしても良い。
本発明の方法によれば、第1の色空間(例えば、標準色空間)の色域をもつ表示装置では正しく表示されない第2の色空間(例えば、拡張色空間)のデータが入力された場合でも、対応可能である。すなわち、第1の色空間のデータに対して作成された色変換テーブルの特徴を第2の色空間に対応した色変換テーブルに反映させることができるので、対応することができる。
具体的には、色変換テーブル作成処理において、sRGBの画像に対して作成された色変換テーブルを拡張してAdobe RGBやWide Gamut RGBの色変換テーブルを作成することができる。従って、Adobe RGBやWide Gamut RGBの画像に対してもsRGBの画像とほぼ同等の色変換を行うことができる。
また、本発明によれば、画像色調整処理と画像色変換処理とで色空間が異なっていても、画像色調整処理で作成した色変換テーブルを基に、色変換テーブル作成処理において画像色変換処理での色空間に対応した色変換テーブルを作成することができる。よって、画像色調整処理での色空間と画像色変換処理での色空間とが異なる場合であっても、対応することができる。
(第1の実施形態)
本実施形態では第1の色空間にsRGB、第2の色空間にAdobe RGBを設定し、説明を行う。
図2は「sRGB対応の色変換テーブル(TBL)の作成からAdobe RGB対応の色変換TBLの自動作成までの処理」を示すブロック図である。
図2において、画像処理装置は、画像色調整処理部203、sRGBに対応した表示装置204、および色変換テーブル(TBL)作成処理部206を備えている。また、上記画像処理装置には、カメラやスキャナ等の画像入力装置201が接続されている。画像入力装置201はsRGBに対応しており、画像入力装置201から入力される画像はsRGBの画像である。
また、画像処理装置は、画像処理装置全体を制御する制御部(不図示)を備えており、該制御部は、画像処理装置の動作の制御処理やデータ処理等を実行するCPU(不図示)を有している。また、上記制御部は、各処理手順等のプログラムを格納したROMと、それらの処理を実行するためのワークエリア等として用いられるRAMとを有するメモリも有している。図1に示す各構成もこの制御部によって統合して制御される。
画像入力装置201からサンプル画像202を入力画像として画像色変換処理部203に入力する。画像色調整処理部203は、まず入力されたサンプル画像202を表示装置204に表示する。ここで表示装置204は、LCDモニタなどの一般的に利用されているものとし、その色空間は入力されたサンプル画像202と同じであるとする。ここではサンプル画像202と表示装置204の色空間をsRGBとして扱うものとする。
表示装置204にサンプル画像が表示されると、ユーザがフォトレタッチソフトなどにより表示装置204に表示されたサンプル画像202を見ながらレタッチ処理を行う。ユーザによるレタッチ処理が終了すると、画像色調整処理部203は、サンプル画像202とレタッチ後の画像とから、第1の色空間で定義された色変換テーブル(TBL)としての色変換TBL(sRGB)205を生成する。
生成された色変換TBL(sRGB)205は色変換テーブル作成処理部206に入力され、その出力として色変換TBL(Adobe RGB)207を得る。すなわち、色変換テーブル作成処理部206は、画像色調整処理部203から出力された色変換TBL(sRGB)に基づいて、第2の色空間で定義された色変換テーブルとしての色変換TBL(Adobe RGB)207を作成する。このようにして得られた色変換TBL(Adobe RGB)207は、制御部が有するメモリに記憶される。
各処理部の詳細は後述する。ここまでが、sRGB対応の色変換TBL(第1の色空間で定義された色変換テーブル)の作成からAdobe RGB対応の色変換TBL(第2の色空間で定義された色変換テーブル)の自動作成までの処理である。
図3では、図2で説明した「sRGB対応の色変換TBLの作成からAdobe RGB対応の色変換TBLの自動作成までの処理」により自動作成されたAdobe RGB対応の色変換TBLをAdobe RGBの色空間の入力画像に適用する処理を示す。
図3において、画像処理装置は、画像色変換処理部302を備えている。上記画像処理装置には、カメラやスキャナ等の画像入力装置304が接続されている。画像入力装置304は、Adobe RGBに対応しており、画像入力装置304から入力される画像は、Adobe RGBの画像である。さらに、画像処理装置には、Adobe RGBに対応した画像出力装置303が接続されている。
画像入力装置304から、Adobe RGBの色空間で表された入力画像301を画像色調整処理部302に入力する。色変換TBL(Adobe RGB)207は図2に示した処理により最終的に得られる色変換TBLを示しており、メモリから読み出されて画像色変換処理部302に入力される。
画像色変換処理部302は、入力された入力画像301に対して色変換TBL(Adobe RGB)207を使用し色変換を行い、変換された画像(変換画像)を画像出力装置303に入力する。画像出力装置303は、例えばAdobe RGBに対応したプリンタやモニタを示しており、入力された変換画像を出力する。
図4は図2に示したサンプル画像202の詳細を示す図である。領域aは画像領域であり、領域bはLUT用色票領域である。このように、予め画像の一部にLUT用色票領域を設け、LUT用色票データを準備しておく。
このLUT用色票データは、例えば16×16×16のLUTでは、以下に示すようなRGB値が均等分割された配列データを用いる。
RGB=(0, 0, 0), (0, 0, 16), ・・・(0, 0, 239), (0, 0 255), (0, 16, 0), (0, 16, 16), ・・・(255, 255, 255)
あるいは、sRGBの色域において、色相・彩度・明度が均等分割されたデータを用いても良い。
また、図5に示すようにサンプル画像において、上記したLUT用色票領域bの他に、別の色票データのための領域(ユーザ色票領域c)を準備しても良い。このように準備をしておけば、ユーザが任意に精度よく調整したい色をサンプル画像中からピックアップし、ユーザ色票データとして設定することもできる。
次に、図2で示した画像色調整処理部203が行う画像色調整処理の詳細を図6のフローチャートを用いて説明する。
ステップS601では、画像色調整処理部203は、サンプル画像202を表示装置204に表示し、ステップS602に進む。
ステップS602では、画像色調整処理部203は、サンプル画像202からLUT用色票領域bに設定されたLUT用色票データAのRGB値を取得し、該取得したLUT用色票データAのRGB値をメモリに記憶し、ステップS603に進む。
ステップS603では、画像色調整処理部203は、ユーザによるサンプル画像202へのレタッチ(色調整)に応じて、サンプル画像202中のLUT用色票領域bのRGB値を変更し、ステップS604に進む。すなわち、ユーザがサンプル画像202に対してフォトレタッチソフトによってレタッチ(色調整)を行い、画像色調整処理部203は、該色調整をLUT用色票領域bに反映させ、レタッチの終了に伴いステップS604に進む。ここで、ユーザがサンプル画像202に対してレタッチを行うことでサンプル画像202中のLUT用色票領域に設定されたLUT用色票データのRGB値も同時に変更される。
ステップS604では、画像色調整処理部203は、ステップS603で行われた色調整後の画像からLUT用色票領域bに設定されたLUT用色票データBのRGB値を取得する。画像色調整処理部203は、該取得したLUT用色票データBのRGB値をメモリに記憶し、ステップS605に進む。
ステップS605では、画像色調整処理部203は、ステップS602において取得したLUT用色票データAのRGB値を入力とし、ステップS604において取得されたLUT用色票データBのRGB値を出力とするように関連付ける。画像色調整処理部203は、このように関連付けることによって、第1の色空間で定義された色変換テーブルとしての色変換TBL(sRGB)を作成し、該作成した色変換TBL(sRGB)をメモリに記憶し、処理を終了する。
以上の処理により、画像色調整処理部203は、3次元のLUT(多次元の色変換テーブル)である色変換TBL(sRGB)205を作成する。
次に、図2で示した色変換テーブル作成処理部206が行う色変換テーブル作成処理の詳細について、図7のフローチャートと図8(a)〜(e)とを用いながら説明する。
ステップS701では、色変換テーブル作成処理部206は、画像色調整処理部203が作成した色変換TBL(sRGB)205(以下、TBL_A(RGB to RGB))とする)をメモリ上にロードし、ステップS702に進む。ここで、TBL_A(RGB to RGB)は均等分割されたRGBの入力値(sRGB)に対するR'G'B'の出力値(sRGB)であり、図8(a)に示す。
ステップS702では、色変換テーブル作成処理部206は、Lab空間で色相・彩度・明度(以下、色相はH、彩度はS、明度はLとする)が均等に分割されたデータをTBL_HSLとしてもち、ステップS703に進む。ここで、H、S、Lの分割間隔は全て等しいことが好ましく、数値として5程度が適切である。ここで、H、S、Lのとりうる値はそれぞれ0≦H<2π、 0≦S≦Smax、0≦L≦100である。Sの最大値SmaxはAdobe RGBの色域を含む値であることが好ましく、ここでは180と設定する。結果として作成されるTBL_HSLを図8(b)に示す。すなわち、本実施形態では、第2の色空間がAdobe RGBであるので、Adobe RGBに対応するH,S,Lとなるように、TBL_HSLを作成する。本実施形態では、sRGBにて作成された色変換テーブルを、Adobe RGBへと適用することが重要であり、このために、Adobe RGBのH,S,Lを有するTBL_HSLを用いるのである。
ステップS703では、色変換テーブル作成処理部206は、ステップS702で作成したTBL_HSLをsRGB色空間のRGB値に変換し、TBL_sRGBを作成する。ここで、TBL_HSLに含まれるデータのうち、sRGBの色域を超えるデータはsRGBのRGB値に変換した場合に、その値が0未満か1を超える値(本実施形態では、8bitの256階調であるので、0未満か255よりも大きい値)となる。そのようなデータについては今後sRGB色域外のデータとして扱う。結果として作成されるTBL_sRGBを図8(c)に示す。
ステップS704では、色変換テーブル作成処理部206は、ステップS703にて取得されたTBL_sRGBが入力値である場合に対応する出力値(sRGB)を求める。具体的には、色変換テーブル作成処理部206は、ステップS701のTBL_A(RGB to RGB)に対して公知の方法(例えば、四面体補間など)により線形補間を行うことによって求め、色変換TBL_B(RGB to RGB)を作成する。この作成された色変換TBL_B(RGB to RGB)はメモリに記憶される。結果として作成されるTBL_B(RGB to RGB)を図8(d)に示す。ただし、入力値がsRGB色域外のデータである場合の出力値(図8(d)には不図示であるが、0未満の値や255よりも大きい値)は定義されない。
本実施形態では、Adobe RGBのH,S,LデータをsRGBのRGBデータに変換したデータを、色変換TBL_A(RGB to RGB)を用いて、ユーザによって行われた色調整に関する色変換に適用している。よって、sRGBにてユーザによって行われた色調整に係る色変換を、Adobe RGBの色変換テーブルに反映することができる。
ステップS705では、色変換テーブル作成処理部206は、ステップS704で作成した色変換TBL_B(RGB to RGB)を変換する。次いで、HSLの入力値に対してH'S'L'の出力値を対応させる色変換TBL_C(HSL to HSL)を作成する。該作成された色変換TBL_C(HSL to HSL)はメモリに記憶される。結果として作成されるTBL_C(HSL to HSL)を図8(e)に示す。ただし、前記色変換TBL_B(RGB to RGB)と同じく、入力値がsRGB色域外のデータである場合の出力値(図8(e)には不図示であるが、0未満の値や255よりも大きい値)は定義されない。
ステップS706では、色変換テーブル作成処理部206は、ステップS705で作成したTBL_C(HSL to HSL)のうち、sRGB色域内のデータにおいて、色相・彩度・明度毎に入力値から出力値への変換方法を求める。この変換方法の求め方は、公知の方法を用いれば良い。
ステップS707では、色変換テーブル作成処理部206は、ステップS706で求めた色相・彩度・明度の入力値から出力値への変換方法を用いてステップS703でsRGB色域外と判定されたデータに対する出力値を決定する。この決定の方法は以下で説明する。この決定を行うと、色変換テーブル作成処理部206は、TBL_C(HSL to HSL)を完成させて処理を終了する。
以上の処理により、色変換テーブル作成処理部206は、3次元のLUT(多次元の色変換テーブル)である色変換TBL(sRGB)205を基に色変換TBL(Adobe RGB)207を作成する。
次に、図7で示したステップS707の詳細について、図9(a)〜(c)を用いて説明する。ステップS707において、色変換テーブル作成処理部206は、色相、再度、明度の各々について、色変換TBL_B(RGB toRGB)のうち、sRGB色域内に含まれるデータの少なくとも1つを用いて、sRGB色域外のデータを拡張定義する。すなわち、sRGB色域内の少なくとも1つのデータにより、色相、彩度、明度のうち対象となるものがどのように変化しているかを求め、その結果を用いて、sRGB色域内とsRGB色域外とを滑らかにするのである。
なお、本実施形態では、第2の色空間の所定のデータは、Adobe RGBのH,S,Lである。よって、色変換TBL_B(RGB toRGB)は、Adobe RGBのH,S,Lに、ユーザによって行われた色調整(色変換)を反映させて(色変換TBL_A(RGB to RGB)を適用して)得られたデータである。
本実施形態では、色変換テーブル作成処理部206は、sRGB色域に含まれるデータを、色相、彩度、明度に分けて該色相、彩度、明度毎に、上記拡張定義のための解析を以下のようにして行う。
まず、色相に対する変換方法を図9(a)に示す。入力データにおいてsRGB色域内で最も彩度の高いデータAに着目し、sRGB色域外の色については全てA'(Aの出力)の色相H'となるようにする。
すなわち、色相を用いて拡張定義を行う方法として、sRGB色内(第1の色空間内)のデータの中で任意の明度、任意の色相において最も彩度の高いデータに着目する。該データに対する、第1の色空間で定義された色変換テーブルを適用した結果得られるデータの色相を、sRGB色域には含まれずAdobe RGB色域に含まれるデータにおいて該明度・色相をもつデータに対する色変換後のデータの色相として定義する。
次に、彩度に対する変換方法を図9(b)に示す。入力データにおいて、sRGB色域内で最も彩度の高いデータAと、それよりも彩度の低いデータBに着目し、A'とB'(Bの出力)の差分をA'に順次加えていくことで、sRGB色域外のデータに対する出力値を求める。
すなわち、彩度を用いて拡張定義を行う方法として、sRGB色域内(第1の色空間内)のデータの中で任意の明度、任意の色相において最も彩度の高いデータと2番目に彩度の高いデータに着目する。第1の色空間で定義された色変換テーブルを適用した結果得られるデータに基づき、上記2つのデータの差分を算出する。次いで、該算出された差分を、第1の色空間で定義された色変換テーブルを適用した結果得られる最も彩度の高いデータに順次加える。これにより、sRGB色域には含まれずAdobe RGB色域に含まれるデータにおいて、該明度・色相をもつデータに対する色変換後のデータの彩度として定義する。
次に、明度に対する変換方法を図9(c)に示す。これは色相の場合と同様に、入力データにおいてsRGB色域内で最も彩度の高いデータAに着目し、sRGB色域外の色については全てA'の明度L'となるようにする。
すなわち、明度を用いて拡張定義を行う方法として、sRGB色域内(第1の色空間内)のデータの中で任意の明度、任意の色相において最も彩度の高いデータに着目する。該データに対する、sRGB色域で定義された色変換テーブルを適用した結果得られるデータの明度を、sRGB色域には含まれずAdobe RGB色域に含まれるデータにおいて該明度・色相をもつデータに対する色変換後のデータの明度として定義する。
そしてこれらのsRGB色域外の入力値に対する出力値とsRGB色域内の入力値に対する出力値を結合させることで、AdobeRGBに対応した3次元LUTである色変換TBL(Adobe RGB)207を作成することができる。
ここで、上記のアルゴリズムでは、入力データにおいてsRGB色域内の最も彩度の高いデータに着目していたがこれに限定されない。例えば、sRGB色域内における同一色相上の複数のデータから、色調整によって色相・彩度・明度がどのように変化したかをデータとして記憶する。そのデータからスプライン曲線などを用いてsRGB色域内の出力値を表し、sRGB色域外に向かってスプライン曲線を拡張したものをsRGB色域外のデータに対する出力値としてAdobe RGB対応のLUTを作成することもできる。図10はその概念図である。以上説明した様に、例えば、標準色空間で定義された色調整に応じた色変換テーブルに基づき、拡張色空間で定義されたテーブルを作成することができる。その結果、高価な拡張色空間に対応した表示装置上で色調整を行わず、標準色空間に対応した表示装置での色調整を行なったにもかかわらず、拡張色空間の画像に対して、第1の色変換テーブルで定義された変換特性を反映した色変換テーブルを生成できる。
(第2の実施形態)
第1の実施形態ではユーザがフォトレタッチソフトによってレタッチを行うことでsRGBの色空間に対応した3次元のLUTを作成する例を示した。本実施形態では、ユーザが色変換を真似たいと考えるプリンタの出力を使用してsRGBの色空間に対応した3次元のLUTを作成する。
図11により、プリンタを用いてsRGB対応の色変換TBLの作成からAdobe RGB対応の色変換TBLの自動作成までの処理を説明する。
図11において、本実施形態に係る画像処理装置は、測色処理部1103、および色変換テーブル作成処理部206を備えている。符号1101はユーザが色変換を真似たいと思うプリンタであり、本実施形態に係る画像処理装置に接続されている。符号1102はプリンタ1101から出力されたサンプル画像(印刷物)である。ここで、サンプル画像1102はLUT用色票領域が挿入されたものである。
本実施形態では、測色処理部1103は、プリンタ1101から出力されたサンプル画像1102のLUT用色票領域を測色し、サンプル画像1102のLUT用色票データを取得する。次いで、測色処理部1103は、入力がサンプル画像1102の元の電子データ(不図示)のLUT用色票データで、出力がサンプル画像1102のLUT用色票データとなるように関連付ける。このようにして、測色処理部1103は、第1の色空間で定義されたプリンタ1101の色変換を反映した色変換テーブルである、色変換TBL(sRGB)1104を作成する。
測色処理部1103にて作成された色変換TBL(sRGB)1104は、色変換テーブル作成処理部206に入力され、第1の実施形態と同様にして、第2の色空間で定義された色変換テーブルである色変換TBL(Adobe RGB)1106が作成される。
以上のように本実施の形態群によれば、表示装置が標準色空間である場合には色調整を行う画像として標準色空間の画像を用いるので、色調整の結果を表示装置で確認することができ、容易に意図した色調整を行うことが可能となる。そして、色調整の結果を反映させた標準色空間の色変換テーブルを作成することで、拡張色空間の画像に対しても色変換を行うことができる。
また、既存の非線形な色変換テーブルの対応する色空間とは異なる色空間の入力画像に対しても、既存の非線形な色変換テーブルを拡張定義することで異なる色空間に対応した色変換テーブルを作成することができる。よって、異なる色空間の入力画像に対しても既存の非線形な色変換テーブルとほぼ同等の色変換を行うことができる。
(その他の実施形態)
本発明は、複数の機器(例えばコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用することも、1つの機器からなる装置(複合機、プリンタ、ファクシミリ装置など)に適用することも可能である。
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、前述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。
かかる記憶媒体としてはたとえばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD―ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。
また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、OS上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
本発明の一実施形態に係る、第1の色空間で定義された第1の色変換テーブルから第2の色空間で定義された第2の色変換テーブルを作成する処理手順を示すフローチャートである。 本発明の一実施形態に係る、画像処理装置の該略図である。 本発明の一実施形態に係る、画像処理装置の該略図である。 本発明の一実施形態に係る、サンプル画像の詳細を示す図である。 本発明の一実施形態に係る、サンプル画像の詳細を示す図である。 本発明の一実施形態に係る、画像色調整処理の詳細を示すフローチャートである。 本発明の一実施形態に係る、色変換テーブル作成処理を示すフローチャートである。 (a)〜(e)は、本発明の一実施形態に係る、自動色変換テーブル作成処理において作成されるLUTの詳細を示す図である。 (a)〜(c)は、本発明の一実施形態に係る、sRGB色域内から滑らかに拡張されたAdobe RGB対応のLUTを作成する方法を示す図である。 本発明の一実施形態に係る、sRGB色域内からスプライン曲線を用いて滑らかに拡張されたAdobe RGB対応のLUTを作成する方法を示す概念図である。 本発明の一実施形態に係る、画像処理装置の該略図である。
符号の説明
201 画像入力装置
203 画像色調整処理部
204 表示装置
206 色変換テーブル作成処理部
1003 測色処理部

Claims (24)

  1. 色票データを含む第1の色空間の画像に対して所定の色調整を行い、当該色調整を行う前の色票データと当該色調整を反映した色票データとを関連付けて前記第1の色空間の画像に適用する第1の色変換テーブルを作成する画像色調整処理工程と、
    前記第1の色変換テーブルに基づいて、前記第1の色空間よりも広い色域を有する第2の色空間の画像に適用する第2の色変換テーブルを作成する色変換テーブル作成処理工程とを有することを特徴とする画像処理方法。
  2. 前記色変換テーブル作成処理工程では、前記第1の色変換テーブルを拡張定義することにより、前記第2の色変換テーブルを作成することを特徴とする請求項1記載の画像処理方法。
  3. 前記色変換テーブル作成処理工程では、前記第2の色空間の所定のデータに前記第1の色変換テーブルで定義される所定の色変換を反映させて得られたデータのうち、前記第1の色空間の色域内に含まれるデータの少なくとも1つのデータにより前記拡張定義を行い、前記第2の色変換テーブルを作成することを特徴とする請求項2記載の画像処理方法。
  4. 前記所定のデータは、色相、彩度、明度に関するデータであり、
    前記色変換テーブル作成処理工程では、前記色相、彩度、明度毎に、前記拡張定義のための解析を行うことを特徴とする請求項3記載の画像処理方法。
  5. 前記第1の色空間はsRGBであり、前記第2の色空間はWide Gamut RGBもしくはAdobe RGBであることを特徴とする請求項1乃至4のいずれかに記載の画像処理方法。
  6. 前記第2の色変換テーブルを前記第2の色空間の画像に適用して、前記第2の色空間の画像に対して色変換を行う画像色変換処理工程をさらに有することを特徴とする請求項1乃至5のいずれかに記載の画像処理方法。
  7. 前記画像色調整処理工程では、ユーザによって前記第1の色空間の画像に対して前記所定の色調整が行われると、前記色票データに当該所定の色調整が反映されることを特徴とする請求項1乃至6のいずれかに記載の画像処理方法。
  8. 色票データを含む第1の色空間の画像に対して所定の色調整を行い、当該色調整を行う前の色票データと当該色調整を反映した色票データとを関連付けて前記第1の色空間の画像に適用する第1の色変換テーブルを作成する画像色調整処理手段と、
    前記第1の色変換テーブルに基づいて、前記第1の色空間よりも広い色域を有する第2の色空間の画像に適用する第2の色変換テーブルを作成する色変換テーブル作成処理手段とを備えることを特徴とする画像処理装置。
  9. 前記色変換テーブル作成処理手段は、前記第1の色変換テーブルを拡張定義することにより、前記第2の色変換テーブルを作成することを特徴とする請求項8記載の画像処理装置。
  10. 前記色変換テーブル作成処理手段は、前記第2の色空間の所定のデータに前記第1の色変換テーブルで定義される所定の色変換を反映させて得られたデータのうち、前記第1の色空間の色域内に含まれるデータの少なくとも1つのデータにより前記拡張定義を行い、前記第2の色変換テーブルを作成することを特徴とする請求項9記載の画像処理装置。
  11. 前記所定のデータは、色相、彩度、明度に関するデータであり、
    前記色変換テーブル作成処理手段は、前記色相、彩度、明度毎に、前記拡張定義のための解析を行うことを特徴とする請求項10記載の画像処理装置。
  12. 前記第1の色空間はsRGBであり、前記第2の色空間はWide Gamut RGBもしくはAdobe RGBであることを特徴とする請求項8乃至11のいずれかに記載の画像処理装置。
  13. 前記第2の色変換テーブルを前記第2の色空間の画像に適用して、前記第2の色空間の画像に対して色変換を行う画像色変換処理手段をさらに備えることを特徴とする請求項8乃至12のいずれかに記載の画像処理装置。
  14. 前記画像色調整処理手段は、ユーザによって前記第1の色空間の画像に対して前記所定の色調整が行われると、前記色票データに当該所定の色調整を反映することを特徴とする請求項8乃至13のいずれかに記載の画像処理装置。
  15. コンピュータを請求項8乃至14のいずれかに記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
  16. プリンタから出力されたサンプル画像の色票を測色し、前記サンプル画像の色票の元の電子データと当該測色されたサンプル画像の色票データとを関連付けて前記第1の色空間の画像に適用する第1の色変換テーブルを作成する画像色調整処理工程と、
    前記第1の色変換テーブルに基づいて、前記第1の色空間よりも広い色域を有する第2の色空間の画像に適用する第2の色変換テーブルを作成する色変換テーブル作成処理工程とを有することを特徴とする画像処理方法。
  17. 前記色変換テーブル作成処理工程では、前記第1の色変換テーブルを拡張定義することにより、前記第2の色変換テーブルを作成することを特徴とする請求項16記載の画像処理方法。
  18. 前記色変換テーブル作成処理工程では、前記第2の色空間の所定のデータに前記第1の色変換テーブルで定義される所定の色変換を反映させて得られたデータのうち、前記第1の色空間の色域内に含まれるデータの少なくとも1つのデータにより前記拡張定義を行い、前記第2の色変換テーブルを作成することを特徴とする請求項17記載の画像処理方法。
  19. 前記第1の色空間はsRGBであり、前記第2の色空間はWide Gamut RGBもしくはAdobe RGBであることを特徴とする請求項16乃至18のいずれかに記載の画像処理方法。
  20. プリンタから出力されたサンプル画像の色票を測色し、前記サンプル画像の色票の元の電子データと当該測色されたサンプル画像の色票データとを関連付けて前記第1の色空間の画像に適用する第1の色変換テーブルを作成する画像色調整処理手段と、
    前記第1の色変換テーブルに基づいて、前記第1の色空間よりも広い色域を有する第2の色空間の画像に適用する第2の色変換テーブルを作成する色変換テーブル作成処理手段とを備えることを特徴とする画像処理装置。
  21. 前記色変換テーブル作成処理手段は、前記第1の色変換テーブルを拡張定義することにより、前記第2の色変換テーブルを作成することを特徴とする請求項20記載の画像処理装置。
  22. 前記色変換テーブル作成処理手段は、前記第2の色空間の所定のデータに前記第1の色変換テーブルで定義される所定の色変換を反映させて得られたデータのうち、前記第1の色空間の色域内に含まれるデータの少なくとも1つのデータにより前記拡張定義を行い、前記第2の色変換テーブルを作成することを特徴とする請求項21記載の画像処理装置。
  23. 前記第1の色空間はsRGBであり、前記第2の色空間はWide Gamut RGBもしくはAdobe RGBであることを特徴とする請求項20乃至22のいずれかに記載の画像処理装置。
  24. コンピュータを請求項20乃至23のいずれかに記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
JP2007172761A 2007-06-29 2007-06-29 画像処理方法および画像処理装置 Expired - Fee Related JP5344518B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007172761A JP5344518B2 (ja) 2007-06-29 2007-06-29 画像処理方法および画像処理装置
US12/144,882 US8503775B2 (en) 2007-06-29 2008-06-24 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007172761A JP5344518B2 (ja) 2007-06-29 2007-06-29 画像処理方法および画像処理装置

Publications (3)

Publication Number Publication Date
JP2009010893A JP2009010893A (ja) 2009-01-15
JP2009010893A5 JP2009010893A5 (ja) 2010-08-12
JP5344518B2 true JP5344518B2 (ja) 2013-11-20

Family

ID=40160584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007172761A Expired - Fee Related JP5344518B2 (ja) 2007-06-29 2007-06-29 画像処理方法および画像処理装置

Country Status (2)

Country Link
US (1) US8503775B2 (ja)
JP (1) JP5344518B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5435885B2 (ja) * 2008-04-15 2014-03-05 キヤノン株式会社 色処理装置、画像処理装置およびそれらの方法
JP5538925B2 (ja) * 2009-02-13 2014-07-02 キヤノン株式会社 画像処理装置および画像処理方法
JP5268695B2 (ja) * 2009-02-13 2013-08-21 キヤノン株式会社 画像処理方法および画像処理装置
JP2010283687A (ja) * 2009-06-05 2010-12-16 Ricoh Co Ltd プログラム、情報処理装置、階調補正パラメータ生成方法、記憶媒体
JP6015359B2 (ja) * 2012-11-02 2016-10-26 株式会社Jvcケンウッド カラー映像信号処理装置、処理方法及び処理プログラム
JP5840159B2 (ja) * 2013-02-26 2016-01-06 京セラドキュメントソリューションズ株式会社 画像形成装置
DE102013101923B4 (de) * 2013-02-27 2018-02-08 Océ Printing Systems GmbH & Co. KG Verfahren und System zum Bearbeiten von farbigen Druckbildern für den Digitaldruck
JP5854034B2 (ja) * 2013-12-19 2016-02-09 富士ゼロックス株式会社 色処理装置、画像形成装置およびプログラム
US10853708B2 (en) 2017-02-10 2020-12-01 Hewlett-Packard Development Company, L.P. Color calibration
WO2019145795A2 (en) 2018-01-26 2019-08-01 Cellink Ab Systems and methods for optical assessments of bioink printability
US11186736B2 (en) 2018-10-10 2021-11-30 Cellink Ab Double network bioinks
US11826951B2 (en) 2019-09-06 2023-11-28 Cellink Ab Temperature-controlled multi-material overprinting
JP2023164054A (ja) 2022-04-28 2023-11-10 キヤノン株式会社 データ処理装置、情報処理装置、方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077659A (ja) 2000-09-05 2002-03-15 Konica Corp 好みの色変換を実現する方法及び好みの色変換を実現する装置
JP4065482B2 (ja) * 2001-09-18 2008-03-26 キヤノン株式会社 画像データ処理方法、装置、記憶媒体、及びプログラム
KR100416231B1 (ko) * 2001-11-08 2004-01-31 한국전자통신연구원 칼라 디바이스의 선형 색역폭 확장장치 및 그 방법
JP4416415B2 (ja) * 2003-02-14 2010-02-17 キヤノン株式会社 ルックアップテーブル作成方法、及びコンピュータプログラム、及び撮像装置
US7251360B2 (en) * 2003-02-14 2007-07-31 Canon Kabushiki Kaisha Look-up table generation method, computer program, and imaging apparatus
JP4646567B2 (ja) 2004-08-05 2011-03-09 キヤノン株式会社 色変換テーブル作成方法および画像処理装置
US7965426B2 (en) * 2005-08-12 2011-06-21 Canon Kabushiki Kaisha Image processing apparatus and method for performing gamut mapping via device-independent standard color space
JP2007124243A (ja) * 2005-10-27 2007-05-17 Canon Inc 色変換方法
JP4156631B2 (ja) * 2006-04-26 2008-09-24 シャープ株式会社 画像処理方法および画像処理装置
JP4771538B2 (ja) 2006-07-20 2011-09-14 キヤノン株式会社 色変換テーブル生成方法、色変換テーブル及び色変換テーブル生成装置

Also Published As

Publication number Publication date
US8503775B2 (en) 2013-08-06
US20090003696A1 (en) 2009-01-01
JP2009010893A (ja) 2009-01-15

Similar Documents

Publication Publication Date Title
JP5344518B2 (ja) 画像処理方法および画像処理装置
Kriss Color management: understanding and using ICC profiles
JP4677379B2 (ja) 画像処理装置及び画像処理方法
JP2002016818A (ja) 色補正方法および装置並びに記録媒体
EP1968305B1 (en) Color processing apparatus and method thereof
JP2002094816A (ja) 画像処理装置およびその制御方法、並びに、画像処理方法
JP2006303984A (ja) 色変換定義作成装置、色変換定義作成プログラム、色変換定義作成プログラム記憶媒体、および、色変換定義作成方法
JP2002016939A (ja) 画像処理方法および装置並びに記録媒体
US20050190388A1 (en) Color conversion system, color conversion apparatus and color conversion program storage medium
JP4946541B2 (ja) 色変換処理プログラム、色変換処理装置及び画像形成システム
JPH09326938A (ja) 画像処理装置及びその方法
JP2001045313A (ja) 色変換方法、色変換装置、色変換プログラム記憶媒体、色補正方法
JP2020203454A (ja) 画像処理装置、画像形成装置
US20190052774A1 (en) Image processing apparatus, image processing method, and storage medium
JP4985162B2 (ja) 色域生成装置、色域生成プログラム、及び色変換装置
KR101941231B1 (ko) 색상 수정·보정방법 및 이를 이용하는 색상 수정·보정장치
JP2004297438A (ja) 画像補正方法、装置及びプログラム
JP2010274616A (ja) 画像処理システム、画像処理装置、画像形成装置及びプログラム
JP2010114532A (ja) 色処理装置およびその方法
JP2008072550A (ja) 色処理方法、色処理装置、画像形成装置、プログラムおよび記録媒体
JP4023417B2 (ja) Lutを用いて行う画像処理
JP2002015314A (ja) 画像出力方法および装置並びに記録媒体
JP5849549B2 (ja) 色処理装置及びプログラム
JP2011130087A (ja) 画像処理装置および画像処理方法
JP2004064111A (ja) 色処理装置およびその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100629

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130808

R151 Written notification of patent or utility model registration

Ref document number: 5344518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees