JP5067277B2 - 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム Download PDF

Info

Publication number
JP5067277B2
JP5067277B2 JP2008163140A JP2008163140A JP5067277B2 JP 5067277 B2 JP5067277 B2 JP 5067277B2 JP 2008163140 A JP2008163140 A JP 2008163140A JP 2008163140 A JP2008163140 A JP 2008163140A JP 5067277 B2 JP5067277 B2 JP 5067277B2
Authority
JP
Japan
Prior art keywords
brightness
color
threshold
output
lightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008163140A
Other languages
English (en)
Other versions
JP2010004448A (ja
Inventor
禎子 塙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2008163140A priority Critical patent/JP5067277B2/ja
Publication of JP2010004448A publication Critical patent/JP2010004448A/ja
Application granted granted Critical
Publication of JP5067277B2 publication Critical patent/JP5067277B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラムに関する。
複写装置においては、原稿読取装置によって読み取った画像データに基づいて印刷を行うことにより、原稿を複写している。通常、このような複写装置では、原稿読取装置の読取結果を示す入力画像データをプロファイルによって出力画像データに変換し、出力画像データによって出力装置の色を特定している。この色変換に際して各種の思想に基づいて処理を行うことにより、複写に伴って各種の機能を実現することができる。例えば、下地が白ではない原稿や裏写りが生じている原稿は、これらの下地色や裏写りを忠実に再現するのは好ましくない。そこで、入力画像データにおいて一定の明度以上の画素については、一律に最高明度に変換することによって下地や裏写りなどを除去する技術が知られている。
また、一定の明度以上の画素について一律に最高明度に変換すると、変換しない明度域との間にトーンジャンプが発生する。このトーンジャンプを防止するために、前記一定の明度以下の明度域で明度が滑らかに変化するように変換する方法が提案されている(例えば、特許文献1)。
特開2006−67233号公報
しかしながら、前記特許文献1記載の技術においては、黄色及び肌色の再現性を保つためにL*a*b*空間に特定領域(所定色相範囲且つ所定彩度範囲)に対してのみ処理を行っている。そのため、L*a*b*空間上の特定領域の内外でトーンジャンプが発生して見栄えが悪くなるという問題があった。
本発明は前記課題に鑑みて為されたものであり、下地や裏写り等を除去しつつ、明度方向のみならず彩度方向や色相方向におけるトーンジャンプの発生を防止可能な画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラムの提供を目的とする。
上記課題を解決するために、本発明の画像処理装置では、画像データ入力手段と、色変換手段とを備える構成としてある。前記色変換手段は、前記入力画像データを変換して出力装置での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値を超える色を最高明度に変換するとともに、前記閾値以下の明度域で明度が滑らかに変化するように変換し、該変換後の色について最高明度を有する色が色空間中の特定の領域内の色である場合に該色の彩度を0に変換する。
すなわち明度が所定の閾値を超える色を一定の明度の色に変換することによって本来一定の色であるべき裏写りを除去することができるが、当該閾値以下における明度の変化が滑らかであるので、色変換に伴って明度が急激に変化することを抑えることができる。このとき、最高明度の色は彩度0の白であることが望ましいが、入力画像データの元になる原稿の下地色によっては、彩度が0で無い場合がある。そこで、最高明度に変換された色については、色空間中の特定の領域内の色である場合は、彩度を0に変換する。なお特定の領域は、例えばL*a*b*空間であれば、彩度と色相角とで指定出来る。従って、裏写りの除去とともに明度方向のトーンジャンプの発生を防止し、且つ彩度方向や色相角方向のトーンジャンプの発生を防止することができる。
ここで、入力画像データにおいては、複数の画素について色を指定したデータであれば良く、モノクロ画像であれば通常、一つの色成分(明度等)、カラー画像であれば通常、三つの色成分毎に階調を指定したデータであればよい。画像データ入力手段においては、このような入力画像データを入力することができればよいが、原稿の下地色や裏写りを除去する構成としては、画像読取装置によって原稿を読み取って得られるデータを入力画像データとするのが好ましい。かかる構成によれば、画像読取装置によって本来不要な下地色や裏写りを読み取ってしまう場合であってもこれらを適切に除去することができる。
色変換手段において、入力画像データを出力画像データに変換する際には、各画像データにて採用している表色系を変換することができればよい。すなわち、入力画像データはこのデータを生成する際(例えば、画像読取装置によって読み取る際)に採用している表色系にて色を表現したデータであり、出力画像データは出力装置(例えば、印刷装置)にて使用する表色系で色を表現したデータである。これらのように、画像読取装置や印刷装置で使用するデータで表現される色は、通常、機器依存色である。従って、両表色系の色成分が一致していてもその階調値が示す色が一致としているとは言えず、色変換手段においては、入力画像データの各画素についてその色と同じ色を示すデータになるように出力画像データを生成する。
通常は、プロファイルを参照して色変換を行う。すなわち、複数の色について表色系の対応関係を規定した色変換テーブルや関数によって表色系の対応関係を規定したプロファイル等によって色変換を行う。むろん、プロファイルとしては、入力画像データにおける表色系と出力画像データにおける表色系とを直接的に対応づけたプロファイルでも良いし、入力画像データと他の表色系(例えば、機器非依存色空間)とを対応づけた第1プロファイルと、出力画像データと他の表色系(例えば、機器非依存色空間)とを対応づけた第2プロファイルを参照して色変換を行っても良い。むろん、予めプロファイルを作成しておき、このプロファイルを参照することによって閾値以下の明度域で明度が滑らかに変化するよう変換する構成の他、入力画像データに対する処理、例えば、出力を行うための処理を実施するたびに本発明にかかる色変換を実施する構成でも良く、種々の構成を採用可能である。
所定の閾値は、それより大きな明度域に除去すべき裏写りの色および下地色が含まれるように決定すればよい。このような閾値を超える色を一定の明度の色に変換することで、裏写りおよび下地色の除去が可能である。また、当該閾値以下の明度域で明度が滑らかに変化するように変換するためには種々の構成を採用可能である。すなわち、上記閾値以下の明度域で明度が急激に変化することを防止し、この結果トーンジャンプの発生を抑えられるように変換できればよい。
この変換を行う色空間としては、明度を色成分に含む色空間を採用するのが好ましい。すなわち、この変換における変換対象は明度であるため明度を色成分に含む色空間であれば非常に容易に変換を行うことができる。明度を色変換に含む色空間としてはL*a*b*色空間やL*u*v*色空間等の機器非依存色空間が挙げられる。また、明度を含まない色空間、例えば、RGB色空間において、明度に相当する値を算出すること可能であるので、RGBの各成分を変化させることによって明度に相当する値を調整することが可能である。しかし、直接的に明度を変更するわけではないため、明度が滑らかに変化することを確実に担保することは困難である。一方、明度を色成分に含む色空間で処理を行えば、明度を直接的に変更するので、明度変化が滑らかになることを確実に担保することができる。
前記色変換手段において、閾値以下の明度を滑らかに変化させるための具体的な一例として、前記閾値以下の明度域で明度を滑らかに変化させる指標として、前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換する構成としてもよい。すなわち、滑らかに変化させるための指標としての複数の点を予め指定しておき、この指標に基づいて滑らかな入出力曲線を発生させるのである。すなわち、意図された滑らかさを実現しつつ、予め用意しておくデータ量を少なく出来る。
さらに、様々な原稿種類に基づく入力データの下地色や裏写りにフレキシブルに対応可能とするための構成例として、前記色変換手段に前記閾値の変更を受付ける閾値受付手段を備えさせ、前記閾値以下の明度域で明度を滑らかに変化させる範囲に対して下限が設定されており、前記閾値以下で且つ前記下限以上の範囲において明度が滑らかに変化するように変換するように構成してもよい。すなわちユーザの適宜の判断に基づく閾値の変更を受付けて、下地色や裏移りの除去レベルを高めると共に、この除去レベルの変更に伴って高濃度領域(低明度領域)にまで除去が影響しないように、色変換手段によって明度を変換可能な範囲に下限を設定しておく。従って、黒文字品質等、暗部への影響を防止可能となる。なお、下限については、入力画像データの原稿種類に合わせて、各々設定されてもよい。
さらに、前記下限値を設ける構成のより具体的な構成の一例として、前記色変換手段は、前記閾値以下の明度域で明度を滑らかに変化させる指標として、前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換し、前記閾値受付手段が前記閾値の変更を受付けると、これに伴って前記複数の明度が変更され、該変更によって前記複数の明度が前記下限以下にシフトされた場合は、前記複数の明度に対して最小値を前記下限にする補正と前記複数の明度の間隔比率を一定に保つ補正とを行う構成としても良い。すなわち、前記滑らかな変換を実現させるために、複数の明度について出力値を設定しておき、これらの明度に基づいて入力明度を出力明度に変換するのであるが、前記閾値の変更に伴ってこれら複数の明度の何れかが下限値以下となる場合には、前記閾値の変更の前後で前記複数の明度の間隔の比率が保たれるように変更する。よって、暗部への影響を防止し且つ滑らかな変換を保つことが可能となる。
なお、前記閾値や前記複数の明度については、前記入力画像データを作成する際の作成条件に合わせて異なる明度変化となるように色変換を行えばよく、前記特定の領域についても、前記作成条件に合わせて色空間内で異なる領域内の色を対象とすることが可能である。
上述した画像処理装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は上記画像処理装置を備える画像処理システムや複写装置、上述した装置の構成に対応した工程を有する制御方法、上述した装置の構成に対応した機能をコンピュータに実現させるプログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、等としても実現可能である。これら画像処理システム、複写装置、画像処理方法、画像処理プログラム、該プログラムを記録した媒体、の発明も、上述した作用、効果を奏する。むろん、請求項2に記載した構成も、前記システムや前記方法や前記プログラムや前記記録媒体に適用可能である。
以下、下記の順序に従って本発明の実施形態を説明する。
(1)複写装置の構成:
(2)複写処理:
(2−1)プロファイル作成処理:
(3)他の実施形態:
(4)まとめ:
(1)複写装置の構成:
図1は、本発明にかかる画像処理装置の一実施形態としての複写装置の外形を示す斜視図である。同図に示すように、本発明の一実施形態に係る複写装置10は、スキャナ部20とプリンタ部40とそれらに接続された操作部30とによって構成されている。図2は、複写装置のハードウェア構成を示すブロック図である。同図に示すように、複写装置10は、CPU11とRAM12とROM13とデータ保持部14とスキャナ部20とプリンタ部40と操作部30とを備えている。CPU11はRAM12をワークメモリとしながらROM13に格納された各種制御プログラムを実行する。データ保持部14は、ハードディスクやEEPROM等の記憶手段によって構成される。
スキャナ部20は、ADF(Auto Document Feeder)にセットされている原稿を原稿読取部に搬送し、その原稿上の画像を読みとる装置である。このとき、読みとった画像は入力画像データによって表現され、本実施形態においては、複数の画素によって画像を構成するとともに画素毎にRGB(レッド、グリーン、ブルー)の各色濃度を階調表現している。スキャナ部20は、CPU11の実行する制御プログラムによって読取動作を実現する。
より具体的には、読取部20bが原稿に光を照射する光源(LED等)とその反射光を検出するセンサ(CCD等)と原稿の搬送機構とを備えており、CPU11は読取制御部20aを介して読取部20bを制御する。これにより、原稿の搬送および原稿上に記録された内容のデジタルデータ化が行われる。すなわち、RGB毎の入力画像データが生成される。
データ保持部14には、スキャナ部20による読取結果として得られる入力画像データをL*a*b*表色系の座標値に変換するためのスキャナプロファイルが記録されている。スキャナプロファイルはスキャナ部20で読取る原稿の種別毎に予め作成されており、当該原稿の種別毎に保持されている。尚、データ保持部14はプロファイルを示すデータを保持することができれば良く、マスクROMでも良いし、EEPROM等の書き換え可能なメモリであっても良い。
操作部30は、ユーザに対してコピー条件等を提示し、また、ユーザからの操作を受付ける処理を担うとともに、本発明にかかる色変換を実施するための補正プロファイルを作成する。そのために、原稿種別や印刷用紙の大きさなどユーザに情報を提供する表示部30b(LCD等)とユーザ所望の情報を入力するための操作入力部30a(押しボタンやタッチパネル等)とを備えている。CPU11は、これら表示部30bや操作入力部30aに対する制御を行う他、データ保持部14に保持されたスキャナプロファイルやプリンタプロファイルを参照して補正プロファイルを作成する処理を行う。
すなわち、データ保持部14には予め原稿の種別毎に閾値を示すデータ、明度変化の様子を示す明度データが保持されており、CPU11はこれらのデータを参照するとともにデータ保持部14からスキャナプロファイルやプリンタプロファイルを取得し、これらのデータに基づいて補正プロファイルを作成する。作成された補正プロファイルは、データ保持部14に記録される。尚、補正プロファイルを作成するための処理の詳細は後述する。
本実施形態において、CPU11は当該補正プロファイルを参照して色変換を行う処理も実施する。すなわち、スキャナ部20から入力画像データを取得し、補正プロファイルを参照して入力画像データを色変換し、出力画像データを取得する。そして、当該出力画像データをプリンタ部40に出力する。この結果、上記補正プロファイルによる色変換を反映した印刷結果を得ることができる。
尚、出力画像データは、複数の画素によって画像を構成するとともに画素毎にRGB(レッド、グリーン、ブルー)の各色濃度を階調表現したデータである。但し、上記入力画像データはスキャナにおけるRGB表色系で色を表現し、出力画像データはプリンタにおけるRGB表色系で色を表現しており、両者の色成分値が一致していたとしてもその色成分値に対応する色が一致するとは限らない。すなわち、両表色系にて特定される色は機器依存色である。そこで、補正プロファイルによって両RGB表色系の色変換を実施できるように構成している。補正プロファイルは、両RGB表色系での色変換を実施できるように構成されていれば良く、色変換テーブルでも良いし、関数を示すデータであっても良い。
また、所定の画像処理は画像処理部50(カスタムIC等)によって実施され、印刷用紙に対して記録材を記録する処理は印刷制御部40aおよびプリントエンジン40bによって実施される。すなわち、CPU11は、上記操作部30からの指示に基づき、データの授受処理を行い、適宜画像処理を実施させる処理を担っており、操作部30が出力する出力画像データを取得すると、当該出力画像データに対する処理を画像処理部50に実施させる。画像処理部50は、プロファイルを参照した色変換とハーフトーン処理を実施するICであり、上記出力画像データが示す色を出力するための記録材量を特定したハーフトーンデータを生成する。
尚、記録材の色は特に限定されないが、例えば、CMYK(シアン、マゼンタ、イエロー、ブラック)を採用可能である。この場合、画像処理部50は、RGB表色系の出力画像データについて色変換し、CMYKの各色について記録材使用量に対応した階調値を生成し、この階調値の階調数を減少させてハーフトーンデータを生成する。
プリントエンジン40bは、図示しない感光体ユニットや露光ユニット現像ユニット、印刷用紙の搬送ユニット等を備えており、ハーフトーンデータに従って、感光体にトナーを転写し、さらに印刷用紙にトナーを転写して定着させることによって印刷を実行する。当該プリントエンジン40bは印刷制御部40aによって制御され、印刷制御部40aは上記ハーフトーンデータを受け取って、当該ハーフトーンデータに従って記録材を記録するように各ユニットを制御する。
画像処理部50による色変換処理は、データ保持部14に保持されたプロファイルを参照しながら実施される。データ保持部14には、印刷プロファイルとして、印刷条件に対応した複数種類のプロファイルが記録されている。また、印刷条件毎に、上記出力画像データ(RGB値)とL*a*b*表色系との座標値を対応づけたプリンタプロファイルと、前記出力画像データと記録材(トナー)の色を色成分とした色空間の座標値とを対応づけたトナー変換プロファイルとが記録されている。画像処理部50は、上記トナー変換プロファイルを参照して、記録材の色を色成分とした色空間の座標値を取得する。この色変換の結果、上記出力画像データが示す色で画像を形成するための記録材の使用量が特定される。
(2)複写処理:
本実施形態においては、CPU11の処理により複写を実施する。図3は、複写処理のゼネラルフローチャートである。複写に際しては、CPU11が図3に示すフローチャートに従って処理を行い、複写条件の設定を行う(ステップS100)。すなわち、操作部30の表示部30bに、複写に際しての読取条件と印刷条件とを選択する選択画面が表示されており、利用者は当該選択画面を視認しながら、操作入力部30aを介して読取条件および印刷条件を設定する。
読取条件としては各種の条件を採用可能であり、例えば、読取対象の原稿の種別、原稿サイズ、下地色や裏写りを除去(以下、背景除去と称する。)するレベル等を設定する。印刷条件としても各種の条件を採用可能であり、例えば、印刷用紙サイズや印刷時の色(モノクロ、カラーの指定)等を設定する。複写条件を設定すると、CPU11はスキャナ部20に読取開始を指示する指示データを出力する。スキャナ部20が該指示データを取得すると、CPU11は読取制御部20aに指示を出す。すると該読取制御部20aの制御によりADF上に載置された原稿が搬送され、当該原稿上の画像を示す入力画像データを取得する(ステップS110)。取得された入力画像データは、操作部30へ出力される。
本実施形態においては、当該入力画像データに含まれ得る下地色や裏写りを除去するとともに、この除去に起因してトーンジャンプが発生することを防止(以下、トーンジャンプ防止と称する)しながら色変換を実施するように構成されており、この色変換を実施するために上記補正プロファイルを作成する(ステップS120)。作成された補正プロファイルは上述のようにデータ保持部14に保持されており、CPU11は当該補正プロファイルを参照し、上記ステップS110で取得した入力画像データに対して色変換処理を実施する(ステップS130)。
この色変換処理によって出力画像データを作成したら、CPU11が当該出力画像データをプリンタ部40へ出力し、プリンタ部40が当該出力画像データに基づいて印刷を行う(ステップS140)。すなわち、CPU11が、上記印刷条件に従って印刷を実行するようにプリンタ部40を制御する。例えば、CPU11が印刷制御部40aに指示を出し、指定された印刷用紙が蓄積されたカセットから印刷用紙を引き出して搬送する。
また、CPU11が画像処理部50に対して色数(モノクロあるいはカラー)を指示する。画像処理部50は、指示された色数で印刷を実行するためのトナー変換プロファイルを参照し、色変換を行う。さらに、画像処理部50がハーフトーン処理を行い、印刷制御部40aがハーフトーン処理後のデータに基づいてプリントエンジン40bを制御する。この結果、補正プロファイルによる変換が反映された状態で印刷用紙に画像が記録される。
(2−1)プロファイル作成処理:
本実施形態においては、前記補正プロファイルを作成するにあたり、背景除去とともに明度が滑らかに変化するように変換を行う補正プロファイルを作成する。このようにして作成された補正プロファイルを参照して色変換処理を実施することによって、背景除去するとともにこの除去に起因してトーンジャンプが発生しないようになる。以下、補正プロファイルの作成処理を詳述する。
図4は、補正プロファイルを作成する処理の一実施例におけるフローチャートである。処理が開始されるとステップS200において、CPU11は、前記ステップS100で設定された原稿種別を示す情報を取得し、この原稿種別に対応したスキャナプロファイルを取得する。CPU11は、当該スキャナプロファイルを示すデータをRAM12に一時記憶する。スキャナプロファイルには、L*a*b*値とスキャナにおけるRGB値との対応関係が定義されている。
続くステップS205において、CPU11は、前記ステップS110で設定された印刷条件を示す情報を取得し、この印刷条件に対応したプリンタプロファイルを取得する。CPU11は、当該プリンタプロファイルを示すデータをRAM12に一時記憶する。プリンタプロファイルには、L*a*b*値とプリンタにおけるRGB値との対応関係が定義されている。
スキャナプロファイルで定義されたRGB値に対応するL*a*b*値について、同じL*a*b*値に対応するRGB値をプリンタプロファイルから算出すれば、カラーマッチングがなされるようにスキャナのRGB値とプリンタのRGB値とを対応づけることができる。この対応付けを行う際に、スキャナプロファイルで定義されたRGB値に対応するL*a*b*値を他の値に変換し、当該変換後のL*a*b*値に対応するRGB値をプリンタプロファイルから算出すれば、スキャナ部20において読み取った色を所望の色に変換した状態でスキャナのRGB値とプリンタのRGB値とを対応づけることができる。
そこで、本実施形態においては、L*a*b*空間にて地色/裏写り除去とともに明度を滑らかに変化させるようにカラーマッチングを行うこととし、閾値と明度データを利用して色対応関係の変換を行う。本実施形態のように、入出力変換をL*a*b*色空間で行うことにより、変換前後の色相および彩度を維持することが非常に容易である。RGB表色系など、明度を含まない表色系において明度を変化させることは可能であるが、明度のみを変化させるのが非常に困難である。しかし、L*a*b*空間であれば、色味を維持したまま変換を実施することが可能である。尚、人間の目は、明度,彩度,色相のうち明度変化に最も敏感であるので、明度の変化が滑らかであることにより、トーンジャンプが発生しているという印象を非常に効果的に抑えることができる。
続くステップS210では、CPU11は、データ保持部14から原稿種別に応じた閾値および明度データを取得し、ステップS100で設定された背景除去レベルを取得する。閾値および明度データ(座標値)は、上記原稿種別毎にデータ保持部14に記録されている。従って、原稿種別毎に下地色が異なり、また、裏写りの程度が異なる場合であっても各原稿種別に対応して適切に背景除去し、各原稿種別に対応して滑らかに明度を変化させることができる。以下、閾値と明度データと背景除去レベルの役割について詳説する。
閾値は、L*a*b*空間にて下地色や裏写りの除去を行う範囲を示しており、L*a*b*色空間の座標値(L* T,a* T,b* T)で下地色や裏写りの除去対象となる色を特定している。すなわち、この閾値L* T以上の明度を持つ色については、一律に明度が最大値(例えば、階調値域0〜100における階調値100)に変換される。この閾値L* Tは、上記請求項における所定の閾値に相当する。
このように特定階調範囲の明度を変換すると、該特定階調範囲外の色との間にトーンジャンプが発生する。そこで本実施形態では、閾値L* Tの前後で明度を滑らかに変化させるために、閾値L* Tよりも低明度側の明度変化の様子を明度データによって指定する。明度データは、複数の点で構成されるものであり、図5を参照して説明を行う。
図5は、本実施形態における入出力変換を説明する説明図である。すなわち入出力変換を示す2次元グラフ上の座標値(上述の明度データ)で明度変化の様子を特定している。同図において、横軸は入力値、縦軸は出力値に相当する。本実施形態においては、スキャナプロファイルにおけるL*値(L* s)を入力値とし、プリンタプロファイルにおけるL*値(L* p)を出力値としている。本実施形態において明度変化を示す座標値は予め5個用意されている。以下、この5個の座標値を(L* s [i], L* p [i])(i=0,1,2,3,4)と表記することにする。
図5においては、各座標値を黒丸で示しており、i=0からi=4まで順にiが大きくなるに連れてL* s [i]が大きくなるように定義してある。本実施形態において、各座標値はベジェ曲線の制御点に相当し、(L* s [0], L* p [0])がベジェ曲線の始点、(L* s [4], L* p [4])がベジェ曲線の終点となる。
また、本実施形態においては、5個の座標値のうち最大のL* s [4]は、閾値L* Tに一致させてある。従って、黒丸に基づいて滑らかなベジェ曲線を定義し、閾値L* Tに対して滑らかに連結することができる。よって、閾値L* T付近の色が滑らかに変化する画像が含まれていたとしても、明度が段階的に急激に変化することがないのでトーンジャンプの発生を抑えることができる。
背景除去レベルは、読取原稿の状態や読取試行結果に合わせてユーザが設定するものである。背景除去レベルに合わせて閾値が変更され、該閾値の変更に伴って必要であれば明度データの修正が実行される。背景除去レベルと閾値と明度データの対応関係は、例えば、図6に示すような関係になる。すなわち、背景除去レベルを上昇させると閾値L* Tが低下して、より高濃度の下地や裏写りまで除去可能となる。ただし、閾値L* Tの低下に伴い、該閾値L* Tと同一明度に設定される明度データのL* s [4]が低下し、他の明度データも低下することになる。
このとき明度データL* s [0]〜L* s [4]それぞれの間隔を維持すると、図6の背景除去レベル4,5の場合のように、トーンジャンプ防止のためのベジェ曲線が低明度領域にシフトしてしまい、黒文字品質を劣化させる可能性が発生する。そこで、一定明度以下にベジェ曲線がシフトしないように下限値L* minを設けることにする。なお、階調値が変更されると黒文字品質に影響する階調範囲は、印刷用紙やインクの性質や原稿の種類によって異なるものであるので、下限値L* minは、原稿種別や印刷条件や印刷機の種類によって各々設定されるものである。
図7は、明度データの下限値L* minを設定しなかった場合に、背景除去レベルの上昇により明度データのL* s [0]が下限値L* minを下回る状態を説明するグラフである。同図に示すように、背景除去レベルの強化前には、全明度データが下限値L* minよりも高明度側にあるが、背景除去レベルが強化されると、各明度データの間隔が維持されたまま全明度データが低階調側にシフトし、図7の下図のようにL* s [0]がL* minを下回ってしまうことがある。そこで、黒文字品質に影響を与えないように、明度データを調整する。
図8は、明度データの調整の仕方を説明する図である。同図には、本実施形態において明度データ調整の対象とするL* s [0]〜L* s [2]と下限値L* minとを入力明度軸上にプロットしてある。なお、本実施形態においては、5個の明度データのうち、低明度の3個の間隔を調整の対象としたが、無論、これは一例であり、入出力トーンカーブが滑らかに変更されるのであれば、他の明度データも調整対象としても構わない。
図8に示すように、明度データの調整は、明度データ調整の前後で調整対象となる各明度データ間隔の比率が維持されるように行われる。同図において、L* s [0]とL* s [1]の入力明度軸上における間隔をΔL* 1とし、L* s [1]とL* s [2]の入力明度軸上における間隔をΔL* 2とする。背景除去レベルの上昇に伴ってL* s [0]<L* minとなり、L* s [0]=L* minに修正されると、L* s [1]はL* s [1]'に修正され、L* s [2]はL* s [2]'に修正される。L* s [0]'とL* s [1]'の入力明度軸上における間隔をΔL* 1'とし、L* s [1]'とL* s [2]'の入力明度軸上における間隔をΔL* 2'とする。このとき、ΔL* 1:ΔL* 2=a:bとすると、ΔL* 1':ΔL* 2'=a:bとなるように明度データの間隔が調整される。なお、図8には、入力明度についてのみ記載してあるが、同様の間隔調整が、出力明度についても実行される。
すなわちステップS212では、前記ステップS100で取得した背景除去レベルに応じて、ステップS210で取得した閾値を変化させ、該閾値の変化に合わせて明度データを変化させる。このステップで予め後述のS235,S240で実行される明度データ間隔の比率を補正する処理を実行しても構わない。
図4に示すフローチャートでは、スキャナプロファイルに定義されたL* s値を逐次変換することによって処理を進める。このため、まず、カウンタnを0に初期化する(ステップS215)。すなわち、スキャナプロファイルに定義された複数の色において、その色をカウンタnで区別し(L* sn,a* sn,b* sn)として区別し、各色について処理を行う。各色について符号を付して各色の区別を定義したら、閾値L* Tが100より小さいか否かを判断する(ステップS220)。
ステップS220にて閾値L* Tが100以上と判断されたときには、明度L* snに対して本発明にかかる入出力変換を行う必要がないので、明度に関する変換を実施しないように設定する。すなわち、変数L0にL* snを代入する(ステップS275)。この場合、後の処理において入出力変換を行わずに、L* snに対応するプリンタのRGB値を算出することになる。
ステップS225にて閾値L* Tが100より小さいと判断されたときには、明度L* snが上記座標値における始点L* s [0]と終点L* s [4]との間に存在するか否か判断する(ステップS225)。ステップS225にて明度L* snが始点と終点との間に存在すると判断されないときには、明度L* snに対して本発明にかかる入出力変換を行う必要がないのでステップS265〜S267を実施する。
すなわち、明度L* snが閾値L* Tより大きいか否かを判断し(ステップS265)、ステップS265にて明度L* snが閾値L* Tより大きいと判断されれば、入出力変換後の出力値を代入するための変数L0に最大値(100)を代入する(ステップS270)。この場合、後の処理において明度を最大値に変換することになる。ステップS265にて明度L* snが閾値L* Tより大きいと判断されなければ、上記ステップS275を実施する。
ステップS230にて明度L* snが始点と終点との間に存在すると判断されたときには、始点L* s [0]がL* minよりも大きいか否かを判断する(S230)。ステップS230にて始点L* s [0]がL* minよりも大きいと判断された場合は、ステップS245に進む。一方、始点L* s [0]がL* min以下であると判断された場合は、図7,8に示すようにL* s [0]をL* minに修正し(ステップS235)、L* s [0]とL* s [1]とL* s [2]の間隔を調整してステップS245に進む(S240)。
ステップS245においては、上記座標値(L* s [i],L* p [i])を通るベジェ曲線を作成する。ここでは、各座標値を滑らかに結ぶ曲線によって入出力関係を定義することができれば良く、ベジェ曲線を算出する各種のアルゴリズムによって入出力関係を定義することができる。ベジェ曲線を作成したら、当該ベジェ曲線に基づいて処理対象となっている色の明度L* snを明度L* pnに変換し、上記変数L0に変換後の明度L* pnを代入する(ステップS250)。
尚、ステップS250、S270における変換によってa*値やb*値を維持すると、プリンタ部40の色域外の色になってしまう場合には、色域内の色を指定するようにa*値やb*を変換するのが好ましい。そこで、L0=100であるか否かを判断し(ステップS252)、L0=100である場合は、通常彩度方向に色域が広がっていないので、a*=b*=0とする(ステップS253)。L0=100でない場合は彩度の変更は行わずにステップS255に進む。
ステップS275、S253を実施した後には、スキャナプロファイルを参照して、明度L* snに対応するスキャナのRGB値を算出する。さらに、プリンタプロファイルを参照して座標値(L0,a* sn,b* sn)に対応するプリンタのRGB値を算出する。そして、両RGB値を対応づけて補正プロファイルを構成するデータの一部を作成し、データ保持部14に記録する(ステップS255)。
以上の処理を終了すると、カウンタnが上限値(スキャナプロファイルに定義された色数)に達したか否かを判断することによって、処理対象とすべきデータについて総て処理が終了したか否かを判断する(ステップS260)。ステップS260にて総て処理が終了したと判断されないときには、カウンタnをインクリメント(ステップS280)してステップS225以降の処理を繰り返す。ステップS260にて総て処理が終了したと判断されると、プロファイルとして定義すべき総ての色について上記ステップS255における処理が終了したことになり、補正プロファイルの作成/記録が完了する。
(3)他の実施形態:
以上説明した実施形態は本発明を実現するための例であり、他にも種々の構成を採用可能である。例えば、上記実施形態においては、スキャナ部20と操作部30とプリンタ部40とで、制御部(CPU12やCPU13やデータ保持部14)をまとめて記載したが、無論、各部に各々制御部を備えて、各制御部が通信を行って連動した処理を実行する校正としても構わない。また、制御部は、CPUが所定のプログラムに従って補正プロファイルを作成する構成の他、本発明を実現するカスタムICチップで実現されても良い。
さらに、上述の実施形態ではスキャナ部20とプリンタ部40とが一体になった複写装置10で本発明を実現していたが、汎用的なコンピュータに対してスキャナとプリンタとを接続して複写処理を実施する構成において、当該汎用的なコンピュータあるいはスキャナ、プリンタで補正プロファイルを作成しても良い。むろん、プリンタ部40で使用する記録材の色数は4色に限られないし、プリンタがインクジェットプリンタであっても良い。
さらに、上述のように明度を滑らかに変化させるための座標値は5個に限定されるわけではなく、例えば、始点と終点とを指定したベジェ曲線であっても良い。また、曲線を形成するためのアルゴリズムとしてもベジェ曲線に限られず、他にも種々の曲線を採用可能である。
さらに、上述の実施形態のように複写処理の度に補正プロファイルを作成する構成が必須ではなく、予め補正プロファイルを作成しメモリに保持しておいても良い。また、補正プロファイルを作成するのではなく、入力画像データを取得し、上記図4に示す変換と同等の変換を行って出力画像データを生成する構成であっても良い。むろん、補正プロファイルとしてはスキャナのRGB値とプリンタのRGB値とを対応づけるプロファイルの他、上記入出力変換を示すプロファイルを作成し、複写の際にこのプロファイルとスキャナプロファイルとプリンタプロファイルとを参照して変換を行う構成であっても良い。
(4)まとめ:
以上説明したように、本実施形態においては、複数の画素の色を指定した入力画像データをスキャナ部20から入力し、入力画像データを変換してプリンタ部40での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値L* Tを超える色をL=100に変換するとともに、閾値L* T以下の明度域で明度が滑らかに変化するように変換し、該変換後の色についてL=100を有する色がL*a*b*空間の所定彩度領域内且つ所定色相角領域内の色である場合には該色の彩度を0に変換することにより、下地や裏写り等を除去しつつ、明度方向のみならず彩度方向や色相方向におけるトーンジャンプの発生を防止可能とする。
なお、本発明は上述した実施形態や変形例に限られず、上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。
複写装置を示す図である。 複写装置のブロック構成図である。 複写処理のゼネラルフローチャートである。 補正プロファイル作成処理のフローチャートである。 入出力変換を説明する説明図である。 背景除去レベルと閾値と明度データの対応関係を示す表である。 背景除去レベルの上昇に伴い変化する明度データを示したグラフである。 明度データの調整の仕方を説明する図である。
符号の説明
10…複写装置、11…CPU、12…RAM、13…ROM、14…データ保持部、20…スキャナ部、20a…読取制御部、20b…読取部、30…操作部、30a…操作入力部、30b…表示部、40…プリンタ部、40a…印刷制御部、40b…プリントエンジン、50…画像処理部

Claims (7)

  1. 複数の画素の色を指定した入力画像データを入力する画像データ入力手段と、
    前記入力画像データを変換して出力装置での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値を超える色を最高明度に変換するとともに、前記閾値以下の明度域で明度が滑らかに変化するように変換し、該変換後の色について最高明度を有する色が色空間中の特定の領域内の色である場合に該色の彩度を0に変換する色変換手段と、を備え
    前記色変換手段は、
    前記閾値の変更を受付ける閾値受付手段を備え、
    前記閾値以下の明度域で明度を滑らかに変化させる範囲に対して下限が設定されており、かつ、前記閾値以下の明度域で明度を滑らかに変化させる指標として前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換することにより、前記閾値以下で且つ前記下限以上の範囲において明度が滑らかに変化するように変換し、
    前記閾値受付手段が前記閾値の変更を受付けると、これに伴って前記複数の明度が変更され、該変更によって前記複数の明度が前記下限以下にシフトされた場合は、前記複数の明度に対して最小値を前記下限にする補正と前記複数の明度の間隔比率を一定に保つ補正とを行う、ことを特徴とする画像処理装置。
  2. 前記色変換手段は、前記入力画像データを作成する際の作成条件が異なる場合に、色空間内で異なる領域内の色を対象とし、異なる明度変化となるように色変換を行う請求項1に記載の画像処理装置。
  3. 複数の画素の色を指定した入力画像データを入力する画像データ入力工程と、
    前記入力画像データを変換して出力装置での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値を超える色を最高明度に変換するとともに、前記閾値以下の明度域で明度が滑らかに変化するように変換し、該変換後の色について最高明度を有する色が色空間中の特定の領域内の色である場合に該色の彩度を0に変換する色変換工程と、を備え
    前記色変換工程は、
    前記閾値の変更を受付ける閾値受付工程を備え、
    前記閾値以下の明度域で明度を滑らかに変化させる範囲に対して下限が設定されており、かつ、前記閾値以下の明度域で明度を滑らかに変化させる指標として前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換することにより、前記閾値以下で且つ前記下限以上の範囲において明度が滑らかに変化するように変換し、
    前記閾値受付工程において前記閾値の変更を受付けると、これに伴って前記複数の明度が変更され、該変更によって前記複数の明度が前記下限以下にシフトされた場合は、前記複数の明度に対して最小値を前記下限にする補正と前記複数の明度の間隔比率を一定に保つ補正とを行う、ことを特徴とする画像処理方法。
  4. 画像処理プログラムであって、
    複数の画素の色を指定した入力画像データを入力する画像データ入力機能と、
    前記入力画像データを変換して出力装置での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値を超える色を最高明度に変換するとともに、前記閾値以下の明度域で明度が滑らかに変化するように変換し、該変換後の色について最高明度を有する色が色空間中の特定の領域内の色である場合に該色の彩度を0に変換する色変換機能と、をコンピュータに実現させ
    前記色変換機能は、
    前記閾値の変更を受付ける閾値受付機能を備え、
    前記閾値以下の明度域で明度を滑らかに変化させる範囲に対して下限が設定されており、かつ、前記閾値以下の明度域で明度を滑らかに変化させる指標として前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換することにより、前記閾値以下で且つ前記下限以上の範囲において明度が滑らかに変化するように変換し、
    前記閾値受付機能により前記閾値の変更を受付けると、これに伴って前記複数の明度が変更され、該変更によって前記複数の明度が前記下限以下にシフトされた場合は、前記複数の明度に対して最小値を前記下限にする補正と前記複数の明度の間隔比率を一定に保つ補正とを行う、ことを特徴とする画像処理プログラム。
  5. 原稿を読み取って複数の画素について画像の色を指定した入力画像データを入力する原稿読取手段と、
    前記入力画像データを変換して出力装置での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値を超える色を最高明度に変換するとともに、前記閾値以下の明度域で明度が滑らかに変化するように変換し、該変換後の色について最高明度を有する色が色空間中の特定の領域内の色である場合に該色の彩度を0に変換する色変換手段と、
    上記出力画像データに基づいて印刷装置に印刷を実行させる印刷制御手段と、を具備し、
    前記色変換手段は、
    前記閾値の変更を受付ける閾値受付手段を備え、
    前記閾値以下の明度域で明度を滑らかに変化させる範囲に対して下限が設定されており、かつ、前記閾値以下の明度域で明度を滑らかに変化させる指標として前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換することにより、前記閾値以下で且つ前記下限以上の範囲において明度が滑らかに変化するように変換し、
    前記閾値受付手段が前記閾値の変更を受付けると、これに伴って前記複数の明度が変更され、該変更によって前記複数の明度が前記下限以下にシフトされた場合は、前記複数の明度に対して最小値を前記下限にする補正と前記複数の明度の間隔比率を一定に保つ補正とを行う、ことを特徴とする複写装置。
  6. 原稿を読み取って複数の画素について画像の色を指定した入力画像データを入力する原稿読取工程と、
    前記入力画像データを変換して出力装置での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値を超える色を最高明度に変換するとともに、前記閾値以下の明度域で明度が滑らかに変化するように変換し、該変換後の色について最高明度を有する色が色空間中の特定の領域内の色である場合に該色の彩度を0に変換する色変換工程と、
    上記出力画像データに基づいて印刷装置に印刷を実行させる印刷制御工程と、を具備し、
    前記色変換工程は、
    前記閾値の変更を受付ける閾値受付工程を備え、
    前記閾値以下の明度域で明度を滑らかに変化させる範囲に対して下限が設定されており、かつ、前記閾値以下の明度域で明度を滑らかに変化させる指標として前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換することにより、前記閾値以下で且つ前記下限以上の範囲において明度が滑らかに変化するように変換し、
    前記閾値受付工程において前記閾値の変更を受付けると、これに伴って前記複数の明度が変更され、該変更によって前記複数の明度が前記下限以下にシフトされた場合は、前記複数の明度に対して最小値を前記下限にする補正と前記複数の明度の間隔比率を一定に保つ補正とを行う、ことを特徴とする複写方法。
  7. 複写プログラムであって、
    原稿を読み取って複数の画素について画像の色を指定した入力画像データを入力する原稿読取機能と、
    前記入力画像データを変換して出力装置での出力色を示す出力画像データを取得するにあたり、明度が所定の閾値を超える色を最高明度に変換するとともに、前記閾値以下の明度域で明度が滑らかに変化するように変換し、該変換後の色について最高明度を有する色が色空間中の特定の領域内の色である場合に該色の彩度を0に変換する色変換機能と、
    上記出力画像データに基づいて印刷装置に印刷を実行させる印刷制御機能と、をコンピュータに実現させ
    前記色変換機能は、
    前記閾値の変更を受付ける閾値受付機能を備え、
    前記閾値以下の明度域で明度を滑らかに変化させる範囲に対して下限が設定されており、かつ、前記閾値以下の明度域で明度を滑らかに変化させる指標として前記閾値以下の明度域における複数の明度について出力値を設定し、これら複数の明度に基づいて形成された滑らかな入出力曲線に基づいて入力明度を出力明度に変換することにより、前記閾値以下で且つ前記下限以上の範囲において明度が滑らかに変化するように変換し、
    前記閾値受付機能により前記閾値の変更を受付けると、これに伴って前記複数の明度が変更され、該変更によって前記複数の明度が前記下限以下にシフトされた場合は、前記複数の明度に対して最小値を前記下限にする補正と前記複数の明度の間隔比率を一定に保つ補正とを行う、ことを特徴とする複写プログラム。
JP2008163140A 2008-06-23 2008-06-23 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム Expired - Fee Related JP5067277B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008163140A JP5067277B2 (ja) 2008-06-23 2008-06-23 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008163140A JP5067277B2 (ja) 2008-06-23 2008-06-23 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム

Publications (2)

Publication Number Publication Date
JP2010004448A JP2010004448A (ja) 2010-01-07
JP5067277B2 true JP5067277B2 (ja) 2012-11-07

Family

ID=41585740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008163140A Expired - Fee Related JP5067277B2 (ja) 2008-06-23 2008-06-23 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム

Country Status (1)

Country Link
JP (1) JP5067277B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015181218A (ja) 2014-01-24 2015-10-15 船井電機株式会社 イメージスキャナ装置およびイメージスキャン方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223897A (ja) * 2000-02-07 2001-08-17 Ricoh Co Ltd 画像処理装置
JP2005115768A (ja) * 2003-10-09 2005-04-28 Brother Ind Ltd 画像処理方法、画像処理装置、画像形成装置及び画像処理システム
JP2006067233A (ja) * 2004-08-26 2006-03-09 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム

Also Published As

Publication number Publication date
JP2010004448A (ja) 2010-01-07

Similar Documents

Publication Publication Date Title
US9361557B2 (en) Image processing apparatus and control method for performing screen processing
US7903872B2 (en) Image-processing apparatus and method, computer program, and storage medium
US8395832B2 (en) Image processing apparatus
US9247105B2 (en) Image forming apparatus and image forming method therefor
US20080030814A1 (en) Image determining apparatus, image determining method, image enhancing apparatus, and image enhancing method
JP4368833B2 (ja) 画像処理装置、画像処理方法、画像形成装置、プログラム、および記録媒体
JP2007067964A (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6808325B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2003209708A (ja) 画像処理方法および画像処理装置ならびに画像形成装置、プログラム、記録媒体
JP2008103987A (ja) 画像処理装置
JPH07107291A (ja) カラー画像形成装置
JP3736535B2 (ja) 原稿種類判別装置
JP7034742B2 (ja) 画像形成装置、その方法およびプログラム
JP5067277B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム
JP7266462B2 (ja) 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP4545766B2 (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理プログラムおよび記録媒体
JP4083823B2 (ja) 画像処理装置
JP6995594B2 (ja) 情報処理装置、情報処理方法ならびにプログラム
JP4359730B2 (ja) モノトーン変換装置、モノトーン変換方法およびモノトーン変換プログラムを記録した媒体
JP4882847B2 (ja) 画像形成装置
JP2006067233A (ja) 画像処理装置、画像処理方法、画像処理プログラム、複写装置、複写方法および複写プログラム
JP7495660B2 (ja) 画像処理装置、および、コンピュータプログラム
JP2020069717A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及び記録媒体
JP2006011754A (ja) 画像処理装置および画像処理方法
JP4903468B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120730

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees