JP2013251597A - 画像処理装置及び画像処理方法並びにプログラム - Google Patents

画像処理装置及び画像処理方法並びにプログラム Download PDF

Info

Publication number
JP2013251597A
JP2013251597A JP2012122903A JP2012122903A JP2013251597A JP 2013251597 A JP2013251597 A JP 2013251597A JP 2012122903 A JP2012122903 A JP 2012122903A JP 2012122903 A JP2012122903 A JP 2012122903A JP 2013251597 A JP2013251597 A JP 2013251597A
Authority
JP
Japan
Prior art keywords
color
image
profile
color matching
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012122903A
Other languages
English (en)
Other versions
JP2013251597A5 (ja
JP5968084B2 (ja
Inventor
Yoko Ido
陽子 井戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012122903A priority Critical patent/JP5968084B2/ja
Priority to DE102013209876.6A priority patent/DE102013209876B4/de
Priority to US13/903,228 priority patent/US8995024B2/en
Priority to GB201309564A priority patent/GB2504381B/en
Priority to KR1020130060920A priority patent/KR101665428B1/ko
Priority to CN201310209285.5A priority patent/CN103458152B/zh
Publication of JP2013251597A publication Critical patent/JP2013251597A/ja
Publication of JP2013251597A5 publication Critical patent/JP2013251597A5/ja
Application granted granted Critical
Publication of JP5968084B2 publication Critical patent/JP5968084B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18Conditioning data for presenting it to the physical printing elements
    • G06K15/1867Post-processing of the composed and rasterized print image
    • G06K15/1872Image enhancement
    • G06K15/1878Adjusting colours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/002Interacting with the operator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】 色を強調するカラーマッチング方法を選択してカラーマッチングをした場合であっても、プリンタ色再現範囲の境界付近にマッピングされるような色については、画像の鮮やかさが向上することなく印刷が行われてしまう。
【解決手段】 第一のプロファイルを用いてカラーマッチングを行う指示を入力し、前記第一のプロファイルを用いてカラーマッチングを行った後の画像と第二のプロファイルを用いてカラーマッチングを行った後の画像との色差が閾値以下の場合、カラーマッチングによって画像が鮮やかになる効果が小さいことを示すメッセージを表示する。
【選択図】 図14

Description

本発明は、カラーマッチングを行う画像処理装置及び画像処理方法並びにプログラムに関する。
電子写真プリンタには、画像に対するカラーマッチング方法を切り替えられる機能が備えられているものがある。カラーマッチング方法の例としては、「Perceptual(写真調)」、「Colorimetric(色差最小)」、「Saturation(鮮やかな色に)」、「モニターの色に合わせる」などがある。Perceptual(写真調)は、イメージを鮮やかにすることを目的としたカラーマッチング方法であり、Saturation(鮮やかな色に)は、グラフィックスやテキストを鮮やかにすることを目的としたカラーマッチング方法である。これらのマッチング方法は画像全体に適用したり、画像に含まれるオブジェクトごとに切り替えたりすることができる。このように、様々なカラーマッチング方法を用意し、ユーザが好みのカラーマッチング方法を適切に選択して使うことで、ユーザのニーズに合った色味の画像をプリントすることができる。
また、イメージを鮮やかにする場合に、Perceptual(写真調)よりもさらに色味を濃く鮮やかにする「Vividフォト」といったカラーマッチング方法がある。例えば、イメージに適用されるカラーマッチング方法を「Perceptual(写真調)」から「Vividフォト」に変更することで、より色味が鮮やかな画像を生成することができる。特許文献1では、Vividフォトを指定することで画像を鮮やかにすることについて記載されている。
特開2009−038498号公報
しかしながら、イメージを鮮やかにするカラーマッチング方法(たとえば、Vividフォト)を設定しても、入力されるイメージによっては鮮やかな画像が得られない場合がある。例えば、写真調を指定してカラーマッチングを行った場合にプリンタ色再現範囲の境界付近にマッピングされるような色については、カラーマッチング方法をVividフォトに変更しても鮮やかさを向上させることができない。
本発明は、上述の問題を鑑みてなされたものであり、指定したカラーマッチング方法を用いて画像にカラーマッチングを行った場合に、カラーマッチングによる画像の鮮やかさの効果を表示することを目的とする。
上記目的を達成するため、本発明の画像処理装置は、第一のプロファイルを用いてカラーマッチングを行う指示を入力する入力手段と、前記第一のプロファイルを用いてカラーマッチングを行った後の画像と第二のプロファイルを用いてカラーマッチングを行った後の画像との色差が閾値以下の場合、カラーマッチングによって画像が鮮やかになる効果が小さいことを示すメッセージを表示させる表示手段とを有することを特徴とする。
本発明によれば、プロファイルを用いてカラーマッチングを行った場合の、画像の鮮やかさの効果を表示させることができる。
本発明の一実施形態としてのコンピュータとMFPを含むシステム構成図である。 本発明の一実施形態としてのプリント処理を表すブロック図である。 サムネイル画像を複数領域に分割し、2つの色変換LUTを用いた色変換処理を説明する図である。 カラーマッチング方法を変更するUIの一例である。 本発明の実施例1で説明する警告メッセージUIの一例である。 本発明の実施例2で説明する警告メッセージUIの一例である。 本発明で表示するプレビュー画像の一例である。 他の色調整方法をユーザに提案するUIの一例である。 明るさとコントラストを調整するUIの一例である。 トナー濃度調整のUIの一例である。 本発明の実施例3で説明するカラーパレットの一例である。 本発明の実施例4で説明するプレビュー画像の一例である。 プリンタの色変換やプレビュー画像作成までの色処理を説明するブロック図である。 実施例1の処理フローを表すフローチャートである。 実施例2の処理フローを表すフローチャートである。 カラーマッチング方法変更による効果が全体的に見られない場合の警告メッセージUIの一例である。 実施例4で説明するマッチング方法変更UIの一例である。 実施例3の処理フローを表すフローチャートである。 実施例4の処理フローを表すフローチャートである。
以下、本発明を実施するための最良の形態について図面を用いて説明する。
図1は、本実施形態のコンピュータを含むプリンタ制御システムの構成を説明するブロック図である。なお、特に断らない限り、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、本発明を適用できることは言うまでもない。また、特に断らない限り、本発明の機能が実行されるのであれば、LAN、WAN等のネットワークを介して接続が為され処理が行われるシステムであっても本発明を適用できることは言うまでもない。
<本発明のシステム構成図>
図1において、10はホストコンピュータで、ROM103あるいは外部メモリ108に記憶されたアプリケーションプログラム等に基づいて処理を実行するCPU101を備える。さらに、システムバス109に接続される各デバイスをCPU101が総括的に制御する。
また、このROM103あるいは外部メモリ108には、CPU101の制御プログラムであるオペレーティングシステムプログラム(以下OS)等を記憶する。102はRAMで、CPU101の主メモリ、ワークエリア等として機能する。104はネットワークI/F部で、ここではマルチファンクションプリンタ(以下、MFPとする)11のネットワークI/F部 1101と接続されて、MFP11との通信制御処理を実行する。また、コンピュータ10には、入力機器としてキーボード105やマウス107、出力機器としてモニタ106が接続されている。CPU101は、モニタ106上の不図示のマウスカーソル等で指示されたコマンドに基づいて登録された種々のウインドウを開き、種々のデータ処理を実行する。ユーザは印刷を実行する際、印刷の設定に関するウインドウを開き、プリンタの設定や、印刷モードの選択を含むプリンタドライバに対する印刷処理方法の設定を行える。
MFP11は、コントローラ部110、スキャナ部111、操作部112、外部メモリ113、プリンタ部114からなる。コントローラ部110において、CPU1106は制御プログラム等に基づいて、システムバス1109に接続されるプリンタI/F部1104を介し、プリンタ部114に画像信号を出力する。なお、制御プログラムはROM1108や外部メモリ113に記憶される。また、このROM1108には、CPU1106の制御プログラム等を記憶する。CPU1106はネットワークI/F部1101を介してコンピュータ10との通信処理が可能となっており、プリンタ内の情報等をコンピュータ10に通知可能に構成されている。RAM1107はCPU1106の主メモリ、ワークエリア等として機能する。
コンピュータ10からのプリント処理では、キーボード105やマウス107を用いて入力されたPDL(ページ記述言語)がネットワークI/F部104・1101を介してコントローラ部110へ送られる。続いてPDLデータ処理部1102がPDL解釈、レンダリングを行って、画像処理部1103がプリント出力用画像処理を行い、プリンタ部114が処理済み画像データをプリントする。
コピー処理では、スキャナ部111が原稿を読み取り、スキャナI/F部1105、システムバス1109を介して画像処理部1103がプリンタ出力用画像処理を行い、プリンタ部114が処理済画像データをプリントする。
<画像処理部>
図2は、画像処理部1103がコピーやプリントの画像データを処理するフローを説明する図である。画像処理部1103は、コピー機能動作時特有のブロックとコピー機能およびPDLプリント機能の動作時に共通する処理を持ち、システムバス1109を介して、CPU1106から送られてくる画像データを処理し、処理結果を同じくシステムバス1109を介して、CPU1106に返す。
コピー動作時、MTF補正203はスキャナ部111で読み取られた多値の画像データ(ここでは8ビットとする)の読み取り周波数特性を補正する。入力色変換204は、補正された画像データに対して、スキャナ部111固有の色空間から共通のRGB色空間への変換を行う。本実施例では、ここでの色空間の変換は、あらかじめ定義付けられた3x3のマトリクス演算によってスキャナ部111の色空間から測色的な共通RGB色空間への変換を行うものとする。
出力色変換205は、共通色空間への色空間変換が行われた画像データに対して、色変換用LUT(Look Up Table)210を用いた補間演算によって、共通RGB色空間からプリンタに適したCMYK各色成分からなるプリンタ色空間への変換を行う。ここでの色変換用LUTは、RGBの各3成分を適当な格子点間隔で分割した三次元のLUTであり、それぞれのLUTのエントリはそれぞれ、LUTの格子点に対応する8ビットのビット精度からなるCMYK値を保有している。三次元LUTを用いて、入力値に対して既知の補間計算を行うことで、CMYK値からなる画像データに変換する。
次に、フィルタ処理206は、ユーザ設定に応じたフィルタ係数を用いて、CMYK画像データに対して積和演算からなるフィルタ処理を行う。これにより、出力されるCMYK画像データを鮮鋭化したり、平滑化したりすることができる。
上記のようにして処理された画像データに対して必要であれば、トナー濃度調整207において、一次元LUTを用いてCMYK各色の濃度を調整する。ユーザ設定に応じた濃度特性でトナー濃度調整207が行われる。続いて、一次元のLUTからなるガンマ処理208で濃度特性を補正する。ここでは、LUTの入力出力ともに9ビットのビット精度を持つものとする。最後に中間調処理209はガンマ補正された画像データに対してディザマトリクス211を用いて、CMYK各色1ビットの擬似中間調表現を持つ画像データに変換して、処理結果をCPU1106に送る。ここで、中間調処理209は、RAM1107に格納されたディザマトリクス211上の数値と入力画像データとを比較して、入力画像データの数値が大きければ1を、入力画像データの数値が小さければ0を出力する処理を行う。本実施例では説明の簡便さのために1ビット出力のスクリーン処理としているが、出力ビット数は1ビットに限定されるものではない。また、中間調処理209は、CPU1106の指示により、複数のディザマトリクス211を切り替えて使用することもできる。画像処理部1103は処理を行ったプリンタ出力用データ212をCPU1106に返す。
プリント機能動作時、画像処理部1103は、PDL処理によりラスタライズされた画像データを、バスI/Fを介してCPU1106から受け取り、処理を行う。PDL機能動作時には、リーダーで読み取られた画像に対するMTF補正203、入力色変換204は必要ないので、これらの各部の処理をバイパスし、出力色変換205以降の処理を行うようにする。ここで、iccプロファイルを用いたカラーマッチング処理は、プリンタドライバ側で行われてから画像処理部1103に送られる場合と、出力色変換205の段階で行われる場合とがあるが、本実施例ではプリンタドライバ側で行う場合を例にとって説明する。
出力されたプリンタ出力用データ212は画像処理部1103からCPU1106に返され、最終的にはプリンタ部114へ送られる。
<カラーマッチング方法の選択>
図4は、カラーマッチング方法をオブジェクトごとに選択するUIの一例である。図4のUIは、コンピュータ10に接続されているモニタ106に表示される。各オブジェクトに対して、「写真調(Perceptual)」、「色差最小(Colorimetric)」、「鮮やかな色に(Saturation)」、「モニターの色に合わせる」、「Vividフォト」といったマッチング方法やソースプロファイルを選択することができる。ここで、「写真調」は写真画像に適した出力結果となるように色みを優先させてマッチングを行う場合に選択される。例えば、ICCプロファイルの「Perceptual」が「写真調」に相当する。また、「Vividフォト」の色域は写真調の色域よりも広く、写真調よりさらに色味を濃く鮮やかに印刷したい場合に「Vividフォト」が選択される。「写真調」から「Vividフォト」に変更した場合、色によって鮮やかになる度合いが異なる。例えば、青色や緑色では、「写真調」から「Vividフォト」に変更すると鮮やかさが向上するが、赤色では鮮やかさの向上が少ない。
このUI例では、イメージのマッチング方法401に「写真調」、グラフィックスのマッチング方法402に「モニターの色に合わせる」、テキストのマッチング方法403に「鮮やかな色に」といったマッチングインテントが選択されている。本実施例では、イメージのマッチング方法401を「写真調」から「Vividフォト」へ変更する例について説明する。
<カラーマッチング処理とプレビュー画像表示>
ここで、ICCプロファイルを用いたカラーマッチングによるプレビュー画像作成処理の詳細を、図13を用いて説明する。ここでの画像データ1301はモニタ106の色空間におけるRGBデータであるとする。
RGBデータである画像データ1301は、プリンタ色変換1302において、プリンタ部114の色空間に変換される。まず、RGB画像データ1301を、モニタ106のモニタプロファイル内にあるA2Bテーブル1305とプリンタプロファイルのB2Aテーブル1306を使用し、デバイス非依存のL*a*b*色空間を経て、プリンタ114部のCMYK空間にガマットマッピングする。ここで、プリンタプロファイルのB2Aテーブルには、「写真調(Perceptual)」、「色差最小(Colorimetric)」、「鮮やかな色に(Saturation)」、「Vividフォト」といった複数種類の色変換テーブルが格納されている。
続いて、モニタ色変換1303において、CMYKデータになった画像データに対して、プリンタプロファイルのA2Bテーブル1307とモニタプロファイルのB2Aテーブル1308を使用し、デバイス非依存のL*a*b色空間を経て、プレビュー画像確認用のモニタ106のRGB空間に色空間変換される。このようにして、プリンタ部114での出力プレビュー画像1304をモニタ106で確認することができる。
なお、後述する画像データのサムネイル画像のL*a*b*値は、上記処理のモニタプロファイルA2BとプリンタプロファイルB2AとプリンタプロファイルのA2Bテーブルを使うことで算出することができる。
<メイン処理>
以下、本発明の特徴となる部分について、図14のフローチャートを用いながら説明する。ここでは、ユーザがコンピュータ10に接続されている入出力機器(キーボード105やマウス107)を用いてプリンタドライバでカラーマッチング方法の変更を行う処理を例にとって説明するが、MFP11の操作部112を使っての変更作業も、処理としては同様である。コンピュータ10で図14のフローチャートを実行する場合は、ROM103または外部メモリ108に格納された図14のフローチャートの各処理を実行するためのプログラムをRAM102にロードする。そして、CPU101がロードされたプログラムを実行することで、図14のフローチャートが実行される。MFP11で図14のフローチャートを実行する場合は、ROM1108または外部メモリ113に格納された図14のフローチャートの各処理を実行するためのプログラムをRAM1107にロードする。そして、CPU1106がロードされたプログラムを実行することで、図14のフローチャートが実行される。
まず、カラーマッチング後のプレビュー画面の表示が可能な場合についての処理について説明する。
ステップS1401において、ユーザから画像データの出力指示を受ける。画像データは、画像編集ソフトウェアやオフィス文書編集ソフトウェアなどのアプリケーションデータや、圧縮された画像データである。
ステップS1402において、印刷時のプリンタドライバの設定画面である図4のようなカラーマッチング方法変更のUIを用いて、ユーザによってカラーマッチング方法の変更が指示される。ここではイメージに対するマッチング方法を「写真調」から「Vividフォト」に変更されたとする。なお、ステップS1402では、マッチング方法を「写真調」から「鮮やかな色に」への変更や、「鮮やかな色に」から「Vividフォト」への変更でもよい。続いてステップS1403へ進む。
ステップS1403において、コンピュータ10は入力画像データよりも解像度の小さいサムネイル画像を作成し、画像を複数領域に分割する。例として図3の301をサムネイル画像とすると、302が分割した領域の1つである。これにより、後に続く色差算出などの処理速度を上げることができ、また後述する「Vividフォトに変更しても効果がない」部分をプレビュー画像として図示することができる。続いてステップS1404に進む。
ステップS1404 において、カラープロファイルを用いてカラーマッチング方法変更前後の、前記サムネイル画像の各画素のL*a*b*値を算出する。この処理の詳細は図13を用いて前述したように、S1403で作成したサムネイル画像を、モニタプロファイルA2BとプリンタプロファイルB2AとプリンタプロファイルA2Bを用いてLab色空間に変換し、サムネイル画像の各画素のLab値を算出する。ここで、カラーマッチング変更前は、プリンタプロファイルA2Bを「写真調」のプロファイル(第一のプロファイル)を使用し、カラーマッチング変更後は、プリンタプロファイルA2Bを「Vividフォト」のプロファイル(第二のプロファイル)を使用してサムネイル画像のLab値を算出する。
図3の例では、「写真調」のプロファイルを使用して色変換した画像が303であり、「Vividフォト」のプロファイルを使用して色変換した画像が304である。それぞれの画像において同じ座標の画素305と306とでL*a*b*値の差を算出する。続いてステップS1405へ進む。
ステップS1405において、カラーマッチング方法変更前後の画像における同じ座標の画素のL*a*b*値の差を算出し、予め定めた色差閾値と比較する。ステップS1405で算出するカラーマッチング方法変更前後の色差は、L*a*b*空間上での距離である。また、色差閾値は、例えば、色差閾値ΔE=3とする。続いてステップS1406へ進む。
ステップS1406において、色差閾値を下回る色差となる画素を含む領域があるかを判定する。上記のような領域が存在する場合はステップS1407へ進み、ない場合はステップS1411へ進む。
ステップS1407において、色差閾値を下回る色差となる画素を含む領域がすべての領域に及ぶかを判定する。全ての領域であればステップS1413へ進み、そうでなければステップS1408へ進む。
ステップS1408において、図5のような警告メッセージと図7(a)のようなプレビュー画像をモニタ106へ表示する。警告メッセージでは、「『写真調』→『Vividフォト』に変更しても、画像の該当箇所は鮮やかになる効果が小さいですが、よろしいですか?」といったようなメッセージとし、図7のプレビュー画像にて色差閾値を下回る領域を702のように太線で囲うなどして強調表示する。なお、ここでは分割領域について説明するために、701のように1つの領域がわかるように点線で図示しているが、実際には点線を図示する必要はない。
さらにここでは図5において、選択肢を501〜503のように3つ表示している。また、キャンセルボタン505を押下された場合は本UI画面を閉じることとする。続いてステップS1409へ進む。
ステップS1409において、選択肢501「はい、それでも『Vividフォト』に変更します」は、鮮やかになる面積が小さくても、少しでも鮮やかになった方がいい場合にユーザに薦め、選択肢501が選ばれてOKボタン504を押下した場合はステップS1410へ進む。選ばなかった場合はステップS1414の選択肢502へ進む。ステップS1410において、Vividフォトのマッチング方法を適用し、ステップS1411へ進む。
ステップS1414における選択肢502「いいえ、『Vividフォト』に変更しません(何もしません)」は、鮮やかになる面積が小さいならば「写真調」のプロファイルを使用してカラーマッチングを行う選択肢である。「Vividフォト」のプロファイルを使用しても、ユーザにとって鮮やかにしたい色が鮮やかにならなかった場合、「写真調」のプロファイルを使用すればよい。これが選ばれてOKボタン504を押下した場合はステップS1415へ進み、選ばれなかった場合はステップS1416の選択肢503へ進む。ステップS1415では、変更前のマッチングインテントを適用し、ステップS1411へ進む。
ステップS1416における選択肢503「いいえ、『Vividフォト』に変更せず、他の色調整を行います」は、他の方法で出力画像を鮮やかに見せるための調整にユーザを誘導するための選択肢である。これが選択され、OKボタン504を押下した場合は、図8の「他の色調整」方法を選択するUIへと遷移する。選択肢503が選択された場合、プリンタプロファイルB2Aは、「写真調」のプロファイルが使用される。ここでは、お勧めの調整方法としてコントラスト調整801とトナー濃度調整802、自動調整803を例として示している。キャンセルボタン804を押下されると、以後の処理がキャンセルされる。
コントラスト調整801のボタンを押下すると、図9のようなコントラスト調整画面がモニタ106に表示され、コントラスト調整バー901でユーザは調整することができる。また、OKボタン902で調整を決定し、キャンセルボタン903で調整をキャンセルすることができる。なお、図9に示す明るさ調整バーで明るさも調整することができる。トナー濃度調整ボタン802を押下すると、図10のトナー濃度調整画面がモニタ106に表示され、各トナー色の調整バー1001、1002、1003、1004を用いてユーザは調整することができる。また、OKボタン1005で調整を決定し、キャンセルボタン1006で調整をキャンセルすることができる。また、自動調整ボタン803が押下されると、鮮やかさが上がる可能性のある調整を自動的に行う。例えば、コントラストを最大限利かせるような調整を図9で行うような処理機能を使ってユーザに調整させることなく、自動で行う。
これらの調整内容をステップS1417で適用し、ステップS1411へ進む。
ステップS1413へ進んだ場合は、図16のような警告メッセージUIと図7(b)のようなプレビュー画像を表示させる。ここで図16では、「『写真調』→『Vividフォト』に変更しても、鮮やかになる効果が小さいためお勧めしません」といったようなメッセージを出し、Vividフォトを推奨しない旨をユーザへ通知する。図7(b)はVividフォトを使って色変換を行ったプレビュー画像である。続いてステップS1414へ進み、選択肢1601では「『Vividフォト』に変更しません(何もしません)」とし、ここを選んだ場合はステップS1415へ進み、前述した処理ステップを行う。選択肢1602の「他の色調整を行います」が選ばれた場合には、ステップS1416へ進み、以降は前述の処理を行う。なお、S1413において、図6の警告メッセージを表示し、「Vividフォトに変更する」選択肢をユーザに与えてもよい。
ステップS1411において、ユーザによってUI上で以上の印刷設定を確定させ、ステップS1412にてプリント処理が行われて、処理を終了する。
このように本実施例によれば、ユーザが望むような鮮やかなプリント出力が得られるかどうか事前に知ることができ、それに対する適切な対処をとることができる。また、カラーマッチング方法変更後のプレビュー画像を確認することができるので、プリントする手間とコストを省くことができる。
本実施例では、図4のUIにおいて1つのオブジェクトでカラーマッチング方法が変更された際に一連の処理を行う例を説明してきたが、各オブジェクトのカラーマッチング方法を401、402、403のUIにて変更するたびに上記の処理を行う。もしくは、401、402、403でカラーマッチング方法をそれぞれ変更後、OKボタン404を押下したタイミングで上記の処理を行ってもよい。または、各オブジェクトのカラーマッチング方法を新たに設定したタイミングで、各オブジェクトにデフォルトで設定されているカラーマッチング方法と色差を比較することで上記処理を行ってもよい。
また、カラーマッチング方法変更前後の画像の色差を算出しないで、画像の色の頻度分布を解析し、プリンタの色再現範囲の境界付近にマッピングされるような色が多く分布している場合は、図8のUIを表示して、ユーザに調整方法を選択させてもよい。
また、図14のフローチャートは、プリンタドライバのUI上で処理が動作したが、コンピュータ10にインストールされているアプリケーションのUI上で処理が動作してもよい。
なお、本実施例ではコンピュータ10に接続されているモニタ106にUIを表示させていたが、MFP11の操作部112に表示させてユーザの指示を仰いでも構わない。
実施例2では、カラーマッチング方法を変更した後のプレビュー画像が表示されない場合の処理フローについて説明する。ここでは、カラーマッチング方法変更前後の色差が色差閾値よりも小さい画素の数を判定し、色差閾値よりも小さい画素の数が画像全体に対してどれくらい存在するかによって効果の有無を判断するものとする。
実施例2の処理フローについて図15を用いて説明する。コンピュータ10で図15のフローチャートを実行する場合は、ROM103または外部メモリ108に格納された図15のフローチャートの各処理を実行するためのプログラムをRAM102にロードする。そして、CPU101がロードされたプログラムを実行することで、図15のフローチャートが実行される。MFP11で図15のフローチャートを実行する場合は、ROM1108または外部メモリ113に格納された図15のフローチャートの各処理を実行するためのプログラムをRAM1107にロードする。そして、CPU1106がロードされたプログラムを実行することで、図15のフローチャートが実行される。
ステップS1401からステップS1402については、前述の実施例と同様の処理なので説明を省略する。
続いてステップS1501において、コンピュータ10は入力画像データよりも解像度の小さいサムネイル画像を作成する。これにより、S1404で行う色差算出などの処理速度を上げることができる。続いてステップS1404に進む。
ステップS1404において、カラープロファイルを用いてカラーマッチング方法変更前後の、前記サムネイル画像の画素毎にL*a*b*値を算出する。この処理の詳細は図13を用いて前述したとおりである。続いてステップS1405へ進む。
ステップS1405において、カラーマッチング方法変更前後の各画素の色差を算出し、あらかじめ設定した色差閾値と比較する。例えば色差閾値をΔE=3と設定し、色差閾値を下回る色差となる画素をカウントしておく。続いてステップS1502へ進む。
ステップS1502において、色差閾値を下回る色差となる画素数が、所定の面積閾値より大きいかを判定する。ここで面積閾値とは、カラーマッチング方法を変更する前後で色差が小さい、つまり変化が小さい画素が、画像全体のどれくらいを占めるかを示すものであり、画素数で設定しても画像の全画素数に対する色差が小さい画素の割合でもよい。色差が小さい画素数が面積閾値よりも大きい場合はステップS1503へ進み、面積閾値以下の場合はステップS1411へ進む。
ステップS1503において、カラーマッチング方法変更前後の色差が色差閾値より小さくなるのは全画素に及ぶのかを判定する。そうであればステップS1505へ進み、そうでなければステップS1504へ進む。
ステップS1504において、図6のような警告メッセージをモニタ106へ表示する。つまり、Vividフォトに変更しても鮮やかになる効果が小さい箇所が多いことを示すメッセージである。さらにここでは選択肢を601〜603のように3つ表示している。また、キャンセルボタン605を押下された場合は本UI画面を閉じることとする。続いてステップS1409へ進む。
ステップS1409〜S1412、S1414〜S1417の処理は、実施例1における図14の処理と同様なので説明を割愛する。
ステップS1505では図16のように、画像全体に渡ってVividフォトの効果が小さい旨を警告メッセージに示す。この処理は実施例1の処理とほぼ同じであり、違う点はプレビュー画像を表示させない点である。ステップS1414において、選択肢1601では「『Vividフォト』に変更しません(何もしません)」と表示し、ここを選んだ場合はステップS1415へ進み、前述した処理ステップを踏む。選択肢1602の「他の色調整を行います」が選ばれた場合には、ステップS1416へ進み、以降はステップS1411とS1412では前述の処理を行う。
以上のように、カラーマッチング方法を変更した後のプレビュー画像が表示されない場合、変更前後の色差が小さい部分が画像内にどれだけ存在するかによって、ユーザに警告メッセージを出す判定を行う。
実施例3では図11のようにサンプル色を並べたカラーパレットを準備し、その中で効果がない色を1101のように太線で囲むなどして図示する方法を、図18のフローチャートを用いて説明する。なお、ここでのサンプル色は256色のRGB信号値でもいいし、Red、Green、Blueの8bit信号値0〜255を等間隔で割った均等格子点の色でも構わないが、表示できる色空間をまんべんなく網羅したサンプル色があると望ましい。
コンピュータ10で図18のフローチャートを実行する場合は、ROM103または外部メモリ108に格納された図18のフローチャートの各処理を実行するためのプログラムをRAM102にロードする。そして、CPU101がロードされたプログラムを実行することで、図18のフローチャートが実行される。MFP11で図18のフローチャートを実行する場合は、ROM1108または外部メモリ113に格納された図18のフローチャートの各処理を実行するためのプログラムをRAM1107にロードする。そして、CPU1106がロードされたプログラムを実行することで、図18のフローチャートが実行される。
ステップS1401にて画像データの出力指示がユーザから出されたあと、ステップS1801 へ進む。
ステップS1801にて図4のカラーマッチング方法変更UIをユーザが開いた段階で、入力画像データのサムネイル画像を作成し、その時点でのマッチング方法を用いて色変換したカラーパレットをモニタ106へ表示させる。
続いてステップS1402にて、ユーザがカラーマッチング方法をVividフォトに変更すると、ステップS1802以降カラーパレット内の色すべてに対して、その効果を判定する。
ステップS1802において、カラープロファイルを用いてカラーマッチング方法変更前後の、色サンプルのL*a*b*値を算出する。この処理の詳細は図13を用いて前述したとおりである。続いてステップS1405の処理は、実施例1と同等なので説明を割愛する。
ステップS1803において、カラーマッチング方法変更前後の色差が色差閾値よりも小さくなるサンプル色が存在するかを判定し、そうであればステップS1804へ進む。なければステップS1411へ進む。
ステップS1804で、すべてのサンプル色の色差が色差閾値よりも小さくなるならばステップS1805へ進み、そうでなければステップS1806へ進む。
ステップS1805において、「カラーパレットに図示したサンプル色に対して効果が小さい」といった内容の警告メッセージを表示し、効果が小さいサンプル色を強調表示した図11の1101のような色変換後のカラーパレットも表示させる。
ステップS1806において、「すべてのサンプル色に対して効果が小さい」旨を警告メッセージとして表示し、Vividフォトを用いて色変換した後のカラーパレットをモニタ106へ表示させる。
以降、ステップS1409〜S1412、S1414〜S1417は実施例1の処理と同様なので、説明を割愛する。
このようにすることで、カラーパレットを用いて色差が小さい色を表示することができる。
実施例4ではプレビュー画像内で色味を変更したい範囲をユーザが選択する方法について図19のフローチャートを用いて説明する。コンピュータ10で図19フローチャートを実行する場合は、ROM103または外部メモリ108に格納された図19のフローチャートの各処理を実行するためのプログラムをRAM102にロードする。そして、CPU101がロードされたプログラムを実行することで、図19のフローチャートが実行される。MFP11で図19のフローチャートを実行する場合は、ROM1108または外部メモリ113に格納された図19のフローチャートの各処理を実行するためのプログラムをRAM1107にロードする。そして、CPU1106がロードされたプログラムを実行することで、図19のフローチャートが実行される。
ステップS1401にて画像データの出力指示がユーザから出されたあと、ステップS1901 へ進む。
ステップS1901にて図4のカラーマッチング方法変更UIをユーザが開いた段階で、入力画像データのサムネイル画像を作成し、その時点でのマッチング方法を用いて色変換した図12のようなプレビュー画像をモニタ106へ表示させる。
ステップS1902において、プレビュー画像の中の1201のように、カラーマッチング方法変更による効果を出したい領域をマウス107などの入力機器を用いてユーザに選択させる。
ステップS1903で、選択領域内に存在するオブジェクトの属性を解析する。そしてその結果を用いて、選択範囲内に存在するオブジェクトの属性のカラーマッチング方法変更UIを強調表示させ、ユーザにとってどの属性を変更すればいいかわかりやすく通知する。例えば、選択範囲内にイメージとグラフィックスが存在する場合、図17のようにイメージとグラフィックスのカラーマッチング方法変更UI1701、1702をアクティブ表示し、テキストのカラーマッチング方法変更UI1703はグレーアウトするという方法でもよい。その上で、ユーザによってカラーマッチング方法を変更されたら、各オブジェクトについてステップS1904以降の処理を選択領域について行う。ここで、ステップS1405以降の処理は実施例1の処理とほぼ同様なので、説明は割愛する。
このようにすることで、ユーザが色味を変更したい領域に特化して、カラーマッチング方法変更の効果を知らせることができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

  1. 第一のプロファイルを用いてカラーマッチングを行う指示を入力する入力手段と、
    前記第一のプロファイルを用いてカラーマッチングを行った後の画像と第二のプロファイルを用いてカラーマッチングを行った後の画像との色差が閾値以下の場合、カラーマッチングによって画像が鮮やかになる効果が小さいことを示すメッセージを表示させる表示手段と、
    を有することを特徴とする画像処理装置。
  2. 前記表示手段は、さらに、前記第一のプロファイルを用いてカラーマッチングを行うか、前記第二のプロファイルを用いてカラーマッチングを行うかを選択させるためのメッセージを表示させることを特徴とする請求項1に記載の画像処理装置。
  3. 前記表示手段は、さらに、前記画像における前記色差が閾値以下の領域を強調して表示させることを特徴とする請求項1または2に記載の画像処理装置。
  4. さらに、前記選択させるためのメッセージから選択されたカラーマッチング方法を前記画像に適用して、適用された後の画像を出力する出力手段とを有することを特徴とする請求項2に記載の画像処理装置。
  5. 前記表示手段は、さらに、コントラスト調整、または、明るさ調整、または、濃度調整を選択させるためのメッセージを表示することを特徴とする請求項1に記載の画像処理装置。
  6. 前記表示手段は、さらに、前記第一のプロファイルを用いてカラーマッチングを行うか、前記第二のプロファイルを用いてカラーマッチングを行うか、または、コントラスト調整をユーザに選択させるためのメッセージを表示することを特徴とする請求項1に記載の画像処理装置。
  7. 前記表示手段において、前記第一のプロファイルを用いてカラーマッチングを行った後の画像と第二のプロファイルを用いてカラーマッチングを行った後の画像との色差を画素毎に算出し、色差が小さい画素の割合が所定の閾値よりも大きい場合、前記メッセージを表示させることを特徴とする請求項1に記載の画像処理装置。
  8. 前記表示手段は、さらに、前記画像において前記色差が閾値以下となる色をカラーパレットを用いて表示することを特徴とする請求項1に記載の画像処理装置。
  9. 前記第一のプロファイル、および、前記第二のプロファイルは、プリンタプロファイルのB2Aテーブルであることを特徴とする請求項1乃至8のいずれか一項に記載の画像処理装置。
  10. 前記表示手段は、前記第一のプロファイルを用いてカラーマッチングを行ったプレビュー画像を表示させ、
    さらに、前記表示されたプレビュー画像から領域を選択させる選択手段を有し、
    前記選択手段によって選択された領域内に存在するオブジェクトの属性のみ、プロファイルの変更をアクティブ表示させることを特徴とする請求項1に記載の画像処理装置。
  11. 第一のプロファイルを用いてカラーマッチングを行う指示を入力する入力ステップと、
    前記第一のプロファイルを用いてカラーマッチングを行った後の画像と第二のプロファイルを用いてカラーマッチングを行った後の画像との色差が閾値以下の場合、カラーマッチングによって画像が鮮やかになる効果が小さいことを示すメッセージを表示させる表示ステップと、
    を有することを特徴とする画像処理方法。
  12. 請求項1乃至10のいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
JP2012122903A 2012-05-30 2012-05-30 画像処理装置及び画像処理方法並びにプログラム Expired - Fee Related JP5968084B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012122903A JP5968084B2 (ja) 2012-05-30 2012-05-30 画像処理装置及び画像処理方法並びにプログラム
US13/903,228 US8995024B2 (en) 2012-05-30 2013-05-28 Image processing apparatus, image processing method, and program
DE102013209876.6A DE102013209876B4 (de) 2012-05-30 2013-05-28 Bildverarbeitungsgerät, Bildverarbeitungsverfahren und Programm
KR1020130060920A KR101665428B1 (ko) 2012-05-30 2013-05-29 화상처리장치 및 화상처리방법
GB201309564A GB2504381B (en) 2012-05-30 2013-05-29 Image processing apparatus, image processing method, and program
CN201310209285.5A CN103458152B (zh) 2012-05-30 2013-05-30 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012122903A JP5968084B2 (ja) 2012-05-30 2012-05-30 画像処理装置及び画像処理方法並びにプログラム

Publications (3)

Publication Number Publication Date
JP2013251597A true JP2013251597A (ja) 2013-12-12
JP2013251597A5 JP2013251597A5 (ja) 2015-07-09
JP5968084B2 JP5968084B2 (ja) 2016-08-10

Family

ID=48784833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012122903A Expired - Fee Related JP5968084B2 (ja) 2012-05-30 2012-05-30 画像処理装置及び画像処理方法並びにプログラム

Country Status (6)

Country Link
US (1) US8995024B2 (ja)
JP (1) JP5968084B2 (ja)
KR (1) KR101665428B1 (ja)
CN (1) CN103458152B (ja)
DE (1) DE102013209876B4 (ja)
GB (1) GB2504381B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153087A (ja) * 2014-02-13 2015-08-24 富士ゼロックス株式会社 画像処理装置及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061128A (ja) * 2013-09-17 2015-03-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6201799B2 (ja) * 2014-02-13 2017-09-27 富士ゼロックス株式会社 画像処理装置及びプログラム
JP5664811B1 (ja) * 2014-02-13 2015-02-04 富士ゼロックス株式会社 画像調整装置、画像形成装置、管理装置、画像調整システムおよびプログラム
KR20150099143A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 영상 데이터를 디스플레이하기 위한 영상 처리 장치, 디스플레이 장치, 영상 처리 시스템 및 방법
JP2017055191A (ja) * 2015-09-08 2017-03-16 富士ゼロックス株式会社 色管理システム及びプログラム
KR102615070B1 (ko) * 2016-10-12 2023-12-19 삼성전자주식회사 디스플레이 장치, 및 그 제어방법
JP2019125971A (ja) * 2018-01-18 2019-07-25 株式会社リコー 画像処理装置および画像形成装置
CN108492246B (zh) * 2018-03-12 2023-01-24 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
JP7297438B2 (ja) * 2018-12-19 2023-06-26 キヤノン株式会社 情報処理装置、および情報処理装置の制御方法ならびにプログラム
JP2021145239A (ja) * 2020-03-12 2021-09-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
KR20230055361A (ko) * 2021-10-18 2023-04-25 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램을 저장하는 저장 매체
CN114630045A (zh) * 2022-02-11 2022-06-14 珠海格力电器股份有限公司 一种拍照方法、装置、可读存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087589A (ja) * 2001-09-14 2003-03-20 Canon Inc プロファイル調整方法、装置およびプログラム
JP2006068982A (ja) * 2004-09-01 2006-03-16 Ricoh Co Ltd 画像処理装置及び画像処理方法並びにプリンタドライバ
JP2007129694A (ja) * 2005-10-07 2007-05-24 Canon Inc 画像形成装置および画像形成装置の制御方法
JP2008067029A (ja) * 2006-09-07 2008-03-21 Fuji Xerox Co Ltd 画像処理装置およびプログラム
JP2010214854A (ja) * 2009-03-18 2010-09-30 Konica Minolta Business Technologies Inc 画像形成装置及び印刷制御方法
JP2011022402A (ja) * 2009-07-16 2011-02-03 Konica Minolta Business Technologies Inc 画像形成装置及び印刷制御方法
JP2011120109A (ja) * 2009-12-04 2011-06-16 Konica Minolta Business Technologies Inc 画像形成装置
JP2011217391A (ja) * 2011-06-10 2011-10-27 Brother Industries Ltd 画像処理装置及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023448B1 (en) 2000-08-22 2006-04-04 Adobe Systems Incorporated Selecting rendering intent
JP2005340926A (ja) * 2004-05-24 2005-12-08 Canon Inc 画像処理装置おける処理方法、画像処理装置
JP5116393B2 (ja) * 2007-07-31 2013-01-09 キヤノン株式会社 画像処理装置及び画像処理方法
JP5508975B2 (ja) * 2009-09-19 2014-06-04 富士フイルム株式会社 色選択方法、画像処理方法、画像処理装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087589A (ja) * 2001-09-14 2003-03-20 Canon Inc プロファイル調整方法、装置およびプログラム
JP2006068982A (ja) * 2004-09-01 2006-03-16 Ricoh Co Ltd 画像処理装置及び画像処理方法並びにプリンタドライバ
JP2007129694A (ja) * 2005-10-07 2007-05-24 Canon Inc 画像形成装置および画像形成装置の制御方法
JP2008067029A (ja) * 2006-09-07 2008-03-21 Fuji Xerox Co Ltd 画像処理装置およびプログラム
JP2010214854A (ja) * 2009-03-18 2010-09-30 Konica Minolta Business Technologies Inc 画像形成装置及び印刷制御方法
JP2011022402A (ja) * 2009-07-16 2011-02-03 Konica Minolta Business Technologies Inc 画像形成装置及び印刷制御方法
JP2011120109A (ja) * 2009-12-04 2011-06-16 Konica Minolta Business Technologies Inc 画像形成装置
JP2011217391A (ja) * 2011-06-10 2011-10-27 Brother Industries Ltd 画像処理装置及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153087A (ja) * 2014-02-13 2015-08-24 富士ゼロックス株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
CN103458152A (zh) 2013-12-18
KR20130135108A (ko) 2013-12-10
US20130321873A1 (en) 2013-12-05
DE102013209876B4 (de) 2015-09-24
GB2504381A (en) 2014-01-29
KR101665428B1 (ko) 2016-10-12
CN103458152B (zh) 2016-02-17
GB201309564D0 (en) 2013-07-10
US8995024B2 (en) 2015-03-31
JP5968084B2 (ja) 2016-08-10
DE102013209876A1 (de) 2014-01-02
GB2504381B (en) 2015-01-07

Similar Documents

Publication Publication Date Title
JP5968084B2 (ja) 画像処理装置及び画像処理方法並びにプログラム
US10530969B2 (en) Matching output colors of printers having different gamut ranges
JP5948737B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US8780410B2 (en) Image processing apparatus
JP5814612B2 (ja) 画像処理装置及び画像処理方法並びにプログラム
US9218552B2 (en) Image processing apparatus and image processing method
JP7204402B2 (ja) 画像処理装置、その制御方法、及びプログラム
US9058145B2 (en) Image process for ensuring visibility of color image in black and white printing
JP2020072402A (ja) 画像処理装置、画像処理方法、および、プログラム
JP6869709B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021016097A (ja) 画像形成装置、その制御方法およびプログラム
JP6562381B2 (ja) 画像形成装置およびプログラム
JP2006270517A (ja) 画像処理方法及び画像処理システム
JP4706732B2 (ja) 色変換装置、色変換プログラム及び色変換方法
CN110875022A (zh) 颜色转换装置、颜色转换方法以及记录介质
JP6051526B2 (ja) 画像処理システム、画像形成装置、画像処理プログラム、および画像処理方法
JP2005151212A (ja) 色相調整装置、画像形成装置、色相調整方法、コンピュータプログラム及び記録媒体
JP2007184829A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2016072768A (ja) 色の調整用チャートを生成するための画像処理装置、及び画像処理方法、プログラム
JP2013085171A (ja) 画像形成装置
JP2015204523A (ja) 画像処理装置とその制御方法、及びプログラムと記憶媒体
JP2009260663A (ja) 色処理装置およびその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160705

R151 Written notification of patent or utility model registration

Ref document number: 5968084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees