JP4941157B2 - ぬりえ製造装置、ぬりえ製造方法及びそのプログラム - Google Patents

ぬりえ製造装置、ぬりえ製造方法及びそのプログラム Download PDF

Info

Publication number
JP4941157B2
JP4941157B2 JP2007197584A JP2007197584A JP4941157B2 JP 4941157 B2 JP4941157 B2 JP 4941157B2 JP 2007197584 A JP2007197584 A JP 2007197584A JP 2007197584 A JP2007197584 A JP 2007197584A JP 4941157 B2 JP4941157 B2 JP 4941157B2
Authority
JP
Japan
Prior art keywords
image
line segment
coloring
original image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007197584A
Other languages
English (en)
Other versions
JP2009032178A (ja
Inventor
陽一郎 牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007197584A priority Critical patent/JP4941157B2/ja
Publication of JP2009032178A publication Critical patent/JP2009032178A/ja
Application granted granted Critical
Publication of JP4941157B2 publication Critical patent/JP4941157B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、ぬりえ製造装置、ぬりえ製造方法及びそのプログラムに関する。
従来、ぬりえ製造装置としては、元画像において所定輝度以下の領域を墨線領域として検出し、墨線領域を取り囲む近傍の領域を近傍領域として検出し、墨線領域と近傍領域とを除いた領域を輪郭部分として検出し、墨線領域及び輪郭領域と、その他の領域と、に対して異なる色を割り当ててぬりえを製造するものが提案されており(例えば、特許文献1参照)、これによれば、部分的に輪郭が強調されているような画像から自然な線画を生成することができる、とされている。
特開2004−334303号公報
しかしながら、この特許文献1に記載されたぬりえ製造装置では、輝度については考慮しているが、ぬりえ画像を生成するとき、例えば線分を検出する線分検出処理を実行する際にその他の元画像の情報については考慮していなかった。このため、例えば原稿を読み取って元画像にする場合などには、画像に含まれる線分の領域を検出する線分検出処理を十分に実行することができない場合があった。
本発明は、このような課題に鑑みなされたものであり、画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができるぬりえ製造装置、ぬりえ製造方法及びそのプログラムを提供することを目的とする。
本発明は、上述の目的を達成するために以下の手段を採った。
本発明のぬりえ製造装置は、
ぬりえ画像の生成に用いられる元画像を所定の取得条件で原稿から読み取ることにより取得する画像取得手段と、
前記取得条件及び前記元画像に関する画像条件のうち少なくとも1つを含む読取時条件に基づいて前記元画像の線分領域を検出する線分検出処理を行う際に前記元画像に施す所定の処理の処理条件を設定する条件設定手段と、
前記設定された処理条件で前記元画像に前記所定の処理を施し、該処理後の元画像に前記線分検出処理を実行して検出領域を検出し、該検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域としてぬりえ画像を生成する画像生成手段と、
を備えたものである。
このぬりえ製造装置では、ぬりえ画像の生成に用いられる元画像を所定の取得条件で原稿から読み取ることにより取得し、この取得条件及び元画像に関する画像条件のうち少なくとも1つを含む読取時条件に基づいて元画像の線分領域を検出する線分検出処理を行う際に元画像に施す所定の処理の処理条件を設定し、設定した処理条件で元画像に所定の処理を施し、この処理後の元画像に線分検出処理を実行して検出領域を検出し、この検出した検出領域を線分領域とすると共にこの検出領域以外の領域を空白領域としてぬりえ画像を生成する。このように、元画像の取得条件や元画像の画像条件を含む読取時条件を用いて線分検出処理に用いる所定処理の条件を定めるのである。したがって、画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができる。
本発明のぬりえ製造装置において、前記画像取得手段は、所定の取得条件として所定の読取解像度で前記元画像を前記原稿から読み取ることにより取得し、前記条件設定手段は、前記元画像に施す所定の処理としてぼかし処理の処理条件を前記読取解像度に基づいて設定し、前記画像生成手段は、前記元画像に前記ぼかし処理を施し該処理後の元画像に前記線分検出処理を実行するものとしてもよい。ぼかし処理は読取画像に含まれ線分領域として誤検出される網点を除去する効果があり、読取解像度はぼかし処理の程度に関係することから、読取画像の読取解像度を用いて画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができる。このとき、前記条件設定手段は、前記ぼかし処理の処理条件を前記読取解像度に基づいて設定するに際して、前記読取解像度が大きくなると前記ぼかし処理を実行するときの実行領域が大きくなるように前記ぼかし処理の処理条件を設定するものとしてもよい。
本発明のぬりえ製造装置において、前記条件設定手段は、前記画像取得手段によって前記原稿から読み取ることにより取得された画像を解析することにより所定の画像条件としての前記元画像の所定線数を検出し、前記元画像に施す所定の処理としてぼかし処理の処理条件を前記検出した所定線数に基づいて設定し、前記画像生成手段は、前記元画像に前記ぼかし処理を施し該処理後の元画像に前記線分検出処理を実行するものとしてもよい。ぼかし処理は読取画像に含まれ線分領域として誤検出される網点を除去する効果があり、読取画像の線数はぼかし処理の程度に関係するから、読取画像の線数を用いて画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができる。このとき、前記条件設定手段は、前記画像生成手段が生成するぬりえ画像の前記線分領域が前記元画像全体の所定割合になるように、前記検出した元画像の所定線数に基づいて前記線分検出処理の実行条件を設定するものとしてもよい。こうすれば、線分検出処理を一層適切な条件で実行可能であるため、ぬりえ画像に形成される線数の適正化を図ることができる。ここで「所定割合」は、生成されるぬりえ画像の状態と線分領域の割合とに基づいて経験的に定めるものとしてもよい。
本発明のぬりえ製造装置において、前記画像生成手段は、前記検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域とするに際して、前記検出した検出領域には入力値を高輝度側へ変換して出力する第1ガンマ変換処理を実行して前記線分領域とし、前記検出領域以外の領域には入力値を白色へ変換する第2ガンマ変換処理を実行することにより前記空白領域として前記ぬりえ画像を生成するものとしてもよい。こうすれば、ガンマ変換処理により比較的容易に線分領域と空白領域としてぬりえ画像を生成することができる。
本発明のぬりえ製造装置において、前記画像生成手段は、前記取得した元画像にモノクロ処理を実行し、該処理したモノクロ画像に対して、前記設定された処理条件で前記所定の処理を施し該処理後のモノクロ画像に前記線分検出処理を実行して検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域としてぬりえ画像を生成するものとしてもよい。こうすれば、階調表現の限定されたモノクロ画像に対して線分検出処理を行うため、比較的容易な処理で線分検出処理を実行することができる。あるいは、前記画像生成手段は、前記線分検出処理を実行するに際して、前記元画像に含まれる複数の色成分の各々に対して前記設定された処理条件で前記所定の処理を施し該処理後の各色成分の元画像に前記線分検出処理を実行して前記検出領域を検出するものとしてもよい。こうすれば、各色成分の元画像を用いて線分検出処理を実行するから、例えばモノクロの元画像を用いて線分検出するのに比して多数の階調を用いて線分検出を行うため、線分検出処理をより確実に行うことができる。
本発明のぬりえ製造装置は、画像を表示可能な表示手段と、ユーザの操作に基づいて設定される前記ぬりえ画像を生成する際の設定情報を取得可能な設定取得手段と、前記設定取得手段によって前記元画像が自然画である設定情報を取得したときには、前記画像生成手段が生成する線分領域に関する設定情報をユーザが入力する旨の情報を表示するよう前記表示手段を制御する制御手段と、を備え、前記条件設定手段は、前記設定取得手段が取得した前記線分領域に関する設定情報をも加味して前記線分検出処理を行う際に前記元画像に施す所定の処理の処理条件を設定し、前記画像生成手段は、前記設定された処理条件で前記元画像に前記所定の処理を施し、該処理後の元画像に前記線分検出処理を実行して検出領域を検出するものとしてもよい。こうすれば、元画像の状態によっては線分領域の検出が変動しやすい自然画が元画像であるときに、ユーザの操作によってぬりえ画像の線分領域に関する情報を指定可能であるため、画像に含まれる線分の領域を検出する線分検出処理をよりユーザの好む条件で実行することができる。このとき、前記制御手段は、前記設定取得手段によって前記元画像がイラスト画である設定情報を取得したときには、前記画像生成手段が生成する線分領域に関する設定情報をユーザが入力する旨の情報を表示しないよう前記表示手段を制御するものとしてもよい。
本発明のぬりえ製造装置は、前記画像生成手段が生成したぬりえ画像を印刷媒体へ印刷処理する印刷実行手段、を備えたものとしてもよい。こうすれば、ぬりえ画像が形成された印刷媒体を得やすい。
本発明のぬりえ製造方法は、
ぬりえ画像を生成するぬりえ製造方法であって、
(a)ぬりえ画像の生成に用いられる元画像を所定の取得条件で原稿から読み取ることにより取得するステップと、
(b)前記取得条件及び前記元画像に関する画像条件のうち少なくとも1つを含む読取時条件に基づいて前記元画像の線分領域を検出する線分検出処理を行う際に前記元画像に施す所定の処理の処理条件を設定するステップと、
(c)前記ステップ(b)で設定された処理条件で前記ステップ(a)で取得した元画像に前記所定の処理を施し、該処理後の元画像に前記線分検出処理を実行して検出領域を検出し、該検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域としてぬりえ画像を生成するステップと、
を含むものである。
このぬりえ製造方法では、ぬりえ画像の生成に用いられる元画像を所定の取得条件で原稿から読み取ることにより取得し、この取得条件及び元画像に関する画像条件のうち少なくとも1つを含む読取時条件に基づいて元画像の線分領域を検出する線分検出処理を行う際に元画像に施す所定の処理の処理条件を設定し、設定した処理条件で元画像に所定の処理を施し、この処理後の元画像に線分検出処理を実行して検出領域を検出し、この検出した検出領域を線分領域とすると共にこの検出領域以外の領域を空白領域としてぬりえ画像を生成する。このように、元画像の取得条件や元画像の画像条件を含む読取時条件を用いて線分検出処理に用いる所定処理の条件を定めるのである。したがって、画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができる。なお、このぬりえ製造方法において、上述したぬりえ製造装置の種々の態様を採用してもよいし、また、上述したぬりえ製造装置の各機能を実現するようなステップを追加してもよい。
本発明のプログラムは、上述したぬりえ製造方法の各ステップを1又は複数のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体(例えばハードディスク、ROM、FD、CD、DVDなど)に記録されていてもよいし、伝送媒体(インターネットやLANなどの通信網)を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述したぬりえ製造方法の各ステップが実行されるため、このぬりえ製造方法と同様の作用効果が得られる。
次に、本発明を実施するための最良の形態を図面を用いて説明する。図1は、ぬりえ10を作製するプリンタ20の構成の概略を示す構成図である。プリンタ20は、図1に示すように、スキャナ機能、プリンタ機能及びコピー機能を有するマルチファンクションプリンタとして構成されており、装置全体の制御を司るコントローラ21と、携帯用の記憶媒体であるメモリカード60をスロット25aに装着・取外し可能であるリーダライタ25と、接続された外部機器との間で情報の入出力が可能なインタフェース(I/F)28と、プリンタ機構31を制御するICチップであるプリンタASIC(Application Specific Integrated Circuit)32を含んで構成されるプリンタ部30と、スキャナ機構41を制御するICチップであるスキャナASIC42を含んで構成されるスキャナ部40と、ユーザへ情報を表示可能でありユーザの指示を入力可能である操作パネル50と、を備えている。コントローラ21やリーダライタ25、I/F28、プリンタ部30、スキャナ部40、操作パネル50は、バス29によって電気的に接続されている。コントローラ21は、CPU22を中心とするマイクロプロセッサとして構成されており、情報を記憶消去可能であり各種処理プログラムなどを記憶したフラッシュROM23と、一時的にデータを記憶するRAM24と、プリンタ20をコピーとして使用する際に画像処理などを実行するコピー処理部27と、を備えている。コピー処理部27は、所定サイズ(例えば5×5ピクセル,7×7ピクセル又は9×9ピクセルなど)のガウシアンフィルタ(ぼかしフィルタ)を用いて読み取った画像に含まれる網点を除去する網点処理部27aと、読み取った画像のイメージ領域を除き文字領域などをより黒色とするなどのガンマ変換処理を実行するガンマ変換部27bとを備えており、コピー時の画像処理を行う機能を有している。プリンタ機構31は、シアン(C)・マゼンタ(M)・イエロー(Y)・ブラック(K)の各色のインクを個別に収容したインクカートリッジ34と、インクカートリッジ34から供給された各インクに圧力をかける圧力発生部35と、圧力発生部35で加圧されたインクを記録紙Sに吐出する吐出ノズル36と、記録紙Sを搬送する搬送ローラ38とを備えている。なお、圧力発生部35は、圧電素子の変形によりインクを加圧するものとしてもよいしヒータの熱で発生する気泡によりインクを加圧するものとしてもよい。スキャナ機構41は、いわゆるフラットベッド型であり、画像を読み取る原稿である媒体Mを載置するガラス面43と、このガラス面43を介して媒体Mを光学的に読み取る読取センサ44と、媒体Mの読取りの際に読取センサ44を走査させる移動部46とを備えている。読取センサ44は、媒体Mに向かって発光した後の反射光をレッド(R)、グリーン(G)、ブルー(B)の各色に分解してスキャンデータとする周知のカラーイメージセンサである。操作パネル50は、ユーザがプリンタ20に対して各種の指示を入力するためのデバイスであり、各種の指示に応じた文字や画像が表示されるカラー液晶パネルにより構成された表示部52や、各種操作を行う操作部54が設けられている。操作部54には、ユーザが処理や文字等を選択するカーソルなどを移動させるときに押下されるカーソルキー54aや処理選択などを決定するときに押下される決定キー54bなどが配置されている。メモリカード60は、データの書き込み及び消去が可能な不揮発性のメモリであり、デジタルカメラなどの撮影装置により撮影された複数の画像ファイルなどが保存されている。
次に、こうして構成された本実施形態のプリンタ20の動作、特に、ぬりえを作製する動作について説明する。図2は、元画像70の説明図である。元画像70は、線分領域72により色領域70aや色領域70bなど幾つかの領域に分けられたイラスト画像である。この元画像70には、線分領域72に隣接して色領域70a側には、網点74aが線分領域72に沿って形成されており、色領域70b側には網点74bが線分領域72に沿って形成されている。この網点74a,74bは、例えば130線/インチなどとなる間隔に形成されている。一般的に、イラスト画像は、線分が175線/インチや150線/インチ、130線/インチなど、おおよその範囲に形成されていることが多い。本実施形態では主としてこの元画像70を用いてぬりえの作製処理について説明する。まず、操作者は、ぬりえの元画像70が形成された原稿Mをスキャナ部40にセットし、図示しない処理実行画面を表示部52へ表示させ、原稿Mを読み取った画像からぬりえを作製する作製指示を操作部54を操作して入力する。すると、プリンタ20は、スキャナ部40にセットされた画像のぬりえの作製処理を実行する。図3は、ぬりえ作製処理ルーチンの一例を示すフローチャートである。このルーチンは、フラッシュROM23に記憶され、ぬりえ作製指示が入力されたあとCPU22により実行される。このルーチンを開始すると、CPU22は、まず、ぬりえ生成条件の設定処理を実行する(ステップS100)。ここで、一旦ぬりえ作製処理ルーチンの説明を中断し、ぬりえ生成条件の設定処理について説明する。
図4は、ぬりえ生成条件設定ルーチンの一例を示すフローチャートである。このフローチャートはフラッシュROM23に記憶されている。このルーチンを開始すると、CPU22は、設定入力画面を表示部52へ表示させる(ステップS300)。図5は、表示部52に表示される設定入力画面80の説明図である。設定入力画面80は、ぬりえの生成条件の基本的な設定を行う画面であり、フラッシュROM23に記憶されている。この設定入力画面80には、カーソルキー54aの上下の押下に伴って上下に移動するカーソル81と、スキャナ部40やメモリカード60など画像の入力元を設定可能な入力装置設定欄80aや、原稿Mの読取解像度を右キーの押下で表示される図示しないプルダウンメニューにより設定可能な読取解像度設定欄80b、イラストや写真など原稿Mに形成されている画像の種類を設定可能な原稿種別設定欄80c、原稿Mがカラーかモノクロかを設定可能な色種別設定欄80d、A4サイズやハガキサイズなど用紙サイズを設定可能な用紙サイズ設定欄80e、普通紙やフォトマット紙など印刷する用紙の種別を設定可能な用紙種設定欄80fなどが含まれている。この設定入力画面80では、カーソル81を合わせカーソルキー54aの左右キーを押下すると設定と解除とを切り替え可能に構成されている。なお、読取解像度設定欄80bは、入力装置設定欄80aに「スキャナ」が設定された場合のみ設定可能となっている。
この設定入力画面80を表示すると、CPU22は、設定入力画面80のいずれかの設定欄に入力があったか否かを判定し(ステップS310)、いずれかの設定欄に入力があったとき、例えば読取解像度設定欄80bに新たな読取解像度が入力されたときには入力された値をRAM24に記憶する(ステップS320)。ステップS320のあと、または、ステップS310で設定欄に入力がなかったときには、設定値の入力が終了したか否かを決定キー54bが押下されたか否かに基づいて判定する(ステップS330)。設定値の入力が終了していないときには、ステップS300以降の処理を繰り返し、設定値の入力が終了したときには、原稿種別設定欄80cに入力された原稿種別が写真(自然画)であるか否かを判定する(ステップS340)。原稿種別が写真(自然画)であるときには、原稿によってはいわゆるエッジが弱かったり生成されるぬりえ画像が変化するため、ユーザにぬりえ画像の線数や色の濃さなどユーザの嗜好を入力させるサブ情報入力画面82を表示部52へ表示出力させる(ステップS350)。図6は、表示部52に表示されるサブ情報入力画面82の説明図である。このサブ情報入力画面82には、生成されるぬりえ画像の線数を「少なめ」「普通」「多め」のいずれかに設定可能な線数設定欄82aや、生成されるぬりえ画像の線の色の濃さを5段階のいずれかに設定可能な線濃度設定欄82b、印刷品質を標準ときれいのいずれかに設定可能な品質設定欄82cなどが含まれている。線数設定欄82aの各値は、生成されたぬりえ画像の状態に基づいて、例えば「多め」には生成したぬりえ画像について全体の画像面積の15%程度が線分領域となるように経験的に定められた、後述する線分検出処理の閾値が対応付けられ、「普通」には画像面積の10%程度が線分領域となるような閾値が対応付けられ、「少なめ」には画像面積の5%程度が線分領域となるような閾値が対応付けられている。
続いて、CPU22は、サブ情報入力画面82のいずれかの設定欄に入力があったか否かを判定し(ステップS360)、いずれかの設定欄に入力があったとき、例えば線数設定欄82aに「少なめ」が入力されたときには入力された値をRAM24に記憶する(ステップS370)。ステップS370のあと、または、ステップS360で設定欄に入力がなかったときには、設定値の入力が終了したか否かを決定キー54bが押下されたか否かに基づいて判定する(ステップS380)。設定値の入力が終了していないときには、ステップS350以降の処理を繰り返す。ステップS380で設定値の入力が終了したとき、または、ステップS340で原稿種別が写真でないとき、即ちイラスト画であるときには、CPU22は、ユーザの設定した値を実行用の設定値に反映させ(ステップS390)、このルーチンを終了する。なお、ここでは、原稿種別設定欄80cにイラスト画が設定されているものとして以下説明する。
さて、ステップS100のぬりえ生成条件の設定処理のあと、ぬりえ作製処理ルーチンにおいて、CPU22は、ユーザにより設定された値を用いて元画像の取得処理を実行する(ステップS110)。ここでは、CPU22がスキャナASIC42にスキャナ機構41を駆動制御させ、ガラス面43に載置された原稿Mを移動部46により読取センサ44を走査してユーザにより設定された読取解像度で読み取り、画像データとして元画像70を取得する処理を実行するものとした(図2参照)。また、ここでは、読み取った画像は、周知のモノクロ処理を経てモノクロ画像とするものとした。
次に、CPU22は、得られた元画像70に対して輝度化(Y)を実行し(ステップS120)、入力された読取解像度に基づいて網点除去フィルタを設定し(ステップS130)、設定した網点除去フィルタを用いて網点除去処理を実行する(ステップS140)。網点除去フィルタは、ぼかしフィルタであるガウシアンフィルタを用いるものとし、この網点除去フィルタは、CPU22が読取解像度が大きくなるほど大きくなる傾向にぼかし処理の実行領域としてのガウシアンフィルタのサイズを決定するものとした。ここでは、例えば、読取解像度が300dpiのときにはガウシアンフィルタのサイズが7×7ピクセルであり、読取解像度が600dpiのときにはガウシアンフィルタのサイズが9×9ピクセルに設定されるものとした。また、ここでは、原稿画像としてイラスト画が設定されているときには原稿に含まれる元画像の線数が130線/インチであるものとし、原稿画像として自然画が設定されているときには、原稿に含まれる元画像の線数が175線/インチであるものとして、固定的に取り扱うものとした。この網点除去処理は、CPU22がコピー処理部27の網点処理部27aに実行させるものとした。
網点の除去処理が終了すると、CPU22は、線分領域の検出処理を実行する(ステップS150)。線分領域の検出は、例えば、ソーベルフィルタやラプラシアンフィルタなどを用いてエッジ検出処理を実行することにより行うことができる。このとき、エッジを検出する閾値は、基本的には読み取る原稿種別がイラスト画であるか自然画であるかに応じて経験的に定められた値を用いて行うよう設定されている。ここでは、自然画の方が線分領域を抽出しにくいことから、イラスト画よりも自然画の方がエッジを検出する閾値が低く設定されている。また、読取原稿が自然画のときには、線数設定欄82aで「多め」が設定されているとこの閾値を低めにし「少なめ」が設定されているとこの閾値を高めにするものとした。このエッジ検出により、図2に示した元画像70の線分領域72が検出される。
線分領域の検出処理が終了すると、CPU22は、読み取った画像データのうち、注目画素を設定し(ステップS160)、設定した注目画素が線分領域であるか線分領域以外の領域としてのイメージ領域であるかを判定する(ステップS170)。ここでは、読み取った画像データの左上の画素を初期位置(x、y)とし、処理を繰り返すたびに右側へ向かって移動させ右端に達すると次列の左端の画素から右端へ移動させるよう順に注目画素が設定されるものとした。注目画素がイメージ領域に該当するときには、CPU22は、背景除去用のガンマ処理をガンマ変換部27bに実行させる(ステップS180)。図7は、背景除去処理に用いるガンマ変換線の説明図である。ここでは、図7の実線に示すように、イメージ領域では、すべての範囲の入力値を白色として出力するガンマ変換を実行する。なお、ガンマ変換部27bは、コピー処理のときには、イメージ領域に対して図7の一点鎖線で示したガンマ変換を行うよう設定されている。
一方、ステップS170で注目画素が線分領域であるときには、CPU22は、エッジ強調処理を実行し(ステップS190)、線分領域用ガンマ処理をガンマ変換部27bに実行させる(ステップS200)。ここで、エッジ強調処理は、エッジ強調フィルタを用いて元画像のエッジ強調を行うことにより、線分領域を強調する処理である。また、線分領域用ガンマ処理は、強調処理を行った線分領域の色をぬりえに適した濃度に薄く調整する処理である。図8は、線分領域用ガンマ処理に用いるガンマ変換線の説明図である。ここでは、図8の実線に示すように、黒色から所定の灰色(A1参照)までの入力値を無彩色の高輝度側へ変換し所定の灰色(B1参照)として出力するガンマ変換を実行するものとした。なお、図8の二点鎖線に示すように入力値の輝度が高くなると出力値の輝度が高くなるようなガンマ変換を行うものとしてもよい。なお、ガンマ変換部27bは、コピー処理のときには、イメージ領域に対して図8の一点鎖線で示したガンマ変換を行うよう設定されている。
ステップS200のあと、または、ステップS180のあと、CPU22は、読み取った画像データの全領域についてステップS180〜S200の処理が終了したか否かを判定し(ステップS210)、全領域の処理が終了していないときには、ステップS180〜S200の処理を繰り返し、全領域の処理が終了したときには、生成した画像データを表示部52へ表示出力させる(ステップS220)。図9は、ぬりえ10の説明図である。図9に示すように、ステップS180〜S200の処理により、元画像70(図2参照)の線分領域72をやや薄い無彩色の線分領域12とし、元画像70の色領域70aを空白である空白領域10aとし、元画像70の色領域70bを空白である空白領域10bとするなどにより、ぬりえ画像が生成されるのである。
ステップS220のあと、CPU22は、ぬりえ生成をやり直すか否かのメッセージを表示部52に表示させ、ぬりえ画像の生成処理をやり直すか否かを判定する(ステップS230)。この判定は、印刷実行ボタンとやり直しボタンとを含む図示しない確認画面を表示部52に表示し、この確認画面でカーソルキー54aの操作によりやり直しボタンが選択されて決定キー54bが押下されたか否かに基づいて行うものとした。確認画面でやり直しボタンが押下され、ぬりえ画像の生成処理をやり直すときには、CPU22は、ステップS100以降の処理を繰り返し実行する。一方、確認画面で印刷実行ボタンが押下されたときには、CPU22は、生成したぬりえ画像の印刷処理を実行し(ステップS240)、このルーチンを終了する。印刷処理では、CPU22は、プリンタASIC32へ画像データを出力し、これを受けたプリンタASIC32が画像データをビットマップイメージへRAM24の印刷バッファ内で展開し、展開した展開データに基づいてインクカートリッジ34に収容されたインクを記録紙Sに吐出するようプリンタ機構31の圧力発生部35や搬送ローラ38などを制御する。このようにして、図9に示す、元画像よりも輝度の高い線分領域12が形成され、この線分領域12に隣接する空白領域10a,10bなどが形成されたぬりえ10が作製されるのである。
ここで、原稿種別として写真(自然画)が設定され、ステップS100〜S230の処理を繰り返す場合について説明する。図10は、写真90からぬりえ96を作製する際の説明図であり、図10(a)が写真90の説明図、図10(b)が線数の少ないぬりえ92の説明図、図10(c)が線数の多いぬりえ94の説明図であり、図10(d)が線数の適切なぬりえ96の説明図である。まず、ユーザは、ガラス面43に載置した写真90を読み取った画像からぬりえを作製する作製指示を操作部54を操作して入力する。次に、ユーザは、図5に示す設定入力画面80で原稿種別設定欄80cに「写真」を設定する。続いて、サブ情報入力画面82が表示部52へ表示されるから、線数設定欄82aに「普通」を設定する。すると、CPU22は、設定された読取解像度に応じて、ステップS130で網点除去フィルタを設定し、ステップS150で線分領域の検出処理を実行する。このとき、線数設定欄82aに設定した「普通」に応じてエッジ検出の閾値を設定し、ステップS160でこの閾値を超えた画素を線分領域に検出する。このエッジ検出の閾値は、複数の一般的な写真を用いて経験的に定めてあるが、元画像によっては、図10(b)に示す、線数が少ないぬりえ92になってしまう場合がある。このような場合には、ユーザは、ステップS230でぬりえ画像の生成処理のやり直しを選択し、再度表示されたサブ情報入力画面82で線数設定欄82aに「多め」を設定する。すると、CPU22は、エッジ検出の閾値を低く設定してステップS150で線分領域の検出処理を行う。すると、ぬりえ92よりも多い線分領域が検出され、図10(d)に示す、線数の適切なぬりえ96を生成することができる。また、線数設定欄82aに「普通」を設定してぬりえ作製を行ったところ、図10(c)に示す、線数が多いぬりえ94になってしまった場合には、ユーザは、再度表示されたサブ情報入力画面82で線数設定欄82aに「少なめ」を設定すれば、図10(d)に示す線数の適切なぬりえ96を生成することができる。なお、線数設定欄82aには3段階の線数を設定可能としたが、5段以上など更に多段にし、これに応じた閾値を経験的に設けるものとしてもよい。
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のスキャナ部40及びコントローラ21が画像取得手段に相当し、コントローラ21が本発明の条件設定手段、画像生成手段、及び制御手段に相当し、表示部52が表示手段に相当し、プリンタ部30が印刷実行手段に相当し、操作パネル50及びコントローラ21が設定取得手段に相当する。また、記録紙Sが印刷媒体に相当し、線分領域用ガンマ処理が第1ガンマ変換処理に相当し、背景除去用ガンマ処理が第2ガンマ変換処理に相当する。なお、本実施形態では、プリンタ20の動作を説明することにより本発明のぬりえ製造方法の一例も明らかにしている。
以上詳述した本実施形態のプリンタ20によれば、ぬりえ画像の生成に用いられる元画像を、設定した読取解像度の条件で原稿から読み取ることにより取得し、この読取解像度が大きくなると、線分検出処理を行う際に元画像に施すぼかし処理を実行するときの実行領域が大きくなるように、このぼかし処理の処理条件を設定し、設定したぼかし処理条件で元画像にぼかし処理を施し、この処理後の元画像に線分検出処理を実行して検出領域を検出し、この検出した検出領域を線分領域とすると共にこの検出領域以外の領域を空白領域としてぬりえ画像を生成する。このように、元画像の読取解像度を用いて線分検出処理に用いるぼかし処理の条件を定めるのである。したがって、画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができる。また、ぼかし処理は読取画像に含まれ線分領域として誤検出される網点を除去する効果があり、読取解像度はぼかし処理の程度に関係することから、読取画像の読取解像度を用いて画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができる。更に、線分領域用ガンマ処理を実行して線分領域とし、背景除去用ガンマ処理により空白領域としてぬりえ画像を生成するため、ガンマ変換処理により比較的容易に線分領域と空白領域としてぬりえ画像を生成することができる。更にまた、モノクロ画像に対して線分検出処理を行うため、比較的容易な処理で線分検出処理を実行することができる。そして、線数設定欄82aにユーザが指定した線分領域に関する設定情報をも加味して線分検出処理を行うため、元画像の状態によっては線分領域の検出が変動しやすい自然画が元画像であるときに、画像に含まれる線分の領域を検出する線分検出処理をよりユーザの好む条件で実行することができる。そしてまた、プリンタ部30を備えるため、ぬりえ画像が形成された記録紙Sを得やすい。そして更に、コピー機能に用いられる網点処理部27aやガンマ変換部27bを利用してぬりえを作製可能であるため、ぬりえ作製のための新たな構成を増やすことなくぬりえ画像の生成を実現することができる。
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態では、線分領域12は、無彩色のうち元画像に対して高輝度の灰色により形成されるものとしたが、特にこれに限定されず、線分領域12は黒色や有彩色により形成されていてもよいし、元画像の輝度以下の輝度で形成されていてもよい。
上述した実施形態では、ステップS110でモノクロ画像として取得した元画像に対して網点除去処理や線分検出処理などを実行するものとしたが、カラー画像として取得した元画像に含まれる色成分(例えばR,G,Bなど)の各々の画像を生成し、各々の色成分について網点除去処理や線分検出処理などを実行するものとしてもよい。こうすれば、各色成分の元画像を用いて線分検出処理を実行するため、例えばモノクロの元画像を用いて線分検出するのに比して、線分検出処理をより確実に行うことができる。
上述した実施形態では、ガンマ変換線(図7,8)を用いて元画像の無彩色の領域をより輝度の高い色とすると共にイメージ領域に対して白色化を図るものとしたが、ガンマ変換線を用いずに元画像の無彩色の領域をより輝度の高い色とすると共にイメージ領域に対して白色化を図るものとしてもよい。
上述した実施形態では、読み取った元画像に対して線分検出処理を実行するものとしたが、読み取った元画像を複製することにより領域抽出用画像を作成し、この作成した領域抽出用画像に対して線分検出処理を実行して線分領域72の範囲の情報を検出し、検出した情報を用いて元画像から線分領域72を抽出するものとしてもよい。こうすれば、領域抽出用画像に対しては、例えば、様々な画像処理を加えることが可能であるから、比較的容易に線分領域を検出することができる。
上述した実施形態では、元画像の線数は、原稿種別に応じて所定値に定めてその後の処理を行うものとしたが、スキャナ部40で原稿Mを読み取ることにより元画像の線数を把握するものとしてもよい。具体的には、CPU22は、ぬりえ作製指示が入力されると、スキャナ部40で原稿Mを読み取り元画像70を取得する。次に取得した元画像70の画像内容を解析して、単位面積あたりの線分の数や網点74a,74bの間隔などを検出し、この検出した値から元画像の線数を検出する。そして、CPU22は、予め経験的に定められた網点除去処理に用いるぼかしフィルタの大きさを、検出した元画像の線数と読取解像度とに応じて設定し、設定したぼかしフィルタを用いて網点除去処理を行い、線分検出処理を行うものとしてもよい。例えば、検出された画像の線分が130線/インチのときは実行領域としてのガウシアンフィルタのサイズを7×7ピクセルに設定し、検出された画像の線分が175線/インチのときはガウシアンフィルタのサイズを5×5ピクセルに設定するものとしてもよい。このように、ぼかし処理は読取画像に含まれ線分領域として誤検出される網点を除去する効果がある一方、読取画像の線数はぼかし処理の程度に関係するから、読取画像の線数を用いて画像に含まれる線分の領域を検出する線分検出処理をより適切な条件で実行することができる。なお、元画像の線数により定められるガウシアンフィルタのサイズと、読取解像度に基づいて定められるガウシアンフィルタのサイズとが異なるときには、いずれかのうちより大きなガウシアンフィルタのサイズをぼかし処理に用いるように定めるものとしてもよい。また、このとき、検出した元画像の線数に基づいて、作製後のぬりえの線分領域が画像全体の所定値(例えば5%や10%、15%など)になるように経験的に線分検出処理の閾値を設定するものとしてもよい。例えば、原稿Mを読み取って得た元画像を解析して検出した元画像の線数と、ある閾値を用いて線分検出処理を実行し得られたぬりえ画像の線数との関係を経験的に求め、この関係を用いて元画像の線数が与えられると線分検出処理の閾値を設定するものとしてもよい。こうすれば、作製されるぬりえ画像の線分領域を適正な範囲としやすい。
上述した実施形態では、ステップS230でぬりえ画像の作製をやり直すか否かを判定するものとしたが、この処理を省略し作製したぬりえ画像をそのまま印刷処理するものとしてもよい。ここでは、ぬりえ画像の作製にコピー処理部27の網点処理部27aやガンマ変換部27bなどを用いているため、原稿Mをコピー処理するのと同程度の速い速度で原稿Mの読み取りからぬりえの印刷までを実行することができる。
上述した実施形態では、スキャナ部40で読み取った画像からぬりえ10を作製するものとしたが、メモリカード60に記憶された画像やI/F28を介して図示しないネットワークから取得した画像からぬりえ10を作製してもよい。
上述した実施形態では、プリンタ20を本発明のぬりえ製造装置として説明したが、画像から線分領域及び空白領域を備えたぬりえ画像を生成するものであれば特に限定されず、デジタルカメラ、ピクチャービューワ、デジタルビデオ、カメラ付き携帯電話及びパソコンなどとしてもよい。また、プリンタ20は、スキャナを備えたマルチファンクションプリンタとしたが、スキャナ部40を省略してもよいし、FAXなどとしてもよい。また、上述した実施形態では、プリンタ機構31は、加圧されたインクを記録紙Sに吐出して印刷処理を実行するインクジェット方式の機構であるとしたが、電子写真方式のカラーレーザプリンタや、熱転写方式のカラープリンタや、ドットインパクト方式のカラープリンタとしてもよいし、これらのモノクロプリンタとしてもよい。特に、レーザプリンタなどでは、水性又は油性の絵の具などでぬりえを行うことができるぬりえ10を作製することができる。更に、プリンタ20の態様で説明したが、ぬりえ製造方法の態様としてもよいし、この方法のプログラムの態様としてもよい。
プリンタ20の構成の概略を示す構成図である。 元画像70の説明図である。 ぬりえ作製処理ルーチンの一例を示すフローチャートである。 ぬりえ生成条件設定ルーチンの一例を示すフローチャートである。 表示部52に表示される設定入力画面80の説明図である。 表示部52に表示されるサブ情報入力画面82の説明図である。 背景除去処理に用いるガンマ変換線の説明図である。 線分領域用ガンマ処理に用いるガンマ変換線の説明図である。 ぬりえ10の説明図である。 写真90からぬりえ96を作製する際の説明図である。
符号の説明
10a,10b 空白領域、12 線分領域、20 プリンタ、21 コントローラ、22 CPU、23 フラッシュROM、24 RAM、25 リーダライタ、25a スロット、27 コピー処理部、27a 網点処理部、27b ガンマ変換部、28 インタフェース(I/F)、29 バス、30 プリンタ部、31 プリンタ機構、32 プリンタASIC、34 インクカートリッジ、35 圧力発生部、36 吐出ノズル、38 搬送ローラ、40 スキャナ部、41 スキャナ機構、42 スキャナASIC、43 ガラス面、44 読取センサ、46 移動部、50 操作パネル、52 表示部、54 操作部、54a カーソルキー、54b 決定キー、60 メモリカード、70 元画像、70a,70b 色領域、72 線分領域、74a,74b 網点、80 設定入力画面、80a 入力装置設定欄、80b 読取解像度設定欄、80c 原稿種別設定欄、80d 色種別設定欄、80e 用紙サイズ設定欄、80f 用紙種設定欄、81 カーソル、82 サブ情報入力画面、82a 線数設定欄、82b 線濃度設定欄、82c 品質設定欄、90 写真、92,94,96 ぬりえ。

Claims (11)

  1. ぬりえ画像の生成に用いられる元画像を所定の取得条件で原稿から読み取ることにより取得する画像取得手段と、
    前記取得条件及び前記元画像に関する画像条件のうち少なくとも1つを含む読取時条件に基づいて前記元画像の線分領域を検出する線分検出処理を行う際に前記元画像に施す所定の処理としてぼかし処理の処理条件を設定する条件設定手段と、
    前記設定された処理条件で前記元画像に前記ぼかし処理を施し、該処理後の元画像に前記線分検出処理を実行して検出領域を検出し、該検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域としてぬりえ画像を生成する画像生成手段とを備え、
    前記画像取得手段は、所定の取得条件として所定の読取解像度で前記元画像を前記原稿から読み取ることにより取得し、
    前記条件設定手段は、前記元画像に施す前記ぼかし処理の処理条件を前記読取解像度に基づいて設定することを特徴とする、ぬりえ製造装置。
  2. 前記条件設定手段は、前記ぼかし処理の処理条件を前記読取解像度に基づいて設定するに際して、前記読取解像度が大きくなると前記ぼかし処理を実行するときの実行領域が大きくなるように前記ぼかし処理の処理条件を設定する、請求項1に記載のぬりえ製造装置。
  3. 前記条件設定手段は、前記画像取得手段によって前記原稿から読み取ることにより取得された画像を解析することにより所定の画像条件としての前記元画像の所定線数を検出し、
    前記元画像に施す前記ぼかし処理の処理条件を前記検出した所定線数に基づいて設定し、
    前記画像生成手段は、前記元画像に前記ぼかし処理を施し該処理後の元画像に前記線分検出処理を実行する、請求項1または2のいずれか1項に記載のぬりえ製造装置。
  4. 前記条件設定手段は、前記画像生成手段が生成するぬりえ画像の前記線分領域が前記元画像全体の所定割合になるように、前記検出した元画像の所定線数に基づいて前記線分検出処理の実行条件を設定する、請求項3に記載のぬりえ製造装置。
  5. 前記画像生成手段は、前記検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域とするに際して、前記検出した検出領域には入力値を高輝度側へ変換して出力する第1ガンマ変換処理を実行して前記線分領域とし、前記検出領域以外の領域には入力値を白色へ変換する第2ガンマ変換処理を実行することにより前記空白領域として前記ぬりえ画像を生成する、請求項1〜4のいずれか1項に記載のぬりえ製造装置。
  6. 前記画像生成手段は、前記取得した元画像にモノクロ処理を実行し、該処理したモノクロ画像に対して、前記設定された処理条件で前記ぼかし処理を施し該処理後のモノクロ画像に前記線分検出処理を実行して検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域としてぬりえ画像を生成する、請求項1〜5のいずれか1項に記載のぬりえ製造装置。
  7. 前記画像生成手段は、前記線分検出処理を実行するに際して、前記元画像に含まれる複数の色成分の各々に対して前記設定された処理条件で前記ぼかし処理を施し該処理後の各色成分の元画像に前記線分検出処理を実行して前記検出領域を検出する、請求項1〜5のいずれか1項に記載のぬりえ製造装置。
  8. 請求項1〜7のいずれか1項に記載のぬりえ製造装置であって、
    画像を表示可能な表示手段と、
    ユーザの操作に基づいて設定される前記ぬりえ画像を生成する際の設定情報を取得可能な設定取得手段と、
    前記設定取得手段によって前記元画像が自然画である設定情報を取得したときには、前記画像生成手段が生成する線分領域に関する設定情報をユーザが入力する旨の情報を表示するよう前記表示手段を制御する制御手段と、を備え、
    前記条件設定手段は、前記設定取得手段が取得した前記線分領域に関する設定情報をも加味して前記線分検出処理を行う際に前記元画像に施す所定の処理の処理条件を設定し、
    前記画像生成手段は、前記設定された処理条件で前記元画像に前記所定の処理を施し、該処理後の元画像に前記線分検出処理を実行して検出領域を検出する、ぬりえ製造装置。
  9. 請求項1〜8のいずれか1項に記載のぬりえ製造装置であって、
    前記画像生成手段が生成したぬりえ画像を印刷媒体へ印刷処理する印刷実行手段、を備えたぬりえ製造装置。
  10. ぬりえ画像を生成するぬりえ製造方法であって、
    (a)ぬりえ画像の生成に用いられる元画像を所定の取得条件として所定の読取解像度で原稿から読み取ることにより取得するステップと、
    (b)前記取得条件及び前記元画像に関する画像条件のうち少なくとも1つを含む読取時条件に基づいて前記元画像の線分領域を検出する線分検出処理を行う際に前記元画像に施す所定の処理としてぼかし処理の処理条件を前記読取解像度に基づいて設定するステップと、
    (c)前記ステップ(b)で設定された処理条件で前記ステップ(a)で取得した元画像に前記ぼかし処理を施し、該処理後の元画像に前記線分検出処理を実行して検出領域を検出し、該検出した検出領域を線分領域とすると共に該検出領域以外の領域を空白領域としてぬりえ画像を生成するステップと、
    を含むぬりえ製造方法。
  11. 請求項10に記載のぬりえ製造方法の各ステップを1以上のコンピュータに実行させるためのプログラム。
JP2007197584A 2007-07-30 2007-07-30 ぬりえ製造装置、ぬりえ製造方法及びそのプログラム Expired - Fee Related JP4941157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007197584A JP4941157B2 (ja) 2007-07-30 2007-07-30 ぬりえ製造装置、ぬりえ製造方法及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007197584A JP4941157B2 (ja) 2007-07-30 2007-07-30 ぬりえ製造装置、ぬりえ製造方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2009032178A JP2009032178A (ja) 2009-02-12
JP4941157B2 true JP4941157B2 (ja) 2012-05-30

Family

ID=40402590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007197584A Expired - Fee Related JP4941157B2 (ja) 2007-07-30 2007-07-30 ぬりえ製造装置、ぬりえ製造方法及びそのプログラム

Country Status (1)

Country Link
JP (1) JP4941157B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239394A (ja) 2008-03-26 2009-10-15 Seiko Epson Corp ぬりえ製造装置およびぬりえ製造方法
JP2013062648A (ja) * 2011-09-13 2013-04-04 Dainippon Printing Co Ltd 個体識別装置、個体識別方法、及びプログラム
JP5442912B1 (ja) * 2013-03-13 2014-03-19 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185766A (ja) * 2000-12-12 2002-06-28 Minolta Co Ltd 画像形成システム
JP2007311911A (ja) * 2006-05-16 2007-11-29 Murata Mach Ltd 画像形成装置

Also Published As

Publication number Publication date
JP2009032178A (ja) 2009-02-12

Similar Documents

Publication Publication Date Title
JP4890974B2 (ja) 画像処理装置、及び画像処理方法
JP4683654B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP4890973B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP5014284B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8472076B2 (en) Detecting and removing blur of a character by comparison with the original image after a thinning and fattening operation
JP2008036856A (ja) 印刷装置、および、印刷方法
JP2018056873A (ja) 画像処理装置、および、コンピュータプログラム
JP4875723B2 (ja) 画像形成装置
JP2009031978A (ja) ぬりえ、ぬりえ製造装置、ぬりえ製造方法及びそのプログラム
JP4941157B2 (ja) ぬりえ製造装置、ぬりえ製造方法及びそのプログラム
JP2015015599A (ja) 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体
JP2006255970A (ja) インクジェットプリンタおよび複写装置
JP5058695B2 (ja) 画像処理装置および画像処理方法および画像処理プログラム
US9749495B2 (en) Information processing apparatus, image forming apparatus, image processing method, and non-transitory computer-readable medium, configured to convert image data to lower resolution and delete pixel of interest
JP6087334B2 (ja) 画像処理装置及び画像形成装置
JP2007088741A (ja) 画像処理装置および画像処理方法
JP2012199669A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
JP2005252710A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6601225B2 (ja) 制御装置、および、コンピュータプログラム
JP2023030811A (ja) 情報処理装置、抽出処理装置、画像処理システム、情報処理装置の制御方法、及びプログラム
JP5854973B2 (ja) 画像形成装置
JP2009021915A (ja) 画像処理装置及び画像処理方法
JP2009027425A (ja) 画像処理装置、画像処理方法及びそのプログラム
JP6025803B2 (ja) 画像処理装置
JP2005109807A (ja) 画像処理方法、画像処理装置、画像形成装置及び画像処理システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091127

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees