JP3768560B2 - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
JP3768560B2
JP3768560B2 JP08152695A JP8152695A JP3768560B2 JP 3768560 B2 JP3768560 B2 JP 3768560B2 JP 08152695 A JP08152695 A JP 08152695A JP 8152695 A JP8152695 A JP 8152695A JP 3768560 B2 JP3768560 B2 JP 3768560B2
Authority
JP
Japan
Prior art keywords
image
pixel
image data
extraction
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08152695A
Other languages
Japanese (ja)
Other versions
JPH08278876A (en
Inventor
健一 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP08152695A priority Critical patent/JP3768560B2/en
Priority to US08/627,567 priority patent/US6549657B2/en
Publication of JPH08278876A publication Critical patent/JPH08278876A/en
Priority to US10/291,496 priority patent/US7103221B2/en
Priority to US11/227,148 priority patent/US7424152B2/en
Application granted granted Critical
Publication of JP3768560B2 publication Critical patent/JP3768560B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明はハードコピー画像等を出力するための画像処理装置及び方法に関し、例えば画像を再現するコマンド群が予め決められており、決められたコマンドの組み合わせで出力画像を再生し出力して出力画像品位の向上を可能とした画像処理装置及び方法に関するものである。
【0002】
【従来の技術】
現在、コンピュータ等から文書をハードコピーとして紙などに出力しようとする場合、一旦文書情報を画像情報を記述するコマンド群に置き換え、そのコマンドを、コマンドインタプリタと呼ばれるコマンド解釈部に転送し、インタプリタがこのコマンドを解釈してビットマップイメージに展開し、展開された画像をハードコピー装置に送り、最終的なハードコピー出力を得るという方式が取られることが多い。
【0003】
このようなコマンド体系はページ記述言語(PDL)と呼ばれ、代表的なものとしてはPostScript(登録商標)やCapsl(登録商標)といったものが広く利用されている。
この従来のシステムの構成例を図9に示す。図9において、801はハードコピー出力を指定するホストコンピュータ、802はPDLインタプリタ部、803はビットマップメモリ、804は 二値化回路、805はプリンタ、806は全体制御を司るコントローラ部である。
【0004】
ホストコンピュータ801は出力するべきデータをPDLのコマンドとして802のインタプリタ部802へ転送する。PDLインタプリタ部802はホストコンピュータ801より受け取ったコマンド群を解釈してビットマップイメージに展開して、展開したラスタイメージデータをビットマップメモリ803に書き込む。
【0005】
インタプリタ部802はホストコンピュータ801から送られてきたすべてのコマンドについてのラスタ展開が終了するとコントローラ部806に処理の終了を通知する。コントローラ部806はその処理の終了通知を受け取ると、ビットマップメモリ803に記憶されているビットマップデータをプリンタ部805へ転送し、ハードコピー画像の出力を行う。
【0006】
ここで、ビットマップメモリ803のデータは一般的に1画素当たり8ビット(256階調)程度の情報を持っているため、プリンタ部805がインクジェット方式のような一画素について白か黒かの二値しか表現できないようなものであった場合には上記動作を行うわけにはいかず、二値化回路804で二値の1ビット情報に変換した後にプリンタ部805に出力することになる。
【0007】
従来のこのような構成において、例えば図10に示すような画像を出力する場合を考える。
図10中、901は銀塩写真をスキャナで読み取ったような連続階調画像、902はワードプロセッサ等で入力された文字情報、903、904は表計算ソフト等で作られる円グラフや折れ線グラフである。
【0008】
これらの異なる特性を持つ画像が一枚の画面中に混在している場合には、図8に示す二値化回路804で8ビットデータを1ビットデータに変換する時の処理方法により以下のような不都合が生じる。
(1)256階調のうち128以上を「1」とし、127以下を「0」というように単純に二値化してしまうと連続階調画像部が持つ階調性が失われ、また円グラフ等でパターンを256階調の中の異なるレベルで塗り分けている場合にも「0」か「1」のどちらかに振り分けられてしまい、情報が失われてしまう。
【0009】
(2)誤差拡散法のような疑似中間調再現方式で二値化を行うと、(1)のような不都合はなくなるが逆に文字や線グラフの細い線パターンの周りに黒ドットが生じ、ぎざぎざなパターンが再現され見苦しくなってしまう。
ここでは二値のインクジェットプリンタで出力する例を示したが、このような不都合は他の方式のプリンタや、二値以上の再現能力のプリンタを用いた場合でも程度の差はあるが、同じように生じる問題である。
【0010】
【発明が解決しようとする課題】
以上のような不都合を解消するための方法として、従来以下のようなものがあった。
(A)ビットマップメモリを二値画像用と連続階調用の二通り用意し、単純二値化に適した文字、線パターンデータを二値画像用メモリに書込み、疑似中間調二値化に適した連続階調データを連続階調用メモリに書き込む。
【0011】
出力時にはそれぞれのメモリの内容をそれぞれに適した方法で二値化した後、合成してプリンタ部より出力させる。
(B)二値化回路の前段に像域判定を設け、出力しようとしているデータが連続階調画像か文字・線パターン画増加を画素ごとに判定し、その判定結果に従って二値化回路の二値化方式を画素単位で切り替えて出力する。
【0012】
しかしこのような従来例において、
(A)の場合には、展開の対象となっているPDLコマンドを参照すれば対象画像データの種別(文字か線パターンか連続階調画像か、など)がわかるので、それに従って、ラスタイメージの格納場所を切り替えることが可能であるが、PDLインタプリタにその様な機能を持たせる必要があるので、インタプリタ部を改造しなければならなくなる。
【0013】
また(B)の場合には、ラスタイメージに展開された後の画像データに対し、ヒストグラムや近傍画素間の濃度勾配などを参照する周知の像域判別処理を行うため判定エラーが生じやすく、例えば連続階調画像部であるのに文字部であるという誤判定をしてしまうとその部分だけ単純二値化され不自然な画像が出力されてしまう。
【0014】
【課題を解決しようとする手段】
本発明は上述した課題を解決することを目的としてなされたもので、PDLインタプリタで展開されたビットマップイメージの特徴を考慮して上記目的を達成する一手段として以下の構成を備える。
即ち、予め決められた規則に従って記述された一連の命令コードを受け取り受け取った命令コードに従って画素毎のイメージデータを生成するラスタイメージ生成手段と、該ラスタイメージ生成手段で生成された画素毎のイメージデータを2次元情報として記憶するイメージ記憶手段と、1画面分の前記ラスタイメージ生成手段による画素毎のイメージデータ生成が終了した後、前記イメージ記憶手段に記憶されたイメージデータを参照して画像の種別を表わすコード情報を画素毎に抽出する抽出手段と、前記イメージ記憶手段に蓄えられたイメージデータ及び前記抽出手段により抽出されたコード情報を出力する出力手段とを備え、前記抽出手段は、複数の画素からなる領域における、値が異なるイメージデータの数、および、注目画素の値と前記注目画素周辺の画素の値との差の最大値から前記抽出を行うことを特徴とする。
【0015】
また、予め決められた規則に従って記述された一連の命令コードを受け取り受け取った命令コードに従って画素毎のイメージデータを生成するラスタイメージ生成工程と、該ラスタイメージ生成工程において生成された画素毎のイメージデータを2次元情報としてイメージ記憶手段に記憶する記憶工程と、1画面分の前記ラスタイメージ生成工程において画素毎のイメージデータ生成が終了した後、前記イメージ記憶手段に記憶されたイメージデータを参照して画像の種別を表わすコード情報を画素毎に抽出する抽出工程と、前記イメージ記憶手段に蓄えられたイメージデータ及び前記抽出工程において抽出されたコード情報を出力する出力工程とを備え、前記抽出工程では、複数の画素からなる領域における、値が異なるイメージデータの数、および、注目画素の値と前記注目画素周辺の画素の値との差の最大値から前記抽出が行われることを特徴とする。
【0016】
【作用】
以上の構成において、文字、線パターン、連続階調画像等の混在した文書中から精度良く画像種別を検出して高品位な出力画像が得られる。
【0017】
【実施例】
以下、図面を参照して本発明に係る一実施例を詳細に説明する。
(第1の実施例)
図1は本発明に係る一実施例の構成の概略を示すブロック図である。図中101はホストコンピュータであり出力文書を構成するPDLコマンドを発生させる。102はホストコンピュータ101から送られたPDLコマンドを解釈してビットマップイメージに展開するPDLインタプリタ、103は展開された画像データを記憶するビットマップメモリである。104はCPUであり、インタプリタの処理が終了した時点でビットマップメモリの内容を参照し、画素単位で注目画素が文字部か線パターン部か連続階調画像部か等を判定し判定結果として生じるコード情報をコードメモリ105に画素単位で書き込む。
【0018】
106、107は展開されたビットマップイメージをプリンタ部109から出力するための二値化回路であり、二値回路106は所定のしきい値との大小関係だけで二値化を行う単純二値化回路、二値化回路107は連続階調データを疑似中間調処理して二値化する周知の誤差拡散処理回路である。
108は2つの二値化回路106、107の出力のうちどちらか一方を選択するセレクタであり、選択はコードメモリ105の内容を用いて画素単位で行われる。
【0019】
以上の構成を備える本実施例のCPU104の動作について図2のフローチャートを用いて説明する。本実施例においては、ビットマップメモリ103に書き込まれているデータは1画素当たり8ビット(0〜255)で表現されているものとする。
まずステップS1でビットマップメモリ103より注目画素と注目画素近傍3×3画素の画像データを読み出す。この読み出し画像データの例を図3に示す。図3に示す様にこの画像データをa1〜a9とする。注目画素はここではa5ということになるので、ステップS2で注目画素データac にa5を代入する。
【0020】
次にステップS3で作業用変数の初期化を行う。即ち、まず3×3画素中に含まれる異なるレベルのデータの数をカウントするためのヒストグラム領域hist(j)(j=0〜255)を「0」にクリアする。続いて3×3画素領域のデータの変化量(iedg)の最大値を得るための変数iemaxを「0」にクリアする。
【0021】
続いてステップS4で(ai−ac)を計算してこの絶対値を求め、(iedg)にセットし、この(iedg)の値が(iemax)と等しいかあるいは大きい場合にはhist(ai)に1を代入する。以上の処理をi=1〜9について順次行う。以上の処理をすべて実行すると中心画素と近傍3×3画素間の差の絶対値の最大値が求められる。このため、次のステップS5でhist(j)中に含まれる1の数の総和を求める。これにより3×3画素領域に出現する異なるデータの数(inct)が求められる。
【0022】
このため、続くステップS6で得られた特徴量iemax,icntをもとにした文字・線画領域かあるいは連続階調画像領域かの判定処理を行う。例えば次の条件が当てはまる場合には注目画素は文字・線画領域であるとしてステップS6よりステップS7に進み、コード「1」を発生させる。(icode=1)そしてステップS9に進む。
【0023】
icnt<4 and iemax>128 …(1)
一方、ステップS6でicnt<4 and iemax>128でない場合には注目画素は連続階調画像部であるとしてステップS8に進み、コード「0」を発生させる。(icode=0)そしてステップS9に進む。なお、ステップS7及びステップS8のコード情報icodeは、コードメモリ105の対応する位置に書き込まれる。
【0024】
ステップS9ではすべての画素に以上の処理を実行したか否かを調べる。すべての画素に対して行っていない場合にはステップS1に戻り、次の画素を注目画素として以上の処理を行う。ステップS9でビットマップメモリ103中のすべての画素について行なった場合には、各画素に対応するコード情報をコードメモリ105に書き込み終わったことになりCPUの処理は終了する。
【0025】
以上の処理を実行することにより、コード情報及び画像データの両のデータがそろったことになりコードメモリ105に格納されたコード情報に従って画素毎にセレクタ108を制御して単純二値化回路106又は誤差拡散二値化回路107かのいずれかの出力を選択してプリンタ109に送り、コード情報に従った画像出力を行う。以上の処理の概要を以下に説明すると、ビットマップメモリ103のデータは先頭から順次読み出され、2通りの二値化回路106、107の両方で並列に二値化される。一方コードメモリ105の内容も同時に読み出されセレクタ108のセレクト信号入力に与えられる。そしてコード情報が1の場合は単純二値化回路106の出力がプリンタ109へ送られ、コード情報が0の場合は誤差拡散二値化回路107の処理の出力がプリンタ109へ送られる。
【0026】
このようにして文書画像中に混在する種々の画像の特性に合わせた高品位な出力画像が得られることになる。本実施例の以上の処理による種々の画像の混在する画像データの例を図4に示し図4における各領域の判定の行われる様子の具体例を図5に示す。即ち、図4に示す301から305の各注目画素に対し、その近傍3×3画素の画像データの実例が図5に夫々示す。
【0027】
図示の如く、305に示す連続階調画像部では、3×3画素内で異なるデータの出現する確率が高く、かつ注目画素と周辺画素間のデータの差は小さいため(1)式に当てはまらず連続階調領域と判定される。一方、302、303、305のような文字、線画領域では出現するデータはほぼ同じ値で占められ、かつ注目画素と周辺画素の間のデータ差は非常に大きいために(1)式が成立し文字・線画領域と判定される。また、304の様に出現するデータは80のみで少ないが注目画素と周辺画素のデータの差が小さい場合には連続画像領域と判定され疑似中間調処理が行われる。
【0028】
以上説明したように本実施例によれば、PDLで記述された画像をハードコピー出力する場合に従来よりも高品位な画像出力を得ることができるようになる。また以上の実施例においては画像の種別判別を文字・線画領域かまたは連続階調領域かの2通りに分離するようにしてあるが、さらに多数通りに分類して出力方式を細かく制御することも可能である。またビットマップイメージ中の画像種別判定をCPUでソフトウェアにより実行するように説明してあるが、同様の機能を実現するハードウェアを用いても同じ効果を得ることができる。
(第2の実施例)
図6に本発明に係る第2の実施例の構成をブロック図で示す。
【0029】
第2の実施例ではプリンタ部413として、画像データで変調されたレーザビームを高速回転するポリゴンミラーに照射し感光ドラム上を走査してトナーを付着させて可視画像を形成するレーザビームプリンタを用いている。図6において、上述した図1に示す第1実施例と同様構成には同一番号を付し詳細説明を省略する。
【0030】
図1に示す第1の実施例と同様101〜105でビットマップイメージからコード情報を発生させコードメモリ105に書き込むと、CPUはビットマップメモリ103から順次画像データを読み出す。読み出された画像データはDA変換器406で対応するアナログ信号に変換される。一方、2つの基準三角波形発生器407、408が図7に示すような異なる周期の三角波状パルス列(501、502)を発生させる。コードメモリ105の内容はやはり同時に読み出され、読み出されたコード情報に従って2つの基準三角波(501、502)の一方をセレクタ409により選択する。コード情報が「1」の場合は三角波501が選択され、「0」の場合は三角波502が選択される。
【0031】
セレクタ409により選択された三角波はコンパレータ410の一方入力端子に入力され、コンパレータ410の他方端子に入力されているDA変換器406によりアナログ変換されたアナログ画像信号(図7に示す503)と画素毎に比較される。その結果、画像信号の大きさと基準三角波の周期によって決まるパルス幅変調信号(図7に示す504)が得られる。このコンパレータ410よりのパルス幅変調信号をレーザドライバ411に入力し、半導体レーザ412の発光時間を変調する。変調された半導体レーザよりのレーザ光は、プリンタエンジン部413の不図示の感光ドラム上に照射されて静電潜像が形成され周知の電子写真プロセスを経て可視画像出力を形成する。
【0032】
以上述べたように第2実施例によれば、文字・線画領域では短い周期の三角波を用いて半導体レーザ412よりのレーザ発光パルス幅を制御し、連続階調画像領域では長い周期の三角波を用いてレーザ発光パルス幅を制御する構成としている。これは一般にレーザ変調のパルス幅の周期が短い程、出力画像の解像度が高くなるが中間調の階調再現力は低下し、逆にパルス幅の周期が長い程出力解像度は下がるが中間調の階調再現力が高くなるという特性を利用して高品位な画像出力を得ようとしているためである。
(第3の実施例)
図8に本発明に係る第3の実施例のブロック構成図を示す。
第3の実施例においてもプリンタ部413としてレーザビームプリンタを用いている。図8において、上述した図1及び図6に示す構成と同様構成には同一番号を付し詳細説明を省略する。ただし本実施例のレーザビームプリンタはカラー画像の出力が可能であり、ビットマップメモリ103にはカラーのイメージデータ(R,G,B3面のビットマップデータ)が格納され、また半導体レーザ412による画像形成をイエロー(Y)、マゼンタ(M)、シアン(C)、ブラック(K)の4色分を面順次で実行してカラーハードコピー画像を出力する。
【0033】
図8において601〜604はR,G,BのビットマップデータからY、M、C、Kデータを生成する色処理回路であり、601はR,G,B輝度信号を濃度信号C、M、Yに変換する対数変換回路であり以下の変換を行う。
c=−Log10R
m=−Log10G …(2)
y=−Log10B
602は3つの濃度信号の最小値を抽出して黒信号Kとするための黒信号抽出回路で次式を実行する。
【0034】
k=Min(c,m,y) …(3)
603、604は以上で得られたc,m,y,k信号を次のマトリックス変換により画像出力のためのC、M、Y、K信号に変換する。いわゆるマスキング変換回路である。

Figure 0003768560
マスキング回路が2つあるのは両者で異なる変換係数bijを設定し、後述する方法で両者の出力信号をセレクタ605で切り替えて画像出力するためである。
【0035】
以下、以上の構成を備える第3本実施例の詳細動作について説明する。
まず第1の実施例と同様にしてホストコンピュータ101〜コードメモリ105でビットマップイメージからコード情報を発生させコードメモリ105に書き込む。このとき文字領域か連続階調領域かの判定はビットマップメモリ103中のG(グリーン)のイメージデータに対し第1実施例と同様の処理を行うことにより実行でき、「0」または「1」のコード情報がコードメモリ105に書き込まれる。
【0036】
次にCPU104は、文字領域と判定された画素(コード=1)について、さらに注目画素のR,G,B3面のイメージデータを読み込み、次式のWを求める。
W=|R−G|+|G−B|+|B−R| …(5)
Wが予め決められたしきい値TH以下の場合、当該画素のコード値「1」を「2」に書き換える。これは、WがTH以下ということは注目画素のR,G,Bデータが互いに近い値になっているということであり、無彩色に近いということを表わしているからである。この結果、コード「2」が書き込まれた画素は無彩色(黒)の文字領域になっているということになる。
【0037】
そこでマスキング回路603、604に設定する係数として、マスキング回路A603には再現される画像の色再現性を重視した係数を設定し、マスキング回路B604には出力Y、M、C信号が常に0となり黒信号Kのみが値を持つような係数を設定する。そしてセレクタ409によりコード情報が「2」の場合にはマスキング回路B604の出力を選択し、それ以外の場合はマスキング回路A603の出力を選択するように構成する。これにより黒文字領域の画素は黒単色で出力され、それ以外の部分はもとのイメージデータの色に忠実な色再現性をもって出力されることになる。
【0038】
セレクタ605よりの出力信号は、以下第2実施例と同様にしてDA変換回路406に送られ、ここで対応するアナログ信号に変換され、コンパレータ410の一方入力端子に入力される。コンパレータ410の他方入力端子には第2の実施例と同様にして転送され出力画像を形成するセレクタ409よりの画像領域に従った基準三角波が入力されている。ただし、第3実施例ではコードメモリ105のコード情報が黒文字領域のみ「2」に書き変わっているのでセレクタ409による三角波発生器の選択はコード値が「1」または「2」の時は三角波501を選択し、「0」のときは三角波502を選択するように制御すればよい。
【0039】
以上説明した様に第3実施例によれば、カラープリンタにおいても文字、線パターン、連続階調画像等の混在した文書中から精度良く画像種別を検出して高品位な出力画像が得られる。
以上説明したように各実施例によれば、PDLで記述された画像をハードコピー出力する場合に高品位な画像出力を得ることができるようになる。
【0040】
なお、実施例中でプリンタとしてインクジェット方式、LBP方式の2とおりについて説明したが、他の出力方式であっても同様に適用することが可能である。また、画像の種別判別も文字・線画かまたは連続階調領域かの2通りに分離する例について説明したが本発明は以上の例に限定されるものではなくさらに多数の種別に分類して出力方式を細かく制御することも当然に発明の範囲に含まれる。
【0041】
またビットマップイメージ中の画像種別判定をCPU104でソフトウェアにより実行する例について説明したが、同様の機能を実現するハードウェアを用いても同じ効果を得ることができことはもちろんである。
なお、本発明は、ホストコンピュータ、インターフェース、プリンタなど複数の機器から構成されるシステムに適用しても複写システムなど1つの機器から成る装置に適用しても良い。
【0042】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【0043】
【発明の効果】
以上説明したように本発明によれば、PDLで記述された画像をハードコピー出力する場合文字、線パターン、連続階調画像等の混在した文書中から精度良く画像種別を検出して高品位な出力画像が得られる。
【図面の簡単な説明】
【図1】本発明に係る一実施例の構成を示すブロック図である。
【図2】本実施例の図1に示すCPUの動作フローチャートである。
【図3】本実施例の画素抽出例を示す図である。
【図4】本実施例の処理による画像領域判定を説明するための図である。
【図5】本実施例における図4の画像領域判定処理の具体例を説明するための図である。
【図6】本発明に係る第2実施例の構成を示すブロック図である。
【図7】第2実施例における三角波発生器による発生三角波を説明するための図である。
【図8】本発明にに係る第3の実施例の構成を示すブロック図である。
【図9】従来の構成の一例を示すブロック図である。
【図10】各種画像種別の混在する文書を説明する図である。
【符号の説明】
101 ホストコンピュータ
102 PDLインタプリタ
103 ビットマップメモリ
104 CPU
105 コードメモリ
106、107 二値化回路
108、409、605 セレクタ
406 DA変換器
407、408 基準三角波形発生器
410 コンパレータ
411 レーザドライバ
412 半導体レーザ
413 プリンタエンジン
601 対数変換回路
602 黒信号抽出回路
603、604 マスキング変換回路[0001]
[Industrial application fields]
The present invention relates to an image processing apparatus and method for outputting a hard copy image or the like. For example, a command group for reproducing an image is determined in advance, and an output image is reproduced and output by a combination of the determined commands. The present invention relates to an image processing apparatus and method capable of improving the quality.
[0002]
[Prior art]
Currently, when outputting a document as a hard copy from a computer or the like to paper or the like, the document information is temporarily replaced with a command group describing image information, and the command is transferred to a command interpreter called a command interpreter. In many cases, this command is interpreted and developed into a bitmap image, and the developed image is sent to a hard copy device to obtain a final hard copy output.
[0003]
Such a command system is called a page description language (PDL), and typical ones such as PostScript (registered trademark) and Capsl (registered trademark) are widely used.
An example of the configuration of this conventional system is shown in FIG. In FIG. 9, 801 is a host computer that designates hard copy output, 802 is a PDL interpreter unit, 803 is a bitmap memory, 804 is a binarization circuit, 805 is a printer, and 806 is a controller unit that performs overall control.
[0004]
The host computer 801 transfers data to be output to the interpreter unit 802 of 802 as a PDL command. The PDL interpreter unit 802 interprets the command group received from the host computer 801, develops it into a bitmap image, and writes the developed raster image data into the bitmap memory 803.
[0005]
When the raster development for all commands sent from the host computer 801 is completed, the interpreter unit 802 notifies the controller unit 806 of the end of processing. Upon receiving the processing end notification, the controller unit 806 transfers the bitmap data stored in the bitmap memory 803 to the printer unit 805 and outputs a hard copy image.
[0006]
Here, since the data in the bitmap memory 803 generally has information of about 8 bits (256 gradations) per pixel, the printer unit 805 can determine whether the pixel is white or black for each pixel as in the inkjet method. If only a value can be expressed, the above operation cannot be performed, and the binarization circuit 804 converts it into binary 1-bit information and outputs it to the printer unit 805.
[0007]
Consider a case where, for example, an image as shown in FIG. 10 is output in such a conventional configuration.
In FIG. 10, reference numeral 901 is a continuous tone image obtained by reading a silver halide photograph with a scanner, 902 is character information input by a word processor or the like, and 903 and 904 are pie charts or line graphs created by spreadsheet software or the like. .
[0008]
When images having these different characteristics are mixed in one screen, the following processing method is used when converting 8-bit data into 1-bit data by the binarization circuit 804 shown in FIG. Cause inconvenience.
(1) If the binarization is simply binarized such that 128 or more of 256 gradations is “1” and 127 or less is “0”, the gradation property of the continuous gradation image portion is lost, and a pie chart For example, when the pattern is divided at different levels in 256 gradations, the pattern is assigned to “0” or “1”, and information is lost.
[0009]
(2) When binarization is performed by a pseudo halftone reproduction method such as an error diffusion method, the inconvenience as in (1) is eliminated, but on the contrary, black dots are generated around thin line patterns of characters and line graphs. The jagged pattern is reproduced and unsightly.
Here, an example of output by a binary ink jet printer has been shown, but such inconvenience is similar even when using another type of printer or a printer with a reproduction capability of binary or higher, but the same It is a problem that occurs.
[0010]
[Problems to be solved by the invention]
Conventionally, there have been the following methods for solving the above inconveniences.
(A) Prepare two types of bitmap memory for binary image and continuous tone, write character and line pattern data suitable for simple binarization to binary image memory, suitable for pseudo halftone binarization The continuous tone data is written in the continuous tone memory.
[0011]
At the time of output, the contents of each memory are binarized by a method suitable for each, then combined and output from the printer unit.
(B) An image area determination is provided in the preceding stage of the binarization circuit, and it is determined for each pixel whether the data to be output is a continuous tone image or a character / line pattern image increase, and the binarization circuit binary is determined according to the determination result. The value conversion method is switched for each pixel and output.
[0012]
However, in such a conventional example,
In the case of (A), the type of target image data (whether it is a character, a line pattern, or a continuous tone image, etc.) can be known by referring to the PDL command that is the target of expansion. Although the storage location can be switched, the PDL interpreter needs to have such a function, so that the interpreter unit must be modified.
[0013]
In the case of (B), a determination error is likely to occur because a well-known image area determination process that refers to a histogram, a density gradient between neighboring pixels, and the like is performed on image data that has been expanded into a raster image. If it is a continuous tone image portion but it is erroneously determined that it is a character portion, only that portion is simply binarized and an unnatural image is output.
[0014]
[Means to solve the problem]
The present invention has been made for the purpose of solving the above-mentioned problems, and has the following configuration as one means for achieving the above-mentioned object in consideration of the characteristics of a bitmap image developed by a PDL interpreter.
That is, a raster image generation unit that receives a series of instruction codes described according to a predetermined rule and generates image data for each pixel according to the received instruction code, and image data for each pixel generated by the raster image generation unit Image storage means for storing image data as two-dimensional information and image data generation for each pixel by the raster image generation means for one screen is completed, and the image type is referred to by referring to the image data stored in the image storage means Extraction means for extracting the code information representing each pixel, and output means for outputting the image data stored in the image storage means and the code information extracted by the extraction means, wherein the extraction means comprises a plurality of The number of image data with different values in the pixel area and the pixel of interest And performing said extraction from the maximum value of the difference between the value of pixels around the target pixel.
[0015]
A raster image generating step for receiving a series of instruction codes described in accordance with a predetermined rule and generating image data for each pixel according to the received instruction code; and image data for each pixel generated in the raster image generating step. Is stored in the image storage means as two-dimensional information, and after the generation of image data for each pixel in the raster image generation process for one screen, the image data stored in the image storage means is referred to An extraction step of extracting code information representing an image type for each pixel; and an output step of outputting the image data stored in the image storage means and the code information extracted in the extraction step. Of image data with different values in an area consisting of multiple pixels And, wherein the extraction from the maximum value of the difference between the value of the pixel values and surrounding the target pixel of the target pixel.
[0016]
[Action]
With the above configuration, a high-quality output image can be obtained by accurately detecting an image type from a document in which characters, line patterns, continuous tone images, and the like are mixed.
[0017]
【Example】
Hereinafter, an embodiment according to the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing an outline of the configuration of an embodiment according to the present invention. In the figure, reference numeral 101 denotes a host computer which generates a PDL command that constitutes an output document. Reference numeral 102 denotes a PDL interpreter that interprets a PDL command sent from the host computer 101 and develops it into a bitmap image. Reference numeral 103 denotes a bitmap memory that stores the developed image data. A CPU 104 refers to the contents of the bitmap memory when the interpreter process is completed, and determines whether the pixel of interest is a character portion, a line pattern portion, a continuous tone image portion, or the like on a pixel-by-pixel basis. Code information is written to the code memory 105 in units of pixels.
[0018]
Reference numerals 106 and 107 denote binarization circuits for outputting the developed bitmap image from the printer unit 109. The binary circuit 106 is a simple binary that performs binarization only by a magnitude relationship with a predetermined threshold value. The binarization circuit 107 is a well-known error diffusion processing circuit that binarizes the continuous tone data by pseudo halftone processing.
Reference numeral 108 denotes a selector that selects one of the outputs of the two binarization circuits 106 and 107, and the selection is performed in units of pixels using the contents of the code memory 105.
[0019]
The operation of the CPU 104 of this embodiment having the above configuration will be described with reference to the flowchart of FIG. In the present embodiment, it is assumed that the data written in the bitmap memory 103 is expressed by 8 bits (0 to 255) per pixel.
First, in step S <b> 1, image data of the target pixel and 3 × 3 pixels near the target pixel is read from the bitmap memory 103. An example of the read image data is shown in FIG. As shown in FIG. 3, these image data are a1 to a9. Since the target pixel is a5 here, a5 is substituted into the target pixel data ac in step S2.
[0020]
In step S3, work variables are initialized. That is, first, the histogram area hist (j) (j = 0 to 255) for counting the number of data of different levels included in 3 × 3 pixels is cleared to “0”. Subsequently, the variable iemax for obtaining the maximum value of the change amount (iedg) of the data in the 3 × 3 pixel area is cleared to “0”.
[0021]
Subsequently, in step S4, (ai-ac) is calculated to obtain the absolute value, and is set to (iedg). When the value of (iedg) is equal to or greater than (iemax), the value is set to hist (ai). Substitute 1 The above processing is sequentially performed for i = 1 to 9. When all the above processes are executed, the maximum absolute value of the difference between the center pixel and the neighboring 3 × 3 pixels is obtained. Therefore, in the next step S5, the sum of the numbers of 1 included in hist (j) is obtained. Thus, the number of different data (inct) appearing in the 3 × 3 pixel region is obtained.
[0022]
For this reason, it is determined whether the region is a character / line drawing region or a continuous tone image region based on the feature values iemax and icnt obtained in the subsequent step S6. For example, if the following condition is satisfied, the target pixel is assumed to be a character / line drawing area, and the process proceeds from step S6 to step S7 to generate a code “1”. (Icode = 1) Then, the process proceeds to step S9.
[0023]
icnt <4 and iemax> 128 (1)
On the other hand, if icnt <4 and iemax> 128 is not satisfied in step S6, it is determined that the target pixel is a continuous tone image portion, and the process proceeds to step S8 to generate a code “0”. (Icode = 0) Then, the process proceeds to step S9. Note that the code information icode in step S7 and step S8 is written in the corresponding position in the code memory 105.
[0024]
In step S9, it is checked whether or not the above processing has been executed for all pixels. If not performed for all the pixels, the process returns to step S1, and the above processing is performed with the next pixel as the target pixel. When the process is performed for all the pixels in the bitmap memory 103 in step S9, the code information corresponding to each pixel has been written in the code memory 105, and the CPU process ends.
[0025]
By executing the above processing, both the code information and the image data are collected, and the selector 108 is controlled for each pixel in accordance with the code information stored in the code memory 105, so that the simple binarization circuit 106 or One of the outputs of the error diffusion binarization circuit 107 is selected and sent to the printer 109 to output an image according to the code information. The outline of the above processing will be described below. Data in the bitmap memory 103 is sequentially read from the head and binarized in parallel by both of the two binarization circuits 106 and 107. On the other hand, the contents of the code memory 105 are also simultaneously read and applied to the select signal input of the selector 108. When the code information is 1, the output of the simple binarization circuit 106 is sent to the printer 109, and when the code information is 0, the output of the process of the error diffusion binarization circuit 107 is sent to the printer 109.
[0026]
In this way, a high-quality output image that matches the characteristics of various images mixed in the document image can be obtained. FIG. 4 shows an example of image data in which various images are mixed by the above processing of this embodiment, and FIG. 5 shows a specific example of how each region in FIG. 4 is determined. That is, FIG. 5 shows actual image data of 3 × 3 pixels in the vicinity of each pixel of interest 301 to 305 shown in FIG.
[0027]
As shown in the figure, in the continuous tone image portion indicated by 305, the probability of different data appearing within 3 × 3 pixels is high, and the difference in data between the target pixel and the surrounding pixels is small, so this does not apply to equation (1). It is determined as a continuous tone area. On the other hand, since the data appearing in the character and line drawing areas such as 302, 303, and 305 are occupied by almost the same value, and the data difference between the target pixel and the surrounding pixels is very large, the expression (1) is established. It is determined as a character / line drawing area. In addition, as shown in 304, the number of appearing data is only 80 and is small, but when the difference between the data of the pixel of interest and the surrounding pixels is small, it is determined as a continuous image region and pseudo halftone processing is performed.
[0028]
As described above, according to this embodiment, when an image described in PDL is hard-copy output, it is possible to obtain a higher-quality image output than before. In the above-described embodiments, the image type determination is separated into two types: a character / line drawing region or a continuous tone region. However, the output method can be finely controlled by further classifying the image type. Is possible. Further, although it has been described that the image type determination in the bitmap image is executed by software by the CPU, the same effect can be obtained even by using hardware that realizes the same function.
(Second embodiment)
FIG. 6 is a block diagram showing the configuration of the second embodiment according to the present invention.
[0029]
In the second embodiment, a laser beam printer is used as the printer unit 413. The laser beam printer irradiates a polygon mirror that rotates at high speed with a laser beam modulated with image data, scans the photosensitive drum, and attaches toner to form a visible image. ing. In FIG. 6, the same components as those in the first embodiment shown in FIG.
[0030]
As in the first embodiment shown in FIG. 1, when code information is generated from a bitmap image and written to the code memory 105 in 101 to 105, the CPU sequentially reads image data from the bitmap memory 103. The read image data is converted into a corresponding analog signal by the DA converter 406. On the other hand, the two reference triangular waveform generators 407 and 408 generate triangular wave pulse trains (501 and 502) having different periods as shown in FIG. The contents of the code memory 105 are also read simultaneously, and one of the two reference triangular waves (501, 502) is selected by the selector 409 according to the read code information. When the code information is “1”, the triangular wave 501 is selected, and when the code information is “0”, the triangular wave 502 is selected.
[0031]
The triangular wave selected by the selector 409 is input to one input terminal of the comparator 410, the analog image signal (503 shown in FIG. 7) analog-converted by the DA converter 406 input to the other terminal of the comparator 410, and each pixel. Compared to As a result, a pulse width modulation signal (504 shown in FIG. 7) determined by the size of the image signal and the period of the reference triangular wave is obtained. The pulse width modulation signal from the comparator 410 is input to the laser driver 411, and the light emission time of the semiconductor laser 412 is modulated. The modulated laser beam from the semiconductor laser is irradiated onto a photosensitive drum (not shown) of the printer engine unit 413 to form an electrostatic latent image, and a visible image output is formed through a known electrophotographic process.
[0032]
As described above, according to the second embodiment, the pulse width of the laser light emitted from the semiconductor laser 412 is controlled using a short period triangular wave in the character / line drawing area, and the long period triangular wave is used in the continuous tone image area. Thus, the laser emission pulse width is controlled. In general, the shorter the laser modulation pulse width period, the higher the resolution of the output image, but the halftone gradation reproducibility decreases. Conversely, the longer the pulse width period, the lower the output resolution, but halftone. This is because a high-quality image output is to be obtained by utilizing the characteristic that the gradation reproducibility becomes high.
(Third embodiment)
FIG. 8 shows a block diagram of a third embodiment according to the present invention.
Also in the third embodiment, a laser beam printer is used as the printer unit 413. In FIG. 8, the same components as those shown in FIGS. 1 and 6 described above are denoted by the same reference numerals, and detailed description thereof is omitted. However, the laser beam printer of this embodiment is capable of outputting a color image, color image data (R, G, B3 plane bitmap data) is stored in the bitmap memory 103, and an image by the semiconductor laser 412 is stored. The color hard copy image is output by executing the formation of four colors of yellow (Y), magenta (M), cyan (C), and black (K) in the order of frames.
[0033]
In FIG. 8, reference numerals 601 to 604 denote color processing circuits that generate Y, M, C, and K data from R, G, and B bitmap data. Reference numeral 601 denotes an R, G, and B luminance signal as density signals C, M, and B, respectively. A logarithmic conversion circuit for converting to Y, which performs the following conversion.
c = -Log10R
m = -Log10G (2)
y = -Log10B
Reference numeral 602 denotes a black signal extraction circuit for extracting the minimum value of the three density signals to obtain the black signal K, and executes the following equation.
[0034]
k = Min (c, m, y) (3)
Reference numerals 603 and 604 convert the c, m, y, and k signals obtained above into C, M, Y, and K signals for image output by the following matrix conversion. This is a so-called masking conversion circuit.
Figure 0003768560
The reason why there are two masking circuits is that different conversion coefficients bij are set for both, and the output signals of the two are switched by the selector 605 by the method described later, and the image is output.
[0035]
The detailed operation of the third embodiment having the above configuration will be described below.
First, as in the first embodiment, the host computer 101 to code memory 105 generates code information from the bitmap image and writes it to the code memory 105. At this time, the determination of the character area or the continuous gradation area can be performed by performing the same processing as that of the first embodiment on the G (green) image data in the bitmap memory 103, and is “0” or “1”. Is written in the code memory 105.
[0036]
Next, the CPU 104 further reads image data of the R, G, and B3 planes of the target pixel for the pixel (code = 1) determined to be a character area, and obtains W in the following equation.
W = | RG | + | GB | + | BR | (5)
When W is less than or equal to a predetermined threshold TH, the code value “1” of the pixel is rewritten to “2”. This is because that W is equal to or less than TH means that the R, G, and B data of the pixel of interest are close to each other, and that it is close to an achromatic color. As a result, the pixel in which the code “2” is written is an achromatic (black) character area.
[0037]
Therefore, as a coefficient to be set in the masking circuits 603 and 604, a coefficient that emphasizes the color reproducibility of the reproduced image is set in the masking circuit A603, and the output Y, M, and C signals are always 0 and black in the masking circuit B604. A coefficient is set so that only the signal K has a value. The selector 409 selects the output of the masking circuit B 604 when the code information is “2”, and otherwise selects the output of the masking circuit A 603. As a result, the pixels in the black character area are output in a single black color, and the other portions are output with color reproducibility faithful to the color of the original image data.
[0038]
The output signal from the selector 605 is sent to the DA converter circuit 406 in the same manner as in the second embodiment, where it is converted into a corresponding analog signal and input to one input terminal of the comparator 410. A reference triangular wave according to an image area is input to the other input terminal of the comparator 410 from a selector 409 that is transferred in the same manner as in the second embodiment and forms an output image. However, in the third embodiment, since the code information in the code memory 105 is rewritten to “2” only in the black character area, the triangular wave generator 501 is selected by the selector 409 when the code value is “1” or “2”. And when it is “0”, control may be performed so that the triangular wave 502 is selected.
[0039]
As described above, according to the third embodiment, even in a color printer, a high-quality output image can be obtained by accurately detecting an image type from a document in which characters, line patterns, continuous tone images and the like are mixed.
As described above, according to each embodiment, a high-quality image output can be obtained when an image described in PDL is hard-copy output.
[0040]
In the embodiment, two types of printers, the ink jet method and the LBP method, have been described. However, other output methods can be similarly applied. In addition, although the example in which the image type determination is also separated into two types of character / line drawing or continuous tone area has been described, the present invention is not limited to the above example, and is further classified into a number of types and output Naturally, fine control of the system is also included in the scope of the invention.
[0041]
In addition, although an example in which the image type determination in the bitmap image is executed by software by the CPU 104 has been described, it is a matter of course that the same effect can be obtained even by using hardware that realizes the same function.
The present invention may be applied to a system composed of a plurality of devices such as a host computer, an interface, and a printer, or to an apparatus composed of a single device such as a copying system.
[0042]
Needless to say, the present invention can also be applied to a case where the present invention is achieved by supplying a program to a system or apparatus.
[0043]
【The invention's effect】
As described above, according to the present invention, when an image described in PDL is output as a hard copy, an image type is accurately detected from a mixed document including characters, line patterns, continuous tone images, etc. An output image is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment according to the present invention.
FIG. 2 is an operation flowchart of the CPU shown in FIG. 1 of the present embodiment.
FIG. 3 is a diagram illustrating an example of pixel extraction according to the present exemplary embodiment.
FIG. 4 is a diagram for explaining image region determination by processing of the present embodiment;
5 is a diagram for explaining a specific example of the image region determination process of FIG. 4 in the present embodiment.
FIG. 6 is a block diagram showing a configuration of a second embodiment according to the present invention.
FIG. 7 is a diagram for explaining a triangular wave generated by a triangular wave generator in a second embodiment.
FIG. 8 is a block diagram showing a configuration of a third exemplary embodiment according to the present invention.
FIG. 9 is a block diagram illustrating an example of a conventional configuration.
FIG. 10 is a diagram illustrating a document in which various image types are mixed.
[Explanation of symbols]
101 Host computer 102 PDL interpreter 103 Bit map memory 104 CPU
105 Code memories 106, 107 Binary circuits 108, 409, 605 Selector 406 DA converters 407, 408 Reference triangular waveform generator 410 Comparator 411 Laser driver 412 Semiconductor laser 413 Printer engine 601 Logarithmic conversion circuit 602 Black signal extraction circuit 603, 604 Masking conversion circuit

Claims (2)

予め決められた規則に従って記述された一連の命令コードを受け取り受け取った命令コードに従って画素毎のイメージデータを生成するラスタイメージ生成手段と、
該ラスタイメージ生成手段で生成された画素毎のイメージデータを2次元情報として記憶するイメージ記憶手段と、
1画面分の前記ラスタイメージ生成手段による画素毎のイメージデータ生成が終了した後、前記イメージ記憶手段に記憶されたイメージデータを参照して画像の種別を表わすコード情報を画素毎に抽出する抽出手段と、
前記イメージ記憶手段に蓄えられたイメージデータ及び前記抽出手段により抽出されたコード情報を出力する出力手段とを備え、
前記抽出手段は、複数の画素からなる領域における、値が異なるイメージデータの数、および、注目画素の値と前記注目画素周辺の画素の値との差の最大値から前記抽出を行うことを特徴とする画像処理装置。
Raster image generating means for receiving a series of instruction codes described according to a predetermined rule and generating image data for each pixel according to the received instruction codes;
Image storage means for storing image data for each pixel generated by the raster image generation means as two-dimensional information;
Extraction means for extracting code information representing the type of image for each pixel with reference to the image data stored in the image storage means after image data generation for each pixel by the raster image generation means for one screen is completed When,
Output means for outputting image data stored in the image storage means and code information extracted by the extraction means,
The extraction means performs the extraction from the number of image data having different values in a region composed of a plurality of pixels and the maximum value of the difference between the value of the target pixel and the values of the pixels around the target pixel. An image processing apparatus.
予め決められた規則に従って記述された一連の命令コードを受け取り受け取った命令コードに従って画素毎のイメージデータを生成するラスタイメージ生成工程と、A raster image generation step of receiving a series of instruction codes described according to a predetermined rule and generating image data for each pixel according to the received instruction codes;
該ラスタイメージ生成工程において生成された画素毎のイメージデータを2次元情報としてイメージ記憶手段に記憶する記憶工程と、  A storage step of storing image data for each pixel generated in the raster image generation step in the image storage means as two-dimensional information;
1画面分の前記ラスタイメージ生成工程において画素毎のイメージデータ生成が終了した後、前記イメージ記憶手段に記憶されたイメージデータを参照して画像の種別を表わすコード情報を画素毎に抽出する抽出工程と、  Extraction step of extracting code information representing the type of image for each pixel with reference to the image data stored in the image storage means after image data generation for each pixel is completed in the raster image generation step for one screen When,
前記イメージ記憶手段に蓄えられたイメージデータ及び前記抽出工程において抽出されたコード情報を出力する出力工程とを備え、  An output step of outputting the image data stored in the image storage means and the code information extracted in the extraction step;
前記抽出工程では、複数の画素からなる領域における、値が異なるイメージデータの数、および、注目画素の値と前記注目画素周辺の画素の値との差の最大値から前記抽出が行われることを特徴とする画像処理方法。  In the extraction step, the extraction is performed based on the number of image data having different values in a region composed of a plurality of pixels, and the maximum value of the difference between the value of the target pixel and the values of the pixels around the target pixel. A featured image processing method.
JP08152695A 1995-04-06 1995-04-06 Image processing apparatus and method Expired - Fee Related JP3768560B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP08152695A JP3768560B2 (en) 1995-04-06 1995-04-06 Image processing apparatus and method
US08/627,567 US6549657B2 (en) 1995-04-06 1996-04-04 Image processing apparatus and method
US10/291,496 US7103221B2 (en) 1995-04-06 2002-11-12 Image processing apparatus and method
US11/227,148 US7424152B2 (en) 1995-04-06 2005-09-16 Image processing apparatus and method based on feature of a color image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08152695A JP3768560B2 (en) 1995-04-06 1995-04-06 Image processing apparatus and method

Publications (2)

Publication Number Publication Date
JPH08278876A JPH08278876A (en) 1996-10-22
JP3768560B2 true JP3768560B2 (en) 2006-04-19

Family

ID=13748781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08152695A Expired - Fee Related JP3768560B2 (en) 1995-04-06 1995-04-06 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP3768560B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6582046B1 (en) * 1998-12-25 2003-06-24 Copyer Co., Ltd. Method and device for image processing
JP2002157108A (en) * 2000-11-17 2002-05-31 Canon Inc Image processing method, storage medium, and image forming device

Also Published As

Publication number Publication date
JPH08278876A (en) 1996-10-22

Similar Documents

Publication Publication Date Title
US6549657B2 (en) Image processing apparatus and method
US6504949B2 (en) Image processing apparatus and method
JP4045015B2 (en) Raster image resolution improvement method
US7164493B1 (en) Image processing method, system and apparatus, and storage medium
JPH06115164A (en) Image regeneration method improved in fidelity by outputting numerical sample independently of device
JP4386216B2 (en) Color printing system and control method thereof
JP4894488B2 (en) Image processing apparatus and image processing method
US6674547B1 (en) Image processing apparatus for performing image formation using signals obtained by pulse-width modulating an image signal by a plurality of modulating methods
JP3768560B2 (en) Image processing apparatus and method
JP3796985B2 (en) Image processing apparatus, image processing method, and storage medium
JP4356953B2 (en) Image processing system, image processing apparatus, control method therefor, and storage medium
JP4050382B2 (en) Multi-value image smoothing apparatus and image forming apparatus
JP4109785B2 (en) Image processing apparatus and method, and computer-readable memory
JP4514168B2 (en) Image processing system and image processing method
EP0786895B1 (en) Image processing system and method
JP4217302B2 (en) Image processing apparatus and image processing method
JP4217332B2 (en) Image processing apparatus and method, and computer-readable memory
JP4306841B2 (en) Image processing apparatus and method, and computer-readable memory
JPH09284548A (en) Picture processor and method therefor
JP4137067B2 (en) Image processing method and apparatus
JP2001105670A (en) Imaging apparatus
JPH1127531A (en) Image processor, method and storage medium
JPH1044532A (en) Printing method and printing system
JP2010187177A (en) Image forming apparatus and control program
JP2007306432A (en) Image forming apparatus and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees