JP3333894B2 - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP3333894B2
JP3333894B2 JP04732195A JP4732195A JP3333894B2 JP 3333894 B2 JP3333894 B2 JP 3333894B2 JP 04732195 A JP04732195 A JP 04732195A JP 4732195 A JP4732195 A JP 4732195A JP 3333894 B2 JP3333894 B2 JP 3333894B2
Authority
JP
Japan
Prior art keywords
color
histogram
document
data
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04732195A
Other languages
English (en)
Other versions
JPH08251402A (ja
Inventor
勝久 外山
好彦 廣田
Original Assignee
ミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミノルタ株式会社 filed Critical ミノルタ株式会社
Priority to JP04732195A priority Critical patent/JP3333894B2/ja
Priority to US08/611,473 priority patent/US6118895A/en
Publication of JPH08251402A publication Critical patent/JPH08251402A/ja
Application granted granted Critical
Publication of JP3333894B2 publication Critical patent/JP3333894B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Electrophotography (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、原稿の画像を光電変換
して画像を読み取り、得られたデジタル画像信号から下
地調整などの画像処理をする画像処理装置に関する。
【0002】
【従来の技術】原稿画像を読み取り処理する画像処理装
置は、フルカラーデジタル複写機などに備えられ、ま
た、デジタルプリンタに接続される。画像処理装置が対
象とする原稿は多様であり、フルカラー原稿、単一色原
稿、文字線画、写真、地図、網点原稿、印画紙写真、印
刷写真などが含まれる。これらの多様な原稿を読み取り
適切にコピーするために、原稿の種類に従って画像処理
内容を切換えることが望ましい。このため、従来は、ユ
ーザーが、操作パネルにおいて原稿種別を選択し、画像
処理装置は、この選択にしたがって、適切な画像処理を
行っていた。
【0003】
【発明が解決しようとする課題】しかし、ユーザによる
原稿種別のマニュアル選択では、ユーザーの手間がかか
るという問題がある。また、自動原稿搬送装置に種々の
原稿が積載されている場合、マニュアル選択では対応で
きない。また、フルカラー原稿とモノクロカラー原稿を
両方とも処理できなければならない。
【0004】本発明の目的は、原稿種別を自動的に判別
できる画像処理装置を提供することである。
【0005】
【課題を解決するための手段】本発明に係る画像処理装
置は、光電変換素子により原稿を読み取って得られた3
原色のR,G,B信号を明度信号に変換する明度信号作成
器と、前記明度信号を基に原稿中の無彩色画素のヒスト
グラムを作成する第1のヒストグラム作成手段と、前記
明度信号を基に原稿中の有彩色画素のヒストグラムを作
成する第2のヒストグラム作成手段と、前記第1及び第
2のヒストグラム作成手段によって作成されたヒストグ
ラムから原稿種別を判定する原稿種別判定手段と、前記
原稿種別判定手段の判定結果に基づいて画像処理内容を
切換える処理切換手段とを備える。また、好ましくは、
前記画像処理装置は、さらに、前記ヒストグラムの分布
状況を解析する解析手段を有し、前記原稿種別判定手段
は、前記解析手段による解析結果に基づいて原稿種別を
判定する。また、前記画像処理装置において、たとえ
ば、前記解析手段は、前記無彩色画素と有彩色画素の画
素数をカウントする。また、前記画像処理装置におい
て、たとえば、前記解析手段は、前記各ヒストグラムを
それぞれ明度レベルに関して複数のブロックに分割し、
ブロック毎に無彩色画素と有彩色画素の画素数をカウ
ントする。
【0006】
【作用】画像処理装置において、種々の原稿に対して原
稿の種別を自動的に判別し、最適な画像処理を選択す
る。このため、原稿を予備スキャンすることにより、読
取データから、人間の比視感度(明るさ)に近い明度
(VH)を求め、明度のヒストグラムを作成し、それを
解析することにより原稿種別(好ましくは、文字線画、
写真およびそれぞれに対するフルカラー、モノクロカラ
ーを含む)を自動的に判定する。この判別は、ヒストグ
ラムを基に行う。この判別結果は、好ましくは、表示手
段により表示される。そして、それぞれの原稿種別に適
した画像処理(たとえば、下地調整、黒文字判別の有無
または階調再現切換)を選択し、切換える。これによ
り、下地調整などの画像処理を、フルカラーモードでも
モノクロカラーモードでも一義的に処理することができ
る。
【0007】
【実施例】以下、添付の図面を参照して本発明の実施例
を説明する。 (1)デジタルカラー複写機の全体構成 図1はデジタルフルカラー複写機の全体構成を示す。イ
メージスキャナ部30で原稿を読取り、デジタル信号処
理ユニット10で信号処理を行なう。プリンタ部20
は、イメージスキャナ部30で読取られた原稿画像に対
応した画像を用紙にフルカラーでプリント出力する。イ
メージスキャナ部30において、原稿台ガラス31上に
置かれた原稿は、抑え圧板39で押えられるが、自動原
稿送り装置(図示しない)を装着する時には、これが取
って代わる。原稿台ガラス31上の原稿は、ランプ32
で照射され、ミラー33a,33b,33cに導かれ、レ
ンズ34によりリニアフルカラーセンサ(CCD)36上
に像を結び、フルカラー情報レッド(R),グリーン(G),
ブルー(B)成分に変換され信号処理部10に送られる。
なおスキャナ−モータ37を駆動することにより、第1
スライダ35は速度Vで、第2スライダ40はV/2で
カラーセンサの電気的走査方向に対して垂直方向に機械
的に動き、原稿全面を走査する。また、シェーディング
補正用の白色板38は、原稿台ガラス31の端に設けら
れる。
【0008】信号処理部10は、読取られた信号を電気
的に処理し、マゼンタ(M),シアン(C),イエロー(Y),
ブラック(Bk)の各成分に分解してプリンタ部20に送
る。イメージスキャナ部30における1回の原稿走査に
つき、C,M,Y,Bkのうちひとつの成分が順次プリンタ
部20に送られ、計4回の原稿走査により1回のプリン
トアウトが完成する(面順次転送方式)。信号処理部10
より送られてくるC,M,Y,Bkの画像信号は、レーザダ
イオードドライブ(PHC部)で画像信号レベルに応じて
半導体レーザ214を駆動変調する。レーザ光はポリゴ
ンミラー215、f−θレンズ216、折り返しミラー
217a,217bを介して感光ドラム206上を走査す
る。
【0009】現像ユニットは、C,M,Y,Bkの各現像部
208a,208b,208c,208dにより構成され
ており、現像器208a,208b,208c,208dが感
光ドラム206に接し、帯電チャージャー207により
帯電された感光ドラム206上に形成された静電潜像を
トナーで現像する。一方、給紙ユニット201a,201
b,201cより給紙されてきた用紙を転写ドラム202
に吸着チャージャー204により巻き付け、タイミング
ローラ203により転写位置へ搬送し、転写チャージャ
ー205により感光ドラム206上に現像された像を用
紙に転写する。このようにしてC,M,Y,Bkの4色が順
次転写された後、分離チャージャー209a、209b
により用紙は分離され、搬送され、定着ローラ210a,
210bを通過し、排紙トレー211に排出される。な
お、218,219は転写ドラムの基準位置センサ、2
20は用紙を転写ドラムから分離する分離爪である。
【0010】(2)信号処理部における画像信号の処理 図2と図3は、信号処理部10の画像処理の全体の構成
を示す。イメージスキャナ部30は、微小光学系によっ
て原稿面からの反射光をリニアCCDセンサ36上に結
像させ、R,G,Bの各色分解情報に光電変換されたアナ
ログ信号を得る。これらの信号は、信号処理部10に送
られる。A/D変換部100は、CCDセンサ36で光
電変換された400DPIの画像データを、A/D変換
器によってR,G,Bの色情報毎に8ビット(256階調)
のデジタルデータに変換する。シェーディング補正部1
02は、R,G,Bデータの主走査方向の光量ムラをなく
すため、各R,G,B毎に独立して、原稿読み取りに先だ
って、シェーディング補正用の白色板38を読み取った
データを内部のシェーディングメモリ(図示しない)に
基準データとして格納しておき、逆数に変換した後で原
稿情報の読み取りデータと乗算してシェーディングの補
正を行う。ライン間補正部104は、R,G,Bの各セン
サチップのスキャン方向の読み取り位置を合わせるため
にスキャン速度(副走査側の変倍率)に応じて、内部のフ
ィールドメモリ(図示しない)を用いて、白色データを
ライン単位でディレイ制御して、R,G,Bのデータを出
力する。タイミング制御部106は、CCDセンサ3
6、A/D変換部100、シェーディング補正部102
およびライン間補正部104のタイミングを制御する。
【0011】ライン間補正部104から出力されたR,
G,Bデータについて、変倍・移動制御部108は、R,
G,Bデータ毎に変倍用のラインメモリを2個用いて、
1ラインに入出力を交互に行い、その書き込みタイミン
グと読みだしタイミングを独立して制御することで主走
査方向の変倍・移動制御を行う。この制御において、変
倍率に応じて縮小側では書き込み前に、拡大側では読み
だした後に補間処理を行い、画像の欠損やがたつきを防
止している。また、この制御によって、イメージリピー
ト処理や拡大連写処理、鏡処理を行う。ヒストグラム生
成部110は、原稿情報を予備スキャンして得られたラ
イン間補正後のR,G,Bデータから、明度信号を生成
し、原稿のヒストグラムを作成する。得られたヒストグ
ラム情報から、原稿がカラー/白黒を判断する自動カラ
ー選択判別や原稿の下地レベルを自動的に飛ばすために
原稿下地レベルの判断、及びコピー動作の原稿モード
(標準/写真モード)の設定を自動的に行う。
【0012】HVC変換部114は、変倍・移動制御部
108からのR,G,Bデータを明度信号(Vデータ)と色
差信号(Cr,Cbデータ)に一旦変換する。編集処理部1
16は、V,Cr,Cbデータを受けて、オプションである
エディタの指定に基づいて、カラーチェンジや閉ループ
領域検出による色づけなどの編集作業を行う。紙幣認識
部118は、原稿ガラス31上に積載された原稿が、紙
幣や有価証券などであるか否かを判断し、その結果に基
づきコピー禁止を命令する。画像インターフェイス部1
20は、第1画像セレクタ122を介して送られるV,
Cr,Cbデータを受けて、外部装置へイメージデータを
転送する。様々なイメージデータの色信号インターフェ
ースに対応するため、このブロックでは、V,Cr,Cb信
号からR,G,B信号や汎用色空間であるX,Y,Z信号や
*,a*,b*信号などに変換し外部装置へ出力したり、逆
に外部から転送されてくる画像データをV,Cr,Cb信号
に変換する機能を有している。さらにプリンタ部20に
転送するC,M,Y,Bkデータを外部装置に転送したり、
外部装置からのC,M,Y,Bk信号を受けて、プリンタ部
20側に転送する機能もある。
【0013】画像合成部124は、第2画像セレクタ1
26を介して画像インターフェイス部120または編集
処理部116から出力されたV,Cr,Cbデータのいずれ
かを選択した後、HVC変換部114からの原稿データ
との画像合成(はめ込み・文字合成)を行う。HVC調整
部128は、画像合成部124からのV,Cr,Cbデータ
について明度(V:明るさ)、色相(H:色合い)、彩度(C:
あざやかさ)という人間の3感覚に対応した画像調整を
行う目的で、操作パネルの指定に基づいてH,V,C毎に
独立して調整を行う。AE処理部130は、ヒストグラ
ム生成部で得られた情報に基づいて、明度成分に対して
原稿の下地レベルを制御する。逆HVC変換部132
は、再びV,Cr,CbデータからR,G,Bデータにデータ
変換をする。
【0014】色補正部134では、まずLOG補正部1
36が、再変換されたR,G,Bデータを濃度データ(D
R,DG,DB)に変換する一方、モノクロデータ生成部
138が、R,G,Bデータより明度データを作成後、モ
ノクロ再現用の階調データ(DV)を生成する。UCR・
BP処理部140は、R,G,Bデータの最大値と最小値
の差(MAX(R,G,B)−MIN(R,G,B))を原稿彩度
情報とし、DR,DG,DBの最小値(MIN(DR,DG,
DB))を原稿下色成分として、それらの値に応じた下色
除去・墨加刷処理を行い、DR,DG,DBデータからC
O,MO,YO,Bkデータを作成する。マスキング演算部
142は、色補正用マスキング演算処理を行って、UC
R処理後のC,M,Yデータ(CO,MO,YO)をプリンタ
部20のカラートナーに応じた色再現用のCMYデータ
に変換する。色データ選択部144は、操作パネルの指
定あるいはACS判別で白黒と判断された場合、白黒コ
ピーモードとして、モノクロ用のDVデータを出力し、
フルカラーモードでは、再現工程信号(CODE)に従
い、C,M,Y再現工程時には、マスキング演算処理デー
タ(C,M,Yデータ)を、Bk再現工程時には、BP処理
データ(Bkデータ)を選択して出力する。
【0015】一方、領域判別部146は、R,G,Bデー
タより、最小値(MIN(R,G,B))と最大値と最小値の
差(MAX(R,G,B)−MIN(R,G,B))より、黒文字
判別や網点判別などの判別を行い、その結果(JD信号)
と補正データ(USM信号)を出力する。また、画像文字
領域の再現性と画像の粒状性を両立するため、プリンタ
側に画像再現周期を可変するためのLIMOS信号を出
力する。MTF補正部/シャープネス調整部148は、
入力されるC,M,Y,Bkデータに対して、領域判別結果
からエッジ強調・色にじみ補正・スムージング処理など
制御することで、コピー画像の最適な補正を行う。さら
に、γ補正/カラーバランス調整部150は、操作パネ
ル上から入力された濃度レベル情報に応じて、γカーブ
やC,M,Y,Bkのカラーバランスを調整する。こうし
て、様々な補正を行ったC,M,Y,Bkデータをプリンタ
側に階調再現方法を切り替えるLIMOS信号とともに
転送し、400DPI、256階調のフルカラーコピー
画像を得る。ここで、CPU152は信号処理部10を
制御し、また、操作パネル154は、データの入出力と
表示を行う。
【0016】(3)複写モード 次に、このフルカラー複写機のコピー動作モードを説明
する。図4は、操作パネル154における基本画面であ
り、ユーザは、各種モードを設定できる。 (a)下地処理(AE処理とマニュアル設定) まず、下地処理について自動露光(AE)処理を行うか8
段階のマニュアル指定の1つのレベルを選択するのかを
選ぶことができる。AE処理では、予備スキャン動作に
よって原稿ヒストグラム情報から5種の原稿種別を行い
(カラー標準(下地白,下地色付き)/写真原稿及び白黒標
準/写真原稿)、カラー標準(下地白)か白黒標準原稿な
らば、図12と図13に示すような明度階調補性を行
い、他の種別(写真)ならばマニュアル中央レベルを自動
選択する。マニュアル指定時には、表2に示すような内
容である。
【0017】(b)原稿モード ACS(自動カラーモード選択)モードまたは4種の原稿
モードが選択できる。ACSモードを選択すると、予備
スキャン動作による原稿種別の判定により4つの原稿モ
ードのいずれかを自動的に選択する。白黒原稿と判断し
た場合、モノクロ標準/写真モードのいずれかを自動選
択して、ブラック1色再現工程によるモノクロモードコ
ピー動作を行う。カラー原稿ならば、カラー標準原稿/
写真モードのいずれかを自動選択し、C,M,Y,Bkの4
色によるフルカラー再現工程によるコピー動作を行う。
マニュアル時も同様であるが、モノクロ標準/写真モー
ドを選択した場合、操作画面はモノクロモード操作画面
(図示しない)に変わり、原稿パラメータとしてモノク
ロ用階調データを決定するR,G,Bデータの混合比を選
ぶ。(ACSモード時には、R,G,B平均感度分布が、マ
ニュアル時には、比視感度分布がデフォルトとして設定
してある。)また、再現色をブラックを含む16色の中
から選択できる。その他に、原稿面1面毎のC,M,Y,
Bkデータを紙上に再現する色分解モードや、ネガポジ
反転、ベースカラー、画像イレースの画像クリエイト・
画像調整を行うクリエイト機能、色相(色合い)/彩度
(あざやかさ)/シャープネス/γ補正(コントラスト明
暗)/カラーバランス(R−C/G−M/B−Y/コピー
濃度)の5種類を同時に変更して複数のモニタ画像を同
時に表わす画質調整機能がある。いずれも、詳細な説明
は省略する。
【0018】(4)予備スキャン動作 本実施例の複写機では、予備スキャン動作を行なって、
その結果を解析して原稿種別を判別したり、自動露光
(AE)処理や自動カラー選択(ACS)処理を行う。原稿
走査ユニットは、コピー前には、本スキャン時の原稿基
準位置とは逆のシェーディング補正板38側に停止して
いる。操作パネル154でコピーボタンが押されると、
ランプ点灯後に、補正データを読み取るために移動して
シェーディング補正板38をスキャンし、原稿のヒスト
グラムデータを作成しながら原稿基準位置に戻る。作成
されたヒストグラムデータから自動露光処理および自動
カラー選択処理を確定し、本スキャン動作を開始する。
これにより、ファーストコピー時間を短縮している。
【0019】(5)ヒストグラム生成 次に、予備スキャン動作におけるヒストグラム生成につ
いて説明する。図5は、ヒストグラム検出部110のブ
ロック図であり、ヒストグラム検出部110は、予備ス
キャン動作時に、原稿エリア内のR,G,Bデータのヒス
トグラムを求める。予備スキャン開始前にヒストグラム
メモリ202、204内を前もって初期化するため、C
PU152がヒストグラムメモリ202、204に対し
て、すべての階調レベル(0〜255)のアドレスに
“0"を書き込む。ライン間補正部104から入力され
たR,G,Bデータ(8ビット)から、明度作成部200
は、次式に基づいて明度信号(VH)を算出し、これが第
1ヒストグラムメモリ202、第2ヒストグラムメモリ
204にアドレスとして入力される。
【数1】 VH=0.31640625*R+0.65625*G+0.02734375*B (1) この式で求められた明度信号は、人間の比視感度(明る
さ)に近似されている。ここで、ヒストグラム作成の対
象が、R,G,Bデータではなく、明度データVHである
のは、自動露光処理で、明度・色差信号に分離したデー
タに対して補正をするためであり、後で詳細に説明す
る。
【0020】CPU152からのサンプリング間隔設定
値に基づき、サンプリング間隔決定回路206はヒスト
グラムメモリ202、204に取り込む間隔(間引き率)
を決定する。これは、最大原稿サイズ(A3)の全ドット
のヒストグラムを作成すると最大32Mビットのメモリ
容量を必要とするためであり、サンプリング間隔を適度
に(主走査方向:1/8、副走査方向:1/4)間引いて、
1Mビットにしている。図6は、ヒストグラム生成にお
けるサンプリングの状況の1例を示す図である。原稿台
ガラス31上に置かれた原稿(ハッチング部分)が読み
取られるとき、〇印の位置のデータがサンプリングされ
る。さらに、予備スキャン前に原稿サイズが検出されて
おり、タイミング制御部106より各種信号がサンプリ
ング間隔決定回路206に入力される。ここで、原稿サ
イズエリアを示す/HD信号(主走査方向)と/VD信号
(副走査方向)が、サンプリング間隔決定回路206に入
力され、その有効原稿エリア内でしか、ヒストグラムの
生成を許可していない。なお、/TGは、主走査同期信
号であり、1ライン毎の周期を持つ。(本明細書では、
先頭に”/”を付した信号は、負論理信号を意味す
る。)また、VCLKは、画像データの同期クロックで
ある。
【0021】ヒストグラムメモリ202、204にアド
レスADRが入力されると、そのアドレスのヒストグラ
ムデータを読みだし、加算器208、210によりその
データに+1を加えて、再び同じアドレスに書き込む。
すなわち、ヒストグラムの動作としては、8ドットを1
周期とするリードモデファイライトサイクルとなり、ヒ
ストグラムメモリ202、204のアドレスが階調レベ
ル(明度)を示し、データが各階調レベルの度数(個数)
を表わしている。予備スキャンが終了した時点で、CP
U152は、ヒストグラムメモリ202、204から各
階調の度数データを読み出す。後で説明するように、予
備スキャン動作で得られたヒストグラムデータより、自
動露光動作、自動カラー選択動作などの内容を決定す
る。
【0022】ヒストグラムメモリ202、204が2種
用意されているのは、自動カラー選択処理のためであ
る。第1ヒストグラムメモリ202は、原稿の明度ヒス
トグラムを単純に求めており、第2ヒストグラムメモリ
204は、原稿中の無彩色ドットのヒストグラムを求め
ている。このため、最小値回路212と最大値回路21
4は、入力されたR,G,BデータのMAX値とMIN値
を検出し、引算回路216により両者の差を求める。そ
して、比較器218が、その差が所定のレベル(SRE
F)より小さいと判断したときに、明度VHデータの第
2ヒストグラムメモリ204への書き込みを許可する。
R,G,Bデータの(MAX値−MIN値)が小さいとい
うことは、原稿データが無彩色データであるということ
を示している。したがって、第2ヒストグラムメモリ2
04は、無彩色データのときにのみ、ヒストグラムが計
算されることを意味する。なお、第1ヒストグラムメモ
リ202は、/WEが常に"L"レベルであり、全画素に
ついて書き込みが可能である。
【0023】(6)自動カラー選択処理(ACS) 自動カラー選択モードとは、原稿台ガラス31上に積載
された原稿が、白黒原稿かカラー原稿かを識別し、自動
的にコピーモードを決定するモードである。これによ
り、白黒原稿は、Bkだけの再現工程で画像再現をすれ
ばよいために、コピースピードが上がる。特に、自動原
稿搬送装置を使用するときに、白黒原稿とカラー原稿が
混載されていても、操作者が意識せずに、適切なコピー
が得られることになる。
【0024】自動カラー選択の判断について以下に説明
する。h1(n)は、第1ヒストグラムメモリ202で作
成された第1ヒストグラムの明度のレベルnでの度数デ
ータを表わし、h2(n)は、第2ヒストグラムメモリ2
04で作成された第2ヒストグラムの明度のレベルnで
の度数データを表わす。CPU152は、第1ヒストグ
ラム202の各度数(h1(n))から第2ヒストグラム2
04の各度数(h2(n))を減算して、第3ヒストグラム
(h3(n)=h1(n)−h2(n))を作成する。これは、
原稿の有彩色部分のヒストグラムを表している。図7に
示すように、2種のヒストグラムメモリ202、204
に作成した2つのヒストグラムから、例えば以下のよう
な量を分析できる。第1ヒストグラムメモリ202よ
り、W=原稿内の下地(白)領域(n=μ1〜255)のド
ット数、M=白黒の中間調(グレー)領域(n=μ2〜μ
1)のドット数、B=黒領域(n=0〜μ2)のドット
数およびS=第1ヒストグラムの総度数和=原稿サイズ
内の総画素数。さらに、第2ヒストグラムメモリ204
から、C=カラー領域(n=σ1〜σ2)のドット数。
すなわち、
【数2】
【0025】自動カラー選択では、明度データを基に、
無彩色と有彩色との比から原稿種別を判別する。具体的
には、ヒストグラムから得られたSとCを用いて、原稿
中の有彩色ドットの比を求め、カラーコピーをするか、
白黒コピーをするかを判断している。先に説明したよう
に、Cは、カラー領域(n=σ1〜σ2)のドット数であ
り、Snは原稿サイズ内の総画素数である。したがっ
て、C/Sは、有彩色と(有彩色+無彩色)の比に対応す
る。すなわち、判断式(C/S)が基準値以下であれば、
有彩色が少ないので白黒コピーモードを設定し、基準値
よりも大きければ、有彩色が多いのでフルカラーコピー
モードを設定する。ここに、分母にSを用いることによ
って、自動カラー選択の判断、特に原稿サイズの影響を
無視できる。
【0026】図8は、CPU152の自動カラーモード
選択のフローを示す。まず、ヒストグラム作成部110
により、第1と第2のヒストグラムメモリ202、20
4に明度のヒストグラムを作成する(ステップS10
0)。次に、ヒストグラムから上記のCとSを求め(ス
テップS102)、比C/Sを計算する(ステップS1
04)。そして、C/Sが所定のしきい値より大きけれ
ば(ステップS106でYES)、カラー原稿であると
判定し(ステップS108)、そうでなければ(ステッ
プS110でNO)、白黒原稿であると判定する(ステ
ップS112)。
【0027】(7) 原稿種別判別 さらに、CPU152は、まず、自動露光(AE)処理の
初めの段階として、ヒストグラムメモリ202、204
の情報および自動カラー選択(ACS)の結果(図8参
照)より、以下のような5種の原稿(表1参照)の判断
を行う。 (a) 白黒写真原稿(白黒写真、白黒高精細網点印刷な
ど) (b) 白黒標準原稿(白黒文字・線画などで、下地の比
較的白い原稿) (c) フルカラー写真原稿(カラー銀塩写真、カラー高
精細網点印刷など) (d) カラー標準原稿(下地白)(色文字・色線画などを
含む、下地の比較的白い原稿) (e) カラー標準原稿(下地色付き)(下地に色が付いて
いる原稿)
【0028】自動カラー選択もヒストグラムより得ら
れ、原稿種別は、ヒストグラムを解析して行っている
(図9参照)。原稿種別判断の考え方は以下の通りであ
る。カラー原稿と白黒原稿とは、先に自動カラー選択に
ついて説明したように、ヒストグラムより無彩色である
画素の数と有彩色である画素の数を求め、有彩色である
画素の数と無彩色全体の画素数の比がある基準値より大
きいとカラー原稿であると判断し、そうでないと、白黒
原稿であると判断する。また、写真原稿と標準原稿と
は、ヒストグラムの分布より判断できる。標準原稿と
は、主に文字からなる原稿であり、ヒストグラムは、図
12や図13に示すような2値的な分布を示す。ここ
で、下地が白でない場合も考慮する。2値的な分布を示
す場合は、標準原稿であると判断し、そうでない場合は
写真原稿であると判断する。具体的には、ヒストグラム
から濃度範囲(黒側)の画素数と、白付近の画素数と比
較し、前者が少ないと2値的分布であるとして、標準原
稿であると判断する。カラー標準原稿の場合は、下地が
白の場合がこれにより判断できる。カラー原稿の場合に
は、下地色が付いている標準原稿とカラー写真原稿との
区別が必要なので、ヒストグラムにおける分布が広範囲
で平均的であるものをカラー写真原稿であると判断し、
そうでない場合は、下地色付きカラー標準原稿であると
判断する。具体的には、ヒストグラムにおける最大値と
最小値との差で判断している。
【0029】図9は、CPU152による原稿種別判別
のフローを示す。まず、第1と第2のヒストグラムメモ
リ202、204のデータh1(n)とh2(n)より、次
に定義する各種度数和G25,G24,G23,G22,G
21,G20,G35,G34,G33,G32,G31,G
30を計算し、さらに、下地レベルa(第2ヒストグラ
ムメモリ204における出力データID0.4以下での
最大度数を示す階調レベル)と文字レベルb(第2ヒス
トグラムメモリ204における出力データID0.6以
上で最大度数を示す階調レベル)を求める(ステップS
200)。
【数3】 図10の左側に示すように、明度VHのレベル0〜25
5は出力データIDと対応するが、これらの値は、出力
データの6つの範囲(0.2以下、0.2〜0.4、0.4
〜0.6、0.6〜0.8、0.8〜1.1、1.1以上)に
おいて、明度データがしきい値SREFより大きいか小
さいかに対応して、h2(n)またはh3(n)(=h1
(n)−h2(n))を集計した値である。なお、図10に
おいて、C,M,Y,R,G,Bで示す範囲は、対応する色
におけるVHの存在範囲を示す。
【0030】次に、写真(a)・(c)と標準原稿(b)・
(d)と下地色付き標準原稿(e)を区別するために、写真
原稿および下地色付き原稿の判定を行う。まず、前述の
自動カラー選択(ACS)の処理結果より、白黒原稿(a)
・(b)と、カラー原稿(c)・(d)・(e)との判別を行う
ことが出来る(ステップS202)。もし自動カラー選
択の判別結果がカラーであれば(ステップS202でY
ES)、ステップS204に進み、カラー原稿の種別を
判別する(ここに、α2はしきい値を表す)。まず、出
力データ(ID)0.4以上の無彩色と出力データ(ID)
0.2以上の有彩色との度数和(白下地以外の部分に相
当する)が原稿総度数(Sn)に占める割合が小さい場合
は(ステップS204でYES)、白地部分が多いの
で、カラー標準原稿(下地白)(b)と判断する(ステップ
S206)。そして、画像処理について、下地調整は、
自動露光(AE)処理を設定し、黒文字判別処理を設定
し、階調再現切換処理を設定し、原稿モードをカラー標
準モードとする(ステップS208)。もし出力データ
(ID)0.4以上の無彩色と出力データ(ID)0.2以上
の有彩色との度数和が原稿総度数(S)に占める割合が大
きい場合は(ステップS204でNO)、さらに、有彩
色のある度数ブロックにおける度数和の占める比率が非
常に高いかを判断する(ステップS210、ここに、α
3はしきい値を表す)。具体的には、有彩色のある度数
ブロックG30〜G34の中の最大度数和と最小度数和
との差と原稿総度数との比率を求め、この比率が非常に
は高くないときには(ステップS210でNO)、画像
データが全明度階調にわたって平均的ではないので、カ
ラー標準原稿の下地が色付けされているもの(a)と判断
する(ステップS212)。そして、画像処理につい
て、下地調整は、標準マニュアル設定の中央とし、黒文
字判別処理を設定し、階調再現切換処理を設定し、原稿
モードをカラー標準モードとする(ステップS21
4)。そうでなければ(ステップS210でYES)、
画像データが全明度階調にわたって平均的であるので、
カラー写真原稿(c)であると判断し(ステップS21
6)、画像処理について、下地調整は、写真マニュアル
設定の中央とし、黒文字判別処理を設定せず、階調再現
切換処理も設定せず、原稿モードをカラー写真モードと
する(ステップS218)。
【0031】一方、もし自動カラー選択(ACS)の判別
結果がカラーでなければ(ステップS202でNO)、
ステップS220に進む(ここにα1はしきい値を表
す)。もし出力データ(ID)0.4以上の無彩色の度数
和が原稿総度数(S)に占める割合が小さい場合には(ス
テップS220でYES)、白黒写真(e)と判断し(ス
テップS222)、画像処理について、下地調整は、写
真マニュアルの中央を設定し、黒文字判別処理を設定せ
ず、階調再現切換処理も設定せず、原稿モードをモノク
ロ標準モードとする(ステップS224)。そうでなけ
れば(ステップS220でNO)、白地部分が多いの
で、白黒標準原稿(d)であると判断し(ステップS22
6)、画像処理について、下地調整は、自動露光(AE)
処理を設定し、黒文字判別処理を設定せず、階調再現切
換処理を設定し、原稿モードをモノクロ標準モードとす
る(ステップS228)。
【0032】最後に、それぞれの原稿種別判定結果を操
作パネル154の基本操作画面(図4)に表示する(ス
テップS230)。この表示がないと、ユーザは、原稿
種別の判定結果が分からないので不安になるおそれがあ
る。そこで、操作パネル154に原稿種別を表示するこ
とにより、ユーザがすぐに判定結果が理解できるように
した。以上の処理により原稿種別(a)〜(e)の判定およ
びそれに対応する画像処理設定が出来た。表1は、それ
ぞれの原稿種別に対する自動カラー選択(ACS)、画像
処理モードおよび原稿モードの内容を示す。また、表2
は、各種モードでの下地処理の設定を示す。
【0033】
【表1】
【0034】
【表2】
【0035】(8)HVC変換とHVC調整 本実施例の複写機は、画像データの処理をHVCデータ
に変換して行なう。HVC変換部114は、R,G,Bデ
ータを明度信号(V)及び2種の色差信号(Cr,Cb)から
なる色空間の信号に変換するマトリクス演算器を備え
る。
【数4】 色相・明度・彩度からなる色の三属性は、V,Cr,Cb信
号を用いて以下のように求められる。
【数5】 明度(Value) = V 彩度(Chroma) = (Cr2+Cb2)1/2 (5) 色相(Hue) = arctan(Cb/Cr) このような信号V,Cr,Cbに変換する理由は、人間の
感覚に類似した処理を行うことによって、高画質化を実
現するとともに、後段で行う処理(画像合成・自動露光
処理・HVC調整)が容易になるためである。
【0036】HVC変換部114の出力は、画像合成部
124以降の処理部に転送される他に、編集処理部11
6にてカラーチェンジなどの画像編集を行う。一方、紙
幣認識部118で原稿が紙幣・有価証券などであるかを
判定し、コピー動作の禁止を命令する。そして、画像合
成部124において、HVC変換部114より出力され
たV,Cr,Cb信号は、一旦ディレイメモリ115に入力
され、編集処理部116からの画像信号と同期をとる。
そして、画像合成部124は、ディレイメモリ115の
出力データ(V,Cr,Cb)と画像セレクタ126の出力デ
ータ(V,Cr,Cb)より、画像合成を行う。代表的な合成
方法には、透かし合成、はめ込み合成、文字合成などが
あるが、詳細な説明を省略する。
【0037】図11に示すように、HVC調整部128
は、画質調整モードのために設けられる。HVC調整部
128は、V,Cr,Cbデータを受信して、H,V,C信号
毎に独立して画像調整を行えるように、以下のような行
列演算処理を行うマトリクス演算器128aを備える。
【数6】 ここで、qが彩度調整係数であり、θが色相調整係数で
ある。これらの係数は、HVC調整制御部129から出
力され、画質モニタ制御部から送られてくるMdata(3
ビット)を切り替え信号として、画像信号とリアルタイ
ムに8種類の係数群から選択される。このようにして、
人間の感覚に類似した調整を行い、操作者の好みに応じ
た画像調整を容易にしている。
【0038】(9)自動露光処理(AE) 原稿種別に従う画像処理の例として、下地処理について
説明する。従来、フルカラー複写機において、自動露光
処理は原稿と異なるカラーバランスのコピーになってし
まう恐れがあるため、モノクロモードでしか作動させず
にいた。しかしフルカラーモードでも黒文字判別のよう
な処理が導入され、白黒・カラー混在原稿が鮮明に再現
されるようになると、裏写りの防止などのため、原稿下
地レベルを自動露光処理のように自動的に最適制御する
必要が生じてきた。本実施例では、人間の比視感度(明
るさ)に近似されている明度信号(VH)を作成し、ヒス
トグラム生成および原稿種別判断を行っている。これに
より、フルカラー原稿の色合いを変化させずかつ白黒/
カラー部分を意識せずに原稿下地レベルを自動的に制御
してコピーする自動露光処理を行っている。すなわち、
一旦画像信号をR,G,B信号からV,Cr,Cb信号に変換
し、そのデータに対し、自動露光処理を行い、再びR,
G,B信号に変換することにより、フルカラーモードも
モノクロモードも一義的な処理を施すことで、下地レベ
ルの最適化が可能になる。さらに、フルカラーモードで
も、色成分信号であるCr,Cbに対して何らの処理も加
えないため、自動露光処理によるカラーバランスの変化
が生じない。
【0039】さらに具体的に説明すると、下地調整は、
自動的な自動露光処理またはマニュアル設定により行わ
れる。図4の基本操作画面において、ユーザは、自動露
光処理を行うかマニュアル指定8段階の1つのレベルを
選択するのかを選ぶことができる。自動露光処理では、
予備スキャン動作によって原稿ヒストグラム情報から5
種の原稿種別(カラー標準(下地白,下地色付き)/写真原
稿及び白黒標準/写真原稿)を行う(図9参照)。すで
に図9に示したように、カラー標準原稿(下地白)か白黒
標準原稿ならば、図12と図13に示すような明度階調
補性を行い、他の原稿種別ならばマニュアル中央レベル
設定を自動選択する。
【0040】自動露光(AE)処理部130では、ヒスト
グラム生成部110で得られた原稿種別情報に基づい
て、下地除去を行う。ここでは、原稿種別(b)および
(d)については、明度Vについてのルックアップテーブ
ルメモリ(AEテーブル)131aを用いて、自動露光処
理前の明度信号(Vin)から自動露光処理後の明度信号
(Vo ut)を次の補正式によって求め、明度補正を行う。
すなわち、モノクロ標準原稿に対して、
【数7】 Vout=256*(Vin−b−8)/{(a−8)−b} (7) また、カラー標準原稿(下地白)に対して、
【数8】 Vout=256*(Vin−8)/(a−8) (8)
【0041】ここに、aは、下地レベルを示し、bは、
文字レベルである。いいかえれば、図12に示すよう
に、白黒標準原稿に対しては、下地を飛ばすと同時に鉛
筆書きのような薄い文字を濃くして読みやすくコピーす
る。このため、a+8とbの間の明度が0〜255に拡
大され、a+8から下とbから上のデータVinは捨てら
れる。一方、カラー標準原稿では、下地を飛ばすのみと
している。カラー標準原稿に対しては、図13に示すよ
うに、8とbとの間のデータVinが0〜255に拡大さ
れ、bから上のデータは捨てられる。本実施例では、下
地をとばすレベルを0〜8と設定した。
【0042】白黒/カラー標準原稿において、下地レベ
ルaと文字レベルbは、次のように求める。第1ヒスト
グラムメモリ202における原稿全体の明度ヒストグラ
ムh1(n)から以下の値を求める。まず、原稿の下地レ
ベルを判断するため、n=136〜255(ID 0.
4以下)の範囲において、h1(n)が最大度数を得る階
調レベルmを求める。そして、a=m−8とし、下地明
度を255にする。同様に白黒原稿時のみ、原稿内の階
調レベルを判断するため、n=0〜120(ID 0.
4以上)の範囲において、h1(n)が最大度数を得る階
調レベルlを求める。そして、b=l+8とし、文字部
の明度=0にする。a=m−8としているのは、レベル
m付近でヒストグラム分布は、あるバラツキをもった正
規分布をしているから、そのバラツキを±8として、レ
ベルm付近の階調を確実にとばすためである。同様に、
b=l+8としているのは、レベルl付近の階調を確実
に黒にするためである。また、カラー原稿標準モードで
bにより、制御しないのは、文字が黒とは限らないから
である。
【0043】ここで、Cr,Cbの色成分はスルーさせて
いるため(AEテーブル131b,131cでは、Din
out)、原稿の色情報は変化させずに濃淡情報(V)のみ
を制御している。このため、カラー原稿の色情報を変化
させずに、下地レベルの自動調整が行える。色差信号C
r,Cb成分については、補正を行なわないため(Vout
V)、カラーバランスは崩れない。
【0044】さらに、操作パネル154で設定されるマ
ニュアル設定(自動露光処理解除)では、下地レベル値を
可変するための明度補正を行うことが出来る。このモー
ドは、モノクロ/カラー及び写真/標準モードで異な
り、マニュアル設定値が7段階であり、±0を中心とし
て−1〜−4は下地がとぶ方向に、+1,+2はかぶる
方向になるようにしている(図4参照)。詳細な設定内
容については、カラー標準モード、モノクロ標準モード
および写真モードにおいて、表2に示すように、マニュ
アル設定の各レベル+2〜−4が設定されている。
【0045】原稿種別に対応した他の画像処理として
は、MTF補正部148における黒文字判別処理(色に
じみ補正)がある。表1に示すように、この処理は、カ
ラー標準原稿についてなされる。これは、カラー画像と
白黒画像とが混在するときに、黒文字の画像再現を最適
化するために行なう。まず、領域判別部146により黒
文字のエッジ部と判断された部分において、C,M,Y
成分のデータを減衰させ、Bk成分のデータは、Bk1
00%のデータに明度Vのデータを加算して文字をやや
太らせつつエッジ強調をする。
【0046】(10)逆HVC変換 逆HVC変換部132では、V,Cr,Cb信号から再び、
R,G,B信号に変換するため、前述したマトリクスの逆
行列演算を以下のごとく行い、R,G,Bを出力する。
【数9】 上述のスキャンデータの処理は、明度データに変換して
行ったが、ここで、逆HVC変換を行うことにより、以
降の色補正などのデータ処理は、3原色のデータについ
て行える。
【0047】
【発明の効果】カラー原稿と白黒原稿の両方について、
種々の原稿種別を自動的に判定できるので、ユーザが原
稿種別を選択する必要がなくなる。また、自動原稿搬送
装置に種々の原稿が混合して積載されていても、原稿種
別を自動的に判定し、それぞれに最適な画像処理を行う
ことができる。
【図面の簡単な説明】
【図1】 デジタルカラー複写機の全体を示す図式的な
断面図である。
【図2】 信号処理部の1部のブロック図である。
【図3】 信号処理部の残りの部分のブロック図であ
る。
【図4】 ヒストグラム生成部のブロック図である。
【図5】 ヒストグラム生成におけるサンプリングの状
況を示す図である。
【図6】 ヒストグラムから得られる種々の量を示す図
である。
【図7】 自動カラー選択のフロー図である。
【図8】 ヒストグラムから得られる種々の量を示す図
である
【図9】 画像種別を判別するためのフロー図である。
【図10】 明度信号と各種信号(G25〜G35)との関
連を説明するための図である。
【図11】 HVC調整部、自動露光(AE)処理部およ
びHVC逆変換部の図である。
【図12】 モノクロカラー標準原稿に対するAE処理
前後の原稿明度分布の変化を表すグラフである。
【図13】 カラー標準原稿(下地白)に対するAE処理
前後の原稿明度分布の変化を表すグラフである。
【符号の説明】
110 ヒストグラム生成部、 152 CPU、20
0 明度作成部、 202 全画素用の第1ヒストグラ
ムメモリ、204 有彩色用の第2ヒストグラムメモ
リ、208、210 積算用加算器、 212〜218
有彩色識別用回路。
フロントページの続き (56)参考文献 特開 平2−144567(JP,A) 特開 平2−884(JP,A) 特開 平6−152962(JP,A) 特開 平2−205984(JP,A) 特開 平6−284281(JP,A) 特開 平6−205204(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 1/40 - 1/409 H04N 1/46 H04N 1/60

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 光電変換素子により原稿を読み取って得
    られた3原色のR,G,B信号を明度信号に変換する明度
    信号作成器と、 前記明度信号を基に原稿中の無彩色画素のヒストグラム
    を作成する第1のヒストグラム作成手段と、 前記明度信号を基に原稿中の有彩色画素のヒストグラム
    を作成する第2のヒストグラム作成手段と、 前記第1及び第2のヒストグラム作成手段によって作成
    されたヒストグラムから原稿種別を判定する原稿種別判
    定手段と、 前記原稿種別判定手段の判定結果に基づいて画像処理内
    容を切換える処理切換手段とを備えることを特徴とする
    画像処理装置。
  2. 【請求項2】 さらに、前記ヒストグラムの分布状況を
    解析する解析手段を有し、前記原稿種別判定手段は、前
    記解析手段による解析結果に基づいて原稿種別を判定す
    ることを特徴とする請求項1記載の画像処理装置。
  3. 【請求項3】 前記解析手段は、前記無彩色画素と有彩
    色画素の画素数をカウントすることを特徴とする請求項
    2記載の画像処理装置。
  4. 【請求項4】 前記解析手段は、前記各ヒストグラムを
    それぞれ明度レベルに関して複数のブロックに分割し、
    ブロック毎に無彩色画素と有彩色画素の画素数をカウ
    ントすることを特徴とする請求項3記載の画像処理装
    置。
JP04732195A 1995-03-07 1995-03-07 画像処理装置 Expired - Fee Related JP3333894B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP04732195A JP3333894B2 (ja) 1995-03-07 1995-03-07 画像処理装置
US08/611,473 US6118895A (en) 1995-03-07 1996-03-05 Image forming apparatus for distinguishing between types of color and monochromatic documents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04732195A JP3333894B2 (ja) 1995-03-07 1995-03-07 画像処理装置

Publications (2)

Publication Number Publication Date
JPH08251402A JPH08251402A (ja) 1996-09-27
JP3333894B2 true JP3333894B2 (ja) 2002-10-15

Family

ID=12772015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04732195A Expired - Fee Related JP3333894B2 (ja) 1995-03-07 1995-03-07 画像処理装置

Country Status (1)

Country Link
JP (1) JP3333894B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351558B1 (en) 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
JP4240236B2 (ja) * 1996-11-13 2009-03-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および印刷装置
US6738527B2 (en) 1997-06-09 2004-05-18 Seiko Epson Corporation Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, and image evaluation method and a medium on which an image evaluation program is recorded
JP3780810B2 (ja) 2000-03-27 2006-05-31 コニカミノルタビジネステクノロジーズ株式会社 画像処理回路
JP4496602B2 (ja) * 2000-05-17 2010-07-07 コニカミノルタビジネステクノロジーズ株式会社 画像処理方法および画像処理装置
JP3964300B2 (ja) * 2002-10-10 2007-08-22 シャープ株式会社 画像処理装置,画像形成装置および画像処理方法
JP4496239B2 (ja) * 2007-07-31 2010-07-07 シャープ株式会社 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム、及び記録媒体
JP4758402B2 (ja) * 2007-08-24 2011-08-31 シャープ株式会社 画像形成装置
JP4500865B2 (ja) 2008-04-30 2010-07-14 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5851235B2 (ja) * 2011-12-22 2016-02-03 シャープ株式会社 画像処理装置、画像形成装置、デジタルカメラ、画像処理方法、コンピュータプログラム及び記憶媒体
JP6060734B2 (ja) 2013-02-28 2017-01-18 ブラザー工業株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2016048828A (ja) * 2014-08-27 2016-04-07 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP6958003B2 (ja) * 2017-06-12 2021-11-02 セイコーエプソン株式会社 画像処理装置、及び印刷システム

Also Published As

Publication number Publication date
JPH08251402A (ja) 1996-09-27

Similar Documents

Publication Publication Date Title
JP3626966B2 (ja) 画像処理装置
US6118895A (en) Image forming apparatus for distinguishing between types of color and monochromatic documents
JP2993014B2 (ja) 画像処理装置の画質制御方式
JP3401977B2 (ja) 画像再現装置
US5189523A (en) Image processing apparatus
EP1524842A2 (en) System and method for generating black and white reproductions of color documents
JPH05207280A (ja) 画像形成装置の下地かぶり除去及び下地除去方式
JP3333894B2 (ja) 画像処理装置
JPH10341341A (ja) 画像処理装置
EP0675639B1 (en) Image processing apparatus and method
JP3477858B2 (ja) 画像処理装置及び画像データ処理方法
JP3376081B2 (ja) 画像処理方法及び装置
JP4226278B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、およびこれを記録した記録媒体
JP3407525B2 (ja) 画像再現装置
JPH08149323A (ja) 画像処理装置
JP3176212B2 (ja) 画像処理装置
JP2002218271A (ja) 画像処理装置、画像形成装置、並びに画像処理方法
JP2001127989A (ja) 画像形成装置
JP3289530B2 (ja) 画像処理装置
JP3079630B2 (ja) 画像処理装置
JP3077241B2 (ja) 画像処理装置
JP3360456B2 (ja) 画像処理装置
JPH04342370A (ja) 画像形成装置
JPH08186728A (ja) 画像処理装置
JP3220812B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090802

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090802

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100802

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110802

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120802

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130802

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees