JP3293920B2

JP3293920B2 - 画像処理装置およびその方法

Info

Publication number: JP3293920B2
Application number: JP924993A
Authority: JP
Inventors: 昭宏片山; 良弘石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-01-22
Filing date: 1993-01-22
Publication date: 2002-06-17
Anticipated expiration: 2017-06-17
Also published as: DE69429464D1; EP0611051B1; EP0611051A1; JPH06223172A; US5905579A; DE69429464T2

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置およびその
方法に関し、例えば画像を領域分割する画像処理に関す
る。

【０００２】

【従来の技術】従来、文字と非文字画像とを分離する方
法として、画像中に含まれる高周波成分の分布による方
法が多く使われていた。この方法は、次のようなもので
あつた。（１）画像をｍ×ｎブロツクに分解（２）ラプラシアン演算などによつてエツジブロツクを
検出（３）エツジブロツクをカウント（４）エツジブロツクの個数ｎと閾値Ｔの関係から、そ
のｍ×ｎブロツクを次のように判定するｎ＞Ｔの場合 … 文字ブロツクｎ≦Ｔの場合 … 非文字画像ブロツクまた、上記の方法で分離した文字領域と非文字領域を、
それぞれ適切な方法で符号化するカラーフアクシミリ装
置などが提案されている。

【０００３】

【発明が解決しようとする課題】しかし、上記従来例に
おいては、次のような問題点があつた。すなわち、上記
従来例においては、ｍ×ｎブロツクのサイズが小さい
と、文字領域のエツジ部なのか、あるいは非文字領域の
エツジ部なのか、区別が難しくなるといつた問題があつ
た。

【０００４】従つて、上記従来例において、精度よく判
定を行おうとすれば、かなり大きなブロツクサイズを必
要とし、ハードウエア規模が増大するといつた欠点が生
じた。さらに、上記従来例のようなブロツク処理を行う
と、ｍ×ｎブロツクと隣接するｍ×ｎブロツクの境界に
エツジが存在する場合、該エツジの検出は困難であり、
文字領域を非文字領域として判定してしまう問題もあつ
た。

【０００５】また、上記従来例においては、文字領域の
下地（色や模様）が消滅してしまい、画像情報の一部が
欠落することがあつた。

【０００６】本発明は、上述の問題を解決するためのも
ので、画像の特徴を正確かつ容易に識別して、画像を領
域分割することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【０００８】本発明にかかる画像処理方法は、画像デー
タを入力し、入力画像データに連続的に複数種類の空間
フィルタ処理を施すことで、前記入力画像データを異な
る帯域制限が施された複数の画像データに変換し、前記
帯域制限後の複数の画像データのうち、前記入力画像デ
ータの大局的なエッジ情報を有する画像データに基づ
き、前記入力画像データによって表される画像を領域分
割することを特徴とする。

【０００９】本発明にかかる画像処理装置は、画像デー
タを入力する入力手段と、入力画像データに連続的に複
数種類の空間フィルタ処理を施すことで、前記入力画像
データを異なる帯域制限が施された複数の画像データに
変換する変換手段と、前記帯域制限後の複数の画像デー
タのうち、前記入力画像データの大局的なエッジ情報を
有する画像データに基づき、前記入力画像データによっ
て表される画像を領域分割する分割手段とを有すること
を特徴とする。

【００１０】

【００１１】

【００１２】

【００１３】

【実施例】以下、本発明に係る一実施例の画像処理装置
を図面を参照して詳細に説明する。

【００１４】

【第１実施例】図１は本実施例の構成例を示すブロツク
図である。同図において、１は画像入力回路で、領域分
離しようとする画像の輝度画像データを入力する。な
お、画像入力回路１は、ＲＧＢデータやＹＭＣデータな
どが入力された場合、公知の方法によつて、入力データ
を輝度画像データに変換して出力する。

【００１５】２はウエーブレツト変換回路で、詳細は後
述するが、画像入力回路１から入力された画像データ
に、二次元ウエーブレツト変換を施して、例えば３階層
目の画像データを出力する。３はエツジ検出回路で、詳
細は後述するが、ウエーブレツト変換回路２で変換され
た３階層目の帯域画像データのうち、最も低周波成分を
表す帯域画像データを除いた３つの帯域画像データを入
力して、エツジ画素を検出する。

【００１６】４は文字領域検出回路で、詳細は後述する
が、エツジ検出回路３から入力された帯域画像データか
ら、マクロな文字領域の検出を行う。５は膨張収縮回路
で、詳細は後述するが、文字領域検出回路４で検出され
た文字領域に対して、散在する文字領域がなるべく統合
されるように、ドツトの膨張／収縮処理を行つて、領域
判定データを出力する。

【００１７】以上の処理で得られる領域判定データは、
主走査，副走査ともに、入力画像データに対して例えば
１／８のサイズになる。図２はウエーブレツト変換回路
２の構成例を示すブロツク図で、表１にフイルタ係数の
一例を示す４タツプフイルタである。なお、本実施例に
おいて、フイルタのタツプ数やフイルタ係数は、表１に
示すものに限定されるものではない。

【００１８】

【表１】図２において、「Ｌ」で示す７，１１，１５，１９，２
３，２７，３１，３５，３９は、それぞれローパスフイ
ルタ（以下「ＬＰＦ」という）で、入力された画像デー
タに対して、主走査方向に一次元ローパスフイルタリン
グを行う。

【００１９】また、「Ｈ」で示す９，１３，１７，２
１，２５，２９，３３，３７，４１は、それぞれハイパ
スフイルタ（以下「ＨＰＦ」という）で、入力された画
像データに対して、主走査方向に一次元ハイパスフイル
タリングを行う。また、「↓」で示す８，１０，１２，
１４，１６，１８，２０，２２，２４，２６，２８，３
０，３２，３４，３６，３８，４０，４２は、それぞれ
サンプリング回路で、直前のＬＰＦまたはＨＰＦから入
力された画像データを、主走査方向に２：１でサブサン
プリングする。

【００２０】すなわち、ウエーブレツト変換回路２は、
入力された画像データ５００をフイルタリングすること
によつて、例えば１０帯域の画像データ５０３〜５１２
に分割する。例えば、本実施例は、入力された画像デー
タ５００を、ＨＰＦ９→サンプリング回路１０→ＨＰＦ
１７→サンプリング回路１８を通すことによつて最高周
波数帯域の画像データ５１２を、また、ＬＰＦ７→サン
プリング回路８→ＬＰＦ１１→サンプリング回路１２→
ＬＰＦ１９→サンプリング回路２０→ＬＰＦ２３→サン
プリング回路２４→ＬＰＦ３１→サンプリング回路３２
→ＬＰＦ３５→サンプリング回路３６を通すことによつ
て最低周波数帯域の画像データ５０３を得る。

【００２１】図３はウエーブレツト変換回路２の階層出
力例を周波数空間で表した図である。同図に示すよう
に、このような階層画像においては、上の階層の画像デ
ータ（例えば画像データ５００よりも画像データ５０１
の方が上階層になり、画像データ５０１よりも画像デー
タ５０２の方が、画像データ５０２よりも画像データ５
０３の方がより上階層になる）ほど、画像の内容に対す
る大局的な情報を保持していると考えられる。

【００２２】従つて、マクロな領域を視て大局的な処理
を必要とする領域分割においては、上位の階層画像を用
いることによつて該処理を達成できる。とくに、画像デ
ータを文字部分と非文字部分に領域分割して、例えば、
文字部分は単純２値化した後に算術符号化し、また、非
文字部分はＤＣＴ符号化するような場合には、画像デー
タ５０３〜５０６を用いると都合がよい。これは、ＤＣ
Ｔ方式が一般的に８×８画素単位で行われており、画像
データ５０３〜５０６の１画素が、原画像の８×８画素
に対応するからである。

【００２３】また、画像データ５０２の高周波成分を表
す画像データ５０４〜５０６は、エツジの大小を表すこ
とになる。そこで、本実施例においては、例えば、画像
データ５０４〜５０６の３帯域画像データを用いてエツ
ジ検出を行う。なお、図２に示した構成は、１０帯域の
画像データ５０３〜５１２を出力するものであるが、本
実施例においては、上述したように、例えば、３帯域の
画像データを用いてエツジ検出を行うので、ウエーブレ
ツト変換回路２は、画像データ５０４〜５０６を出力す
る構成だけでもよい。

【００２４】また、本実施例は、フイルタリング処理に
おいて問題になる処理の初めと終りを、入力画像データ
が周期的に繰返すものとして処理するが、また、画像デ
ータの初めと終りの部分において、画像を折り返して、
つまり鏡像をとつて処理してもよい。図４はエツジ検出
回路３の構成例を示すブロツク図である。

【００２５】同図において、６１は絶対値回路で、ウエ
ーブレツト変換回路２から入力された画像データ５０４
〜５０６の絶対値を出力する。６２は加算器で、絶対値
回路６１から入力された３つの画像データの対応する画
素データを加算する。６３は正規化回路で、加算器６２
から入力された加算データを、ある範囲（例えば０〜２
５５）に正規化する。

【００２６】６４は二値化回路で、正規化回路６３から
入力された正規化データを、ある閾値で二値化して出力
する。なお、二値化閾値は例えば４０にするが、本実施
例はこれに限定されず、画像データの分布に応じて適切
な閾値を設定すればよい。すなわち、エツジ検出回路３
は、画像データ５０４〜５０６によつて、階調変化があ
る程度急な画素（つまりエツジ）のみを抽出して、例え
ば、エツジ画素を‘１’とし、非エツジ画素を‘０’と
して出力する。

【００２７】また、画像データ５０４〜５０６を用いず
に、画像データ５０３からエツジを求めることもできる
が、この場合、エツジ検出回路３を、画像データ５０３
にラプラシアンなどを施してエツジを抽出した後、絶対
値をとつて二値化する構成にすれば、図４の構成例と略
同様な二値データを出力することができる。さて、文字
領域検出回路４は、エツジ検出回路３から出力された２
値データによつて、文字領域を検出する。

【００２８】図５は文字領域検出回路４の動作例を説明
する図で、同図中央は注目画素Ｄを示している。本実施
例は、注目画素Ｄを中心とする例えば９×９画素６０１
によつて文字領域を検出するが、さらに、９×９画素６
０１を例えば３×３画素のブロツク６０２などに分割し
て、各ブロツク毎に、該ブロツク内にエツジブロツクが
幾つ存在するかを表すエツジ数Ｅと、エツジ数Ｅが閾値
ＥＴを超えるブロツクが幾つ存在するかを表すブロツク
数ＮBとをカウントして、例えばブロツク数ＮB≧４であ
る場合、注目画素Ｄを文字領域の一部と判定する。

【００２９】図６は文字領域検出回路４の構成例を示す
ブロツク図である。同図において、１２５〜１３３はそ
れぞれラインメモリで、エツジ検出回路３から入力され
た二値データを、順次、１ライン分記憶する。１３４〜
１４２はそれぞれシフトレジスタで、対応するラインメ
モリから出力された二値データを順次記憶して、それぞ
れ９画素分の二値データを保持する。すなわち、シフト
レジスタ１３４〜１４２は、図５に示した９×９画素６
０１の二値データを保持するものである。

【００３０】１４３〜１５１はそれぞれＬＵＴで、例え
ばＲＯＭなどで構成され、対応するシフトレジスタの所
定ビツトからアドレス端子へ入力された９ビツトのデー
タに応じた値、すなわち‘１’の数（エツジ数Ｅ）をデ
ータ端子から出力する。例えば、ＬＵＴａ１４３は、３
×３画素６０２、つまり画素1a,1b,1c,2a,2b,2c,3a,3b,
3cのエツジ数Ｅ1を出力し、他の加算器１４４〜１５１
も、それぞれ対応する９画素のエツジ数Ｅnを出力す
る。

【００３１】１５２〜１６０はそれぞれ比較器で、例え
ば、比較器ａ１５２は、加算器ａ１４３から入力された
エツジ数Ｅ1と閾値ＥＴを比較して、Ｅ1＞ＥＴならば
‘１’を、Ｅ1≦ＥＴならば‘０’を出力する。他の比
較器１５３〜１６０も、それぞれ対応する加算器から入
力されたエツジ数Ｅnと閾値ＥＴを比較して、Ｅ1＞ＥＴ
ならば‘１’を、Ｅ1≦ＥＴならば‘０’を出力する。

【００３２】１６１はＬＵＴｊで、例えばＲＯＭで構成
され、比較器１５２〜１６０からアドレス端子へ入力さ
れた９ビツトのデータに応じた値、すなわち‘１’の数
（ブロツク数ＮB）をデータ端子から出力する。１６２
は比較器ｊで、ＬＵＴｊ１６１から入力されたブロツク
数ＮBと、文字領域の判定条件の例えば４とを比較し
て、ＮB≧４の場合は‘１’を、ＮB＜４の場合は‘０’
を出力する。

【００３３】なお、図６に示す各ブロツクの動作は、画
素クロツクVCLKによつて同期している。すなわち、文字
領域検出回路４は、例えば、文字領域画素を‘１’と
し、非文字領域画素を‘０’として出力する。なお、本
実施例は、例えば閾値ＥＴ＝１とするが、処理する画像
に応じて、他の適切な値を用いてもよい。

【００３４】また、本実施例は、ブロツク数Ｂ≧４を文
字領域判定条件とするが、これは写真などの非文字領域
の輪郭線などは、ブロツク数Ｂ＜４であることが多いこ
とによるものであり、これによつて、写真などの非文字
領域の輪郭線などを、文字領域の一部として判定するこ
とを避けている。なお、本実施例において、文字領域判
定条件はＢ≧４に限定されるものではなく、処理する画
像に応じて、他の適切な値を用いてもよい。

【００３５】さて、文字領域検出回路４の判定結果は膨
張収縮回路５へ送られ、膨張収縮回路５は、文字領域と
して判定された画素、とくに散在する該画素を統合して
固まりにする処理を行う。これは、入力された画像デー
タを、大雑把に文字領域と非文字領域とに分離するため
の処理で、次の２つの処理からなる。まず、第１の処理
は、注目画素の例えば周囲８画素を参照して、黒画素
（‘１’の画素）が１つでも含まれていれば、該注目画
素を黒に変更する膨張処理である。また、第２の処理
は、注目画素の例えば周囲８画素を参照して、白画素
（‘０’の画素）が１つでも含まれていれば、該注目画
素を白に変更する収縮処理である。

【００３６】すなわち、膨張収縮回路５は、文字領域検
出回路４から入力された二値データに対して、まず膨張
処理をｍ1回、次に収縮処理をｎ回、最後に膨張処理を
ｍ2回行う。最初の膨張処理は、散在する文字画素を統
合して固まりにする役目をもち、この処理によつて統合
された文字画素は、次の収縮処理によつて再び散在する
ことはない。

【００３７】通常、膨張／収縮処理はそれぞれ数回ずつ
行われるが、膨張処理によつて他の画素と繋がらない孤
立画素は、収縮処理をしても孤立画素として残る。この
ような孤立画素は、写真などの非文字領域に多く存在す
るが、本実施例のように膨張−収縮−膨張の順に処理す
れば、孤立画素は収縮処理で除去されるので、誤判定を
減少することができる。

【００３８】ただし、本実施例において、膨張／収縮処
理の回数ｍ1，ｍ2，ｎを、例えば、それぞれ４，１，５
に設定するが、次式の条件を満たす整数であればよい。ｎ＝ｍ1＋ｍ2 … （１）膨張収縮回路５は、例えば、画像メモリ（不図示）と、
１チツプのＣＰＵ（不図示）などで構成され、該ＣＰＵ
に内蔵されたＲＯＭに格納されたプログラムなどによつ
て、上記の処理を実行する。また、該画像メモリは、文
字領域検出回路４から出力された二値データを、対応す
る画素位置に記憶する。

【００３９】図７，図８は膨張収縮回路５の動作手順の
一例を示すフローチヤートである。同図において、本実
施例は、ステツプＳ１で変数ｊに０をセツトし、ステツ
プＳ２で膨張処理を実行し、ステツプＳ３で変数ｊをイ
ンクリメントする。続いて、本実施例は、ステツプＳ４
で、変数ｊと処理回数ｍ1とを比較して、ｊ＜ｍ1であれ
ばステツプＳ２へ戻り、また、ｊ≧ｍ1であればステツ
プＳ５へ進む。

【００４０】ｊ≧ｍ1であれば、本実施例は、ステツプ
Ｓ５で再び変数ｊに０をセツトし、ステツプＳ６で収縮
処理を実行し、ステツプＳ７で変数ｊをインクリメント
する。続いて、本実施例は、ステツプＳ８で、変数ｊと
処理回数ｎとを比較して、ｊ＜ｎであればステツプＳ６
へ戻り、また、ｊ≧ｎであればステツプＳ９へ進む。

【００４１】ｊ≧ｎであれば、本実施例は、ステツプＳ
９で再び変数ｊに０をセツトし、ステツプＳ１０で膨張
処理を実行し、ステツプＳ１１で変数ｊをインクリメン
トする。続いて、本実施例は、ステツプＳ１２で、変数
ｊと処理回数ｍ2とを比較して、ｊ＜ｍ2であればステツ
プＳ１０へ戻り、また、ｊ≧ｍ2であれば処理を終了す
る。

【００４２】図８（ａ）は膨張処理手順の一例を示すフ
ローチヤートである。同図において、本実施例は、ステ
ツプＳ２１で処理する注目画素Ｄを設定し、ステツプＳ
２２で、注目画素Ｄの値を判定して、Ｄ＝‘０’であれ
ばステツプＳ２３へ進み、また、Ｄ＝‘１’であればス
テツプＳ２５へジヤンプする。Ｄ＝‘０’であつた場
合、本実施例は、ステツプＳ２３で、周囲８画素に黒画
素（‘１’の画素）があるか否かを判定して、黒画素が
あればステツプＳ２４へ進み、また、黒画素がなければ
ステツプＳ２５へジヤンプする。

【００４３】黒画素があつた場合、本実施例は、ステツ
プＳ２４で、注目画素Ｄを‘１’（黒）にセツトする。
続いて、本実施例は、ステツプＳ２５で、すべての画素
の処理が終了したか否かを判定して、未了であればステ
ツプＳ２１へ戻り、また、終了していれば図７に示した
親ルーチンへ戻る。

【００４４】図８（ｂ）は収縮処理手順の一例を示すフ
ローチヤートである。同図において、本実施例は、ステ
ツプＳ６１で処理する注目画素Ｄを設定し、ステツプＳ
６２で、注目画素Ｄの値を判定して、Ｄ＝‘１’であれ
ばステツプＳ６３へ進み、また、Ｄ＝‘０’であればス
テツプＳ６５へジヤンプする。Ｄ＝‘１’であつた場
合、本実施例は、ステツプＳ６３で、周囲８画素に白画
素（‘０’の画素）があるか否かを判定して、白画素が
あればステツプＳ６４へ進み、また、白画素がなければ
ステツプＳ６５へジヤンプする。

【００４５】白画素があつた場合、本実施例は、ステツ
プＳ６４で、注目画素Ｄを‘０’（白）にセツトする。
続いて、本実施例は、ステツプＳ６５で、すべての画素
の処理が終了したか否かを判定して、未了であればステ
ツプＳ６１へ戻り、また、終了していれば図７に示した
親ルーチンへ戻る。

【００４６】すなわち、膨張収縮回路５は、文字領域の
判定結果として、文字領域の画素を‘１’（黒）とする
二値画像データを出力する。以上の説明したように、本
実施例によれば、ウエーブレツト変換後の３階層目の高
周波成分の画像データを領域判定に用いるので、原画像
の８×８画素単位で高精度の文字領域判定を行うことが
でき、判定結果をカラー画像の標準圧縮方式（例えばＤ
ＣＴ方式）に利用する場合にとくに好都合である。

【００４７】また、本実施例によれば、ウエーブレツト
変換後の最低周波数帯域の画像データを除く帯域制限画
像データは、これ自体がエツジ量（高周波成分）を表し
ているので、改めてラプラシアンなどの処理を必要とせ
ず、さらに、局所的なエツジからの文字領域の抽出は、
ブロツク処理ではなく画素単位にウインドウを走査して
行うので、従来問題になつていたブロツク境界での誤判
定を低減できる。

【００４８】さらに、本実施例によれば、後処理として
文字領域の統合を行う際に、膨張−収縮−膨張の処理手
順によつて孤立画素を除去するので、文字領域／非文字
領域の判定精度を向上することができる。

【００４９】

【第２実施例】以下、本発明に係る第２実施例を説明す
る。なお、第２実施例は、第１実施例を領域分離部とし
て組込んだ例えばカラーフアクシミリなどの画像通信装
置であり、第２実施例において、第１実施例と略同様の
構成については、同一符号を付して、その詳細説明を省
略する。

【００５０】図９は本実施例の構成例を示すブロツク図
である。同図において、１０１は画像読取部で、ＣＣＤ
ラインセンサなどによつて原稿画像を走査して、例えば
ＲＧＢ各８ビツトの画像データを出力する。１０２は領
域分離部で、図１に一例を示した構成であり、画像読取
部１０１から入力された画像データを、文字領域と非文
字領域に分離する。

【００５１】１０３は符号化部で、詳細は後述するが、
領域分離部１０２から入力されたデータに基づいて、画
像読取部１０１から入力された画像データを符号化し
て、通信回線などへ送出する。１０４は復号部で、詳細
は後述するが、通信回線などから入力された符号データ
を画像データに復号する。

【００５２】１０５は画像出力部で、復号部１０４から
入力された画像データから画像を出力する。なお、画像
出力部１０５は、レーザビームプリンタなどのページプ
リンタ、インクジエツトプリンタなどのシリアルプリン
タ、またはＣＲＴなどのデイスプレイで構成される。［符号化部１０３］図１０は符号化部１０３の構成例を
示すブロツク図である。

【００５３】２５１は第２エツジ検出回路で、詳細は後
述するが、画像読取装置１０１から入力された画像デー
タのエツジ画素を検出する。２５２は色検出回路で、詳
細は後述するが、画像読取装置１０１から入力された画
像データの所定色画素を検出する。２５３は色文字判定
回路で、詳細は後述するが、領域分離部１０２から文字
領域データと、第２エツジ検出回路２５１からエツジ画
素検出結果と、色検出回路２５２から所定の色成分画素
検出結果とを入力して、文字領域に含まれるエツジかつ
所定色の画素、すなわち色文字画素を検出する。

【００５４】２５４は二値系列変換回路で、詳細は後述
するが、色文字判定回路２５３の判定結果に応じて、色
検出回路２５２から入力された色文字データを、動的算
術符号化に適した二値系列データに変換する。２５５は
算術符号化回路で、二値系列変換回路２５４から入力さ
れた二値系列データを動的算術符号化する。なお、算術
符号化回路２５５の符号化方法および構成は、例えば特
開平２−６５３７２号公報に示されているとおりであ
る。

【００５５】２５６は色文字除去回路で、詳細は後述す
るが、画像読取部１０１から入力された画像データの色
文字判定回路２５３で色文字画素と判定された画素を、
該画素を含む画素ブロツクの平均値などに置き換える。
２５７は直交変換符号化回路で、色文字除去回路２５６
から入力された画像データを、例えばＤＣＴ方式によつ
て符号化する。

【００５６】２５８は送信回路で、算術符号化回路２５
５と直交変換符号化回路２５７とから入力された符号デ
ータを統合して、通信回線などへ送出する。なお、送信
回路２５８は、最初に色文字の符号を送信し、次に信号
Ｙ，Ｃr'，Ｃb'の符号を面順次に送信するが、各符号の
送信に先だつて、該符号の内容を示すフラグを送信す
る。また、送信回路２５８は、符号をメモリへ一次記憶
することによつて、各符号の送信順序に応じた時間的な
ずれを補償する。

【００５７】ここで、符号化部１０３において、領域分
離部１０２で分離された文字領域の色文字を検出する理
由を説明する。領域分離部１０２は、下地（例えば薄い
色や模様など）に関係なく文字領域を分離するので、領
域分離部１０２で文字領域に含まれると判定された画素
をそのまま二値化すると、該下地が失われてしまう。

【００５８】そこで、本実施例においては、色文字除去
回路２５６によつて、色文字判定回路２５３で判定され
た色文字を画像データから除去して、該色文字を除去し
た部分を周囲画素の平均値で補つて、下地を形成した
後、直交変換符号化回路２５７で符号化する。このた
め、本実施例においては、文字領域の下地が失われるこ
とがない。

【００５９】次に、第２エツジ検出回路２５１について
説明する。図１１は第２エツジ検出回路２５１のエツジ
画素検出手順例を示すフローチヤートである。第２エツ
ジ検出回路２５１は、例えば、画像メモリ（不図示）
と、１チツプのＣＰＵ（不図示）などで構成され、該Ｃ
ＰＵに内蔵されたＲＯＭに格納されたプログラムなどに
よつて、図１１に一例を示す手順を実行する。

【００６０】図１１において、本実施例は、ステツプＳ
３１で注目画素Ｘを設定し、ステツプＳ３２で周囲画素
Ｅを選択する。なお、周囲画素Ｅは、図１２に示す画素
Ａ〜Ｄの何れかを選択する。続いて、本実施例は、ステ
ツプＳ３３で次式の演算を実行する。Ｓ＝√{(Ｘr−Ｅr)²＋(Ｘg−Ｅg)²＋(Ｘb−Ｅb)²} … （２）ただし、Ｘr，Ｅr：ＲデータＸg，Ｅg：ＧデータＸb，Ｅb：Ｂデータ続いて、本実施例は、ステツプＳ３４で、演算結果Ｓと
閾値ＴＨ1とを比較して、Ｓ≦ＴＨ1ならばステツプＳ３
５へ進み、また、Ｓ＞ＴＨ1ならばステツプＳ３７へ進
む。

【００６１】Ｓ≦ＴＨ1だつた場合、本実施例は、ステ
ツプＳ３５で、未選択の周囲画素Ｅがあるか否か判定し
て、無ければステツプＳ３６へ進んで、同ステツプで
‘０’を出力し、また、未選択の周囲画素Ｅがあればス
テツプＳ３２へ戻る。Ｓ＞ＴＨ1だつた場合、本実施例
は、ステツプＳ３７で‘１’を出力する。続いて、本実
施例は、ステツプＳ３８で、すべての画素について検出
処理を行つたか否かを判定して、未処理の画素があれば
ステツプＳ３１へ戻り、また、すべての画素を処理した
場合は、手順を終了する。

【００６２】すなわち、第２エツジ検出回路２５１は、
注目画素Ｘと周辺画素Ａ〜Ｄとの３次元色空間上の距離
を（２）式で算出して、演算結果Ｓが閾値ＴＨ1（例え
ば１００）を超える場合、注目画素Ｘと周辺画素Ａ〜Ｄ
との間にエツジがあると判定し、注目画素Ｘと周辺画素
Ａ〜Ｄとの間に１つでもエツジがあると判定すれば、該
注目画素Ｘの判定結果として‘１’（エツジ画素）を出
力する。このような検出方法によれば、同じ明度であつ
ても、色相や彩度が異なる色エツジを検出することが可
能になり、色文字を検出する上で極めて有効である。

【００６３】なお、第２エツジ検出回路２５１は、上記
の画素毎のエツジ判定に加えて、後述の色文字除去回路
２５６，直交変換符号化２５７における処理対象の８×
８画素ブロツク内にエツジ画素が含まれているか否かの
判定も行つて、その判定結果も出力する。また、図１２
にエツジ検出を行うための周辺画素の一例を示したが、
本実施例はこれに限定されるものではなく、例えば、周
囲の８画素でもよく、さらに、周辺画素の平均値と注目
画素Ｘとによつて（２）式の演算を行つてもよい。

【００６４】次に、色検出回路２５２について説明す
る。図１３は色検出回路２５２の構成例を示すブロツク
図である。同図において、３５１〜３５３はそれぞれ比
較器で、例えば、比較器ａ３５１は入力されたデータＲ
と閾値ＴＨ2とを比較して、Ｒ＜ＴＨ2の場合‘１’を、
Ｒ≧ＴＨ2の場合‘０’を出力する。同様に、比較器ｂ
３５２は、Ｇ＜ＴＨ2の場合‘１’を、Ｇ≧ＴＨ2の場合
‘０’を出力し、比較器ｃ３５３は、Ｂ＜ＴＨ2の場合
‘１’を、Ｂ≧ＴＨ2の場合‘０’を出力する。

【００６５】３５４〜３５６はそれぞれ比較器で、例え
ば、比較器ｄ３５４は入力されたデータＲと閾値ＴＨ3
とを比較して、Ｒ＞ＴＨ3の場合‘１’を、Ｒ≦ＴＨ3の
場合‘０’を出力する。同様に、比較器ｅ３５５は、Ｇ
＞ＴＨ3の場合‘１’を、Ｇ≦ＴＨ3の場合‘０’を出力
し、比較器ｆ３５６は、Ｂ＞ＴＨ3の場合‘１’を、Ｂ
≦ＴＨ3の場合‘０’を出力する。

【００６６】３５７〜３５９はそれぞれ減算器で、減算
器ａ３５７は入力されたデータＲとデータＧとの差の絶
対値|Ｒ−Ｇ|を、減算器ｂ３５８は入力されたデータＧ
とデータＢとの差の絶対値|Ｇ−Ｂ|を、減算器ｃ３５９
は入力されたデータＢとデータＲとの差の絶対値|Ｂ−
Ｒ|を出力する。３６０〜３６２はそれぞれ比較器で、
例えば、比較器ｇ３６０は入力されたデータ|Ｒ−Ｇ|と
閾値ＴＨ4とを比較して、|Ｒ−Ｇ|＜ＴＨ4の場合‘１’
を、|Ｒ−Ｇ|≧ＴＨ4の場合‘０’を出力する。同様
に、比較器ｈ３６１は、|Ｇ−Ｂ|＜ＴＨ4の場合‘１’
を、|Ｇ−Ｂ|≧ＴＨ4の場合‘０’を出力し、比較器ｉ
３６２は、|Ｂ−Ｒ|＜ＴＨ4の場合‘１’を、|Ｂ−Ｒ|
≧ＴＨ4の場合‘０’を出力する。

【００６７】３６３はＬＵＴで、例えばＲＯＭで構成さ
れ、上記９つの比較器からアドレス端子Ａへ入力された
比較結果に応じた色判定結果をデータ端子Ｄから出力す
る。図１４はＬＵＴ３６３の入出力の関係の一例を示す
図で、例えば、Ｇ，Ｂ＜ＴＨ2 かつＲ＞ＴＨ3 かつ |Ｇ−Ｂ|＜ＴＨ4 の画素をＲ（赤）画素と判定し、Ｇ＜ＴＨ2 かつＲ，Ｂ＞ＴＨ3 かつ |Ｒ−Ｂ|＜ＴＨ4 の画素をＭ（マゼンタ）画素と判定する。なお、ＬＵＴ
３６３は検出結果を例えば各１ビツトのＲＧＢデータと
して出力する。従つて、ＬＵＴ３６３は、Ｋ（黒）画素
を検出した場合‘０００’を、Ｒ（赤）画素を検出した
場合‘１００’を、Ｇ（緑）画素を検出した場合‘０１
０’を、Ｂ（青）画素を検出した場合‘００１’を、Ｙ
（イエロ）画素を検出した場合‘０１１’を、Ｍ（マゼ
ンタ）画素を検出した場合‘１０１’を、Ｃ（シアン）
画素を検出した場合‘１１０’を出力し、また、何れに
も当てはまらない画素の場合は‘１１１’（白）を出力
する。

【００６８】なお、上記の閾値ＴＨ2，ＴＨ3，ＴＨ4と
して、例えば、それぞれ５０，２０５，３０を設定する
と、良好な検出結果が得られる。次に、色文字判定回路
２５３について説明する。図１５は色文字判定回路２５
３の構成例を示すブロツク図である。同図において、３
７１は否定論理積ゲートで、色検出回路２５２から入力
されたＲＧＢデータの各ビツトの否定論理積を出力す
る。

【００６９】３７２はＡＮＤゲートで、領域分離部１０
２から入力された領域分離結果と、第２エツジ検出回路
２５１から入力されたエツジ検出結果と、否定論理積ゲ
ート３７１から入力されたデータとの論理積を、判定デ
ータＳとして出力する。すなわち、色文字判定回路２５
３は、領域分離部１０２で文字領域と判定された領域
で、かつ、第２エツジ検出回路２５１でエツジに該当す
る画素が存在すると判定されたブロツク内の画素であつ
て、色検出回路２５２によつてＫ，Ｒ，Ｇ，Ｂ，Ｃ，
Ｍ，Ｙの何れかと判定された画素を、色文字画素と判定
して、判定データＳ＝‘１’を出力する。

【００７０】次に、二値系列変換回路２５４について説
明する。図１６は二値系列変換回路２５４の構成例を示
すブロツク図である。同図において、９１はＬＵＴで、
例えばＲＯＭで構成され、色文字判定回路２５３から入
力された判定データＳが‘１’の場合、色検出回路２５
２からアドレス端子Ａへ入力された各１ビツトのＲＧＢ
データに対応する例えば図１７に一例を示す１〜７ビツ
トの二値系列データをデータ端子Ｄから出力する。

【００７１】９２は信号出力器で、ＬＵＴ９１から入力
された１〜７ビツトの二値系列データを、その上位ビツ
ト（以下「ＭＳＢ」という）側から１ビツトずつシリア
ルに、二値系列信号Ｄを出力する。信号出力器９２は、
出力が‘１’になつた場合または７個の‘０’を出力し
た場合、１画素の出力を終了して次データの入力を受付
ける。また、信号出力器９２は、現在、二値系列データ
の何ビツト目を出力しているかを示す例えば３ビツトの
信号Ｂtも出力する。

【００７２】このように、本実施例は、色文字判定回路
２５３の判定結果に応じて、色検出回路２５２から出力
された各１ビツトのＲＧＢデータを、シリアルの二値系
列信号に変換した後、算術符号化回路２５５で符号化す
ることによつて、互いに相関性をもつた該ＲＧＢデータ
の各ビツトを別々に符号化することなく、色相関性を保
存したまま符号化することができる。しかも、算術符号
化のように、注目画素の値を予測しながら符号化する場
合、ＲＧＢの色成分毎に予測，符号化を行うことなく、
色情報として予測，符号化することができるので、符号
化効率を向上することができる。

【００７３】また、各画素の色を表すＲＧＢ各色成分が
１つのデータとして表されるので、復号する場合は、１
つのデータを復号することで、１画素のＲＧＢデータを
一度に得ることができ、迅速にカラー画像を再生でき
る。次に、色文字除去回路２５６について説明する。図
１８は色文字除去回路２５６の構成例を示すブロツク図
である。

【００７４】同図において、７１は色検出器で、前述の
色検出回路２５２と略同様の構成で、入力されたＲＧＢ
データから色画素およびその周辺画素を検出する。従つ
て、前述の色検出回路２５２と、比較回路の閾値ＴＨ
2，ＴＨ3，ＴＨ4が異なり、例えばそれぞれ１２０，１
３０，３０のように、より広範囲の検出が行われる値を
設定する。

【００７５】７２はＯＲゲートで、色検出器７１から入
力された各１ビツトのＲＧＢデータの論理和を出力し、
７３はＡＮＤゲートで、ＯＲゲート７２の出力と、色文
字判定回路２５３から入力された判定データＳとの論理
積を出力する。７４はセレクタａで、ＡＮＤゲート７３
から選択端子Ｓへ入力された選択信号に応じて、端子Ａ
または端子Ｂへ入力された何れか一方のデータを出力す
る。なお、セレクタａ７４は、選択信号が‘０’の場合
は画像読取部１０１から入力された画素データを、選択
信号が‘１’の場合はデータ（０）を出力する。

【００７６】７５は平均値回路で、セレクタａ７４から
入力されたＲＧＢデータから、例えば８×８画素ブロツ
クの画素平均値を出力する。なお、画素平均値を求める
画素ブロツクサイズは、後段の直交変換符号化回路２５
７の符号化ブロツクサイズと同一にする。７６はセレク
タｂで、ＯＲゲート７２から選択端子Ｓへ入力された選
択信号に応じて、端子Ａまたは端子Ｂへ入力された何れ
か一方のデータを出力する。なお、セレクタａ７４は、
選択信号が‘０’の場合はセレクタａ７４から入力され
た画素データを、選択信号が‘１’の場合は平均値回路
７５から入力された画素平均値を出力する。

【００７７】図１９は色文字除去回路２５６の動作の一
例を説明する図である。同図（ｂ）は、セレクタａ７４
へ入力される画像データの一例で、同図（ａ）に示す画
像を、ライン９０３で読取つた場合の黒レベルの変化を
示している。前述したように、ＯＲゲート７２の出力
は、画素データが同図（ｂ）に示す閾値を超える場合
‘１’になり、同時に、色文字判定回路２５３からの判
定データＳが‘１’であれば、ＡＮＤゲート７３の出力
も‘１’になる。従つて、セレクタａ７４から出力され
る画像データは、画像９０１に対応するデータ９０１ａ
が除去されて同図（ｃ）に示すようになり、さらに、セ
レクタｂ７６から出力される画像データは、画像９０１
の残留データ９０１ｂ部分が平均化されて同図（ｄ）に
示すようになる。

【００７８】なお、上述の説明においては、色文字画素
を例えば８×８画素ブロツクの画素平均値に置き換える
例を説明したが、本実施例はこれに限定されるものでは
なく、同ブロツクの最頻値や、メデイアンフイルタによ
つて同ブロツクの中央値に置き換えてもよい。次に、直
交変換符号化回路２５７について説明する。

【００７９】図２０は直交変換符号化回路２５７の構成
例を示すブロツク図である。同図において、８１は前処
理器で、色文字除去回路２５６から入力されたＲＧＢデ
ータを、輝度信号Ｙと色差信号Ｃr，Ｃbに変換する。８
２はサンプリング器で、前処理部８１から入力された信
号Ｃr，Ｃbの例えば２×２画素ブロツク毎の平均値Ｃ
r'，Ｃb'を出力する。これは、人間の視覚が、輝度信号
Ｙに比べて、色差信号Ｃr，Ｃbの劣化を捉え難い性質を
利用したものである。

【００８０】８３は符号化器で、適応離散コサイン変換
（以下「ＡＤＣＴ」という）方式などによつて、前処理
器８１から入力された輝度信号Ｙと、サンプリング器８
２から入力された色差信号Ｃr'，Ｃb'とをそれぞれ符号
化する。［復号部１０４］図２１は復号部１０４の構成
例を示すブロツク図である。

【００８１】同図において、５１は受信回路で、通信回
線などから符号などを受信して、フラグによつて算術符
号とハフマン符号とを分離する。５２は算術符号復号回
路で、算術符号化回路２５５と逆の手順によつて、受信
回路５１から入力された算術符号を復号して、色文字デ
ータを出力する。５３は逆直交変換回路で、直交変換符
号化回路２５７と逆の手順によつて、ハフマン符号を復
号してた後、逆直交変換処理を施すことによつて画像デ
ータを出力する。

【００８２】５４は平滑化回路で、逆直交変換回路５３
から入力された画像データのブロツク歪みを平滑化す
る。５５は合成回路で、算術符号復号回路５２から入力
された色文字データと、平滑化回路５４から入力された
画像データとを合成して、画像データを再生する。な
お、合成回路５５は、色文字データのＲＧＢ値それぞれ
に所定係数を掛けた結果と、画像データとを合成するこ
とによつて、色文字データを優先し、クリアな色文字を
再現できる。

【００８３】なお、本実施例において、逆直交変換回路
５３から出力された画像データに平滑化を施し、算術符
号復号回路５２から出力された色文字データに平滑化を
施さないのは、文字の解像度を劣化させないためであ
る。以上の説明したように、本実施例によれば、第１実
施例と略同様の効果があるほか、文字領域で色文字部分
を検出することによつて、色文字の検出精度が向上す
る。

【００８４】また、本実施例によれば、分離された色文
字データを算術符号化するとともに、該色文字を分離削
除した部分を周囲画素の平均値などに置換して、色文字
データを除いた画像データを直交変換符号化するので、
画質を劣化させることなく、画像データの効能率符号化
を実現することができる。また、本実施例は、カラーフ
アクシミリなどの画像通信装置に限定されるものではな
く、例えば、図２２に一例を示すように、通信回線の代
わりに記憶部１０６を備えることによつて、画像フアイ
リング装置などの画像記憶装置にも適用することができ
る。なお、記憶部１０６は、ハードデイスクや半導体メ
モリ、あるいは光磁気デイスクなどで構成され、多数の
画像を記憶することができ、色文字データの算術符号と
画像データのハフマン符号を、別々に記憶してもよい
し、画像毎にまとめて記憶してもよい。

【００８５】さらに、図２２に示す画像記憶装置におい
ては、例えば、色文字だけや文字以外の画像だけを再生
することもできる。なお、本発明は、複数の機器から構
成されるシステムに適用しても、１つの機器からなる装
置に適用してもよい。また、本発明は、システムあるい
は装置にプログラムを供給することによつて達成される
場合にも適用できることはいうまでもない。

【００８６】上述した実施例によれば、画像データから
生成した複数の帯域制限画像データの一つ以上から該画
像データに応じた画像の特徴を識別することができる。

【００８７】以上説明したように、本発明によれば、画
像の特徴を正確かつ容易に識別して、画像を領域分割す
ることができる。つまり、帯域制限後の複数の画像デー
タのうち、入力画像データの大局的なエッジ情報を有す
る画像データに基づき、入力画像データによって表され
る画像を領域分割するので、上述したブロック単位の判
定によって画像を領域分割する際に、ブロックサイズが
小さいと誤判定を生じ易い問題や、ブロックの境界に存
在するエッジの検出が困難といった問題を解決すること
ができる。

【図面の簡単な説明】

【図１】本発明に係る一実施例の画像処理装置の構成例
を示すブロツク図である。

【図２】本実施例のウエーブレツト変換回路の構成例を
示すブロツク図である。

【図３】本実施例のウエーブレツト変換回路の階層出力
例を周波数空間で表した図である。

【図４】本実施例のエツジ検出回路の構成例を示すブロ
ツク図である。

【図５】本実施例の文字領域検出回路の動作例を説明す
る図である。

【図６】本実施例の文字領域検出回路の構成例を示すブ
ロツク図である。

【図７】本実施例の膨張収縮回路の動作手順の一例を示
すフローチヤートである。

【図８】本実施例の膨張収縮回路の動作手順の一例を示
すフローチヤートである。

【図９】本発明に係る第２実施例の画像通信装置の構成
例を示すブロツク図である。

【図１０】第２実施例の符号化部の構成例を示すブロツ
ク図である。

【図１１】第２実施例の第２エツジ検出回路のエツジ画
素検出手順の一例を示すフローチヤートである。

【図１２】第２実施例の注目画素Ｘと周辺画素Ｅとの関
係を示す図である。

【図１３】第２実施例の色検出回路の構成例を示すブロ
ツク図である。

【図１４】第２実施例のＬＵＴの入出力の関係の一例を
示す図である。

【図１５】第２実施例の色文字判定回路の構成例を示す
ブロツク図である。

【図１６】第２実施例の二値系列変換回路の構成例を示
すブロツク図である。

【図１７】第２実施例の二値系列変換回路の出力する二
値系列データの一例を示す図である。

【図１８】第２実施例の色文字除去回路の構成例を示す
ブロツク図である。

【図１９】第２実施例の色文字除去回路の動作の一例を
説明する図である。

【図２０】第２実施例の直交変換符号化回路の構成例を
示すブロツク図である。

【図２１】第２実施例の復号部の構成例を示すブロツク
図である。

【図２２】本発明に係る他の実施例の画像記憶装置の構
成例を示すブロツク図である。

【符号の説明】

１画像入力回路２ウエーブレツト変換回路３エツジ検出回路４文字領域検出回路５膨張収縮回路１０１画像読取部１０２領域分離部１０３符号化部１０４復号部１０５画像出力部２５１第２エツジ検出回路２５２色検出回路２５３色文字判定回路２５４二値系列変換回路２５５算術符号化回路２５６色文字除去回路２５７直交変換符号化回路２５８送信回路５１受信回路５２算術符号復号回路５３逆直交変換回路５４平滑化回路５５合成回路

フロントページの続き (56)参考文献特開昭60−245084（ＪＰ，Ａ) 特開平３−252780（ＪＰ，Ａ) 特開昭63−298487（ＪＰ，Ａ) 国際公開91／19264（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 9/00 H04N 1/40

Claims

(57)【特許請求の範囲】

【請求項１】画像データを入力し、入力画像データに連続的に複数種類の空間フィルタ処理
を施すことで、前記入力画像データを異なる帯域制限が
施された複数の画像データに変換し、前記帯域制限後の複数の画像データのうち、前記入力画
像データの大局的なエッジ情報を有する画像データに基
づき、前記入力画像データによって表される画像を領域
分割することを特徴とする画像処理方法。
【請求項２】前記変換は、ウェーブレット変換である
こと特徴とする請求項1に記載された画像処理方法。
【請求項３】前記複数種類の空間フィルタ処理には、
ローパスフィルタ処理およびハイパスフィルタ処理が含
まれることを特徴とする請求項1に記載された画像処理
方法。
【請求項４】さらに、前記領域分割の結果を統合する
ことを特徴とする請求項1に記載された画像処理方法。
【請求項５】さらに、前記領域分割によって分割され
た第一の種類の領域に対応する画像部に対して第一の符
号化を施し、前記第一の種類とは異なる第二の種類の領
域に対応する画像部に対して、前記第一の符号化とは異
なる第二の符号化を施すことを特徴とする請求項1に記
載された画像処理方法。
【請求項６】画像データを入力する入力手段と、入力画像データに連続的に複数種類の空間フィルタ処理
を施すことで、前記入力画像データを異なる帯域制限が
施された複数の画像データに変換する変換手段と、前記帯域制限後の複数の画像データのうち、前記入力画
像データの大局的なエッジ情報を有する画像データに基
づき、前記入力画像データによって表される画像を領域
分割する分割手段とを有することを特徴とする画像処理
装置。