JPH0799581A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、各種画像が混在した入力画像を画像
の種類毎の領域に分割でき、各種画像種類に適した画像
データ圧縮により混在画像全体のデータ圧縮率を高める
と共に、画像の画質を向上させる画像処理装置を提供す
ることを目的とする。 【構成】本発明は、画像入力部１と、像域分離するカラ
ー画像／モノクロ画像変換部２と、変換されたモノクロ
画像を２値化する２値化部３と、２値化画像を縮小する
縮小処理部４と、入力画像を構成する２値、連続階調画
像などの構成要素の領域の境界を抽出する境界抽出部５
と、抽出した境界が生成する部分領域内の画像種類を判
定する画像種類判定部６と、データ圧縮処理部７とで構
成され、画像のエッジや黒画素パターンの発生頻度の偏
りに着目しパターン判定を効率的に行う前処理を施し、
前処理データをニューラルネットワークにより画像種類
判定で判定を行い、好適する圧縮により処理する画像デ
ータ圧縮処理装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力する活字、手書き
文字、写真、絵柄などの各種画像が混在した入力画像
（以下、混在画像と称する）を画像の種類毎の領域に分
割し、データ圧縮等の画像処理を行う画像処理装置に関
する。

【０００２】

【従来の技術】従来、文字，絵柄，写真等が混在した混
在画像（文書画像）の様な連続的に階調が変化する画像
（以下連続階調画像と称す）をディジタルデータとして
ファイリングする際に、それらのデータを蓄積するにし
ても通信を行うにしても、効率的データの伝送を行うた
めに、画像データにデータ圧縮が施されている。

【０００３】一般に混在画像は、撮像装置によって取り
込み、データ圧縮等の画像処理を行なう場合、文字、絵
柄、写真等の相対的に性質の異なる領域に分割して、各
画像領域に応じた処理を行なうのが望ましい。

【０００４】この混在画像から、文字列、絵柄、写真等
の各領域を分割する手法としては、画像全体を連結成分
に分解し、ある種の統合を行なって、連結成分の集合と
しての領域を設定する方法が一般に行われている。

【０００５】従来の技術としては、例えば、文献“文字
／絵柄（網点、写真）混在画像の像域分離方式”［電子
情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ７５−Ｄ−
ＩＩＮｏ．１ p.p.３９−４７ １９９２年１月］に記
載されるように、文字画像判定を行うために、まずエッ
ジ強調処理を行い、適当な閾値判定により３値化し、
黒，白画素が連続する箇所をパターンマッチングによっ
てエッジ領域を検出し、文字画像領域を判断する方式が
ある。

【０００６】また、特開昭６１−２９６４８１号公報に
記載されるような、入力された２値の文書画像を縮小化
し、近接した黒画素を統合して領域を検出するものもあ
る。

【０００７】これは図４９に示すように、文書を光学的
に走査し、光電変換することによって得られた２値の画
像（文書画像）を記憶する画像情報記憶部と、前記画像
情報記憶部に記憶された文書画像を小領域に分割し、各
小領域を１画素に縮小して記憶する縮小画像記憶部と、
前記縮小画像を文字列方向に走査して、近接した黒画素
を統合する黒画素統合処理部と、前記黒画素統合処理部
で得られた画像において、黒画素の連結した領域を画像
領域として検出する領域検出部とから構成されている。

【０００８】前記画像情報記憶部に記憶された２値の文
書画像は、所定の画素数からなる小領域に分割され、各
小領域中での黒画素の数が所定の閾値以上であれば黒画
素を、閾値未満であれば白画素を割り当て、縮小画像記
憶部２に記憶される。

【０００９】また、黒画素統合処理部では、前記縮小画
像を文字列方向に走査して、所定の閾値より短い白ラン
を黒ランに変換することによって近接した黒画素を統合
する。領域検出部では、前記黒画素統合処理部で得られ
た画像において黒画素の連結した領域を画像領域として
検出する。これにより、文書中に含まれる画像領域の検
出を行なうことができる。

【００１０】また、従来画像情報処理システムの処理機
能として、入力した混在画像を画像種類ごとに分類して
ディジタルデータに変換する処理が行われている。

【００１１】この処理は、混在画像をディジタルデータ
で蓄積メディアに保存する際に、画像種類ごとに最大効
率でデータを圧縮できる圧縮方法を適用し、総合的デー
タ量を、所望される情報の品質を維持しつつ、最大限削
減することが目的の一つにある。また文字、線画などの
２値階調画像と写真などの連続階調画像を分類してそれ
ぞれに２値画像表現された画像がより良好であるように
２値化処理方法を適応的に選択することを目的としてい
るものもある。

【００１２】前記混在画像の中から画像種類ごとの記載
領域を分割し、分類する処理方法は種々考案されてい
る。これらの多くは画像の種類によって呈する特徴量を
抽出して、その特徴量を定められた評価関数または判定
関数で判断し、画像種類を決定している。画像におい
て、所定ブロック領域内での黒画素の発生頻度やエッジ
の発生頻度、輝度レベルのヒストグラム、空間周波数分
布、線分の方向度分布などを特徴量としているものが従
来例として多い。

【００１３】また本発明においても特徴量として利用す
る入力画像の濃度勾配の度数分布を特徴量としている
例、特公平４−１８３５０号公報がある。この分類処理
方法では、入力画像であるディジタル画像の水平方向、
垂直方向に対して画素単位毎に濃度勾配を求め、求めた
水平、垂直濃度勾配の値から算出される方向を、分割さ
れた小領域内で計数して、その度数分布を求めている。
度数分布から度数の分散を算出して、分散と所定閾値と
の閾値判定により文字領域であるか否かを判断し決定し
ているものである。

【００１４】

【発明が解決しようとする課題】前述した従来の手法に
よる画像データの分類が良好に行われるには、入力され
た画像データがノイズ等を含まない比較的良好な状態の
理想的な画像データを対象としている。しかし実際に
は、入力画像データに照明ムラやファイル原稿の汚れ等
が入り込む場合が多く、このような画像内で部分的にコ
ントラストの低下やノイズの発生し、黒画素検出やエッ
ジ抽出が不安定になる。従って、不安定な黒画素検出や
エッジ抽出をパラメータとして用いた従来の手法では、
正確な画像種類の判定が非常に難しくなる。

【００１５】さらに前述した混在画像の領域分割におい
て、画像領域の端部が欠けることなく領域分割を行なう
ためには、画像を縮小化する際に文字の端点等のエッジ
部分を忠実に反映させることが要求される。しかしなが
ら、従来の技術では取り込んだ２値の混在画像を小領域
に分割し、各小領域中の黒画素の数が所定の閾値以上の
場合に黒画素を割り当てていたので、閾値が‘０’より
大きいと、小領域が画像領域の端にかかった場合に領域
が検出されずに、一部が欠けてしまうことや、また閾値
を‘０’にするとノイズを多く拾ってしまい、正しい分
割が出来ないという欠点を有していた。

【００１６】さらに、黒白の反転した混在画像では、文
書全体が大きな領域として抽出されてしまうといった欠
点も有していた。

【００１７】また、前述した濃度閾値から算出される方
向の分布は、画像のエッジ部分の方向性分布をよく反映
できる。従って垂直・水平方向にエッジ成分を多く含む
活字体文字の画像に限って、それ以外の画像との差異が
顕著になるので、被判定画像が活字体文字か否かを決定
するには有効な特徴量である。さらにこの特徴量から判
定を下す評価基準として分布の分散を用いていること
は、エッジの方向性の偏りを観察することになり、また
分散の算出そのものが計算的負荷が比較的軽いので実用
的である。

【００１８】しかし、濃度勾配の方向分布に対する分散
だけを閾値判定しても、例えば、輝度（濃度）レベルの
範囲が狭くなっている所謂コントラストが低い画像であ
ったり、判定対象小領域に対し文字のエッジ部分占める
割合が小さい場合であったり、文字そのものの線の太さ
が細かったりする場合では、たとえそれが活字体文字画
像であっても分散が小さくなり、明確な判定が困難にな
る。なぜなら背景が呈する濃度勾配の方向分布が頻度と
して多くなり、文字部分が呈するそれと相対的に差異が
認められなくなるためである。背景が示す濃度勾配の方
向分布は通常方向依存性はないので、文字部のエッジの
方向分布の方向依存性が背景の分布に埋もれてしまう。

【００１９】さらには、活字体文字画像に限らず多種画
像（手書き文字・写真・絵柄・背景）を選択して分類し
ようとすると、濃度勾配の方向分布の分散を観察しただ
けでは全く区別できないという問題点があった。

【００２０】そこで本発明は、各種画像が混在した入力
画像を画像の種類毎の領域に分割でき、各種画像種類に
適した画像データ圧縮等を行うことに当たって好適とな
る画像処理装置を提供することを目的とする。

【００２１】

【課題を解決するための手段】本発明は上記目的を達成
するために、種々の情報が混在した画像を入力する画像
入力手段と、前記画像入力手段から出力された画像デー
タを２値化画像データに変換する２値化手段と、前記２
値化手段からの２値化画像データを縮小画像データにす
る縮小手段と、前記縮小手段から出力された縮小画像デ
ータから画像を構成する連続要素領域を抽出する構成要
素領域抽出手段と、前記構成要素領域抽出手段により抽
出された連続要素領域の所定領域ごとに、予め情報によ
り分類された画像種に基づき、画像の種類を判定する画
像種類判定手段と、前記抽出された領域と判別された画
像種によって好適するデータ圧縮方式を選択し、前記画
像入力手段からの画像データを圧縮するデータ圧縮手段
とで構成された画像処理装置を提供する。

【００２２】そして文字、絵柄および写真等が混在する
混在画像から、文字列、絵柄、写真等の各領域を分割す
る画像処理装置において、前記混在画像を記憶する画像
メモリと、前記画像メモリに記憶された混在画像からエ
ッジを抽出し、２値画像に変換するエッジ抽出・２値化
処理手段と、前記２値画像を所定数の画素からなる小領
域に分割し、各小領域を１画素に縮小する縮小画像処理
手段と、前記縮小画像中の黒画素領域を統合し、ブロッ
ク化するブロック処理手段と、前記ブロック処理手段の
ブロック化により連結した黒画素の存在範囲から画像領
域外接矩形の対角座標を求める矩形領域抽出手段とで構
成された画像処理装置を提供する。

【００２３】また、文字，絵柄および写真等が混在する
混在画像をディジタル化し蓄積する画像フレームメモリ
と、前記画像フレームメモリから出力される画像データ
を同種類毎の画像領域に分割して、同種画像領域の位置
並びに大きさを出力する同種画像領域分割手段と、前記
同種画像領域内を所定の大きさの小領域に選択抽出し、
該小領域の位置、大きさを出力する探索ブロック領域選
択手段と、前記探索ブロック領域選択手段により選択さ
れた小領域に対応する画像データを判定対象領域として
前記画像フレームメモリより読み出し、一時蓄積する判
定対象ブロック画像メモリと、前記判定対象領域の画像
データから水平方向の差分値データ及び垂直方向の差分
値データを検出する水平・垂直差分検出手段と、前記水
平・垂直差分データにより輝度修正のための修正パラメ
ータを算出し、前記修正パラメータに基づき、前記判定
対象領域の画像データから修正された輝度レベルを算出
する輝度レベル修正処理手段と、前記水平・垂直差分検
出手段からの水平・垂直差分値データ、及び前記輝度レ
ベル修正処理手段からの修正輝度レベルデータをベクト
ル量子化するベクトル量子化手段と、前記ベクトル量子
化手段からの量子化ベクトルの各成分の計数を行う量子
化ベクトル計数手段と、計数された量子化ベクトルの成
分を入力とし、所定の画像種類を出力するニューラルネ
ットワーク（神経回路網）と、出力される画像種類の判
定結果を評価し決定して、前記同種画像領域の位置及び
大きさのデータと合わせて決定した画像種類を出力する
画像種決定手段とで構成された画像処理装置を提供す
る。

【００２４】さらに、入力した画像信号をデジタル画像
データに変換する画像入力手段と、前記入力した画像信
号内から所定の大きさで小領域を選択抽出する判定対象
領域選択部と、判定対象領域の画像データから隣接する
画素の所定数（Ｎ）の画素からなる局所画素パターンを
検出する局所画素パターン検出手段と、前記局所画素パ
ターンをＮ次元空間上でベクトル量子化するベクトル量
子化手段と、前記ベクトル量子化手段により量子化され
た代表ベクトルに対してその発生頻度を計数してヒスト
グラムを算出するヒストグラム生成手段と、前記ヒスト
グラム生成手段により求められた量子化ベクトルヒスト
グラムを入力として、その分布形状を識別して所望する
画像種類を出力する画像種識別手段と、前記識別結果を
得て、画像種類を決定する画像種決定手段とで構成され
た画像処理装置を提供する。

【００２５】

【作用】以上のような構成の画像処理装置は、画像入力
部により画像データが２値化処理部に入力される。前記
２値化処理部では、エッジ抽出かまたは黒画素抽出が行
われた後に２値化し、その２値化データは構成領域の境
界抽出を容易にするために縮小処理部に入力され、縮小
処理が施される。縮小処理部から出力された縮小２値画
像は、連続する構成要素の領域を抽出する構成要素領域
抽出手段に入力され、領域が抽出される。抽出された構
成要素の部分領域に対し、逐次画像種類判定処理が施さ
れ画像種類の判定がなされ、それぞれに好適するデータ
圧縮処理がなされる。

【００２６】また、本画像処理装置は、入力された、異
なる画像の種類、例えば活字体文字、手書き文字、写
真、絵柄画像などが混在する画像（文書画像）からエッ
ジを抽出し、２値化画像処理が施される。その２値画像
を所定数の画素からなる小領域に、画像領域の端部が欠
けることなく、また、黒白の反転した混在画像に対して
も、効率よく分割されて、各小領域が１画素に縮小さ
れ、縮小画像中の黒画素領域を統合しブロック化され
る。前記ブロック化により連結した黒画素の存在範囲か
ら画像領域外接矩形の対角座標を求められ、同種画像領
域毎に分割される。

【００２７】さらに本画像処理装置は、入力した混在画
像が同種画像領域毎に的確に分割され、同種画像領域内
に判定対象領域を定めて、例えば水平差分値，垂直差分
値、修正輝度レベルの３つのパラメータがなす３次元直
交空間に分布する形状をベクトル量子化によりパターン
化してモデル化し、そのモデル化された分布パターンを
ニューラルネットワークで認識して画像種類が判定さ
れ、混在画像が像域分離される。

【００２８】また本画像処理装置は、混在画像の各分割
領域に対し、所定の小ブロック単位で特徴パターンを検
出し、その特徴パターンの生起確率分布をニューラルネ
ットワークで識別し判定される。この特徴パターンの特
徴量は、画像の隣接する画素の複数（Ｎ）からなる例え
ば、輝度パターンを所定小ブロック内で漏れなく検出さ
れ、検出された輝度パターンをＮ次元ベクトルと見なし
て、Ｎ次元空間において、ベクトル（輝度パターン）の
ベクトル量子化が行われる。そして量子化された所定数
の代表ベクトルに対して、それぞれ発生度数分布を計数
して、発生度数分布の形状を識別する目的で各量子化ベ
クトルの発生度数を並列して、例えば画像種識別手段と
してのニューラルネットワークに入力され、分布形状に
対応する画像種識別結果が出力される。

【００２９】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００３０】図１には、本発明による第１実施例として
の画像データ圧縮装置の構成を示し説明する。

【００３１】この画像データ圧縮装置において、画像入
力部１は光学系１ａと、例えばＣＣＤ等の固体撮像素子
１ｂとで構成され、入力する２値画像または連続階調画
像から成るカラー画像をディジタル画像データに変換し
て取り込む。

【００３２】前記画像入力部１から出力される画像デー
タは、カラー／モノクロ変換処理部２に入力され、取り
込んだカラー画像から輝度（明度）成分のみのデータに
変換されモノクロ画像データに変換し出力する。これは
画像種類を特定して領域を抽出する像域分割を行う上
で、初期段階で扱うデータ量を削減し、以後の処理を簡
単化することにある。

【００３３】前記カラー／モノクロ変換処理部２から出
力されるモノクロ画像データは、２値化処理部３に入力
され、２値化処理が施される。前記２値化処理部３で
は、黒画素抽出処理またはエッジ抽出処理が行われる。

【００３４】ここで、前述した処理を図２及び図３を参
照して具体的に説明する。

【００３５】図２には、黒画素抽出の処理を行う構成を
示す。

【００３６】まずモノクロ画像データは、差分演算処理
部１１，１２により、画像の水平方向と垂直方向のそれ
ぞれに対し、所定の画素間単位毎に差分処理が行われ
る。この差分処理で得られたデータに対して、適切な閾
値を設定して、差分データの絶対値がその閾値以下のと
き‘０’とし、それ以外は‘１’とする２値化処理を２
値化処理部１３，１４で行う。

【００３７】そして合成部１５により、水平，垂直の各
２値化データの論理和（排他的論理和）をとり、再び水
平、垂直方向のデータに分離して黒画素再生部１６，１
７にて連続する‘０’を挟んだ‘１’と‘１’の間を全
て‘１’にする。

【００３８】その結果得られる水平、垂直方向の２値化
データを、さらに合成部１８で論理和をとり、黒画素ビ
ットマップを得る。

【００３９】次に図３を参照して、２値化処理部３で行
う２値化処理のもう１つの手法及び、エッジ抽出処理の
一例を説明する。前記黒画素ビットマップを生成したの
と同様に、モノクロ画像データは、画像の水平方向と垂
直方向それぞれに対して、所定の画素間単位毎に差分演
算処理部２１，２２で差分処理が行なわれる。

【００４０】これらの差分処理で得られたデータに対
し、適切な正又は負の閾値を設定して、差分データがそ
の正の閾値以下の時、又は負の閾以上の時‘０’とし、
正の閾値以上の時、又は負の閾以下の時は‘１’とする
２値化処理を２値化処理部２３，２４で行う。ここでこ
の様にするのは、正負２対の差分値から成る２値線分の
一方のエッジのみを抽出するためである。これは文字画
像等で、その線分の太さの変化に対する特徴パラメータ
の依存性を軽減するためである。水平、垂直方向それぞ
れの２値化データの論理和（排他的論理和）を合成部２
５でとり、エッジ抽出による２値化画像データを得る。

【００４１】次に図１に戻り、全体の処理の流れを再び
説明する。

【００４２】前記２値化処理部３から出力された２値画
像データは、縮小処理部４に入力され、縮小処理を行
う。縮小処理は適当な間隔で画素の単純間引きによって
実現する。この縮小処理によって２値画像データは、行
間等の画像を構成する要素が無い領域と構成要素がある
領域との分離がより明確になる。

【００４３】そしてデータ自体の削減が実行され、処理
負荷が低減される。縮小処理部４からの出力は、連続構
成要素領域の境界抽出部５に入力される。この境界抽出
は、例えば、図４に示す構成によって処理が実現され
る。

【００４４】まず、間引き処理部２６から出力された２
値化データは、ＬＰＦ（ローパスフィルタ）２７を通過
して、エッジ部の平滑化処理が行われ、平滑化処理によ
って得られたデータは、エッジ抽出部２８で閾値判定に
よるエッジ抽出が行われる。

【００４５】ここで抽出されたエッジデータにより、境
界線算出部２９により、水平線垂直線で直線近似を行い
連続構成要素領域の境界を算出することができる。この
直線近似は、例えば、最小自乗法による近似を用いるこ
とができる。結果として、複数の構成要素毎の矩形領域
を得る。

【００４６】次に連続構成要素領域の境界抽出部５から
出力された領域データに基づき、画像種類判定部６によ
り、領域毎の画像種類が随時判定される。

【００４７】画像種類の判定において、図５を参照して
具体的に説明する。図５（ａ）は事前に画像種類の違い
による特徴を統計データより抽出して判定時の評価基準
を判定する過程を示す。図５（ｂ）は求めた評価基準を
使って実際の画像種類の判定を行う際の過程を示す。図
５（ａ）のエッジ抽出部３１は、図１で説明された２値
化処理部３に対応する。

【００４８】抽出されたエッジデータは、元々の入力画
像に照明ムラ等があった場合にそれらを削減する効果が
ある。また図３で説明したエッジ抽出手法を使えば、文
字画像等を構成する線分の太さに対する依存性が小さい
特徴パラメータとすることができる。エッジ抽出部３１
から出力された２値化画像データは、所定のブロック単
位で統計的に複数サンプルし、ＫＬ変換部３２でＫＬ変
換が施される。ＫＬ変換部３２ではブロックを構成する
画素数の正規直交ベクトルで表されているブロック単位
の２値化画像データを無相関データになるように変換
し、その基底ベクトルを基底ベクトル抽出部３３で算出
する。

【００４９】その基底ベクトル算出の対象となる２値化
画像データは画像種類が混在した画像標本を用いる。従
って各種画像が混ざった画像データの任意のブロックデ
ータを使用する。算出した基底ベクトルは内積演算部３
４に入力され、エッジ抽出部３１から出力される２値化
画像データとブロック単位で内積演算が行われる。内積
演算されたデータは、算出基底ベクトル毎の成分値を示
し、各種画像に応じた特徴量が得られる。得られた基底
ベクトル毎の内積結果である特徴量をニューラルネット
ワーク部３５に入力する。

【００５０】前記ニューラルネットワーク部３５に入力
する入力数は、前記基底ベクトル数としてもよいが、特
徴量を顕著に表すベクトルから優先的に選択して有効な
ベクトルのみをニューラルネットワークの入力としても
よい。ニューラルネットワークは階層型ネットワークを
用いる。ニューラルネットワークの出力は判定したい画
像種類の数として、教師データ入力部３６から教師デー
タが人為的にサンプルしたブロックデータ毎に入力さ
れ、学習がなされる。学習は一般的な逆伝搬法を用いれ
ばよい。

【００５１】ブロック領域単位の事前学習によって構築
されたネットワークは、２値化画像データの画像種類の
違いによる２値化パターンベクトルの判定回路である。
この判定回路に２値化パターンデータを入力することで
画像種類の判定を実行することができる。ＫＬ変換によ
って求めた各ベクトルの特徴量の判定にあえてニューラ
ルネットワークを用いるのは、特徴量の微妙な違いをよ
り精度よく判定するためである。

【００５２】そして図５（ｂ）で示す実際の判定では、
エッジ抽出部３１の出力が内積演算部３４に入力され、
エッジ抽出部３１から出力される２値化画像データとブ
ロック単位で先に求めた基底ベクトルとの内積演算が行
われる。その出力は事前学習にて構築したニューラルネ
ットワーク３５に入力され画像の種類が判定され、判定
した画像の種類を出力する。

【００５３】図１の構成図において、画像種類判定部６
から出力される画像種類判定結果のデータはデータ圧縮
部７に加えられて、データ圧縮方法が選択され、画像入
力部１からの出力画像を該当するデータ圧縮方法でデー
タ圧縮が行われる。当然ながら境界抽出部５から出力さ
れる領域の位置及びサイズデータと共に画像データが存
在する部分のデータのみ選択的にデータ圧縮が施され
る。従ってデータ圧縮部からの出力は、画像データが存
在する複数の部分領域の位置とサイズのデータと各領域
の画像種別データと各領域の圧縮データとなる。

【００５４】以上詳述したように本実施例の画像圧縮装
置では、照明ムラ等の外乱が存在して入力される混在画
像において、外乱に影響され難い２値化パターンを最適
座標軸変換とニューロ判定を効果的に行使する構成の画
像データ圧縮装置を提供することにより、混在画像ファ
イルの総データ数が削減され、且つ画像種ごとの像域分
割を精度よく実行することができる。

【００５５】また、この第１実施例によれば、初期段階
において、２値化と縮小処理を行い像域分割を行い、扱
う画像データ並びに画像種類の判定箇所が少なくて済む
ため、演算処理の負荷低減が図られハード化を容易に
し、実現性が高い画像データ圧縮装置である。

【００５６】次に図６には本発明による第２実施例とし
ての画像処理装置の領域分割の概念を示し説明する。

【００５７】この画像処理装置において、撮像装置等に
よって取り込まれた文書画像を記憶する画像メモリ４５
と、前記画像メモリ４５によって記憶された文書画像か
らエッジ抽出して２値化するエッジ抽出・２値化処理部
４６と、前記エッジ抽出・２値化処理部４６で２値化さ
れた文書画像を縮小化する縮小画像処理部４７と、前述
した縮小画像中の近接した黒画素を連結してブロック化
するブロック処理部４８と、前述したブロック処理画像
中の連結した黒画素の存在範囲から外接矩形の対角座標
を求める矩形領域抽出部４９とで構成される。

【００５８】次に図７には、第２実施例の画像処理装置
のさらに具体的な構成を示し説明する。

【００５９】前記エッジ抽出・２値化処理部４６におい
て、図示しない撮像装置によって取り込まれ、画像メモ
リ４５に記憶された２４ビットフルカラー文書画像を８
ビット白黒階調画像に変換する輝度変換回路５０と、白
黒階調画像を記憶する階調画像メモリ５１と、前記階調
画像メモリ５１に記憶された白黒階調画像を横方向に走
査し、差分をとる横方向差分処理回路５２と、前記差分
値を２値化する２値化処理回路５３と、前記横方向差分
２値画像を記憶する横方向２値画像メモリ５４、縦方向
の同様の操作を行なう縦方向差分処理回路５５と縦方向
２値画像メモリ５６と、前記２値画像メモリ５４、５６
に記憶された２値画像の論理和をとり、エッジ２値画像
を得る論理和演算回路５７と、前記論理和演算結果の２
値画像を記憶する２値画像メモリ５８とで構成される。

【００６０】そして前記縮小画像処理部４７において
は、前記２値画像メモリ５８に記憶された２値画像を縮
小する縮小画像処理回路５９と、前記縮小画像を記憶す
る縮小画像メモリ６０と、前記縮小画像メモリ６０に記
憶された縮小画像中の弧立点等を除去するフィルタ処理
回路６１とで構成される。

【００６１】さらにブロック処理部４８においては、前
記フィルタ処理回路６１からのフィルタ処理画像を縦横
に走査し、所定値以上の長さを持つ白ラン（長白ラン）
を検出する長白ラン検出回路６２と、検出された長白ラ
ンを記憶するブロック画像メモリ６３と、前記ブロック
画像メモリ６３に記憶されたブロック画像にラベリング
を施すラベル処理回路６４とで構成される。

【００６２】そして、矩形領域抽出部４９においては、
ラベル処理回路６４によって、同一のラベルを付与され
た黒画素の存在範囲から各ブロックの外接矩形対角座標
（アドレス）を抽出するアドレス抽出回路６５と、抽出
されたアドレスを記憶するアドレスメモリ６６、前記ア
ドレスメモリ６６に記憶されたアドレスを縮小化する前
の画像のアドレスに変換するアドレス変換回路６７とで
構成される。

【００６３】このように構成された画像処理装置におい
て、撮像装置によって取り込まれ、画像記憶メモリ４５
に記憶された２４ビットフルカラー文書画像は、輝度変
換回路５０によって８ビット白黒階調画像に変換され、
階調画像メモリ５１に記憶される。輝度変換回路５０と
しては種々のものが考えられる。例えば、ＲＧＢそれぞ
れに所定の値を乗じてその総和をとるような構成とす
る。横方向差分処理回路５２では、階調画像メモリ５１
に記憶された白黒階調画像を横方向に走査して差分をと
り、２値化処理回路５３で差分値を２値化して横方向２
値画像メモリ５４に送る。

【００６４】このような操作について図８を用いて説明
する。

【００６５】図８は、文書画像の一部を拡大して示した
一部画像６８と、一部画像６８に対応する部分の階調画
像データ６９と、横方向２値画像メモリ５４に記憶され
た一部画像６８に対応する部分の２値画像７０とを示し
ている。

【００６６】前記一部画像６８では、１つのマスが１画
素を表しており、前記階調画像データ６９は、階調画像
メモリ５１に記憶された一部画像６８に対応する部分の
階調画像データを横方向に走査して隣接画素の差分をと
り、例えば、差分値が５０を越えたときにその部分をエ
ッジと見なして、輝度の小さい方の画素の１（黒）を割
り当てて２値化し、横方向２値画像メモリ５４に記憶さ
せる。

【００６７】同様に、縦方向差分処理回路５５では、縦
方向に差分をとって２値化し、縦方向２値画像メモリ５
６に送る。また論理和演算回路５７では、前記横方向２
値画像メモリ５４、縦方向２値画像メモリ５６に記憶さ
れた差分２値画像の論理和をとり、得られたエッジ２値
画像は２値画像メモリ５８に記憶される。

【００６８】そして縮小画像処理回路５９では、例え
ば、２値画像メモリ５８に記憶された５１２×５１２画
素からなる２値画像を縦横８画素からなる６４×６４個
の小領域に分割する。そして各小領域中で黒画素（値が
１の画素）を検出し、検出されれば‘１’とし、検出さ
れなければ‘０’とした画素の値で縮小画像を形成し、
縮小画像メモリ６０に記憶する。

【００６９】次にフィルタ処理回路６１では、縮小画像
メモリ６０に記憶された縮小画像にフィルタをかけ、縮
小画像中のノイズを除去する。フィルタとしては種々の
ものが考えられるが、例えば、図９に示すような３×３
の弧立点除去フィルタ７１を用いる。これは、注目画素
の８近傍の画素の値が同じとき、注目画素の値を近傍の
画素の値と同じにするものであり、左上から右下に向か
って順次走査する事によって弧立点を除去することが出
来る。長白ラン検出回路６２では、前記フィルタ処理後
の縮小画像を縦横に走査して、例えば、１６画素以上の
長さを持つ白ラン（長白ラン）を検出し、検出された部
分には‘０’（白画素）、それ以外の部分については
‘１’（黒画素）を割り当てることによって黒画素領域
を統合し、ブロック画像を生成して、ブロック画像メモ
リ６３に記憶する。

【００７０】そしてラベル処理回路６４では、ブロック
画像メモリ６３に記憶されたブロック画像を走査して各
画素の連結状態を調べ、例えば、４連結している画素に
は同じラベルを付与することによってラベリングを行
う。

【００７１】このラベリング操作について図１０を用い
て説明する。

【００７２】図１０において、文書画像中の注目画素ｘ
とその近傍を拡大して示したものである。これまでの処
理で画像は２値化され、白画素は０、黒画素は１で与え
られている。いま、注目画素をｘ（ｉｍａｇｅ［ｉ］
［ｊ］）、その上の画素をａ（ｉｍａｇｅ［ｉ］［ｊ−
１］）、左隣の画素をｂ（ｉｍａｇｅ［ｉ−１］
［ｊ］）とし、以下の条件に従ってラベリングを行な
う。（１）ｘ＝０ならばｘにはラベル０を与える。 （２）ａ＝ｂかつａ＝０ならば、ｘには新しいラベルを
与える。 （３）ａ＝ｂかつａ≠０ならば、ｘにはａと同じラベル
を与える。 （４）ａ＞ｂかつｂ＝０ならば、ｘにはａと同じラベル
を与える。 （５）ａ＞ｂかつｂ≠０ならば、ｘにはｂと同じラベル
を与え、ａと同じラベルをもつ全ての画素のラベルをｂ
のラベルと同じにする。 （６）ａ＜ｂかつａ＝０ならば、ｘにはｂと同じラベル
を与える。 （７）ａ＜ｂかつａ≠０ならば、ｘにはａと同じラベル
を与え、ｂと同じラベルをもつ全ての画素のラベルをａ
のラベルと同じにする。 但し、注目画素が画像上端のときはａ＝０、画像左端の
ときはｂ＝０とする。

【００７３】この処理を画像左上から順次行なうことに
よって、ラベリングが完了する。

【００７４】次にアドレス抽出回路６５では、前記ブロ
ック画像メモリ６３に記憶されたラベリング済みのブロ
ック画像を走査し、図１１に示すように、同一のラベル
を付与された画素の座標の横方向最小・最大値（ｘ_sn，
ｘ_en）、および、縦方向最小・最大値（ｙ_sn，ｙ_en）を
検出し、画像領域の外接矩形対角座標（左上座標
（ｘ _sn，ｙ_sn）、右下座標（ｘ_en，ｙ_en））としてアド
レスメモリ６６に記憶する。アドレス変換回路６７で
は、アドレスメモリ６６に記憶されたアドレスを縮小画
像処理回路５９での縮小率に応じて拡大変換することに
よって、縮小化する前の画像のアドレスに変換する。

【００７５】例えば、縮小画像処理回路５９での縮小率
が１／８の場合、以下の式によってアドレス変換を行な
い、アドレスメモリ６６の内容を書き換える。

【００７６】 ｘ_s ′＝ｘ_s ×８ ｙ_s ′＝ｙ_s ×８ ｘ_e ′＝（ｘ_e ＋１）×８−１ ｙ_e ′＝（ｙ_e ＋
１）×８−１ こうして、アドレスメモリ６６に記憶された外接矩形対
角座標と画像メモリ４５に記憶された元の画像とを領域
分割処理結果として出力する。

【００７７】次に図１２乃至図１４には、本実施例にお
ける各処理過程の出力画像を示す。

【００７８】図１２乃至図１４において、画像メモリ４
５に記憶される、文字と写真からなる領域分割対象文書
画像７３と、２値画像メモリ５８に記憶されたエッジ抽
出・２値化処理画像７４と、縮小画像メモリ６０に記憶
された縮小処理画像７５と、ブロック画像メモリ６３に
記憶されたブロック処理画像７６と、アドレスメモリ６
６に記憶されたアドレスによって、画像メモリ４５に記
憶された文書画像の画像領域分割結果を示した画像７７
とを示す。

【００７９】これにより、画像領域の端部が欠けること
なく領域分割することができる。また、画像を矩形領域
で切り出すので、文書画像の領域分離を効率的に行なう
ことができる。

【００８０】この第２実施例の画像処理装置は、画像の
縮小処理を行なう前に隣接画素の輝度の差分を利用した
エッジ抽出・２値化を行なっているため、文字の端点等
のエッジ部分を縮小画像に忠実に反映させることがで
き、画像領域の端部が欠けることなく、また、白黒の反
転した文書画像に対しても、効率よく画像領域を分割す
ることができる。

【００８１】また、この画像処理装置は、縮小画像に対
して弧立点除去フィルタをかけることによって、誤分割
の原因となる余計な黒画素を消去しているので、効率よ
く画像領域を分割することが可能となる。さらに、ブロ
ック処理部では、長白ランを検出することによって黒画
素領域をブロック化しているので、予め文字列方向がわ
かっていない場合でも、画像を走査して短い白ランを検
出し、それを黒ランに置き換えて論理積をとるといった
処理が不要となり、効率よく画像領域を分割することが
可能となる。また本実施例では、ブロック化した黒画素
にラベリングを行なっているので、黒画素の連結状態が
簡潔に表現され、効率よく画像領域を分割することが可
能となる。

【００８２】次に図１５には、本発明による第３実施例
としての画像処理装置について説明する。この画像処理
装置は、前述した第２実施例の図７におけるエッジ抽出
・２値化処理部４６のみを変形し、他の構成部は同等で
あり、ここではエッジ抽出・２値化処理部４６のみを説
明する。なお、本実施例の構成部で図７に示した構成部
と同等なものには同じ参照符号を付してその説明を省略
する。

【００８３】図１５において、階調画像メモリ５１に記
憶された白黒階調画像を横方向に走査し、比をとる横方
向除去処理回路７８、前記比の値を２値化する２値化処
理回路７９、縦方向に横方向除去処理回路７８と同様の
操作を行なう縦方向除算処理回路８０が設けられてい
る。

【００８４】このように構成された画像処理装置におい
て、横方向除算処理回路７８では、階調画像メモリ５１
に記憶された白黒階調画像を横方向に走査して比をと
り、２値化処理回路７９で比の値を２値化して横方向２
値画像メモリ５４に送る。

【００８５】この２値化操作について図１６を用いて説
明する。

【００８６】図１６は、文書画像の一部を拡大した一部
画像６８と、一部画像６８に対応する部分の階調画像デ
ータ６９と、一部画像６８に対応する部分の２値画像８
１とを示す。

【００８７】図１６において、一部画像６８は、文書画
像の一部を拡大したもので、１つのマスが１画素を表し
ている。階調画像データ６９は、階調画像メモリ５１に
記憶された一部画像６８に対応する部分の画像データで
あり、一部画像６８に対応する部分の２値画像である。
この２値画像を図に示すように横方向に走査して隣接画
素の輝度の大小を調べ、その比をとる。そして、例え
ば、比の値が０．９未満であったときに、輝度の小さい
方の画素に‘１’（黒）を割り当てて２値化し、横方向
２値画像メモリ５４に記憶させる。そして２値画像は、
横方向２値画像メモリ５４に記憶された一部画像６８に
対応する部分であり、同様に縦方向除算処理回路８０で
は、縦方向に比をとって２値化し、縦方向２値画像メモ
リ５６に送る。

【００８８】次に、前述した第２実施例と同様の処理に
よって行う領域分割について説明する。図１７乃至図１
９は、本実施例における各処理過程の出力画像を示す。

【００８９】図１７乃至図１９において、領域分割対象
文書画像８２は、画像メモリ４５で記憶される文字と写
真からなる。また２値化処理画像８３は、２値画像メモ
リ５８に記憶された２値化処理画像であり、縮小処理画
像８４は、縮小画像メモリ６０に記憶された縮小処理画
像である。そしてブロック処理画像８５は、ブロック画
像メモリ６３に記憶されたブロック処理画像であり、領
域分割画像８６は、アドレスメモリ６６に記憶されたア
ドレスによって、画像メモリ４５に記憶された文書画像
の画像領域分割結果を示した画像である。

【００９０】このような画像処理により、画像領域の端
部が欠けることなく領域分割することができる。また、
画像を矩形領域で切り出すので、文書画像の領域分離を
効率的に行なうことができる。

【００９１】従って、この第３実施例の画像装置では、
画像の縮小処理を行なう前に、隣接画素の輝度の比を利
用したエッジ抽出・２値化を行なっており、文字の端点
等のエッジ部分を縮小画像に忠実に反映させることがで
き、画像領域の端部が欠けること、効率よく画像領域を
分割することが可能となる。さらに、本実施例では、隣
接画素の輝度比の大きさに基づいた２値化を行なってい
るので、シェーディングのかかった文書画像の領域分割
も可能となる。

【００９２】例えば、原画像パターンをＧ、照度パター
ンをＦ、観測される画像パターンをＹとすると、ＹはＦ
とＧの積（Ｙ＝Ｆ×Ｇ or log Ｙ＝log Ｆ＋log Ｇ）に
よって表される。従って、照度パターンＦの変化が観測
画像パターンＧの変化に比較して十分緩やかであれば、
シェーディングのかかった画像でも隣接画素の輝度比は
保存されていると考えることができる。

【００９３】これに対し、隣接画素の輝度差は保存され
ず、暗部では小さく、明部では大きくなるので、暗部で
はエッジが正しく検出されなくなる。すなわち、隣接画
素の輝度差ではなく、輝度比をとることによって、エッ
ジ抽出を行なうことにより、強いシェーディングのかか
った文書画像の領域分割も可能となる。さらに本手法で
は、輝度の低い部分では僅かな輝度の変化も検出される
ので、エッジのみならず、輝度変化のある低輝度部分も
同時に抽出することができる。

【００９４】なお、同様な効果を得るための変形例とし
て、図７におけるエッジ抽出・２値化処理部４６を図２
０に示すような構成とすることにより可能になる。これ
は、輝度の比をとる代わりに、対数処理回路８７によっ
て対数輝度を求め、これに所定値を乗じて階調画像メモ
リ５１に記憶しておき、これを縦横に走査して差分をと
り、２値化するものである。

【００９５】このような２値化操作について図２１を用
いて説明する。

【００９６】図２１において、対数輝度データ８８は、
階調画像メモリ５１に記憶された６８に対応する部分の
対数輝度のデータであり、これを図に示すように横方向
に走査して隣接画素の差分をとり、例えば、差分値が５
を越えたときに対数輝度の小さい方の画素に‘１’
（黒）を割り当てて２値化し、横方向２値画像メモリ１
４に記憶させる。２値画像４１は、横方向２値画像メモ
リ１４に記憶された一部画像６８に対応する部分の２値
画像である。以下、第１実施例と同様の処理を行ない、
図１５と同様の効果を得ることができる。

【００９７】次に図２２には、本発明による第４実施例
としての画像処理装置の構成を示し説明する。この第４
実施例においては、第２実施例の図７に示したエッジ抽
出・２値化処理部４６を変形し、他の構成部は同じ構成
とする。なお、第４実施例の構成部において、図７に示
した構成部と同等のものには同し符号を付してその説明
を省略する。

【００９８】この画像処理装置において、微分フィルタ
処理回路８９は、階調画像メモリ５１に記憶された白黒
階調画像からエッジを抽出するための回路であり、エッ
ジ画像メモリ９０は、前記微分フィルタ処理により得ら
れたエッジ画像を記憶するメモリであり、２値化処理回
路９１は、前記エッジ画像メモリ９０に記憶されたエッ
ジ画像を２値化する処理回路である。

【００９９】このように構成された画像処理装置におい
て、微分フィルタ処理回路８９では、階調画像メモリ５
１に記憶された白黒階調画像に微分フィルタをかけてエ
ッジを抽出し、エッジ画像メモリ９０に記憶させる。

【０１００】この微分フィルタとしては、種々のものが
考えられるが、例えば、Ｌａｐｌａｃｉａｎフィルタを
用いる。前記２値化処理回路９１では、エッジ画像メモ
リ９０に記憶されたエッジ画像を２値化し、２値画像メ
モリ５８に記憶させる。また２値化処理としては種々の
ものが考えられるが、例えば、注目画素とその近傍８画
素の計９画素について最大値を求め、その１／２を閾値
として注目画素を２値化する。他にも平均や分散、最大
・最小値の差等を組み合わせた２値化も勿論可能であ
る。なお、固定閾値により２値化を行なう場合には、他
の構成例として図２３に示すように構成で、微分フィル
タ処理と２値化処理を同時に行なうことができる。

【０１０１】図２４を参照して、この微分フィルタ処理
と２値化処理の操作について説明する。

【０１０２】図２４において、一部画像９２は、文書画
像の一部を拡大して示したもので、１つのマスが１画素
を表している。また階調画像データ９３は、階調画像メ
モリ１１に記憶された一部画像９２に対応する部分の画
像データであり、これをＬａｐｌａｃｉａｎフィルタ９
４を通過させてエッジ画像データ９５を得る。例えば、
注目画素とその近傍８画素の計９画素について最大値を
求め、その１／２を閾値として注目画素を２値化する。
こうして得られたエッジ画像９６は、２値画像メモリ５
８に送られ、記憶される。以下の画像処理は、第２実施
例と同様の処理によって領域分割が行なわれる。

【０１０３】これにより、画像領域の端部が欠けること
なく領域分割することができる。また、画像を矩形領域
で切り出すので、文書画像の領域分離を効率的に行なう
ことができる。

【０１０４】従って、第４実施例の画像処理装置は、画
像の縮小処理を行なう前に、微分フィルタを利用したエ
ッジ抽出・２値化を行なっており、文字の端点等のエッ
ジ部分を縮小画像に忠実に反映させることができ、画像
領域の端部が欠けることなく、効率よく画像領域を分割
することが可能となる。さらに、本実施例では、エッジ
抽出手段として２次元の微分フィルタを用いているの
で、階調画像を縦横にそれぞれ走査する必要がなく、構
成を簡単にすることが可能となる。

【０１０５】なお、予め対象画像の絵柄等の方向性を認
識してから微分フィルタの係数を適当に設定することに
より、特定の方向に連結した画像領域のみを分割する事
等行なってもよく、対象画像の特徴に応じた選択的且
つ、適応的な領域分割が可能となる。

【０１０６】次に図２５には、本発明による第５実施例
としての画像処理装置の構成を示し説明する。この第５
実施例においては、第２実施例の図７に示したエッジ抽
出・２値化処理部４６を変形し、他の構成部は同じ構成
とする。なお、第５実施例の構成部において、図７に示
した構成部と同等のものには同し符号を付してその説明
を省略する。

【０１０７】この画像処理装置において、縮小画像メモ
リ６０に記憶された縮小画像を縦横に走査し、所定値以
下の長さを持つ白ラン（短白ラン）を検出する短白ラン
検出回路９７と、前記短白ラン検出回路９７で検出され
た短白ランを黒ランに置換する白→黒置換回路９８と、
横方向の走査により短白ランを黒ランに置換して得られ
たブロック画像を記憶する横ブロック画像メモリ９９
と、縦方向の走査により短白ランを黒ランに置換して得
られたブロック画像を記憶する縦ブロック画像メモリ１
００と、前記ブロック画像メモリ９９、１００に記憶さ
れたブロック画像の論理積をとり、ブロック画像を得る
論理積演算回路１０１とで構成される。

【０１０８】このように構成された画像処理装置は、短
白ラン検出回路９７が縮小画像メモリ６０に記憶された
縮小画像を走査して、所定値以下の長さを持つ白ラン
（短白ラン）を検出し、白→黒置換回路９８で、検出さ
れた白ラン中の画素値を‘０’（白画素）から１（黒画
素）に反転させる。この走査に縦横について行ない、横
ブロック画像メモリ９９および、縦ブロック画像メモリ
１００に記憶させる。そして論理積演算回路１０１で
は、前記画像メモリ９９、１００に記憶されたブロック
画像の論理積をとり、ブロック画像を生成し、ブロック
画像メモリ６３に記憶させる。

【０１０９】この操作について図２６を用いて説明す
る。

【０１１０】図２６において、一部画像１０２は縮小画
像メモリ６０に記憶された縮小画像の一部を拡大して示
したもので、１つのマスが１画素を表している。これを
横方向に走査し、例えば、長さが１６画素未満の白ラン
を検出して、これを黒ランに置換する。こうして得られ
た横ブロック画像は、横ブロック画像メモリ９９に記憶
される。

【０１１１】そして横ブロック画像１０３は、一部画像
１０２に対応する部分の横ブロックの画像であり、斜線
部は置換された黒ランを表している。同様に、縮小画像
を縦方向に走査し、短白ランを黒ランに置換することに
よって得られた縦ブロック画像は、縦ブロック画像メモ
リ１００に記憶される。

【０１１２】また、縦ブロック画像１０４は、一部画像
１０２に対応する部分の縦ブロックの画像であり、斜線
部は置換された黒ランを表している。横，縦ブロック画
像メモリ９９，１００に記憶された前記ブロック画像
は、論理積演算回路１０１によって論理積が演算され、
ブロック画像が生成される。ブロック画像１０５は、
横，縦ブロック画像１０３，１０４の論理積から生成さ
れた、一部画像１０２に対応する部分のブロック画像で
あり、網掛部は置換された黒画素を表している。以下、
この実施例は、第２実施例と同様の画像処理を行い領域
分割を行なわれる。

【０１１３】これにより、画像領域の端部が欠けること
なく領域分割することができる。また、画像を矩形領域
で切り出すので、文書画像の領域分割を効率的に行なう
ことができる。

【０１１４】従って、第５実施例の画像処理装置は、縮
小画像中の黒画素を統合するためのブロック処理に、短
白ラン／黒ラン変換を行なっており、縮小画像中の黒画
素をほぼ矩形状のブロックに統合することができ、効率
よく画像領域を分割することが可能となる。

【０１１５】以上説明した画像処理装置は、エッジ抽出
・２値化処理部４６、縮小画像処理部４７、ブロック処
理部４８、矩形領域抽出部４９は、第２実施例〜第５実
施例に掲げたものに限られるものではなく、その他の公
知の技術を用いて構成することもできる。また、これら
の組合せも、実施例に掲げたものに限られるものではな
く、各処理部を交換して構成することも可能であること
は勿論である。

【０１１６】なお、文字列の方向等が予めわかっている
場合には、その方向にのみ画素の統合を行なえばよいの
で、より簡単な構成によって実現できる。

【０１１７】また、これら実施例に示した装置における
画像処理はソフトウェア上で行なうようにしてもよいこ
とは勿論である。

【０１１８】次に図２７には、本発明による第６実施例
としての画像処理装置の構成を示し説明する。

【０１１９】この画像処理装置は、大別して、入力され
るディジタル画像（混在画像）を画像種類が未知状態の
ままで同種画像領域ごとに矩形分割する同種画像領域抽
出部と、分割された同種画像部分領域の画像種類を判定
し、決定する画像種判定部より構成される。

【０１２０】この画像処理装置において、異なる画像の
種類、例えば活字体文字、手書き文字、写真、絵柄画像
等が混在して記載されているドキュメントファイルは、
ビデオカメラ、イメージスキャナによってフルカラー画
像が撮像されてアナログ画像入力信号としてディジタル
画像変換器１１１に入力される。

【０１２１】前記ディジタル画像変換器１１１は、アナ
ログ画像入力信号を変換してディジタル画像信号を出力
する。出力データは、一旦、画像フレームメモリ１１２
に入力されて、一時蓄積される。また既に、ディジタル
画像信号に変換されている蓄積画像データ及び伝送画像
データは、直接、画像フレームメモリ１１２に入力され
て同様に、一時蓄積される。

【０１２２】前記画像フレームメモリ１１２から出力さ
れたディジタル画像データは、同種画像領域抽出部１１
３を構成する同種画像領域分割部１１４に入力される。
この同種画像領域分割部１１４は、画像種類は未知の状
態で同種類の画像が存在する領域の背景との境界を抽出
して、分割していく処理を行う。

【０１２３】一枚の混在画像から分割された複数の同種
画像領域は、それぞれ矩形領域として算出されて、定め
られた１稜角の水平・垂直位置を示す分割領域アドレス
データと、矩形領域のサイズ（幅・高さ）が出力され
る。具体的な分割処理方法は、従来より種々考案されて
いる手法を用いてもよし、前記図６に示した実施例を利
用してもよい。例えば、取り扱うデータそのものを削減
して処理の負荷を軽減するために、まず画像フレームメ
モリ１１２からの出力フルカラー画像をモノクロ画像に
変換し、さらに２値化する。

【０１２４】そして２値化された２値画像を縮小化処理
して、ローパスフィルターでフィルタリングしてエッジ
抽出を行い、抽出エッジ画像を２値化する。２値化した
エッジ画像のエッジ部分を水平・垂直方向それぞれに対
し線分近似して矩形の境界を抽出する。このようにして
同種画像領域を求めることもできる。

【０１２５】そして同種画像領域分割部１１４から出力
された分割領域アドレスデータとサイズは、探索ブロッ
ク領域選択部１１５に入力される。探索ブロック領域選
択部１１５では、求められた同種画像領域のどの部分を
実際に画像種判定の着目領域にするかを選択する。選択
された着目領域は、予め設定されるか或いは同種画像領
域のサイズに適応的に変化する大きさをもつ所定サイズ
の矩形小ブロック領域とする。

【０１２６】図２８には、このようにして分割処理され
た一枚の混在画像を簡略化して示す。この図の場合、分
割された同種画像領域はＡ〜Ｈの９つ存在している。例
えば、判定対象ブロックは同種画像領域Ｈに置かれ、こ
の領域内を移動して以後の判定処理が施され、同種画像
領域Ｈの画像種類が特定される。この矩形小ブロック領
域は、後述する処理で実際に画像種判定の対象となる判
定対象ブロックであり、そのサイズは少なくとも同種画
像領域のサイズより小さい。

【０１２７】前記探索ブロック領域選択部１１５におい
て選択される判定対象ブロックの位置は、同種画像領域
内で複数回、同位置を重複しないよう選択される。選択
された判定対象ブロックの位置・サイズのデータは、画
像フレームメモリ１１２に入力されて、対応する画像メ
モリ部分の画像データが画像フレームメモリ１１２から
出力される。

【０１２８】そして画像フレームメモリ１１２から出力
された判定対象ブロックのフルカラー画像は、画像種判
定部１１６を構成する判定対象ブロック画像メモリ１１
７に入力されて一時蓄積される。この判定対象ブロック
画像メモリ１１７から出力されるフルカラー画像データ
は、モノクロ画像変換部１１８に入力されて輝度レベル
データからなるモノクロ画像データに変換される。

【０１２９】本実施例では、画像種類の判定に際して
は、画像の輝度情報のみで判定し、色情報は使用しない
ことを前提とする。これは、１つには全体の処理過程に
おいて極力前置段階で取り扱うデータを削減して計算処
理の負荷を軽減して実用性のより高い処理とするためで
ある。また、１つには入力画像全面或いは一部が仮にモ
ノクロ画像であってもなんら画像種類の判定には影響が
ない、汎用性の高い処理を実現するためである。

【０１３０】前記モノクロ画像変換部１１８から出力さ
れる判定対象画像のモノクロ画像データは、まず水平差
分検出器１１９と垂直差分検出器１２０に同時に入力さ
れて、出力データがそれぞれバッファメモリ１２１とバ
ッファメモリ１２２に入力され、一時蓄積される。水平
差分検出器１１９では、モノクロ画像変換部１１８から
出力される判定対象領域の各画素の輝度成分から構成さ
れる画像データにおいて、任意画素と隣接する画素の輝
度レベルの差分値を水平方向に対して算出するものであ
る。

【０１３１】具体的には、判定対象画像のモノクロ画像
をＭ×Ｎ画素の矩形画像とし、図２９（ａ）に示すよう
に、水平・垂直の画素配列をそれぞれｉ、ｊで記述すれ
ば、その任意画素の輝度レベルは、 ｙ_ij 但し、ｉ，ｊ：０，１，２，…，Ｍ−１ （１） と表わせて、求める水平差分値Δｈ_ijは、 Δｈ_ij＝ｙ_(i+1)j−ｙ_ij 但し、ｉ，ｊ：０，１，２，…，Ｍ−２ （２） となる。同様にして、垂直差分値Δｖ_ijは、 Δｖ_ij＝ｙ_i(J+1)−ｙ_ij 但し、ｉ，ｊ：０，１，２，…，Ｎ−２ （３） となる。

【０１３２】これらの水平・垂直差分値がなす水平差分
マップ及び垂直差分マップは、計算結果が一旦、バッフ
ァメモリに格納されると共に、輝度修正パラメータ算出
部１２３に入力されて、輝度を修正するためのパラメー
タが算出される。

【０１３３】この輝度修正パラメータ算出部１２３で
は、図２９（ｂ）で示すブロック図に従って処理が進め
られる。水平差分マップの中から急峻なエッジ部分を除
去した部分の差分データを平均したものを平均水平差分
（ avrΔｈ）、また垂直差分マップの中から急峻なエッ
ジ部分を除去した部分の差分データを平均したものを平
均垂直差分（ avrΔｖ）と称して算出する。

【０１３４】図２９（ｃ）に示すように判定対象画像に
おける水平方向（Ｈ）、垂直方向（Ｖ）と差分値（Ｄ）
の３次元直交空間（Ｈ，Ｖ，Ｄ）でのベクトルｈ（１，
０，avrΔｈ）とベクトルｖ（０，１， avrΔｖ）がな
す平面ベクトルｐ（ｈ，ｖ，ｄ）、 平面ベクトルｐ＝α×ベクトルｈ＋β×ベクトルｖ （４） に対する法線ベクトルｎは、 法線ベクトルｎ＝（ avrΔｈ， avrΔｖ，−１） （５） から求める。

【０１３５】また、水平差分マップ上で急峻なエッジ部
分を“０”としてそれ以外を“１”としたビットマップ
と、垂直差分マップ上で急峻なエッジ部分を“０”とし
てそれ以外を“１”としたビットマップが前記処理のと
きに作成され、これら２つのビットマップの論理和をと
ったビットマップをマスクパターンとする。但し、急峻
なエッジとは、差分値の絶対値が所定の閾値より大きい
か否かで決定される。このようにして、輝度修正パラメ
ータとして、前記法線ベクトルｎとマスクパターンが輝
度修正パラメータ算出部１２３から出力される。

【０１３６】前記輝度修正パラメータ算出部１２３から
出力される法線ベクトルｎとマスクパターンのデータ
は、輝度レベル修正処理部１２４に入力されて、同時に
入力されるモノクロ変換部１１８から判定対象ブロック
の輝度データを修正する。輝度レベル修正処理部１２４
で行われる輝度レベルの修正処理では、図３１に示され
る処理過程が以下のように行なわれる。

【０１３７】まず、図３１（ａ）に示すようにモノクロ
変換部１１８からの輝度レベルイメージデータに対し
て、先に求めたマスクパターンが乗じられ、急峻なエッ
ジ部分の輝度データが取り除かれる。次に、図３１
（ｂ）に示されるような判定対象ブロックの水平・垂直
・輝度の３次元直交空間（Ｈ，Ｖ，Ｙ）において、求め
た法線ベクトルｎの方向を有する座標軸を修正座標軸ｍ
Ｙとして設定し、ブロック内全ての画素に対して、その
輝度レベルｙ_ijを修正座標軸ｍＹに射影した修正輝度レ
ベルｍｙ_ijを算出し、修正輝度レベルごとに度数を求め
て修正輝度ヒストグラムを算出する。修正輝度ヒストグ
ラムは、修正輝度に対する正規化が施される。

【０１３８】尚、図３１（ｂ）における斜線部での度数
分布は、修正前の輝度レベルの度数分布を示すものであ
る。

【０１３９】正規化方法は、種々考えられる。例えば修
正輝度ヒストグラムを、 ｆ（ｍｙ） 但し、ｍｙ＝０〜２５５ （６） とし、修正輝度が０から最大にわたって積分した任意修
正輝度ｍｙ_ijでの積算度数をｇ（ｍｙ）とする。ｇ（ｍ
ｙ）は、

【０１４０】

【数１】 と表せ、ヒストグラムの総和度数をｇ_t とする。修正輝
度に対する正規化は、ｇ（ｍｙ）／ｇ_t ＝５％を満足す
るｍｙを最小修正輝度レベルmin ＿ｍｙとし、ｇ（ｍ
ｙ）／ｇ_t ＝９５％を満足するｍｙを最大修正輝度レベ
ルmax ＿ｍｙとすれば、次式より任意の修正輝度レベル
ｍｙ_ijより正規化修正輝度レベルを求めることもでき
る。

【０１４１】

【数２】 これは、修正輝度レベルのヒストグラムの輝度レベルレ
ンジを求めて、固定した所定のレンジに線形変換する正
規化処理である（図３１（ｂ）におけるｍｙ軸方向での
正規化）。なお、最小修正輝度レベル、最大修正輝度レ
ベルを定めるとヒストグラムの積算度数の総和度数に対
する割合は、前記例５％，９５％に限定されるものでは
なく、適切な値が設定されれば良い。

【０１４２】次に度数の正規化であるがこれは度数のピ
ークにそって正規化するもので、図３１（ｂ）においは
発生頻度軸方向での正規化である。

【０１４３】以上により、輝度レベル修正処理部１２４
では、モノクロ変換部１１８からの判定対象ブロックの
任意の画素（ｉ、ｊ）が修正されて輝度レベルｍｙ_ijと
なり、これがｘ軸方向で正規化されて、最終的に正規化
修正輝度レベルｎｍｙ_ijとして求められる。

【０１４４】そして輝度修正パラメ−タ部１２３、輝度
レベル修正処理部１２４で行われる一連の輝度修正処理
は、判定対象ブロックの画像に低周波の照明ムラ等が作
用している場合に、それを低減する処理を行うことと、
該ブロックの画像のダイナミックレンジの違いが該ヒス
トグラムの分布形状に依存することを暖和する目的で行
う。また、低周波成分除去の目的で通常の高域通過フィ
ルタを利用するのに比べてコンボリューション演算がな
く処理が簡単である。結局輝度レベル修正処理部１２４
からは、算出された前記正規化修正輝度レベルｎｍｙ_ij
が出力される。

【０１４５】前述した図２７において、バッファメモリ
１２１から出力される水平差分値Δｈ_ijとバッファメモ
リ１２２から出力される垂直差分値ΔＶ_ijと正規化修正
輝度レベルｎｍｙ_ijの３つの特徴パラメータは、ベクト
ル量子化器１２５に入力されて、これら特徴パラメータ
を成分として定義される新たなる３次元直交空間（Δ
Ｈ，ΔＶ，ｎｍＹ）に於ける特徴ベクトルｆ（Δｈ，Δ
ｖ，ｎｍｙ）をベクトル量子化する。

【０１４６】なお、図３０（ａ）〜（ｄ）は、それぞれ
画像種毎の特徴ベクトルの発生分布を示す図であり、
（ａ）は活字体文字、（ｂ）は手書き文字、（ｃ）は写
真画像、（ｄ）は絵柄画像における特徴ベクトルの一例
を示す図である。各図において、縦軸には修正輝度ｎｍ
Ｙ（ｍｏｄｉｆｙ Ｙ）、横軸には垂直差分値ΔＶ（ｄ
ｅｌｔａ Ｖ）と、水平差分値ΔＨ（ｄｅｌｔａ Ｈ）
をとった３次元直交空間上に各特徴ベクトルの分布をプ
ロットしている。これらの図から、特徴ベクトルの違い
に応じて画像種を判別することが可能であることがわか
る。

【０１４７】またベクトル量子化器１２５では、判定対
象ブロック内の任意の画素（ｉ，ｊ）の全ての画素に対
する特徴ベクトルｆ_ij（Δｈ_ij，Δｖ_ij，ｎｍｙ_ij）が
入力され処理される。ベクトル量子化器の出力となる量
子化ベクトルは、予め複数の画像種類を有する複数の判
定対象ブロック画像から上記特徴パラメータを算出し
て、３次元直間交空間（Δｈ，Δｖ，ｎｍｙ）を上にプ
ロットした発生分布より求める。即ち発生分布を所定数
の局所空間に最適に分割して、それぞれの局所空間内の
特徴ベクトルの発生確立が等しくなるようにした上で、
各局所領域内の平均ベクトルをその局所領域の代表ベク
トルとするのである。これら代表ベクトルが即ち量子化
ベクトルとなる。

【０１４８】具体的な代表ベクトルを算出する方法とし
ては種々の方法があるが、その一例として、ＬＢＧアル
ゴリズム［“An Algorithm for Vector Quantizer Desi
gn"YOSEPH LINDE etc．IEEE TRANSACTION ON COMUNICAT
IONS,VOL.COM-28,N0.1 JANUARY 1980｝］を用いた場合
には、局所領域内に存在する全ての特徴ベクトルとその
局所領域の代表ベクトルとのユークリッド距離が他の局
所領域の代表ベクトルとのユークリッド距離に対し最短
になるように代表ベクトルが決定される。

【０１４９】従って、正攻法的にベクトル量子化を実行
するとすれば、任意の特徴ベクトルがベクトル量子化器
１２５に入力されると、前述したように、予め求めた所
定数の代表ベクトルの全てに対するユークリッド距離が
計測されて、最も距離が短いものが選択される。この選
択された代表ベクトルが入力された特徴ベクトルの量子
化ベクトルとして出力される。

【０１５０】このようにベクトル量子化を正攻法で行う
と、計算処理としての負荷が一般に重くなる。

【０１５１】そこで本実施例では、階層型フィードフォ
ワードのニューラルネットワークによるベクトル量子化
器を用いる。

【０１５２】図３２は、そのニューラルネットワークの
構成を示したものである。特徴ベクトルｆ_ij（Δｈ_ij，
Δｖ_ij，ｎｍｙ_ij）は、３次元の入力ベクトルが入力部
１３１より、ニューラルネットワーク１３２に入力さ
れ、学習時においては、ユークリッド距離算出部１３３
にも同時に入力される。ニューラルネットワーク１３２
は、フィードフォワードの階層型ネットワークとし、３
入力の入力層１３４及び所定数の層の数とニューロ素子
を有する中間層１３５と、Ｋ個の出力をもつ出力層１３
６で構成される。

【０１５３】この出力層１３６からの出力は、出力部１
３７に出力される。ここで、Ｋは事前に試行錯誤して設
定されたベクトル数であり、前述した代表ベクトル数と
一致する。このベクトル量子化器を構成するニューラル
ネットワーク１３２の学習は、付設される教師データ生
成部１３８を使って行われる。教師データ生成部１３８
では、前記手法によって、事前に求められた代表ベクト
ルｆ_k ［ｋ＝０，１，…，Ｋ］のデータが格納されて
いる代表ベクトルデータメモリ１３９から出力される代
表ベクトルｆ_k のデータと、入力部１３１から出力され
る特徴ベクトルがユークリッド距離算出部１３３に入力
されて、任意の特徴ベクトルと全ての代表ベクトルとｆ
_k 距離が先の正攻法を使って計算される。

【０１５４】次に、最短距離選択部１４０にて最短距離
をとる代表ベクトルｆ_k を選択して出力部１３７へ入力
し、出力層に設定されたＫ個の代表ベクトルｆ_k に対応
づけられた出力ブランチのどれか１つが発火するよう指
示する。例えば，発火させたい出力を‘１’、その他を
‘０’とする。これがニューラルネットワーク１３２に
入力された特徴ベクトルと、ー対ーに対応させたい量子
化ベクトルを表すことになる。

【０１５５】このような一連の学習過程は、公知なバッ
クプロパゲーション法で行うものであって、混在画像の
中から画像種類を特定しないで特徴ベクトルが複数選択
されて、出力の誤差が設定値以下になるまで繰り返され
る。ー旦、ニューラルネットワーク１３２の学習が終了
し、全ての重みが決定されたならば、教師データ生成部
１３８は、切り放される。即ちニューラルネットワーク
１３２は、入力としての特徴ベクトルが与えられると、
それに対応した量子化ベクトルを出力するベクトル量子
化器としての機能が備わったことになる。

【０１５６】このようにして構築したベクトル量子化器
により、計算量の低減が図られ、高速性に富むものとな
る。ただし、ニューラルネットワークを利用した場合
は、入力した特徴ベクトルに対し、出力が必ず１つに限
定されない状態が出現することも考えられるが、その場
合は出力としての量子化ベクトルが複数存在しても構わ
ず、候補量子化ベクトルの扱いとなる。

【０１５７】前記ベクトル量子化器１２５から出力され
た単一の量子化ベクトルもしくは複数の候補量子化ベク
トルは、量子化ベクトル計数部１２６に入力される。こ
の量子化ベクトル計数部１２６では、量子化ベクトルｆ
_k 毎に、その発生頻度の計数を行い、量子化ベクトルｆ
_k のヒストグラムを生成する。さらに量子化ベクトルの
ヒストグラムの度数は、扱う判定対象ブロックの画素数
の変更に対して、普遍性を維持するために量子化ベクト
ルｆ_k の最大度数が一定値になるように正規化される。

【０１５８】前記量子化ベクトルｆ_k のヒストグラム
は、特徴パターン判定部１２７に入力されて、その形状
を確認して判定画像種類を出力する。特徴パターン判定
部１２７は、フィードフォワードの階層型ニューラルネ
ットワークで構成される。入力層は、量子化ベクトルの
数のＫ個の入力をもつ。中間層は試行錯誤的に適切に決
定された層数とニューロン素子をもち、出力層は判定し
たい画像種類の数の出力をもつ。例えば、活字体文字、
手書き文字、写真、絵柄画像、背景画像の５つの画像種
類を混在画像の中から判定して分離したいのであれば、
５出力をもつことになる。

【０１５９】この特徴パターン判定部１２７のニューラ
ルネットワークの学習は、入力された量子化ベクトルの
ヒストグラムのパターン形状と対応関係にある探索ブロ
ック選択部１１５で選択された判定対象ブロック画像の
種類を教師データとして出力層に与えられる。学習時、
教師データとしての判定対象ブロックの画像種類は人為
的に認識して決定する。そして学習過程は、バックプロ
パゲーション手法により、出力誤差が設定誤差以下にな
るまで、判定対象画像の種類をさまざまに変えて繰り返
し行われる。前記特徴パターン判定部１２７では、入力
される量子化ベクトルのヒストグラムの形状（特徴パタ
ーン）と画像の種類に相関関係があることを利用して、
ニューラルネットワークにより認識処理を行っている。
敢えてニューラルネットワークを用いているのは、一般
的なパターンマッチングのように多量の参照テンプレー
トと比較決定する膨大な計算を回避することと、特徴パ
ターンと画像種類との相関性が多少劣化しても判定確率
への影響が少ないことを利点とするためである。学習が
終了した特徴パターン判定１２７は、既に入力される量
子化ベクトルのヒストグラム形状に対し、画像種類を判
定し出力する画像種判定器になっている。

【０１６０】そして特徴パターン判定部１２７の出力
は、画像種決定部１２８入力されて判定対象ブロックの
画像種最終判断が行われる。先のベクトル量子化器１２
５のときと同様に、特徴パターン判定部１２７のニュー
ラルネットワーク出力は、唯一つの画像種を出力しない
場合も考えられる。従って、その判定結果に対する評価
基準が必要であり、決定する処理が必要である。

【０１６１】本実施例では、図３３に示す構成を一例と
して、入力データが５個の画像種類に対応してＩ₁ ，Ｉ
₂ ，〜，Ｉ₅ として入力されるとすると、決定画像種判
断部１４１により、画像種の判断を保留するか決定する
かの判断がなされる。もし、 Ｉ₁ ＞ ｔｈ₁ 但し、ｉ＝１，２，…５ 且つ、（Ｉ₁ の最大値）ー（Ｉ₁ の２番目に大きい値）
＞ｔｈ₂ ならば、処理は決定画像種出力部１４２に移り、Ｉ_i の
中の最大値を示す画像種類ｍａｘ（Ｉ_i ）を決定した画
像種類とする。そうでなければ、決定保留処置部１４３
に処理を移して、画像種類の決定は行われない。なお、
ｔｈ₁ 、ｔｈ₂ は所定の閾値を示し、本実施例で最終決
定される画像の種類の人為的に所望する画像の種類に対
する誤り確率が最小になるように統計的に予め設定され
る。決定された、任意の判定対象ブロック画像種決定結
果は、決定結果蓄積部１４４に入力されて一時的に蓄積
される。次に再び、探索ブロック領域選択部１１５に戻
って、異なる判定対象ブロックが同種画像領域内で選択
されて決定結果蓄積部１４４までの処理過程が所定回数
繰り返される。したがって決定結果蓄積部１４４には、
同種画像領域に於ける異なる判定対象ブロックの判定結
果が蓄積されることになる。決定結果蓄積部１４４の所
定数の決定結果は、多数決部１４５に入力されて多数決
判定された後、対応する同種画像領域の画像種類の最終
決定が画像種決定部１２８から出力される。

【０１６２】画像種決定部１２８から出力される最終決
定した画像種類、前記同種画像領域のアドレスデータ及
びサイズが、本実施例の混在画像像域分離装置から出力
される。

【０１６３】次に図３４には、本発明による第７実施例
としての画像処理装置の構成を示し説明する。この第７
実施例の構成部材は、図２７に示した第６実施例の構成
部材と同等の部材には同じ参照符号を付して、その説明
を省略する。すなわち、第７実施例は、図２７に示した
量子化ベクトル計数部１２６までを同じ構成とし、それ
以降最終出力までの構成が異なっている。

【０１６４】前述した第６実施例に示したように、量子
化ベクトル計数部１２６では、任意の同種画像領域内の
任意の判定対象ブロックに対する特徴ベクトルをベクト
ル量子化し、そのヒストグラムの度数が正規化されて出
力される。いま、探索ブロック領域選択部１１５で選択
される任意の同種画像領域内の判定対象ブロックを選択
順序に従って番号をつけ識別すると、正規化された量子
化ベクトルは、 量子化ベクトルｆ_k ［Ｌ］ ｋ＝０，１，…，Ｋ
Ｌ＝０，１，…，Ｌ と表すことができる。但し、量子化されるベクトル数を
Ｋ個、選択される判定対象ブロックの総数をＬとする。
別の言い方をすれば、Ｌは任意の同種画像領域内を判定
対象ブロック単位で探索する際の探索回数のことであ
る。量子化ベクトル計数部１２６からの出力の量子化ベ
クトルｆ_k ［Ｌ］は、それぞれに接続されたＫ個の計数
累積部１〜計数累積部Ｋに入力し、Ｌ回分累積加算され
て、その結果ベクトルＦ_k を出力する。即ち、

【０１６５】

【数３】 を出力する。なお、探索回数が場合によって種々変化さ
せたい場合には、ベクトルＦ_k がＬに依存するのを避け
るために、ベクトルＦ_k をＬで割って、出力ヒストグラ
ムの度数を平均としてもよい。

【０１６６】このように任意の同種画像領域内の複数判
定対象ブロックの累積した度数により、量子化ベクトル
のヒストグラムを求めるには、探索ブロック領域選択部
１１５から計数累積部１５１までの一連の処理過程を所
定回（Ｌ回）繰り返さなければならない。

【０１６７】そして探索回数出力された値ベクトルＦ_k
は、第６実施例と同様に構成される特徴パターン判定部
１２７に入力されて、識別したい画像種類に応じた信
号、例えばＩ₁ 〜Ｉ₅ が出力される。

【０１６８】次に、出力された画像種類の信号Ｉ₁ 〜Ｉ
₅ は、最尤度判断部１５２に入力されて最大値を示す画
像種類を最尤判断画像種として出力する。この実施例で
は、画像種類の決定に際して、保留は行わない。

【０１６９】本実施例の混在画像像域分離装置から最終
出力として、最尤度判断部１５２から出力される画像種
類、第６実施例と同様な同種画像領域のアドレスデータ
及びサイズが出力される。

【０１７０】この第７実施例の構成と画像種判定手順を
実現すれば、画像種類と対応づけられる量子化ベクトル
のヒストグラムのパターンは、同種画像領域内の探索領
域を拡大した効果を生み出す特徴抽出するための母集団
を大きく取ることができる。しかも探索領域を拡大する
にも関わらず、ブロック単位毎の判定処理を必要としな
いことが優れている。

【０１７１】次に図３５には、本発明による第８実施例
としての画像処理装置の構成を示し説明する。ここで、
第８実施例の構成部材で図２７の構成部材と同等の部材
には同じ参照符号を付して、その説明を省略する。

【０１７２】そして正規化修正輝度レベルｎｍｙ_ijは、
修正輝度ヒストグラム算出部１５５に入力されて、正規
化修正輝度レベルｎｍｙ_ijに対する度数の計数を行って
ヒストグラムを生成する。生成ヒストグラムは、正規化
修正輝度レベルの最大値と最小値の差を所定数Ｓで線形
に分割して、分割最少単位を度数計数のステップ幅とし
て生成する。

【０１７３】従って、修正輝度ヒストグラム算出部１５
５からの出力数は、ステップ数Ｓとして与えられるが、
このステップ数Ｓは必要最少限の数で画像種類とヒスト
グラム形状との相関性が適度に保たれるように、試行錯
誤的に予め求められる。ここで、修正輝度ヒストグラム
算出部１５５からの出力を、 ｙ_s ｓ＝０，１，…，Ｓ と定義しておく。

【０１７４】一方、バッファメモリ１２１とバッファメ
モリ１２２に一時蓄積された水平差分値 ｈ_ij及び垂直
差分値 ｖ_ijは、同時に読み出されて勾配ベクトル方位
検出部１５６に入力される。勾配ベクトル方位検出部１
５６は、次の演算式 （１） ｈ_ij＞０のとき θ＝ｔａｎ^-1（Δｖ_ij
／Δｈ_ij） （２） ｈ_ij＜０のとき θ＝ｔａｎ^-1（Δｖ_ij
／Δｈ_ij）＋π により求められる。但し、θは判定対象ブロックの任意
の画素（ｉ，ｊ）に対応した勾配ベクトル方位である。

【０１７５】前記勾配ベクトル方位θは、勾配ベクトル
方位ヒストグラム算出部１５７に入力されて、勾配ベク
トル方位θに対する度数の計数を行ってヒストグラムを
生成する。この生成ヒストグラムは、修正輝度ヒストグ
ラムを求めたときと同様に、所定のステップ角度で一様
に所定数Ｒで線形に分割して、分割最少単位に属する方
位角を度数計数の単位とする。

【０１７６】従って、勾配ベクトル方位ヒストグラム算
出部１５７からの出力数は、Ｒで与えられるが、このス
テップ数Ｒは、必要最少限の数で画像種類とヒストグラ
ム形状との相関数が適度に保たれるように、試行錯誤的
に、予め求められる。ここで、勾配ベクトル方位ヒスト
グラム１５７からの出力を、 θ_r ｒ＝０，１，…，Ｒ と定義しておく。

【０１７７】なお、計数度数の総計が異なっても勾配ベ
クトル方位θのヒストグラム形状の特徴パターンに般化
性が失われないように、必要に応じてθ_r の最大度数で
正規化しておくことが望ましい。

【０１７８】以上により、修正輝度ヒストグラム算出部
１５５と勾配ベクトル方位ヒストグラム算出部１５７か
らのｙ_s 及びθ_r の合計［Ｒ＋Ｓ］個の出力が、特徴パ
ターン判定部１２７に入力する。特徴パターン判定部１
２７は、階層型ニューラルネットワークで構成される。
入力層は［Ｒ＋Ｓ］個の入力をもち、中間層は試行錯誤
的に適切に決定された層数とニューロン素子をもち、出
力層は判定したい画像種類の出力をもつ。例えば、活字
体文字、手書き文字、写真、絵柄画像、背景画像の５つ
の画像種類を混在画像の中から判定して分離したいので
あれば、５出力をもつことになる。

【０１７９】この特徴パターン判定部１２７のニューラ
ルネットワーク学習は、入力された修正輝度ヒストグラ
ムｙ_s と勾配ベクトル方位ヒストブラムθ_r のパターン
形状と対応関係にある探索ブロック選択部１１５で選択
された判定対象ブロックの画像の種類を教師データとし
て入力層に与えられる。

【０１８０】そして学習時、教師データとしての判定対
象ブロックの画像種類は、人為的に認識して決定する。
この学習過程は、バックプロパゲーション手法により、
出力誤差が設定誤差以下になるまで、判定対象画像の種
類をさまざまに変えて繰り返し行われる。前記特徴パタ
ーン判定部１２７では、入力される修正輝度ヒストグラ
ムｙ_s と勾配ベクトル方位ヒストグラムθ_r の形状（特
徴パターン）と画像の種類に相関関係があることを利用
して、ニューラルネットワークにより認識処理を行って
いる。第６実施例と同様に敢えてニューラルネットワー
クを用いているのは、一般的なパターンマッチングのよ
うに多量の参照テンプレートと比較決定する膨大な計算
を回避することと、特徴パターンと画像種類との相関性
が多少劣化しても判定確率への影響が少ないことを利点
とするためである。学習が終了した特徴パターン判定部
１２７は、既に入力される修正輝度ヒストグラムｙ_s と
勾配ベクトル方位ヒストグラムθ_r のヒストグラム形状
に対し、画像種類を判定し出力する画像種判定器になっ
ている。

【０１８１】この修正輝度ヒストグラムｙ_s と勾配ベク
トル方位ヒストグラムθ_r のヒストグラム形状と画像種
類との相関性を示すものとして、本実施例では次の特徴
を捉え、利用する。

【０１８２】図３６，図３７は、この画像種類として活
字体文字、写真画像、絵柄画像を例にとってヒストグラ
ム形状の特徴的パターンとを対照したものである。図３
６（ａ），（ｂ），（ｃ）は、横軸に修正輝度、縦軸に
発生度数（発生確率）をとった修正輝度ヒストグラムを
示し、図３７（ａ），（ｂ），（ｃ）は、１５度おきの
方位角とそのステップ角で計数された度数を方位方向に
対して示している。前記活字体文字においては、輝度レ
ベルの分布の偏りが高低の２つになり双峰性を示し、勾
配ベクトル方位は９０度おきの度数が顕著な方向依存性
が観測できる。写真画像において、輝度レベル分布は単
峰性であり、勾配ベクトル方位は方向依存性能を特に示
さない。また絵柄画像においては、輝度レベルの度数分
布は多峰性を有し、勾配ベクトル方位は先の活字体文字
に見られた９０度おきの度数に加えて、４５度おきの度
数も顕著になる方向依存性を示す。このように修正輝度
ヒストグラムと勾配ベクトル方位が画像種類によって特
徴的パターンの組み合わせを示す。

【０１８３】そして、図３８は、２つのパラメータが示
す文字種類に対する特徴をまとめたものである。手書き
文字は、輝度ヒストグラムは双峰性を示し、勾配ベクト
ルは方向依存性をもたないという特徴を有する。また背
景は、輝度レベルの分布は鋭い単峰性を示すが活字体文
字が示す単峰性との認識誤りを避けるために占有レベル
の範囲がある閾値以下のものは分布度数を零にすること
にすると、この場合修正輝度レベルの度数はすべて零と
なり、勾配ベクトル方位の方向依存性はないという特徴
になる。

【０１８４】また背景の輝度レベル分布は、活字体文字
のそれに比べて取り得るレベル範囲が小さいため閾値判
断で輝度レベル分布における相違を明確化することがで
きる。

【０１８５】次に、前記特徴パターン判定部１２７の出
力は、画像種決定部１２８に入力されて判定対象ブロッ
クの画像種最終判断が行われる。この特徴パターン判定
部１２７のニューラルネットワーク出力は、唯一の画像
種を出力しない場合も考えられるので、図３３に示す処
理を用いて画像種を決定する。

【０１８６】前記画像種決定部１２８から出力される最
終決定した画像種類、同種画像領域のアドレスデータお
よびサイズが、本実施例の混在画像域分離装置から出力
される。

【０１８７】さらに図３９には第９実施例として、図３
５に示す構成における修正輝度ヒストグラム算出部１５
５、勾配ベクトル方位ヒストグラム算出部１５７以降が
異なる処理を行う構成例を示す。処理内容は、第８実施
例と同様である。ここで、図３９に示す構成部材で図３
５と同等の部材には、同じ参照符号を付して、その説明
を省略する。

【０１８８】本実施例で説明したように、修正輝度ヒス
トグラム算出部１５５および勾配ベクトル方位ヒストグ
ラム算出部１５７では、任意の同種画像領域内の任意の
判定対象ブロックに対する特徴ベクトルが抽出され、そ
のヒストグラムの度数が正規化されて出力する。探索ブ
ロック領域選択部１１５で選択される任意の同種画像領
域内の判定対象ブロックを選択順序にしたがって、番号
をつけ、識別すると正規化された特徴ベクトルは、 ベクトルθ_L ＝［θ₁ ，θ₂ ，θ₃ ，…，θ_R ］ ベクトルｙ_L ＝［ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_S ］ 但
し、L ＝０，１，…，Ｌ と表すことができる。但し、選択される判定対象ブロッ
クの総数をＬとする。Ｌは、任意の同種画像領域内を判
定対象ブロック単位で探索する際の探索回数のことであ
る。修正輝度ヒストグラム算出部１５５、勾配ベクトル
方位ヒストグラム算出部１５７からの出力（ベクトルθ
_L ，ベクトルｙ_L ）は、それぞれに接続されたＲ＋Ｓ個
の計数度数更新部Ｒ＋Ｓに入力されて、Ｌ回処理が繰り
返される過程で、それぞれ成分の最大値になるよう更新
される。

【０１８９】すなわち、それらの特徴ベクトルの成分θ
_R ，ｙ_S は、 ベクトルθ´＝［max(θ₁ ),max(θ₂ ),max(θ₃ ),…,
max(θ_R ) ］_L ベクトルｙ´＝［max(ｙ₁ ),max(ｙ₂ ),max(ｙ₃ ),…,
max(ｙ_S ) ］_L を出力する。このように任意の同種画像領域内の複数判
定対象ブロックの最大値を示す特徴ベクトルの成分より
なる更新された特徴ベクトルのヒストグラムを求めるに
は、探索ブロック領域選択部１１５から計数度数更新部
１５９までの一連の処理過程を所定回（Ｌ回）繰り返さ
なければならない。

【０１９０】そして、探索回数出力された特徴ベクトル
θ´及び特徴ベクトルｙ´は、第７実施例の特徴パター
ン判定部１２７と同様な階層型ニューラルネットワーク
で構成される特徴パターン判定部１２７に入力されて、
識別したい画像種類に応じた信号、例えば、Ｉ₁ 〜Ｉ₅
が出力される。出力された画像種類の信号Ｉ₁ 〜Ｉ
₅は、最尤度判断部１６０に入力されて最大値を示す画
像種類を最尤判断画像として出力する。本実施例では、
画像種類の決定に際して、保留は行わない。

【０１９１】本実施例の混在画像像領域分離装置から最
終出力として、最尤度判断部１６０から出力される画像
種類、第８実施例と同様な同種画像領域のアドレスデー
タ及びサイズが出力される。本実施例の構成と画像種判
定手順を実現すれば、画像種類と対応づけられる修正輝
度ヒストグラム及び勾配ベクトル方位ヒストグラムのパ
ターンは、同種画像領域内の複数探索領域の中で、特徴
をより顕著に示すベクトル成分を選択的に抽出すること
ができ、画像種類ごとの特徴パターンの違いを明確化す
る。

【０１９２】以上のように第２乃至第９実施例の画像処
理装置は、入力された文書画像に対してエッジ抽出・２
値化処理を施すことによって、画像領域の端部が欠ける
ことなく、また、黒白の反転した文書画像に対しても、
効率よく画像領域を分割することができる。

【０１９３】また画像処理装置は、異なる画像の種類が
混在する混在画像を同種画像領域毎に的確に分割し、同
種画像領域内に判定対象領域を定めて、水平差分値，垂
直差分値、修正輝度レベルの３つのパラメータが示す分
布パターンの統計量を求め、その分布パターンをモデル
化・認識して画像種類を判定することにより、比較的軽
い負荷の処理で正解率の高い混在画像の像域分離が実現
できる。

【０１９４】そして前記分布パターンの分類・認識は、
統計データに基づき違いを顕著にするために３つのパラ
メータがなす３次元直交空間に分布する形状をベクトル
量子化によりパターン化してモデル化し、そのモデル化
されたパターンの形状をニューラルネットワークで認識
することにより、精度のよい画像種判定を可能にしてい
る人為的判定の場合に類似した、統計量に基づく適切な
クラスタリングが実現できる。

【０１９５】また、像域分離された画像は、画像の種類
に応じて行うことによって効果を発揮するデータ処理、
例えばデータ圧縮、適応２値化、網点処理、意図的画像
再現効果を実現する種々自然画像処理（フィルタリング
など）を自動化することが可能となる。

【０１９６】図４０は、本発明による第１０実施例とし
ての画像処理装置の構成を示すブロック図である。この
第１０実施例の構成部材で、図２７に示した構成部材と
同等の部材には同じ参照符号を付して、その説明を省略
する。探索ブロック領域選択部１１５において選択され
る判定対象ブロックの位置は、同種画像領域内で複数
回、同位置を重複しないよう選択される。選択された判
定対象ブロックの位置・サイズのデータは、画像フレー
ムメモリ１１２に入力されて、対応する画像メモリ部分
の画像データが画像フレームメモリ１１２から出力され
る。

【０１９７】この画像フレームメモリ１１２から出力さ
れた判定対象ブロックのフルカラー画像は、画像種判定
部１７０を構成する判定対象ブロック画像メモリ１１７
に入力されて一時蓄積される。判定対象ブロック画像メ
モリ１１７から出力されるフルカラー画像データは、モ
ノクロ画像変換部１１８に入力されて輝度レベルデータ
からなるモノクロ画像データに変換される。

【０１９８】本実施例では、画像種類の判定に際して
は、画像の輝度情報のみで判定し、色情報は使用しない
ことを前提とする。これは、１つには全体の処理過程に
おいて極力前置段階で取り扱うデータを削減して計算処
理の負荷を軽減してより実用性が高い処理を行うためで
ある。また、１つには入力画像全面或いは一部が仮にモ
ノクロ画像であってもなんら画像種類の判定には影響が
ない、汎用性の高い処理を実現するためである。

【０１９９】次にモノクロ画像変換部１１８から出力さ
れる判定対象画像のモノクロ画像データ（例えば図４
１）は、まず局所輝度パターン検出器１７１に入力され
て、着目画素の輝度ｙ₀ とそれに隣接する所定数（Ｎ−
１）個の輝度ｙ₁ ，ｙ₂ ，ｙ₃，…，ｙ_N-1 からなる局
所輝度パターンＹ（ｙ₀ ，ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ
_N-1 ）を検出する。例えば、３つの輝度成分（ｙ₀ ，ｙ
₁ ，ｙ₂ ）からなる局所輝度パターンベクトルを３次元
空間にプロットして得られる画像種毎の発生頻度分布は
図４２のようになる。各画像種毎に分布形状の特徴があ
ることが判る。

【０２００】局所輝度パターン検出器１７１から出力さ
れた局所輝度パターンＹ、即ち輝度の組み合わせＹ（ｙ
₀ ，ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 ）は、ベクトル量子
化器１２５に入力されて、これら輝度成分で定義される
Ｎ次元直交空間において特徴代表ベクトルｆ₀ ，ｆ₁ ，
ｆ₂ ，…，ｆ_k にベクトル量子化する。

【０２０１】前記ベクトル量子化器１２５では、判定対
象ブロック内の任意の画素の全ての画素を着目画素の輝
度として、局所輝度パターンベクトルＹが入力され処理
される。ベクトル量子化器１２５の出力となる量子化ベ
クトルは、予め複数の画像種類を有する複数の判定対象
ブロック画像から上記局所輝度パターンベクトルを算出
して、Ｎ次元直交空間上にプロットした発生分布より求
める。

【０２０２】この際に用いるベクトル量子化方法は、種
々考えられるが、基本的に局所輝度パターンベクトルの
Ｎ次元空間での発生分布形状が、画像種によって違いが
識別されるようになされねばならない。さらに必要最小
限の代表ベクトルで画像種の特徴を表現できることが望
ましい。本実施例ではこの代表ベクトルの決定方法が、
ポイントとして重要となる。

【０２０３】この第１０実施例でのベクトル量子化は、
まず図４３（ａ）に示すような発生度数分布を求める。
すなわち、識別したい各画像種の画像に対し、判定対象
ブロックを選択して局所輝度パターンベクトルＹ_i に対
する発生度数分布を求める。この処理を異なる種類の画
像に対しほぼ同数のブロック数で実施する。従って選択
された全てのブロック数分の度数分布が得られることに
なる。但し、選択された１つのブロックに対して、理想
的には全てのベクトルＹ_i 、つまり各輝度成分の量子化
がＱステップならば、ｉ＝０，１，２，…，Ｑ^N −１に
ついての度数分布を求めるが、ベクトルＹ_i の成分数Ｎ
が大きくなると莫大なベクトル数になるので、量子化幅
を大きく採って各輝度成分の量子化数を必要に応じて縮
小しても構わない。このベクトル総数をＬとする。

【０２０４】任意の局所輝度パターンベクトルＹ_i の判
定対象ブロック単位での度数自体ｘ_imを全てのブロック
に対して計数して総ブロック数Ｍで除算する。これによ
り図４３（ｂ）に示すようなブロック単位のベクトルＹ
_i の度数値の度数分布Ｐ_i （ｘ_im）が得られる。このベ
クトルＹ_i の度数値の分散σ_i を全てのベクトルＹ_iに
対して計算する。即ち、

【０２０５】

【数４】 である。

【０２０６】次に分散σ_i が大きい順にベクトルＹ_i を
並べ変える。それらの内分散σ_i が所定値以下のもの
は、代表ベクトルとしては対象外として除去し、残りの
ベクトルＹ_i ′をベクトル量子化のための代表ベクトル
とする。分散の所定値というのは、所定値以上のベクト
ルを代表ベクトルとした場合に、上記手法を使って画像
種を識別して満足できる識別率が達成できる値である。

【０２０７】図４０に示したベクトル量子化器１２５で
は、判定対象ブロックから検出された局所輝度パターン
ベクトルＹ_i が、これら選択された代表ベクトルＹ_i ′
の何れかに量子化される。即ち、局所輝度パターンベク
トルＹ_i は、Ｎ次元直交空間において距離が最も近い代
表ベクトルを量子化ベクトルとする。距離はユークリッ
ド距離（ベクトル成分差の２乗和の平方根）または市街
地距離（ベクトル成分差の絶対値和）を用いればよい。

【０２０８】このようにして代表ベクトルを求めるの
は、次の目的による。

【０２０９】本実施例では各画像種の特徴を、前記ベク
トルＹ_i の発生度数分布の形状によって識別しようとし
ている。画像値によってその部分形状が際だって異なる
ベクトルは、上記分散σ_i が大きくなり、反対に部分形
状がほぼ類似している場合は、その形状を成しているベ
クトルＹ_i の分散は‘０’に近い値を示す。画像値を識
別すること、つまり発生分布形状を区別するのは、互い
に分布形状の異なる部分を優先して識別することが有効
である。従って、相対的に大きい分散値を示すベクトル
Ｙ_i で分布形状を近似することが、画像種による分布形
状を効果的に識別する上で役立つからである。

【０２１０】図４０に示すベクトル量子化器１２５から
出力された量子化ベクトルは、量子化ベクトル計数部１
２６に入力されて、その累積度数が計数されてヒストグ
ラムを算出する。量子化ベクトルｇ_k のヒストグラム
は、特徴パターン判定部１２７に入力されて、その形状
を認識して判定画像種類を出力する。特徴パターン判定
部１２７は、フィードフォワードの階層型ニューラルネ
ットワークで構成される。入力層は、量子化ベクトルの
数のＫ個の入力をもつ。中間層は試行錯誤的に適切に決
定された層数とニューロン素子をもち、出力層は判定し
たい画像種類の数の出力をもつ。例えば、活字体文字、
手書き文字、写真、絵柄画像、背景画像の５つの画像種
類を混在画像の中から判定して分離したいのであれば、
５出力をもつことになる。

【０２１１】この特徴パターン判定部１２７のニューラ
ルネットワークの学習は、入力された量子化ベクトルの
ヒストグラムのパターン形状と対応関係にある探索ブロ
ック選択部１１５で選択された判定対象ブロックの画像
の種類を教師データとして出力層に与えられる。学習
時、教師データとしての判定対象ブロックの画像種類に
は、人為的に認識して決定する。この学習過程は、バッ
クプロパゲーション手法により、出力誤差が設定誤差以
下になるまで、判定対象画像の種類をさまざまに変えて
繰り返し行われる。

【０２１２】そして特徴パターン判定部１２７では、入
力される量子化ベクトルのヒストグラムの形状（特徴パ
ターン）と画像の種類に相関関係があることを利用し
て、ニューラルネットワークにより認識処理を行ってい
る。敢えてニューラルネットワークを用いているのは、
一般的なパターンマッチングのように多量の参照テンプ
レートと比較決定する膨大な計算を回避することと、特
徴パターンと画像種類との相関性が多少劣化しても判定
確率への影響が少ないことを利点とするためである。学
習が終了した特徴パターン判定部１２７は、既に入力さ
れる量子化ベクトルのヒストグラム形状に対し、画像種
類を判定し出力する画像種判定器になっている。

【０２１３】前記特徴パターン判定部１２７の出力は、
画像種決定部１２８に入力されて判定対象ブロックの画
像種最終判断が行われる。特徴パターン判定部１２７の
ニューラルネットワーク出力は、唯一の画像種を出力し
ない場合も考えられる。

【０２１４】従って、その判定結果に対する評価基準
（ルール）を設けて、対応する同種画像領域の画像種類
の最終決定が画像種決定部１２８から出力される。

【０２１５】前記画像種決定部１２８から出力される最
終決定した画像種類、上記同種画像領域のアドレスデー
タ及びサイズが、本実施例の混在画像像域分離装置から
出力される。

【０２１６】次に本発明による第１１実施例について説
明する。この第１１実施例以降の実施例の画像処理装置
の構成は、図４０に示した第１０実施例と同様である
が、ベクトル量子化部１２５内部で行われるベクトル量
子化の量子化されるベクトルの算出方法が異なるもので
あり、構成についての説明は省略する。

【０２１７】この第１１実施例において用いられるベク
トル量子化器の代表ベクトルは、次のようにして求めら
れる。

【０２１８】まず画像種ごとに、十分な判定対象ブロッ
ク数で着目画素の輝度ｙ₀ とそれに隣接する所定数（Ｎ
−１）個の輝度ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 からなる
局所輝度パターンとしてのベクトルＹ_i （ｙ₀ ，ｙ₁ ，
ｙ₂ ，ｙ₃ ，…，ｙ_N-1 ）を繰り返し検出する。１つの
ブロックで検出されるベクトルＹ_i は、各輝度成分ｙ_j
（ｊ＝０，１，２，…，Ｎ−１）の量子化がＱステップ
ならば、ｉ＝０，１，２，…，Ｑ^N −１通り存在する
が、ベクトルＹ_i の成分数Ｎが大きくなると莫大なベク
トル数になるので、量子化幅を大きく採って各輝度成分
の量子化数を必要に応じて縮小しても構わない。

【０２１９】１つの判別対象ブロックにて検出される任
意のベクトルＹ_i の画像種ごとのブロック単位発生度数
の値をＦｒｅｑ（Ｙ_ij）と表し、複数ブロックでのＦｒ
ｅｑ（Ｙ_ij）の生起度数分布算出する。但し、ｊは識別
したい画像種の数だけ連番で与えられる。例えば、活字
体文字＝‘０’、手書き文字＝‘１’、写真＝‘２’、
絵柄画像＝‘３’のように番号が付される。

【０２２０】次に、図４４に示すように任意のＹ_ijに対
して、各画像種単位の平均生起度数Ａｖｒ（Ｆｒｅｑ
（Ｙ_ij））を求め、相互の平均度数の絶対値が算出され
る。例えば４通りの画像種があれば、６通りの値が求め
られることになる。そのうちの最小値［ｄ
_min （Ｙ_i ）］を求め、同様にして全てのベクトルに対
しこの値を算出する。

【０２２１】各ベクトルの最小値［ｄ_min （Ｙ_i ）］が
大きいものから順にベクトルＹ_i を並べ変え、その値が
所定値以上を示すベクトルＹ_i を前記ベクトル量子化に
おける代表ベクトルとする。

【０２２２】このようにして算出された代表ベクトルが
図４０に示したベクトル量子化器１２５で量子化される
ベクトルとして使用される。量子化方法は、第１０実施
例と同様に、Ｎ次元直交空間において距離が最も近い代
表ベクトルを量子化ベクトルとする。また距離はユーク
リッド距離（ベクトル成分差の２乗和の平方根）または
市街地距離（ベクトル成分差の絶対値和）を用いればよ
い。

【０２２３】任意のベクトルＹ_ijに対する各画像種単位
の平均生起度数Ａｖｒ（Ｙ_ij）は、画像値ごとにブロッ
ク単位でのそのベクトルの発生度数の平均を与える。そ
のため、ある画像種があるベクトルＹ_i を取る確率を反
映し、それの最もらしい代表値を示している。画像値に
よってあるベクトルＹ_i を取る確率の違いが小さい場合
は、そのベクトルＹ_i によっては画像種を識別し難いこ
とになる。逆に画像種によってあるベクトルＹ_i を取る
確率の違いの最小値が大きい場合は、そのベクトルＹ_i
によっては画像種を識別し易いことになり、識別し易い
ベクトルを優先して観測し、識別すれば効果的な識別が
可能となる。

【０２２４】次に本発明による第１２実施例としての画
像処理装置について説明する。

【０２２５】この第１２実施例において用いられるベク
トル量子化器の代表ベクトルは、次のようにして求めら
れる。まず画像種ごとに、十分な判定対象ブロック数で
着目画素の輝度ｙ₀ とそれに隣接する所定数（Ｎ−１）
個の輝度ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 からなる局所輝
度パターンとしてのベクトルＹ_i （ｙ₀ ，ｙ₁ ，ｙ₂，
ｙ₃ ，…，ｙ_N-1 ）を繰り返し検出する。１つのブロッ
クで検出されるベクトルＹ_i のは、各輝度成分ｙ_j （ｊ
＝０，１，２，…，Ｎ−１）の量子化がＱステップなら
ば、ｉ＝０，１，２，…，Ｑ^N −１通り存在するが、ベ
クトルＹ_i の成分数Ｎが大きくなると莫大なベクトル数
になるので、量子化幅を大きく採って各輝度成分の量子
化数を必要に応じて縮小しても構わない。

【０２２６】そして、１つの判定対象ブロックにて検出
される任意のベクトルＹ_i の画像種ごとのブロック単位
発生度数の値をＦｒｅｑ（Ｙ_ij）と表し、多数ブロック
でのＦｒｅｑ（Ｙ_ij）の生起確率分布Ｐ（Ｆｒｅｑ（Ｙ
_ij））を算出する。但し、ｊは識別したい画像種の数だ
け連番で与えられる。例えば、活字体文字＝‘０’、手
書き文字＝‘１’、写真＝‘２’、絵柄画像＝‘３’の
ように番号が付される。またＦｒｅｑ（Ｙ_ij）は画像種
毎にサンプルブロック総数が除算され、正規化される。

【０２２７】次に図４５に示すように任意のＹ_i におい
て、任意の２つの画像種ｊ，ｊ′の組み合わせを全て抽
出し、それらの生起確率分布Ｐ（Ｆｒｅｑ（Ｙ_ij））並
びにＰ（Ｆｒｅｑ（Ｙ_ij′））重なりあう面積、換言す
れば同時発生確率を組み合わせ数分算出する。

【０２２８】この同時発生確率の最大値［Ｓ
_max （Ｙ_i ）］を求めて、各ベクトルの最小値［Ｓ_max
（Ｙ_i ）］が小さいものから順にベクトルＹ_i を並べ変
え、その値が所定値以下を示すベクトルＹ_i を前述した
ベクトル量子化における代表ベクトルとする。

【０２２９】このようにして算出された代表ベクトルが
図４０に示したベクトル量子化器１２５で量子化される
ベクトルとして使用される。量子化方法は、第１０実施
例と同様にＮ次元直交空間において距離が最も近い代表
ベクトルを量子化ベクトルとする。距離はユークリッド
距離（ベクトル成分差の２乗和の平方根）または市街地
距離（ベクトル成分差の絶対値和）を用いればよい。

【０２３０】任意のベクトルＹ_i に対する生起確率分布
Ｐ（Ｆｒｅｑ（Ｙ_ij））の各画像種間の同時発生確率
は、異なる２つの画像種があるベクトルＹ_i をどの程度
の確率で識別できるかを表す。同時発生確率が大きい場
合は、誤る確率が増大する。従って、あるベクトルＹ_i
を取る確率がどの２つの画像種間でも類似する度合いが
小さければ、そのベクトルＹ_i によって画像種の識別が
効果的であることが言える。従って、識別に効果的なベ
クトルを優先して観測すれば、能率のよい画像種識別が
可能となる。

【０２３１】次に本発明による第１３実施例の画像処理
装置について説明する。

【０２３２】この第１３実施例において用いられるベク
トル量子化器の代表ベクトルは、次のようにして求めら
れる。まず画像種ごとに、十分な判定対象ブロック数で
着目画素の輝度ｙ₀ とそれに隣接する所定数（Ｎ−１）
個の輝度ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 からなる局所輝
度パターンとしてのベクトルＹ_i （ｙ₀ ，ｙ₁ ，ｙ₂，
ｙ₃ ，…，ｙ_N-1 ）を繰り返し検出する。１つのブロッ
クで検出されるベクトルＹ_i のは、各輝度成分ｙ_j （ｊ
＝０，１，２，…，Ｎ−１）の量子化がＱステップなら
ば、ｉ＝０，１，２，…，Ｑ^N −１通り存在するが、ベ
クトルＹ_i の成分数Ｎが大きくなると莫大なベクトル数
になるので、量子化幅を大きく採って各輝度成分の量子
化数を必要に応じて縮小しても構わない。

【０２３３】まず、前記局所輝度パターンをベクトルと
して表現できるＮ次元空間において、画像種別にそのベ
クトルを十分なサンプル数でプロットする。結果画像種
ごとのベクトルの発生確率分布を得る。これら分布を図
４６に示すように、それぞれＬＢＧアルゴリズムを用い
て、所定数のベクトルにベクトル量子化する。ＬＢＧア
ルゴリズムは、例えば［“An Algorithm for Vector Qu
antizer Design" YOSEPH LINDE etc. IEEE TRANSACTION
ON COMUNICATIONS ，VOL.COM-28，NO.1 JANUARY 1980
］に詳細に記載されている。要点を言えば、局所領域
内に存在する全ての特徴ベクトルとその局所領域の代表
ベクトルとのユークリッド距離が他の局所領域の代表ベ
クトルとのユークリッド距離に対して最短になるように
代表ベクトルが決定される。

【０２３４】そして算出された各画像種の量子化ベクト
ルを合成して１つの量子化ベクトルの集合とし、個々の
ベクトル間の距離が大きいベクトルから代表ベクトル優
先候補とする。優先度が高い代表ベクトルから所定数を
選択して、最終的な代表ベクトルとする。代表ベクトル
の距離が互いに小さい、即ち分布が密なベクトル存在空
間は、各画像種の分布形状が類似していると判断でき
る。従って密でない空間のベクトルを優先して選択する
ことで、これらベクトルの発生分布は互いの画像種の違
いを顕著に表すことになり、能率的な画像種識別を実現
する。

【０２３５】次に本発明による第１４実施例の画像処理
装置について説明する。

【０２３６】この第１４実施例において用いられるベク
トル量子化器の代表ベクトルは、次のようにして求めら
れる。まず、画像種ごとに、十分で且つ同数の判定対象
ブロック数で着目画素の輝度ｙ₀ とそれに隣接する所定
数（Ｎ−１）個の輝度ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 か
らなる局所輝度パターンとしてのベクトルＹ_i （ｙ₀，
ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 ）を繰り返し検出する。
１つのブロックで検出されるベクトルＹ_i は、各輝度成
分ｙ_j （ｊ＝０，１，２，…，Ｎ−１）の量子化がＱス
テップならば、ｉ＝０，１，２，…，Ｑ^N −１通り存在
するが、ベクトルＹ_i の成分数Ｎが大きくなると莫大な
ベクトル数になるので、量子化幅を大きく採って各輝度
成分の量子化数を必要に応じて縮小しても構わない。

【０２３７】次に検出されたベクトルＹ_i から取り得る
全てのベクトルに対し、その頻度を計数する。計数値が
最大のベクトルから随時所定数分選択し、ベクトル量子
化時の代表ベクトルとする。どの画像種に対しても発生
確率が小さいものは、その頻度が画像種によって差異が
表れないので、識別に用いる必要性がない。従って、こ
のような識別に寄与しないベクトルを除去することで、
図４０の特徴パターン判定部１２７の入力数を削減で
き、能率の良い識別部構成が実現できる。

【０２３８】次に本発明による第１５実施例の画像処理
装置について説明する。第１５実施例において用いられ
るベクトル量子化器の代表ベクトルは、次のようにして
求められる。まず画像種ごとに、十分な判定対象ブロッ
ク数で着目画素の輝度ｙ₀ とそれに隣接する所定数（Ｎ
−１）個の輝度ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 からなる
局所輝度パターンとしてのベクトルＹ_i （ｙ₀ ，ｙ₁ ，
ｙ₂ ，ｙ₃ ，…，ｙ_N-1 ）を繰り返し検出する。１つの
ブロックで検出されるベクトルＹ_i は、各輝度成分ｙ_j
（ｊ＝０，１，２，…，Ｎ−１）の量子化がＱステップ
ならば、ｉ＝０，１，２，…，Ｑ^N −１通り存在する
が、ベクトルＹ_i の成分数Ｎが大きくなると莫大なベク
トル数になるので、量子化幅を大きく採って各輝度成分
の量子化数を必要に応じて縮小しても構わない。

【０２３９】図４７に示すように、検出されたベクトル
Ｙ_i の画像種それぞれのヒストグラムを算出し、度数の
最大値で除算して正規化する。得られた各ヒストグラム
はＮ次元で全微分され、絶対値がとられる。全微分され
たＮ次元ヒストグラムを所定値閾値で２値化する。

【０２４０】そして２値化されたそれぞれの画像種のＮ
次元２値パターンは、全ての画像種で論理積がとられ
る。論理積後の２値Ｎ次元パターン分布において、ＬＢ
Ｇアルゴリズム（第１３実施例にて説明した）を適用し
て所定数の代表ベクトルを抽出する。ヒストグラムの形
状を識別する上で、形状変化が大きい部分は、多くのベ
クトルで近似し、形状変化が小さい部分は少ないベクト
ルで近似する方が形状を効果的に近似できる。微分パタ
ーン形状は形状変化の度合いを反映する。従って上記処
理方法を使えば、各画像種に共通して分布形状の変化を
容易に抽出でき、画像種によるＮ次元ヒストグラムのよ
り効果的な形状近似が実現できる。

【０２４１】次に図４８には、本発明による第１６実施
例としての画像処理装置の構成を示し説明する。

【０２４２】この第１６実施例においても、画像種判定
部１７０の局所輝度パターン検出部１７２までは、図４
０に示す第１０実施例と構成は同一である。本実施例の
特徴となる局所輝度パターン検出部１７２以降から画像
種決定出力までの構成及び動作について説明する。

【０２４３】この局所輝度パターン検出部１７２から出
力である局所輝度パターンベクトルＹ_i は、並列的にベ
クトル量子化部１７３を構成するベクトル量子化器ＶＱ
₁ ，ＶＱ₂ ，…，ＶＱ_j ，…，ＶＱ_J に入力される。但
し、Ｊは識別したい画像の種類の数を示す。ベクトル量
子化器ＶＱ_j は、画像種に対応した代表ベクトルを使っ
て量子化する。

【０２４４】ベクトル量子化器ＶＱ_j の代表ベクトル
は、次のようにして求められる。

【０２４５】まず画像種ごとに、十分な判定対象ブロッ
ク数で着目画素の輝度ｙ₀ とそれに隣接する所定数（Ｎ
−１）個の輝度ｙ₁ ，ｙ₂ ，ｙ₃ ，…，ｙ_N-1 からなる
局所輝度パターンとしてのベクトルＹ_i （ｙ₀ ，ｙ₁ ，
ｙ₂ ，ｙ₃ ，…，ｙ_N-1 ）をＬ個のブロックについて繰
り返し検出する。１つのブロックで検出されるベクトル
Ｙ_i は、各輝度成分ｙ_j （ｊ＝０，１，２，…，Ｎ−
１）の量子化がＱステップならば、ｉ＝０，１，２，
…，Ｑ^N −１通り存在するが、ベクトルＹ_i の成分数Ｎ
が大きくなると莫大なベクトル数になるので、量子化幅
を大きく採って各輝度成分の量子化数を必要に応じて縮
小しても構わない。得られたベクトルＹ_i は、画像種そ
れぞれにＮ次元空間において第１３実施例で説明したＬ
ＢＧアルゴリズムを使って所定数Ｋの代表ベクトルが求
められる。

【０２４６】前記局所輝度パターン検出部１７２から出
力され、ベクトル量子化器ＶＱ_j １７３に入力された検
出ベクトルは、先に求められている代表ベクトルとユー
クリッド距離が計算されて、検出ベクトルに対しもっと
も距離が小さい代表ベクトルが選択されてベクトル量子
化が完了する。

【０２４７】この処理は各ベクトル量子化器ＶＱ_j で同
時に実行される。ベクトル量子化器ＶＱ_j からの出力
は、分散合計算出器１７４に入力されて、１つの判定対
象ブロックから検出された量子化されるベクトルの度数
分布を生成し、それぞれの量子化されたベクトルそれぞ
れの分散σの合計Ｅを計算する。即ち、任意の判定対象
ブロック１から検出され且つ任意のベクトル量子化器Ｖ
Ｑ_j において量子化されるベクトル（代表ベクトル）を
Ｙ_jkL （ｋ＝０，１，…，Ｋ；L ＝１，２，…，Ｌ）と
し、その発生度数Ｆｒｅｑ（Ｙjk）とすれば、分散合計
Ｅ_j は、

【０２４８】

【数５】 で与えられる。

【０２４９】分散合計算出器１７４から同時出力される
各画像種ごとに分散合計Ｅ_j は、評価部１７５に入力さ
れて、その最小値を示す画像種を出力する。出力された
画像種が判定対象ブロックの識別結果である。

【０２５０】本実施例ではベクトル量子化するときの代
表ベクトルが、予め画像種ごとに一様な発生分布になる
よう計算されている。そのため識別時に対応する画像種
が入力されると、その量子化ベクトルの発生度数は一様
になり、それ以外は分散が大きくなるので、何れの画像
種の分布かが区別できることになる。

【０２５１】また本発明は、前述した実施例に限定され
るものではなく、他にも発明の要旨を逸脱しない範囲で
種々の変形や応用が可能であることは勿論である。

【０２５２】

【発明の効果】以上詳述したように本発明によれば、各
種画像が混在した入力画像を画像の種類毎の領域に分割
でき、例えば各種画像種類に適した画像データ圧縮によ
り混在画像全体のデータ圧縮率を高めることができ、画
像の画質を向上させる画像処理装置を提供することがで
きる。

【図面の簡単な説明】

【図１】図１は、本発明による実施例としての画像処理
装置の構成を示す図である。

【図２】図２には、黒画素抽出の処理を行う構成を示す
図である。

【図３】図３は、２値化処理及び、エッジ抽出処理を行
う構成例を示す図である。

【図４】図４は、連続構成要素領域の境界抽出を行う構
成を示す図である。

【図５】図５（ａ）は事前に画像種類の違いによる特徴
を統計データより抽出して判定時の評価基準を判定する
構成を示し、図５（ｂ）は求めた評価基準を使って実際
の画像種類の判定を行う構成を示す図である。

【図６】本発明の画像処理装置の概念的な構成図であ
る。

【図７】本発明による第２実施例としての画像処理装置
の構成を示す図である。

【図８】図７に示した画像処理装置の差分・２値化処理
を説明をするための図である。

【図９】第２実施例における弧立点除去フィルタを説明
するための図である。

【図１０】第２実施例におけるラベル処理を説明するた
めの図である。

【図１１】第２実施例における矩形領域抽出を説明する
ための図である。

【図１２】第２実施例における各処理過程の出力画像を
第１の例を示す図である。

【図１３】第２実施例における各処理過程の出力画像を
第２の例を示す図である。

【図１４】第２実施例における各処理過程の出力画像を
第３の例を示す図である。

【図１５】本発明による第３実施例としての画像処理装
置の構成を示す図である。

【図１６】図１５に示した比・２値化処理を説明するた
めの図である。

【図１７】第３実施例における各処理過程の出力画像を
第１の例を示す図である。

【図１８】第３実施例における各処理過程の出力画像を
第２の例を示す図である。

【図１９】第３実施例における各処理過程の出力画像を
第３の例を示す図である。

【図２０】第３実施例における対数差分・２値化処理の
説明するための図である。

【図２１】第３実施例と同様の効果をもつ２値化操作を
行う場合の別構成を示す図である。

【図２２】本発明による第４実施例としての画像処理装
置の構成を示す図である。

【図２３】第４実施例における固定閾値により２値化を
行なう場合の別構成を示す図である。

【図２４】第４実施例における微分フィルタによるエッ
ジ抽出処理を説明するための図である。

【図２５】本発明による第５実施例としての画像処理装
置の構成を示す図である。

【図２６】第５実施例における短白ラン／黒ラン変換に
よるブロック処理を説明するための図である。

【図２７】本発明による第６実施例としての画像処理装
置の構成を示す図である。

【図２８】第６実施例における混在画像を同種画像領域
に分割方法を説明するための図である。

【図２９】第６実施例における輝度レベルを修正する方
法を説明するための図である。

【図３０】第６実施例における修正輝度ヒストグラムの
算出方法を説明するための図である。

【図３１】本発明の実施例に用いたニューラルネットワ
ークを利用するベクトル量子化器の構成を示す図であ
る。

【図３２】第６実施例における判定された画像種結果を
評価する方法を説明するための図である。

【図３３】複数判定対象領域による画像種判定を説明す
るための構成例を示す図である。

【図３４】本発明による第７実施例としての画像処理装
置の構成を示す図である。

【図３５】本発明による第８実施例としての画像処理装
置の構成を示す図である。

【図３５】第８実施例における勾配ベクトル方位と修正
輝度レベルが呈する画像種毎の特徴パターンの第１の典
型例を示す図である。

【図３６】第８実施例における勾配ベクトル方位と修正
輝度レベルが呈する画像種毎の特徴パターンの第２の典
型例を示す図である。

【図３７】第８実施例における勾配ベクトル方位と修正
輝度レベルによって区別される典型特徴パターンを示す
図である。

【図３８】第８実施例において、２つのパラメータが示
す文字種類に対する特徴を示す図である。

【図３９】本発明による第９実施例としての画像処理装
置の構成を示す図である。

【図４０】本発明による第１０実施例としての画像処理
装置の構成を示す図である。

【図４１】第１０実施例における輝度レベルパターンを
説明するための図である。

【図４２】第１０実施例における局所輝度パターンの画
像種ごとに分布形状の一例を示した図である。

【図４３】第１０実施例におけるベクトル量子化につい
て説明するための図である。

【図４４】本発明による第１１実施例におけるベクトル
量子化について説明するための図である。

【図４５】本発明による第１２実施例におけるベクトル
量子化について説明するための図である。

【図４６】本発明による第１３実施例におけるベクトル
量子化について説明するための図である。

【図４７】本発明による第１５実施例におけるベクトル
量子化について説明するための図である。

【図４８】本発明による第１６実施例としての画像処理
装置の構成を示す図である。

【図４９】従来の画像処理装置の概略的な構成図であ
る。

【符号の説明】

１…画像入力部、１ａ…光学系、１ｂ…固体撮像素子、
２…カラー／モノクロ変換処理部、３…２値化処理部、
４…縮小処理部、５…連続構成要素領域の境界抽出部、
６…画像種類判定部、７…データ圧縮部、１１，１２…
差分演算処理部、１３，１４…２値化処理部、１５，２
５…合成部、１６，１７…黒画素再生部、２０…境界線
算出部、２１，２２…差分演算処理部、２３，２４…２
値化処理部、２６…間引き処理部、２７…ＬＰＦ（ロー
パスフィルタ）、２８…エッジ抽出部、３１…エッジ抽
出部、３２…ＫＬ変換部、３３…基底ベクトル抽出部、
３４…内積演算部、３５…ニューラルネットワーク部、
３６…教師データ入力部。

【手続補正書】

【提出日】平成５年１１月８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項３

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】請求項４

【補正方法】変更

【補正内容】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正内容】

【００２３】また、文字，絵柄および写真等が混在する
混在画像をディジタル化し蓄積する画像フレームメモリ
と、前記画像フレームメモリから出力される画像データ
を同種類毎の画像領域に分割して、同種画像領域の位置
並びに大きさを出力する同種画像領域分割手段と、前記
同種画像領域内を所定の大きさの小領域に選択抽出し、
該小領域の位置、大きさを出力する探索ブロック領域選
択手段と、前記探索ブロック領域選択手段により選択さ
れた小領域に対応する画像データを判定対象領域として
前記画像フレームメモリより読み出し、一時蓄積する判
定対象ブロック画像メモリと、前記判定対象領域の画像
データから水平方向の差分値データ及び垂直方向の差分
値データを検出する差分検出手段と、前記差分データに
より輝度修正のための修正パラメータを算出し、前記修
正パラメータに基づき、前記判定対象領域の画像データ
から修正された輝度レベルを算出する輝度レベル修正処
理手段と、前記差分検出手段からの差分値データ、及び
前記輝度レベル修正処理手段からの修正輝度レベルデー
タをベクトル量子化するベクトル量子化手段と、前記ベ
クトル量子化手段からの量子化ベクトルの各成分の計数
を行う量子化ベクトル計数手段と、計数された量子化ベ
クトルの成分を入力とし、所定の画像種類を出力するニ
ューラルネットワーク（神経回路網）と、出力される画
像種類の判定結果を評価し決定して、前記同種画像領域
の位置及び大きさのデータと合わせて決定した画像種類
を出力する画像種決定手段とで構成された画像処理装置
を提供する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】変更

【補正内容】

【００２４】さらに、入力した画像信号をデジタル画像
データに変換する画像入力手段と、前記入力した画像信
号内から所定の大きさで小領域を選択抽出する判定対象
領域選択部と、判定対象領域の画像データから隣接する
画素の所定数（Ｎ）の画素からなる局所特徴パターンを
検出する局所特徴パターン検出手段と、前記局所特徴パ
ターンをＮ次元空間上でベクトル量子化するベクトル量
子化手段と、前記ベクトル量子化手段により量子化され
た代表ベクトルに対してその発生頻度を計数してヒスト
グラムを算出するヒストグラム生成手段と、前記ヒスト
グラム生成手段により求められた量子化ベクトルヒスト
グラムを入力として、その分布形状を識別して所望する
画像種類を出力する画像種識別手段と、前記識別結果を
得て、画像種類を決定する画像種決定手段とで構成され
た画像処理装置を提供する。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】０１４２

【補正方法】変更

【補正内容】

【０１４２】次に度数の正規化であるがこれは度数のピ
ークにそって正規化するもので、図３１（ｂ）において
は発生頻度軸方向での正規化である。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】０２１９

【補正方法】変更

【補正内容】

【０２１９】１つの判定対象ブロックにて検出される任
意のベクトルＹ_i の画像種ごとのブロック単位発生度数
の値をＦｒｅｑ（Ｙ_ij）と表し、複数ブロックでのＦｒ
ｅｑ（Ｙ_ij）の生起度数分布算出する。但し、ｊは識別
したい画像種の数だけ連番で与えられる。例えば、活字
体文字＝‘０’、手書き文字＝‘１’、写真＝‘２’、
絵柄画像＝‘３’のように番号が付される。 ─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成６年２月７日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図１】図１は、本発明による実施例としての画像処理
装置の構成を示す図である。

【図２】図２には、黒画素抽出の処理を行う構成を示す
図である。

【図３】図３は、２値化処理及び、エッジ抽出処理を行
う構成例を示す図である。

【図４】図４は、連続構成要素領域の境界抽出を行う構
成を示す図である。

【図５】図５（ａ）は事前に画像種類の違いによる特徴
を統計データより抽出して判定時の評価基準を判定する
構成を示し、図５（ｂ）は求めた評価基準を使って実際
の画像種類の判定を行う構成を示す図である。

【図６】本発明の画像処理装置の概念的な構成図であ
る。

【図７】本発明による第２実施例としての画像処理装置
の構成を示す図である。

【図８】図７に示した画像処理装置の差分・２値化処理
を説明をするための図である。

【図９】第２実施例における弧立点除去フィルタを説明
するための図である。

【図１０】第２実施例におけるラベル処理を説明するた
めの図である。

【図１１】第２実施例における矩形領域抽出を説明する
ための図である。

【図１２】第２実施例における各処理過程の出力画像を
第１の例を示す図である。

【図１３】第２実施例における各処理過程の出力画像を
第２の例を示す図である。

【図１４】第２実施例における各処理過程の出力画像を
第３の例を示す図である。

【図１５】本発明による第３実施例としての画像処理装
置の構成を示す図である。

【図１６】図１５に示した比・２値化処理を説明するた
めの図である。

【図１７】第３実施例における各処理過程の出力画像を
第１の例を示す図である。

【図１８】第３実施例における各処理過程の出力画像を
第２の例を示す図である。

【図１９】第３実施例における各処理過程の出力画像を
第３の例を示す図である。

【図２０】第３実施例における対数差分・２値化処理の
説明するための図である。

【図２１】第３実施例と同様の効果をもつ２値化操作を
行う場合の別構成を示す図である。

【図２２】本発明による第４実施例としての画像処理装
置の構成を示す図である。

【図２３】第４実施例における固定閾値により２値化を
行なう場合の別構成を示す図である。

【図２４】第４実施例における微分フィルタによるエッ
ジ抽出処理を説明するための図である。

【図２５】本発明による第５実施例としての画像処理装
置の構成を示す図である。

【図２６】第５実施例における短白ラン／黒ラン変換に
よるブロック処理を説明するための図である。

【図２７】本発明による第６実施例としての画像処理装
置の構成を示す図である。

【図２８】第６実施例における混在画像を同種画像領域
に分割方法を説明するための図である。

【図２９】第６実施例における輝度レベルを修正する方
法を説明するための図である。

【図３０】第６実施例における修正輝度ヒストグラムの
算出方法を説明するための図である。

【図３１】本発明の実施例に用いたニューラルネットワ
ークを利用するベクトル量子化器の構成を示す図であ
る。

【図３２】第６実施例における判定された画像種結果を
評価する方法を説明するための図である。

【図３３】複数判定対象領域による画像種判定を説明す
るための構成例を示す図である。

【図３４】本発明による第７実施例としての画像処理装
置の構成を示す図である。

【図３５】本発明による第８実施例としての画像処理装
置の構成を示す図である。

【図３６】第８実施例における勾配ベクトル方位と修正
輝度レベルが呈する画像種毎の特徴パターンの第２の典
型例を示す図である。

【図３７】第８実施例における勾配ベクトル方位と修正
輝度レベルによって区別される典型特徴パターンを示す
図である。

【図３８】第８実施例において、２つのパラメータが示
す文字種類に対する特徴を示す図である。

【図３９】本発明による第９実施例としての画像処理装
置の構成を示す図である。

【図４０】本発明による第１０実施例としての画像処理
装置の構成を示す図である。

【図４１】第１０実施例における輝度レベルパターンを
説明するための図である。

【図４２】第１０実施例における局所輝度パターンの画
像種ごとに分布形状の一例を示した図である。

【図４３】第１０実施例におけるベクトル量子化につい
て説明するための図である。

【図４４】本発明による第１１実施例におけるベクトル
量子化について説明するための図である。

【図４５】本発明による第１２実施例におけるベクトル
量子化について説明するための図である。

【図４６】本発明による第１３実施例におけるベクトル
量子化について説明するための図である。

【図４７】本発明による第１５実施例におけるベクトル
量子化について説明するための図である。

【図４８】本発明による第１６実施例としての画像処理
装置の構成を示す図である。

【図４９】従来の画像処理装置の概略的な構成図であ
る。

【符号の説明】 １…画像入力部、１ａ…光学系、１ｂ…固体撮像素子、
２…カラー／モノクロ変換処理部、３…２値化処理部、
４…縮小処理部、５…連続構成要素領域の境界抽出部、
６…画像種類判定部、７…データ圧縮部、１１，１２…
差分演算処理部、１３，１４…２値化処理部、１５，２
５…合成部、１６，１７…黒画素再生部、２０…境界線
算出部、２１，２２…差分演算処理部、２３，２４…２
値化処理部、２６…間引き処理部、２７…ＬＰＦ（ロー
パスフィルタ）、２８…エッジ抽出部、３１…エッジ抽
出部、３２…ＫＬ変換部、３３…基底ベクトル抽出部、
３４…内積演算部、３５…ニューラルネットワーク部、
３６…教師データ入力部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/393 7/24 Ｈ０４Ｎ 7/13 Ｚ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 種々の情報が混在した画像を入力する画
   像入力手段と、 前記画像入力手段から出力された画像データを２値化画
   像データに変換する２値化手段と、 前記２値化手段からの２値化画像データを縮小画像デー
   タにする縮小手段と、 前記縮小手段から出力された縮小画像データから画像を
   構成する連続要素領域を抽出する構成要素領域抽出手段
   と、 前記構成要素領域抽出手段により抽出された連続要素領
   域の所定領域ごとに、予め情報により分類された画像種
   に基づき、画像の種類を判定する画像種類判定手段と、 前記抽出された領域と判別された画像種によって好適す
   るデータ圧縮方式を選択し、前記画像入力手段からの画
   像データを圧縮するデータ圧縮手段とを具備することを
   特徴とする画像処理装置。
2. 【請求項２】 文字、絵柄および写真等が混在する混在
   画像から、文字列、絵柄、写真等の各領域を分割する画
   像処理装置において、 前記混在画像を記憶する画像メモリと、 前記画像メモリに記憶された混在画像からエッジを抽出
   し、２値画像に変換するエッジ抽出・２値化処理手段
   と、 前記２値画像を所定数の画素からなる小領域に分割し、
   各小領域を１画素に縮小する縮小画像処理手段と、 前記縮小画像中の黒画素領域を統合し、ブロック化する
   ブロック処理手段と、 前記ブロック処理手段のブロック化により連結した黒画
   素の存在範囲から画像領域外接矩形の対角座標を求める
   矩形領域抽出手段とを具備したことを特徴とする画像処
   理装置。
3. 【請求項３】 文字，絵柄および写真等が混在する混在
   画像を蓄積する画像フレームメモリと、 前記画像フレームメモリから出力される画像データを同
   種類毎の画像領域に分割して、同種画像領域の位置並び
   に大きさを出力する同種画像領域分割手段と、 前記同種画像領域内から所定の大きさの小領域を選択抽
   出し、該小領域の位置、大きさを出力する探索ブロック
   領域選択手段と、 前記探索ブロック領域選択手段により選択された小領域
   に対応する画像データを判定対象領域として前記画像フ
   レームメモリより読み出し、一時蓄積する判定対象ブロ
   ック画像メモリと、 前記判定対象領域の画像データから差分値データを検出
   する差分検出手段と、 前記差分値データにより輝度修正のための修正パラメー
   タを算出し、前記修正パラメータに基づき、前記判定対
   象領域の画像データから修正された輝度レベルを算出す
   る輝度レベル修正処理手段と、 前記水平・垂直差分検出手段からの水平・垂直差分値デ
   ータ、及び前記輝度レベル修正処理手段からの修正輝度
   レベルデータをベクトル量子化するベクトル量子化手段
   と、 前記ベクトル量子化手段からの量子化ベクトルの各成分
   の計数を行う量子化ベクトル計数手段と、 計数された量子化ベクトルの成分を入力とし、所定の画
   像種類を出力するニューラルネットワーク（神経回路
   網）と、 出力される画像種類の判定結果を評価し決定して、前記
   同種画像領域の位置及び大きさのデータと合わせて決定
   した画像種類を出力する画像種決定手段と、を具備する
   ことを特徴とする画像処理装置。
4. 【請求項４】 画像データを入力する画像入力手段と、 前記入力した画像データ内から所定の大きさで小領域を
   選択抽出する判定対象領域選択部と、 判定対象領域の画像データから隣接する画素の所定数
   （Ｎ）の画素からなる局所画素パターンを検出する局所
   画素パターン検出手段と、 前記局所画素パターンをＮ次元空間上でベクトル量子化
   するベクトル量子化手段と、 前記ベクトル量子化手段により量子化された代表ベクト
   ルに対してその発生頻度を計数してヒストグラムを算出
   するヒストグラム生成手段と、 前記ヒストグラム生成手段により求められた量子化ベク
   トルヒストグラムを入力として、その分布形状を識別し
   て所望する画像種類を出力する画像種識別手段と、 前記識別結果を得て、画像種類を決定する画像種決定手
   段と、 を具備することを特徴とする画像処理装置。