JPH0696275A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 領域分割をする際の処理時間の短縮、記憶領
域の小規模化、および複雑な領域構成の分割精度の向上
を図ることにある。 【構成】 この装置は、入力部１０１からの入力画像に
対し縦ｍドット、横ｎドットの論理和をとって新たにｍ
Ｘｎ画素を１画素に間引く画像間引き部１０６、その間
引いた画像の黒画素に対し１行ずつラベルを付加し、上
下・左右・斜めで連続している画素には同一ラベルを付
け、同時に矩形をかたどっていくラベリング部１０７お
よびその矩形の幅、高さ、面積、面積に対する画素の数
すなわち画素密度を用いて本文に該当する矩形、図形ま
たは写真に該当する矩形、表に該当する矩形、セパレー
タに該当する矩形等を区別するセパレータ等検出部１０
８等を有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＯＣＲ（光学的文字認
識）装置、複写機、ファクシミリ等の電子装置におい
て、特に入力画像に対して文字領域と、図形、表等の領
域とに分割する画像処理装置に関する。

【０００２】

【従来の技術】従来の画像処理装置においては領域分割
手段として、ランレングスの分布を調べ白ラン黒ランの
長さにより文字領域や図形領域等を分割するランレング
ス分析方式を用いたものや、入力画像のフーリェスペク
トルを分析して各種領域に分割するスペクトル分析方式
を用いたものや、特開昭６４−１５８８９号公報に記載
されているように垂直および水平方向の射影（ヒストグ
ラム）を交互に繰り返して取り周辺部分の情報から領域
を分割していく射影分析方式を用いたものがある。

【０００３】

【発明が解決しようとする課題】しかしながら、上述の
ような従来技術では、演算処理に多大な時間を費やし、
かつ画像の画素に対して処理を行うので記憶領域が大規
模化し、複雑な領域構成の画像に対する分割精度が低い
等の問題点があった。

【０００４】本発明の目的は、上述の点に鑑みて、領域
分割をする際の処理時間の短縮、記憶領域の小規模化、
および複雑な領域構成の分割精度の向上等を図った画像
処理装置を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、画像を入力する画像入力手段と、該画像
入力手段からの入力画像に対し縦ｍドット、横ｎドット
の論理和をとって新たにｍＸｎ画素を１画素に間引く画
像間引き手段と、該画像間引き手段で間引かれた画像の
黒画素に対し１行ずつラベルを付加し、上下・左右・斜
めで連続している画素には同一ラベルを付け、同時に矩
形をかたどっていくラベリング手段と、該ラベリング手
段でラベル付けされた前記矩形の幅、高さ、面積、面積
に対する画素の数すなわち画素密度を用いて文章部分に
該当する矩形、図形または写真に該当する矩形、表に該
当する矩形、セパレータに該当する矩形等を区別するセ
パレータ等検出手段とを具備し、該セパレータ等検出手
段の検出結果に基づいて前記入力画像の領域分割を行う
ことを特徴とする。

【０００６】また、本発明は、好ましくは、前記セパレ
ータ等検出手段により区分された文章部分に該当する矩
形の幅と高さの比較から縦書き文章か横書き文章かを推
定する組方向検出手段と、該組方向検出手段で判定され
た組方向と文字サイズを用いて見出し類を検出する見出
し類検出手段と、本来の矩形の大きさを拡張した仮想矩
形を用いて矩形の合併を行う矩形合併手段とをさらに有
することを特徴とすることができる。

【０００７】

【作用】本発明では、画像間引き部、ラベリング部等を
有する領域分割手段により、入力画像を矩形データに変
換して文字、図形、表等の領域に分割させる。

【０００８】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【０００９】図１は本発明の一実施例の画像処理装置の
概略構成を示す。本図において、１０１は画像データの
入力部である。１０２は装置の制御や各部処理の演算を
行う演算処理部（ＣＰＵ）である。１０３は後述するフ
ローチャートの制御プログラムや、各種データを記憶し
ておく記憶部である。１０４は演算処理結果や画像処理
結果、および画像データを出力する出力部である。１０
５は領域分割処理全体を行う領域分割部である。

【００１０】次に、領域分割部１０５の内部構成につい
て説明する。まず、１０６は入力画像を間引く、画像間
引き部であり、入力画像に対し縦ｍドット、横ｎドット
の論理和をとって新たにｍＸｎ画素を１画素に間引く。
１０７はその間引き画素にラベル付けを行い同時に初期
矩形データを作成するラベリング部であり、画像の黒画
素に対し１行ずつラベルを付加し、上下・左右・斜めで
連続している画素には同一ラベルを付け、同時に矩形を
かたどっていく。１０８はセパレータや表や図形等を検
出するセパレータ等検出部であり、上記矩形の幅、高
さ、面積、面積に対する画素の数すなわち画素密度を用
いて文字部分（本文）に該当する矩形、図形または写真
に該当する矩形、表に該当する矩形、セパレータに該当
する矩形等を区別する。１０９は縦書き・横書き等の文
章の組方向を検出する組方向検出部であり、上記文字部
分（本文）に該当する矩形の幅と高さの比較から縦書き
文章か横書き文章かを推定する。１１０は見出し類を検
出する見出し類検出部であり、上記組方向と文字サイズ
を用いて見出し類を検出する。１１１は矩形の合併部で
あり、本来の矩形の大きさを拡張した仮想矩形を用いて
矩形の合併を行う。

【００１１】図２のフローチャートは図１の領域分割部
１０５における画像処理手順を示し、この処理を実行す
る制御プログラムは記憶部１０３に記憶されている。

【００１２】 ステップＳ２０１ まず、画像入力部１０１から元画像を入力する。

【００１３】 ステップＳ２０２ 次に、画像間引き部１０６において、上記の元画像に対
し、縦ｍドット、横ｎドットの論理和をとって新たにｍ
Ｘｎ画素を１画素に間引く。ここで、元画像のｍＸｎ画
像中に１ドットでも黒画素が有れば間引き画像は黒とな
る。

【００１４】 ステップＳ２０３ 次に、ラベリング部１０７において、上記の間引き画像
の黒画素に対し１行ずつラベルを付加し、上下・左右・
斜めで連続している画素には同一ラベルを付け、同時に
矩形をかたどっていく。

【００１５】図３を例に取ると、最初に検出される画素
Ａにはラベル１が付けられ、この画素Ａの座標（Ｘａ，
Ｙａ）を矩形の始点と終点とし、画素数を１、矩形を区
別するための矩形ラベルに画素と同じラベル１を付加し
て以上のデータを矩形データとして図４に示すように記
憶部１０３に記憶する。

【００１６】次に、左方向に連続画素のない（１行目で
あるのでもちろん上からも連続画素はない）画素Ｂには
ラベル２が付けられ、この画素Ｂの座標（Ｘｂ，Ｙｂ）
を矩形の始点と終点とし、画素数を１、矩形を区別する
ための矩形ラベルに画素と同じラベル２を付加して以上
のデータも矩形データとして図４に示すように記憶部１
０３に記憶する。

【００１７】以上のようにして１行目のラベリングが終
了したら２行目に移る。

【００１８】２行目の最初の画素Ｃはラベル１の画素Ａ
と上から連続しているので画素ラベル１を付加し、矩形
ラベル１の矩形データに対し画素数は１加算して計２画
素となり、矩形ラベルは変わらず１のままで、矩形座標
は終点のみを（Ｘａ，Ｙａ）から（Ｘａ，Ｙｃ）へと更
新する（始点の座標は変わらない）。

【００１９】次の画素Ｄは画素Ｃと左から連続している
のでラベル１を付加し、矩形ラベル１の矩形データに対
し画素数は１加算して計３画素となり、矩形ラベルは変
わらず１のままで、矩形座標は終点のみを（Ｘａ，Ｙ
ｃ）から（Ｘｄ，Ｙｃ）へと更新する（終点のＹ座標は
変わらない）。この時、画素Ｄは画素Ｂとも斜めに連続
しており、画素Ｃから連続して来ているので画素Ｂのラ
ベルをラベル２からラベル１へと変更し、矩形ラベル１
の矩形データに対し、矩形ラベル２の画素数を加算して
計４画素とし、矩形ラベルは変わらず１のままで、矩形
座標は画素Ａ，Ｂ，Ｃ，Ｄをすべて含むように終点のみ
を（Ｘｄ，Ｙｃ）から（Ｘｂ，Ｙｄ）へと更新する。矩
形ラベル２の矩形データについては矩形ラベルを０とし
て無効とする。

【００２０】以上のようにして２行目が終了したら３行
目に移る。

【００２１】３行目の最初の画素Ｅは画素Ｃと斜めに連
続しているので画素ラベル１を付加し、矩形ラベル１の
矩形データに対し画素数は１加算して計５画素となり、
矩形ラベルは変わらず１のままで、矩形座標は始点を
（Ｘａ，Ｙａ）から（Ｘｅ，Ｙａ）へ、および終点を
（Ｘｂ，Ｙｄ）から（Ｘｂ，Ｙｅ）へと更新する。すな
わち、このときの記憶部１０３上の図４の矩形データ
は、矩形ラベルが１、始点座標が（Ｘｅ，Ｙａ）、終点
座標が（Ｘｂ，Ｙｅ）、画素ラベルが１および画素数が
５となる。

【００２２】以下同様にして、全間引き画素に対しラベ
リングと矩形のかたどりを行う。

【００２３】 ステップＳ２０４ 上述のラベリングと矩形のかたどりの後、次にセパレー
タ等検出部１０８において、文字部分（本文）に該当す
る矩形、図形または写真、表等に該当する矩形、セパレ
ータに該当する矩形等を、上記の矩形の幅Ｗ、高さＨ、
面積Ｓ、面積に対する画素の数すなわち画素密度Ｄ（こ
れら矩形データを用いて計算することにより容易に求ま
る）を用いて区別する。以下にこの処理の詳細を図５の
フローチャートを参照して説明する。

【００２４】セパレータは、幅Ｗが閾値Ｔｗ１以下でか
つ高さＨが幅Ｗの閾値Ｔｗ２倍以上（ステップＳ５０
３）、もしくは幅Ｗが閾値Ｔｗ１より大きくかつ高さＨ
が幅Ｗの閾値Ｔｗ３倍以上（ステップＳ５０４）であれ
ば、縦長セパレータとして記憶部１０３上の矩形ラベル
を−３として統一し、矩形を構成する画素ラベルは矩形
ラベルとは別にそのまま現在のラベル番号を保持してお
く（ステップＳ５１４）。

【００２５】また、幅と高さを入れ替えたものも上記と
同様にして判定し（ステップＳ５０５，Ｓ５０６）、該
当する場合は横長セパレータとして矩形ラベルを−３に
変更する。

【００２６】次に、図６に示すように、ステップＳ５０
３〜Ｓ５０６までが否定判定となり、画素密度Ｄが閾値
Ｔｄ１以下の時（ステップＳ５０７）は、カギ型などの
変形セパレータと見なして矩形ラベルを−３に変更する
（ステップＳ５１４）。

【００２７】また、ステップＳ５０７が否定となった
が、面積Ｓが閾値Ｔｓ１よりも大きい時（ステップＳ５
０８）は、画素密度Ｄが閾値Ｔｄ２未満（ステップＳ５
０９）ならば、表と見なして矩形ラベルを−４に変更し
（ステップＳ５１５）、画素密度Ｄが閾値Ｔｄ２以上な
らば図形または写真とみなして矩形ラベルを−５に変更
する（ステップＳ５１６）。

【００２８】また、面積Ｓが閾値Ｔｓ１以下でかつ閾値
Ｔｓ２以上の時（ステップＳ５１０）の画素密度Ｄが閾
値Ｔｄ３以上（ステップＳ５１１）の矩形や、幅Ｗおよ
び高さＨが共に閾値Ｔｗ４以上でかつ画素密度Ｄが閾値
Ｔｄ５以上の時（ステップＳ５１３）の矩形も図形また
は写真とみなして矩形ラベルを−５に変更する（ステッ
プＳ５１６）。

【００２９】さらに、面積Ｓが閾値Ｔｓ１以下でかつ閾
値Ｔｓ２以上の時（ステップＳ５１０）で、画素密度Ｄ
が閾値Ｔｄ４未満（ステップＳ５１２）の矩形を表とみ
なし、矩形ラベルを−４に変更する（ステップＳ５１
５）。

【００３０】以上のようにして、図形または写真、表等
に該当する矩形、セパレータに該当する矩形等を検出
し、残った矩形を本文（文字部分）として矩形ラベルは
そのまま画素ラベルと同一にしておく（ステップＳ５１
７）。図６は面積Ｓと画素密度Ｄにおける上述の閾値と
セパレータ等の区分の関係を示すものである。

【００３１】 ステップＳ２０５ 次に、組方向検出部１０９において、縦書き・横書き等
の文章の組方向を検出する。この処理を図７のフローチ
ャートを参照して説明する。

【００３２】横書きの文章の場合、本文として残った矩
形は横方向に間引いた画素が連続して横長の矩形になり
やすく、縦書き文章であれば、本文として残った矩形は
縦長になりやすい。そこで、組方向検出部１０９におい
て、本文の矩形の幅Ｗと高さＨの平均値を算出し（ステ
ップＳ７０１）、平均幅Ｗが平均高さｈよりも大きい場
合は横書きの多い章とみなし、平均高さｈを１文字の文
字サイズとする（ステップＳ７０２，Ｓ７０３）。逆に
平均高さｈが平均幅Ｗよりも大きい場合は縦書きの多い
文章とみなし、平均幅ｗを１文字の文字サイズとする
（ステップＳ７０２，Ｓ７１０）。

【００３３】次に、図８に示すように、組方向とは逆方
向に矩形のヒストグラムを取り（ステップＳ７０４，Ｓ
７１１）、周辺分布の形状から閾値Ｔｋ以下の場所を段
落の分かれ目とし（ステップＳ７０５，Ｓ７１２）、段
落ごとに組方向と同じ方向に矩形のヒストグラムを取っ
て（ステップＳ７０８，Ｓ７１５）、周辺分布の形状か
ら黒画素の連続の長さをその段落内文字の文字サイズと
し、白画素の連続の長さを行ピッチとして検出する（ス
テップＳ７０９，Ｓ７１１６）。この検出処理を段落が
終わるまで繰り返す（ステップＳ７０６，Ｓ７１３）。

【００３４】 ステップＳ２０６ 次に、見出し類検出部１１０において、組方向と文字サ
イズから見出し類を検出する。図９のフローチャートに
示すように、縦書きの場合を例に取ると、本文矩形の中
から矩形の幅Ｗが文字サイズｗの閾値Ｔｍ１倍以上大き
い矩形を見出し矩形の候補として検出する（ステップＳ
９０５）。さらに、矩形の高さＨが文字サイズｗの閾値
Ｔｍ２倍よりも小さい場合は（ステップＳ９０６）、横
書きの文字が連続したものとみなし、見出し類とする
（ステップＳ９０８）。

【００３５】また、以上のようにして矩形の大きさから
見出しとした矩形の中には本文の文字が結合してしまっ
たものを含む場合があるので、本文矩形と見出し矩形の
距離が閾値Ｔ１よりも近いもの（ステップＳ９０７）で
は、見出し類から本文に訂正する（ステップＳ９０
９）。

【００３６】さらに上記の処理によって残った本文矩形
の中で、文字サイズｗの範囲に本文および見出し類の矩
形がないものを孤立した矩形として見出しとする（ステ
ップＳ９１０〜Ｓ９１３）。

【００３７】 ステップＳ２０７ 次に、矩形の合併部１１１において、何の関連もなくば
らばらに存在したままの本文に該当する矩形および見出
し類の矩形を合併する。

【００３８】図１０に例を示すと、矩形Ａ１と矩形Ｂと
の合併を考えるとすると、矩形Ａ１に対してＸ方向に対
してＰｘ、Ｙ方向に対してＰｙだけ拡張した仮想矩形Ａ
１′を考え、Ａ１′に対してその周囲に接触あるいは内
包する矩形があるか否かをサーチし、矩形Ｂのように接
触していれば矩形Ａ１と矩形Ｂを合併して新しく合併矩
形Ａ２を作成し、矩形Ａ１の矩形データを更新すること
で記憶し、矩形Ｂのデータは無効とする。ただし、この
時Ｐｘ，Ｐｙは文字サイズと行ピッチから求めた値であ
り、また矩形を合併してできた矩形が図形や表やセパレ
ータ等と接触する場合は、合併すること自体を無効とし
て元の矩形のままとしておく。

【００３９】このようにして、最初に見出し類同士を合
併し、次に本文矩形同志を合併していく。この時、本文
同志の合併では、図形や表やセパレータとの接触だけで
なく見出し類との接触も避けるようにし、見出し類と接
触するようであれば、合併自体を無効として元の矩形の
ままとしておく。

【００４０】 ステップＳ２０８ 最後に、以上のようにして求めた各種領域の矩形データ
を画像データと共に出力部１０４から外部へ出力する。

【００４１】＜他の実施例＞上述の図２のステップＳ２
０１の画像入力の際に、多値であるか否かを判断して、
２値画像に変換することで、入力画像がカラー等の多値
画像であっても領域分割処理は可能である。

【００４２】また、ステップＳ２０２の画像間引き処理
において、入力画像の画素数が処理速度を損なわない程
度に十分に少なければ、この画像間引き処理を省略する
ことも可能である。

【００４３】また、ステップＳ２０４のセパレータ等の
検出において、セパレータの縦・横違いや、図形や表等
求める時の閾値の違いなどで矩形ラベルを区別すること
で、さらに詳細な領域属性の分類を行うことも可能であ
る。

【００４４】また、同じくステップＳ２０４のセパレー
タ等の検出において、最初から文章のみなどのように特
定の属性の画像しか入力しない場合には、このセパレー
タ等の検出処理を省略することも可能である。

【００４５】また、ステップＳ２０５の組方向の検出に
おいて、平均幅、平均高さを求める代わりに、それぞれ
の最多値を求めることによって代替えすることができ
る。

【００４６】また、同じくステップＳ２０５の組方向の
検出において、段落ごとに組方向を再度確認すれば、縦
書き文章と横書き文章が混在の原稿にも正確に処理を行
うことができる。

【００４７】また、同じくステップＳ２０５の組方向の
検出において、最初から一定の組方向の文章しか入力し
ないならば、組方向を固定値とすることでこの検出処理
を代替えすることができる。

【００４８】また、ステップＳ２０６の見出し類検出に
おいて、最初から見出し類のない画像しか入力しないな
らば、この検出処理を省略することも可能である。

【００４９】また、ステップＳ２０７の矩形の合併にお
いて、図１１に示すように、セパレータ等の矩形と接触
した場合に、さらに実際の間引いた画素とも接触してい
るか否かを確認し、接触していなければ合併を実行する
ことで、傾斜した画像にも対処できる。

【００５０】また、同じくステップＳ２０７の矩形の合
併において、画像の間引き処理を省略できるような画素
数の少ない画像のときは、この合併処理を省略すること
も可能である。

【００５１】また、ステップＳ２０８の最後の出力の際
に、各種領域の矩形データを参照して、必要な領域の画
像データのみを出力することも可能であり、これにより
記憶領域のさらなる縮小や、処理時間のさらなる短縮が
図れる。

【００５２】

【発明の効果】以上説明したように、本発明によれば、
入力画像の間引き後にさらにラベリングを用いて矩形デ
ータに変換して文字領域、図形または写真、表、セパレ
ータ、見出し類等の領域に分割するようにしたので、既
存の電子部品、回路等の変更無しに、処理時間の短
縮、記憶領域等の小規模化、複雑な領域構成の分割
精度の向上等が得られる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例の画像処理装置の概略構成を
示すブロック図である。

【図２】本発明の一実施例の領域分割の画像処理手順の
全体を示すフローチャートである。

【図３】本発明の一実施例のラベリング処理の一例を示
す説明図である。

【図４】本発明の一実施例の記憶部上の矩形データの構
造を示す説明図である。

【図５】本発明の一実施例のセパレータ等検出部の処理
手順を示すフローチャートである。

【図６】本発明の一実施例の矩形（領域）の属性の密度
Ｄと面積Ｓでの切り分けを示す説明図である。

【図７】本発明の一実施例の組方向検出部の処理手順を
示すフローチャートである。

【図８】本発明の一実施例の段落の検出処理の一例を示
す説明図である。

【図９】本発明の一実施例の見出し類検出部の処理手順
を示すフローチャートである。

【図１０】本発明の一実施例の矩形の合併処理の一例を
示す説明図である。

【図１１】本発明の他の実施例のセパレータ矩形の合併
処理の一例を示す説明図である。

【符号の説明】

１０１ 入力部 １０２ 演算処理部（ＣＰＵ） １０３ 記憶部 １０４ 出力部 １０５ 領域分割部 １０６ 画像間引き部 １０７ ラベリング部 １０８ セパレータ等検出部 １０９ 組方向検出部 １１０ 見出し類検出部 １１１ 矩形の合併部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力手段と、 該画像入力手段からの入力画像に対し縦ｍドット、横ｎ
   ドットの論理和をとって新たにｍＸｎ画素を１画素に間
   引く画像間引き手段と、 該画像間引き手段で間引かれた画像の黒画素に対し１行
   ずつラベルを付加し、上下・左右・斜めで連続している
   画素には同一ラベルを付け、同時に矩形をかたどってい
   くラベリング手段と、 該ラベリング手段でラベル付けされた前記矩形の幅、高
   さ、面積、面積に対する画素の数すなわち画素密度を用
   いて文章部分に該当する矩形、図形または写真に該当す
   る矩形、表に該当する矩形、セパレータに該当する矩形
   等を区別するセパレータ等検出手段とを具備し、該セパ
   レータ等検出手段の検出結果に基づいて前記入力画像の
   領域分割を行うことを特徴とする画像処理装置。
2. 【請求項２】 前記セパレータ等検出手段により区分さ
   れた文章部分に該当する矩形の幅と高さの比較から縦書
   き文章か横書き文章かを推定する組方向検出手段と、 該組方向検出手段で判定された組方向と文字サイズを用
   いて見出し類を検出する見出し類検出手段と、 本来の矩形の大きさを拡張した仮想矩形を用いて矩形の
   合併を行う矩形合併手段とをさらに有することを特徴と
   する請求項１に記載の画像処理装置。