JP2003271973A

JP2003271973A - 画像処理方法および画像処理プログラム

Info

Publication number: JP2003271973A
Application number: JP2002074000A
Authority: JP
Inventors: Kenji Ebiya; 賢治蛯谷
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-03-18
Filing date: 2002-03-18
Publication date: 2003-09-26

Abstract

(57)【要約】【課題】複雑なレイアウトであっても画像の領域を正
確に識別すること。【解決手段】本発明は、入力画像に対する２値化ステ
ップ（Ｓ２０１）と、２値画像の黒画素に対し、上下・
左右・斜めで連続している画素に同一ラベルを付加し、
外接矩形をかたどっていく第１ラベリングステップ（Ｓ
２０２）と、２値画像の白画素に対し、上下・左右で連
続している画素に同一ラベルを付加し、外接矩形をかた
どっていく第２ラベリングステップ（Ｓ２０３）と、第
１のラベリングステップでラベル付けされた外接矩形と
第２のラベリングステップでラベル付けされた外接矩形
との包含関係を検出する包含関係検出ステップ（Ｓ２０
４）と、包含関係、第１のラベリングステップでの外接
矩形、第２のラベリングステップでの外接矩形を用い
て、全画素に対し属性を区別する属性検出ステップ（Ｓ
２０５）とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力画像に対する
領域識別を行う画像処理方法および画像処理プログラム
に関する。

【０００２】

【従来の技術】近年、コンピュータの処理能力が著しく
向上し、それに伴い表現豊かな文書作成ツールが発達
し、文書のカラー化、多様化が進んでいる。また、文書
管理の電子化が進み、従来紙文書で保管されていたもの
をスキャナーで取り込むという紙文書の電子化が進んで
いる。

【０００３】これに対し、従来技術は、２値画像に対す
るランレングスの分布を調べ白ラン黒ランの長さにより
文字領域や図形領域等を分割するランレングス分析方式
を用いたものや、入力画像のフーリエスペクトルを分析
して各種領域に識別するスペクトル分析方式を用いたも
のや、特開昭６４-１５８８９号公報に記載されている
ように垂直および水平方向の射影を交互に繰り返して、
領域を分割していく射影分析方式を用いたものがある。

【０００４】一方、コンピュータの処理能力向上で、文
書処理ツールに対しても高機能化が求められる状況にな
り、文字領域の抽出に留まらず、図形や写真、背景など
も的確に抽出し、スキャン文書を再利用できる形式、例
えば構造化文書への変換等の機能が望まれるようになっ
ている。

【０００５】

【発明が解決しようとする課題】しかしながら、ランレ
ングス分析法式や射影分析方式等は一定の単位領域(矩
形単位等）毎の領域識別であり、オブジェクト単位の識
別でないため、絵柄の外形が矩形でない場合は絵柄領域
部分のみを分離識別すことが難しい。また、背景が網点
でその上に文字や網点写真が構成されているような文書
ではフーリエスペクトルに差がでないため、このようの
文書に対して、スペクトル分析方式を用いて領域識別を
するのは難しい。このように従来技術では、文書のカラ
ー化、レイアウトの複雑化している現状を鑑みれば、文
書の領域識別技術として、十分満足が得られているとは
言い難い。

【０００６】

【課題を解決するための手段】本発明はこのような課題
を解決するために成されたものである。すなわち、本発
明は、入力画像を黒画素に対応したエッジと白画素に対
応した非エッジとに分離する２値化ステップと、２値化
ステップで２値化された２値画像の黒画素に対し、上下
・左右・斜めで連続している画素に同一ラベルを付加
し、同一ラベルの付された画素群の外接矩形をかたどっ
ていく第１のラベリングステップと、２値化ステップで
２値化された２値画像の白画素に対し、上下・左右で連
続している画素に同一ラベルを付加し、同一ラベルの付
された画素群の外接矩形をかたどっていく第２のラベリ
ングステップと、第１のラベリングステップでラベル付
けされた外接矩形と第２のラベリングステップでラベル
付けされた外接矩形との包含関係を検出する包含関係検
出ステップと、包含関係検出ステップの結果と、第１の
ラベリングステップでラベル付けされた外接矩形に関す
る第１の情報（幅、高さ、面積、画素密度、分散）と前
記第２のラベリングステップでラベル付けされた外接矩
形に関する第２の情報（幅、高さ）とを用いて、全画素
に対し、属性を区別する属性検出ステップと、属性検出
ステップの検出結果に基づいて入力画像の領域分割を行
う領域分割ステップとを備える画像処理方法である。ま
た、これらのステップを備える画像処理プログラムでも
ある。

【０００７】このような本発明では、第１のラベリング
ステップと第２のラベリングステップとでラベリングの
条件を変えていることから、黒画素の群による外接矩形
と白画素の群による外接矩形との包含関係を的確に把握
でき、入力画像の領域分割を正確に行うことができるよ
うになる。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を図に
基づき説明する。図1は本実施形態の画像処理方法を実
現する装置の構成図である。すなわち、本装置は、画像
入力部１０１、ＣＰＵ１０２、記憶部１０３、領域識別
部１０４から構成される。

【０００９】画像入力部１０１はスキャナーなどの原稿
画像を入力する部分である。ＣＰＵ１０２は中央処理装
置であって、記憶部１０３に格納されている画像処理プ
ログラムに従って本実施形態に係る処理を行う。記憶部
１０３はＲＡＭおよびＲＯＭ等から構成され、ＣＰＵ１
０２が実行する画像処理プログラムや、その処理に用い
る各種パラメータ、入力画像等、各種データの格納を行
う。領域識別部１０４は記憶部１０３に格納されている
本実施形態の画像処理プログラムに従って、入力画像に
対する領域識別を行う。

【００１０】次に領域識別部１０４の動作について説明
する。図２は領域識別部で実行される領域識別処理の流
れを表すフローチャートである。

【００１１】＜ステップＳ２０１＞ここでは、画像入力
部１０１から入力された画像データをエッジと非エッジ
とに分離する処理を行う。本実施形態では、入力画像を
カラー画像として、注目画素とその８近傍の画素との間
に以下の（１）式および（２）式の条件を満たすものが
あれば、その画素をエッジとみなし、２値化の出力をＯ
Ｎ(黒画素)にし、満たさない場合は非エッジとみなし、
２値化の出力をＯＦＦ(白画素)にする。ここで２値化さ
れた画像は記憶部１０３に格納される。

【００１２】 ((R-R’)²+(G-G’)²+(B-B’)²)^1/2＞ th1 …（１） Y < Y’ …（２）

【００１３】ここで、注目画素の画像信号をR、G、B、
近傍の画像信号をR’、G’、B’とし、式（３）で得ら
れる輝度信号をY、Y’とする。 Y＝0.3R ＋ 0.59G＋ 0.11B …（３）

【００１４】＜ステップＳ２０２＞ここでは、ステップ
Ｓ２０１で２値化された２値画像の黒画素に対し、上下
・左右・斜めで連続している画素に同一ラベルを付加
し、この同一ラベルの付された画素群の外接矩形をかた
どっていく。また、この処理とともに矩形情報を求め
る。この処理ステップで得られるラベル情報および矩形
情報は記憶装置１０３に記憶され、後段の処理で用いら
れる。矩形情報は以下の内容である。（Ａ）外接矩形の幅（Ｂ）外接矩形の高さ（Ｃ）外接矩形の面積（Ｄ）外接矩形の左端座標値（Ｅ）外接矩形の右端座標値（Ｆ）外接矩形の上端座標値（Ｇ）外接矩形の下端座標値（Ｈ）外接矩形内有効画素数（Ｉ）輝度の分散：ＯＮ画素部分に対応する入力画像を
参照して算出する（Ｊ）セル候補数：ＯＮ画素群(領域)が直接包含する表
・枠のセルとなり得るＯＦＦ画素群(領域)の数（Ｋ）非セル候補数：ＯＮ画素群(領域)が直接包含する
表・枠のセルとなり得ないＯＦＦ画素群(領域)の数（Ｌ）包含ラベル：ON画素群を直接包含するOFF画素群
のラベル（Ｍ）属性この段階では（Ａ）〜（Ｈ）の情報を取得し、（Ｉ）〜
（Ｍ）は包含関係検出処理などの後段の処理で得られ
る。これらを用いて最終的に属性判定を行う。

【００１５】ここで、ラベル付けの動作を図３を例にし
て説明する。まず主走査方向に左から右にラベル付けさ
れていない黒画素があるかをチェックする。主走査方向
右端までいき、存在しない場合は、次ラインの左端から
同様の処理を行う。図３（ａ）に示すように、最初に検
出される黒画素aにラベル１を付加する。

【００１６】次に黒画素aを起点として、画素aの８近傍
にラベル付けされていない黒画素をチェックすると、黒
画素ｂが該当するので、これは連続する黒画素と判定し
画素aと同一ラベル1を付ける。次に画素ａ，ｂの８近傍
画素でラベル付けされていない黒画素があるかをチェッ
クして、あれば前記同様に同一ラベルを付ける。この操
作を繰り返して、ラベル１が付加されている全画素の８
近傍にラベル付けされていない黒画素が無くなるまで行
う。

【００１７】次に黒画素aの右の画素からラベル付けさ
れていない黒画素があるかをチェックする処理を再開す
る。図３（ａ）では黒画素gが検出され、この黒画素gに
ラベル１を付加する。このあと黒画素aのときと同様に
ラベル２が付加されている全画素の８近傍にラベル付け
されていない黒画素が無くなるまでラベル２を付加する
処理を繰り返す。図３（ａ）の場合は、（ｂ）のように
黒画素a〜ｆまでラベル1が付加され、黒画素g〜ｌまで
ラベル２が付加される。

【００１８】次に、矩形情報の抽出および算出について
説明する。ここで左端座標値をLeft、右端座標値をRigh
t、上端座標値をTop、下端座標値をBottom、画素数（同
一のラベルを付与された画素群の画素総数）をcountと
する。まず、ラベルXが付与される1個目の画素が特定さ
れた時に上記変数を初期化する。１個目の画素の座標値
を(X1、Y1)、1個目の画素に対応する輝度をY1とすると
以下のようになる。 Left ＝ X1 Right ＝ X1 Top ＝ Y1 Bottom ＝ Y1 count ＝ 1

【００１９】ラベルXが付与される2個目以降の画素に関
しては、次の様な動作を行う。n個目の画素の座標値を
(Xn、Yn)、n個目の画素に対応する輝度をYnとする。

【００２０】 Left ≧ Xn ならば Left ＝ Xnに更新する。 Right ≦ Xn ならば Right ＝ Xnに更新する。 Top ≧ Yn ならば Top ＝ Ynに更新する。 Bottom ≦ Yn ならば Bottom＝ Ynに更新する。 count ＝ count ＋ 1

【００２１】この動作をラベルXの付与が終わるまで行
う。求める矩形情報は上記変数から、以下の様に求めら
れる。幅(以下Wと示す) ＝ Right − Left ＋ 1 高さ(以下Hと示す) ＝ Bottom− Top ＋ 1 面積(以下Sと示す) ＝幅 × 高さ外接矩形内有効画素数＝ count 左端座標値、右端座標値、上端座標値、下端座標値はそ
れぞれ、最終的に得られたLeft、Right、Top、Bottomと
なる。これらの動作を各ラベルに対して行う。

【００２２】＜ステップＳ２０３＞ここでは、ステップ
Ｓ２０１で２値化された２値画像の白画素に対し、上下
・左右で連続している画素に同一ラベルを付加し、同時
に矩形をかたどっていく。この処理と同時に矩形情報を
求める。この処理ステップで得られるラベル情報および
矩形情報は記憶装置１０３に記憶され、後段の処理で用
いられる。矩形情報は以下の内容である。（Ａ’）外接矩形の幅（Ｂ’）外接矩形の高さ（Ｃ’）外接矩形の左端座標値（Ｄ’）外接矩形の右端座標値（Ｅ’）外接矩形の上端座標値（Ｆ’）外接矩形の下端座標値（Ｇ’）外接矩形の面積（Ｈ’）文字包含数：OFF画素群(領域)が直接包含する
文字候補数（Ｉ’）包含ラベル：OFF画素群を直接包含するON画素
群（Ｊ’）属性

【００２３】この段階では（Ａ’）〜（Ｇ’）の情報を
取得し、（Ｈ’）〜（Ｊ’）は包含関係検出処理などの
後段の処理で得られる。これらを用いて最終的に属性判
定を行う。

【００２４】ここで、ラベル付けの動作を図４を例にし
て説明する。まず主走査方向に左から右にラベル付けさ
れていない白画素があるかをチェックする。主走査方向
右端までいき、存在しない場合は、次ラインの左端から
同様の処理を行う。図４（ａ）に示す例では、最初に検
出される白画素aにラベル１を付加する。

【００２５】次に白画素aを起点として、画素aの上下左
右４近傍にラベル付けされていない白画素をチェックす
ると、画素ｂが該当するので、これは連続する白画素と
判定し画素aと同一ラベル1を付ける。次に画素ａ，ｂの
上下左右４近傍画素でラベル付けされていない白画素が
あるかをチェックして、あれば前記同様に同一ラベルを
付ける。この操作を繰り返して、ラベル１が付加されて
いる全画素の上下左右４近傍にラベル付けされていない
白画素が無くなるまで行う。

【００２６】ここでステップＳ２０２との違いは、白画
素ｃに対して白画素ｄが画素cに連続する白画素とは判
定しないことである。同様に、画素ｅに対する画素ｆ、
画素ｇに対する画素ｈ、画素ｉに対する画素ｈ、画素ｊ
に対する画素ｋ、画素ｌに対する画素ｍも連続する白画
素とは判定しない。

【００２７】次に白画素ａの右の画素からラベル付けさ
れていない白画素があるかをチェックする処理を再開す
る。図４（ａ）では白画素ｄが検出され、この白画素ｄ
にラベル２を付加する。

【００２８】このあと白画素aのときと同様にラベル２
が付加されている全画素の上下左右４近傍にラベル付け
されていない白画素が無くなるまでラベル２を付加する
処理を繰り返す。上記の処理をラベル付けされていない
白画素がなくなるまで行う。

【００２９】図４（ａ）の場合は、図４（ｂ）に示すよ
うに白画素aから始まる連続画素にはラベル１が付加さ
れ、白画素ｄから始まる連続画素にはラベル２が付加さ
れ、白画素ｈから始まる連続画素にはラベル３が付加さ
れる。

【００３０】矩形情報の抽出は、ステップＳ２０２と同
様に行うため、ここでは説明を省略する。

【００３１】＜ステップＳ２０４＞次に、ステップＳ２
０２およびステップＳ２０３で抽出され、ラベル付けさ
れたＯＮ画素群とＯＦＦ画素群の包含関係の検出を行
う。ここでは直接包含関係にある対象画素群を検出す
る。この処理ステップで得られる矩形情報(包含ラベル)
は記憶装置１０３に記憶され、後段の処理で用いられ
る。

【００３２】ここで、包含関係検出の動作を図５に基づ
き説明する。図５（ａ）に対し、上記ステップＳ２０２
およびステップＳ２０３の処理を行うと、図５（ｂ）の
ようになる。ここで、ステップＳ２０２の処理でのラベ
ルとステップＳ２０３の処理でのラベルとを区別するた
めに、ステップＳ２０２の処理で付与されたラベルは
およびという形式で表現している。また、各ラベルの
矩形情報は以下のようになる(この包含関係検出ステッ
プでは、座標値データのみの使用であるため、座標値デ
ータのみ示す)。

【００３３】ラベル１：Left_1＝１、Right_1＝１１、T
op_1＝１、Bottom_1＝９ラベル２：Left_2＝３、Right_2＝４、Top_2＝３、Bott
om_2＝６ラベル３：Left_3＝８、Right_3＝９、Top_3＝３、Bott
om_3＝６ラベル：Left_＝２、Right_＝５、Top_＝２、B
ottom_＝７ラベル：Left_＝７、Right_＝１０、Top_＝
２、Bottom_＝７

【００３４】ここでは、ステップＳ２０２でラベル付け
されたものを基準として、包含関係を検出する。まずラ
ベルを付与された画素と隣接する２値化ＯＦＦ画素を
探索し、それに付与されてるラベル(ステップＳ２０３
で付与されたもの)を抽出する。図５（ｂ）のの場合
は、ラベル１と２となる。

【００３５】次にラベルとラベル1とラベル２の矩形
情報を基にそれぞれの包含関係を判断する。判断は以下
の方法で行う。

【００３６】対象となるラベル(A)の矩形情報をLeft、R
ight、Top、Bottom、対象ラベルの画素と隣接する画素
から構成される画素群のラベル(B)の矩形情報をLef
t’、Right’、Top’、Bottom’とする。

【００３７】Left≧Left’ かつRight≦Right’ かつ T
op≧Top’ かつBottom≦Bottom’のとき、ラベル(A)は
ラベル(B)に包含されていると判断する。また、Left≦L
eft’ かつRight≧Right’ かつ Top≦Top’ かつBotto
m≧Bottom’のとき、ラベル(A)はラベル(B)を包含して
いると判断する。上記ラベルとラベル1との関係は、 Left_≧Left_1、Right_≦Right_1、 Top_≧Top_1、Bottom_≦Bottom_1 が成り立つため、ラベルはラベル1に直接包含されて
いると判断する。この場合ラベルの矩形情報(12)は
『１』となる。なお、説明中()が付された数字（数式以
外）は丸付きの数字を意味し、以下同様とする。

【００３８】上記ラベルとラベル2との関係は、 Left_≦Left_1、Right_≧Right_1、 Top_≦Top_1、Bottom_≧Bottom_1 が成り立つため、ラベルはラベル２を直接包含してい
ると判断する。この場合ラベル２の矩形情報は『』
となる。

【００３９】ここのステップＳ２０４では上記のように
各ラベルに対し包含関係を検出し、矩形情報の１つ(包
含ラベル)として対象ラベルを包含するラベルのナンバ
ーを保持する。

【００４０】上記例ではラベルの包含ラベルとして
『1』、ラベル２の包含ラベルとしては『』となり、
ラベル1の包含ラベルは『無し』となる。上述のように
この包含関係検出ステップでは２値化のＯＮ領域とＯＦ
Ｆ領域がどのような構造になっているかを的確に抽出す
ることが大事となる。

【００４１】また、ステップＳ２０３で斜め方向に連続
する画素に同じラベルを付与しないことが、この包含関
係検出ステップで効果として表れている。なお、ステッ
プＳ２０３でステップＳ２０２と同様に斜め方向に連続
する画素にも同じラベルを付与すると図５（ｃ）のよう
になり、この包含関係検出ステップではラベル1がラベ
ルとラベルを包含するという情報しか抽出できず、
的確なＯＮ領域とＯＦＦ領域の構造が抽出できない。

【００４２】＜ステップＳ２０５＞ここでは、ステップ
Ｓ２０２、ステップＳ２０３、ステップＳ２０４で抽出
された矩形情報を基に属性判定を行う。また、本実施形
態において、文字(線分なども)というのは、背景もしく
は枠や表のセル内に存在するものであり、絵柄中に存在
する文字らしきものは絵柄の一部としている。これは本
方式がＯＣＲのような文字認識のために文字を出来るだ
け多く抽出することを目的としているのではなく、スキ
ャン文書を構造的に分解するために行う属性識別を目的
ととしているためである。

【００４３】ここで、属性判別の動作を図６を入力画像
として、説明する。図６中のA〜Eの領域はそれぞれ異な
った色で構成されているもので、車の絵も複数色で構成
されているものとする。

【００４４】図６に対し、上記説明したステップＳ２０
１〜ステップＳ２０４の処理を行った結果を図７（ａ）
として、以下に説明する。図７中のラベルは、ステップ
Ｓ２０４で説明したと同様にステップＳ２０２でラベル
付けされたものは丸で囲まれた数字で表記し、ステップ
Ｓ２０３でラベル付けされたものは数字のみで表記して
いる。図７（ｂ）はステップＳ２０４で得られる包含ラ
ベルを示している。

【００４５】まずは背景の検出について説明する。本実
施形態では、背景を他のオブジェクト(絵柄、文字、
表、枠など)に一切包含されない領域と定義する。これ
を基に図８に示すフローチャートで２値化ＯＦＦ画素群
から背景を抽出する。

【００４６】図７（ａ）の例では、２値化ＯＦＦ画素群
のラベル1〜30について、包含ラベルが存在するかをチ
ェックし、背景を抽出する。図７（ｂ）より、図７
（ａ）ではラベル1の２値化ＯＦＦ画素群(領域)が包含
ラベルを有しないため、背景であると判断される。

【００４７】次に、２値化ＯＮ画素群の属性検出につい
て、図９のフローチャートを用いて説明する。まずは、
本文に用いられる平均的なフォントサイズから予め求め
られる閾値th1を用い、外接矩形サイズの幅(W)および高
さ(H)が共に閾値th1を越えるものは、文書本文中の文字
になり得ないものと判断する。

【００４８】しかし、上記処理だけでは文字であると判
断できるわけでなく、更に外接矩形のサイズ(HやW)と外
接矩形縦横比(H/W)を用いる。上記処理で得られた外接
矩形の幅(W)もしくは高さ(H)がth1より小さいものの中
で、WもしくはHが閾値th5より小さいものはノイズ・線
分候補であると判断し、H/Wがth6より大きいもしくはth
7より小さいものは線分候補と判断し、それ以外を文字
候補とする。これをまとめると以下のようになる。 th5≦W …（４） th5≦H …（５） th7≦H/W≦th6 …（６） W≦th1 …（７） H≦th1 …（８）

【００４９】上記式（４）（５）（６）全ての条件を満
足し、式（７）（８）のいずれか１つ以上の条件を満足
するものが文字候補で、式（７）（８）のいずれか1つ
以上の条件を満足し、式（４）（５）（６）のいずれか
1つ以上条件を満足しないものがノイズ・線分候補にな
る。

【００５０】ここで候補としているのは、前述している
ようにこれら文字(線分なども)は背景もしくは枠や表の
セル内に存在するものしているため、包含ラベルの属性
が確定していないとこれら候補の属性が決まらない。

【００５１】この段階では、図８の処理で背景が確定し
ているので、これら候補の中で、包含ラベルの属性が背
景であるものは、ノイズ・線分、文字という属性に確定
する。図７（ａ）の例では、ラベル〜(148)、(150)〜
(365)、(367)〜(402)である『車の写真、』が文字候補
である。図７（ｂ）より、ラベル〜(148)、(150)〜(3
65)、(367)〜(402)の包含ラベルにラベル1が存在しない
ため、この段階では文字候補のままである。これらの属
性は包含ラベルの属性が確定するまで決まらない。

【００５２】次は式（７）（８）の条件を共に満足しな
いものについての属性判定について説明する。式（７）
（８）の条件を共に満足しないものは、th1が本文に用
いられる平均的なフォントサイズから予め求めたもので
あるから、見出し文字や枠・表、絵柄等のように外接矩
形サイズが比較的大きいものである。これらを区別する
ために、像密度（＝外接矩形内有効画素数／外接矩形面
積、以下IDと示す）、外接矩形の幅（W）、高さ（H）、
分散(V)、を用いる。

【００５３】まず図９に示すように、外接矩形の像密度
(ID)がth2以下の時、その属性は絵柄・枠・表候補と
し、更にWとHの少なくともどちらか一方がth3以上の
時、その属性は絵柄・枠・表候補とする。IDがth2より
大きく、WとHがともにth3より小さい場合は、輝度の分
散(V)を記憶部103に記憶されているラベル画像と入力画
像を基に求め、Vがth4以上の場合は、その属性は絵柄・
枠・表候補とし、th4より小さい場合は、その属性を文
字候補とする。この文字候補に対しては、上述と同様に
その包含ラベルの属性が背景であれば、属性が文字して
確定する。図７（ａ）の例では、、、、、(14
9)、(366)が絵柄・枠・表候補として判定される。

【００５４】次に図９の処理で絵柄・枠・表候補と判定
された黒画素群については、その領域が包含する白画素
群の特徴によって判断する。具体的には、以下のような
それぞれの特徴を利用する。表は、表のセルと想定でき
るような文字を含んだ白画素群を多く含んでいるという
特徴を持っている。

【００５５】枠は、包含する白画素群の数が少なく、ま
たその白画素群が更に絵柄・枠・表候補を包含すること
も少なくないという特徴を持っている。絵柄は、表のセ
ルと想定できるような文字を含んだ白画素群を殆ど持っ
ていないという特徴を持っている。

【００５６】この前処理として、図８で背景と判断され
なかった２値化ＯＦＦ画素群についてセル候補か非セル
候補かを判断する。判断の方法は、２値化ＯＦＦ画素群
が包含している文字候補の数で行う。

【００５７】図１０は、２値化ＯＦＦ画素群が包含して
いる文字候補の数を計数する流れであり、２値化ＯＮ画
素群が文字候補の場合、その包含ラベルの外接矩形特徴
量である文字候補数をカウントアップする。これを全て
の２値化ＯＮ画素群に対して行う。その結果、各２値化
ＯＦＦ画素群が包含している文字候補の数が計数でき
る。

【００５８】これをもとに図１１に示すようなフローチ
ャートで、各２値化ＯＦＦ画素群に対し、セル候補か、
非セル候補かを判断する。判断は２値化ＯＦＦ画素群が
包含している文字候補数が閾値th7以上か否かで行う。
また、同時に、この２値化ＯＦＦ画素群の包含ラベルの
外接矩形情報である、セル候補数、非セル候補数をカウ
ントアップする。

【００５９】次に図１２に示すフローチャートで絵柄・
枠・表候補に対する属性判定を行う。まず、非セル候補
数がth8より少なく、セル候補数が０のものは、枠と想
定されるので枠・表と判定する。また、セル候補数の包
含する２値化ＯＦＦ画素群の数に占める割合がth9より
大きいものは表と想定されるので枠・表と判定する。上
記２条件を満たさないものを絵柄と判定する。

【００６０】図１３はこの段階で属性が確定していない
領域に対する判定のフローである。まず２値化ＯＦＦ領
域に対しその包含ラベルの属性が絵柄であればその属性
を絵柄にし、枠・表であればその属性をセルとする。ま
たどちらの場合でもない場合は、未確定とし、iをカウ
ントアップする。これは、２値化ＯＮ画素群と２値化Ｏ
ＦＦ画素の包含関係が数階層にもなっていることがある
ためで、この段階では包含ラベルの属性として、文字候
補が存在するためである。

【００６１】これを図１４で説明する。図１４（ａ）
は、車の絵の中に文字があるもので、その点線円部を拡
大したものが図１４（ｂ）である。図１４（ｂ）に示す
ように、属性が絵柄判定されたフレーム部分(A)、それ
が包含する２値化ＯＦＦ領域(B)、その２値化ＯＦＦ領
域が包含する文字候補(C)、その文字候補が包含する２
値化ＯＦＦ領域(D)と構造になっている。

【００６２】Aの属性が絵柄であるため、Bの属性は絵柄
と確定するが、Dに関してはその包含ラベル(C)の属性が
文字候補である。この段階ではDの属性を絵柄と判定で
きない。この処理を全ての属性未確定な２値化ＯＦＦ群
に対して行う。

【００６３】次に属性未確定な２値化ＯＮ画素群に対す
る属性を判定する。２値化ＯＮ領域に対しその包含ラベ
ルの属性が絵柄であればその属性を絵柄にし、セルであ
ればその属性を文字とする。またどちらの場合でもない
場合は、未確定とし、jをカウントアップする。これ処
理を全ての属性未確定な2値化ON群に対して行う。このj
は上記iと同じ理由であるため、説明は省略する。図１
４の例では、この段階でCの属性は絵柄と確定する。

【００６４】この段階でi=0、j=0であるかをチェックし
そうでない場合は、iおよびjを一旦0にリセットした
後、再度上記処理を繰り返し、およびjが0になるまで行
う。図１４の例では、Dの包含ラベルの属性が絵柄であ
るため、Dの属性も絵柄と確定し、全ての属性が確定す
る。

【００６５】以上のようにして求めた各種領域の属性デ
ータを画像データと共に外部へ出力する。

【００６６】次に、本実施形態の他の例を説明する。他
の例では、上述のステップＳ２０３、Ｓ２０４、Ｓ２０
５において２値画像の白画素に対する外接矩形情報とし
て、下記（Ａ’）〜（Ｊ’）の１０種の情報を取得し、
それを用いて各種領域の属性データを確定しているが、
更にその白画素群(領域)の色情報（Ｋ’）を矩形情報に
追加することで、背景および表・枠のセルを白地の背
景、表・枠のセル、非白地の背景、表・枠のセルと属性
を細分類できる。

【００６７】色情報は白画素に対応した記憶部１０３に
記憶されている入力画像を参照することにより、求め
る。求める方法は、公知の代表色決定方法で構わない。

【００６８】矩形情報に色情報が追加されたことによ
り、この属性データを基に画像データに対する補正処理
(空間フィルタ、下地除去、明度補正、彩度補正等)を行
う場合に、先に説明した実施形態より細かな設定が可能
となる。（Ａ’）外接矩形の幅（Ｂ’）外接矩形の高さ（Ｃ’）外接矩形の左端座標値（Ｄ’）外接矩形の右端座標値（Ｅ’）外接矩形の上端座標値（Ｆ’）外接矩形の下端座標値（Ｇ’）外接矩形の面積（Ｈ’）文字包含数：OFF画素群(領域)が直接包含する
文字候補数（Ｉ’）包含ラベル：OFF画素群を直接包含するON画素
群（Ｊ’）属性（Ｋ’）色情報

【００６９】また、先に説明した実施形態では、文字、
ノイズ・線分、背景、表・枠、絵柄、表・枠のセルとい
う属性を属性データとして、画像データと共に外部へ出
力するとしているが、特にこれに限定するものではな
い。ここで得られた属性情報を用いて、実施される処理
の目的などによって、上記属性を組み合わせて１つの属
性として出力しても構わない。

【００７０】例えば、背景と文字の属性のものを同一の
属性にして、文字領域として出力することも可能であ
る。特に上述のような属性データを基に画像データに対
する補正処理を行う場合は、このように文字とそれを直
接包含する領域をまとめて、文字領域とした方が扱いや
すい。

【００７１】また、上述のステップＳ２０５において、
いくつかの２値化ＯＮ画素群に対し、記憶装置１０３に
記憶されている入力画像から、そのＯＮ画素に対応する
画像データ参照し輝度の分散を求めているが、これは属
性を識別する際に、全てのラベルに対して不可欠な情報
ではないためである。しかし、輝度の分散を求めるのは
ステップＳ２０５である必要はなく、ステップＳ２０２
の段階で求めても構わない。同様に２値化ＯＦＦ群の色
情報抽出に関しても同様で、ステップＳ２０３の段階で
抽出しても構わない。

【００７２】

【発明の効果】以上説明したように、本発明によれば、
２値化ＯＮ画素およびＯＦＦ画素それぞれにラベリング
を行って得られた外接矩形情報と２値化ＯＮ画素群およ
びＯＦＦ画素群の包含関係情報を用いることで、文字、
表・枠、写真、背景等の領域を分割するようにしたの
で、複雑な領域構成の分割精度の向上が得られる効果が
ある。

【図面の簡単な説明】

【図１】本実施形態の画像処理方法を実現する装置の
構成図である。

【図２】領域識別部で実行される領域識別処理の流れ
を表すフローチャートである。

【図３】黒画素へのラベル付けの動作を説明する模式
図である。

【図４】白画素へのラベル付けの動作を説明する模式
図である。

【図５】包含関係の動作を説明する模式図である。

【図６】属性判別の動作を説明する図である。

【図７】処理結果を説明する図である。

【図８】背景抽出のフローチャートである。

【図９】ＯＮ画素の属性検出のフローチャートであ
る。

【図１０】文字候補の数の計数のフローチャートであ
る。

【図１１】セル候補の判断のフローチャートである。

【図１２】絵柄・枠・表候補に対する属性判定のフロ
ーチャートである。

【図１３】属性が確定していない領域に対する判定の
フローチャートである。

【図１４】属性が確定していない領域に対する判定を
説明する図である。

【符号の説明】

１０１…画像入力部、１０２…ＣＰＵ、１０３…記憶
部、１０４…領域識別部

Claims

【特許請求の範囲】

【請求項１】入力画像を黒画素に対応したエッジと白
画素に対応した非エッジとに分離する２値化ステップ
と、前記２値化ステップで２値化された２値画像の黒画素に
対し、上下・左右・斜めで連続している画素に同一ラベ
ルを付加し、同一ラベルの付された画素群の外接矩形を
かたどっていく第１のラベリングステップと、前記２値化ステップで２値化された２値画像の白画素に
対し、上下・左右で連続している画素に同一ラベルを付
加し、同一ラベルの付された画素群の外接矩形をかたど
っていく第２のラベリングステップと、前記第１のラベリングステップでラベル付けされた外接
矩形と前記第２のラベリングステップでラベル付けされ
た外接矩形との包含関係を検出する包含関係検出ステッ
プと、前記包含関係検出ステップの結果と、前記第１のラベリ
ングステップでラベル付けされた外接矩形に関する第１
の情報と、前記第２のラベリングステップでラベル付け
された外接矩形に関する第２の情報とを用いて、全画素
に対し、属性を区別する属性検出ステップと、前記属性検出ステップの検出結果に基づいて前記入力画
像の領域分割を行う領域分割ステップとを備えることを
特徴とする画像処理方法。
【請求項２】前記第２のラベリングステップで同一ラ
ベルを付与された画素に対応する入力画像からラベル毎
に色味を求める色味検出ステップを更に有することを特
徴とする請求項１記載の画像処理方法。
【請求項３】前記属性検出ステップが区別する属性の
種類に、少なくとも文字、図形または写真、表または
枠、背景が含まれていることを特徴とする請求項１また
は２記載の画像処理方法。
【請求項４】前記属性検出ステップが区別する属性の
種類に、少なくとも文字、図形または写真、表または
枠、背景、表・枠のセルが含まれていることを特徴とす
る請求項１または２記載の画像処理方法。
【請求項５】前記属性検出ステップが区別する属性の
種類において、背景、表・枠のセルを彩度および明度の
少なくともどちらかを用いて細分類することを特徴とす
る請求項４記載の画像処理方法。
【請求項６】前記第１の情報は、外接矩形の幅、高
さ、面積、画素密度、分散であり、前記第２の情報は、
外接矩形の幅、高さであることを特徴とする請求項１記
載の画像処理方法。
【請求項７】入力画像を白黒の２値画像に変換してエ
ッジと非エッジとに分離する２値化ステップと、前記２値化ステップで２値化された２値画像の黒画素に
対し、上下・左右・斜めで連続している画素に同一ラベ
ルを付加し、同一ラベルの付された画素群の外接矩形を
かたどっていく第１のラベリングステップと、前記２値化ステップで２値化された２値画像の白画素に
対し、上下・左右で連続している画素に同一ラベルを付
加し、同一ラベルの付された画素群の外接矩形をかたど
っていく第２のラベリングステップと、前記第１のラベリングステップでラベル付けされた外接
矩形と前記第２のラベリングステップでラベル付けされ
た外接矩形との包含関係を検出する包含関係検出ステッ
プと、前記包含関係検出ステップの結果と、前記第１のラベリ
ングステップでラベル付けされた外接矩形に関する第１
の情報と、前記第２のラベリングステップでラベル付け
された外接矩形に関する第２の情報とを用いて、全画素
に対し、属性を区別する属性検出ステップと、前記属性検出ステップの検出結果に基づいて前記入力画
像の領域分割を行う領域分割ステップとを備えることを
特徴とする画像処理プログラム。
【請求項８】前記第２のラベリングステップで同一ラ
ベルを付与された画素に対応する入力画像からラベル毎
に色味を求める色味検出ステップを更に有することを特
徴とする請求項７記載の画像処理プログラム。
【請求項９】前記属性検出ステップが区別する属性の
種類に、少なくとも文字、図形または写真、表または
枠、背景が含まれていることを特徴とする請求項７また
は８記載の画像処理プログラム。
【請求項１０】前記属性検出ステップが区別する属性
の種類に、少なくとも文字、図形または写真、表または
枠、背景、表・枠のセルが含まれていることを特徴とす
る請求項７または８記載の画像処理プログラム。
【請求項１１】前記属性検出ステップが区別する属性
の種類において、背景、表・枠のセルを彩度および明度
の少なくともどちらかを用いて細分類することを特徴と
する請求項１０記載の画像処理プログラム。
【請求項１２】前記第１の情報は、外接矩形の幅、高
さ、面積、画素密度、分散であり、前記第２の情報は、
外接矩形の幅、高さであることを特徴とする請求項７記
載の画像処理プログラム。