JP2001034763A

JP2001034763A - 文書画像処理装置、その文書タイトル抽出方法及び文書タグ情報付与方法

Info

Publication number: JP2001034763A
Application number: JP2000053079A
Authority: JP
Inventors: Hirosuke Monobe; 裕亮物部; Atsutsugu Hirose; 篤嗣広瀬; Akito Umebayashi; 明人梅林
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-03-01
Filing date: 2000-02-29
Publication date: 2001-02-09

Abstract

(57)【要約】【課題】文書画像からタイトル領域やユーザが付した
マークを抽出して文書タグ情報として利用する。【解決手段】先ず、タイトル領域抽出手段が所定の抽
出判定値より大きい領域平均文字サイズの領域をタイト
ル領域として抽出する。これにより１つの文書画像から
複数のタイトル領域を抽出できる。次に、ユーザが入力
画像に付したマークをマーク抽出手段が抽出し、このマ
ークの特徴値を算出手段が算出する。そしてこの特徴値
と標準タグ情報の属性値に基づいて、文書タグ情報付与
手段が上記入力画像に付与すべき文書タグ情報を、上記
標準タグ情報の中から選択する。これにより文書画像に
対して文書タグ情報を自動的に付与することが可能とな
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書画像を画像デ
ータとして記憶・管理する文書画像処理装置と文書画像
処理方法に関し、特に、上記文書画像からタイトル領域
やユーザが付したマークを抽出して文書タグ情報として
利用する上記装置と方法に関するものである。

【０００２】

【従来の技術】データ記憶装置の容量が著しく増加して
きたことに伴って、スキャナ等から読み込んだ紙文書を
画像データである文書画像として記憶・管理する文書画
像処理装置が急速に普及してきている。

【０００３】このような文書画像処理装置では、データ
記憶装置に記憶された複数の文書画像の中から所望の文
書画像を検索できるようにするため各文書画像にタイト
ルやキーワード等の文書タグ情報となる文字列を対応付
けて登録するようにしている。

【０００４】この文書タグ情報を概念的に示したものが
図１９である。この図に示すように、文書タグ情報、例
えば「極秘」１９１、「Ａ社」１９２、「９９年度」１
９３、「新車」１９４は文書画像１９０に対してキーワ
ード的な役割を果たしている。このように各文書画像に
複数の文書タグ情報を付与しておくと、これら複数の文
書タグ情報から絞り込みを行うことにより、必要な文書
画像を素早く検索することができる。

【０００５】従来このような文書タグ情報は、文書画像
を記憶する際にユーザが手入力していた。しかしなが
ら、上記の文書タグ情報の入力作業をユーザが行うこと
は、文書数が多くなると作業量が膨大になるため現実的
でない。そこで、近年では、文書画像に対して文字認識
を行い、この認識結果である文字列を文書タグ情報とす
ることによって、人手を介さずに文書タグ情報を付与で
きるようにした装置も出現している。

【０００６】例えば、特開平８−１４７３１３号公報で
はマークシート用紙を利用する手法が開示されている。
この手法では、先ず、ユーザが所定のフォーマットのマ
ークシート用紙に記載された、文書画像に付与したい文
書タグ情報のチェック欄に印を付ける。そして、このマ
ークシートを、紙文書より先に文書画像処理装置に読み
取らせることにより、予め登録されている文書タグ情報
の候補の中から付与すべき文書タグ情報を指定するので
ある。この手法によれば、キーボードやポインティング
デバイス等の入力装置を用いることなく、登録する文書
画像に対して文書タグ情報を自動的に付与することがで
きる。

【０００７】ところで、文書画像を効率良く検索するた
めには、適切な文書タグ情報を付与しておくことが重要
である。すなわち、ディスプレイに一覧表示された複数
の文書タグ情報の中から所望の文書画像に対応する文書
タグ情報を特定するのが一般的な検索形態であるが、こ
のような文書タグ情報を迅速に特定するためには、各文
書タグ情報が文書の内容を端的に表した内容でなければ
ならない。

【０００８】特開平８−２０２８５９号公報では、タイ
トル文字列が属する領域（以下「タイトル領域」とい
う。）を文書画像から抽出した後、このタイトル領域画
像に対して文字認識を行い、この認識結果であるタイト
ル文字列を文書タグ情報とする方法を提案している。タ
イトル文字列は文書の内容を端的に表した内容であるた
め、このようなタイトル領域抽出方法を採用した文書画
像処理装置によれば所望の文書画像に対応する文書タグ
情報を迅速に特定できる。

【０００９】

【発明が解決しようとする課題】上記特開平８−２０２
８５９号公報のタイトル領域抽出方法では、タイトル文
字が当該文書画像に属する全ての文字の中で最も大きい
サイズであるという観点から、文書画像を複数の領域
（隣接する文字矩形相互を統合した領域）に分割して各
領域内の平均文字サイズを算出し、この平均文字サイズ
が最も大きい領域をタイトル領域として抽出するように
している。従って、このようなタイトル領域抽出方法に
よって抽出されるタイトル領域の数は、１つの文書画像
につき当然１つとなる。

【００１０】しかしながら、近似した内容の複数の文書
が存在する場合、タイトルも近似した内容となるのが通
常であるため、上記従来のタイトル領域抽出方法には、
近似した内容の文書が多数存在する場合所望の文書画像
に対応する文書タグ情報を迅速に特定できないという問
題があった。

【００１１】上記問題を回避するため紙文書を作成する
段階で似た内容のタイトルを付けないようにしてもよい
が、このような準備作業をユーザに要求することは好ま
しくない。

【００１２】一方、マークシートを利用する上記特開平
８−１４７３１３号公報の手法では、画像管理装置をソ
フトウェア的に構築するときに、全ての文書タグ情報の
項目を記載したマークシート用紙の形式、読み取りの処
理等を定義する必要があるため、非常に手間がかかる。
また、後から新しい文書タグ情報の候補を追加登録する
場合には、文書タグ情報の項目が変化するため、上記の
マークシート用紙の形式、読み取りの処理等を作り直す
必要が生じる。

【００１３】更に、マークシート用紙を利用する場合に
は、常に同一の用紙を用いてチェック欄に印を付けるだ
けであるので、ユーザにとってはどの文書タグ情報を付
与したかが視覚的に分かりにくく、入力ミスを起こしや
すいという問題もあった。

【００１４】本発明は上記のような事情に基づいて提案
されたものであって、１つの文書画像から複数のタイト
ル領域やユーザが付したマークを抽出して文書タグ情報
として利用できる文書画像処理装置、その文書タイトル
抽出方法及び文書タグ情報付与方法を提供することを目
的とするものである。

【００１５】

【課題を解決するための手段】本発明は上記目的を達成
するために以下のような手段を採用している。

【００１６】第１に、図１に示すように、文書画像を複
数の領域に分割する領域分割手段１０３と、該領域分割
手段１０３によって分割された各領域について領域平均
文字サイズを算出した後、該領域平均文字サイズに基づ
いて全領域の中からタイトル領域を抽出するタイトル領
域抽出手段１０４とを備えた文書画像処理装置におい
て、次の手段を採用する。

【００１７】先ず、上記タイトル領域抽出手段１０４
が、全領域の文字の平均高さに相当する全平均文字サイ
ズを算出した後、該全平均文字サイズに抽出パラメータ
を乗算した抽出判定値と上記領域平均文字サイズとを比
較し、上記抽出判定値より大きい領域平均文字サイズの
領域をタイトル領域として抽出するようにしている。こ
のようにすれば、上記抽出判定値より大きい領域平均文
字サイズの領域であればタイトル領域として抽出される
ため、１つの文書画像から複数のタイトル領域を抽出で
きることになる。

【００１８】また、上記タイトル領域抽出手段１０４
が、複数段階の抽出パラメータを用いて複数段階の上記
抽出判定値を算出するようにしてもよい。このようにす
れば、複数段階の抽出判定値に基づいて抽出判定がなさ
れることになるため、タイトル領域だけでなくサブタイ
トル領域（タイトル文字より若干小さなサイズの文字か
らなるサブタイトル文字列が属する領域）をも抽出でき
る。

【００１９】更に、上記タイトル領域抽出手段１０４
が、領域平均文字サイズの最大値を全平均文字サイズで
除算した値に基づいて上記複数段階の抽出パラメータを
決定するようにしてもよい。抽出パラメータを固定値と
するのではなく領域平均文字サイズの最大値等に基づい
て算出した方が良好な抽出判定値が得られる。

【００２０】上記全平均文字サイズ、領域平均文字サイ
ズを求めるについて、所定割合より大きい文字および所
定割合より小さい文字を除外したトリム平均を用いると
により精度を上げることができる。

【００２１】また抽出された上記タイトル領域に含まれ
る文字の画像は、文字認識手段１０５により文字コード
列であるタイトル文字列に変換することができる。そし
て修正手段１１２によりこのタイトル文字列を修正する
ことにより、ユーザは文書画像のタイトルを適宜変更す
ることができる。

【００２２】第２に、図１２に示すように、紙文書を読
み取って文書画像を生成、記憶する文書画像処理におい
て、先ず、標準タグ情報（文書タグ情報の候補）を、こ
の標準タグ情報の属性値とともに予め蓄積しておく標準
タグ情報蓄積手段１２１５を設ける。

【００２３】次に、ユーザが紙文書上に付した特定のマ
ークを抽出するマーク抽出手段１２０５を設ける。ここ
でマークとはスタンプ、シール、イラスト、一定の筆跡
による署名等、ユーザが紙文書を識別することを意図し
て付すマーク一般を指す。

【００２４】また、抽出された上記マークを構成する画
素の分布に基づいて、このマークの特徴を表す特徴値を
算出する算出手段１２０Ａを設ける。

【００２５】そして、上記属性値と上記特徴値を比較し
て、最も類似度の高い標準タグ情報を選択し、上記文書
画像に対して付与する文書タグ情報付与手段１２０８を
設ける。

【００２６】以上により、ユーザが書類の整理に際して
日常的に用いるマークを基に、文書画像に対して文書タ
グ情報を自動的に付与することが可能となり、オフィス
等における文書管理が簡便に行える。

【００２７】

【発明の実施の形態】（実施の形態１）以下に本発明の
実施の形態を図面に従って詳細に説明する。実施の形態
１、２、３及び４では１つの紙文書から複数のタイトル
を抽出する文書画像処理装置に関して説明する。

【００２８】図１は、本発明を適用した文書画像処理装
置の概略機能ブロック図であり、以下、その構成を文書
画像登録手順とともに説明する。

【００２９】まず、例えばスキャナ等の文書画像入力手
段１０１が紙文書を光電変換して多値画像データである
文書画像１０８ａを得、該文書画像は画像処理手段１１
１ａで記憶に適した処理（例えば圧縮処理）がなされて
記憶手段１０８の文書画像エリアＡａに登録される。も
ちろん画像処理手段１１１ａを設けないで多値画像デー
タのまま文書画像エリアＡａに登録しておいてもよい。

【００３０】上記文書画像入力手段１０１よりの文書画
像は上記画像処理手段１１１ａに入力されるとともに、
画像処理手段１１１ｂにも入力されここで２値画像デー
タに変換されて画像メモリ１０７に格納される。このよ
うに画像メモリ１０７に文書画像が格納された状態で、
文字矩形生成手段１０２は上記画像メモリ１０７に記憶
された文書画像を参照して、以下のラベリング処理を行
う。このラベリング処理とは、注目する黒画素（以下
「注目画素」という。）の上、右上、右、右下、下、左
下、左、左上の８方向に隣接する画素のうち黒画素につ
いて当該注目画素と同一のラベル値（識別情報）を与え
る処理である。すなわち、図７に示すようにＷ１・Ｗ２
・Ｗ３・Ｗ４・Ｗ６・Ｗ７・Ｗ８・Ｗ９の８画素が注目
画素Ｗ５に連結する場合、文字矩形生成手段２は、黒画
素であるＷ２・Ｗ３・Ｗ８に注目画素Ｗ５と同一のラベ
ル値を与える。このようなラベリング処理を行うことに
よって、文書画像内の黒画素連結成分（連続する黒画
素）毎に同一ラベル値を与えることができる。

【００３１】次いで、文字矩形生成手段１０２は、上記
のように同一ラベル値を与えた黒画素連結成分を切り出
すことによって文字矩形を生成し、この文字矩形を領域
分割手段３に渡す。ここで、文字矩形とは黒画素連結成
分の外接矩形を意味する。尚、文字によっては１つの黒
画素連結成分で構成されていない場合もあり、このこと
を考慮して、上記ラベリング処理を行う前に文書画像中
の黒画素領域を膨張させる処理をしておくこともでき
る。すなわち、注目する黒画素に隣接する８個の画素を
黒画素に変換するという処理であり、この処理を適切な
回数（通常２、３回）だけ施すことにより、黒画素の領
域が拡大され１つの文字内で分離していた黒画素連結成
分を１つに結合することができる。このような処理を行
った上で、上記ラベリング処理を行うことにより、上記
文字矩形を正しく文字毎に生成することが可能となる。

【００３２】上記文字矩形生成手段１０２の処理が終わ
ると領域分割手段１０３は、各文字矩形について近傍を
調べ、相互に隣接する文字矩形を統合することによって
文書画像の領域を分割する。例えば図８に示す文字矩形
Ｃ１〜Ｃ１２を受けた領域分割手段１０３は、文字矩形
Ｃ１〜Ｃ４・Ｃ５〜Ｃ９・Ｃ１０〜Ｃ１２をそれぞれ統
合することによって文書画像を領域Ｅ１・Ｅ２・Ｅ３に
分割する。このような領域分割処理を行うことによっ
て、文書画像の領域を文字列毎に分割することができ
る。なお、文字矩形が相互に隣接している状態であるの
か、あるいは、行間であるのか等の区別は文字間、行間
に関する適当な閾値を用いて判定するようにしている。

【００３３】以上の結果、文書画像内における全ての文
字サイズ（後述する）・分割された領域数・各領域内の
文字矩形の数などの情報が得られる。本発明では、分割
された各領域に対して１から始まる通し番号を付すとと
もに各領域に属する文字矩形に対しても１から始まる通
し番号を付すようにしており、以下、ｎ番目の領域内の
文字矩形数をNumChar _n、ｎ番目の領域内におけるｍ番
目の文字サイズをSizeChar_n, _mと表す。

【００３４】ところで図９に示すように、文字矩形の幅
Ｗ１〜Ｗ４および面積Ａ１〜Ａ４は同一ポイント数の文
字フォントを使用している場合であっても文字の種類に
依存して大きく変動するのに対して、文字矩形の高さＨ
１〜Ｈ４はこのような変動が小さい。従って本発明で
は、文字フォントのポイント数が比較的正確に反映され
る“文字矩形の高さ”を上記文字サイズとして採用する
ようにしている。

【００３５】ここで、タイトル領域抽出手段１０４は、
上記のように分割された全領域のうち所定の領域のみを
タイトル領域として抽出する。以下、このタイトル領域
抽出処理を図２に示すフローチャートに従って説明す
る。

【００３６】まず、タイトル領域抽出手段１０４は各領
域について領域平均文字サイズを算出する（図２、ステ
ップ１）。この領域平均文字サイズとは１領域に属する
全ての文字サイズの平均値であり、ｎ番目の領域におけ
る領域平均文字サイズSizeReg _nは、当該領域に属する
全ての文字サイズSizeChar_n, _mの加算値を当該領域内
の文字数NumChar _nで除算した値となる。この関係を次
式に示す。

【００３７】

【数１】

【００３８】次いで、上記のように算出した各領域の領
域平均文字サイズSizeReg _nと領域内の文字数NumChar
_nとから、文書画像内の全平均文字サイズSizeAll を次
式によって算出する（図２、ステップ２）。

【００３９】

【数２】

【００４０】なお、領域平均文字サイズSizeReg _nおよ
び全平均文字サイズSizeAll の算出方法は上記した方法
に限定されるものではなく、例えば、後に説明するトリ
ム平均（最小値側および最大値側から所定割合例えば１
０％のデータを除外したうえで平均値を算出する方法）
を採用することもできる。

【００４１】ここで、タイトル領域抽出手段１０４は、
以下に示す抽出判定式が成立するか否かに基づいてタイ
トル領域の抽出判定を行う。

【００４２】

【数３】

【００４３】すなわち、上記のように算出した全平均文
字サイズSizeAll に抽出パラメータαを乗算した値（抽
出判定値）と各領域の領域平均文字サイズSizeReg _nと
を比較し、この抽出判定式が成立する領域のみをタイト
ル領域として抽出する（図２、ステップ３→４→５）。
なお、抽出パラメータαは1.0 より大きな定数とし、1.
2 程度の値とするのが好ましい。

【００４４】以上の手順を繰り返し全ての領域について
抽出判定が行われると（図２、ステップ３で“Ｎ
Ｏ”）、タイトル領域抽出処理を終了し、ここで抽出さ
れた各タイトル領域画像１０８ｂは記憶手段１０８のタ
イトルエリアＡｂに登録される。

【００４５】次いで、文字認識手段１０５は、上記のよ
うに抽出されたタイトル領域画像を文書画像から切り出
し、このタイトル領域画像に対して文字認識を行うこと
によって文字コード列であるタイトル文字列を得る。こ
こで得られたタイトル文字列は修正手段１１２を介して
表示制御手段１１０に渡され、タイトル領域画像ととも
に図示しないディスプレイにリスト表示され、ユーザに
提示される（図１０(I) 参照）。

【００４６】ユーザは表示された上記タイトル領域画像
及びタイトル文字列を確認し、このタイトル文字列を表
示された通りに登録したい場合は、指示入力手段１０９
により登録を指示する。するとこのタイトル文字列が上
記文字認識手段１０５から文書登録手段１０６に渡され
る。

【００４７】一方、上記タイトル文字列に変更・修正を
加えたいときは、ユーザは上記指示入力手段１０９のポ
インティングデバイスにより、表示されたこのタイトル
文字列を例えばダブルクリックする。修正手段１１２は
このダブルクリックに基づいて、上記表示制御手段１１
０に対して、例えば、ディスプレイ上の上記タイトル文
字列を点滅させ、また、カーソルを上記文字列内に表示
させるよう指示する。そしてユーザは上記指示入力手段
１０９のキーボードを操作し、修正文字列を上記修正手
段１１２に入力して上記カーソル以降の文字列を修正文
字列で置き換える。このようにして修正された文字列は
上記修正手段１１２から上記文字認識手段１０５に入力
され、上記タイトル文字列の修正が行われる。そして上
記と同様、ユーザが上記指示入力手段１０９により登録
を指示すると、この修正後のタイトル文字列が上記文字
認識手段１０５から上記文書登録手段１０６に渡され
る。

【００４８】尚、上記確認及び修正の処理を設けない場
合は、上記文字認識手段１０５が認識した内容をディス
プレイに表示しないでそのまま文書登録手段１０６に渡
すことになる。

【００４９】上記タイトル文字列を受けた文書登録手段
１０６は、記憶手段１０８での文書画像１０８ａの格納
ポインタ、上記タイトル領域画像１０８ｂの格納ポイン
タ・上記タイトル文字列・文書画像内におけるタイトル
領域の位置およびサイズからなる登録情報を記憶手段１
０８上のテーブルエリアＡｃに形成された登録情報管理
テーブル１０８ｃ（図５参照）に登録する。ここで、上
記文書画像１０８ａの格納ポインタは上記記憶手段１０
８の文書画像エリアＡａより得られ、上記タイトル画像
１０８ｂの格納ポインタは上記記憶手段１０８のタイト
ルエリアＡｂより得られ、更に、タイトル領域の位置と
サイズは文字認識手段１０５より得られることになる。

【００５０】このように登録情報管理テーブル１０８ｃ
が生成されると、以降に、キーボードやポインティング
デバイス等からなる指示入力手段１０９より文書画像の
検索が指示入力されると、表示制御手段１１０は、上記
のように記憶されたタイトル領域画像およびタイトル文
字列を上記ディスプレイにリスト表示する（図１０(I)
）。

【００５１】そして上記リスト表示からユーザが所望の
タイトル（タイトル領域画像またはタイトル文字列）が
上記指示入力手段１０９により選択すると、上記表示制
御手段１１０はこのタイトルに対応する文書画像を上記
ディスプレイに表示する。このとき、図１０(II)に示す
ように、矩形枠Ｆで囲むなどして文書画像内におけるタ
イトル領域を明示するのが好ましい。このような矩形枠
Ｆは、登録情報管理テーブル１０８ｃに登録されている
タイトル領域の位置およびサイズに基づいて生成でき
る。

【００５２】また、上記のようにディスプレイに表示さ
れたリストからいずれか１つを選択する方法に加えて、
指示入力手段１０９より特定の文書タグ情報を入力し、
該文書タグ情報に該当するタイトルが登録情報管理テー
ブル１０８ｃに登録されているとき、対応する文書画像
を表示するようにしてもよいことはもちろんである。

【００５３】以上のように本実施の形態によれば、抽出
判定値より大きい領域平均文字サイズの領域であればタ
イトル領域として抽出する構成としているため、１つの
文書画像から複数のタイトル領域を抽出できる。従っ
て、似た内容の文書が多数存在する場合であっても、所
望の文書画像に対応する文書タグ情報（タイトル）を迅
速に特定できる。

【００５４】なお、上記の説明では、タイトル領域抽出
処理において抽出判定式の成立する領域が存在しなかっ
た場合の手順については言及していないが、このような
場合には、タイトル領域が抽出されなかった旨をディス
プレイ表示するとともに文書タグ情報となる文字列を入
力するようユーザに対して要求し、この要求に対してユ
ーザが文字列を入力すると、この文字列を当該文書画像
のタイトル文字列として用いるようにしている。

【００５５】（実施の形態２）上記実施の形態１では、
抽出判定値より大きい領域平均文字サイズの領域であれ
ば、領域平均文字サイズの大小を区別することなく同様
にタイトル領域として抽出する構成としている。従っ
て、タイトル文字より若干小さなサイズの文字からなる
サブタイトル文字列はリスト表示せずタイトル文字列の
みをリスト表示する処理など、領域平均文字サイズの大
小に基づいた適切な処理を行うことができない。本実施
の形態では、複数段階の抽出パラメータを用いて複数段
階の抽出判定値を算出するとともにレベル属性（抽出し
た段階を示す情報）と対応付けてタイトル領域を抽出す
る構成とすることによって上記した問題を解消してお
り、以下、その構成を実施の形態１と異なる点のみ説明
する。

【００５６】上記実施の形態１と同様の手順で領域平均
文字サイズSizeReg _nおよび全平均文字サイズSizeAll
を算出したタイトル領域抽出手段１０４は、以下に示す
複数段階の抽出判定式が成立するか否かに基づいて複数
段階の抽出判定を行う。

【００５７】

【数４】

【００５８】上式におけるα_pは、ｐ段階（レベルｐ）
の抽出パラメータであり、〔数５〕の条件を満たすよう
に値を設定しておく。例えば、５段階の抽出判定を行う
場合には、α₁=1.5 、α₂=1.3 、α₃=1.2 、α₄=1.15、
α₅=1.1 程度とするのが好ましい。

【００５９】

【数５】

【００６０】図３に示すフローチャートを用いて説明す
ると、タイトル領域抽出手段１０４は、レベル１から順
に全レベルの抽出判定を行い（図３、ステップ１４→１
５→１４）、全レベルにおいて抽出判定式が成立しなか
った場合には、この領域をタイトル領域として抽出せ
ず、次の領域について抽出判定を行う（図３、ステップ
１４→１３→１４→１５）。一方、いずれかのレベルに
おいて抽出判定式が成立した場合には、この領域を当該
レベルのタイトル領域として（上記レベル属性を対応付
けて）抽出した後、次の領域について抽出判定を行う
（図３、ステップ１５→１６→１３→１４→１５）。

【００６１】以上の手順を繰り返し全ての領域について
抽出判定が行われると（図３、ステップ１３で“Ｎ
Ｏ”）、タイトル領域抽出処理を終了する。

【００６２】なお、抽出判定式の成立する領域が存在し
なかった場合ユーザが入力した文字列をタイトル文字列
として用いる点は上記実施の形態１と同様であり、この
タイトル文字列のレベル属性はレベル１、全レベル数も
１としている。

【００６３】また、抽出された上記タイトル文字列を変
更・修正できる点についても実施の形態１と同様であ
る。

【００６４】図６は、本実施の形態における登録情報管
理テーブル１０８ｃの説明図であり、上記実施の形態１
において示した構成（フィールド５０１〜５０５）に
「レベル属性」フィールド６０１と「全レベル数」フィ
ールド６０２とを加えた構成としている。そして文書登
録手段１０６は、例えば５段階の抽出判定においてレベ
ル１で抽出された領域がある場合、この領域に対応する
「全レベル数」フィールド６０２には“５”を、「レベ
ル属性」フィールド６０１には“１”をそれぞれ登録す
る。

【００６５】図１１は、本実施の形態の検索時において
ディスプレイに表示される内容を示す図であり、上段に
リスト表示するタイトルのレベル属性を指示入力手段１
０９より範囲指定できるようにしている。そして、表示
制御手段１１０は、登録情報管理テーブル１０８ｃの
「レベル属性」フィールド６０１と「全レベル数」フィ
ールド６０２とを参照することによって上記のように指
定された範囲内のタイトルのみをディスプレイにリスト
表示する。

【００６６】以上のように本実施の形態によれば、複数
段階の抽出パラメータを用いて複数段階の抽出判定値を
算出するとともにレベル属性と対応付けてタイトル領域
を抽出する構成としているため、サブタイトル文字列は
リスト表示せずタイトル文字列のみをリスト表示する処
理など領域平均文字サイズの大小に基づいて、異なる処
理を行うことができる。

【００６７】（実施の形態３）上記実施の形態２では、
複数段階の抽出パラメータを予め設定する（固定値とす
る）構成としているが、このような抽出パラメータは入
力された文書画像の特性に応じて決定するのが好まし
い。本実施の形態では、領域平均文字サイズの最大値を
全平均文字サイズで除算した値に基づいて複数段階の抽
出パラメータを決定する（図４、ステップ２３参照）よ
うにしており、以下、その構成を実施の形態２と異なる
点のみ説明する。

【００６８】上記の実施の形態２と同様の手順で領域平
均文字サイズSizeReg _nおよび全平均文字サイズSizeAl
l を算出したタイトル領域抽出手段４は、まず、領域平
均文字サイズの最大値max ｛SizeReg _n｝を全平均文字
サイズSizeAll で除算した値α₁を次式によって算出す
る。

【００６９】

【数６】

【００７０】次いで、タイトル領域抽出手段４は、上記
のように算出したα₁と当該抽出判定の全レベル数Ｐ(P
>=1)とから、各レベルの抽出パラメータα_pを次式によ
って決定する。

【００７１】

【数７】

【００７２】例えばα₁が1.5 で５段階の抽出判定を行
う場合、各レベルの抽出パラメータα₁〜α₅は以下の
ようになる。

【００７３】

【数８】

【００７４】このように〔数７〕によれば、上記のよう
に算出したα₁から1.0 の間で等間隔になるように各レ
ベルの抽出パラメータα_pを決定することができる。

【００７５】以降の手順は、上記のように決定した抽出
パラメータを用いて抽出判定を行う点を除いて実施の形
態２と同様であるため説明を省略する。

【００７６】ただし上記した方法には、文書画像内にタ
イトル領域が存在しない場合、α₁が例えば1.03など1.0
付近の値となるため本文の領域をタイトル領域として
誤抽出してしまうという不具合がある。そこで本発明で
は、例えば1.05など所定値以下となる抽出パラメータは
採用しないようにしている。

【００７７】また、各レベル間の抽出パラメータの差が
例えば0.03など所定値以下となると、良好な抽出判定が
できないため、上記抽出パラメータの差が上記所定値
（0.03）となるように抽出パラメータの設定値を修正す
るようにしている。すなわち上記の場合、α₁から順に
0.03ずつ減算した値を各レベルの抽出パラメータとして
設定する。

【００７８】以上の結果全レベル数Ｐが減少する場合も
あるが、このような場合には、実際のレベル数（全レベ
ル数Ｐから減少レベル数を減じた値）を全レベル数Ｐと
して登録情報管理テーブル１０８ｃの「全レベル数」フ
ィールド６０２に設定する。

【００７９】以上のように本実施の形態によれば、抽出
パラメータを固定値とするのではなく、入力された文書
画像の特性に応じて決定する構成としているため良好な
抽出判定を行うことができる。

【００８０】（実施の形態４）上記の各実施の形態にお
いては、全平均文字サイズの算出に比較的サイズの大き
いタイトル領域の文字も算入され、また、サイズの小さ
いコンマ、ピリオド、句読点も算入されるので、精度が
低くなる傾向がある。そこで、文書画像の全文字から、
所定割合（例えば９０％）より大きいサイズの文字と、
所定割合（例えば１０％）より小さいサイズの文字を除
外した文字から全平均文字サイズを算出する、いわゆる
トリム平均を利用する。更に、領域平均文字サイズを算
出するときにも、同様の問題が発生するところから、領
域平均文字サイズの算出についても上記トリム平均を用
いることもできる。

【００８１】これによって、全平均文字サイズ、および
領域平均文字サイズとも、ピリオド、コンマ、句読点を
除外した文字サイズを求めることができ、より精度の高
い値が得られることになる。

【００８２】ここで、上記各実施の形態では領域平均文
字サイズより、全平均文字サイズを算出しているが、同
じ方法をこのトリム平均を用いる場合に適用すると、領
域毎にサイズの大きい文字と小さい文字を除外すること
になるため、全平均文字サイズの算出においてタイトル
領域に含まれるすべての文字を除外することができな
い。従ってここでは、全平均文字サイズを算出するとき
に、あらためて文書画像中の全文字を対象として処理を
行っている。

【００８３】但し、このトリム平均を用いる方式を使用
するにしても、上記抽出パラメータとして、実施の形態
１の所定値、あるいは実施の形態２、３の段階値のいず
れを用いてもよいことはもちろんである。

【００８４】なお、上記の各実施の形態の説明では、文
書画像となる文書の枚数については言及していないが、
紙文書の枚数は特に限定されるものではない。すなわ
ち、１枚であっても複数枚であっても、各頁に同じ抽出
パラメータを用いる限り同様の効果が得られる。特に、
実施の形態２、３においては、複数頁に対して同じ抽出
パラメータ用いることにより、論文データのように複数
頁にわたる単一文書から、タイトル、サブタイトルを正
しく抽出することができる。

【００８５】また、上記の説明では、文字矩形の高さを
文字サイズとして採用することとしているが、文字矩形
の幅・面積を文字サイズとして採用してもよい。

【００８６】尚、図１の説明において、記憶手段１０８
の前段と画像メモリ１０７の前段に画像処理手段１１１
ａ、１１１ｂを設けて、タイトル抽出用の文書画像は２
値画像データを用い、記憶手段１０８の文書画像エリア
Ａａに登録される文書画像データとして、圧縮画像ある
いは多値画像データを用いることができるようになって
いる。これによって、上記のように抽出されたタイトル
に基づく検索処理の結果得られた文書画像をカラーで表
示する等の多様な表示方法が可能となる。

【００８７】（実施の形態５）以下、実施の形態５及び
６ではユーザが紙文書に付したマークを文書タグ情報と
して自動的に付与する文書画像処理装置に関して説明す
る。

【００８８】先ず、紙文書を構成するいずれかのページ
にタイトルやキーワード等よりなるマークがユーザによ
って付される。ここで、マークとはスタンプ、シール、
イラスト、一定の筆跡による署名等、ユーザが紙文書を
識別することを意図して付すマーク一般を指すこととす
る。

【００８９】本発明の文書画像処理装置に、多数のペー
ジからなる紙文書を記憶させるにあたって、この紙文書
のどのページに上記マークが付されているかを判別する
必要がある。この際、上記紙文書の全ページを検索して
上記マークを検出する方法も考えられるが、検出処理に
時間がかかるという問題がある。

【００９０】このような問題を解決する方法としては、
例えば、１ページ目のみに上記マークの検出を行うよ
う、予め文書画像処理装置に設定しておくことなどが挙
げられる。

【００９１】本発明の実施の形態においては、図１３
（ｂ）に示すように、上記マークを付したページ（「以
下「文書タグ情報指定ページ」と呼ぶ）２１、２４に対
しては、右下の特定位置に特定の２次元コード画像２６
を記載することによって、この文書タグ情報指定ページ
を判別することにしている。

【００９２】図１は本発明の実施の形態５による文書画
像処理装置のブロック図であり、以下、この文書画像処
理装置の行う処理の手順について説明する。

【００９３】先ず、画像入力手段１２０１では、スキャ
ナやディジタル複合機などの光電変換装置を用いて紙文
書を電子化し、文書画像として入力する。ここでは、図
１３に示すように、入力画像２２及び２３に文書タグ情
報指定ページ２１に付された「極秘」「Ａ社」「９９年
度」の文書タグ情報を、入力画像２５に文書タグ情報指
定ページ２４に付された「極秘」「Ｂ社」の文書タグ情
報を付与することとする。そして、画像入力手段１２０
１には、文書タグ情報指定ページ２１、入力画像２２、
２３、文書タグ情報指定ページ２４、入力画像２５の順
に入力するようにしておく。

【００９４】ここで入力された文書画像は、一旦、画像
メモリ１２０２に格納され、更に、画像データ圧縮処理
手段１２０３においてデータ圧縮が施された後、記憶手
段１２１０の画像記憶領域１２１１に記憶される。この
とき、記憶された各文書画像を特定できるように、それ
ぞれの文書画像に画像ＩＤを付与し、この画像ＩＤを図
１３（ａ）に示す登録管理テーブル１２１２の「画像Ｉ
Ｄ」フィールド１２１に格納する。また、記憶手段１２
１０の画像記憶領域１２１１に記憶された画像データへ
のポインタ情報を、登録画像管理テーブル１２１２の
「画像データへのポインタ」フィールド１２２に格納す
る。

【００９５】また、画像メモリ１２０２に格納された上
記文書画像は、画像２値化処理手段１２０４において２
値化された後、マーク抽出手段１２０５にも送られる。
このマーク抽出手段１２０５では、先ず、画像右下の予
め決められた位置に特定の２次元コード画像が存在する
か否かを判定することによって、入力された各文書画像
が文書タグ情報指定ページであるかどうかを判定する。

【００９６】このとき、文書タグ情報指定ページと判断
された文書画像に関しては、上記登録画像管理テーブル
１２１２の「文書タグ情報指定ページフラグ」フィール
ド１２３に「１」を、そうでない場合には「０」を格納
する。このフラグは上記文書画像がマークのみが付され
た文書タグ情報指定ページであって、紙文書の文書とし
ての内容を含んでいないことを識別するために用いられ
る。例えば、後述する方法によって文書画像に対して文
書タグ情報が付与された後は、このフラグに基づいて、
文書タグ情報指定ページに該当する文書画像を削除する
ようにすれば、メモリ資源の節約になる。

【００９７】そして、ある文書タグ情報指定ページが入
力されてから次の文書タグ情報指定ページが入力される
までに入力された全ての文書画像に対して、同一のマー
ク管理グループ番号を付与する。更に、このマーク管理
グループ番号を上記登録画像管理テーブル１２１２の
「マーク管理グループ番号」フィールド１２５に格納す
る。ここで、同一のマーク管理グループ番号が付与され
た文書画像には、同一の文書タグ情報が付与されること
を意味している。

【００９８】次に、上記の処理によって文書タグ情報指
定ページと判断された文書画像から、マーク抽出手段１
２０５がマークを抽出する処理について説明する。

【００９９】先ず、文書タグ情報指定ページのうち、上
記２次元コードが付された領域を除く全ての領域に対し
て、実施の形態１で説明したラベリング処理を行う。そ
してラベリング処理で得られた複数の黒画素連結成分の
うち、相互の距離が特定の閾値よりも小さい成分に関し
ては統合して１つの領域とする。このようにして得られ
た各領域は、図１６に示すように、それぞれ各マークの
領域４１〜４３に対応しており、これらの領域を抽出す
ることによって、各マーク画像を得ることができる。

【０１００】ここで、各文書タグ情報指定ページから抽
出されたマークの個数を、上記登録画像管理テーブル１
２１２の「マーク数」フィールド１２４に格納する。

【０１０１】また、抽出された各マーク画像の情報を管
理するために、各マーク画像にマークＩＤを付与し、図
１４に示すような、マーク管理テーブル１２１３の「マ
ークＩＤ」フィールド１３１に格納する。更に、各マー
クが付されていた文書タグ情報指定ページのマーク管理
グループ番号を、上記マーク管理テーブル１２１３の
「マーク管理グループ番号」フィールド１３２に格納す
る。また、各文書タグ情報指定ページから抽出されたマ
ーク画像の該文書タグ情報指定ページ内での位置、サイ
ズ（幅、高さ）の情報を、それぞれ上記マーク管理テー
ブル１２１３の「位置」フィールド１３４、「サイズ」
フィールド１３５に格納する。

【０１０２】本実施の形態では、最初の文書タグ情報指
定ページと、次の文書タグ情報指定ページとの間に入力
された文書画像には同一のマーク管理グループ番号を付
与し、上記文書画像を上記最初の文書タグ情報指定ペー
ジに付随する一連の文書画像として管理している。この
他にも文書タグ情報指定ページの次に入力された特定の
文書画像にのみにマーク管理グループ番号を付与し、そ
の他の文書画像にはマーク管理グループ番号を付与しな
い管理方法も考えられる。これは例えば上記特定の文書
画像に目次を付けたい場合などに利用される管理方法で
ある。

【０１０３】次に、算出手段１２０Ａの特徴量算出手段
１２０６では、マーク抽出手段１２０５において抽出さ
れた各マーク画像の特徴を表す数値を算出する。ここで
はこの数値として、公知の技術であるモーメント・イン
バリアント（Moment Invariants ）における特徴量を利
用する。以下、このモーメント・インバリアントについ
て簡単に説明する。

【０１０４】ｉ，ｊを画素の座標、Ｉ（ｉ，ｊ）をその
画素値、即ち、黒画素についてはＩ＝１、白画素につい
てはＩ＝０の値を持つ関数とする。そして〔数９〕で定
義されるｍ_pqを（ｐ＋ｑ）次のモーメントと呼ぶ。

【０１０５】

【数９】

【０１０６】ここで、この m_pqを用いると、２次元画像
の重心（ｘ，ｙ）は〔数１０〕で表される。

【０１０７】

【数１０】

【０１０８】このようにして算出された重心に基づい
て、〔数１１〕で定義されるμ_pqを中心モーメントと言
う。

【０１０９】

【数１１】

【０１１０】そしてこの中心モーメントに基づき、〔数
１２〕によって以下のように算出される数値M1〜M6を、
当該２次元画像の（モーメント・インバリアントにおけ
る）特徴量と定義する。

【０１１１】

【数１２】

【０１１２】これらの特徴量は当該２次元画像が回転や
平行移動した場合にも不変となるため、本発明の実施の
形態のように、ユーザが手作業で特定のマークを用紙の
上に付すような場合において、このマークを特徴付ける
のに有効な数値となるのである。

【０１１３】このように特徴量算出手段１２０６により
算出された特徴量は、算出手段１２０Ａの類似度算出手
段１２０７に渡され、この特徴量と各標準タグ情報の属
性値との類似度が算出される。この方法を説明するため
に、以下では先ず、各標準タグ情報の管理方法及び各標
準タグ情報の属性値を算出する方法について説明する。

【０１１４】上記の標準タグ情報とは具体的にはユーザ
の使用が予測されるマーク（以下「標準マーク」と呼
ぶ）に関連付けられたデータであり、入力画像に対して
キーワード的な役割を果たす文字列等の文書タグ情報の
候補である。この標準タグ情報を、図１５（ａ）に示す
ような、標準タグ情報管理テーブル１２１４の「標準タ
グ情報」フィールド１４１に格納する。また、上記標準
マークの画像データは標準タグ情報蓄積手段１２１５に
格納されており、更に、この画像データへのポインタが
上記標準タグ情報管理テーブル１２１４の「標準マーク
へのポインタ」フィールド１４２に格納されている。ま
た、上記特徴量算出手段１２０６はこれら標準マークの
モーメント・インバリアントにおける６つの特徴量を算
出し、これら特徴量を標準タグ情報管理テーブル１２１
４の「属性値(M1 〜M6) 」フィールドに格納する。即
ち、この特徴量が、各標準マークの属性値となるのであ
る。

【０１１５】このようにして算出された各標準マークの
属性値と、入力画像から抽出されたマーク画像の上記モ
ーメント・インバリアントにおける特徴量との距離を
〔数１３〕（最小２乗法）によって算出する。

【０１１６】

【数１３】

【０１１７】ここで、M1〜M6は上記標準マークの属性
値、m1〜m6は抽出されたマーク画像の特徴量を表してい
る。上式によって算出された距離Ｌの値が小さいほど、
抽出されたマーク画像と標準タグ情報との類似度が高い
ことを示している。

【０１１８】次に文書タグ情報決定手段１２０８では、
上記類似度算出手段１２０７において算出された類似度
が最大となる標準マークを特定し、この標準マークの標
準タグ情報を入力された文書画像の文書タグ情報として
選択し、この文書画像に付与する。さらに、この文書タ
グ情報をマーク管理テーブル１２１３の「文書タグ情
報」フィールド１３３に格納する。

【０１１９】以上の処理を適用することにより、入力さ
れた各文書画像に自動的に文書タグ情報を付与すること
ができる。ここで得られた各テーブルの情報を用いる
と、次の手順に従って画像の検索を行うことができる。

【０１２０】先ず、ユーザが検索に使用する文書タグ情
報を指定すると、この文書タグ情報に関連付けられてい
るマーク管理グループ番号をマーク管理テーブル１２１
３から特定することができる。さらに、上記マーク管理
グループ番号が付与されている文書画像の画像ＩＤおよ
びこの文書画像データへのポインタの情報を、登録画像
管理テーブル１２１２から特定することができる。ここ
で特定された文書画像が、ユーザの指定した文書タグ情
報に関連付けられている画像となる。また、複数の文書
タグ情報を指定することにより、検索したい画像データ
を絞り込むこともできる。

【０１２１】次に、類似度算出手段１２０７において算
出された類似度が最大となる文書タグ情報に関しても、
抽出されたマーク画像との距離Ｌが予め指定された閾値
よりも大きかった場合には、このマーク画像に関連付け
るべき既存の文書タグ情報は存在せず、新規の標準マー
クが入力されたものと判断する。この場合、マーク管理
テーブル１２１３の「位置」フィールド１３４、「サイ
ズ」フィールド１３５および登録画像管理テーブル１２
１２の「画像データへのポインタ」フィールド１２２の
情報に基づいてマーク画像を表示し、ユーザに対してこ
の新規の標準マークを関連付けておく文書タグ情報を登
録するように促す。

【０１２２】ここで入力された文書タグ情報を、新たに
標準タグ情報管理テーブル１２１４の「標準タグ情報」
フィールド１４１に格納する。また、上記の新規に入力
された標準マークの画像データを以降の検索処理に利用
するために標準タグ情報蓄積手段１２１５に格納し、こ
のマーク画像データへのポインタ情報を標準タグ情報管
理テーブル１２１４の「マーク画像へのポインタ」フィ
ールド１４２に格納する。さらに、この新規の標準マー
クのモーメント・インバリアントにおける特徴量を算出
し、標準タグ情報管理テーブル１２１４の「属性値(M1
〜M6) 」フィールド１４３に格納する。

【０１２３】以上のように、ユーザは新しいマーク画像
と文書タグ情報を入力するだけで、新規の標準タグ情報
を登録することができる。

【０１２４】なお、上記の説明において、図１４、図１
５（ａ）では、標準マークが関連付けられている標準タ
グ情報を、当該標準マークに使用されている文字列にし
ているが、これらは必ずしも文字列に限定する必要はな
い。すなわち、標準タグ情報管理テーブル１２１４にお
いて、各標準マークに任意の標準タグ情報を関連付ける
ことが可能である。

【０１２５】例えば、上述のような文字列による標準タ
グ情報の代わりに、各標準マークの縮小画像を標準タグ
情報としてそれぞれの標準マークに関連付けておき、こ
の縮小画像を検索用シートに印刷しておく。そしてこの
検索用シートの縮小画像をスキャナで読み取らせること
により、所望の文書画像の検索を行うようにすることも
可能である。

【０１２６】更に、図１３および図１６の説明図では、
全ての入力画像の中から文書タグ情報指定ページを特定
するために２次元コードを用いたが、１次元コード等を
用いても良い。他にも、文書タグ情報指定ページを特定
するための手段としては、２次元コード画像の替わりに
特定のマークを使用する方法や、特定カラーの用紙を使
用する方法、あるいは特定の形状やサイズの用紙を使用
する方法等によっても同様の効果が期待できる。

【０１２７】また、全ての入力画像に同一の文書タグ情
報を付与する場合には、１枚目に入力する画像だけが文
書タグ情報指定ページ画像であると定義して文書画像処
理装置を構築することも可能である。この場合、１枚目
に入力される画像だけが文書タグ情報指定ページである
と分かっているので、２次元コード画像等を用いて文書
タグ指定画像を特定する処理は必要なくなり、全体の処
理を簡略化することができる。

【０１２８】勿論、２次元コード画像等を用いずに、紙
文書の全てのページを検索してマークを抽出する方法も
可能である。この際に、ユーザが付したマークとは別
に、紙文書中の例えば「極秘」等の文字をマークとして
抽出してしまうことも起こり得る。このような場合には
当該文字も一つの上記のマークの１つとして登録画像管
理テーブル１２１３に追加すればよい。

【０１２９】なお、上記の説明ではモーメント・インバ
リアントにおける特徴量を用いてマーク画像と標準タグ
情報との関連付けを行ったが、２つの画像を重ねて一致
する黒画素の割合を比較するテンプレートマッチングを
用いて関連付けを行っても同様の効果が期待できる。

【０１３０】また、１つの標準タグ情報に複数の標準マ
ークを関連付けておくこともできる。これは、標準タグ
情報管理テーブル１２１４において、同一の標準タグ情
報を複数登録しておき、それぞれに異なる標準マークを
関連付けることによって実現できる。この場合、異なる
マークの付された紙文書を入力して、この入力された文
書画像に同一の文書タグ情報を付与することができる。

【０１３１】逆に、１つの標準マークが複数の標準タグ
情報に関連付けられるようにすることもできる。これ
は、標準タグ情報管理テーブル１２１４において、異な
る標準タグ情報に同一の標準マークを関連付けることに
よって実現できる。この場合、１つのマークの付された
紙文書を入力して、この入力された文書画像に複数の文
書タグ情報を付与することができる。

【０１３２】（実施の形態６）本実施の形態では、登録
する紙文書の余白部分に押されたマークを抽出すること
により、文書画像に文書タグ情報を付与する形態とす
る。以下、図１２を参照しながら実施の形態５と異なる
点についてのみ説明する。

【０１３３】まず、画像入力手段１２０１では、実施の
形態５と同様、ユーザが入力した紙文書を電子化して文
書画像を得る。ここでは、図１７（ｂ）に示すように、
文書画像３１および３２に「極秘」「Ａ社」「９９年
度」の文書タグ情報を、文書画像３３に「極秘」「Ｂ
社」の文書タグ情報を付与することとする。このため
に、各画像の余白部分には、それぞれ付与したい文書タ
グ情報に関連付けられているマークが付されている。

【０１３４】ここで得られた画像データは、一旦、画像
メモリ１２０２に格納され、さらに画像データ圧縮処理
手段１２０３においてデータが圧縮された後、記憶手段
１２１０の画像記憶領域１２１１に格納される。ここで
格納された画像データの情報として、図１７（ａ）に示
すように登録画像管理テーブル１２１２’の「画像Ｉ
Ｄ」フィールド１２１’および「画像データへのポイン
タ」フィールド１２２’に、それぞれ必要な情報を格納
することについては、実施の形態５と同様である。

【０１３５】また、画像メモリ１２０２の画像は、画像
２値化処理手段１２０４において２値化された後、マー
ク抽出手段１２０５’に送られる。本実施の形態では、
マーク画像の領域を確実に抽出することができるよう
に、図１７（ｂ）に示すような枠付きのマークを使用
し、上記マーク抽出手段１２０５’が以下の処理によっ
て各マークの抽出を行う。

【０１３６】まず、各２値画像の黒画素に対して上述の
ラベリング処理を行い、さらに同一のラベル値が付与さ
れた黒画素連結成分毎に外接矩形のサイズを算出してお
く。このとき、マークの枠の部分に対応する黒画素連結
成分の外接矩形サイズは、入力画像内の各文字のサイズ
に比べると十分大きいが、マークは書類の余白部分に納
まるように押す必要があることから、極端に大きなサイ
ズになることもない。この性質を利用し、上記ラベリン
グ処理によって得られた黒画素連結成分のうち、外接矩
形の占める領域の大きさが、指定された２つの閾値の間
に納まる領域だけを抽出する。すなわち、高さおよび幅
の大きさが、それぞれある閾値〔余白のサイズ（高さ、
幅）として通常考えられる最小サイズ〕よりも大きく、
且つ、別のある閾値〔余白のサイズとして通常考えられ
る最大サイズ〕よりも小さくなるような黒画素連結成分
の領域だけを抽出することによって、各マーク画像の領
域を抽出することができる。

【０１３７】上記の処理によって、各文書画像から抽出
されたマークの個数を、それぞれ登録画像管理テーブル
１２１２’の「マーク数」フィールド１２４’に格納す
る。また、抽出された各マーク画像にマークＩＤを付与
し、このマークＩＤを図１８に示すようなマーク管理テ
ーブル１２１３’の「マークＩＤ」フィールド１３１’
に格納する。また、各マークが付されていた入力画像の
画像ＩＤ、マークが付されていたおよびマークのサイズ
に関する情報を、それぞれマーク管理テーブル１２１
３’の「画像ＩＤ」「位置」「サイズ」の各フィールド
１３２’、１３４’、１３５’に格納する。

【０１３８】なお、本実施の形態ではマークの付された
画像にのみ文書タグ情報を付与することとしている。こ
の他にも、最初のマークの付された画像から、次のマー
クが付された画像までの間に入力された画像を、上記最
初のマークの付された画像に付随する一連の文書画像と
して管理したい場合には、上記実施の形態５と同様にに
マーク管理グループ番号を付与して管理する方法を採用
することもできる。

【０１３９】以下、算出手段１２０Ａ（特徴量算出手段
１２０６、類似度算出手段１２０７）、文書タグ情報決
定手段１２０８では、それぞれ実施の形態５と同様、公
知の技術であるモーメント・インバリアントの特徴量に
基づいて、各マーク画像に関連付けられている文書タグ
情報を特定する。そして、特定された文書タグ情報をマ
ーク管理テーブル１２１３’の「文書タグ情報」フィー
ルド１３３’に格納する。

【０１４０】以上の処理を用いることにより、登録した
い紙文書の余白部分にマークを押して入力するだけで、
自動的に検出して文書タグ情報を付与することが可能に
なる。この場合、実施の形態５で用いた文書タグ情報指
定ページは不要であり、登録したい書類だけを入力する
ことになる。また上述のように、登録画像管理テーブル
１２１２’及びマーク管理テーブル１２１３’は、実施
の形態５における登録画像管理テーブル１２１２及びマ
ーク管理テーブル１２１３よりも簡単な構成となってい
る。

【０１４１】勿論、本実施の形態においても、実施の形
態５と同様、マーク抽出の処理を速めるために、マーク
の付されたページに２次元コード等を付与しておく方法
を採用することもできる。

【０１４２】また、本実施の形態では、紙文書の内容が
記載されている面の余白部分にマークを押して入力した
が、両面を読み取ることができるスキャナ等を利用する
場合には、書類の裏面にマークを押して入力する場合に
も同様の効果が期待できる。

【０１４３】更に、上記のマークは枠を持つものとした
が、この枠は必須のものではない。枠がない場合にも、
通常マークは紙文書本文中の文字よりも大きな黒画素連
結成分から構成されると考えられるので、本実施の形態
が適用できる。

【０１４４】

【発明の効果】以上説明したように、第１に、本発明に
よれば、抽出判定値より大きい領域平均文字サイズの領
域をタイトル領域として抽出するようにしているため、
１つの文書画像から複数のタイトル領域を抽出できる。
また、複数段階の抽出パラメータに基づいて複数段階の
抽出判定をすることもでき、更に、この複数段階の抽出
パラメータを入力された文書画像の特性に応じて決定で
きる。また、全平均文字サイズの算出、あるいは領域平
均文字サイズの算出に、大きい方の所定割合と小さい方
の所定割合に属する文字を除外して算出するトリム平均
を用いると、より精度を上げることができる。

【０１４５】更に、第２に、本発明によれば、キーボー
ドやポインティングデバイス等を用いることなく、マー
ク処理された書類を文書画像処理装置に入力するだけ
で、自動的に入力画像に文書タグ情報を付与することが
できる。ここで付与された文書タグ情報を利用すること
によって文書画像を検索することができるため、文書画
像処理装置を効率良く管理、運用することができるよう
になる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における文書画像処理装
置の概略機能ブロック図である。

【図２】実施の形態１におけるタイトル領域抽出処理の
フローチャートである。

【図３】実施の形態２におけるタイトル領域抽出処理の
フローチャートである。

【図４】実施の形態３におけるタイトル領域抽出処理の
フローチャートである。

【図５】実施の形態１における登録情報管理テーブルの
説明図である。

【図６】実施の形態２における登録情報管理テーブルの
説明図である。

【図７】ラベリング処理の説明図である。

【図８】領域分割処理の説明図である。

【図９】文字矩形の高さ・幅・面積の関係を示す図であ
る。

【図１０】実施の形態１の検索時においてディスプレイ
に表示される内容を示す図である。

【図１１】実施の形態２の検索時においてディスプレイ
に表示される内容を示す図である。

【図１２】本発明の実施の形態５及び６における文書画
像処理装置の概略機能ブロック図である。

【図１３】本発明の実施の形態５における登録画像管理
テーブルの説明図である。

【図１４】本発明の実施の形態５におけるマーク管理テ
ーブルの説明図である。

【図１５】文書タグ情報管理テーブルの説明図である。

【図１６】マーク画像の抽出結果に関する説明図であ
る。

【図１７】本発明の実施の形態６における登録画像管理
テーブルの説明図である。

【図１８】本発明の実施の形態６におけるマーク管理テ
ーブルの説明図である。

【図１９】文書タグ情報の概念を示す説明図である。

【符号の説明】

１０１画像入力手段１０２文字矩形生成手段１０３領域分割手段１０４タイトル領域抽出手段１０５文字認識手段１０６文書登録手段１０７画像メモリ１０８記憶手段１０８ａ文書画像１０８ｂタイトル領域画像１０８ｃ登録情報管理テーブル１０９指示入力手段１１０表示制御手段１１１ａ，１１１ｂ画像処理手段１１２修正手段１２０１画像入力手段１２０２画像メモリ１２０３画像データ圧縮処理手段１２０４画像２値化処理手段１２０５，１２０５’ マーク抽出手段１２０Ａ算出手段１２０６特徴量算出手段１２０７類似度算出手段１２０８文書タグ情報付与手段１２１０記憶手段１２１１画像記憶領域１２１２，１２１２’ 登録画像管理テーブル１２１３，１２１３’ マーク管理テーブル１２１４標準タグ情報管理テーブル１２１５標準タグ情報蓄積手段

フロントページの続き (72)発明者梅林明人大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5B050 BA10 BA16 DA06 EA01 EA03 EA04 EA07 5B075 ND07 NK31 NK39 NR03 NR12 5L096 BA17 EA35 EA43 FA44 FA59 FA64 GA15 GA34 HA08 JA03 JA11

Claims

【特許請求の範囲】

【請求項１】紙文書を読み取って文書画像を生成する
画像入力手段と、該文書画像を複数の領域に分割する領
域分割手段と、該領域分割手段によって分割された各領
域について文字の平均サイズに相当する領域平均文字サ
イズを算出した後、該領域平均文字サイズに基づいて全
領域の中からタイトル領域を抽出するタイトル領域抽出
手段とを備えた文書画像処理装置において、全領域の文字の平均サイズに相当する全平均文字サイズ
を算出した後、該全平均文字サイズに抽出パラメータを
乗算した抽出判定値と上記領域平均文字サイズとを比較
し、上記抽出判定値より大きい領域平均文字サイズの領
域をタイトル領域として抽出する上記タイトル領域抽出
手段を備えたことを特徴とする文書画像処理装置。
【請求項２】上記領域平均文字サイズと全平均文字サ
イズとを、文字の平均高さに基づいて算出する上記タイ
トル領域抽出手段を備える、請求項１に記載の文書画像
処理装置。
【請求項３】上記領域平均文字サイズと全平均文字サ
イズとを、文字の平均幅に基づいて算出する上記タイト
ル領域抽出手段を備える、請求項１に記載の文書画像処
理装置。
【請求項４】上記領域平均文字サイズと全平均文字サ
イズとを、文字の平均面積に基づいて算出する上記タイ
トル領域抽出手段を備える、請求項１に記載の文書画像
処理装置。
【請求項５】上記タイトル領域抽出手段が、複数段階
の抽出パラメータを用いて複数段階の上記抽出判定値を
算出する請求項１に記載の文書画像処理装置。
【請求項６】上記タイトル領域抽出手段が、複数段階
の抽出パラメータを用いて複数段階の上記抽出判定値を
算出するとともに、抽出した段階を示すレベル属性を対
応付けてタイトル領域を抽出する請求項１に記載の文書
画像処理装置。
【請求項７】上記タイトル領域抽出手段が、領域平均
文字サイズの最大値を全平均文字サイズで除算した値に
基づいて上記複数段階の抽出パラメータを決定する請求
項２または３に記載の文書画像処理装置。
【請求項８】上記タイトル領域抽出手段が、上記全平
均文字サイズおよび領域平均文字サイズを、所定割合よ
り大きい文字および所定割合より小さい文字を除外した
文字より算出するトリム平均を用いる、請求項１に記載
の文書画像処理装置。
【請求項９】抽出された上記タイトル領域の文字列を
修正する修正手段を備える、請求項１に記載の文書画像
処理装置。
【請求項１０】上記文書画像が複数頁の文書画像であ
る、請求項１に記載の文書画像処理装置。
【請求項１１】紙文書を読み取って文書画像を生成す
る画像入力処理と、該文書画像を複数の領域に分割する
分割処理と、各領域について文字の平均サイズに相当す
る領域平均文字サイズを算出する算出処理と、該領域平
均文字サイズに基づいて全領域の中からタイトル領域を
抽出するタイトル抽出処理とを備える文書画像処理装置
の文書タイトル抽出方法において、全領域の文字の平均サイズに相当する全平均文字サイズ
を算出する上記算出処理と、該全平均文字サイズに抽出
パラメータを乗算した抽出判定値と上記領域平均文字サ
イズとを比較する比較処理と、上記抽出判定値より大き
い領域平均文字サイズの領域をタイトル領域として抽出
する上記タイトル抽出処理とを備えることを特徴とす
る、文書画像処理装置の文書タイトル抽出方法。
【請求項１２】上記領域平均文字サイズと全平均文字
サイズとを、文字の平均高さに基づいて算出する上記算
出処理を備える、請求項１１に記載の文書タイトル抽出
方法。
【請求項１３】上記領域平均文字サイズと全平均文字
サイズとを、文字の平均幅に基づいて算出する上記算出
処理を備える、請求項１１に記載の文書タイトル抽出方
法。
【請求項１４】上記領域平均文字サイズと全平均文字
サイズとを、文字の平均面積に基づいて算出する上記算
出処理を備える、請求項１１に記載の文書タグ情報の抽
出方法。
【請求項１５】上記タイトル抽出処理が、複数段階の
抽出パラメータを用いて複数段階の上記抽出判定値を算
出する請求項１４に記載の文書画像処理装置の文書タイ
トル抽出方法。
【請求項１６】複数段階の抽出パラメータを用いて複
数段階の上記抽出判定値を算出するとともに、抽出した
段階を示すレベル属性を対応付けてタイトル領域を抽出
する上記タイトル抽出処理を備える、請求項１４に記載
の文書画像処理装置の文書タイトル抽出方法。
【請求項１７】領域平均文字サイズの最大値を全平均
文字サイズで除算した値に基づいて上記複数段階の抽出
パラメータを決定する上記タイトル抽出処理を備える、
請求項１５または１６に記載の文書画像処理装置の文書
タイトル抽出方法。
【請求項１８】所定割合より大きい文字および所定割
合より小さい文字を除外した文字の平均値を算出するト
リム平均を用いて全平均文字サイズおよび領域平均文字
サイズを算出する上記タイトル抽出処理を備える、請求
項１１に記載の文書画像処理装置の文書タイトル抽出方
法。
【請求項１９】抽出された上記タイトル領域の文字列
を修正する修正処理を備える、請求項１１に記載の文書
画像処理装置の文書タイトル抽出方法。
【請求項２０】上記文書画像が複数頁の文書画像であ
る、請求項１１に記載の文書画像処理装置の文書タイト
ル抽出方法。
【請求項２１】紙文書を読み取って生成した文書画像
を複数の領域に分割するとともに、各領域について文字
の平均サイズに相当する領域平均文字サイズと全領域の
文字の平均サイズに相当する全平均文字サイズとを算出
し、該全平均文字サイズに抽出パラメータを乗算した抽
出判定値と上記領域平均文字サイズとを比較して、上記
抽出判定値より大きい領域平均文字サイズの領域をタイ
トル領域として抽出するプログラムを記録した、記録媒
体。
【請求項２２】紙文書を読み取って文書画像を生成す
る画像入力手段と、該文書画像を記憶する記憶手段とを
備える文書画像処理装置において、標準タグ情報を該標準タグ情報の属性値とともに蓄積し
ておく標準タグ情報蓄積手段と、上記紙文書上にユーザが付した特定のマークを抽出する
マーク抽出手段と、上記特定のマークを構成する画素の分布に基づいて該マ
ークの特徴を表す特徴値を算出する算出手段と、上記属性値と特徴値とに基づき、特定の標準タグ情報を
選択して上記文書画像に付与する文書タグ情報付与手段
とを備えることを特徴とする、文書画像処理装置。
【請求項２３】上記マーク抽出手段が特定の用紙上の
上記特定のマークを抽出する、請求項２２に記載の文書
画像処理装置。
【請求項２４】上記マーク抽出手段が、２次元コード
を付した用紙を上記特定の用紙として判別する、請求項
２３に記載の文書画像処理装置。
【請求項２５】上記マーク抽出手段が上記紙文書の余
白上の上記特定のマークを抽出する、請求項２２に記載
の文書画像処理装置。
【請求項２６】上記紙文書が複数頁からなる、請求項
２２に記載の文書画像処理装置。
【請求項２７】紙文書を読み取って生成した文書画像
の文書タグ情報を付与する文書画像処理装置の文書タグ
情報付与方法において、標準タグ情報を該標準タグ情報の属性値とともに蓄積し
ておく文書タグ情報蓄積処理と、上記紙文書上にユーザが付した特定のマークを抽出する
マーク抽出処理と、上記マークの画素の分布に基づいて該マークの特徴を表
す数値を算出する算出処理と、上記属性値と特徴値とに基づき、特定の標準タグ情報を
選択して上記文書画像に付与する文書タグ情報付与処理
とを備えることを特徴とする、文書画像処理装置の文書
タグ情報付与方法。
【請求項２８】上記紙文書が複数頁からなる、請求項
２７に記載の文書画像処理装置の文書タグ情報付与方
法。
【請求項２９】紙文書を読み取って文書画像を生成す
る際に、該紙文書上にユーザが付したの特定のマークを
抽出し、該マークの画素の分布に基づいた該マークの特
徴を表す数値を算出するとともに、該数値に基づいて文
書タグ情報の候補の中から上記文書画像に付与する文書
タグ情報を選択するプログラムが記録された、記録媒
体。