JP2007011683A - 文書管理支援装置 - Google Patents

Abstract

【課題】 手書きによるアノテーションが付加された文書の管理を支援する文書管理支援装置を提供する。
【解決手段】 制御部２１は活字文字と手書文字とが混在する文書を表す画像データを受け取ると、受け取った画像データを記憶部２５に格納する。さらに画像データから文書画像データを生成し、文書画像データにおいて、活字文字が記されている活字領域の画像データと、手書文字が記されている手書領域の画像データとを分離する。次に夫々の領域において文字認識処理を施しテキストデータを生成し、生成したテキストデータと該テキストデータが含まれる画像データの格納場所を表す識別子と、活字領域であるか手書領域であるかを示す識別子とをインデックステーブルに格納する。そして、操作部２４においてキーワードが入力されると、インデックステーブルを検索し、該当する画像データを表示部２３に表示する。
【選択図】 図２

Description

本発明は、手書きによるアノテーションが付加された文書の管理を支援する技術に関する。

電子化した文書について行う全文検索は、予め作成されたインデックステーブルを元に行う。このとき電子化する文書には、手書きで記載されたアノテーションが付加されていることがある。このアノテーションは文章の重要点を示していたり、注意を喚起する内容であったり、重要な事項であることが多い。

特許文献１には、蛍光ペンによって重要部分がマークされた紙文書を蓄積する際、該マーク箇所に文字認識処理を施し、インデックスに登録する技術が開示されている。
特開平５−２３３７０５号公報

しかしながら、特許文献１に開示された技術においては、インデックスとして登録されるのは蛍光ペンでマークされた箇所の文字のみであるため、蛍光ペンでマークされていない箇所の文字についてはインデックスが作成されない。そのため、所望の文字を検索の対象とするには、いちいち蛍光ペンでマークしなければならない。一方、よく行われるアノテーション付加方法は、手書きによって文書の余白に文字を書き込む方法である。しかし、特許文献１に記載の発明においては、アノテーションを付加したとしても、その上にさらにマークをしなければならず面倒であった。

本発明はこのような事情に鑑みてなされたものであり、その目的は、紙文書に含まれる活字文字とアノテーションとして付加された手書文字とを認識し、それぞれの文字についてのインデックスを作成し、作成したインデックスを元に検索を行うことが出来る文書管理支援装置を提供することにある。

上記課題を解決するために、本発明は、文書を走査し、前記文書の内容を表す文書画像データを取得する文書画像データ生成手段と、前記文書画像データ生成手段が生成した前記文書画像データを記憶する記憶手段と、前記文書画像データ生成手段が生成した前記文書画像データから、１又は複数の活字文字が記されている活字領域の画像データと、１又は複数の手書文字が記されている手書領域の画像データとを切り出す領域分離手段と、 前記活字領域の画像データと、前記手書領域の画像データのそれぞれに文字認識処理を施し、認識文字列を出力する文字認識処理手段と、前記記憶手段が記憶した各画像データの格納場所を示す格納場所識別子と、前記文字認識処理手段が出力した認識文字列と、前記認識文字列が手書領域の画像データを表す文字列であるか活字領域の画像データを表す文字列であるかを示す文字識別子とをそれぞれ関連づけて記憶するインデックス情報記憶手段とを具備する文書管理支援装置を提供する。

この文書管理支援装置によれば、文書画像データから活字文字が記載されている活字領域と手書文字が記載されている手書領域とを分離し、それぞれの文字領域について文字認識を行いインデックスを作成するので、紙文書の余白等にメモとして手書きで記載されたアノテーションもインデックス作成対象とすることができる。従って、活字文字及び手書文字についてのインデックステーブルを作成することができる。また、インデックステーブルには、該インデックステーブルに格納された活字文字及び手書文字に関連づけてそれぞれの文字が含まれる文書画像データが格納されているアドレスも格納されるので、インデックステーブルを参照することにより、所定の文字の所在を特定することができる。

本発明の好ましい態様において、前記領域分離手段は、前記文書画像データから、注目領域を特定する手段と、前記注目領域内において隣り合う２つの文字の間の距離を当該２つの文字列の組毎に求め、求めた各距離のばらつきの程度が所定の範囲を超えないときは前記注目領域が活字領域であると判断する一方で、当該ばらつきの程度が所定の範囲を超えるときは前記注目領域が手書き領域であることを判断する手段とを含むようにしてもよい。

一般に、活字文字の隣り合う２つの文字の間隔は一定であるが、手書文字の隣り合う２つの文字の間隔は一定ではない。従って、領域分離手段によって抽出した領域内の文字列の文字の間隔が、所定の値を元に一定であるか否かを判定することにより、該領域が活字及び手書のいずれの文字列で表された画像データであるかを判断することができる。

また、検索キーとして入力された文字列と、前記インデックス情報記憶手段に記憶されている認識文字列とを照合することにより、前記インデックス情報記憶手段を検索する検索手段と、前記検索手段が検索した結果を表示する表示手段とを具備するようにしてもよい。これによれば、検索キーとなる文字列を元にインデックステーブルを検索し、検索結果を表示することができる。

さらに、前記検索キーとなる文字列を前記手書領域及び前記活字領域のいずれの領域から検索するかを指定する指定手段を具備し、前記検索手段は、前記指定手段によって指定された領域について、前記検索を行うようにしてもよい。

以下、本発明の実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る文書管理支援装置の１実施形態である文書管理支援システム１の構成例を示すブロック図である。図１の画像読取装置１０は、例えばＡＤＦ（Auto Document Feeder）などの自動給紙機構を備えたスキャナ装置であり、ＡＤＦにセットされた紙文書を１ページずつ光学的に読み取り、読み取った画像に対応する画像データを通信線１２を介して文書管理支援装置２０に転送するものである。通信線１２はＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットなどを用いることができるが、本実施形態においては、通信線１２としてＬＡＮを用いている。

図２は、文書管理支援装置２０のハードウェア構成を示すブロック図である。
制御部２１は、例えばＣＰＵ（Central Processing Unit）であり、各種ソフトウェアを実行することによって、文書管理支援装置２０の各部を制御する。通信インタフェス（以下「ＩＦ」と称す）部２２は通信線１２を介して画像読取装置１０に接続されており、この通信線１２を介して画像読取装置１０から送信される画像データを受け取り、制御部２１に転送する。

表示部２３は、例えば液晶ディスプレイとその駆動回路であり、制御部２１から転送されたデータに応じた画像を表示する。操作部２４は、例えば、複数の操作子（図示省略）を備えたキーボードおよびマウス等であり、それら操作子の操作内容に応じたデータ（以下、操作内容データ）を制御部２１へ出力する。

記憶部２５は、揮発性記憶部２５ａ、不揮発性記憶部２５ｂを含んでいる。揮発性記憶部２５ａは、例えばＲＡＭ（Random Access Memory）であり、制御部２１のワークエリアとして利用される。不揮発性記憶部２５ｂは、例えばハードディスクであり、解析処理プログラムＰ１等のプログラム及びインデックステーブルＴ１が格納されている。

以下、制御部２１が図３（ａ）乃至（ｃ）に示した文書３０乃至３２に対して、画像データの解析処理を行う動作について説明する。
文書管理支援装置２０の電源（図示略）が投入されると、制御部２１は、不揮発性記憶部２５ｂから解析処理プログラムＰ１を読み出し、図４に示すフローチャートの動作を実行する。
まず、ユーザが画像読取装置１０のＡＤＦに文書３０乃至３２をセットし、所定の操作を行うと、文書３０乃至３２を表す画像が画像読取装置１０によって順次読み取られ、その文書に対応する画像データが通信線１２を介して画像読取装置１０から文書管理支援装置２０へ順次送られる。

制御部２１は、画像読取装置１０から送られた画像データを通信ＩＦ部２２を介して受け取ると（ステップＳＡ１０）、受け取った画像データを記憶部２５に格納する（ステップＳＡ１２）。さらに、制御部２１は文書３０乃至３２の画像データから文書画像データをそれぞれ生成する（ステップＳＡ１４）。次に、制御部２１は、文書画像データから、活字文字が記されている活字領域の画像データ、及び手書文字が記されている手書領域の画像データをそれぞれ切り出す（ステップＳＡ１６）。

活字領域及び手書領域の切出しは以下のように行なわれる。まず、文書画像データによって表される各画素を横方向に走査し、隣り合う２つの文字の間の距離、即ち、連続する白画素の並びの幅が、所定値Ｘよりも小さかったとき、それらの連続する白画素を黒画素に置き換える。この所定値Ｘは、隣りにある文字との距離として想定される値と概ね一致させる。同様に、各画素を縦方向にも走査し、連続する白画素の並びの幅が所定値Ｙよりも小さかったとき、それらの連続する白画素を黒画素に置き換える。この所定値Ｙは、文字行の間隔として想定される値と概ね一致させる。この結果、黒画素で塗り潰された領域が形成される。図５は、文書３０の画像に上述の置き換え処理を施した状態を示すものである。この図では、黒画素で塗り潰された領域Ｌ１乃至Ｌ６が形成されている。なお、文書３１及び３２の画像についても同様の動作を行うため、以下の動作説明は、文書３０の画像を対象として行う。

黒画素で塗り潰された領域が形成されると、今度は、各領域が活字領域か手書領域かの判定に移る。この判定では、まず処理対象となる注目領域を特定し、特定された領域内において置き換えられていた黒画素を白画素に戻し、元の描画内容を復元する。そして、その領域内の画素を横方向に走査し、連続する白画素のピッチのばらつきの程度が所定値よりも小さいか否か判定する。一般に、活字文字が記された領域であれば隣り合う２つの文字の間隔は概ね一定となるため、連続する白画素のピッチのばらつきの程度が所定値よりも小さくなる。一方で、手書文字が記された領域であれば隣り合う文字２つの間隔は一定とならないため、連続する白画素のピッチのばらつきの程度が所定値よりも大きくなる。図５に示したＬ１乃至Ｌ６の領域についての判定の例では、Ｌ１乃至Ｌ５の領域は活字領域であるとの判定結果が下され、Ｌ６の領域は手書領域であるとの判定結果が下される。

そして、それぞれの領域についてＯＣＲ処理を施し文字認識処理を行い、活字領域から活字文字テキストデータ、手書領域から手書文字テキストデータをそれぞれ生成する（ステップＳＡ１８）。続いて、生成したテキストデータについて形態素解析を施し、それぞれのテキストデータから名詞に該当するテキストデータを抽出し（ステップＳＡ２０）、インデックステーブルＴ１に格納する（ステップＳＡ２２）。

ここでインデックステーブルＴ１について図６を用いて説明する。インデックステーブルＴ１は図６に示すように、「文字列」、「画像データアドレス」及び「フラグ」フィールドによって構成されている。文字列フィールドには、ステップＳＡ２０によって抽出された名詞が格納される。画像データアドレスフィールドには、文書３０の画像データの格納場所、つまり不揮発性記憶部２５ｂにおける該画像データの格納場所を示す識別子が、画像データアドレスとして格納される。フラグフィールドには、該抽出されたテキストデータが活字文字テキストデータであるか手書文字テキストデータであるかを識別する識別子が格納される。本実施形態においてフラグフィールドには、活字文字テキストデータであれば「１」、手書文字テキストデータであれば「０」をそれぞれ格納する。

以上の結果「あいうえお」、「かきくけこ」等のテキストデータが文字列フィールドに格納される。また、これらのテキストデータに関連づけて、文書３０の画像データの画像データアドレス「０１」が、画像データアドレスフィールドに格納される。
さらに「あいうえお」、「かきくけこ」のテキストデータが含まれる領域は前述のステップＳＡ１６において活字領域（Ｌ１）であると判定されているので、活字テキストデータであることを示す「１」がそれぞれのテキストデータに関連づけてフラグフィールドに格納される。テキストデータ「いろは」についても同じように、テキストデータである「いろは」と、文書３０の画像の格納場所を示す識別子「０１」とが関連づけて格納される。該テキストデータは領域Ｌ６に含まれ、領域Ｌ６は前述のステップＳＡ１６において手書領域であると判定されているので、フラグフィールドには該テキストデータと関連づけて「０」が格納される。

次に、制御部２１がキーワードを元にインデックステーブルＴ１を検索する検索動作について説明する。
図７は検索動作を示すフローチャートである。
まず、制御部２１は、変数として、該当活字文字列数ｘ、該当手書文字列数ｙ及び該当画像データ数ｚを設定し、それぞれの変数に初期値を入力する（ステップＳＢ１０）。

続いて、図８に示したキーワード入力画面４０を表示部２３に表示し、ユーザにキーワードを入力させる（ステップＳＢ１２）。図８に示したように、キーワード入力画面４０は入力ボックス４１及び「決定」ボタンＢＴ１により構成されている。このキーワード入力画面４０を視認したユーザは、操作部２４を操作し、決定ボタンＢＴ１を押下することによって、キーワードを指定することができる。このとき、ユーザによって入力された文字列は「あいうえお」であったとする。操作部２４は「あいうえお」を表す文字データを制御部２１に供給する。

制御部２１は、文字データを受け取ると、文字データの内容、すなわち「あいうえお」を元にインデックステーブルＴ１の文字列フィールドを検索する（ステップＳＢ１４）。このとき、インデックステーブルＴ１の文字列フィールドに、文字データ「あいうえお」と同一のテキストデータが格納されているレコードは３つある。
制御部２１は、これらのレコード群を順次揮発性記憶部２５ｂに読み出す（ステップＳＢ１６）。図９は読み出したレコード群の一例である。

続いて、制御部２１は、抽出したレコード群のフラグフィールドにおいて「１」が格納されているレコードの数を該当活字文字列数ｘに、「０」が格納されているレコードの数を該当手書文字列数ｙに代入する（ステップＳＢ１８）。すなわち、抽出したレコード群のフラグフィールドにおいて「１」が格納されているレコード数は２つ、「０」が格納されているレコード数は１つであるので、制御部２１は該当活字文字列数ｘ＝２、該当手書文字列数ｙ＝１とする。

次に制御部２１は、抽出したレコード群のアドレスフィールドにおいて、異なるアドレスがいくつ記憶されているかを検出し、検出した個数を該当画像データ数ｚに代入する（ステップＳＢ２０）。このとき、異なるアドレスは、「０１」、「０３」の２個である。従って、制御部２１は、ｚ＝２とする。

続いて、制御部２１は、抽出したレコード群のアドレスフィールドのうち、アドレスの若い順に画像データを読み出す（ステップＳＢ２２）。すなわち、一番若いアドレスは、「０１」であるため、制御部２１は、まず、アドレス０１に格納されている画像データを読み出す。このとき、アドレス０１に格納されている画像データは文書３０の画像データであるので、制御部２１によって、この文書３０の画像データが読み出されることになる。

そして、制御部２１は、文書３０の画像データ、前述の該当活字文字列数ｘ、該当手書文字列数ｙ及び該当画像データ数ｚから生成した検索結果画面４０を表示部２３に表示する（ステップＳＢ２４）。
図１０は検索結果画面４０を示した図である。図に示したように、検索結果画面４０は表示領域４２、検索結果欄及び「次画像表示」ボタンＢＴ２によって構成されている。表示領域４２には、文書３０を表す画像が表示されている。また、検索結果欄には該当活字文字列数ｘ、該当手書文字列数ｙ及び該当画像データ数ｚがそれぞれ表示されている。

検索結果画面４０を視認したユーザにより、次画像表示ボタンＢＴ２が押下されると、制御部２１は、ステップＳＢ１６において抽出したレコード群のアドレスフィールドにおいて、２番目に若いアドレスに格納されている画像データを読み出し、読み出した画像データの画像を領域４２に表示する。このとき、２番目に若いアドレスに格納されている画像は文書３２の画像であるため、領域４２には文書３２の画像が表示される。このように制御部２１は該当する画像を領域４２に順次表示する。

以上説明したように、本実施形態においては、文書に手書で記載されたアノテーションについても文字認識を行い、インデックステーブルを作成するので、文書に記載されている活字文字のみならず、手書文字に対しても検索を行うことができる。従って、手書文字に重要な情報が含まれている場合や、他者に伝えたいコメントが含まれている場合等、それらの情報も検索結果としてユーザに提示することができる。

[変形例]
本発明は上述した実施形態以外に種々の形態で実施可能である。
（１）手書文字は人によって癖があるため、本来とは違う文字に認識する虞がある。従って、誤認識が起こりやすい文字、例えば「ツ」と「シ」や、「ソ」と「ン」等の文字について、それらを関連づけた類似文字辞書テーブルを不揮発性記憶部２５ｂに記憶させておき、インデックステーブルＴ１にテキストデータを格納する際、類似文字辞書テーブルを元に作成したテキストデータも格納するようにしても良い。具体的には、ステップＳＡ１８（図４参照）における文字認識の結果、「ペーヅ」という文字列を取得した際、ステップＳＡ２２において、「ペーヅ」の文字列を示すテキストデータをインデックステーブルＴ１に格納すると共に、類似文字辞書テーブルを元に変換した「ページ」の文字列を示すテキストデータをインデックステーブルＴ１に格納する。このときのインデックステーブルＴ１を図１１に例示する。このようにすることで、人の手書文字の癖によって、本来とは違う文字列を示すテキストデータがインデックステーブルＴ１に格納されていても、類似文字辞書テーブルによって変換されたテキストデータもインデックステーブルＴ１に格納されるため、検索動作において、本来は抽出されるべき画像データが、手書文字の癖の影響で抽出されないということを防ぐことができる。

（２）また、同義語を関連づけたテーブル（同義語テーブル）を不揮発性記憶部２５ｂに格納しておき、この同義語テーブルを元に拡張したキーワードでインデックステーブルＴ１を検索するようにしても良い。例えば、同義語テーブルに「白黒」と「モノクロ」とが同義語として格納されており、前述のキーワード入力画面４０（図８参照）において、ユーザが入力したキーワードが「白黒」であった場合、制御部２１は「白黒」及び「モノクロ」を表すキーワードを元にインデックステーブルＴ１を検索するようにする。このようにすることで、拡張した条件で画像データを検索することができる。

（３）また、本実施形態においては、制御部２１が検索動作を行う際、文字列データのみを用いて検索する場合について示したが、文字列データに加え、活字文字テキストデータ又は手書文字テキストデータのいずれから検索するかという指定を元に検索するようにしてもよい。この場合の一例として、制御部２１は、前述のステップＳＢ１２において、図１２に示したキーワード入力画面５０を表示する。図に示したように、キーワード入力画面５０はキーワード入力画面４０（図８参照）に、活字文字チェックボックス５１及び手書文字チェックボックス５２によって構成されたチェックボックスが付加されている。制御部２１はこれらのチェックボックスの内容に応じて検索する。例えば、ユーザによってキーワード入力画面５０の入力ボックス４１に入力された文字列が「あいうえお」であり、活字文字チェックボックス５１がチェックされた場合、制御部２１は、文字列フィールドに「あいうえお」のテキストデータが、フラグフィールドに「１」が格納されているレコードを検索する。
このようにすることで、ユーザの検索目的により合致した条件で検索をすることができる。

（４）また、本実施形態においては、活字文字と手書文字を同一のテーブル（インデックステーブルＴ１）内に格納する場合を示したが、それぞれを別のテーブルに格納するようにしてもよい。

（５）また、本実施形態においては、画像読取装置１０と文書管理支援装置２０とをそれぞれ個別のハードウェアとして構成する場合を示したが、両者を一体のハードウェアで構成するようにしてもよい。このとき、通信線１２は、係るハードウェア内で画像読取装置１０と文書管理支援装置２０とを接続する内部バスとなる。

本発明の実施形態に係るシステムの全体構成を示すブロック図である。 同実施形態に係る文書管理支援装置のハードウェア構成を示すブロック図である。 同実施形態に係る文書の構成のフォーマットを示した図である。 同実施形態に係る制御部が行う動作を示したフローチャートを示した図である。 同実施形態に係る文書に黒画素への置き換えを行った状態を示した図である。 同実施形態に係るインデックステーブルのフォーマットを示した図である。 同実施形態に係る制御部が行う動作を示したフローチャートを示した図である。 同実施形態に係るキーワード入力画面を示した図である。 同実施形態に係る制御部が読み出したレコード群を示した図である。 同実施形態に係る検索結果画面を示した図である。 本発明の変形例に係るインデックステーブルのフォーマットを示した図である。 本発明の変形例に係るキーワード入力画面を示した図である。

符号の説明

１・・・文書管理支援システム、１０・・・画像読取装置、１２・・・通信線、、２０・・・文書管理支援装置、２１・・・制御部、２２・・・通信ＩＦ部、２３・・・表示部、２４・・・操作部、２５・・・記憶部、２５ａ・・・揮発性記憶部、２５ｂ・・・不揮発性記憶部、２６・・・バス

Claims (4)

1. 文書を走査し、前記文書の内容を表す文書画像データを取得する文書画像データ生成手段と、
   前記文書画像データ生成手段が生成した前記文書画像データを記憶する記憶手段と、
   前記文書画像データ生成手段が生成した前記文書画像データから、１又は複数の活字文字が記されている活字領域の画像データと、１又は複数の手書文字が記されている手書領域の画像データとを切り出す領域分離手段と、
   前記活字領域の画像データと、前記手書領域の画像データとのそれぞれに文字認識処理を施し、認識文字列を出力する文字認識処理手段と、
   前記記憶手段が記憶した各画像データの格納場所を示す格納場所識別子と、前記文字認識処理手段が出力した認識文字列と、前記認識文字列が手書領域の画像データを表す文字列であるか活字領域の画像データを表す文字列であるかを示す文字識別子とをそれぞれ関連づけて記憶するインデックス情報記憶手段と
   を具備することを特徴とする文書管理支援装置。
2. 前記領域分離手段は、前記文書画像データから、注目領域を特定する手段と、
   前記注目領域内において隣り合う２つの文字の間の距離を当該２つの文字列の組毎に求め、求めた各距離のばらつきの程度が所定の範囲を超えないときは前記注目領域が活字領域であると判断する一方で、当該ばらつきの程度が所定の範囲を超えるときは前記注目領域が手書き領域であることを判断する手段と
   を含むことを特徴とする請求項１記載の文書管理支援装置。
3. 検索キーとして入力された文字列と、前記インデックス情報記憶手段に記憶されている認識文字列とを照合することにより、インデックス情報を検索する検索手段と、
   前記検索手段が検索した結果を表示する表示手段と
   を具備することを特徴とする請求項１又は２記載の文書管理支援装置。
4. 前記検索キーとなる文字列を前記手書領域及び前記活字領域のいずれの領域から検索するかを指定する指定手段を具備し、
   前記検索手段は、前記指定手段によって指定された領域について、前記検索を行うことを特徴とする請求項３記載の文書管理支援装置。

Images