JP3761923B2

JP3761923B2 - 画像処理装置及び方法

Info

Publication number: JP3761923B2
Application number: JP15149095A
Authority: JP
Inventors: 忠則中塚
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-06-19
Filing date: 1995-06-19
Publication date: 2006-03-29
Anticipated expiration: 2021-03-29
Also published as: JPH096898A

Description

【０００１】
【産業上の利用分野】
本発明は画像処理装置、詳しくは入力した画像データの属性の判定或いは訂正を行ない、下位の処理に渡す画像処理装置及び方法に関するものである。
【０００２】
【従来の技術】
一般に文字認識装置においては、イメージスキャナ等から入力した文書画像中の文字領域を抽出し、その領域毎の属性（縦書きか横書きか等の判定）が誤っているか否か、或いは、操作者が１つ１つの領域に対する属性を指定した後、文字認識処理を行なわせている。
【０００３】
【発明が解決しようとする課題】
しかしながら、各領域毎に属性を一々指定したのでは、多くの領域が存在する場合にはその作業が繁雑になるし、非常に面倒でもある。
【０００４】
【課題を解決するための手段】
本発明はかかる問題点に鑑みなされたものであり、画像中の各領域の属性の指定を簡単な操作でもって設定できる画像処理装置及び方法を提供しようとするものである。
【０００５】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
画像を複数の領域に分割する領域分割手段と、
前記分割された領域毎の属性を判定する属性判定手段と、
前記分割された領域毎に前記判定された属性を示すシンボルを関連づけて、前記画像とシンボルとを表示するように制御する表示手段と、
前記表示されている画像中から、ユーザからの選択指示に応じて複数の領域を選択する選択手段と、
前記選択された複数の領域のいずれかに関連づけられたシンボルに対してユーザから属性変更の指示があった場合、当該属性変更の指示を受けたシンボルに関連づけられた領域の属性を変更するとともに、前記選択手段により選択された複数の領域を前記属性変更された領域の属性と同じ属性に変更する属性変更手段とを有する。
【０００６】
また、本発明の好適な実施態様に従えば、更に、入力した画像中の各領域に毎の枠を表示する枠表示手段と、
各領域毎の属性情報を表示する属性情報表示手段とを備え、
前記指定手段は、所望とする枠を指定し、前記属性指定手段は変更指定する複数の中の１つの属性情報を指定して属性を指定することが望ましい。
【０００７】
これによって、視覚的な枠単位に属性が指定できるようになり、格別な知識を有さなくても操作することが可能になる。
【０００８】
また、この場合においては、更に、前記属性指定手段で属性が指定された場合、前記指定手段で指定された複数の枠内に表示された属性情報を指定された属性に応じて更新する属性情報更新手段を備えるが望ましい。これによって、変更後の属性が確認できるようになる。
【０００９】
また、前記属性情報表示手段で表示される属性情報は、シンボルパターンであるが望ましい。これによって、文字等で属性を表示するのに対して、少ない表示領域でもって属性を操作者に報知することが可能になる。
【００１０】
また、前記指定手段は、全領域を一括して指定することを含むことが望ましい。これによって単一の属性からなる画像を入力した際に、一度に全部の属性を指定できるようになる。
【００１１】
また、前記下位の処理は、文字認識処理であることが望ましい。これによって、正しい認識処理を行なわせる、もしくは効率の良い文字認識を行なわせることが可能になる。
【００１２】
また、前記属性には、文字イメージが縦書き、横書きの種別情報が含まれることが望ましい。これによって文字認識する際の認識の順序が、文字列の読み方向として認識されるようになる。
【００１３】
【実施例】
以下、添付図面に従って本発明にかかる実施例を詳細に説明する。
【００１４】
＜文字認識装置の説明（図１）＞
図１は実施例の文字認識装置の概略構成を示すブロック図である。図１において、１は文字認識装置であり、２は文書画像を読取って入力する入力部で、例えばスキャナ等により構成され、原稿画像データをデジタルデータとして入力している。３は装置１全体を制御する演算処理用の中央処理装置（以下、ＣＰＵという）を示している。４はＲＯＭで、ＣＰＵ３の図３以降のフローチャートで示された制御プログラムや各種データを格納している。５はメモリ（ＲＡＭ）で、ＣＰＵ３のワークエリアとして使用されると共に、入力部２より入力された文書画像データを記憶する領域、前処理部７で切り出された文字パターンの位置、大きさを記憶する領域、更にはイメージの中で認識を行う場所すなわちブロック枠座標情報を格納する場合にも使用する。６は属性変更部で、不図示のポインティングデバイス等による操作によって、ブロックシンボル（詳細は後述する）をクリックする事によってその領域の選択及び属性の変更を行う。７は前処理部で、メモリ５に記憶された文書画像の１文字のパターンを切出す。８は認識部で、前処理部７によって前処理されたパターンから幾何学的特徴を抽出し、あらかじめ認識用辞書９に格納されている標準パターンと照合して文書画像の文字認識を行っている。１０は表示部で、入力された文書画像を表示するイメージ表示部１４、認識結果表示部１５、ブロック枠表示部１６、属性表示部１７からなる。１１はシステムバスで、ＣＰＵ３よりのデータバス、アドレスバスおよび制御信号バス等を含んでいる。１２は外部の出力装置、例えばプリンタ１３等とのインタフェース制御を行うインタフェース部を示している。
【００１５】
上記構成において、入力部２から原稿画像を入力しメモリ５に格納する。そして、格納された画像データとは別個に縮小画像をメモリ５上に生成する。縮小画像は、例えば原画像のｎ×ｎの画素ブロックを１つの縮小画素とするもので、ｎ×ｎの画素ブロック中に１つでも黒画素が存在する場合に縮小画素を黒画素として決定するものである。この処理を行うと、結局、原画像を縦横それぞれ１／ｎ倍にしたことと同じになり、且つ、連接する文字イメージ（文字パターンのドットイメージ）が互いに連結された状態になる。
【００１６】
この連結されたドット分布に外接する矩形を順次定義していき、領域分割していく。尚、領域分割処理で得られた領域の大きさ及びその中に含まれる黒画素の割合等で、処理ブロックの大方の属性（文字か図形か、文字であれば縦書きか或いは横書きか等）は判断できるようになっている。
【００１７】
以下、実施例では、領域分割処理を上記のようにして処理したものとして説明するが、領域分割処理はこれに限らず如何なる処理でも行ってよく、属性判定処理もこれに限るものではない。
【００１８】
＜イメージウインドウの説明（図２）＞
図２は実施例の文字認識装置１に入力された文書画像（メモリ５に格納されている）と領域分割結果及び領域の属性を示すイメージウインドウの一例を示す図である。
【００１９】
図２において、２１は入力部２で読取られた文書画像を示すイメージウインドウである。２２は領域分割の結果である枠（１つの領域のサイズを明示する枠）であり、ここではテキスト部分の段落の位置を示している。２３及び２４は領域の属性を示すブロックシンボルである。ブロックシンボル２３は右側を向いていることで、そのブロック枠内の文章は横書きとして認定されたことを示している。中の数字１は文字認識させる順序を示している。また、ブロックシンボル２４は該当する領域が縦書きであることを示している。
【００２０】
すなわち、図２は、本来、全ての領域が横書きとして認定すべきところ、いくつかのブロック枠内の文章が縦書きであると認定されてしまっている状態を示している。
【００２１】
かかる状況になった場合において、実施例では、誤判定された属性を、一括して訂正或いは指定するものである。
【００２２】
以下、実施例における文字認識処理を図３のフローチャートに基づいて説明する。尚、この処理を実行する制御プログラムはＲＯＭ４に記憶されている。
【００２３】
まずステップＳ３１で、操作者によりセットされた文書画像を入力部２（スキャナ）により読取って入力し、メモリ５に記憶する。
【００２４】
次にステップＳ３２に進み、領域分割を行う。領域分割によってテキストの段落、図、表、罫線などを取り出す。
【００２５】
次にステップＳ３３に進み、領域の属性を判定し、結果をメモリ５に記憶し、属性表示部１７で属性をブロックシンボルという形式で表示する。
【００２６】
次にステップＳ３４に進み、マウスなどを使って領域の属性を修正する。そして、ステップＳ３５に進み、修正された属性に従って、文字認識を行う。最後に、ステップＳ３６に進み、認識結果を表示する。
【００２７】
図４は、図３のステップＳ３４の対応イメージ表示の処理を示すフローチャートである。
【００２８】
まずステップＳ４１で、複数のブロック枠を選択する。実施例では、例えば、図５に示す様に、ポインティングデバイスを操作して、表示画面の上部に表示されたメニューバー中の“編集”のプルダウンメニューを表示させ、“すべてのブロック枠を選択”を指定することで、イメージウインドウ内の全てのブロック枠の属性が編集対象として設定できる。選択されたブロック枠は図６に示す様に４隅に灰色の四角からなる印が付いて選択されていないブロック枠と区別される。ここでは、すべてのブロック枠が選択されている。
【００２９】
次にステップＳ４２で、マウスでひとつのブロックシンボルをポインティングデバイスで指定（クリック）するとその変更に合わせて、選択されているすべての属性を一度に修正する。例えば、図６に示す様に認識順序３，５，６番目のブロック枠は組方向を誤って判定して縦書きになっているとすると、３，５，６番目のいずれかのブロックシンボルがクリックすることでブロックの属性、ここでは組方向を縦書きから横書きに変更する。その際に選択されたすべてのブロックワークの属性を横書きにする。つまり、ここでは６番目のブロック枠のブロックシンボルをクリックする事で、３，５番目の属性も一度に修正できる。他のブロック枠は、元々横書きであるとして認定されているわけであるから、何等変更は行われない。
【００３０】
以上の指定が行われると、ステップＳ４３では、変更されたすべてのブロック枠のブロックシンボルの表示を変更する。その結果が図７である。ここではすべてのブロックシンボルが右側を向いて、横書きである事を示している。
【００３１】
以上の結果、少ない操作でもって複数のブロック枠内の情報の属性を変更もしくは修正することが可能になる。
【００３２】
後は、メニューバー中の“認識”を指定することで、その時に選択されていた（四隅に四角の印がつけられた）ブロック枠のイメージ情報と共に、その属性情報が下位の文字認識処理に渡され、認識処理が行われることになる。文字認識処理は、その時点で選択されているブロック番号の小さいものから順番にブロック枠の内部にある文字イメージを受け、決定された方向（属性）に従って順次文字認識処理を行っていく。
【００３３】
尚、上記説明では、一度に全てのブロック枠内の属性を変更対象にする例を示したが、所望とするブロック枠を順次選択しても良い。例えば、マウス等を使用するのであれは、右ボタンを押下しながら（もしくはキーボードの所定のキーを押しながら）、所望とするブロック枠を左ボタンでクリックすることで、処理対象のブロック枠を追加的に選択する。このようにすることで、所望とするブロック枠のみ（複数のブロック枠）を選択することが可能になる。
【００３４】
また、上記説明では、ブロック枠内の属性として縦書き、横書きの２つの状態についてのみ説明した。すなわち、縦書きとして誤認定されたブロック枠のシンボルを単に指定することで、一義的にそれを横書きに修正した。しかしながら、属性の種別が３以上ある場合には、変更後の属性を一義的に指定することはできない。そこで、属性の候補が３以上ある場合には、変更しようとするブロック枠（複数）を選択した際に、どのような属性するのかを問い合わせるメニューウインドウを表示させ、そのメニューの中の１つもしくは複数を選択し、対応する属性に変更するようにしても良い。
【００３５】
例えば、原稿が文章（文字）、写真、表や図形等が混在している場合を考え、文字領域であると判定された場合のシンボルは上記のように５角形（縦・横向きがある）、写真の場合には円、表や図形の場合に三角形として表示されるとする。このとき、文字であるにもかかわらず、いくつかの領域が写真と認定されている場合にはそのブロック枠のシンボル（この場合には円）を指定したとき、属性として文字、表図形のいずれにするのかのメニューウインドウを表示し、“文字”であることを指定する。
【００３６】
また、特に、文字であるにもかかわらず、写真、及び表や図形と認定されている場合には、残りの属性は“文字”のみであるので、このときには単に変更対象のブロック枠の属性を指定した際に自動的に“文字”としての属性を与えることもできる。
【００３７】
属性としては、上記文字、写真、図形に限定されるものではない。例えば文字の場合には、先に説明したように、横書き、縦書きがあるが、その他としては日本語、英語等の言語の種別も含めることもできる。尚、属性のおおざっぱな判定処理は、如何なる手法を取り入れても良い。
【００３８】
また、認識結果は、テキストデータとして記憶保持することも、編集することも、さらには印刷することも可能になるのは言うまでもない。
【００３９】
以上説明したように本実施例によれば、原稿内に領域が細かく複数存在し、属性の修正が多い場合でも容易に修正ができる、ユーザにとって使い易い文字認識装置を実現することができる。
【００４０】
特に、一度に全てのブロック枠を選択することを可能にすることで、単一の属性を持った原稿（例えば横書きの文章のみの原稿）の場合には、非常に少ない操作でもって、全属性を一括して変更、修正或いは指定することが可能になる。
【００４１】
尚、表（罫線を含む）や図形等の属性を付されたブロック枠内のイメージ、或いは写真等の属性が付されたブロック内のイメージについての下位の処理としては、ファイルとして保存する際の圧縮処理の種別、変倍するときの変倍の種別等に適応できる。
【００４２】
＜第２の実施例＞
第１の実施例では、図４のステップＳ４２においてマウスを用いて属性を変更しているが、キーやメニューなどを使うなど、属性変更できれば何でも良い。以上の説明により第２の実施例においても前述の第１の実施例と同様の作用・効果を得ることができる。
【００４３】
＜第３の実施例＞
第１の実施例では、ブロックの属性を示すブロックシンボルを５角形等であるとして説明したがが、この形や位置、色、大きさ等何でも良い。但し、操作者から見て、それらが互いに区別可能になっていることが望ましい。
【００４４】
以上の説明により第３の実施例においても前述の第１の実施例と同様の作用・効果を得ることができる。
【００４５】
以上説明した様に本実施例によれば、原稿内に領域が細かく複数存在し、属性の修正が多い場合でも容易に修正ができる。このため、文書原稿を読取って認識し修正する際、使い易く文字認識の操作性が向上する効果がある。
【００４６】
また、実施例では、処理対象の原稿画像はイメージスキャナ等から入力するものとして説明したが、イメージを記憶した記憶媒体（例えばフロッピーディスク等）や、回線を介して受信した場合にも適応できるので、上記例によって本願発明が限定されるものではない。
【００４７】
また、更に、実施例では、単独の装置、或いは複数の機器から構成されるシステムに適応しても、装置或いはシステムに外部からプログラムを供給することによっても達成できるのは言うまでもないことでである。従って、本願発明を実現するプログラムを内蔵させた記憶媒体にも容易に適応することが可能になる。
【００４８】
【発明の効果】
以上説明した様に本発明によれば、入力した画像中の各領域の属性の指定を簡単な操作でもって設定できるようになる。
【００４９】
【図面の簡単な説明】
【図１】第１の実施例の文字認識装置の概略構成を示すブロック図である。
【図２】第１の実施例の文字認識装置における表示部及びメニューを示す図である。
【図３】第１の実施例の文字認識装置の処理を示すフローチャートである。
【図４】第１の実施例のステップＳ３４の詳細を示すフローチャートである。
【図５】第１の実施例の文字認識装置における表示部及びメニューを示す図である。
【図６】第１の実施例の文字認識装置における表示部及びメニューを示す図である。
【図７】第１の実施例の文字認識装置における表示部及びメニューを示す図である。
【符号の説明】
１文字認識装置
２入力部
３ＣＰＵ
４ＲＯＭ
５メモリ
６属性変更部
７前処理部
８認識部
９認識用辞書
１０表示部
１１システムバス
１２インタフェース部
１３プリンタ
１４イメージ表示部
１５認識結果表示部
１６ブロック枠表示部
１７属性表示部
２１イメージウインドウ
２２ブロック枠
２３，２４ブロックシンボル

Claims

画像を複数の領域に分割する領域分割手段と、
前記分割された領域毎の属性を判定する属性判定手段と、
前記分割された領域毎に前記判定された属性を示すシンボルを関連づけて、前記画像とシンボルとを表示するように制御する表示手段と、
前記表示されている画像中から、ユーザからの選択指示に応じて複数の領域を選択する選択手段と、
前記選択された複数の領域のいずれかに関連づけられたシンボルに対してユーザから属性変更の指示があった場合、当該属性変更の指示を受けたシンボルに関連づけられた領域の属性を変更するとともに、前記選択手段により選択された複数の領域を前記属性変更された領域の属性と同じ属性に変更する属性変更手段と
を有することを特徴とする画像処理装置。
前記表示手段では、前記分割された領域の範囲を示す枠を表示するように制御し、更に、前記選択手段で領域が選択された際には、前記選択された領域を識別可能なように当該選択された領域の範囲を示す枠の表示形態を変更して表示するように制御することを特徴とする請求項１に記載の画像処理装置。
前記選択手段では、全領域を一括して選択することが可能であることを特徴とする請求項１に記載の画像処理装置。
前記画像の各領域と前記属性変更手段で変更された属性とを文字認識処理に渡すことを特徴とする請求項１に記載の画像処理装置。
前記属性には、文字イメージが縦書きであるか、横書きであるかの種別を示す情報が含まれることを特徴とする請求項１に記載の画像処理装置。
前記属性には、文字であるか図形であるかの種別を示す情報が含まれることを特徴とする請求項１に記載の画像処理装置。
前記属性変更手段では、前記選択手段で選択された複数の領域のいずれかに関連づけられたシンボルに対してユーザから属性変更の指示があった際、属性の選択肢をメニュー表示するように制御してユーザに所望の属性をメニュー選択させ、該メニュー選択された属性に前記属性変更の指示を受けたシンボルに関連づけられた領域の属性を変更するとともに、前記選択手段で選択された複数の領域を前記属性変更された領域の属性と同じ属性に変更することを特徴とする請求項１に記載の画像処理装置。
画像を複数の領域に分割する領域分割ステップと、
前記分割された領域毎の属性を判定する属性判定ステップと、
前記分割された領域毎に前記判定された属性を示すシンボルを関連づけて、前記画像とシンボルとを表示するように制御する表示ステップと、
前記表示されている画像中から、ユーザからの選択指示に応じて複数の領域を選択する選択ステップと、
前記選択された複数の領域のいずれかに関連づけられたシンボルに対してユーザから属性変更の指示があった場合、当該属性変更の指示を受けたシンボルに関連づけられた領域の属性を変更するとともに、前記選択ステップにより選択された複数の領域を前記属性変更された領域の属性と同じ属性に変更する属性変更ステップと
を有することを特徴とする画像処理方法。
前記表示ステップでは、前記分割された領域の範囲を示す枠を表示するように制御し、更に、前記選択ステップで領域が選択された際には、前記選択された領域を識別可能なように当該選択された領域の範囲を示す枠の表示形態を変更して表示するように制御することを特徴とする請求項８に記載の画像処理方法。
前記選択ステップでは、全領域を一括して選択することが可能であることを特徴とする請求項８に記載の画像処理方法。
前記画像の各領域と前記属性変更ステップで変更された属性とを文字認識処理に渡すことを特徴とする請求項８に記載の画像処理方法。
前記属性には、文字イメージが縦書きであるか、横書きであるかの種別を示す情報が含まれることを特徴とする請求項８に記載の画像処理方法。
前記属性には、文字であるか図形であるかの種別を示す情報が含まれることを特徴とする請求項８に記載の画像処理方法。
前記属性変更ステップでは、前記選択ステップで選択された複数の領域のいずれかに関連づけられたシンボルに対してユーザから属性変更の指示があった際、属性の選択肢をメニュー表示するように制御してユーザに所望の属性をメニュー選択させ、該メニュー選択された属性に前記属性変更の指示を受けたシンボルに関連づけられた領域の属性を変更するとともに、前記選択ステップで選択された複数の領域を前記属性変更された領域の属性と同じ属性に変更することを特徴とする請求項８に記載の画像処理方法。