JP4177325B2 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本発明は、例えば文字等の幾何情報を含む文書画像を加工して表示する画像処理装置、画像処理プログラム及び画像処理方法に関する。

スキャナ、デジタルカメラなどの画像入力装置、さらにコンピュータディスプレイ、携帯端末モニタ、電子ブックビューワなどの画像表示装置の多様化が進んでいる。
スキャナなどの入力装置から入力される文書画像に含まれる文字のサイズは、同一の文章を入力しても入力解像度によって変化する。またデジタルカメラや携帯端末内蔵カメラなどの光学式デジタル撮像機では、解像度やカメラと撮影対象間の距離が固定されておらず、多くは被写体が撮像領域一杯に撮影される。

このため、上記光学式デジタル撮像機で文書画像を撮影した場合、画像ごとに文字のサイズが異なったり、マーカーの位置関係が異なるものとなっていた。

上記光学式デジタル撮像機で撮像されたさまざまな解像度の文書画像を、コンピュータや内部プロセッサなどの画像処理装置へ入力し、さまざまな解像度のまま文書画像を混在させて扱う場合、文字の大きさが統一されていないために画面に実際に表示される文字の可読性や視覚性が悪く、可読性や視覚性をよくするためには手動での修正が必要であり、そのための手間がかかるといった問題がある。

例えば手動操作で文字の大きさを統一する場合、画像処理装置では、元の画像サイズの等倍に対する比率、あるいは解像度の指定などのように、文書画像中の文字サイズとは関係のない指標で、画像の拡大・縮小の指定が行う必要があり、縮尺指定を表示対象のすべての画像に対して行う必要があった。

一般に、スキャナなどによって読み取られた文書画像は、比較的高解像度で画像処理装置に入力・保存されるが、その文字画像を例えばＰＤＡ、携帯電話機等の画面サイズが小さい携帯端末で表示する場合、文字の大きさが大きすぎて多くの情報を一度に表示することができないなどの問題があった。また文書内容の確認ができさえすれば良い程度の文書画像に対しても必要以上に高解像度、高ファイルサイズで画像が保存されることがあった。

この種の先行技術として、ユーザが予め文字サイズを指定しておき、文書画像を見るときに、指定されていた文字サイズで画像を加工して表示する技術が提案されている（例えば特許文献１参照）。
米国特許第５７５４８７３号明細書

上記先行技術の場合、ユーザが予め手操作で文字の表示サイズを指定する必要があるため、予め設定しておいた一定のサイズでしか文字を表示できず、言語（日本語、英語等）、文字種（フォントの種類等）によっては見難く表示される場合がある。

本発明はこのような課題を解決するためになされたものであり、ユーザが画像毎の手動操作による表示サイズ指定等を行うことなく、異なる解像度で得られた文字画像を、文字を読むのに適切な大きさで閲覧することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的としている。

本発明の画像処理装置は、所定表示領域を有する画面を備えた表示手段と、前記表示領域よりも大きなサイズの名刺画像、この名刺画像の構成要素の配置を示す画像配置設定情報および名前辞書を記憶する記憶手段と、前記記憶手段から読み出した名刺画像と画像配置設定情報から、前記名刺画像に含まれる構成要素のレイアウト解析を行うことで前記名刺画像に含まれる文字列の配置情報を得るレイアウト解析手段と、前記レイアウト解析手段により得られた文字列の配置情報及び前記名前辞書から得られる情報を用いて前記名刺画像の中の名前の位置を決定し、位置が決定した名前の始まりを前記表示領域の左端に配置するように前記名刺画像を前記表示手段に出力する画像配置決定手段とを具備したことを特徴とする。

本発明の画像処理プログラムは、所定表示領域を有する画面を備えた表示手段と、前記表示領域よりも大きなサイズの名刺画像、名刺表示用の画像配置設定情報および名前辞書を記憶する記憶手段とを備えた画像処理装置に処理を実行させる画像処理プログラムであって、前記画像処理装置を、前記記憶手段から読み出した名刺画像とこの名刺画像の構成要素の配置を示す画像配置設定情報から、前記名刺画像に含まれる構成要素のレイアウト解析を行うことで前記名刺画像に含まれる文字列の配置情報を得るレイアウト解析手段と、前記レイアウト解析手段により得られた文字列の配置情報及び前記名前辞書から得られる情報を用いて前記名刺画像の中の名前の位置を決定し、位置が決定した名前の始まりを前記表示領域の左端に配置するように前記名刺画像を前記表示手段に出力する画像配置決定手段として機能させることを特徴とする。

本発明の画像処理方法は、所定表示領域を有する画面を備えた表示手段と、前記表示領域よりも大きなサイズの名刺画像、この名刺画像の構成要素の配置を示す画像配置設定情報および名前辞書を記憶する記憶手段と、レイアウト解析手段と、画像配置決定手段とを備えた画像処理装置における画像処理方法において、前記レイアウト解析手段が、前記記憶手段から読み出した名刺画像とこの名刺画像の構成要素の配置を示す画像配置設定情報から、前記名刺画像に含まれる構成要素を抽出し、抽出した構成要素のレイアウト解析を行うことで前記名刺画像に含まれる文字列の配置情報を得るステップと、前記画像配置決定手段が、前記文字列の配置情報及び前記名前辞書から得られる情報を用いて、前記名刺画像の中の名前の位置を決定し、位置が決定した名前の始まりを前記表示領域の左端に配置するように前記名刺画像を前記表示手段に出力するステップとを有することを特徴とする。

本発明では、記憶手段から読み出した名刺画像とこの名刺画像の構成要素の配置を示す画像配置設定情報から、前記名刺画像に含まれる構成要素を抽出し、抽出した構成要素のレイアウト解析を行うことで前記名刺画像に含まれる文字列の配置情報を得て、文字列の配置情報及び名前辞書から得られる情報を用いて、名刺画像の中の名前の位置を決定し、その位置が決定した名前の始まりを表示領域の左端に配置するように名刺画像を表示手段に出力するので、画面にはユーザにとって必要な文字が見やすい位置に表示される。

以上説明したように本発明によれば、ユーザが画像毎の手動操作による表示サイズ指定等を行うことなく、異なる解像度で得られた文字画像を、文字を読むのに適切な大きさで閲覧することができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は本発明に係る第１実施形態の画像処理装置の構成を示すブロック図、図２は図１の画像処理装置に記憶されている言語・文字種/文字サイズ対応テーブルを示す図である。

図１に示すように、この実施形態の画像処理装置は、画像入力部１１、記憶部１２、レイアウト解析部１３、幾何情報推定部１４、言語・文字種推定部１５、画像処理部１６、画像表示部１７、画像出力部１８、操作入力部１９等を有している。

画像入力部１１は、文書画像をデジタルデータとして入力する画像入力手段である。画像入力部１１としては、例えばスキャナ、デジタル複合機、デジタルカメラ、携帯端末内蔵カメラなどのような画像入力装置が用いられる。

記憶部１２は、画像入力部１１より入力された文書画像が保存（一次記憶も含む）および読み出される画像記憶手段である。画像記録部１２としては、例えば磁気ディスク装置、光学ディスク装置、各種メモリ、ネットワーク上のストレージ、サーバなどが用いられる。

記憶部１２には、図２に示すように、変換対象の画像に含まれる文字の言語、文字種毎に適正な変換文字サイズを対応させた言語・文字種/文字サイズ対応テーブル２０が記憶されている。

レイアウト解析部１３は、記憶部１２に記憶されている文書画像を読み出して文書画像の構成要素を抽出する画像構成要素抽出手段として機能する。またレイアウト解析部１３は、抽出した文書画像の構成要素のレイアウトを解析することで構成要素が文書画像の中にどのように配置されているかのレイアウト情報（外矩や列等）を得るレイアウト解析部である。
幾何情報推定部１４は、上記レイアウト解析部１３により抽出されたレイアウト情報を用いて文書の構成要素（文字、記号、マーク、マーカー、印鑑の印影等）の幾何情報（例えば文字の場合は幅、高さ、サイズ等）を推定する幾何情報推定手段である。

言語・文字種推定部１５は、記憶部１２に記憶されている言語・文字種/文字サイズ対応テーブル２０を参照して文書内で用いられている言語や文字種を推定する言語・文字種推定手段である。

画像処理部１６は、言語・文字種推定部１５により推定された言語や文字種と幾何情報推定部１４により推定された幾何情報等を用いて記憶部１２より読み出した画像の加工処理を行うことで、ある表示領域の画面に表示する画像を生成し画像表示部１７へ出力する。画像の加工処理とは、例えば文書画像の文字を表示画面で見易い大きさにするための画像の縮小処理または拡大処理等である。
すなわち、画像処理部１６と言語・文字種推定部１５は、幾何情報推定部１４により推定された文字のサイズを基に言語・文字種/文字サイズ対応テーブル２０を参照して文書画像に含まれる文字のサイズが変換文字サイズとなるよう記憶部１２より読み出した画像を縮小または拡大して画像表示部１７へ出力する画像処理手段として機能する。

画像表示部１７は、所定の表示領域の画面を備えたＬＣＤ、有機ＥＬ表示装置、ＳＥＤＦＥＤ等であり、画像処理部１６により生成された画像を画面に表示する表示手段である。画像出力部１８は画像処理部１６により生成された画像を例えばイメージファイルなどファイル形式にして記憶部１２等へ記憶したり、外部のプリンタへ出力する画像出力手段である。操作入力部１９は利用者からの指示操作を受け付ける入力受付手段である。

図３〜図７を参照してこの画像処理装置の動作を説明する。図３はこの画像処理装置の動作を示すフローチャート、図４，５は２つの文書画像が共に日本語の場合、図６，７は２つの文書画像が日本語とアルファベットの場合の画像の例を示す図である。

この画像処理装置では、画像入力部１１が帳票より読み取った文書画像が記憶部１２に記憶される（図３のステップ１１：以下ステップをＳと称す）。

レイアウト解析部１３は、処理対象となる文書画像であるイメージデータを記憶部１２より読み出してレイアウト解析を実行することで（Ｓ１２）、イメージデータに含まれる構成要素が画像の中にどのように配置されているかを示すレイアウト情報を抽出する。

ここでのレイアウト解析では、文書中の文字外矩や文字列などのレイアウト情報が抽出される。文字外矩は、画像中の連結黒画素成分を検出することにより抽出される。また、文字列は、近傍文字の統合処理を行うことにより抽出される。

続いて、幾何情報推定部１４は、レイアウト解析部１３により抽出されたレイアウト情報を基に構成要素の幾何情報を推定する（Ｓ１３）。
この例における幾何情報とは文書に含まれる文字のサイズ（大きさ）等である。文書の文字サイズは、例えば文書中の文字列の文字サイズの平均をとるなどの方法で推定できる。この他、最小の文字行の文字サイズ、文書の本文部の平均文字サイズ、あるいは最頻文字サイズを文書の文字サイズ推定値として用いるなどの方法を用いても良い。また文字サイズは幅と高さそれぞれを推定しても良く、いずれか一方で代表させても良い。

言語・文字種推定部１５は、幾何情報推定部１４により推定された幾何情報を基にして文書内で用いられている言語や文字種を推定する（Ｓ１４）。言語や文字種の推定は、例えば文字認識機能（以下ＯＣＲ機能と称す）を用いることで実現している。ＯＣＲ機能は、文書画像内の文字画像（イメージデータ）を予め設定されている文字認識用の辞書のイメージデータとマッチングさせて文字コード（テキストデータ）へ変換する機能であり、例えば日本語に対応したＯＣＲソフトウェアであれば、文書中の日本語やアルファベット・数字などの読み取りが可能である。文字認識用の辞書には、文字のイメージデータと文字コード（テキストデータ）が対で記憶されている。文字種によって文字コードの範囲は異なる（文字コード何番から何番まではアルファベット、何番から何番までは、かな、何番から何番までは漢字というように決められている）ため、ＯＣＲ機能による文字認識結果を解析することで、文書内で用いられている文字の言語や文字種を推定することができる。

続いて、画像処理部１６は、言語・文字種推定部１５により推定された言語や文字種の推定結果を基に、言語・文字種／文字サイズ対応テーブル２０を参照して該当画像の拡大率または縮小率を決定する（Ｓ１５）。

例えば入力画像の幅をＷ、高さをＨ、推定された文字サイズの幅をＥｗ, 高さをＥｈとし、変換後の文字サイズの幅と高さがそれぞれＴw，Ｔhと予め記憶部１２に設定されているものとする。

この場合、画像処理部１６は、画像の拡大縮小率を、幅方向にＴw／Ｅw、高さ方向にＴh／Ｅhとし、変換元の画像を、幅Ｔw×Ｗ／Ｅw、高さＴh×Ｈ／Ｅhの画像に変換することで、表示画像を作成する（Ｓ１６）。

ここで、図４〜図７の画像の例を用いてこの画像処理装置の動作を具体的に説明する。図４の例は、横１２８０ピクセル×縦１０２４ピクセル（ＳＸＧＡ）サイズの変換元の文書の画像Ａと画像Ｂであり、これら画像Ａ，Ｂにはサイズの異なる日本語の文字が含まれている。画像Ａの文字サイズは、８０×８０ピクセルと推定され、画像Ｂの文字サイズは、１６０×１６０ピクセルと推定されたものとする。

また、出力画像の文字サイズ（ターゲット文字サイズ）は、上記言語・文字種/文字サイズ対応テーブル２０に、日本語、漢字・かなの場合、２０ピクセル（縦２０ピクセル×横２０ピクセル）と設定されている。
この場合、画像処理部１６は、画像Ａの縮小率または拡大率を、幅方向にＴw／Ｅw＝２０／８０＝１／４、高さも同様で１／４と決定し、画像Ｂの場合はＴw／Ｅw＝２０／１６０＝１／８、高さも同様で１／８と決定する。

画像処理部１６は、このように決定した倍率（縮小率）に基づいて文書画像を縮小処理（画像加工）する。
これにより、図５に示すように、画像Ａは３２０×２５６ピクセルの大きさの画像Ａ１に変換され、画像Ｂは１６０×１２８ピクセルの大きさの画像Ｂ１に変換され、それぞれの画像処理結果の２つの画像Ａ１，Ｂ１中の文字サイズはほぼ同一となる。
画像表示部１７は、画像処理部１６により画像処理（倍率変換）された画像を表示し、画像出力部１８は、各種画像や文書ファイルフォーマット書類としてファイル出力する（Ｓ１７）。
また、図６に示す例は、横１２８０ピクセル×縦１０２４ピクセル（ＳＸＧＡ）サイズの変換元の文書の画像Ａと画像Ｂであり、画像Ａには日本語の文字が含まれており、画像Ｂにはアルファベット（英語の文字）が含まれている。画像Ａ，Ｂに含まれる文字のサイズは共に８０×８０ピクセルと推定されたものである。

出力画像の文字サイズ（ターゲット文字サイズ）は、上記言語・文字種/文字サイズ対応テーブル２０に、言語毎に最適な変換文字サイズが設定されている。
例えば文字が日本語、漢字・かなの場合、２０ピクセル（縦２０ピクセル×横２０ピクセル）と設定されており、英語、アルファベットの場合、１６ピクセル（縦１６ピクセル×横１６ピクセル）等と設定されている。
この場合、画像処理部１６は、画像Ａの縮小率または拡大率を、幅方向にＴw／Ｅw＝２０／８０＝１／４、高さも同様で１／４と決定し、画像Ｂの場合はＴw／Ｅw＝１６／８０＝１／５、高さも同様で１／５と決定する。

画像処理部１６は、このように決定した倍率（縮小率）に基づいて文書画像を縮小処理（画像加工）する。
これにより、図７に示すように、画像Ａは３２０×２５６ピクセルの大きさの画像Ａ１に変換され、画像Ｂは２５６×２０５ピクセルの大きさの画像Ｂ１に変換され、それぞれの画像処理結果の２つの画像Ａ１，Ｂ１中の文字サイズは、見た目に読み易い違和感のない大きさとなる。

この例では、例えば比較的文字サイズが小さくても読めるアルファベットなどからなる英語文書に対しては文字サイズＴを小さくし、画数の多い漢字などを含む日本語の文書に対しては文字サイズＴを大きく設定することで、文書の読みやすさ、ファイルサイズ、ディスプレイに表示できる情報量などのバランスを最適に調整することが可能となる。

拡大・縮小処理の他のバリエーションとしては、入変換後の画像の高さが表示領域の高さと等しくなるように入力画像領域を拡大・縮小したり、表示領域の縦横比（Ｗv／Ｈv）が入力画像領域の縦横比（Ｗi／Ｈi）よりも大きい場合は、入変換後の画像の高さが表示領域の高さと等しくなるように入力画像領域を拡大・縮小する。
また、表示領域の縦横比（Ｗv／Ｈv）が入力画像領域の縦横比（Ｗi／Ｈi）より小さい場合のその他のバリエーションとしては、入変換後の画像の高さが表示領域の高さと等しくなるように入力画像領域を拡大・縮小し、表示領域の縦横比（Ｗv／Ｈv）が入力画像領域の縦横比（Ｗi／Ｈi）よりも大きい場合は入変換後の画像の幅が表示領域の幅と等しくなるように入力画像領域を拡大・縮小する、といったことも可能である。

画像表示部１７は、画像処理部１６により画像処理（倍率変換）された画像を表示し、画像出力部１８は、各種画像や文書ファイルフォーマット書類としてファイル出力する。

このようにこの第１実施形態の画像処理装置によれば、文書画像に対してレイアウト解析、幾何情報推定及び言語・文字種推定を順に行うことによって文書中の文字の言語、文字種、文字サイズなどの幾何情報を推定し、画像処理部１６は、推定した幾何情報を基に言語、文字種／文字サイズ対応テーブル２０を参照して言語毎に文字が見易い大きさで表示画面に表示される適切なサイズになるよう文書画像を縮小または拡大等の画像処理を行い、表示画面に適切な画像を表示、またはファイル出力を行うので、ユーザによる画像毎の手動操作による表示サイズ指定などの手間なく、文字を見易い大きさで文書画像を表示画面に表示できると共に、文書画像を縮小する場合は、無駄なストレージやメモリの使用を抑制することができる。

つまり、手動操作による表示サイズの変更なしに文書画像中に含まれる文字サイズを統一できるので、表示画面における文書画像の可読性、視覚性を向上することができる。また、用途に応じて必要十分な文字サイズの情報を使って画像を縮小することにより、無駄なストレージやメモリの使用を抑制することができる。

ユーザが文字を閲覧するのに適切な文字サイズをシステムが言語毎に自動的に推定して文字画像を縮小または拡大して画面に表示することができる。また、言語毎に文字サイズを指定（編集）できる言語・文字種/文字サイズ対応テーブル２０を備えているので、設定・変更を自由に行うことができる。
なお、言語・文字種に対応する適当な文字サイズは、システムで決められた値を用いても良く、表示画面の大きさや解像度からシステムが適切なサイズを自動的に設定しても良く、ユーザが操作入力部１９から設定しても良い。

次に、図８〜図１５を参照して本発明に係る第２実施形態の画像処理装置について説明する。図８は本発明に係る第２実施形態の画像処理装置の構成を示すブロック図である。

図８に示すように、この実施形態の画像処理装置は、画像入力部１１、記憶部１２、レイアウト解析部１３、幾何情報推定部１４、拡大・縮小倍率決定部３１、画像配置決定部３２、画像処理部１６、画像表示部１７、画像出力部１８、操作入力部１９等を有している。なお、第１実施形態と同様の構成については同一の符号を付しその説明は省略する。

拡大・縮小倍率決定部３１は、レイアウト解析部１３により得られたレイアウト情報に基づき画像の構成要素の１つである文字のサイズを推定し、画面に表示する文字のサイズが適正となる画像の拡大倍率または縮小倍率を決定する画像拡大・縮小倍率決定手段として機能する。なお、拡大・縮小倍率決定部３１に、上記第１実施形態のようにＯＣＲ機能を持たせて、幾何情報推定部１４により推定された幾何情報を基に文字認識して文字コード（テキストデータ）を得てから、画像に含まれる文書内で用いられている言語や文字種の拡大・縮小倍率を決定してもよい。

画像配置決定部３２は、拡大・縮小倍率決定部３１により決定された言語や文字種の拡大・縮小倍率と幾何情報推定部１４により推定された幾何情報と予め設定されていた画像の帳票種類情報（文書、名刺等といった帳票種とその帳票において文字列の配置を特定する情報）を用いて、画像処理部１６により生成された画像の文字を画面のどの位置に配置するかを決定し、画像の配置処理を実行する画像処理手段である。画像の配置処理とは、例えば文書画像の文字を表示画面で見易い位置にするため、画像の中で文字が始まる位置を画面内のどこにどの程度の大きさで表示するかを決定する処理である。つまり画像配置決定部３６は、生成された画像の文字を画面の表示領域にどのように配置するかを決定する。

画像表示部１７は、画像処理部１６により生成された画像を画面に表示する表示手段である。画像出力部１８は画像処理部１６により生成された画像を例えばイメージファイルなどファイル形式にして記憶部１２等へ記憶したり、外部のプリンタへ出力する画像出力手段である。

以下、図９〜図１５を参照してこの画像処理装置の動作を説明する。図９はこの画像処理装置の動作を示すフローチャート、図１０は画像の拡大・縮小倍率を決定する処理を示すフローチャートである。

この画像処理装置では、画像入力部１１が帳票より読み取った文書画像が記憶部１２に記憶される（図９のＳ２１）。

レイアウト解析部１３は、処理対象となる文書画像であるイメージデータを記憶部１２より読み出してレイアウト解析を実行することで（Ｓ２２）、レイアウト情報を抽出する。

ここでのレイアウト解析では、文書中の文字外矩や文字列などのレイアウト情報が抽出される。文字外矩は、画像中の連結黒画素成分を検出することにより抽出される。また、文字列は、近傍文字の統合処理を行うことにより抽出される。

続いて、幾何情報推定部１４は、レイアウト解析部１３により抽出されたレイアウト情報を基に構成要素の幾何情報を推定する（Ｓ２３）。
この例における幾何情報とは文書に含まれる文字のサイズである。文書の文字サイズは、例えば文書中の文字列の文字サイズの平均をとるなどの方法で推定できる。この他、最小の文字行の文字サイズ、文書の本文部の平均文字サイズ、あるいは最頻文字サイズを文書の文字サイズ推定値として用いるなどの方法を用いても良い。また文字サイズは幅と高さそれぞれを推定しても良く、いずれか一方で代表させても良い。

続いて、拡大・縮小倍率決定部３２は、幾何情報推定部１４により推定された幾何情報（記号や文字のサイズ等）を基に言語・文字種／文字サイズ対応テーブル２０を参照して画像全体として拡大率または縮小率を決定する（Ｓ２４）。

一例として、入力画像あるいは入力画像内で表示したい部分領域（以下入力画像領域と称す）の縦横比を保持したまま、変換後の画像の幅が表示領域の幅と等しくなるように入力画像領域を拡大または縮小する場合の例を説明する。

入力画像領域の幅をＷi、高さをＨi、表示領域の幅をＷv、高さをＨv、推定された入力画像領域での文字サイズをＥ、変換画像での許容最大文字サイズをＴmax、変換画像での許容最小文字サイズをＴmin（Ｔmin ＜＝ Ｔmax）、変換画像を表示領域に内接させた場合の変換画像での文字サイズをＴfit、変換画像での文字サイズをＴ、決定された拡大縮小率をＲとすると、画像処理後の画像幅が表示領域の幅と等しくなる拡大縮小率は、Ｗv／Ｗiであり、その際のＴfitはＥ×Ｗv／Ｗiである。

ここで、図１０を参照して、上記Ｓ２４の拡大縮小率決定処理について詳細に説明する。
拡大・縮小倍率決定部３２は、以下のフローチャート（図１０）の処理を実行して拡大縮小率Ｒを決定する。
拡大・縮小倍率決定部３２は、まずＴfitを計算する（Ｔfit＝Ｅ×Ｗv／Ｗi）（Ｓ３１）。

拡大・縮小倍率決定部３２は、ＴfitとＴmaxとを比較する（Ｓ３２）。
この比較の結果、ＴfitがＴmaxより大きい場合（Ｓ３２のＹ）、拡大・縮小倍率決定部３２は、Ｔの値としてＴmaxを用いてＲをＴmax／Ｅとする（Ｓ３３）。
また、比較の結果、ＴfitがＴmaxより小さく（Ｓ３２のＮ）、かつＴfitがＴminよりも大きい場合（Ｓ３４のＮ）、拡大・縮小倍率決定部３２は、拡大縮小率ＲをＷv／Ｗiとする（Ｓ３５）。

一方、比較の結果、ＴfitがＴminより小さい場合（Ｓ３４のＹ）、拡大・縮小倍率決定部３２は、Ｔの値としてＴminを用いてＲをＴmin／Ｅとする（Ｓ３６）。

ここで、具体的な画像の例で、拡大・縮小倍率を決定することについて説明する。
表示対象の複数の入力画像が、それぞれ６４０×４８０ピクセル、６４０×４８０ピクセル、１２８０×１０２４ピクセルというように少なくとも１つが異なる解像度の３つの画像Ａ，Ｂ，Ｃである場合の例を図１１に示す。画像Ａ，Ｂ，Ｃでは、アルファベットの文字の大きさも異なる。

このように横６４０ピクセル×縦４８０ピクセル（ＶＧＡ）サイズの画像Ａと横６４０ピクセル×縦４８０ピクセル（ＶＧＡ）サイズの画像Ｂと、横１２８０ピクセル×縦１０２４ピクセル（ＳＸＧＡ）サイズの画像Ｃが変換元の文書画像、つまり入力画像であり、これら入力画像に含まれる文字のサイズは、幾何情報推定部１４によって、それぞれ８０×８０ピクセル、４０×４０ピクセル、４０×４０ピクセルと推定されたものとする。
Ｔmax、Ｔminはそれぞれ３２，１２ピクセル、表示デバイスの解像度は、幅３２０ピクセル×高さ２４０ピクセルとする。

図１２に、変換対象の画像Ａ，Ｂ，Ｃを、画像表示部１７の表示領域に内接させた場合の変換後の画像の文字サイズＴfitと拡大縮小率Ｒの関係を示す。
（画像Ａ）
画像Ａの幅は、６４０ピクセル×高さは４８０ピクセルであり、画像中の文字サイズは８０ピクセルと推定されている。よって変換後の画像の文字サイズＴfitは、Ｔfit＝Ｅ×Ｗv／Ｗi＝８０×３２０／６４０＝４０より、４０ピクセルとなる。
このとき変換後の画像の文字サイズＴfitは、Ｔfit ＞ Ｔmax であるので、拡大縮小率Ｒは、Ｒ＝Ｔmax／Ｅ＝３２／８０＝０．４より、０．４となる。

（画像Ｂ）
画像Ｂの幅は、６４０ピクセル×高さは４８０ピクセルであり、画像中の文字サイズは４０ピクセルと推定されている。よって変換後の画像の文字サイズＴfitはＴfit=Ｅ×Ｗv／Ｗi＝４０×３２０／６４０＝４０より、４０ピクセルとなる。
このとき変換後の画像の文字サイズＴfitは、Ｔmin ＜＝ Ｔfit ＜＝ Ｔmax であるので、拡大縮小率Ｒは、Ｒ=Ｗv/Ｗi＝３２０／６４０＝０．５より、０．５となる。

（画像Ｃ）
画像Ｃの幅は、１２８０ピクセル×高さは１０２４ピクセルであり、画像中の文字サイズは４０ピクセルと推定されている。よって変換後の画像の文字サイズＴfitはＴfit=Ｅ×Ｗv/Ｗi=４０×３２０/１２８０=１０より、１０ピクセルとなる。
このとき変換後の画像の文字サイズＴfitは、Ｔmin ＞ Ｔfitであるので、拡大縮小率Ｒは、Ｒ=Ｔmin／Ｅ=１２／４０＝０．３より、０．３となる。

続いて、画像処理部１６は、拡大・縮小倍率決定部３２により決定された倍率で画像の拡大縮小処理を行う（Ｓ２５）。
この画像処理の結果、元々６４０×４８０ピクセルというサイズであった画像Ａの幅２５６（６４０×０．４）、高さ１９２（４８０×０．４）の画像Ａ１に変換される。
元々６４０×４８０ピクセルというサイズであった画像Ｂの幅３２０（６４０×０．５）、高さ２４０（４８０×０．５）の画像Ｂ１に変換される。
元々１２８０×１０２４ピクセルというサイズであった画像Ｃの幅３８４（１２８０ｘ０．３）、高さ３０８（１０２４×０．３）の画像Ｃ１に変換される。

続いて、画像配置決定部３２は、画像処理部１６により作成された画像をどのような配置で表示領域に表示するかを決定する（Ｓ２６）。
図１０の拡大縮小率決定処理において、ＴfitがＴmaxより大きい場合は、画像サイズが表示領域よりも小さくなるため、画像配置決定部３２は、図１３の画像Ａ１のように、画像領域の中心が、表示領域の中心の位置にくるように画像を配置する。
ＴfitがＴmaxより小さくＴminよりも大きい場合は、画像サイズが表示と等しくなるため、画像配置決定部３２は、図１３の画像Ｂ１に示すように、画像の左上が表示領域の左上にくるように画像を配置する。
ＴfitがＴminより小さい場合は、画像サイズが表示領域よりも大きくなるため、図１３の画像Ｃ１のように、単純に画像領域の中心を表示領域の中心に配置するだけでは、画像に含まれる情報（画像領域）が一部表示されない場合が生じる。

そこで、画像サイズが表示領域よりも大きい場合、画像配置決定部３２は、キー、ボタン、マウス、タッチパネルなどの入力装置による指示で画像をスクロールさせることで、画面からはみ出して隠れていた画像領域を表示し、これにより、ユーザは、小さい画面でも画像領域全体を見ることができる。
つまり、画像配置決定部３２は、レイアウト解析の結果や入力される文書画像の種類に関する知識、情報を用いることで文書内容をより多く表示できるような画像の初期配置を決定する。

例えば文書画像の場合、レイアウト解析部１３によるレイアウト解析の結果として、文書中の文字の位置を判別できるので、画像配置決定部３２は、その文字の位置情報を用いて、図１４に示すように、文書の始まり（☆印の位置）がちょうど画面の表示領域の左上端にくるように配置を決定する。

また、入力画像が予め名刺画像等と帳票種が分かっているような場合、名刺表示用の画像配置設定情報を記憶部１２に記憶しておくことで、画像配置決定部３２は、図１５に示すように、名刺画像に含まれる名前が最もよく分かるように名前の始まり（☆印の位置）を表示領域の左端に配置する。
名前文字列の位置は、レイアウト解析部１３によりレイアウト解析された結果として得られる文字列配置情報や名前辞書等から得られる情報を画像配置決定部３２が用いて推定する。

続いて、画像表示部１７は、画像処理部１６により画像処理（倍率変換）された画像を表示し、画像出力部１８は、各種画像や文書ファイルフォーマット書類としてファイル出力する（Ｓ２７）。

このようにこの第２実施形態の画像処理装置によれば、画像の表示領域である画面を最大限に生かしつつ、ユーザが読み易いサイズに文字の大きさを適正化した文書画像や名刺画像を画面に表示するので、ユーザは、手操作で画像の大きさを調整することなく画面で文書や名刺の文字を読むことができる。

また、用途に応じ必要十分な文字サイズに画像を縮小させることにより、無駄なストレージやメモリの使用を抑制することができる。
さらに、画像サイズが表示領域サイズより大きい場合、レイアウト解析結果を用いて初期配置を最適なものとすることで、ユーザの入力を最小限に抑えることができる。

なお、本発明は上記実施形態のみに限定されるものではない。
文字サイズを自動的に設定する方法としては、例えば言語、文字種に応じて表示に適した文字サイズとなるよう文字サイズを変更するという方法がある。
また、この他、表示するディスプレイの特性（主に解像度とサイズ）などから適切な文字サイズを自動推定する（例えば携帯端末の画面とＰＣのディスプレイでは最適なサイズは異なる）という方法もある。

本発明に係る第１実施形態の画像処理装置の構成を示す図である。 図１の画像処理装置の言語・文字種/文字サイズ対応テーブルを示す図である。 この第１実施形態の画像処理装置における処理手順を示すフローチャートである。 この画像処理装置において、２つの文書画像が共に日本語の文字を含む場合の変換元画像を示す図である。 図４の変換元画像をそれぞれ画像処理した結果の文書画像を示す図である。 この画像処理装置において、１つの文書画像が日本語の文字を含み、他の一つの文書画像がアルファベットの文字を含む場合の変換元画像を示す図である。 図６の２つの変換元画像をそれぞれ画像処理した結果の文書画像を示す図である。 本発明に係る第２実施形態の画像処理装置の構成を示す図である。 この第２実施形態における画像処理装置の処理手順を示すフローチャートである。 画像の拡大・縮小率を求めるフローチャートである。 画像の拡大縮小率を決定する処理を説明するための図である。 画像の拡大縮小率を決定するＴfitとＲの計算処理を説明するための図である。 画像Ａ、Ｂ、Ｃに対する拡大縮小処理の結果を示す図である。 生成した画像サイズが表示領域サイズより大きい場合の画像初期配置の一例を示す図である。 入力画像が予め名刺画像と分かっている場合に生成した画像を画面に表示する場合の一例を示す図である。

符号の説明

１１…画像入力部、１２…記憶部、１３…レイアウト解析部、１４…幾何情報推定部、１５…言語・文字種推定部、１６…画像処理部、１７…画像表示部、１８…画像出力部、１９…操作入力部、２０…言語・文字種/文字サイズ対応テーブル、３１…拡大・縮小倍率決定部、３２…画像配置決定部

Claims (3)

1. 所定表示領域を有する画面を備えた表示手段と、
   前記表示領域よりも大きなサイズの名刺画像、この名刺画像の構成要素の配置を示す画像配置設定情報および名前辞書を記憶する記憶手段と、
   前記記憶手段から読み出した名刺画像と画像配置設定情報から、前記名刺画像に含まれる構成要素のレイアウト解析を行うことで前記名刺画像に含まれる文字列の配置情報を得るレイアウト解析手段と、
   前記レイアウト解析手段により得られた文字列の配置情報及び前記名前辞書から得られる情報を用いて前記名刺画像の中の名前の位置を決定し、位置が決定した名前の始まりを前記表示領域の左端に配置するように前記名刺画像を前記表示手段に出力する画像配置決定手段と
   を具備したことを特徴とする画像処理装置。
2. 所定表示領域を有する画面を備えた表示手段と、前記表示領域よりも大きなサイズの名刺画像、名刺表示用の画像配置設定情報および名前辞書を記憶する記憶手段とを備えた画像処理装置に処理を実行させる画像処理プログラムであって、
   前記画像処理装置を、
   前記記憶手段から読み出した名刺画像とこの名刺画像の構成要素の配置を示す画像配置設定情報から、前記名刺画像に含まれる構成要素のレイアウト解析を行うことで前記名刺画像に含まれる文字列の配置情報を得るレイアウト解析手段と、
   前記レイアウト解析手段により得られた文字列の配置情報及び前記名前辞書から得られる情報を用いて前記名刺画像の中の名前の位置を決定し、位置が決定した名前の始まりを前記表示領域の左端に配置するように前記名刺画像を前記表示手段に出力する画像配置決定手段
   として機能させることを特徴とする画像処理プログラム。
3. 所定表示領域を有する画面を備えた表示手段と、前記表示領域よりも大きなサイズの名刺画像、この名刺画像の構成要素の配置を示す画像配置設定情報および名前辞書を記憶する記憶手段と、レイアウト解析手段と、画像配置決定手段とを備えた画像処理装置における画像処理方法において、
   前記レイアウト解析手段が、前記記憶手段から読み出した名刺画像とこの名刺画像の構成要素の配置を示す画像配置設定情報から、前記名刺画像に含まれる構成要素を抽出し、抽出した構成要素のレイアウト解析を行うことで前記名刺画像に含まれる文字列の配置情報を得るステップと、
   前記画像配置決定手段が、前記文字列の配置情報及び前記名前辞書から得られる情報を用いて、前記名刺画像の中の名前の位置を決定し、位置が決定した名前の始まりを前記表示領域の左端に配置するように前記名刺画像を前記表示手段に出力するステップと
   を有することを特徴とする画像処理方法。

Images