JP4758493B2 - 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、携帯端末装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。

インターネット技術とともに、携帯電話や有線、無線通信技術が発達し広く普及されている。この技術を用いて、外出先から携帯電話などの携帯端末装置から、インターネット上に接続された画像出力装置に画像を送り、印刷を行わせることがなされている。

例えば、特許文献１では、デジタルカメラや、カメラ付きＰＤＡ・携帯パソコン等のモバイル情報機器で収集したデジタル画像データを、ネットワークを介してサーバに送信する。サーバでは、受信したデジタル画像データに対して、明るさや色、サイズの調整などの画像処理を行い、複数保存されているドキュメント合成用のテンプレートの画像エリアにはめ込んでドキュメントの作成を行う。

また、特許文献２では、カメラ付き携帯電話において、印刷を所望する画像を選択し、各種の印刷条件を設定し、プリント動作の開始を指示するとともに、デバイスネームなどの識別情報をプリンタ側に送り、プリンタに識別情報の登録を行う。プリンタは、この情報を取得した後、プリンタのデバイスネームなどの識別情報を携帯電話側に送り、携帯電話はこの識別情報の登録を行う。

次に、携帯電話側からデータ通信に使用可能な通信速度のパラメータを転送すると、プリンタ側は、このパラメータを取得し、プリンタの使用可能な通信速度と比較し、最も転送効率の良いと判断した通信速度のパラメータを携帯電話側に転送する。そして、携帯電話はプリンタから受け取った値に通信速度を変更し、プリンタも送信した値の通信速度に変更を行う。その後、携帯電話は画像データをプリンタに転送し、プリンタ側は画像データを受け取って印刷データを生成し且つ印刷処理を行う。

特開２００２−４１５０２号公報（２００２年２月８日公開） 特開２００７−２７８３９号公報（２００７年２月１日公開）

しかしながら、携帯電話やデジタルカメラに用いられているＲＧＢフィルタ、または、補色（ＣＭＹ）フィルタは、各色に対するフィルタが２次元平面に配列されているため、スキャナ等で読み取られた画像データを比較すると、解像力が１／３〜２／３程度低下した画像となっており、特に、文字の判読性が悪いという問題がある。

具体的には、スキャナ等では、ＲＧＢラインセンサを用いているので、画素毎にそれぞれのカラーデータを読み取ることが可能であるが、携帯電話やデジタルカメラにおけるフィルタは、画素に対して、例えば、ＲＧＢＲＧＢ…、あるいは、ライン毎にＲＧＲＧＲＧ…／ＧＢＧＢＧＢ…と配列されており、各画素でフィルタが設けられていない色成分が存在するため、解像力が低い。

本発明は、上記課題を解決するためになされたものであり、携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置が出力可能な、携帯端末装置、画像出力装置、撮像画像処理システム、撮像画像処理方法、プログラムおよび記録媒体を提供することを目的とする。

上記目的を解決するために、本願の携帯端末装置は、複数の画像データから、当該複数の画像データの解像度よりも高解像度の画像データに補正する高解像度補正を行う補正処理部を備え、上記補正処理部によって補正された高解像度の画像データを出力する画像出力装置に対して画像データを送信する携帯端末装置であって、同一の撮像対象物に対して連続して複数回撮像する撮像部と、上記撮像部による連続した複数回撮像により得られた複数の撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、上記撮像画像判定部により上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信部とを備え、上記所定条件は、少なくとも以下の条件Ａを含み、
条件Ａ：上記撮像部により連続して撮像された複数の撮像画像データの中に、上記補正処理部による高解像度補正に適した、所定量だけずれた所定数（２以上の整数）の撮像画像データの組合せが含まれる、
上記送信部は、上記撮像画像判定部により上記組合せとして判定された所定数の撮像画像データを送信することを特徴とする。

また、本発明の携帯端末装置の制御方法は、複数の画像データから、当該複数の画像データの解像度よりも高解像度の画像データに補正する高解像度補正を行う補正処理部を備え、上記補正処理部によって補正された高解像度の画像データを出力する画像出力装置に対して画像データを送信する携帯端末装置の制御方法であって、上記携帯端末装置は、同一の撮像対象物に対して連続して複数回撮像する撮像部を備え、上記撮像部による連続した複数回撮像により得られた複数の撮像画像データが所定条件を満たすか否かを判定する撮像画像判定ステップと、上記撮像画像判定ステップにおいて上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信ステップとを含み、上記所定条件は、少なくとも以下の条件Ａを含み、
条件Ａ：上記撮像部により連続して撮像された複数の撮像画像データの中に、上記補正処理部による高解像度補正に適した、所定量だけずれた所定数（２以上の整数）の撮像画像データの組合せが含まれる、
上記送信ステップにおいて、上記撮像画像判定ステップにおいて上記組合せとして判定された所定数の撮像画像データを送信することを特徴とする。

上記の構成によれば、携帯端末装置は、撮像部により連続して撮像された複数の撮像画像データの中に、高解像度補正に適した、所定量だけずれた所定数（２以上の整数）の撮像画像データの組合せが含まれるか否かを判断する。そして、含まれる場合に、携帯端末装置は、当該組合せとして判定された所定数の撮像画像データを画像出力装置に送信する。

これにより、携帯端末装置は、画像出力装置が高解像度補正を行うことが可能な所定数の撮像画像データのみを画像出力装置に送信することとなる。その結果、ユーザは、携帯端末装置で撮像した画像であり、かつ、携帯端末装置の撮像画像よりも高解像度の画像雄を、画像出力装置から容易に得ることができる。これにより、例えば文書画像を含む撮像対象物を撮像した場合であっても、画像出力装置から得た画像において、当該文書の文字の判読性が向上することとなる。

さらに、本発明の携帯端末装置は、上記撮像画像判定部により上記所定条件を満たさないと判定された場合、ユーザに対して再撮像を促す通知を行う通知部を備えることが好ましい。

上記の構成によれば、ユーザは、高解像度の画像を画像出力装置から得るためには、再撮像が必要であることを容易に把握することができる。その結果、即座に再撮像するという対応を行うことができる。

さらに、本発明の携帯端末装置において、上記撮像対象物は、文書画像が形成された矩形状の面を有しており、上記所定条件は、さらに以下の条件Ｂ、
条件Ｂ：上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる、撮像画像データにおける上記矩形状の面の歪みの度合いを示す特徴量が所定範囲内である、
を含むことが好ましい。

ここで、矩形状の撮像対象物とは、例えば、文書画像が形成された原稿用紙やポスター、プロジェクター等により表示された画面、ディスプレイ上の画面などである。

矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる、撮像画像データにおける上記矩形状の面の歪みを補正する方法として様々な方法が知られている。しかしながら、当該歪みが大きい場合、このような補正を行ったとしても、確実に歪みのない画像を得ることが困難である。しかしながら、上記の構成によれば、当該歪みの度合いを示す特徴量が所定範囲内にある場合にのみ、携帯端末装置が撮像画像データを送信する。そのため、画像出力装置に送信される撮像画像データは、上記歪みの度合いが所定範囲内であるため、歪みが相対的に小さいものとなる。その結果、画像出力装置において当該歪みを確実に補正することができる。

さらに、本発明の携帯端末装置において、上記撮像対象物は、文書画像が形成された矩形状の面を有しており、上記所定条件は、さらに以下の条件Ｃ、
条件Ｃ：撮像画像データにおける上記矩形状の面の傾き角度が所定範囲内である、
を含むことが好ましい。

撮像画像において矩形状の対象物が傾いている場合、画像出力装置から高解像度の画像を得たとしても、当該画像において文書までも傾いてしまう。しかしながら、上記の構成によれば、傾き角度が所定範囲内の場合にのみ、携帯端末装置が撮像画像データを送信する。ここで所定範囲とは、０°を含む範囲であり、例えば０±１５°の範囲内である。このように設定することで、大きく傾いた画像を画像出力装置に送信することを防止することができる。

また、本発明の画像出力装置は、上記の携帯端末装置から上記所定数の撮像画像データを受信する受信部と、受信部が受信した所定数の撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部と、上記高解像度補正部により生成された高解像度画像データを出力する出力処理を実行する出力部とを備えることを特徴とする。

また、本発明の画像出力方法は、上記の記載の携帯端末装置から上記所定数の撮像画像データを受信する受信ステップと、受信した所定数の撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理ステップと、生成された高解像度画像データを出力する出力処理を実行する出力ステップとを含むことを特徴とする。

上記の構成によれば、画像出力装置は、高解像度補正に適した所定数の撮像画像データを携帯端末装置から取得する。そのため、画像出力装置は、当該所定数の撮像画像データに基づいて、高解像度画像データを容易に生成することができる。また、高解像度画像データの品質も上げることができる。その結果、ユーザは、携帯端末装置で撮像した画像よりも高解像度の画像データを画像出力装置から容易に取得することができる。これにより、例えば、文書画像を含む撮像対象物を携帯端末装置で撮像しても、画像出力装置から当該文書画像の文字の判読性を向上させた画像を得ることができる。

さらに、本発明の画像出力装置において、上記撮像対象物は、文書画像が形成された矩形状の面を有しており、上記補正処理部は、上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みを補正するとともに、上記高解像度補正を行うことが好ましい。

上記の構成によれば、ユーザは、撮像対象物に対して斜め方向から撮像した場合であっても、歪みのない画像を画像出力装置から容易に得ることができる。

さらに、本発明の画像出力装置において、上記撮像対象物は、文書画像が形成された矩形状の面を有しており、上記補正処理部は、上記撮像部による撮像画像データにおける上記矩形状の面のエッジが曲線状となるレンズ歪みを補正するとともに、上記高解像度補正を行うことが好ましい。

上記の構成によれば、ユーザは、レンズ歪みのない画像を画像出力装置から容易に得ることができる。

さらに、本発明の画像出力装置において、上記出力部は、上記高解像度画像データに対応する画像を記録用紙に形成する印刷処理を上記出力処理として実行することが好ましい。

上記の構成によれば、ユーザは、撮像画像よりも高解像度の画像の印刷物を画像出力装置から得ることができる。

さらに、本発明の画像出力装置において、上記出力部は、上記高解像度画像データを外部記憶装置に格納する格納処理を上記出力処理として実行することが好ましい。もしくは、上記出力部は、上記高解像度画像データを電子メールに添付して送信するメール送信処理を上記出力処理として実行することが好ましい。

上記の構成によれば、ユーザは、撮像画像よりも高解像度の画像データを画像出力装置から取得することができる。

さらに、本発明の画像出力装置において、上記撮像対象物は、文書画像を有しており、上記出力部は、上記高解像度画像データにおいて上記文書画像に対応する領域とそれ以外の領域とに分離し、各領域に対して異なる圧縮率で圧縮させた状態で上記高解像度画像データを出力することが好ましい。

上記の構成によれば、高解像度画像データのデータ容量を小さくすることができる。その結果、出力する際の通信に対する負荷を低減することができる。

さらに、本発明の画像出力装置において、上記撮像対象物は、文書画像を有しており、上記出力部は、上記高解像度画像データにおける上記文書画像に対応する領域の中から文字を抽出し、抽出した文字をテキストデータに変換し、当該テキストデータを上記高解像度画像データに付加して出力することが好ましい。

上記の構成によれば、ユーザは、テキストデータを用いることで、テキスト検索を容易に実行することができる。

また、本発明の撮像画像処理システムは、上記の携帯端末装置と、当該携帯端末装置から複数の画像データを受信する上記の画像出力装置とを備えることを特徴とする。

上記の構成によれば、ユーザは、携帯端末装置で撮像した撮像画像について、当該撮像画像の解像度よりも高解像度の画像を容易に画像出力装置から得ることができる。

なお、上記携帯端末装置および画像出力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより携帯端末装置および画像出力装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明によれば、携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置から出力させることができる。

図１は、本発明の撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、（ａ）は携帯端末装置のフローを示し、（ｂ）は画像出力装置のフローを示している。 図２は、本発明の撮像画像処理システムの構成を示す図である。 図３は、本発明の携帯端末装置の構成を示すブロック図である。 図４は、本発明の撮像画像処理方法における画像の傾き検出例を示している。 図５は、図４の傾き検出例における傾き角度θとその正接値を示している。 図６は、画像の幾何学的歪みの検出例を示している。 図７は、画像の対象物のエッジ検出処理例を示している。 図８は、画像のラスター方向のエッジ検出例を示している。 図９は、画像のズレ度合い検出例の１次微分フィルタ例を示している。 図１０は、本発明の画像出力装置の構成を示すブロック図である。 図１１は、画像のカラーバランス検出時のルックアップテーブルの一例を示している。 図１２は、画像のレンズ歪みの補正例を示している。 図１３は、画像の幾何学的歪みの補正例を示している。 図１４は、画像の再構成画素値の決定例を示している。

以下、本発明の実施の形態について、詳細に説明する。

（１）撮像画像処理システムの全体構成
図２は、本発明に係る撮像画像処理システムの全体構成を示す図である。図２に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、および、複合機、プリンタ（画像形成装置）などの画像出力装置２００を備える。

携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。ただし、携帯端末装置１００で撮像された画像は上述したように解像度が低く、当該解像度で画像出力装置２００により画像出力（例えば印刷）を行ったとしても細部まで認識できない場合がある。例えば、文書画像（文字など）が印刷された用紙やポスター、文書画像などが表示されている表示画面を撮像する場合において、文字が判別できないことが考えられる。本実施形態は、このような場合であっても、携帯端末装置１００で撮像された画像の解像度よりも高い解像度を有する画像を得ることができるものである。

本実施形態において、携帯端末装置１００は、撮像した画像の解像度よりも高い解像度を有する画像を画像出力装置２００から得ることが可能な撮像モードである文書撮像モードの機能を有している。

なお、本実施形態では、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、撮像画像よりも高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択するものとする。

また、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像された画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置２００が画像出力するように構成されている。

携帯端末装置１００と画像出力装置２００とは通信可能であり、携帯端末装置１００は、撮像した画像データ（以下、撮像画像データという）を画像出力装置２００に送信する。

画像出力装置２００は、携帯端末装置１００から受信した、同一の撮像対象物に対する複数の撮像画像データに基づいて、解像度を高める高解像度補正を行い、高解像度化された画像の出力処理を行うものである。複数の撮像画像データを用いて高解像度補正する手法としては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008） に挙げられている方法を用いることができる。

画像出力装置２００で実行される出力処理としては、高解像度化された撮像画像データに基づいた画像の印刷処理、サーバやＵＳＢメモリなどの記憶装置へ高解像度化された撮像画像データを格納するファイリング処理、電子メールに高解像度化された撮像画像データを添付して送信するメール送信処理などがある。

なお、携帯端末装置１００と画像出力装置２００との通信方式としては、図２において符号Ａで示されるように、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式や、符号Ｂで示されるように、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦撮像画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該中継装置３００から画像出力装置２００へデータを転送する方式がある。なお、携帯端末装置１００と画像出力装置２００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。

（２）携帯端末装置の構成
まず、図３〜９に基づいて、本実施形態に係る携帯端末装置１００について説明する。

図３は、携帯端末装置１００の構成を示すブロック図である。図３に示されるように、携帯端末装置１００は、撮像部１０１、撮像画像判定部１０２、画像処理部１０３、通信部（送信部）１０４、表示部（通知部）１０５、入力部１０６、記憶媒体アクセス部１０７、記憶部１０８、制御部（送信部、通知部）１０９を備えている。

撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行うものである。撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。また、撮像部１０１は、ユーザにより文書撮像モードが選択された場合、１回シャッターの押下により、撮像対象物について複数回（例えば、２〜１５）連続して撮像する。通常、連続して撮像された画像は、ほぼ同じ画像であるが、手ぶれ等によって微少量だけずれることになる。

撮像画像判定部１０２は、文書撮像モードが選択されている際に、撮像部１０１で撮像された複数の撮像画像が、画像出力装置２００において高解像度補正を実行するための条件を含む処理実行条件を満たしているか否かを判定するものである。撮像画像判定部１０２は、その判定結果を制御部１０９に出力する。撮像画像判定部１０２における具体的な処理については後述する。

画像処理部１０３は、撮像部１０１で撮像された画像のデータ（撮像画像データ）に対して、少なくともＡ／Ｄ変換処理を行うものである。

通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０４は、撮像部１０１により撮像され、画像処理部１０３にてＡ／Ｄ変換処理が施された複数の撮像画像データを画像出力装置２００に送信する。ただし、通信部１０４は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データのみを送信する。

表示部１０５は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部１０６は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。

記憶媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。

また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。

制御部１０９は、携帯端末装置１００の各部の制御を行うものである。具体的には、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、解像度変換の倍率の入力を促す画面を表示部１０５に表示させる。そして、制御部１０９は、入力部１０６に入力された倍率（例えば、２倍、４倍）に応じて、撮像部１０１が連続撮像する回数、および、撮像画像判定部１０２で用いる処理実行条件の一部を決定する。なお、制御部１０９は、記憶部１０８に予め格納された、倍率と撮像回数および処理実行条件の一部とを対応付けた情報に基づいて決定する。

また、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像出力装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。

そして、制御部１０９は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データに、ファイルネーム、記憶部１０８に格納された携帯端末装置１００の機種情報およびユーザ情報、ならびに、出力処理情報を付け、通信部１０４に対して画像出力装置２００への送信処理を実行させる。

（３）撮像画像判定部の処理について
次に、携帯端末装置１００の撮像画像判定部１０２における具体的な判定処理について説明する。

（３−１）傾きの判定
上述したように、用紙やポスター、表示画面のような矩形状の撮像対象物を撮像し、高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択する。そのため、撮像画像判定部１０２は、撮像対象物が矩形状であると仮定して、撮像画像データにおいて、撮像対象物のエッジを検出することで撮像画像データにおける撮像対象物の傾きを検出する。なお、撮像画像データの中の矩形状の撮像対象物のエッジ上の画素を検出する手法としては従来知られている手法を用いることができる。また、背景の中のエッジを撮像対象物のエッジとして誤判定することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。

そして、撮像画像判定部１０２は、検出された撮像対象物のエッジ上の２点を選択する。例えば、図４に示されるように、撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた２点１１・１２を選択する。次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ_１，ｄ_２を求め、撮像画像における撮像対象物の傾きを求めることができる。図４のような場合、傾き角度をθとすると、 ｔａｎθ＝（ｄ_２−ｄ_１）／ｗとなる。そこで、撮像画像判定部１０２は、（ｄ_２−ｄ_１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図５参照）などより読み取る。

そして、撮像画像判定部１０２は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。

（３−２）幾何学的歪みの判定
幾何学的歪みとは、上述したように、撮像対象物における文書画像が形成された平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像の中で撮像対象物が矩形状から歪んだ形状を有することである。例えば、用紙の法線方向に対して用紙の左下方向から斜めに撮像した場合、図６に示されるように、撮像対象物は、歪んだ四角形となる。

本実施形態では、後述するように、画像出力装置２００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１０２は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。

本実施形態では、必ずしも画角の中心付近に撮像対象物の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジを抽出し、各エッジを表す線分を求めて、さらにこれらの交点を算出して、撮像対象物の領域とすれば良い。

まず、撮像画像判定部１０２は、撮像画像データについて、ラスター走査を行う。ここで、図６に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。

１ライン分走査を行い、エッジが存在しなければ、撮像画像判定部１０２は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。

そして、撮像画像判定部１０２は、ラスター走査において、最初にエッジを検出したラインをＬ_１（１ライン目）とし、図７に示すように、順方向で最初のエッジと判定された点の座標を第１群に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬ_ｉについて、順方向で１番目に撮像対象物のエッジと判定された点と、２番目に撮像対象物のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄ_ｉ）を求め下記のように判定を行う。

なお、ラインＬ_ｉにおける最初のエッジのＸ座標をＸ_ｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸ_ｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。

（ａ）１ライン（Ｌ_１）目の座標Ｘ_１１およびＸ_１２については変更しない。

（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄ_ｉ１（＝Ｘ_ｉ１−Ｘ_{（ｉ−１）１}）およびｄ_ｉ２(同様)を算出する。以下、ｄ_ｉ１に関して述べるため添え字の１を省略するが、ｄ_ｉ２も同様である。

（ｃ）３ライン目以降のｉライン目は、ｄｄ_ｉ＝abs｛（ｄ_ｉ）−ｄ_ｉ−１｝を算出する。ｄｄ_ｉ≦th_１(≒０に近い小さな数値)であれば、座標Ｘ_iは同じ群に分類する。そうでない場合（ｄｄ_ｉ＞th_１）は、別の群（第３群または第４群）に分類する。

（ｄ）初期処理としてｉ=４のときのみ、Ｘ_２の群を確定させるための処理を行う。以下のようにする。

i)ｄｄ_３≦th_１ かつ ｄｄ_４≦th_１ → Ｘ_２：同群
ii)ｄｄ_３＞th_１ かつ ｄｄ_４≦th_１ → Ｘ_２：別群
iii)ｄｄ_３≦th_１ かつ ｄｄ_４＞th_１ → Ｘ_２：同群
iv)ｄｄ_３＞th_１ かつ ｄｄ_４＞th_１ → Ｘ_２：同群
一度、別群（第３群または第４群）に遷移した場合は、増減の確認はする必要はない。

このような処理を画像全体に行って、各群に属するエッジ点を抽出する。そして、群ごとに、当該群に属するエッジ点の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。当該直線は、撮像対象物の辺に相当することとなる。

図８は、上記のような処理によって、ラスター走査によってエッジ点を抽出し、４つの群に分類したときの図である。図において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ点の近似直線を点線で示す。

そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象物の領域として特定することができる。

さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。

あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。

なお、エッジ点の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での、画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ点であると判定すればよい。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。

そして、撮像画像判定部１０２は、以上のようにして４つの直線及びそれらの交点を求めると、当該４つの直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求まる。なお、対辺は２組あるので、撮像画像判定部１０２は、当該２組の各々について長さの比を求める。

ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像の中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。

その後、撮像画像判定部１０２は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、所定範囲は、画像出力装置２００において補正可能な範囲として予め定められたものであり、記憶部１０８に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５〜２）であることが処理実行条件の一つとなる。

なお、撮像画像判定部１０２は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。

（３−３）複数枚の画像のズレ量の判定
上述したように、画像出力装置２００は、同一の撮像対象物の複数の撮像画像データに基づいて、高解像度補正を実行する。当該高解像度補正を実行するためには、解像度変換の倍率に応じた所定数の画像データが、所定量だけずれている必要がある。そこで、本実施形態では、撮像画像判定部１０２は、撮像部１０１が撮像した複数の撮像画像データの中に、画像出力装置２００で高解像度補正を実行するために必要な、所定量だけずれた所定数の撮像画像データが含まれるか否かを判定する。

なお、文字の判読性を挙げるような高解像度補正のために必要なズレとは、対象とする画像データの一画素未満（小数点）のズレを指す。すなわち、小数点以下（１画素未満）の値、例えば、０．３〜０．７などのズレが重要である。整数部分のズレは高解像度補正には考慮されない。例えば、１．３画素、２．３画素などの１画素未満のズレを含むような場合、複数の画像に基づいた高解像度補正を実行することができるが、１画素、２画素などの１画素未満のズレを含まない場合、高解像度補正を実行することができない。

例えば、変換倍率が２倍の場合、高解像度補正に必要な画像データの数は２であり、２つの画像データのずれ量としては画素単位で小数点以下０．３〜０．７であることが好ましい。そのため、記憶部１０８には、解像度変換の倍率「２倍」と、撮像回数「２」および処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」とを対応付けた情報が予め格納されており、制御部１０９は、当該情報に基づいて、撮像部１０１に対して２回連続して撮像させ、撮像画像判定部１０２に対して、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」に従った判定を実行させるものとする。

また、変換倍率が４倍である場合、高解像度補正に必要な画像データの数は４であり、その内の一つの画像データを基準画像データとしたとき、当該基準画像データと残りの３つの画像データとのずれ量がそれぞれ画素単位で小数点以下０．２〜０．３、０．４〜０．６、０．７〜０．８であることが好ましい。そのため、記憶部１０８は、解像度変換の倍率「４倍」と、撮像回数「４」および処理実行条件「必要画像データ数：４、ずれ量：０．２〜０．３、０．４〜０．６、０．７〜０．８」とを対応付けた情報を記憶している。

なお、以下では、説明を簡略化するため、解像度変換の倍率として２倍が選択された場合について述べる。

まず、撮像画像判定部１０２は、撮像画像の任意の一つを選択し、当該撮像画像（以下、第１の撮像画像という）について、上記幾何学的歪みの判定の際に求めた撮像対象物の領域の中からズレ検出用部分領域を選択する。ここで、ズレ検出用部分領域は、第１の撮像画像と残りの撮像画像（以下、第２の撮像画像という）との間のズレ量を求めるために用いるものであるため、当該ズレ検出用部分領域内で画素値の変化が大きいもの（明確なパターンが存在するもの）が好ましい。そこで、撮像画像判定部１０２は、以下のような方法によってズレ検出用部分領域を抽出する。

撮像画像判定部１０２は、撮像対象物の領域の重心位置に存在する画素を特定し、当該画素を注目画素とする。そして、注目画素を含むｎ×ｎ画素の領域を選定する。選定した領域について、以下の選定要件を満たすか否か判断し、満たす場合には、当該領域をズレ検出用部分領域とする。一方、満たさない場合には、所定のオフセット量に基づいて領域を移動させ、移動後の領域について同じ判断を行う。このようにして、ズレ検出用部分領域を抽出する。

ここで、選定要件としては、例えば、以下二つが挙げられる。
一つとしては、領域内の分散に準じた値を用いるものである。注目画素近傍のｎ×ｎ画素の領域に対して画素値をＰ（x）とすると部分領域の分散値Variance（x）は、下記式（１）で表される。この分散値Variance（x）の値が所定閾値以上あることを選定要件とする。また簡易化のために本式の分子のみを考えても良い。

また一つとしては、注目画素近傍のｎ×ｎ画素の領域に対して、１次微分フィルタのようなエッジ抽出フィルタを掛けて、２値化し、総和を見る。図９は１次微分フィルタ例を示し、この場合も、総和がある所定閾値以上（例えば、部分領域画素数の５％以上など）あることを選定要件とすればよい。

次に、このようにして求められた、第１の撮像画像のズレ検出用部分画像Ａ（ｎ×ｎ）に対し、第２の撮像画像の中から、中心がほぼ同じ位置のズレ検出用部分画像Ｂ（ｍ×ｍ）（ｍ＞ｎ）として切り出す。この切り出し方法は、第１の撮像画像におけるズレ検出用部分画像Ａの中心画素の座標と、第２の撮像画像におけるズレ検出用部分画像Ｂの中心画素の座標とが一致するように、切り出す。

その後、切り出されたズレ検出用部分画像Ｂ中においてズレ検出用部分画像Ａに最も適合する領域をサブピクセル精度で求める。その手法としては、ズレ検出用部分画像Ａをテンプレートとした正規化相関パターンマッチングが挙げられる。

正規化相関パターマッチングの例として、既知であるところの正規化相関式を用いて相関を算出する。一般的にＮ画素からなる２つのパターンＩｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）の相関式は、下記式（２）と表すことができる。ここで、α、β、γはそれぞれ下記のように表せる。

例えば、ｎ＝５、ｍ＝7の場合、ズレ検出用部分画像Ｂ（ｍ×ｍ）のなかのズレ検出用部分画像Ａと同サイズの領域（ｎ×ｎ）ごとに上記相関式を演算すると、結果として３×３の相関値Ｍａｐが生成される。この相関値Ｍａｐを用いて、フィットする２次曲面を求める。２次曲面の求め方としては、例えば、Ｓ（ｘ，ｙ）＝ａ＊ｘ＊ｘ＋ｂ＊ｘ＊ｙ＋ｃ＊ｙ＊ｙ＋ｄ＊ｘ＋ｅ＊ｙ＋ｆとして、９点のうち相関値の高い６点を選び、連立方程式を解いて各係数を求める。この関数の極値（＝最大値）の座標値（ｘ、ｙの両方）の小数点以下の値が所定範囲（ここでは、０．３〜０．７）であれば、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」を満たすものと判定する。

なお、極値の求め方は、上記２次式を偏微分し、それぞれが０である点の座標を求めればよい。このとき、実際には各係数（ａ〜ｆ）を求める必要はないので、直接相関値（Ｓ_１〜Ｓ_６）を用いたほうが効率的である。求めるべき式（３）は以下のようになる。ここで、原点は着目するウィンド基準となる。

なお、このようなサブピクセル精度の位置ズレ確認を少なくとも一か所にて行うが、数か所で行うことが望ましい。

そして、撮像画像判定部１０２は、処理実行条件を満たすか否かの判定結果を制御部１０９に出力する。

（４）ユーザへの通知に関して
撮像画像判定部１０２から判定結果を受けた制御部１０９は、その判定結果に応じて、再撮像を促すメッセージを表示部１０５に表示させる。

例えば、撮像画像判定部１０２から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０５に表示させる。

また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０５に表示させる。

さらに、所定量だけずれた撮像画像が所定数ない旨の判定結果を受けた場合、制御部１０９は、例えば「この画像は処理できない可能性があります。もう一度撮影し直し下さい。」などの、再度撮像を促すメッセージを表示部１０５に表示し、新たに画像を得るようにする。その後、新たに撮像した複数の撮像画像について、撮像画像判定部１０２が再度判定処理を行い、全ての処理実行条件を満たすと判定されたときに、当該撮像画像を後段の処理に用いる。もしくは、前に撮像した撮像画像および再度撮像された撮像画像の組合せに対して、撮像画像判定部１０２が再度判定処理を行い、全ての処理実行条件を満たす撮像画像を後段の処理に用いてもよい。

（５）画像出力装置の構成
次に、図１０〜１３に基づいて、本実施形態に係る画像出力装置２００の構成について説明する。本実施形態において、画像出力装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。

図１０は、画像出力装置２００の構成を示すブロック図である。画像出力装置２００は、画像読取部２０１、画像処理部（補正処理部）２０２、認証部２０３、画像形成部（出力部）２０４、表示部２０５、入力部２０６、第１通信部（受信部）２０７、第２通信部（出力部）２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部（出力部）２１２を備えている。

画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。

画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置から送信された撮像画像データに対して、高解像度補正などを含む画像処理を行う。画像処理部２０２が撮像画像データに対して行う画像処理の詳細については後述する。

認証部２０３は、携帯端末装置１００から受信した撮像画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。

画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つである印刷処理を実行するものである。

表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。

第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された撮像画像データを受信する。

第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。

第２通信部２０８は、出力処理として、高解像度補正が施された撮像画像データをサーバに格納するファイリング処理、もしくは、高解像度補正が施された撮像画像データを添付したメールを送信するメール送信処理を実行する。

記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。

制御部２１２は、画像出力装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００から複数の撮像画像データを受信すると、当該複数の撮像画像データを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、撮像画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。

（６）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した複数の撮像画像データに対する画像処理の内容について説明する。

本実施形態において、画像処理部２０２は、携帯端末装置１００から送信されてきた撮像画像データに対して、幾何学的歪みの補正・レンズ歪みの補正、および、高解像度補正を行う。以下、各補正の処理について説明する。

（６−１）幾何学的歪みの補正・レンズ歪みの補正
画像処理部２０２は、撮像画像判定部１０２における処理と同様にして、撮像画像における撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、画像処理部２０２は、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズひずみ補正を行う。

具体的には、図１２の実線で示されるように、画像処理部２０２は、検出した撮像対象物のエッジ点を検出し、撮像画像判定部１０２と同様に、各エッジ点を撮像対象物の４辺に対応する４つの群に分類する。そして、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、画像処理部２０２は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、画像処理部２０２は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１２において点線で示される）と合同な外接四角形（図１２において１点鎖線で示される）を求める。そして、画像処理部２０２は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。

また、画像処理部２０２は、幾何学的歪みの補正を以下のようにして実行する。画像処理部２０２は、例えば、図１３に示すように、上記のようにして求めた外接四角形を対象物のアスペクト比（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど）に合わせ同様に写像変換すればよい。当該写像変換としては公知の技術を用いることができる。なお、画像処理部２０２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。

なお、幾何学的歪みの補正およびレンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。

（６−２）複数の画像データを用いた高解像度補正
上述したように、画像出力装置２００は、携帯端末装置１００から、同一の撮像対象物に対して撮像された複数の撮像画像データを受信する。そして、画像処理部２０２は、当該複数の撮像画像データに基づいて高解像度補正を行う。

複数の画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。一般的には、高解像度補正は、複数の画像の位置合わせ処理と再構成処理により成立する。本実施形態では、位置合わせ処理の例として、上記（３−３）記載の正規化相関パターマッチングの方法を適用する。すなわち、上記Ｓ（ｘ，ｙ）が極大値を示すズレ量だけずらすことにより、複数の画像の位置合せを行うことができる。

次に、画像処理部２０２は、再構成処理を行う。すなわち、画像処理部２０２は、解像度変換後の倍率に応じた画素数を有する再構成画像データを作成する。ただし、画像サイズは、撮像画像のサイズと同一とする。そして、画像処理部２０２は、再構成画像データの各画素の画素値を以下のようにして決定する。すなわち、画像処理部２０２は、再構成画像データにおける各画素（再構成画素）について、当該再構成画素の近傍となる撮像画像の画素（撮像画素）を複数の撮像画像の中から決定し、一般的な補間方法（線形補間やバイキュービック補間など）で補間を行う。

具体的には、図１４に示されるように、着目する再構成画素近傍の撮像画素、例えば撮像画素の格子を結ぶ線（図の点線）が最も近距離である２点を横方向・縦方向のそれぞれで選択する。ここでは、横方向での最も近距離である２点は、１枚目の撮像画像の撮像画素１−２（画素値：Ｖ_ｉ１−２：以下同様）および撮像画素１−４であり、縦方向での最も近距離である２点は、２枚目の撮像画像の撮像画素２−１および撮像画素２−２であったとする。なお、再構成画素近傍の撮像画素を選択する際には、上記幾何学的歪みの補正・レンズ歪みの補正が実行された複数の撮像画像データの中から選択するものとする。これにより、幾何学的歪み・レンズ歪みの補正がされた状態で高解像度補正を行うことができる。もしくは、補正後の座標の値を計算する際に、基となる複数の撮像画像の該当する幾何学補正・レンズ歪みの補正を考慮した座標の値を基に求めてもよい。つまり、幾何学補正・レンズ歪みの補正値のみ算出し、再構成処理を行った後に、当該補正値により座標変換を行ってよい。

そして、横方向および縦方向のそれぞれについて選択した２点を結ぶ線分に垂直であり、かつ着目する再構成画素の点を含む直線と当該線分との交点を求める。図１４に示されるように、当該交点が２つの線分のぞれぞれについてｔ：１−ｔ、ｕ：１−ｕで内分している場合、画像処理部２０２は、着目する再構成画素の画素値Ｖ_ｓを下記式４に基づいて求めればよい。この場合は、線形補間を行ったことになる。そして、全ての再構成画素について同様にして画素値を求め、高解像度化された再構成画像データを生成することができる。

なお、補間方法として別の手法を用いても良い。また、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に紹介されている別の方法を用いてもよい。例えば、ＭＡＰ（Maximum A Posteriori）法のような、先ず推定に基づく事後確率に対応する評価関数を最小化することで求める手法を用いても良い。

（７）撮像画像処理システムの画像処理方法
以下、図１に基づいて、撮像画像処理システムの処理の流れについて説明する。なお、図１において、（ａ）は携帯端末装置１００の処理フローを示し、（ｂ）は画像出力装置２００の処理フローを示している。

まず、携帯端末装置１００は、撮像モードの選択受付を行う。ここで、ユーザは、文書画像を含む用紙や表示画面など矩形状の撮像対象物を撮像し、撮像画像を画像出力装置２００により高解像度化して出力することを希望する場合、文書撮像モードを選択する。

文書撮像モードの選択入力を受け付けた携帯端末装置１００では、制御部１０９は、高解像度補正を行う際の解像度変換の倍率の入力を促す画面を表示部１０５に表示し、当該倍率を入力部１０６から取得する。制御部１０９は、取得した倍率に応じて、撮像部１０１における撮像回数、撮像画像判定部１０２における処理実行条件の一部を決定する。また、制御部１０９は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１０５に表示し、入力部１０６から出力処理情報を取得する。

そして、撮像部１０１は、シャッターが押下されたことを検知すると、制御部１０９にて設定された撮像回数だけ連続して撮像する（Ｓ１０）。

次に、画像処理部１０３は、撮像した画像のデータに対して少なくともＡ／Ｄ変換処理を行う。その後、Ａ／Ｄ変換処理された複数の撮像画像データに対して、撮像画像判定部１０２は、処理実行条件を満たすか否かを判定する（Ｓ１１）。なお、詳しい判定方法、判定項目などは、例えば上記（３−１）〜（３−３）で説明したとおりである。

撮像画像判定部１０２が処理実行条件を満たさないと判定した場合（Ｓ１１でＮＯ）、制御部１０９は、表示部１０５に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ１２）。再撮像した画像であっても、上述した判定項目などを満足しない場合、携帯端末装置１００はステップＳ１０〜Ｓ１２を繰り返して行う。

一方、撮像画像判定部１０２が処理実行条件を満たすと判定した場合（Ｓ１１でＹＥＳ）、制御部１０９は、処理実行条件を満たす複数の撮像画像データにファイルネームを付ける（Ｓ１３）。なお、制御部１０９は、例えば、撮像日時に従った連続番号など各撮像画像データについて異なるファイルネームを自動的に付けても良いし、入力部１０６に入力されたファイルネームを付けてもよい。その後、制御部１０９は、当該画像データを、記憶部１０８に格納されている携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１０４に転送する。そして、通信部１０４は、これらの情報を画像出力装置２００に送信する（Ｓ１４）。

なお、制御部１０９は、ファイルネームがつけられた画像データを、記憶部１０８、あるいはメモリカードに一時保存して、ユーザの要求によって、上記携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１０４に転送し、さらに画像出力装置２００に送信してもよい。

次に、画像出力装置２００の第１通信部２０７は、携帯端末装置１００からの複数の撮像画像データ、機種情報、ユーザ情報および出力処理情報を受信する（Ｓ２０）。受信後、画像処理部２０２は、例えば上記（６−１）に説明したとおり、幾何学的歪みの補正・レンズ歪みの補正を行う（Ｓ２１）。さらに、画像処理部２０２は、例えば上記（６−２）に説明したとおり、複数の撮像画像データに基づいて高解像度補正を行う（Ｓ２２）。その後、制御部２１２は、画像処理部２０２で処理された撮像画像データを、記憶部２１０に格納する（Ｓ２３）。

次に、制御部２１２は、撮像画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ２４）。出力指示の入力がない場合（Ｓ２４でＮＯ）、出力指示が入力されるまで待機する。

一方、出力指示がある場合（Ｓ２４でＹＥＳ）、認証部２０３は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ２５）。なお、認証部２０３は、画像出力装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。。

ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ２６）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ２６でＹＥＳ）、制御部２１２は、携帯端末装置１００から受信したい出力処理情報に従って出力処理を実行させる（Ｓ２７）。例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、画像形成部２０４に対して処理実行指示を出力する。その後、処理を終了する。

一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ２６でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ２８）。そして、認証回数が所定回数以上でない場合（Ｓ２８でＮＯ）、Ｓ２５，Ｓ２６の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ２８でＹＥＳ）、出力せずにフローを終了する。

以上のように、本実施形態によれば、携帯端末装置１００で撮像した撮像画像を高解像度補正した状態で画像出力装置２００で出力させることができる。その結果、文字の判読性を向上させることができる。そのため、原稿用紙を画像出力装置２００まで持っていくことが困難な場合であっても、当該原稿用紙を撮像することで、当該原稿用紙の画像を高解像度で得ることができる。また、プロジェクターなどで表示された映像画面についても携帯端末装置１００で撮像することで、後に画像出力装置２００から高解像度の画像を得ることができる。

（８）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の一例について説明する。

（８−１）撮像回数について
上記の説明では、携帯端末装置１００において、制御部１０９は、高解像度補正のために必要な撮像画像の数だけ撮像部１０１に撮像させるものとした。すなわち、制御部１０９は、撮像回数と処理実行条件の中の撮像画像データの必要数とを同じ値に設定した。しかしながら、制御部１０９は、撮像回数として、高解像度補正のための必要数よりも大きな値を設定してもよい。例えば、解像度変換の倍率が２倍である場合、必要数「２」に対して撮像回数「３」を設定してもよい。

このように撮像回数が必要数よりも大きい場合、撮像画像判定部１０２は、撮像回数分の撮像画像データの中から、処理実行条件を満たす撮像画像データの組合せが存在するか否かを判断すればよい。例えば、必要数「２」に対して撮像回数「３」である場合、３つの撮像画像データの中で、必要数の撮像画像データの組合せが３つある。この場合、撮像画像判定部１０２は、各組合せについて処理実行条件を満たすか否か順次判定する。そして、処理実行条件を満たす組合せを確認できた時点で撮像画像判定部１０２は処理を終了し、当該組合せに含まれる撮像画像データを通信部１０４が画像出力装置２００に送信すればよい。もしくは、撮像画像判定部１０２は、全ての組合せについて処理実行条件を満たすか否か判定してもよい。この場合、複数の組合せが処理実行条件を満たす場合、制御部１０９は、検出したズレ量が所定範囲の中央値に最も近い組合せを画像出力装置２００に送信するものと決定してもよい。例えば、所定範囲が０．３〜０．７である場合、ズレ量が０．５に最も近い組合せを選択すればよい。

（８−２）撮像画像判定部の判定項目について
上記の説明では、文書撮像モードが選択されたときに、撮像画像判定部１０２は、撮像画像における撮像対象物の傾き、幾何学的歪み、複数の撮像画像間のズレ量を判定するものとした。しかしながら、撮像画像判定部１０２における判定項目はこれに限定されるものではない。以下にこの変形例を説明する。

（ａ）例えば、ユーザは、文書画像を含む用紙や表示画面のような矩形状の撮像対象物に限らず、風景や人物などの撮像画像についても高解像度化された状態で画像出力装置２００で出力することを希望することが考えられる。そこで、携帯端末装置１００は、文書撮像モードに代えて、もしくは、文書撮像モードとは別に、単に撮像画像を画像出力装置２００において高解像度補正して出力する処理を行うための高解像出力モードを備えていてもよい。文書撮像モードとは別に高解像度出力モードを備える場合、携帯端末装置１００は、選択されたモードを示す情報を付けて撮像画像データを出力すればよい。これにより、画像出力装置２００はモードに応じた処理を行うことができる。

そして、高解像出力モードが選択された場合、携帯端末装置１００では、撮像画像判定部１０２は、上記の（３−３）に記載されたズレ量の判定のみを行い、（３−１）（３−２）に記載された、撮像対象物の傾き、幾何学的歪みの判定を行わない。そして、高解像度出力モードである旨の通知を受けた画像出力装置２００においても、画像処理部２０２は、（６−２）に記載された高解像度補正を行い、（６−１）に記載された幾何学的歪みの補正・レンズ歪みの補正を実行しない。これによっても、撮像した画像よりも高解像度の画像を得るという効果を奏することができる。

なお、この場合、撮像画像判定部１０２は、撮像画像の中心付近からズレ検出量部分画像を抽出すればよい。

（ｂ）上記の判定項目に加えて、他の判定項目について判定してもよい。他の判定項目としては、明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）などがある。

明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、撮像画像判定部１０２は、例えば、撮像画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１０９に出力する。そして、制御部１０９は、露出アンダーまたは露出オーバーの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。もしくは、制御部１０９は、露出アンダーの場合には、撮像部１０１における露光時間を長くするように設定変更し、露出オーバーの場合には、露光時間を短くするように設定変更する。その後、制御部１０９は、ユーザに再撮像を促す指示を通知してもよい。

コントラストについては、撮像画像判定部１０２は、撮像画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。そして、制御部１０９は、コントラスト不足との判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

なお、明るさ・コントラストの判定において、撮像画像判定部１０２は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。

カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、撮像画像判定部１０２は、例えば、撮像画像中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。そして、制御部１０９は、カラーバランス不良であるとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

ブレ（激しい手ぶれ：いわゆるモーションブラー）については、発生時にエッジの先鋭性が低下することから、撮像画像判定部１０２は、図９に挙げたようなエッジ抽出フィルタを用いて、エッジ強度画像を作成してヒストグラムを取り、その標準偏差値（前記分散の二乗根）を求める。そして、とうがい標準偏差値が所定閾値（例えば５）以下の場合、ブレが発生していると判定する。そして、制御部１０９は、ブレが発生しているとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

（８−３）画像出力装置の処理項目について
上記の説明では、画像出力装置２００の画像処理部２０２は、携帯端末装置１００から受信した複数の撮像画像データに対して、幾何学的歪みの補正、レンズ歪みの補正、高解像度補正を行うものとした。しかしながら、画像処理部２０２における処理内容はこれに限定されるものではない。例えば、画像処理部２０２は、上記の補正に加えて、カラーバランス、コントラストの補正や傾き補正を行ってもよい。

カラーバランスの補正方法としては、画像処理部２０２は、受信した撮像画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用すればよい。ルックアップテーブルの一例としては、図１１に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮである場合、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。

画像処理部２０２は、コントラストの補正についても同様の方法で実行することができる。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。

なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。

また、画像処理部２０２は、（３−１）で記載された方法により撮像対象物の傾きを検知し、当該傾きが０度になるように撮像画像データの回転処理を施せばよい。もしくは、携帯端末装置１００は、撮像画像データとともに、（３−１）で検出された傾き角度を画像出力装置２００に送信してもよい。そして、画像処理部２０２は、携帯端末装置１００から受けた傾き角度に基づいて、撮像対象物の傾きが０度になるように撮像画像データの回転処理を施せばよい。

（８−４）撮像部について
上記の説明では、撮像部１０１が連続して複数回撮像するときの手ぶれによって、複数の撮像画像にズレが生じることを利用する形態とした。しかしながら、これに限らず、撮像部１０１は、連続して複数回撮像するときに、撮像素子（ＣＣＤ・ＣＭＯＳ）またはレンズを微小にずらしてもよい。これにより、複数の撮像画像間においてズレが確実に生じることになる。

（８−５）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像出力装置２００に送信するものとした。しかしながら、これに限らず、画像出力装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。

（８−６）出力処理について
画像出力装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。

また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、撮像画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。

（８−７）画像出力装置が備える画像処理部について
上記の説明では、画像出力装置２００が備える画像処理部２０２が高解像度補正などを行うものとして説明した。しかしながら、画像出力装置２００は、撮像画像データに対する高解像度補正やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した撮像画像データに対して高解像度補正を行い、補正後の撮像画像データを出力する画像出力装置であるといえる。

（９）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像出力装置２００に送信し画像出力装置２００より出力する方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、携帯端末装置１００や画像出力装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。

１００ 携帯端末装置
２００ 画像出力装置
１０１ 撮像部
１０２ 撮像画像判定部
１０３ 画像処理部
１０４ 通信部（送信部）
１０５ 表示部（通知部）
１０６ 入力部
１０９ 制御部（送信部、通知部）
２０２ 画像処理部（補正処理部）
２０４ 画像形成部（出力部）
２０５ 表示部
２０６ 入力部
２０７ 第１通信部（受信部）
２０８ 第２通信部（出力部）
２１２ 制御部（出力部）

Claims (16)

1. 複数の画像データから、当該複数の画像データの解像度よりも高解像度の画像データに補正する高解像度補正を行う補正処理部を備え、上記補正処理部によって補正された高解像度の画像データを出力する画像出力装置に対して画像データを送信する携帯端末装置であって、
   同一の撮像対象物に対して連続して複数回撮像する撮像部と、
   上記撮像部による連続した複数回撮像により得られた複数の撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、
   上記撮像画像判定部により上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信部とを備え、
   上記撮像対象物は、文書画像が形成された矩形状の面を有しており、
   上記所定条件は、少なくとも以下の条件Ａおよび条件Ｂを含み、
   条件Ａ：上記撮像部により連続して撮像された複数の撮像画像データの中に、上記補正処理部による高解像度補正に適した、所定量だけずれた所定数（２以上の整数）の撮像画像データの組合せが含まれる、
   条件Ｂ：上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる、撮像画像データにおける上記矩形状の面の歪みの度合いを示す特徴量が所定範囲内である、
   上記送信部は、上記撮像画像判定部により上記組合せとして判定された所定数の撮像画像データを送信することを特徴とする携帯端末装置。
2. 複数の画像データから、当該複数の画像データの解像度よりも高解像度の画像データに補正する高解像度補正を行う補正処理部を備え、上記補正処理部によって補正された高解像度の画像データを出力する画像出力装置に対して画像データを送信する携帯端末装置であって、
   同一の撮像対象物に対して連続して複数回撮像する撮像部と、
   上記撮像部による連続した複数回撮像により得られた複数の撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、
   上記撮像画像判定部により上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信部とを備え、
   上記撮像対象物は、文書画像が形成された矩形状の面を有しており、
   上記所定条件は、少なくとも以下の条件Ａおよび条件Ｃを含み、
   条件Ａ：上記撮像部により連続して撮像された複数の撮像画像データの中に、上記補正処理部による高解像度補正に適した、所定量だけずれた所定数（２以上の整数）の撮像画像データの組合せが含まれる、
   条件Ｃ：撮像画像データにおける上記矩形状の面の傾き角度が所定範囲内である、
   上記送信部は、上記撮像画像判定部により上記組合せとして判定された所定数の撮像画像データを送信することを特徴とする携帯端末装置。
3. 上記撮像画像判定部により上記所定条件を満たさないと判定された場合、ユーザに対して再撮像を促す通知を行う通知部を備えることを特徴とする請求項１または２に記載の携帯端末装置。
4. 請求項１から３のいずれか１項に記載の携帯端末装置と、
   上記携帯端末装置から複数の画像データを受信する画像出力装置とを備えた撮像画像処理システムであって、
   上記画像出力装置は、
   上記携帯端末装置から上記所定数の撮像画像データを受信する受信部と、
   受信部が受信した所定数の撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部と、
   上記補正処理部により生成された高解像度画像データ、あるいは、当該高解像度画像データで示される画像を出力する出力処理を実行する出力部とを備えることを特徴とする撮像画像処理システム。
5. 上記撮像対象物は、文書画像が形成された矩形状の面を有しており、
   上記補正処理部は、上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みを補正するとともに、上記高解像度補正を行うことを特徴とする請求項４に記載の撮像画像処理システム。
6. 上記撮像対象物は、文書画像が形成された矩形状の面を有しており、
   上記補正処理部は、上記撮像部による撮像画像データにおける上記矩形状の面のエッジが曲線状となるレンズ歪みを補正するとともに、上記高解像度補正を行うことを特徴とする請求項４または５に記載の撮像画像処理システム。
7. 上記出力部は、上記高解像度画像データに対応する画像を記録用紙に形成する印刷処理を上記出力処理として実行することを特徴とする請求項４から６のいずれか１項に記載の撮像画像処理システム。
8. 上記出力部は、上記高解像度画像データを外部記憶装置に格納する格納処理を上記出力処理として実行することを特徴とする請求項４から６のいずれか１項に記載の撮像画像処理システム。
9. 上記出力部は、上記高解像度画像データを電子メールに添付して送信するメール送信処理を上記出力処理として実行することを特徴とする請求項４から６のいずれか１項に記載の撮像画像処理システム。
10. 上記撮像対象物は、文書画像を有しており、
    上記出力部は、上記高解像度画像データにおいて上記文書画像に対応する領域とそれ以外の領域とに分離し、各領域に対して異なる圧縮率で圧縮させた状態で上記高解像度画像データを出力することを特徴とする請求項８または９に記載の撮像画像処理システム。
11. 上記撮像対象物は、文書画像を有しており、
    上記出力部は、上記高解像度画像データにおける上記文書画像に対応する領域の中から文字を抽出し、抽出した文字をテキストデータに変換し、当該テキストデータを上記高解像度画像データに付加して出力することを特徴とする請求項８または９に記載の撮像画像処理システム。
12. 複数の画像データから、当該複数の画像データの解像度よりも高解像度の画像データに補正する高解像度補正を行う補正処理部を備え、上記補正処理部によって補正された高解像度の画像データを出力する画像出力装置に対して画像データを送信する携帯端末装置の制御方法であって、
    上記携帯端末装置は、同一の撮像対象物に対して連続して複数回撮像する撮像部を備え、
    上記撮像部による連続した複数回撮像により得られた複数の撮像画像データが所定条件を満たすか否かを判定する撮像画像判定ステップと、
    上記撮像画像判定ステップにおいて上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信ステップとを含み、
    上記撮像対象物は、文書画像が形成された矩形状の面を有しており、
    上記所定条件は、少なくとも以下の条件Ａおよび条件Ｂを含み、
    条件Ａ：上記撮像部により連続して撮像された複数の撮像画像データの中に、上記補正処理部による高解像度補正に適した、所定量だけずれた所定数（２以上の整数）の撮像画像データの組合せが含まれる、
    条件Ｂ：上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる、撮像画像データにおける上記矩形状の面の歪みの度合いを示す特徴量が所定範囲内である、
    上記送信ステップにおいて、上記撮像画像判定ステップにおいて上記組合せとして判定された所定数の撮像画像データを送信することを特徴とする携帯端末装置の制御方法。
13. 複数の画像データから、当該複数の画像データの解像度よりも高解像度の画像データに補正する高解像度補正を行う補正処理部を備え、上記補正処理部によって補正された高解像度の画像データを出力する画像出力装置に対して画像データを送信する携帯端末装置の制御方法であって、
    上記携帯端末装置は、同一の撮像対象物に対して連続して複数回撮像する撮像部を備え、
    上記撮像部による連続した複数回撮像により得られた複数の撮像画像データが所定条件を満たすか否かを判定する撮像画像判定ステップと、
    上記撮像画像判定ステップにおいて上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信ステップとを含み、
    上記撮像対象物は、文書画像が形成された矩形状の面を有しており、
    上記所定条件は、少なくとも以下の条件Ａおよび条件Ｃを含み、
    条件Ａ：上記撮像部により連続して撮像された複数の撮像画像データの中に、上記補正処理部による高解像度補正に適した、所定量だけずれた所定数（２以上の整数）の撮像画像データの組合せが含まれる、
    条件Ｃ：撮像画像データにおける上記矩形状の面の傾き角度が所定範囲内である、
    上記送信ステップにおいて、上記撮像画像判定ステップにおいて上記組合せとして判定された所定数の撮像画像データを送信することを特徴とする携帯端末装置の制御方法。
14. 請求項１から３のいずれか１項に記載の携帯端末装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
15. 請求項４から１１のいずれか１項に記載の撮像画像処理システムの画像出力装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
16. 請求項１４または１５に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。

Images