JP2014123881A

JP2014123881A - 情報処理装置、情報処理方法、コンピュータプログラム

Info

Publication number: JP2014123881A
Application number: JP2012279480A
Authority: JP
Inventors: Junya Arakawa; 純也荒川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-21
Filing date: 2012-12-21
Publication date: 2014-07-03

Abstract

【課題】画像の原稿領域外の画質の影響を受けにくい画質判定を行うことを目的とする。
【解決手段】画像から原稿領域を特定し、特定された原稿領域内の前記画像の特徴および印刷設定情報に基づいて、原稿領域内の画像が印刷に適するかどうかを判定し、原稿領域内の画像が印刷に適すると判定されなかった場合、原稿領域内の画像が印刷に適さないことを示す情報を表示する
【選択図】図９

Description

本発明は、撮影機能を持った情報処理装置の撮影処理の制御技術に関するものである。

近年、スマートフォンやタブレットＰＣといった高度な情報処理機能を持つ携帯端末が普及してきている。これら携帯端末は、カメラを備え、撮影機能（カメラ機能）を有している。このような携帯端末のカメラ機能を用いて紙媒体の原稿を撮影し、携帯端末のメモリ上に画像データとして保存することが行われるようになってきた。それに伴い、撮影した画像データをプリンタへ送信してプリントするといったように、原稿を複写するために携帯端末とプリンタを組み合わせて使用する機会が増えてきた。このように、ユーザがスキャナを備えたＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎＰｅｒｉｐｈｅｒａｌ）を持っていなくても、携帯端末と、印刷機能を有したＳＦＰ（ＳｉｎｇｌｅＦｕｎｃｔｉｏｎＰｅｒｉｐｈａｒａｌ）とがあれば、原稿の複写ができるようになってきている。

携帯端末のカメラ機能を用いた原稿の撮影は、ＭＦＰのおける原稿のスキャンとは異なり、原稿を撮影する際の原稿に対する携帯端末の距離・傾き・焦点距離・露光・シャッター速度、手ぶれなどの様々な要因により、安定した画質とはならない。画質がユーザの満足できるものでない場合には、撮影をやり直す必要がある。撮影をやり直すかどうかを、撮影のたびにユーザが画質を判断して行うのはユーザにとって煩雑であり、また、画質の判断が知識を必要とする場合には、ユーザによる判断自体が難しい。

ユーザによる画質の判断を容易にするために、特許文献１は、手ぶれ量または画像中の文字サイズを用いて、撮影した画像の画質を判定して、取り直しをユーザに促す通知を行うデジタルカメラを開示する。このデジタルカメラを用いて撮影を行っているユーザは、通知に従って撮り直しをするかの判断を行う。

特許第４３６６４８４号

特許文献１は、撮影した画像全体の画質を判定して、取り直しすべきかをユーザに促す技術を開示する。例えば特許文献１の開示する技術では、撮影した画像の原稿領域外に偶然に写り込んでしまった物体（指など）がボケて撮影されている場合には、画質が良くないと判定され、取り直しがユーザに促される。

しかしながら、原稿を複写しようとして原稿を撮影するユーザは、撮影した画像全体ではなく原稿領域の画質を重視する。そのため、原稿領域の画質は望ましいものであっても、原稿領域外の画質が良くないからといって取り直しが促されると、ユーザにかえって煩雑さ感じさせることになる。

本発明は、上記事情に鑑みてなされたものであり、画像の原稿領域外の画質の影響を受けにくい画質判定を行うことを目的とする。

本発明の情報処理装置は、原稿を撮像することで画像を取得する撮像手段と、印刷設定情報を設定する設定手段と、前記撮像手段によって取得された前記画像から原稿領域を特定する特定手段と、前記特定された原稿領域内の前記画像の特徴および前記設定された印刷設定情報に基づいて、前記特定された原稿領域内の前記画像が印刷に適するかどうかを判定する判定手段と、前記判定手段によって前記原稿領域内の前記画像が印刷に適すると判定されなかった場合、前記原稿領域内の前記画像が印刷に適さないことを示す情報を表示する表示手段と、を有することを特徴とする。

画像の原稿領域外の画質の影響を受けにくい画質判定を行うので、原稿領域内の画質判定を良好にすることができる。

本発明の一実施形態としてのシステム構成図携帯端末１０２の外観の例携帯端末１０２の構成図の例サーバ１２１の構成図の例プリンタ１０３の構成図の例シーケンス図全体の処理を示すフローチャート撮影原稿と原稿領域を表す図実施例１でのステップＳ７０３の原稿の撮影処理の詳細処理を示すフローチャート原稿撮影時のタッチパネル表示の例を示す図原稿領域の形状判定の例を示す図原稿領域の画質判定の例を示す図原稿領域の原稿モードを考慮した画質判定の例を示す図撮り直し処理をユーザに促すタッチパネルの例を示す図実施例２でのステップＳ７０３の原稿の撮影処理の詳細処理を示すフローチャート実施例３でのステップＳ７０３の原稿の撮影処理の詳細処理を示すフローチャート

（実施例１）
以下、本発明を実施するための形態について図面を用いて説明する。

図１に本実施例で利用するシステムの全体構成を示す。ＬＡＮ１１０には、プリンタ（印刷装置）１０３および無線ルータ１０２が接続されている。また、ＬＡＮ１１０はインターネット１２０に接続されており、サービス提供しているサーバ１２１ともインターネット１２０経由で接続されている。携帯端末１０１、プリンタ１０３、サーバ１２１は、無線ルータ１０２およびＬＡＮ１１０を介して、互いに接続されており、画像データや各種情報の送受信を行う。ここでは、無線ルータ１０２、プリンタ１０３はＬＡＮ１１０に接続されているが、その限りではない。無線ルータ１０２、プリンタ１０３はサーバ１２１に接続可能であればよい。なお携帯端末１０１は、以下の実施例において情報処理装置として機能する。

＜携帯端末の構成＞
図２に本実施例で利用する携帯端末１０１の外観を示す。携帯端末１０１は様々な種類が存在するが、図２（ａ）は、携帯端末１０１の表面である。表面には、タッチパネルディスプレイ２０１、操作ボタン２０２を持つ。図２（ｂ）は携帯端末１０１の裏面である。裏面には、カメラ２０３が配置されている。なお、本実施例はカメラ機能を持つ端末装置ならば利用が可能である。すわなち、カメラ機能をもったスマートフォンや携帯電話でも、通信機能を持ったデジタルカメラでも構わない。また、カメラ２０３には図示しないオートフォーカス機構が搭載されており、コントラスト比や赤外線の送受信タイミングなどによってピントの合った状態を自動的に検出しているが、これにより焦点距離や被写体距離を測定することができる。本実施例で利用するオートフォーカス機構は焦点距離や被写体距離を測定する方法の一例であり、焦点距離や被写体距離を測定できる他の方法を用いても良い。

図３に、携帯端末１０１の内部の構成を示す。但し、この構成図は本実施例を実施するための構成の一例である。図３において、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３がデータバス３１１を介してプログラムやデータを送受信する。また、データバス３１１には、記憶部３０４、データ送受信部３０５、撮像部３０６、表示部３０７、操作部３０８、画像処理部３０９、モーションセンサ３１０が接続され、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３も併せて、互いにプログラムやデータの送受信を行っている。

記憶部３０４は、フラッシュメモリであり、画像データや各種プログラムを格納する。

データ送受信部３０５は、無線ＬＡＮコントローラを有し、無線ルータ１０２を介して、プリンタ１０３やサーバ１２１とのデータの送受信を実現する。

撮像部３０６は、前述のカメラ２０３であり、原稿の撮影を行って撮影画像を取得する。取得された撮影画像のデータは後述のように各部に送信される。

表示部３０７は、前述のタッチパネルディスプレイ２０１を構成するディスプレイであり、カメラ機能を用いて原稿を撮影する際にライブビューによる表示を行ったり、本実施例の画質判定の結果による通知などの各種情報を表示する。

操作部３０８は、前述のタッチパネルディスプレイ２０１を構成するタッチパネルや操作ボタン２０２であり、ユーザからの操作を受け付けて各部へ該操作の情報を送信する。

モーションセンサ３１０は、３軸加速度センサ、電子コンパス、３軸角速度センサを搭載しており、公知の技術を利用することにより、携帯端末１０１の姿勢や移動を検知することが可能である。

なお、ＣＰＵ３０１がＲＯＭ３０３や記憶部３０４が保持するプログラムを実行することで、これらの携帯端末１０１内の構成要素の制御を行う。

＜サーバの構成＞
図４はサーバ１２１の構成例である。ＣＰＵ４０１は、ＲＯＭ４０３に記憶された制御プログラムを読み出して各種制御処理を実行する。ＲＡＭ４０２は、ＣＰＵ４０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ネットワークＩ／Ｆ部４０４は、サーバ１２１をインターネット１２０に接続し、他の装置との間で各種情報を送受信する。ＨＤＤ４０５は、画像データや各種プログラムを記憶する。

図４において、ネットワークＩ／Ｆ部４０４を介して受信した携帯端末１０１からの画像データを、データバス４１０を介してＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３が送受する。ＣＰＵ４０１がＲＯＭ４０３やＨＤＤ４０５に格納された画像処理プログラムを実行することによって、画像データに対する画像処理が実現される。

＜プリンタの構成＞
図５は本実施例で用いるプリンタ１０３の構成を説明する図である。プリンタ１０３は、コントローラ部５００、操作部５０９、外部メモリ５１０、プリンタ部５１１からなる。コントローラ部５００において、ＣＰＵ５０５は制御プログラム等に基づいて、システムバス５０８に接続されるプリンタＩ／Ｆ部５０４を介し、プリンタ部５１１に画像信号を出力する。なお、制御プログラムはＲＯＭ５０７や外部メモリ５１０に記憶される。また、このＲＯＭ５０７は、ＣＰＵ５０５の制御プログラム等を記憶する。ＣＰＵ５０５はネットワークＩ／Ｆ部５０１を介して携帯端末１０１やサーバ１２１との通信処理が可能となっている。これにより、プリンタ内の情報や、携帯端末での撮影情報、サーバ１２１での画像処理情報などを携帯端末１０１やサーバ１２１と送受可能に構成されている。ＲＡＭ５０６はＣＰＵ５０５の主メモリ、ワークエリア等として機能する。

入力された画像データはネットワークＩ／Ｆ部５０１を介してコントローラ部５００へ送られる。続いてＰＤＬ（ページ記述言語）データ処理部５０２がＰＤＬ解釈、レンダリングを行って、画像処理部５０３がプリント出力用画像処理を行い、プリンタ部５１１が処理済み画像データをプリントする。

＜フローチャートを用いた本実施例の詳細説明＞
図７は、本実施例における携帯端末１０１、サーバ１２１、プリンタ１０３による撮影画像内の原稿領域を抽出し、抽出した原稿領域の画像を出力原稿の大きさに変倍してプリントする処理を説明するフローチャートである。なお、携帯端末１０１での処理は、ＣＰＵ３０１が記憶部３０４に格納されている処理プログラムをＲＡＭ３０２にロードして実行することで実現される。同様に、サーバ１２１での処理は、ＣＰＵ４０１がＨＤＤ４０５に格納されている処理プログラムをＲＡＭ４０２にロードして実行することで実現される。また、プリンタ１０３での処理は、ＣＰＵ５０５が外部メモリ５１０に格納されている処理プログラムを５０６にロードして実行することで実現される。

ステップＳ７０１において、操作部３０８を介してユーザから撮影開始の指示が入力されると、携帯端末１０１はデータ送受信部３０５を介してＬＡＮ１１０に接続し、撮影画像データを印刷するプリンタをＬＡＮ１１０内の中から検索する。例えばユーザから操作部３０８を介して所望のプリンタのＩＰアドレスを入力されたら、そのＩＰアドレスに該当するプリンタを検索して見つけるといった方法が考えられる。また例えばＬＡＮ１１０内の利用可能なプリンタを検索し、見つかった複数の利用可能なプリンタの情報を表示部３０７に表示し、ユーザに操作部３０８を介して表示された複数のプリンタ情報の中から１つを選択させることでプリンタを見つける方法も考えられる。

ステップＳ７０２において、プリンタ１０３が見つけられると、プリンタ１０３はプリンタ情報を、携帯端末１０１に対して通知する。ここでのプリンタ情報とは、プリンタ１０３で使用可能な用紙サイズや用紙の種類、プリンタ１０３の出力解像度、プリンタ１０３で両面印刷が可能か、プリンタ１０３でＮｉｎ１印刷が可能か、プリンタ１０３でカラー印刷が可能か、といったプリンタ１０３の印刷能力に関する情報を含む。そしてユーザは、これらのプリンタ情報に基づいて、撮影画像をプリンタ１０３で印刷する際の設定に関する情報（印刷設定情報）を、操作部３０８を介して設定する。設定された印刷設定情報はＲＡＭ３０２に保存される。このように印刷設定情報をプリンタ情報に基づいて設定することで、プリンタ１０３での印刷に適した画像の印刷の設定を行うことができる。印刷設定情報は、印刷に使用する用紙のサイズ・種類、印刷時の出力解像度、両面印刷の要否、Ｎｉｎ１印刷の要否、カラー印刷の要否などについての情報である。このステップＳ７０２において、携帯端末１０１のＣＰＵ３０１は、印刷設定情報をＲＡＭ３０２に設定する手段として機能する。

ステップＳ７０３において、携帯端末１０１は、撮像部３０６によって原稿が撮影されると、撮影画像データ内における原稿領域を、原点の頂点を抽出する。それを図示したのが、図８である。図８は撮影画像８０１と原稿領域８０２を示す。原稿領域８０２は抽出された原稿領域の頂点８０３、８０４、８０５、８０６を結ぶ線分に囲まれた矩形領域である。矩形の原稿領域の頂点８０３〜８０６は、例えばダグラス＆ポーカーの頂点抽出アルゴリズムなどの公知の方法によって抽出される。

次に、ＣＰＵ３０１が、その撮影した撮影画像８０１内の原稿領域８０２が印刷に適した画像であるかの判定を行う。判定の結果、印刷に適していなかった場合には、ユーザに取り直しの理由と対策を示し、ユーザに撮影画像の撮り直しを促す。上述したステップＳ７０３の詳細フローについては、図９を用いて後述する。

ステップＳ７０４において、携帯端末１０１は、ユーザによって操作部３０８を介して設定された出力用紙サイズやＮｉｎ１印刷など倍率に関係する印刷設定から導出される印刷画像サイズと、撮影画像内の原稿領域のサイズに基づいて変倍パラメータを算出する。ここで、算出する変倍パラメータは、撮影画像内の原稿領域が出力画像サイズに変倍されるような変倍パラメータである。例えば印刷設定がＡ４サイズの用紙サイズ・１ｉｎ１印刷である場合、出力画像サイズはＡ４サイズとなり、変倍パラメータは原稿領域の画像が出力画像サイズであるＡ４サイズに変倍されるような変倍率のパラメータとなる。また例えば印刷設定がＡ４の用紙サイズ・２ｉｎ１印刷である場合、出力画像サイズはＡ５サイズとなり、変倍パラメータは原稿領域の画像が出力画像サイズであるＡ５サイズに変倍されるような変倍率のパラメータとなる。

なお、用紙サイズは、原稿領域のアスペクト比から、Ａ系列の用紙を利用するのか、Ｂ系列の用紙を利用するのか、インチ系列の用紙を利用するのか等の紙種系列の切り替えをしてもよい。

変倍パラメータは、台形にゆがんでいる場合も考慮し、射影変換行列になる。射影変換行列は、撮影画像内の原稿領域の４点の頂点情報（頂点８０３、８０４、８０５、８０６）と、出力画像の４隅の座標情報から公知の方法により算出することが可能である。なお、処理速度を優先する場合には、アフィン変換行列や単純な変倍率を変倍パラメータとして算出しても良い。

ステップＳ７０５において、携帯端末１０１は、撮影画像データをＪＰＥＧフォーマットなどで圧縮する。

ステップＳ７０６において、携帯端末１０１は、圧縮済みの撮影画像データと共に、印刷設定、変倍パラメータを、データ送受信部３０５を介してサーバ１２１に送信する。

なお上記のステップＳ７０５、Ｓ７０６では撮像画像データに対して圧縮処理および送信処理がなされた。しかし、Ｓ７０５においてＣＰＵ３０１は撮像画像データにおける原稿領域の画像データを抽出し、抽出された原稿領域の画像データを撮影画像データとして、圧縮処理および送信処理を行うようにしてもよい。

以降のステップＳ７０７〜Ｓ７１６の処理は、サーバ１２１による処理となる。

ステップＳ７０７において、サーバ１２１は、携帯端末１０１より送信された撮影画像データ、印刷設定、変倍パラメータを受信する。次ステップ以降のサーバ１２１による処理は、印刷設定、変倍パラメータに基づいて行われる。

ステップＳ７０８において、サーバ１２１は、圧縮された撮影画像データを展開する。

ステップＳ７０９において、サーバ１２１は、撮影画像データの原稿領域だけに対して、ステップＳ７０４で算出した射影変換行列などの変倍パラメータを用いて、変倍処理を施す。原稿領域だけに変倍処理を施すので、変倍後の撮影画像データは、出力画像サイズに変倍された原稿領域内の画像データとなる。すなわち、原稿領域だけが出力画像サイズに変倍されることになる。言い換えればサーバ１２１は、撮影画像から原稿領域を抽出し、原稿領域を印刷用に変倍する。変倍処理は、アフィン変換やキュービック変倍や線形変倍などの他の公知の変倍技術を利用してもよい。以降の処理では撮影画像データは、出力画像サイズに変倍された原稿領域内の画像データである。

ステップＳ７１０において、サーバ１２１は、撮影画像データの濃度ムラ補正を行い、原稿撮影時の光源や影による色ムラを補正する。まず撮影時のノイズを除去するようなフィルタ処理を行い、その後下地に載っている色を飛ばして紙の白を再現できるような階調補正を行う。

ステップＳ７１１において、サーバ１２１は、像域判定を行い、撮影画像データ内の文字や線部分とそうでない部分とに切り分けて、それぞれの画素に対して属性フラグを付加する。

ステップＳ７１２において、サーバ１２１は、文字や線の属性と判定された画素に対してフィルタ処理を行い、文字や線がシャープになるように補正する。

ステップＳ７１３において、サーバ１２１は、文字単色化処理を行い、文字と判定された画素を単色で再現し、文字の鮮鋭化を図る。例えば、ある文字を再現する画素のＲＧＢ値を平均化し、その平均値を文字の色として適用するなどの手法をとる。

ステップＳ７１４において、サーバ１２１は、撮影画像データに対して、カメラ固有の色空間から共通のＲＧＢ色空間への変換を行う。ここでの色空間の変換は、あらかじめ定義付けられた３ｘ３のマトリクス演算によって携帯端末１０１のカメラ色空間から、ｓＲＧＢといった測色的な共通ＲＧＢ色空間への変換を行うものとする。

ステップＳ７１５において、サーバ１２１は、これまでのステップＳ７０７〜Ｓ７１４で補正してきた撮影画像データ（補正画像データ）をＪＰＥＧフォーマットなどで圧縮する。

ステップＳ７１６において、サーバ１２１は、圧縮済みの補正画像データと共に、印刷設定を、プリンタ１０３に送信する。

以降のステップＳ７１７〜Ｓ７２３の処理は、プリンタ１０３による処理となる。

ステップＳ７１７において、プリンタ１０３は、サーバ１２１から補正画像データと印刷設定を受信する。以降、プリンタ１０３は補正画像データをプリントするまでの処理を行う。ステップＳ７１８〜Ｓ７２１の処理は画像処理部５０３にて実施され、その処理パラメータとして、受信した印刷設定を利用する。

ステップＳ７１８において、プリンタ１０３は、圧縮されている補正された撮影画像データを展開する。

ステップＳ７１９において、プリンタ１０３は、色変換用ＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）を用いた補間演算によって、展開された画像データについて、共通ＲＧＢ色空間からプリンタに適したＣＭＹＫ各色成分からなるプリンタ色空間への変換を行う。ここでの色変換用ＬＵＴは、ＲＧＢの各３成分を適当な格子点間隔で分割した三次元のＬＵＴであり、それぞれのＬＵＴのエントリはそれぞれ、ＬＵＴの格子点に対応する８ビットのビット精度からなるＣＭＹＫ値を保有している。三次元ＬＵＴと既知の補間計算を組み合わせることにより、ＣＭＹＫ値からなる画像データに変換する。

ステップＳ７２０において、プリンタ１０３は、一次元のＬＵＴを用いて濃度特性が階調ターゲットに合うように補正する階調補正を行う。文字部とそれ以外の部分とで階調ターゲットを変える場合は、ここで階調ターゲットを切り替えて補正を行う。

ステップＳ７２１において、プリンタ１０３は、階調補正された画像データに対してディザマトリクスを用いて、ＣＭＹＫ各色１ビットの擬似中間調表現を持つ画像データに変換する。ここで、スクリーン処理は、ＲＡＭ５０６に格納されたディザマトリクス上の数値と入力画像データとを比較して、入力画像データの数値が大きければ１を、入力画像データの数値が小さければ０を出力する処理を行う。本実施例では説明の簡便さのために１ビット出力のスクリーン処理としているが、出力ビット数は１ビットに限定されるものではない。また、ＣＰＵ５０５の指示により、複数のディザマトリクスを切り替えて使用することもできる。

ステップＳ７２２において、プリンタ１０３は、処理済みの撮影画像データをプリントする。このようにして、携帯端末１０１が撮影した原稿は複写される。
ステップＳ７２３において、プリンタ１０３は、プリントを終了したことをユーザに知らせるため、携帯端末１０１へと、プリント終了通知を行う。

ステップＳ７２４において、携帯端末１０１は、プリンタ１０３からプリント終了通知を受信し、プリント処理通知を表示部３０７に表示し、処理を終了する。

＜ステップＳ７０３撮影処理の詳細フロー＞
続いて、ステップＳ７０３での原稿撮影について図９を用いて説明する。この原稿撮影処理は携帯端末１０１のＣＰＵ３０１にて実施され、図６のソフトウェアブロック図を用いて、ＣＰＵ３０１の詳細動作についても説明する。なお図６のソフトウェアブロック図は、ＣＰＵ３０１が記憶部３０４の処理プログラムを実行することで実現される処理をブロック図で表したものであり、ＣＰＵ３０１は各ブロックに示される各処理部として機能する。

ステップＳ９０１において、ＣＰＵ３０１は、図６のソフトウェアブロック図における撮影処理部６０１として動作する。

まず、ＣＰＵ３０１は、カメラ２０３がリアルタイムで取得している画像をタッチパネルディスプレイ２０１上にプレビュー画像として表示する。プレビュー画像は、定期的にＣＰＵ３０１により更新されており、ユーザが携帯端末１０１を動かすことにより変化する。これによりライブビュー撮影が可能になる。

ＣＰＵ３０１は、プレビュー画像内に原稿があるかどうか、原稿があった場合にプレビュー画像が撮影条件を満たしているかの判定を行う。原稿があるかどうかは原稿領域を検出して特定することにより行い、その方法は後述するステップＳ９０２における方法と同一である。プレビュー画像が撮影条件を満たしているとは、プレビュー画像内の原稿領域が、一定以上の面積である、原稿領域の頂点の内角の角度の９０度からのずれが一定の範囲内に収まっている、手ぶれ量が所定の範囲に収まっている、等である。それぞれの撮影条件が満たされているかを判定するために用いられるそれぞれの閾値は固定にせず、ステップＳ７０２においてＲＡＭ３０２に保存された印刷設定情報（印刷設定の用紙サイズおよびＮｉｎ１設定から決定される出力画像サイズや出力解像度など）に応じて可変にする。これは、印刷設定（出力画像サイズや出力解像度など）に応じて、印刷に適している画質が異なるためである。

プレビュー画像が撮影条件を満たしていた場合には、操作ボタン２０２を有効にし、撮影を促す。そして、ＣＰＵ３０１は、ユーザが操作ボタン２０２を押下するのを待つ。図１０（ａ）は、その例であり、プレビュー画像内に原稿領域があり、原稿領域の面積が所定の閾値以上あり、手ぶれ量も所定の閾値以下であるので、撮影「可」という表示を行い、ユーザに撮影を促している。

プレビュー画像が撮影条件を満たしていない場合には、プレビュー画像がどの撮影条件を満たしていないかの表示を行うことで、プレビュー画像が撮影条件を満たすように撮影することをユーザに促す。図１０（ｂ）は、その例であり、原稿があるが、原稿面積が所定の閾値より小さいであるために、撮影条件を満たしておらず、撮影「不可」という表示を行っている。そして、原稿領域の面積が所定の閾値より小さいことを、「ＮＧ」という文字列に下線を引くことにより、強調している。

撮影条件が満たされた後に、ユーザが操作ボタン２０２を押下することで、ＣＰＵ３０１は撮像部３０６に撮影指示を出す。なお、原稿が取得可能な条件が満たされたら、操作ボタン２０２が押下されなくても、自動的にＣＰＵ３０１が撮影指示を出すようにしてもよい。

撮影指示が出されると、撮像部３０６であるカメラ２０３はオートフォーカス機構を用いてオートフォーカスを行い、焦点距離を合わせてから撮影（撮像）を行う。このため、撮影指示が出てから、実際の撮影が行われるまでにはタイムラグがある。そのため、撮像部３０６が取得する撮影画像は、プレビュー画像が撮影条件を満たしていた状況とは異なる状況、例えばプレビュー画像が撮影条件を満たしていない状況下で撮影されたものである可能性がある。また、ボケ具合などの実際の画質は、撮影後でないと確定しないため、原稿領域の画像が印刷に適切な画質を有していない可能性もある。そのため、次ステップ以降で、撮影画像、特に原稿領域の画像の品質について評価をしていく。

撮影が終了したら、ＣＰＵ３０１は、撮影した画像を撮像部３０６からＲＡＭ３０２に転送し、ステップＳ９０２に進む。なお、記憶部３０４に保存してから、ＲＡＭ３０２に転送してもよい。

ステップＳ９０２において、ＣＰＵ３０１は、図６のソフトウェアブロック図における原稿領域検出部６０２として動作する。すなわち、ＣＰＵ３０１は、ＲＡＭ３０２にある撮影画像の解析を行い、撮影画像内の原稿領域の検出処理をする。

プレビュー画像においては、原稿領域を検出して特定していたはずであるが、撮影ボタンが押下されてから、実際の画像が撮影されるまでの間に携帯端末１０１が動くなどの変化が生じている可能性があるので、あらためて原稿領域の検出処理をする。本実施例では、原稿領域は矩形領域であることが前提であり、画像内の最も外側の矩形領域を検出し、それを原稿領域として特定する。具体的には、まず、ノイズの影響を除去するために、原稿領域を検出するのに十分な解像度まで撮影画像を小さくする。なお、この縮小した撮影画像は原稿領域の検出にしか利用しない。次ステップ以降で利用される撮影画像はオリジナルサイズの撮影画像である。

次に、原稿と原稿が置かれている台との間のエッジを検出するために、エッジ検出を行う。エッジ検出は、例えば、Ｃａｎｎｙエッジ検出などの公知の手法を利用すればよい。エッジ検出の閾値は、固定の閾値を用いても良いし、画像の明るさから自動的に算出するようにしてもよい。

そして、原稿領域のエッジが正常に検出できていれば、画像内に含まれる１つ以上の閉領域のうち他の閉領域に含まれていない閉領域が、原稿領域候補となる。その原稿領域候補の中には、原稿領域の外の机の模様なども含まれていることがある。しかしながら、閉領域が原稿領域であれば、その閉領域は、一定以上の面積を持ち、画像内で一番大きい閉領域のはずである。よって、ＣＰＵ３０１は、１つ以上の原稿領域候補のうち、一定以上の面積を持ち、画像内で一番大きい閉領域を最終的な原稿領域候補として検出する。画像内で一番大きい閉領域が一定以上の面積を持たない場合には、原稿領域以外が検出されたと想定し、ＣＰＵ３０１は、原稿領域が画像内に存在しないと判定する。原稿領域候補の閉領域の検出が出来たら、その閉領域を線分近似して、頂点を算出する。近似は、例えば、前述のダグラス＆ポーカーの頂点抽出アルゴリズムなどの公知の手法を利用すればよい。

線分近似の結果として、頂点の数が４つであった場合には、ＣＰＵ３０１は、原稿の４つの角が撮影されているとみなし原稿領域が検出されたと判定し、その頂点で囲まれた領域が原稿領域であると判定する。それを示したのが前述した図８であり、検出した頂点は、頂点８０３、８０４、８０５、８０６となる。なお、頂点座標は、次ステップ以降での利用のため、縮小した撮影画像ではなく、オリジナルの撮影画像の座標系での位置とする。頂点の数が４つでなかった場合には、原稿領域が画像内に存在しないと判定する。なお、エッジ検出において、原稿のエッジがすべて検出できず、途切れるような場合も考慮するのであれば、ハフ変換などを用いて、原稿の矩形領域を検出するようにしてもよい。

ステップＳ９０３において、ＣＰＵ３０１は、図６のソフトウェアブロック図における原稿領域形状判定部６０３として動作し、原稿領域の画像の幾何的な特徴を抽出して該特徴に基づいて原稿領域の画像が印刷に適するかどうかを判定する。ここでは特に、ＣＰＵ３０１は原稿領域が印刷に適した形状をしているかの判定を行う。判定は、原稿領域の面積や内角の角度などの幾何的な特徴により行う。判定は印刷設定に対してあらかじめ定められた閾値を用いて行う。なお、撮影条件が満たされているかを判定するために用いられる閾値は、ステップＳ７０２においてＲＡＭ３０２に保存された印刷設定に応じて変える。例えば、印刷設定の用紙サイズおよびＮｉｎ１設定から決定される出力画像サイズや出力解像度に応じて可変にする。この閾値は、ユーザが、タッチパネルディスプレイ２０１上で変更することが可能な仕組みを提供してもよい。

この判定処理についての例を、図１１を用いて説明をする。

図１１の（ａ）で表現される破線の枠は撮影画像であり、図１１の（ｂ）で表現される実線の枠は原稿領域である。図１１の（ａ）で表現される撮影画像と図１１の（ｂ）で表現される原稿領域を用いて、図１１（ｃ）〜（ｉ）における原稿領域の印刷可否判定を説明する。

図１１の（ｃ）は原稿領域が撮影画像内に存在せず、図１１の（ｄ）は原稿領域が撮影画像からはみ出しており、図１１の（ｅ）は原稿領域に指など原稿以外の異物が写り込んでいる。図１１の（ｃ）（ｄ）（ｅ）のように、原稿領域全体が撮影画像内に正常に写っていない場合は、原稿全体を再現することが出来ないので、撮影画像は印刷に適した画像ではない。このような場合は、原稿領域が矩形領域とならないので、本発明においては、ステップＳ９０２において、そもそも原稿領域として検出されない。

よって、原稿領域が検出されなかった場合には、ＣＰＵ３０１は、図１１の（ｃ）（ｄ）（ｅ）のような状況であると判定し、原稿領域が印刷に適した形状をしていないと判定をする。

図１１の（ｆ）は、原稿領域の面積が所定の閾値より小さい場合である。原稿領域の面積が所定の閾値より小さい場合には、原稿領域画像は低解像であるため、原稿領域が印刷に適した形状をしていないと判定をする。例えば、印刷設定の用紙サイズがＡ４サイズ（２１０ｍｍ×２９７ｍｍ）であり、Ｎｉｎ１設定が１ｉｎ１のレイアウトで印刷する設定であり、出力解像度から算出される最低解像力が２００ＤＰＩであったとする。その場合には、出力画像としては、約３８７万画素（２１０ｍｍ×２９７ｍｍ／２５．４ｍｍ＾２×２００ＤＰＩ＾２）以上の面積が望ましい。矩形領域の面積が、これより小さい場合には、原稿領域の解像度は２００ＤＰＩに満たないことになる。実際には、原稿領域が台形の場合には、奥と手前で画像の解像の程度が異なることになる。例えば手前の画像は高解像であるが、奥の画像は低解像となる。よって、印刷設定から求められる解像力（たとえば、前述の例では２００ＤＰＩ）以上の解像力を求める場合には、許容する台形の形（後述する許容する内角の角度）に合わせて、単純に印刷設定から求められる閾値（たとえば、前述の例では３８７万画素）よりも大きな値を閾値にする必要がある。

図１１の（ｇ）は、原稿領域の内角の角度と９０度との差分の絶対値（角度差分値）が所定の閾値より大きい場合である。内角の角度が９０度ではないということは、撮影時に、原稿とカメラ２０３がほぼ正対している状態とはなっておらず、原稿を斜めから撮影していることになる。そのために、撮影画像内の原稿領域の場所によって、解像力が異なることになる。内角が９０度から離れるにつれて、原稿領域が一定の面積であった場合の原稿領域内の最低解像力が低くなってくる。つまり、内角が９０度から離れるにつれて、一定以上の最低解像力を得るための原稿領域の前述した面積閾値を大きくする必要がある。

面積閾値が大きくなると、面積閾値と撮影画像面積の差が小さくなるので、許容される原稿とカメラ２０３との距離の範囲が狭くなり、ユーザが撮影するのが難しくなる。また、そもそも理論的な面積閾値が撮影画像面積を超える可能性もある。

一方、許容する角度差分値を厳しくすると、撮影時に原稿とカメラ２０３を正確に正対させる必要が出てくるので、ユーザが撮影するのが難しくなる。よって、撮影画像面積とのバランスを考えて、角度差分値の閾値を決める必要がり、閾値より大きい角度差分値をもつ原稿領域については、ＣＰＵ３０１は原稿領域が印刷に適した形状をしていないと判定をする。なお、原稿領域の面積が大きくなるにつれて、角度差分値に関する閾値が大きくなるような閾値設定としてもよい。

図１１の（ｈ）は、原稿領域全体が撮影画像内にあり、原稿領域の面積が一定の閾値以上であり、角度差分値が一定の閾値以下である場合である。このような場合は、原稿領域全体が撮影されており、原稿領域が一定以上の解像力で撮影されていることになるので、ＣＰＵ３０１は原稿領域が印刷に適した形状をしていると判定をする。

図１１の（ｉ）は、原稿領域外に手が写り込んでいること以外は、図１１の（ｈ）と同じ状況である。原稿領域の画像を印刷したい場合おいてユーザが重視するのは原稿領域であり、原稿領域外に写っているものは比較的重要ではない。よって、原稿領域の形状を利用して、撮影画像が印刷に適しているかを判定すればよいので、図１１の（ｉ）も、原稿領域が印刷に適した形状をしていると判定をする。つまり、図１１（ｉ）の撮影画像は、撮影画像中に手が写り込んでいるため、撮影画像全体を重視している場合には撮影に失敗しているとみなされ、従来技術では再撮影が促されてしまうような画像である。しかし原稿領域内の画像を重視したいユーザにとっては、図１１（ｉ）のような画像であっても、印刷に利用する原稿領域の品質としては十分であるため、ＣＰＵ３０１はこのような撮影画像を印刷に適した画像であると判定する。これにより、ユーザに必要性のない取り直しを要求することを避けることが出来る。

以上で説明をした判定により、原稿領域が印刷に適した形状をしていないと判定された場合には、ステップＳ９０６に進み、適した形状をしていると判定された場合には、ステップＳ９０４に進む。なお、面積や内角の角度以外の辺の長さの比などの他の原稿領域の幾何的特性を利用してもよい。このように、本ステップＳ９０３で、原稿領域の形状を用いて、１段階目の撮り直し判定をすることにより、すべての判定をしてから撮り直し判定を行うよりも、平均的な処理時間を短縮することが可能になる。なお２段階目の取り直し判定は、後述のステップＳ９０５のことである。

ステップＳ９０４において、ＣＰＵ３０１は、図６のソフトウェアブロック図における原稿領域画質／原稿モード認識部６０４として動作する。すなわち、ＣＰＵ３０１は、原稿領域自体の画質が印刷に適したものであるかの判定を行うために、原稿領域の画質／原稿モードを認識する。

原稿領域の画質とは、原稿領域の明るさ、原稿領域のコントラスト値、原稿領域の光量ムラ、原稿領域のボケ具合、等である。

原稿領域の明るさは、例えば、原稿領域内のヒストグラムの高輝度側のピークの輝度値を原稿の下地の明るさとし、これを原稿の明るさ値とする。

原稿領域のコントラスト比は、たとえば、原稿領域内のヒストグラムの高輝度側と低輝度側のピークの輝度値の比率を、原稿領域のコントラスト値とする。

原稿の光量ムラは、たとえば、原稿領域を分割し、分割領域の下地を検出し、分割領域ごとの下地の明るさを求め、その分散値を光量ムラ値とする。

原稿領域のボケ具合は、たとえば、原稿領域内のライン状のエッジを見つけ、そのエッジの変化率をボケ値とする。ライン状のエッジは、文字や、写真領域の枠や、写真内の人工物のエッジであることが想定され、ボケていない場合には強いエッジであることが予想される。このため、ライン状のエッジが弱いエッジになっているのはボケのせいと考えられるので、エッジの変化率（エッジの強さ）の逆数をボケ値とすることが可能である。なお、公知の画質をあらわす指標であれば、他の指標を用いてもよい。

原稿領域の原稿モードとは、原稿が文字主体の原稿であるか、写***体の原稿であるか、文字と写真がミックスされている原稿であるかなどの原稿種類である。原稿種類の判定は、例えば、サンプリングした小領域ごとの特徴を利用して行う。特徴としては、エッジの強さ、エッジの量、エッジの連続性、エッジの周期性、小領域の画素値の分散などが考えられる。

まず、原稿領域の複数の領域から小領域を取り出し、それぞれの領域が文字領域であるか、写真領域であるか、何もオブジェクトがない下地領域であるかの判定を行う。例えば小領域内の例えば小領域内の一定以上のエッジの強さを持つ画素のエッジの強さの平均が第１の閾値以上であり、エッジの周期性が第２の閾値以下であれば文字領域であると判定する。ここで、一定以上のエッジの強さを持つ画素だけに注目するのは、下地領域の影響を受けないようにするためである。文字領域と判定されなかった領域のうち、一定以上のエッジの強さを持つ画素のエッジの強さの平均が第３の閾値以上であった領域を写真領域であると判定する。ここで、第３の閾値は、第１の閾値よりも小さい値である。また、エッジの強さの平均が第３の閾値未満であれば（つまりエッジの量がほとんどなければ）下地領域であると判定する。

そして、「文字領域と判定された領域の数／（文字領域と判定された領域の数＋写真領域と判定された領域の数）」が１に近い場合には、原稿モードが文字モードであると判定する。

０に近い場合には、写真モードであると判定する。

０．５に近い場合には文字と写真がミックスされている文字写真モードであると判定をする。

そして、ＣＰＵ３０１は、判定されたモードを原稿モードに設定する。

ステップＳ９０５において、ＣＰＵ３０１は、図６のソフトウェアブロック図における原稿領域画質判定部６０５として動作し、原稿領域の画像の画質の特徴を抽出して該特徴に基づいて原稿領域の画像が印刷に適するかどうかを判定する。ここでは特に、ＣＰＵ３０１は、ステップＳ９０４における認識結果をもとに、撮影画像内の原稿領域が印刷に適した画質を保持しているかどうかの判定を行う。この判定において、ＣＰＵ３０１は撮影画像中の原稿領域の画像を解析し、原稿領域内の明るさ値・コントラスト値・光量ムラ値・ボケ値を求め、各値をそれぞれに対応する閾値と比較することで、原稿領域の画像が印刷に適した画質を有するかどうかを判定する。判定はあらかじめ定められた閾値を用いて行う。なお、閾値は、ステップＳ７０２においてＲＡＭ３０２に保存された印刷設定情報（カラー・モノクロ設定など）に応じて変わる。また、この閾値は、ユーザにタッチパネルディスプレイ２０１上で変更が可能な仕組みを提供してもよい。また、原稿領域の画質の判定は、図１３を用いて後述するように原稿モードを考慮した判定としても良い。この場合は、原稿モードによって異なる閾値を用いることで、原稿モードに適した画質の判定が行われる。

この判定処理についての例を、図１２を用いて説明をする。図１２においても、図１２（ａ）に示すように、図１２の（ａ）で表現される破線の枠は撮影画像であり、図１２の（ａ）で表現される実線で囲まれた領域は原稿領域である。図１２の（ｂ）〜（ｇ）も同様である。

図１２の（ａ）は撮影画像全体としては、明るい部分もあり、撮影画像全体の明るさ値は所定の閾値以上であって印刷にとって不適切ではないが、原稿領域自体は暗く、原稿の明るさ値が所定の閾値よりも小さい。

図１２の（ｂ）は撮影画像全体としては、明るい部分と暗い部分があり、撮影画像全体のコントラスト値は所定の閾値以上であるが、原稿領域内の明暗差は強くなく、原稿領域のコントラスト値が所定の閾値よりも小さい。

図１２の（ｃ）は撮影画像全体としては、光量ムラのない部分もあり、撮影画像の原稿領域以外の光量ムラ値は所定の閾値以下であるが、原稿領域内では光量ムラが大きく、原稿領域の光量ムラ値が所定の閾値よりも大きい。なお、明るさ・コントラスト値・光量ムラは、色味の再現を考えると、カラー印刷における影響力が大きいので、印刷設定がカラーの場合は、モノクロの場合に比べて、大きな閾値を設定する。

図１２の（ｄ）は、原稿領域外はボケていないが、原稿領域がボケてしまっており、原稿領域のボケ値が所定の閾値よりも大きい。なお、ボケは、印刷設定の用紙サイズおよびＮｉｎ１設定から決定される出力画像サイズが大きいほど、また、出力解像度が高いほど、画質に対する影響力が大きい。そこで、出力画像サイズが大きいほど、小さな閾値を設定する。また、出力解像度が高いほど、小さな閾値を設定する。

図１２（ａ）〜（ｄ）のような場合には、原稿領域内の画像が印刷に適した画質を保持していないと判定をする。これは、画質判定は原稿領域のみで行うためである。

図１２の（ｅ）は撮影画像内の画像領域以外は暗く、コントラストも低いが、原稿領域自体は明るく、明暗差もあり、原稿領域の明るさ値およびコントラスト値が所定の閾値以上であり、その他の画質をあらわす指標も所定の条件を満たす。

図１２の（ｆ）は撮影画像内の原稿領域以外は光量ムラが大きいが、原稿領域自体は光量ムラがなく、原稿領域の光量ムラ値が所定の閾値以下であり、その他の画質をあらわす指標も所定の条件を満たす。

図１２の（ｇ）は撮影画像内の原稿領域以外はボケているが、原稿領域自体はボケておらず、原稿領域のボケ値は所定の閾値以下であり、その他の画質をあらわす指標も所定の条件を満たす。

図１２（ｅ）〜（ｇ）のような場合には、原稿領域内の画像が印刷に適した画質を保持していると判定をする。これは、画質判定は原稿領域のみで行うためである。

図１２（ａ）〜（ｇ）を例に説明したように、例えば、明るさ値、コントラスト値、光量ムラ値、ボケ値を用いて原稿領域の画質を判定基準とすることで、原稿領域外の撮影画像の画質の影響を抑制して、撮影画像が印刷に適した画質であるかの判定を的確に行うことができる。これにより、必要のない撮り直しをユーザに強いたり、撮り直しの必要のある画像を見逃したりすることを防ぐことが可能となる。

次に、Ｓ９０４で認識された原稿モードと原稿領域の画像の画質を用いた判定処理について述べる。一般的に、文字がボケると可読性に強く影響するため、文字領域の方が写真領域に比べてボケに対する耐性が低い。そこで、原稿モードごとに閾値を設定すれば、原稿ごとの性質を考慮した撮り直し判定をすることが可能となる。つまり、ボケ値について第一の閾値と第二の閾値があり、第二の閾値の方が大きな値であるとしたときに、文字モードのボケ値を第一の閾値にし、写真モードのボケ値を第二の閾値にする。その例を、図１３を用いて説明をする。

図１３においても、図１３（ａ）に示すように、図１３の（ａ）で表現される破線の枠は撮影画像であり、図１３の（ａ）で表現される実線で囲まれた領域は原稿領域である。図１３の（ｂ）〜（ｅ）も同様である。

図１３（ａ）は、原稿領域の原稿モードが文字モードであり、原稿領域のボケ値が第一の閾値と第二の閾値の間にある場合である。

図１３（ｂ）は、原稿領域の原稿モードが写真モードであり、原稿領域のボケ値が第二の所定の閾値を超えている場合である。

図１３（ｃ）は、原稿領域の原稿モードが文字モードであり、原稿領域のボケ値が第一の閾値以下の場合である。

図１３（ｄ）は、原稿領域の原稿モードが写真モードであり、原稿領域のボケ値が第一の閾値と第二の閾値の間にあり、図１３（ａ）の場合の画像と同程度にボケている場合である。

図１３の（ｅ）は、図１３の（ａ）〜（ｄ）の画像領域のボケ値と閾値との関係を表現したものである。図１３の（ｅ）から明らかなように、図１３の（ａ）と（ｂ）が印刷に適した画質を保持していないと判定され、図１３の（ｃ）（ｄ）が印刷に適した画質を保持していると判定される。このように原稿モードごとの閾値を用意した場合には、同じようなボケ値を持つ原稿領域であっても、原稿モードを考慮することにより、より柔軟な判定をくだすことができるようになる。これにより、必要のない撮り直しをユーザに強いたり、撮り直しの必要のある画像を見逃したりする可能性をより低減できる。なお、前述したように、出力画像サイズや、出力解像度などの印刷設定に応じて、第１〜第３のボケ値の閾値セットを設定するようにしてもよい。

具体的には、写真原稿を撮ったユーザに、写真原稿には十分なボケ値を持っているのに撮り直しを要求する可能性を低減できる。また、文字原稿を撮ったユーザに、文字原稿には不十分なボケ値しか持っていないのに撮り直しを要求しない可能性を低減できる。

以上で説明をした判定により、原稿領域が印刷に適した画質を保持していないと判定をした場合には、ステップＳ９０６に進み、適した形状をしていると判定した場合には、本フローを終了し、ステップＳ７０４に進む。

ステップＳ９０６において、ＣＰＵ３０１は、図６のソフトウェアブロック図における撮り直しＵＩ表示処理部６０６として動作する。すなわち、ＣＰＵ３０１は、タッチパネルディスプレイ２０１上に、撮り直しを推奨する画面を表示する。また、撮り直しを単に推奨するだけではなく、ステップＳ９０３またはステップＳ９０５で印刷に適していないと判定をした理由と、その対策についてを表示をする。これによりユーザはどのようにして原稿を撮り直せばよいかが分かり、撮り直しの際の利便性が向上する。なお、表示される情報は、上記理由と対策に関する情報だけに限定されるものではなく、原稿領域内の画像が印刷に適していないことを示す情報であってもよく、この場合にユーザは原稿の撮り直しを行うかどうかを判断することができる。その例について、図１４を用いて説明をする。

図１４（ａ）は、ステップＳ９０３で、原稿領域が印刷に適した形状（例えば長方形）ではないために、原稿領域が印刷に適した形状をしていないと判定をされ、ステップＳ９０６に進んだ場合の表示である。原稿領域の形状が不適切であるので、その旨の表示と、原稿の枠がきちんと撮影画像内に収まるように撮影する旨の対処方法の表示を行っている。

図１４（ｂ）は、ステップＳ９０３で、原稿領域の撮影サイズ（面積）が小さすぎて印刷すると解像力が足りないために、原稿領域が印刷に適した形状をしていないと判定をされ、ステップＳ９０６に進んだ場合の表示である。原稿領域の画像の面積が閾値よりも小さいので、その旨の表示と、原稿を大きく撮影する旨の対処方法の表示を行っている。

図１４（ｃ）は、ステップＳ９０５で、原稿領域の明るさが足りないために、原稿領域が印刷に適した画質をしていないと判定をされ、ステップＳ９０６に進んだ場合の表示である。原稿領域が適正値よりも明るさが足りないので、その旨の表示と、原稿を明るい場所で撮影する旨の対処方法の表示を行っている。

図１４（ｄ）は、ステップＳ９０５で、原稿領域が文字原稿と判定され、文字原稿としてのボケ許容量を超えていたために、原稿領域が印刷に適した画質をしていないと判定をされ、ステップＳ９０６に進んだ場合の表示である。原稿領域が文字原稿としてのボケ許容量を超えていたので、その旨の表示と、手ぶれに気をつけて撮影する旨の対処方法の表示を行っている。

このように、撮り直しの理由と、対処方法を表示することにより、ユーザがスムーズに再撮影を行うことが可能となる。また、対処方法が分かるので、何度も再撮影を行うことになるのを防ぐことが可能となる。

なお、表示される情報は、上記理由と対策に関する情報だけに限定されるものではなく、原稿領域内の画像が印刷に適していないことを示す情報であってもよく、この情報が表示された場合にはユーザは原稿の撮り直しを行うかどうかを判断することができる。

ステップＳ９０７において、ＣＰＵ３０１は、図６のソフトウェアブロック図における撮り直し判定部６０７として動作する。すなわち、ＣＰＵ３０１は、タッチパネルディスプレイ２０１上で、ユーザが撮り直しに同意したかどうかを判定する。同意したかどうかは、例えば、図１４（ａ）〜（ｄ）のように「撮り直し」ボタンと、「キャンセル」ボタンを用意し、「撮り直し」ボタンを押下した場合には同意したと判定をする。そして、「キャンセル」ボタンを押下した場合には同意しなかったと判定をする。

同意した場合には、ＲＡＭ３０２に保持している撮影した画像を消去して無効にし、ステップＳ９０１に進み、撮り直しを行う。同意しなかった場合には、本フローを終了し、ステップＳ７０４に進む。

以上の説明がステップＳ７０３の原稿の撮影処理の詳細フローとなる。本発明のフローを利用することにより、印刷に実際に利用する原稿領域だけの観点で撮り直しの判定を行うので、必要のない撮り直しをユーザに強いる可能性を低減できる。また、必要のない撮り直しを避けるために閾値を緩くしたために、撮り直しの必要のある画像を見逃す可能性も低減できる。さらに、撮り直しの理由と対処方法を表示することにより、ユーザが何回も撮り直しを行う可能性を低減できる。

（実施例２）
実施例１においては、原稿領域の形状が印刷に適しているかどうかの判定を行ったあとに、印刷領域の画質の判定を行っていた。本実施例においては、手ぶれによるボケの程度を、実施例１のＳ９０５のような原稿領域の画像の詳細な解析を行うことなく、判定する方法について説明をする。すなわち、Ｓ９０５の処理よりもより処理量の少ない方法で原稿領域における画像のボケを判定する。実施例２においては、実施例１と差分がある部分のみの説明をする。

図１５は図７のステップＳ７０３の原稿の撮影処理の詳細フロー図である。本フローの処理は、ＣＰＵ３０１が記憶部３０４に格納されている処理プログラムを実行することによって、実行される。実施例１との差分はステップＳ１５０１〜ステップＳ１５０３であるので、その部分についてのみの説明をする。なお、図１５におけるステップＳ９０３〜Ｓ９０７の処理は、実施例１において説明した図９のステップＳ９０３〜Ｓ９０７の処理と同様である。

ステップＳ１５０１における処理は、基本的にステップＳ９０１と同様である。差異がある部分は、カメラ２０３に搭載されているオートフォーカス機能によりオートフォーカスを行い、焦点距離を合わせたあとのプレビュー画像をＲＡＭ３０２に転送をしておき、撮影画像とともに保持しておくことである。

ステップＳ１５０２において、ＣＰＵ３０１は、図６のソフトウェアブロック図における原稿領域検出部６０２として動作する。すなわち、ＣＰＵ３０１は、ステップＳ９０２と同様に撮影画像内の原稿領域の検出処理をするとともに、ＲＡＭ３０２に保持されているプレビュー画像内の原稿領域の検出処理を行う。

ステップＳ１５０３において、ＣＰＵ３０１は、図６のソフトウェアブロック図におけるボケ判定部６０８として動作する。すわなち、オートフォーカス直後のプレビュー画像内の原稿領域の位置および面積と、撮影画像内の原稿領域の位置および面積とのそれぞれの差の絶対値（原稿領域のズレ）がそれぞれの所定の閾値以下であるかの判定を行う。

まず、プレビュー画像内または撮影画像内に原稿領域が検出できていない場合には、原稿領域が印刷に適していないと判定をして、ステップＳ９０６に進む。原稿領域が検出できている場合には、プレビュー画像と撮影画像内の原稿領域の頂点座標の座標系を合わせる。たとえば、プレビュー画像が５００×３７５画素であり、撮影画像が４０００×３０００画素である場合は、撮影画像はプレビュー画像の８倍の大きさであるので、プレビュー画像の原稿領域の頂点座標を８倍すれば、プレビュー画像と撮影画像の座標系が一致する。

次に、プレビュー画像の原稿領域の面積ＡＲＥＡ＿Ｐと撮影画像内の原稿領域の面積ＡＲＥＡ＿Ｉについて計算をする。ＡＲＥＡ＿ＰとＡＲＥＡ＿Ｉとの差分があるということは、オートフォーカス直後に比べて、原稿とカメラとの距離（カメラの光軸方向の距離）が変わってしまい、それによりスケーリングが変化してしまったことを意味する。これは画像のボケを生じさせる大きな要因となるので、ＡＲＥＡ＿ＰとＡＲＥＡ＿Ｉとの差分があらかじめ定められた所定の閾値を超えた場合には、原稿領域が手ぶれによりボケており原稿領域が印刷に適していないと判定して、ステップＳ９０６に進む。

ＡＲＥＡ＿ＰとＡＲＥＡ＿Ｉとの差分が所定の閾値以下に収まっていた場合には、カメラの光軸方向の手ぶれが一定以内に収まっていると考え、カメラの光軸方向に対して垂直方向のズレについての判定を行う。プレビュー画像と原稿領域の頂点座標の差分値を垂直方向のズレとみなし、そのズレが所定の閾値を超えた場合には、原稿領域が、垂直方向の手ぶれによりボケており、原稿領域が印刷に適していないと判定して、ステップＳ９０６に進む。

なお、垂直方向のズレは撮影した瞬間に静止しており原稿との距離が変わっていないのであればボケないため、垂直方向のズレは画像のボケを生じさせる大きな要因ではない。そこで、垂直方向のズレに関しての閾値は緩めの値にしておき、明らかに手が大きく動いてしまっており、撮影時にも動いていると想定される場合を検出するようにし、それ以外の場合についてはステップＳ９０５でより詳細な画像解析を行って判定を下すようにした方がよい。垂直方向のズレが所定の閾値以下の場合には、ステップＳ９０３に進む。

以上の説明が本実施例におけるステップＳ７０３の原稿の撮影処理の詳細フローとなる。なお、ステップＳ１５０３とステップＳ９０３が順序をいれかえても構わない。本実施例のフローを利用することにより、原稿領域の画質判定をする前に、手ぶれによりボケが発生しているとことを予測することが可能となる。この予測により、原稿領域の画質が印刷に適していないと判定し、再撮影フローに入ることが可能となるので、画質を判定するための処理時間が必要なくなる。一般的に、手ぶれ量の判定をするよりも、画質判定には時間が掛かるため、これにより、手ぶれにより再撮影を行う際のユーザの待ち時間を軽減することが可能となる。なお、本実施例における閾値は、ユーザが、タッチパネルディスプレイ２０１上で変更することが可能な仕組みを提供してもよい。

（実施例３）
実施例２においては、原稿領域の頂点座標の位置とサイズを利用して、手ぶれであるかどうかの判定を行っていた。本実施例においては、モーションセンサ３１０を利用することで、手ぶれによるボケの程度を、原稿領域の画像を解析することなく判定する方法について説明をする。実施例３においては、実施例１と差分がある部分のみの説明をする。

図１６は図７のステップＳ７０３の原稿の撮影処理の詳細フロー図である。本フローの処理は、ＣＰＵ３０１が記憶部３０４に格納されている処理プログラムを実行することによって、実行される。実施例１との差分はステップＳ１６０１、ステップＳ１６０２であるので、その部分についてのみの説明をする。なお、図１６におけるステップＳ９０２〜Ｓ９０７の処理は、実施例１において説明した図９のステップＳ９０２〜Ｓ９０７の処理と同様である。

ステップＳ１６０１における処理は、基本的にステップＳ９０１と同様である。差異がある部分は、撮像部３０６であるカメラ２０３に搭載されているオートフォーカス機構によりオートフォーカスを行った直後から撮影までの携帯端末１０１の移動および姿勢変化などを、携帯端末１０１の３次元的な軌跡をモーションセンサ３１０により検出する点である。検出した３次元的な軌跡は、ＲＡＭ３０２に転送をしておく。

ステップＳ１６０２において、ＣＰＵ３０１は、図６のソフトウェアブロック図におけるボケ判定部６０８として動作する。すわなち、ＣＰＵ３０１は、ＲＡＭ３０２に保持されている撮影時の携帯端末１０１の３次元的な軌跡を用いて、携帯端末１０１の動きが所定の範囲に入っているかの判定を行う。携帯端末１０１の動きが所定の範囲に入っているということは、手ぶれ量が少なく、原稿領域の画質が印刷に適していることを意味する。具体的には、オートフォーカス直後と撮影した瞬間との間のカメラ２０３の位置関係と、撮影した瞬間の動きを利用して判定を行う。

まず、オートフォーカス直後のカメラ２０３の光軸方向と、撮影の瞬間のカメラ２０３の光軸方向の向きのズレである光軸ズレが所定の閾値以下であるかの判定を行う。光軸の方向に一定以上のズレがあるとボケの発生につながるので、所定の閾値を超えた場合には、原稿領域がボケており印刷に適していないと判定し、ステップＳ９０６に進む。

光軸ズレが所定の閾値以下であった場合には、次に、オートフォーカス直後の携帯端末１０１の位置と、撮影した瞬間の携帯端末１０１の位置が、オートフォーカス直後の携帯端末１０１のカメラ２０３の光軸方向に対して、どれだけズレているかを求める。この光軸方向位置ズレが大きくなると、オートフォーカスされた場所に原稿が存在しなくなるため、ボケが発生しやすくなる。そこで、このズレが、所定の閾値を超えた場合には、原稿領域がボケており印刷に適していないと判定をし、ステップＳ９０６に進む。

光軸位置方向位置ズレが所定の閾値以下であった場合には、撮影した瞬間の携帯端末１０１の移動速度・加速度の絶対値が所定の閾値以下であるかの判定を行う。撮影した瞬間に、携帯端末１０１が所定の閾値を超える移動速度・加速度の絶対値を持っている場合には、手ぶれにより、原稿領域がボケていると判定をして、ステップＳ９０６に進む。

移動速度・加速度の絶対値が所定の閾値以下であった場合には、原稿領域は印刷に適していると判定をし、ステップＳ９０２に進む。

以上の説明が本実施例におけるステップＳ７０３の原稿の撮影処理の詳細フローとなる。本実施例のフローを利用することにより、原稿領域の画質判定をする前に、手ぶれによりボケが発生しているとことを予測し、再撮影フローに入ることが可能となるので、画質を判定するための処理時間が必要なくなる。モーションセンサを利用することにより、手ぶれによりボケが発生していることの判定は、画像処理により原稿領域がボケているかを判定するよりも高速で行うことが可能である。これにより、手ぶれにより再撮影を行う際のユーザの待ち時間を軽減することが可能となる。なお、本実施例における閾値は、ユーザが、タッチパネルディスプレイ２０１上で変更することが可能な仕組みを提供してもよい。

（実施例４）
実施例１は、図９で説明した処理フローのように、撮像部３０６が撮影した撮像画像に対して、原稿領域における画質が印刷に適したものであるかを判定して、ユーザに再撮影を促す通知を表示するものである。より詳細には実施例１は、ＣＰＵ３０１が撮像部３０６に撮影指示を出した後に、原稿領域における画質が印刷に適したものであるかどうかの判定が行われていた。

実施例１は、オートフォーカスによるタイムラグを考慮して、撮影指示後に撮影された撮影画像に対して判定処理を行っていた。しかし、高速なオートフォーカスができる撮像部３０６あるいはオートフォーカスを行わない撮像部３０６であれば、前述のタイムラグをほぼなくすことが可能である。そこで本実施例では、図９のステップＳ９０１においてユーザに原稿を撮影させて撮像画像を得る前、言い換えればＣＰＵ３０１が撮像部３０６へ撮影指示を出す前のプレビュー画像に対して、ＣＰＵ３０１が原稿領域における画質が印刷に適したものであるかの判定（Ｓ９０２〜Ｓ９０５）を行うようにする。

そしてＣＰＵ３０１は原稿領域における画質が印刷に適したものであると判定した場合に、ユーザ指示あるいは自動で撮像部３０６に撮影指示を送信して、原稿の撮影を行い、撮影画像を得るようにする。またＣＰＵ３０１が原稿領域における画像が印刷に適したものであると判定しなかった場合に、原稿領域における画像が印刷に適したものであると判定されなかった理由に関する情報を表示部３０７に表示するようにする。この場合に原稿領域における画像が印刷に適したものでないことを示す情報を表示部３０７に表示しても良い。

このようにして得られる撮影画像は原稿領域の画質が印刷に適したものであると判定されたものであるため、ユーザの要望を満たしていると考えられ、ユーザに再撮影を促す通知を行わずに済む。

なお得られた撮影画像は、実施例１と同様に、Ｓ７０４〜Ｓ７０６の処理を施され、サーバ１２１に送信される。そしてプリンタ１０３によって原稿領域が変倍された画像が印刷される。

（その他の実施例）
上記で説明した実施例１〜４では、携帯端末１０１が撮影画像データをサーバ１２１へ送信し、サーバ１２１が撮影画像データに対して画像処理を施し、プリンタ１０３が画像処理の施された撮影画像データを印刷する。しかし、携帯端末１０１において画像処理を施して直接に画像処理後の撮影画像データをプリンタ１０３に送信しても良い。また、携帯端末１０１が撮影した撮影画像データを直接にプリンタ１０３に送信し、プリンタ１０３において画像処理を施して印刷を行っても良い。

また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

原稿を撮像することで画像を取得する撮像手段と、
印刷設定情報を設定する設定手段と、
前記撮像手段によって取得された前記画像から原稿領域を特定する特定手段と、
前記特定された原稿領域内の前記画像の特徴および前記設定された印刷設定情報に基づいて、前記特定された原稿領域内の前記画像が印刷に適するかどうかを判定する判定手段と、
前記判定手段によって前記原稿領域内の前記画像が印刷に適すると判定されなかった場合、前記原稿領域内の前記画像が印刷に適さないことを示す情報を表示する表示手段と、
を有することを特徴とする情報処理装置。
前記表示手段は、前記判定手段によって前記原稿領域内の前記画像が印刷に適すると判定されなかった場合、前記原稿領域内の前記画像が印刷に適すると判定されなかった理由に関する情報を表示することを特徴とする請求項１に記載の情報処理装置。
前記撮像手段は、前記判定手段によって前記原稿領域の画像が印刷に適すると判定されなかった場合、再び前記原稿を撮像することを特徴とする請求項１または２に記載の情報処理装置。
前記撮像手段によって前記原稿が撮像される前に前記原稿のプレビュー画像を取得する手段を有し、
前記判定手段は、前記原稿領域の画像の特徴に基づいて前記原稿領域の画像が印刷に適するかどうかを判定する前に、前記プレビュー画像に含まれる原稿領域と、前記撮像手段によって取得された前記画像に含まれる原稿領域との位置ずれに基づいて、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
前記撮像手段の位置および姿勢の変化を検出する検出手段を有し、
前記判定手段は、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定する前に、前記検出手段により検出された位置および姿勢の変化に基づいて、撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
原稿を撮像することで画像を取得する撮像手段と、
印刷設定情報を設定する設定手段と、
前記撮像手段によって取得された前記画像から原稿領域を特定する特定手段と、
前記特定された原稿領域内の前記画像の特徴および前記設定された印刷設定情報に基づいて、前記特定された原稿領域内の前記画像が印刷に適するかどうかを判定する判定手段と、
前記判定手段によって前記原稿領域内の前記画像が印刷に適すると判定された場合、前記撮像手段に前記原稿を撮像させて、前記原稿を複写すべく、当該撮像された原稿の画像を外部装置に送信する送信手段と、
を有することを特徴とする情報処理装置。
前記判定手段によって前記原稿領域内の前記画像が印刷に適すると判定されなかった場合、少なくとも前記原稿領域内の前記画像が印刷に適さないことを示す情報と前記原稿領域内の前記画像が印刷に適すると判定されなかった理由に関する情報との何れか１つを表示する表示手段を有することを特徴とする請求項６に記載の情報処理装置。
前記判定手段は、
前記撮像手段によって取得された前記画像に含まれる原稿領域の画像の形状および前記設定された印刷設定情報に基づいて、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定する形状判定手段を有することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記印刷設定は、用紙サイズ、出力解像度、Ｎｉｎ１の設定を含むことを特徴とする請求項８に記載の情報処理装置。
前記判定手段は、
前記撮像手段によって取得された前記画像に含まれる原稿領域の画像の画質に基づいて、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定する画質判定手段を有することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記判定手段は、
前記撮像手段によって取得された前記画像に含まれる原稿領域の画像の形状に基づいて、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定する形状判定手段と、
前記形状判定手段による判定の後にさらに、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像の画質に基づいて、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定する画質判定手段と、
を有することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記原稿領域の画像を解析することで前記原稿領域の画像の原稿モードを判定する手段を有し、
前記画質判定手段は、
前記撮像手段によって取得された前記画像に含まれる原稿領域の画像の画質および前記判定された原稿モードに基づいて、前記撮像手段によって取得された前記画像に含まれる原稿領域の画像が印刷に適するかどうかを判定することを特徴とする請求項１０または１１に記載の情報処理装置。
前記判定手段によって印刷に適すると判定された前記原稿領域内の前記画像は、前記設定された印刷設定情報に従って印刷手段によって印刷されることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
前記判定手段によって印刷に適すると判定された前記原稿領域内の前記画像は、前記印刷手段によって出力画像サイズに変倍されて印刷されることを特徴とする請求項１３に記載の情報処理装置。
請求項１乃至１４の何れか１項に記載の各手段としてコンピュータを機能させるためのプログラム。
原稿を撮像することで画像を取得する撮像工程と、
印刷設定情報を設定する設定工程と、
前記撮像工程によって取得された前記画像から原稿領域を特定する特定工程と、
前記特定された原稿領域内の前記画像の特徴および前記設定された印刷設定情報に基づいて、前記特定された原稿領域内の前記画像が印刷に適するかどうかを判定する判定工程と、
前記判定工程によって前記原稿領域内の前記画像が印刷に適すると判定されなかった場合、前記原稿領域内の前記画像が印刷に適さないことを示す情報を表示する表示工程と、
を有することを特徴とする情報処理方法。
原稿を撮像することで画像を取得する撮像工程と、
印刷設定情報を設定する設定工程と、
前記撮像工程によって取得された前記画像から原稿領域を特定する特定工程と、
前記特定された原稿領域内の前記画像の特徴および前記設定された印刷設定情報に基づいて、前記特定された原稿領域内の前記画像が印刷に適するかどうかを判定する判定工程と、
前記判定工程によって前記原稿領域内の前記画像が印刷に適すると判定された場合、前記撮像工程に前記原稿を撮像させて、前記原稿を複写すべく、当該撮像された原稿の画像を外部装置に送信する送信工程と、
を有することを特徴とする情報処理方法。