JP6705988B2

JP6705988B2 - 情報処理システム、その制御方法、及びプログラム

Info

Publication number: JP6705988B2
Application number: JP2017038866A
Authority: JP
Inventors: まゆみ平川; 大佐々木
Original assignee: Canon Marketing Japan Inc
Current assignee: Canon Marketing Japan Inc
Priority date: 2014-12-22
Filing date: 2017-03-02
Publication date: 2020-06-03
Anticipated expiration: 2035-11-30
Also published as: JP2017120436A; JP2016119073A; JP6103025B2

Description

読取対象物を撮影した画像を、読取対象物を示す複数の種別の中から選択された種別と関連付けて、ユーザが任意の保存方法で容易に記憶させることが可能な情報処理システム、その制御方法、及びプログラムに関する。

近年、紙媒体をイメージスキャナなどでスキャンし、電子化して管理することが一般的に行われている。

例えば銀行のカウンターなどでは、顧客が持参した本人確認書類をコピーし、紙媒体によって保存するということが行われていたが、現在では本人確認書類をスキャンすることで電子的に保存するということが多く行われている。

例えば、下記の特許文献１には、載置面に載置された書類を上方から撮像することで、書類をスキャンして保存する仕組みが開示されている。

また、下記の特許文献２には、投影面上の操作可能な範囲を、ユーザの手の上に投影する仕組みが開示されている。

特開２０１３−２５８６１２号公報特開２０１４−２０３１７６号公報

本発明は、読取対象物を撮影した画像を、読取対象物を示す複数の種別の中からユーザにより選択された種別と関連付けて、ユーザが任意の保存方法で容易に記憶させることが可能な仕組みを提供することを目的とする。

上記の目的を達成するために、本発明の情報処理システムは、読取対象物を撮影部が撮影した画像を記憶させるかを制御する情報処理システムであって、読取対象物を示す複数の種別の中から前記撮影部で撮影する種別の選択をユーザにより受け付ける受付手段と、前記撮影部で前記読取対象物が撮影された場合に、当該撮影された第１の画像と重複する領域で、前記第１の画像よりも先に前記撮影部で前記読取対象物が撮影された第２の画像が記憶されている場合は、前記受付手段により選択を受け付けた種別と関連付けて前記第１の画像を前記第２の画像に上書きし、また、前記第１の画像の領域と重複しない領域で撮影された前記第２の画像が記憶されている場合は、前記第１の画像を前記第２の画像に上書きせずに、前記受付手段により選択を受け付けた種別と関連付けて前記第１の画像および前記第２の画像を記憶するよう制御する記憶制御手段と、を備えることを特徴とする。
また、本発明の情報処理システムの制御方法は、読取対象物を撮影部が撮影した画像を記憶させるかを制御する情報処理システムの制御方法であって、前記情報処理システムが、読取対象物を示す複数の種別の中から前記撮影部で撮影する種別の選択をユーザにより受け付ける受付ステップと、前記情報処理システムが、前記撮影部で前記読取対象物が撮影された場合に、当該撮影された第１の画像と重複する領域で、前記第１の画像よりも先に前記撮影部で前記読取対象物が撮影された第２の画像が記憶されている場合は、前記受付ステップにより選択を受け付けた種別と関連付けて前記第１の画像を前記第２の画像に上書きし、また、前記第１の画像の領域と重複しない領域で撮影された前記第２の画像が記憶されている場合は、前記第１の画像を前記第２の画像に上書きせずに、前記受付ステップにより選択を受け付けた種別と関連付けて前記第１の画像および前記第２の画像を記憶するよう制御する記憶制御ステップと、を含むことを特徴とする。
また、本発明の情報処理システムのプログラムは、コンピュータを、上記の情報処理システムとして機能させるためのプログラムであることを特徴とする。

本発明によれば、読取対象物を撮影した画像を、読取対象物を示す複数の種別の中から選択された種別と関連付けて、ユーザが任意の保存方法で容易に記憶させることが可能な仕組みを提供できる効果を奏する。

本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。投影撮像装置１０２の外観構造及び内部構造の概要の一例を示す図である。投影撮像装置１０２を用いて投影した投影画像を用いて、商品説明を行う場合の一例を示す図である。情報処理装置１００及び投影撮像装置１０２のハードウェア構成の一例を示す図である。情報処理装置１００の機能構成の一例を示す図である。本発明の実施形態における一連の処理の流れを示すフローチャートの一例を示す図である。図６の読取対象物読取処理の詳細な処理の流れを示すフローチャートの一例を示す図である。図７の画像保存処理の詳細な処理の流れを示すフローチャートの一例を示す図である。読取対象物一覧画面９００の画面構成の一例を示す図である。読取対象物を撮影する際の読取対象物読取画面１０００の画面構成の一例を示す図である。撮影後、読取対象物をユーザが移動させた場合の読取対象物読取画面１０００の一例を示す図である。読取対象物の撮影を行い、撮影により得られた画像を投影している位置に読取対象物を置いて撮影を行う場合の読取対象物読取指示画面１２００の一例を示す図である。読取対象物の撮影を行い、撮影により得られた画像を投影している位置ではない位置に読取対象物を置いて撮影を行う場合の読取対象物読取指示画面１３００の一例を示す図である。画像テーブル１４００のテーブル構成の一例を示す図である。読取対象物位置テーブル１５００のテーブル構成の一例を示す図である。顧客ＩＤ入力画面１６００の画面構成の一例を示す図である。顧客ＩＤテーブル１７００のテーブル構成の一例を示す図である。メニュー画面１８００の画面構成の一例を示す図である。本発明の第２の実施形態における読取対象物読取処理の詳細な処理の流れを示すフローチャートの一例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１００と投影撮像装置１０２とを含む。情報処理装置１００は、投影撮像装置１０２と通信可能に接続されており、更にディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１００は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１００は、情報処理装置１００に接続された各種デバイスに対して各種動作を実行するよう指示を行う。

投影撮像装置１０２は、デジタルカメラ４２１（撮影部）とジェスチャセンサ４２２とプロジェクタ４２３（投影部）とを備える装置である。情報処理装置１００からの指示に応じてプロジェクタ４２３で投影をし、投影された机上等の投影面をデジタルカメラ４２１で撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。

投影撮像装置１０２の外部構造及び内部構造の概要の一例について、図２を用いて説明する。

図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２は、デジタルカメラ４２１（撮影部）とジェスチャセンサ４２２とプロジェクタ４２３（投影部）とを格納する収納部２０３を備え、収納部２０３は底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。

また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にはプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３は第１の開口部２０５を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１は第２の開口部２０６を通して反射鏡２０７に向けて設置されている。

またジェスチャセンサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書（以下、書類という。）等の位置や動きを特定するために、ジェスチャセンサ４２２からこれらの物体までの距離を算出する。ジェスチャセンサ４２２は、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、ジェスチャセンサ４２２が備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、ジェスチャセンサ４２２の距離の算出方式はどのような方式であってもよいし、ジェスチャセンサ４２２以外のセンサを用いてもよい。また、ジェスチャセンサ４２２もデジタルカメラ４２１と同様に、第２の開口部２０６を通して反射鏡２０７に向けて設置されている。この反射鏡２０７に向けて赤外線を照射する。

投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１００と通信可能に接続されている。本実施形態においては、情報処理装置１００と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１００を内包してもよい。

次に図３を用いて、本実施形態における投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー３０１と、商品説明を受ける顧客３０２である。

テラー３０１は、入力デバイス４０９を操作して情報処理装置１００に画面の表示指示を行うと、情報処理装置１００からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。画面を左右に反転させる処理は、情報処理装置１００が行ってもよいし、プロジェクタ４２３が行ってもよい。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。

プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に商品説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。

図４は、情報処理装置１００及び投影撮像装置１０２のハードウェア構成の一例を示す図である。

ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段に相当する）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）や、情報処理装置１００の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１やジェスチャセンサ４２２との入出力を制御する。これらは、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）等のバス規格により接続される。

ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示及び投影指示する。これらは、いわゆるミラーリングやマルチモニタが可能である。

メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、ジェスチャセンサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。

本発明の情報処理装置１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１（記憶手段に相当する）に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。

次に図５を用いて情報処理装置１００のモジュール構成について説明する。なお、図５の装置のモジュール構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１００は機能部として、記憶部５０１と、表示制御部５０２と、投影制御部５０３と、撮像制御部５０４と、センサ制御部５０５と、座標変換部５０６と、操作検知部５０７と、位置判定部５０８と画像管理部５０９とを備える。

記憶部５０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。

表示制御部５０２は、情報処理装置１００と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部５０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。

投影制御部５０３は、情報処理装置１００と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である。投影制御部５０３から画面等の投影指示がなされると、表示制御部５０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等を現実空間に投影する。

撮像制御部５０４は、情報処理装置１００と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部５０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１００に送信する。撮像制御部５０４は、これを受け取り、画像データを左右反転させた上で記憶部５０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部５０１で画像データを記憶する前に、撮像制御部５０４がこの画像データを左右反転する。

センサ制御部５０５は、情報処理装置１００と通信可能に接続されたジェスチャセンサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を受信するための機能部である。ジェスチャセンサ４２２が検出した現実空間の情報は、ジェスチャセンサ４２２から情報処理装置１００に対して逐一送信される。センサ制御部５０５はこれを受信し、後述する座標変換部５０６に渡す。

座標変換部５０６は、センサ制御部５０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部５０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。すなわち、ジェスチャセンサ４２２で検知した座標値が、情報処理装置１００が管理する画面のどの座標値に該当するのかを、この座標変換部５０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。

操作検知部５０７は、ユーザからの操作を検知するための機能部である。情報処理装置１００に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部５０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、投影面上にある物体の矩形を検知することで、読取対象物を検知したりする。

位置判定部５０８は、操作検知部５０７で検知した投影面上の読取対象物の位置と外部メモリ４１１に記憶された画像に対応して記憶される撮影位置１４０４とを比較して、位置が一致するか否かを判定する機能部である。

画像管理部５０９は、デジタルカメラ４２１で撮影することにより得られた画像を管理する機能部である。既に撮影された読取対象物の撮影時の位置と撮影を行う読取対象物の位置に応じて、既に撮影により得られた画像に上書きを行ったり、新規に画像を保存する。

以上で情報処理装置１００のモジュール構成の説明を終える。

次に図６に示すフローチャートを用いて本発明の実施形態の一連の処理の流れを説明する。

ステップＳ６０１では、情報処理装置１００のＣＰＵ４０１は、ユーザからの指示に応じて外部メモリ４１１等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップＳ６０２乃至ステップＳ６０８の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面３０４に読取対象物読取のためのボタン等を投影したり、投影面３０４に載置された読取対象物を撮影することで画像を取得し、得られた画像を投影面３０４に投影することが可能になる。本発明の実施形態では、テラー３０１が顧客３０２に対して説明を行う処理の説明は割愛する。

ステップＳ６０２では、情報処理装置１００のＣＰＵ４０１は、ディスプレイ４１０に顧客ＩＤ入力画面１６００を表示させる。例えば、図１６に示す顧客ＩＤ入力画面１６００には顧客ＩＤ入力欄１６０１と次へボタン１６０２が配置されている。顧客ＩＤ入力欄１６０１はテラー３０１が対応する顧客３０２を識別するためのＩＤである顧客ＩＤを入力するための欄である。次へボタン１６０２は押下を受け付けることで次の処理に移すためのボタンである。

顧客ＩＤ１７０１は図１７に示す顧客ＩＤテーブル１７００に格納されている。顧客ＩＤテーブル１７００には顧客ＩＤ１７０１と顧客名１７０２が対応付けて格納されており、顧客ＩＤ１７０１は顧客を一意に識別するＩＤである。顧客名１７０２は顧客の名前である。

ステップＳ６０３では、情報処理装置１００のＣＰＵ４０１は、情報処理装置１００のＣＰＵ４０１は、顧客ＩＤ１７０１の入力を入力デバイス４０９により受け付ける。

ステップＳ６０４では、情報処理装置１００のＣＰＵ４０１は、次へボタン１６０２の押下を受け付ける。

ステップＳ６０５では、情報処理装置１００のＣＰＵ４０１は、メニュー画面１８００をディスプレイ４１０に表示する。図１８に示すメニュー画面１８００には、商品説明ボタン１８０１と読取対象物読取ボタン１８０２と終了ボタン１８０３が配置されており、入力デバイス４０９により選択を受け付けることで、それぞれに対応する処理を実行する。本発明の実施形態では商品説明の処理は割愛する。テラー３０１は顧客３０２に対して商品説明を終えたあと、顧客３０２が契約を結ぶために必要な読取対象物を読み取るための処理が読取対象物読取処理である。詳細は後述する。

ステップＳ６０６では、情報処理装置１００のＣＰＵ４０１は、メニュー画面の読取対象物読取ボタン１８０２が押下されたか否かを判定する。読取対象物読取ボタン１８０２が押下されたと判定した場合は処理をステップＳ６０７に進める。読取対象物読取ボタン１８０２が押下されないと判定した場合は処理をステップＳ６０８に進める。

ステップＳ６０７では、情報処理装置１００のＣＰＵ４０１は、投影面３０４に載置された読取対象物をデジタルカメラ４２１で撮影することにより読取対象物の画像を取得する読取対象物読取処理を行う。詳細は後の図７に示すフローチャートを用いて説明を行う。

ステップＳ６０８では、情報処理装置１００のＣＰＵ４０１は、メニュー画面の終了ボタンが押下されたか否かを判定する。終了ボタンが押下されたと判定した場合には処理をステップＳ６０９に進め、押下されないと判定した場合には処理をステップＳ６０６に戻す。

ステップＳ６０９では、情報処理装置１００のＣＰＵ４０１は、ステップＳ６０１で起動した投影アプリケーションを終了する。

以上で本発明の実施形態の一連の処理の流れの説明を終了する。

次に図６に示すフローチャートの読取対象物読取処理の詳細な説明を、図７に示すフローチャートを用いて説明する。

ステップＳ７０１では、情報処理装置１００のＣＰＵ４０１は、投影面３０４に読取対象物一覧画面９００をプロジェクタ４２３に投影させて、投影面３０４に表示する。読取対象物一覧画面９００は、例えば住宅ローンを組むために必要な読取対象物の一覧である。読取対象物を撮影することで画像データとして情報処理装置１００に取り込む。図９に示す通り、テラー３０１側と顧客３０２側の双方に顧客３０２の提出が必要な読取対象物種別（本人確認書類等）の領域（以下、読取対象物種別欄）が表示されており、この読取対象物種別欄のいずれかに対するタッチ操作を検知すると、図１０に示す読取対象物読取画面１０００が投影され表示される。読取対象物読取画面１０００で読取対象物の読み取り、すなわちデジタルカメラ４２１による撮像が行われ、撮像により生成された画像データを情報処理装置１００が取得する。無事に読み取りが終了すると、再び読取対象物一覧画面９００に戻り、タッチ操作を検知した読取対象物の枠に読み取った画像データを表示する。例えば図９に示すように、運転免許証欄９０３に対するタッチ操作を検知すると、運転免許証を読み込むために読取対象物読取画面１０００が表示される。そして、顧客３０２が投影面３０４に置いた運転免許証を撮影する。撮影が完了すると、読取対象物一覧画面９００に戻り、テラー３０１側と顧客３０２側の双方の運転免許証の領域に取り込んだ画像のサムネイル画像が表示される。領域に対して設定される読取対象物種別１４０２に対応する画像データ１４０３を取得してサムネイル画像を表示する。

ステップＳ７０２では、情報処理装置１００のＣＰＵ４０１は、上述したように読取対象物種別欄における、いずれかの読取対象物種別に対する選択を受け付ける。読取対象物種別には読取対象物種別１４０２が対応付けられており、選択を受け付けた読取対象物種別１４０２をＲＡＭ４０３に一時記憶する。読取対象物種別１４０２は読取対象物種別を一意に識別するためのＩＤである。

ステップＳ７０３では、情報処理装置１００のＣＰＵ４０１は、読取対象物読取画面１０００を投影面３０４に投影する。読取対象物読取画面１０００には、読取対象物読取ボタン１００１とキャンセルボタン１００２と完了ボタン１００３が配置されている。読取対象物読取画面１０００に読取対象物１００５が載置されると、読取対象物１００５の矩形を特定し、矩形に応じて撮影位置１４０４を投影する。これによりユーザは情報処理装置１００が読取対象物１００５を認識していることを把握することができる。そして、ユーザより読取対象物読取ボタン１００１を押下されると投影面３０４を撮影する。キャンセルボタン１００２が押下されるとステップＳ７０２で選択を受け付けた読取対象物種別１４０２に関する画像を削除する。完了ボタン１００３が押下されると、撮影処理を終了し、撮影により得られた画像を運転免許証欄９０３に表示させる。

ステップＳ７０４では、情報処理装置１００のＣＰＵ４０１は、読取対象物読取画面１０００上に読取対象物が置かれたか否かを判定する。本実施形態では、矩形の物体が載置されたか否かをジェスチャセンサ４２２によって判定する。読取対象物が置かれたか否かの判定は、一例であって、デジタルカメラ４２１から取得する画像の画像処理によって判定してもよい。情報処理装置１００は、読取対象物が置かれないと判定した場合は処理をステップＳ７１５に進める。読取対象物が置かれたと判定した場合、処理をステップＳ７０５に進める。

ステップＳ７０５では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０４で投影面３０４上に置かれたと判定した読取対象物の位置と大きさを特定する（取得手段に相当する）。より具体的には、ジェスチャセンサ４２２から送られる情報に基づいて読取対象物の大きさと位置を規定する投影面３０４上の２点の座標を特定する。２点の座標は、図１５に示す読取対象物位置テーブル１５００に格納する。読取対象物位置テーブル１５００は、読取対象物位置１５０１を管理するテーブルである。読取対象物位置１５０１は、読取対象物の位置と大きさを規定する投影面３０４上の２点の座標を格納している。

ステップＳ７０６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０５で特定した２点の座標が示す矩形を囲う枠１００４を表示させる。この表示を行うことで、ユーザは情報処理装置が読取対象物を認識しているということを把握できる。

ステップＳ７０７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０６で表示された読取対象物読取ボタン１００１が押下されたか否かを判定する。読取対象物読取ボタン１００１が押下されたと判定した場合は処理をステップＳ７０８に進める。読取対象物読取ボタン１００１が押下されないと判定した場合は処理をステップＳ７０４に戻す。

ステップＳ７０８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０６で表示した枠１００４を非表示にするよう制御する。ここで枠１００４を非表示にするのは、デジタルカメラ４２１で撮影する際に画像のホワイトバランスに影響を及ぼさないためである。

ステップＳ７０９では、情報処理装置１００のＣＰＵ４０１は、投影面３０４をデジタルカメラ４２１で撮影するよう撮影指示を行う（撮影制御手段に相当する）。

ステップＳ７１０では、情報処理装置１００のＣＰＵ４０１は、撮影を行っていることがわかるアニメーションを投影面３０４に投影する。アニメーションを投影することで、撮影中であることをユーザに認識させることができる。

ステップＳ７１１では、情報処理装置１００のＣＰＵ４０１は、デジタルカメラ４２１で撮影した画像を保存する処理である画像保存処理を行う。

ステップＳ７１２では、情報処理装置１００のＣＰＵ４０１は、投影面３０４上の読取対象物の位置と大きさを特定する。特定の方法はステップＳ７０５と同様であるので説明は省略する。２点の座標は、図１５に示す読取対象物位置テーブル１５００に格納する。

ステップＳ７１３では、情報処理装置１００のＣＰＵ４０１は、読取対象物を撮影した時の位置から読取対象物が移動したか否かを判定する。より具体的には、ステップＳ７０２で特定した読取対象物種別１４０２に対応する撮影位置１４０４が示す矩形と、ステップＳ７１２で取得した読取対象物位置１５０１が示す矩形が重複するか否かを判定する。撮影位置１４０４が示す矩形と、ステップＳ７１２で取得した読取対象物位置１５０１が示す矩形が重複すると判断した場合は、読取対象物は移動していないとし処理をステップＳ７１２に戻す。撮影位置１４０４が示す矩形と、ステップＳ７１２で取得した読取対象物位置１５０１が示す矩形が重複しないと判定した場合には読取対象物が移動したと判定し、処理をステップＳ７１４に進める。重複の判断は２つの矩形が完全に一致している必要は無い。

ステップＳ７１４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７１１で保存処理を行った画像を画像データ１４０３から取得し、撮影位置１４０４が示す領域に投影する（投影制御手段に相当する）。例えば、図１１に示す読取対象物読取画面１０００で説明する。読取対象物１００５を、撮影した位置から移動させると、読取対象物１００５を撮影することで得られる画像１１０１を撮影した位置に原寸大で投影し、表示する。そしてこのような画像１１０１が投影された後に、Ｓ７１５のようにキャンセルボタン１００２と完了ボタン１００３とが押下できるようになる。

このように読取対象物が撮影した時の位置から読取対象物が移動した場合に撮影を行った読取対象物を投影することで、投影面３０４に投影する領域を撮影を行った領域と別に確保することなく、読取対象物を投影させ、ユーザに確認させることを可能にする。さらに、読取対象物が移動してから読取対象物の画像を投影することにより投影の視認性が向上するという効果がある。また、読取対象物が移動され保存された画像が投影された後でないと、完了ボタン１００３が押下できないようにすることで、保存された画像の確認をユーザに必ず行わせることもできる。

ステップＳ７１５では、情報処理装置１００のＣＰＵ４０１は、読取対象物読取画面１０００に配置されるボタンのいずれのボタンが押下されたかを判定する。キャンセルボタン１００２が押下されたと判定した場合には処理をステップＳ７１６に進める。完了ボタン１００３が押下されたと判定した場合には処理をステップＳ７１７に進める。また、何もボタンが押下されない間は処理をステップＳ７０４に処理が戻り、その後読取対象物が取り除かれると、Ｓ７０４でＮｏと判定され、Ｓ７１５に戻ることになる。

ステップＳ７１６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０２で選択を受け付けた読取対象物種別の読取対象物種別１４０２に対応する画像を削除する。

ステップＳ７１７では、情報処理装置１００のＣＰＵ４０１は、ディスプレイ４１０に表示される不図示の終了ボタンが押下されたか否かを判定する。終了ボタンが押下されたと判定した場合に処理を終了させ、終了ボタンが押下されないと判定した場合に処理をステップＳ７０１に戻す。

以上で、図６に示すフローチャートの読取対象物読取処理の詳細な説明を終了する。

次に図７に示すフローチャートのＳ７１１の画像保存処理の詳細な説明を、図８に示すフローチャートを用いて説明する。

ステップＳ８０１では、情報処理装置１００のＣＰＵ４０１は、デジタルカメラ４２１から画像を取得する。

ステップＳ８０２では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０１で取得した画像を外部メモリ４１１に保存する。

ステップＳ８０３では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０２で保存した画像から、読取対象物位置に相当する領域の画像を切り取る。ステップＳ８０１で取得した画像は投影面３０４全体を写している画像であり、読取対象物のみを写したものではない。そのためこのような処理を行うことで、読取対象物のみを写した画像を生成する。読取対象物のみの画像を取得するために、デジタルカメラ４２１の撮影の時点でデジタルカメラ４２１の撮影範囲と撮影倍率を調整し読取対象物のみを写した画像を取得してもよい。

ステップＳ８０４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０３で切り取ることにより生成された画像をＲＡＭ４０３に保存する。

ステップＳ８０５では、情報処理装置１００のＣＰＵ４０１は、画像テーブル１４００を参照し、ステップＳ７０２で選択した読取対象物種別１４０２が同一の画像のうち、撮影位置１４０４が重複する画像があるか否かを判定する（判定手段に相当する）。すなわち、投影面上の読取対象物の位置（領域）が重複している画像があるか否かを判定する。重複とは完全に撮影位置１４０４が重なっている必要はなく、一部が重複している場合であっても本発明における重複に含まれるものである。投影面上の読取対象物の位置（領域）が重複している画像があると判定した場合、処理をステップＳ８０６に進め、投影面上の読取対象物の位置（領域）が重複している画像がないと判定した場合は処理をステップＳ８０７に進める。

具体的な例として図１２と図１３を用いて説明する。

図１２では、ステップＳ７１４で既に投影されている画像１１０１の位置に重複するように、再度画像１１０１と同様の読取対象物であって実体物である読取対象物１００５を顧客３０２が載置する。載置されると、情報処理装置１００は、読取対象物１００５の位置と大きさを特定し、枠１００４を投影する。テラー３０１が読取対象物読取ボタン１００１を押下すると、投影される画像１１０１と枠１００４を非表示にし、投影面３０４の撮影を行う。撮影により得られた画像を投影された画像１１０１に上書きを行う。このように、投影された画像１１０１の位置と重複する位置（既に読取対象物の撮影を行った位置）に読取対象物を載置して撮影することで、簡単に画像の上書きを行うことができる。

図１３では、ステップＳ７１４で既に投影されている画像１１０１の位置と異なる位置に、読取対象物１３０１を顧客３０２が載置する。載置されると、情報処理装置１００は、読取対象物１００５の位置と大きさを特定し、枠１００４を投影する。テラー３０１が読取対象物読取ボタン１００１を押下すると、投影される画像１１０１と枠１００４を非表示にし、投影面３０４の撮影を行う。投影された画像１１０１と同一の読取対象物種別として、読取対象物１３０１を撮影することにより得られた画像を保存する。画像を保存する際には、図１４に示すようにステップＳ７０２で選択された読取対象物種別として複数枚の画像データを対応付けて記憶することができる（図１４では、読取対象物種別１４０２が「運転免許証」として画像データが複数枚登録されている）。例えば免許証の表面と裏面のように同一の読取対象物種別であって、複数枚の画像を読取対象物種別ごとに対応付けて保存する必要がある場合に、撮影の度に読取対象物種別の指定を受け付けることなく、簡単に対応付けて保存することが可能である。

ステップＳ８０６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０５で重複していると判定した画像の画像インデックス１４０１に対応する画像データ１４０３が示す画像を上書きする（記憶制御手段に相当する）。本実施形態の上書きとは、同一のファイル名の画像を保存することを上書きとするが、画像データ１４０３が示す画像を削除し（削除指示に相当する）、画像データ１４０３を新たに保存されたファイルパスに書き換えることで上書きをしてもよい。

ステップＳ８０７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０４でＲＡＭ４０３上に保存した画像を外部メモリ４１１上の適当なファイルパスに格納し保存する（新規画像として保存。記憶制御手段に相当する）。

ステップＳ８０８では、情報処理装置１００のＣＰＵ４０１は、図１４に示す画像テーブル１４００に新たにレコードを追加する。画像テーブル１４００は画像インデックス１４０１と、読取対象物種別１４０２と、画像データ１４０３と、撮影位置１４０４と、顧客ＩＤ１７０１を対応付けて格納する。画像インデックス１４０１は一意に識別するための番号であって、一番下のレコードに１を足した値を格納する。読取対象物種別１４０２は、ステップＳ７０２で選択を受け付けた読取対象物種別を格納する。画像データ１４０３は、ステップＳ８０７で画像を格納したファイルパスを保存する。撮影位置１４０４は、読取対象物位置１５０１の値を保存する。画像テーブル１４００は一例であってこれに限定されない。

以上により、図７に示す画像保存処理の詳細な説明を終了する。

このような処理を行うことで取り込み対象物が投影されている領域に、取り込み対象物を載置して撮影を行うと、投影されている画像に上書きを行い、取り込み対象物が投影されている領域とは別の領域に、取り込み対象物を載置して撮影を行うと、新規の画像として読取対象物種別１４０２に対応付けて保存を行うことを可能にする。

そのため、ユーザは複数枚数の読取対象物を撮影する場合に、投影されている画像とは異なる領域に読取対象物を載置して撮影を行うことで次々に読取対象物の取り込みを行うことができ、取り込み結果を確認しながら撮影を行うことができる。読取結果に不具合が生じている場合にはユーザは不具合の生じている画像（投影）の上に画像に対応する読取対象物を載置して撮影指示を行うことで画像を上書きして良い結果の画像を保存することができる。このように簡単に複数ページの読取対象物を次々と撮影し、撮影結果に問題があった場合には簡単に再度撮影をし、上書き保存をすることが可能なユーザインターフェースを提供することが可能な効果を奏する。

以上で本発明の第１の実施形態の説明を終了する。

次に本発明の第２の実施形態の説明を開始する。

第１の実施形態では、図７のステップＳ７１３における判定ステップで、ステップＳ７０２で特定した読取対象物種別１４０２に対応する撮影位置１４０４が示す矩形と、ステップＳ７１２で取得した読取対象物位置１５０１が示す矩形とが重複するか否かを判定する際、２つの矩形が完全に重複しているか否かを判定することにより読取対象物が移動したか否かを判定していた。第２の実施形態では、このステップＳ７１３に対応する判定ステップにおいて、重複は完全一致でなくてもよく、少なくとも一部が重複しているか否かを判定し、どこも重複していないと判定された場合に、読取対象物が撮影位置１４０４の示す矩形から取り除かれた（すなわち読取対象物が移動した）と判定する。

以下詳細に説明をする。なお、第１の実施形態の図７に対応する図１９以外のハードウェア構成、機能構成、フローチャート、テーブル等は第１の実施形態と同様であるため、説明は省略する。第１の実施形態と処理の異なる図１９についてのみ説明を行う。

ステップＳ１９０１乃至ステップＳ１９１２は、図７のステップＳ７０１乃至ステップＳ７１２までの処理と同様であるため説明を省略する。

ステップＳ１９１３では、情報処理装置１００のＣＰＵ４０１は、読取対象物を撮影した時の座標エリア内から読取対象物が移動したか否かを判定する。より具体的には、ステップＳ１９０２で特定した読取対象物種別１４０２に対応する撮影位置１４０４が示す矩形（例：（Ｘ１，Ｙ１）（Ｘ２，Ｙ２））と、ステップＳ１９１２で取得した読取対象物位置１５０１が示す矩形（例：（Ｘ７，Ｙ７）（Ｘ８，Ｙ８））が一部でも重複するか否かで判定する。

具体的には、以下のような条件式を用い、（Ｘ２＜Ｘ７｜｜Ｘ１＞Ｘ８｜｜Ｙ２＜Ｙ７｜｜Ｙ１＞Ｙ８）の場合には、重複しないと判定し、それ以外の場合に重複すると判定することができる。なお、矩形同士の重複で判定するのみならず、撮影位置１４０４が示す矩形の周りに判定領域を設け、当該判定領域と読取対象物位置１５０１が示す矩形とが重複するか否かを判定してもよい。

撮影位置１４０４が示す矩形と、ステップＳ１９１２で取得した読取対象物位置１５０１が示す矩形とが一部でも重複すると判定した場合には読取対象物は移動していないとして処理をステップＳ１９１２に戻す。撮影位置１４０４が示す矩形と、ステップＳ１９１２で取得した読取対象物位置１５０１が示す矩形が一部も重複していないと判定した場合には読取対象物が移動されたと判定し、処理をステップＳ１９１４に進める。

ステップＳ１９１４乃至ステップＳ１９１７は、図７に示すステップＳ７１４乃至ステップＳ７１７までの処理と同様であるため説明は省略する。

以上、第２の実施形態によれば読取対象物が撮影された時の座標エリア外に移動したか否かを判定し読取対象物が座標エリア外に移動したと判定した場合に保存した画像を投影することで、撮影された位置から読み取り対象物を取り除くと撮影された画像データが投影されるという、ユーザの直観的な操作感を実現することを可能とする効果がある。

以上説明したように、本発明の実施形態によれば、撮影した書類をユーザが適切に確認できるよう投影することの可能な効果を奏する。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００情報処理装置
１０２投影撮像装置
４０１ＣＰＵ
４０２ＲＡＭ
４０３ＲＯＭ
４０４システムバス
４０５汎用入出力コントローラ
４０６ビデオコントローラ
４０７メモリコントローラ
４０８通信Ｉ／Ｆコントローラ
４０９入力デバイス
４１０ディスプレイ
４１１外部メモリ
４２１デジタルカメラ
４２２ジェスチャセンサ
４２３プロジェクタ

Claims

読取対象物を撮影部が撮影した画像を記憶させるかを制御する情報処理システムであって、
読取対象物を示す複数の種別の中から前記撮影部で撮影する種別の選択をユーザにより受け付ける受付手段と、
前記撮影部で前記読取対象物が撮影された場合に、当該撮影された第１の画像と重複する領域で、前記第１の画像よりも先に前記撮影部で前記読取対象物が撮影された第２の画像が記憶されている場合は、前記受付手段により選択を受け付けた種別と関連付けて前記第１の画像を前記第２の画像に上書きし、また、前記第１の画像の領域と重複しない領域で撮影された前記第２の画像が記憶されている場合は、前記第１の画像を前記第２の画像に上書きせずに、前記受付手段により選択を受け付けた種別と関連付けて前記第１の画像および前記第２の画像を記憶するよう制御する記憶制御手段と、
を備えることを特徴とする情報処理システム。
前記記憶制御手段は、前記受付手段で選択を受け付けた種別ごとに前記撮影部で撮影した画像を記憶するよう制御することを特徴とする請求項１に記載の情報処理システム。
前記情報処理システムは、投影部を備え、前記撮影部で撮影された画像を前記投影部により投影するよう制御する投影制御手段をさらに備え、
前記投影制御手段は、前記記憶制御手段により記憶された画像を前記投影面に投影するよう制御することを特徴とする請求項１または２に記載の情報処理システム。
読取対象物を撮影部が撮影した画像を記憶させるかを制御する情報処理システムの制御方法であって、
前記情報処理システムが、読取対象物を示す複数の種別の中から前記撮影部で撮影する種別の選択をユーザにより受け付ける受付ステップと、
前記情報処理システムが、前記撮影部で前記読取対象物が撮影された場合に、当該撮影された第１の画像と重複する領域で、前記第１の画像よりも先に前記撮影部で前記読取対象物が撮影された第２の画像が記憶されている場合は、前記受付ステップにより選択を受け付けた種別と関連付けて前記第１の画像を前記第２の画像に上書きし、また、前記第１の画像の領域と重複しない領域で撮影された前記第２の画像が記憶されている場合は、前記第１の画像を前記第２の画像に上書きせずに、前記受付ステップにより選択を受け付けた種別と関連付けて前記第１の画像および前記第２の画像を記憶するよう制御する記憶制御ステップと、
を含むことを特徴とする情報処理システムの制御方法。
コンピュータを、請求項１乃至３の何れか１項に記載の情報処理システムとして機能させるためのプログラム。