JP6149812B2 - 情報処理システム、その制御方方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、投影中断時に投影画面上に存在していた対象物を含む画像を、投影を再開した投影画面とは異なる投影画面においても継続して投影しておくことが可能な情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラムに関する。

従来、パーソナルコンピュータ等の情報処理装置では、複数の画面をあらかじめ決められた順序で表示していく仕組みが存在する。このような仕組みは、例えば商品説明や承認のためのワークフロー、アンケートサイト等で利用されている。

この仕組みは、開始から終了までが一連の流れになっているため、ユーザは一度開始してしまうと終了までの一連の流れを実行しなければいけなかった。すなわち、途中で中断して後で中断した画面から再開することができなかった。

この課題を解決するために従来技術では、中断が指示された画面を記憶しておき、後で再開が指示されると記憶した画面から再開するための仕組みが存在する。この仕組みの一つとして下記の引用文献１では、一連の操作レッスンを中断終了しても、中断位置から再開することの可能な仕組みが開示されている。この仕組みでは、情報処理装置等を操作するための一連の操作レッスンをあらかじめ決められた順序で実行していく際に、中断指示がなされたレッスン位置を記憶しておき、次回レッスン起動時にこの記憶したレッスン位置から操作可能とする仕組みである。

特開２０００−２２７８１６号

前述した従来技術は、例えば銀行窓口の銀行員（以下、テラー）が金融商品の説明を顧客に対して行う業務で用いられる。この金融商品の説明を行う場合にも、あらかじめ決められた一連の流れが存在するので、従来は前述した仕組みを用いて説明の中断と再開を繰り返しながら金融商品の説明を行っていた。

しかしながら、前述した仕組みを用いることで前回説明を中断した画面から再開することはできるのだが、顧客が参考情報として持ってきた紙文書は、次回も顧客が持参する必要があった。例えば、他行の金融商品に関するチラシと比較しながら説明を受けたい場合、顧客は毎回当該チラシを持参して、テラーから説明を聞く必要があり、非常に手間となっていた。

本発明は、投影中断時に投影画面上に存在していた対象物を含む画像を、投影を再開した投影画面とは異なる投影画面においても継続して投影しておくことが可能な仕組みを提供することを目的とする。

上記の目的を達成するために本発明の情報処理システムは、複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理システムであって、前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、前記中断指示受付手段で受け付けた指示に応じて中断された前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段とを備え、前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影し、前記投影手段は、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影することを特徴とする情報処理システム。

本発明によれば、投影中断時に投影画面上に存在していた対象物を含む画像を、投影を再開した投影画面とは異なる投影画面においても継続して投影しておくことが可能となる。

本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。 投影撮像装置１０２の外観構造及び内部構造の概要を示す図である。 投影撮像装置１０２を用いて投影した投影画像を用いて、商品説明を行う場合を示す図である。 情報処理装置１０１及び投影撮像装置１０２のハードウェア構成の一例を示す図である。 情報処理装置１０１の機能構成の一例を示す図である。 本発明の一連の処理の流れを示すフローチャートである。 ログイン画面７００の画面構成の一例を示す図である。 メニュー画面８００の画面構成の一例を示す図である。 説明開始処理の流れを示すフローチャートである。 図９に続き、説明開始処理の流れを示すフローチャートである。 顧客情報登録画面１１００の画面構成の一例を示す図である。 顧客情報テーブル１２００、画面管理テーブル１２１０のテーブル構成の一例を示す図である。 商品説明画面１３００の画面構成の一例を示す図である。 シミュレーション画面１３００の画面構成の一例を示す図である。 書類読取画面１５００の画面構成の一例を示す図である。 書類読取指示画面１６００の画面構成の一例を示す図である。 書類管理テーブル１７００のテーブル構成の一例を示す図である。 案内画面１８００の画面構成の一例を示す図である。 説明中断処理の流れを示すフローチャートである。 中断管理テーブル２０００のテーブル構成の一例を示す図である。 投影面上に書類が置かれた場合の一例と、当該書類の座標値の一例を示す図である。 書類が位置していた現実空間の座標に対応する画面上の座標を示す図である。 書類を含む投影面を撮像した画像データの一例と、当該画像データから抽出した書類の画像データの一例を示す図である。 説明再開処理の流れを示すフローチャートである。 図２４に続き、説明再開処理の流れを示すフローチャートである。 顧客ID入力画面２６００の画面構成の一例を示す図である。 書類の画像データを画面にオーバレイ表示した場合の一例を示す図である。 再開時操作処理の流れを示すフローチャートである。 書類の画像データがオーバレイ表示された画面において、当該書類が投影面に置かれた場合の一例と、置かれることにより書類の画像データが非表示になる一例を示す図である。 書類の画像データを移動する場合の一例と、書類の画像データを縮小する場合の一例を示す図である。 書類の画像データを回転する場合の一例を示す図である。

以下、図面を参照しながら、本発明の実施形態の一例について説明する。

図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１０１と投影撮像装置１０２とを含む。情報処理装置１０１は、投影撮像装置１０２と通信可能に接続されており、またディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１０１は、当該情報処理装置１０１に接続された各種デバイスに対して各種動作を実行するよう指示を行う。

投影撮像装置１０２は、プロジェクタと、デジタルカメラと、ジェスチャセンサとを備える装置である。情報処理装置１０１からの指示に応じてプロジェクタで投影をし、投影をした投影面をデジタルカメラで撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。

投影撮像装置１０２の外部構造及び内部構造について、図２を用いて説明する。

図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２はプロジェクタ４２３（投影装置）とデジタルカメラ４２１（撮像装置）を格納する箱状の収納部を底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。

また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３はプロジェクタ用開口部２０６を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１はデジタルカメラ用開口部２０５を通して反射鏡２０７に向けて設置されている。

更に、投影撮像装置１０２は、ジェスチャセンサ４２２（センサ装置）を備えている。このジェスチャセンサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書（以下、書類）等の位置や動きを特定するために、センサからこれらの物体までの距離を算出する。深度センサは、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、深度センサが備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、深度センサの距離の算出方式はどのような方式であってもよいし、深度センサ以外のセンサを用いてもよい。

投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１０１と通信可能に接続されている。本実施形態においては、情報処理装置１０１と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１０１を内包してもよい。

次に図３を用いて、投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー３０１と、商品説明を受ける顧客３０２である。

テラー３０１は、入力デバイス４０９を操作して情報処理装置１０１に画面の表示指示を行うと、情報処理装置１０１からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。

プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に商品説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。

図４は、本発明の実施形態における情報処理装置１０１のハードウェア構成の一例を示す図である。

ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、情報処理装置１０１の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１やジェスチャセンサ４２２との入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。

ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示・投影指示する。いわゆるミラーリングやマルチモニタが可能である。

メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、ジェスチャセンサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。

本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。

次に、情報処理装置１０１の機能構成の一例について図５を用いて説明する。尚、図５の情報処理装置１０１の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は機能部として、記憶部５０１、表示制御部５０２、投影制御部５０３、撮像制御部５０４、センサ制御部５０５、座標変換部５０６、操作検知部５０７、シミュレーション制御部５０８、画像データ解析部５０９、画像処理部５１０、オーバレイ表示部５１１を備える。

記憶部５０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。

表示制御部５０２は、情報処理装置１０１と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部５０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。

投影制御部５０３は、情報処理装置１０１と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である。投影制御部５０３から画面等の投影指示がなされると、表示制御部５０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等を投影する。

撮像制御部５０４は、情報処理装置１０１と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部５０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１０１に送信する。撮像制御部５０４は、これを受け取り、画像データを左右反転させた上で記憶部５０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部５０１で画像データを記憶する前に、撮像制御部５０４がこの画像データを左右反転する。

センサ制御部５０５は、情報処理装置１０１と通信可能に接続されたジェスチャセンサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を制御するための機能部である。ジェスチャセンサ４２２が検出した現実空間の情報は、ジェスチャセンサ４２２から情報処理装置１０１に対して逐一送信される。センサ制御部５０５はこれを受信し、後述する座標変換部５０６に渡す。

座標変換部５０６は、センサ制御部５０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部５０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。基本的に、ジェスチャセンサ４２２が検知する投影面３０４における座標値と、情報処理装置１０１が投影指示する画面の座標値とは、異なる座標値である。これは、ジェスチャセンサ４２２が認識する座標値の粒度と情報処理装置１０１が認識する座標値の粒度が異なるためである。すなわち、座標値の絶対値「１」あたりの長さがジェスチャセンサ４２２と情報処理装置１０１とで異なるということである。そのため、ジェスチャセンサ４２２で検知した座標値は情報処理装置１０１が管理する画面のどの座標値に該当するのかを、この座標変換部５０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。

操作検知部５０７は、ユーザからの操作を検知するための機能部である。情報処理装置１０１に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部５０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。

シミュレーション制御部５０８は、ユーザから指定された入力値を用いてシミュレーションを実行するための機能部である。入力デバイス４０９や投影面３０４においてユーザからのタッチ操作等を受け付けることで、シミュレーションを実行するための入力値を取得し、これを用いて将来の状況をシミュレーションする。特に本実施形態では、銀行窓口で住宅ローンの説明を行う場合を想定しているため、月々の返済額はいくらになるのかをシミュレーションする。シミュレーションする対象はこれに限らない。

画像データ解析部５０９は、デジタルカメラ４２１から送信された画像データを解析するための機能部である。デジタルカメラ４２１は、ユーザによって置かれた書類を含む投影面３０４を撮像しているので、この書類だけを抽出するために画像データを解析する。特に、書類のエッジ検出を行い、後述する画像処理部５１０がこの書類を抽出できるようにする。エッジ検出の方法は従来技術を用いるため、詳細な説明は省略する。

画像処理部５１０は、デジタルカメラ４２１から送信された画像データに対して画像処理を施すための機能部である。画像データ解析部５０９で書類のエッジが検出されているので、このエッジに沿って書類をトリミングすることで書類の画像データを生成する。更に、この書類の画像データの傾きを当該書類の縦横が画面の縦横とそれぞれ平行になるよう補正する。その他、画像データを閲覧しやすくするための画像処理を行ってもよい。こうして画像処理が施された書類の画像データを記憶部５０１で記憶する。尚、前述した撮像制御部５０４で画像データを記憶する前に左右反転させていたが、画像処理部５１０がこれを行ってもよい。

オーバレイ表示部５１１は、投影制御部５０３でプロジェクタ４２３に投影指示する画面に対して、オーバレイ表示を行うための機能部である。プロジェクタ４２３で投影する画面の上に前述した書類の画像データを重畳させる（オーバレイする）。そして書類の画像データがオーバレイされた画面を投影制御部５０３がプロジェクタ４２３に対して投影指示する。オーバレイ表示の方法は従来技術を用いるため、詳細な説明は省略する。

次に、本発明の実施形態における一連の処理の流れについて、図６に示すフローチャートを用いて説明する。

まず、ステップＳ６０１では、情報処理装置１０１のＣＰＵ４０１は、ユーザであるテラー３０１からの指示に応じて外部メモリ４１１等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップＳ６０２乃至ステップＳ６１２の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面３０４に商品説明のための各種画面をプロジェクタ４２３から投影する。

ステップＳ６０２では、情報処理装置１０１のＣＰＵ４０１は、図７に示すようなログイン画面７００をディスプレイ４１０に表示する。ログイン画面７００には、テラー３０１ごとに割り振られたユーザＩＤの入力を受け付けるユーザＩＤ入力欄７０１と、このユーザＩＤと対応するパスワードの入力を受け付けるパスワード入力欄７０２とを備えている。投影アプリケーションをテラー３０１が利用するためには、ユーザ認証を行う必要がある。

ステップＳ６０３では、情報処理装置１０１のＣＰＵ４０１は、投影アプリケーションの終了指示を検知したか否かを判定する。すなわち、ユーザから投影アプリケーションの終了指示（不図示の終了ボタンの押下指示や画面を閉じる指示等）を受け付けたか否かを判定する。終了指示を検知したと判定した場合には、ステップＳ６１２に処理を進める。終了指示を検知していないと判定した場合には、ステップＳ６０４に処理を進める。

ステップＳ６０４では、情報処理装置１０１のＣＰＵ４０１は、ログイン画面７００が備えるログインボタン７０３の押下を検知したか否かを判定する。ログインボタン７０３の押下を検知したと判定した場合には、ステップＳ６０５に処理を進める。ログインボタン７０３の押下を検知していないと判定した場合には、ステップＳ６０３に処理を戻す。

ステップＳ６０５では、情報処理装置１０１のＣＰＵ４０１は、ユーザＩＤ入力欄７０１とパスワード入力欄７０２とに入力されたユーザＩＤとパスワードの組が、あらかじめ外部メモリ４１１等に記憶されたユーザＩＤとパスワードの組に一致するか否かを判定する。ユーザ認証の仕組みは従来技術であるので詳細な説明は省略する。ユーザＩＤ入力欄７０１とパスワード入力欄７０２とに入力されたユーザＩＤとパスワードの組が、あらかじめ外部メモリ４１１等に記憶されたユーザＩＤとパスワードの組に一致すると判定した場合には、ユーザ認証は成功であるので、投影アプリケーションにログインして、ステップＳ６０６に処理を進める。ユーザＩＤ入力欄７０１とパスワード入力欄７０２とに入力されたユーザＩＤとパスワードの組が、あらかじめ外部メモリ４１１等に記憶されたユーザＩＤとパスワードの組に一致しないと判定した場合には、ユーザ認証は失敗であるので、その旨を通知してステップＳ６０２に処理を戻す。

ステップＳ６０６では、情報処理装置１０１のＣＰＵ４０１は、図８に示すようなメニュー画面８００をディスプレイ４１０に表示する。メニュー画面８００は、説明開始ボタン８０１、説明再開ボタン８０２、ログアウトボタン８０３の３つのボタンを備えている。説明開始ボタン８０１は、顧客３０２に対する商品説明を最初から開始するためのボタンである。説明再開ボタン８０２は、中断した商品説明を再開するためのボタンである。更にログアウトボタン８０３は、投影アプリケーションからログアウトするためのボタンである。

ステップＳ６０７では、情報処理装置１０１のＣＰＵ４０１は、説明開始ボタン８０１の押下を検知したか否かを判定する。すなわち、ユーザであるテラー３０１から説明開始ボタン８０１の押下を受け付けたか否かを判定する。説明開始ボタン８０１の押下を検知したと判定した場合には、ステップＳ６０８に処理を進める。説明開始ボタン８０１の押下を検知していない、または説明開始ボタン８０１以外のボタンの押下を検知したと判定した場合には、ステップＳ６０９に処理を進める。

ステップＳ６０８では、情報処理装置１０１のＣＰＵ４０１は、説明開始処理を実行する。説明開始処理の詳細は、後述する図９及び図１０に示す。説明開始処理が終了したら、ステップＳ６０６に処理を戻す。

ステップＳ６０９では、情報処理装置１０１のＣＰＵ４０１は、説明再開ボタン８０２の押下を検知したか否かを判定する。すなわち、ユーザであるテラー３０１から説明再開ボタン８０２の押下を受け付けたか否かを判定する。説明再開ボタン８０２の押下を検知したと判定した場合には、ステップＳ６１０に処理を進める。説明再開ボタン８０２の押下を検知していない、または説明開始ボタン８０１及び説明再開ボタン８０２以外のボタンの押下を検知したと判定した場合には、ステップＳ６１１に処理を進める。

ステップＳ６１０では、情報処理装置１０１のＣＰＵ４０１は、説明再開処理を実行する。説明再開処理の詳細は、後述する図２４及び図２５に示す。説明再開処理が終了したら、ステップＳ６０６に処理を戻す。

ステップＳ６１１では、情報処理装置１０１のＣＰＵ４０１は、ログアウトボタン８０３の押下を検知したか否かを判定する。すなわち、ユーザであるテラー３０１からログアウトボタン８０３の押下を受け付けたか否かを判定する。ログアウトボタン８０３の押下を検知したと判定した場合には、投影アプリケーションからログアウトし、ステップＳ６０２に処理を戻す。ログアウトボタン８０３の押下を検知していないと判定した場合には、ステップＳ６０６に処理を戻す。このとき、すでにメニュー画面８００が表示されているのであれば、ステップＳ６０７に処理を戻す。

一方、ステップＳ６０３で終了指示を検知した場合には、ステップＳ６１２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ６０１で起動した投影アプリケーションを終了する。このように、ユーザであるテラー３０１が投影アプリケーションを操作することで、説明の準備を行う。

次に、説明開始処理の流れについて、図９及び図１０に示すフローチャートを用いて説明する。

まず、ステップＳ９０１では、情報処理装置１０１のＣＰＵ４０１は、図１１に示すような顧客情報登録画面１１００をプロジェクタ４２３に投影させて、投影面３０４に表示する。このとき、ミラーリング機能を用いて、ディスプレイ４１０には同じ顧客情報登録画面１１００が表示されてもよいし、マルチモニタ機能を用いて、ディスプレイ４１０には顧客情報登録画面１１００を操作するためのマニュアルや説明すべきポイントを表示させてもよい。以下、プロジェクタ４２３から投影面３０４に画面を投影する場合についても同様である。顧客情報登録画面１１００は、顧客３０２に関する情報（以下、顧客情報）を入力するための画面である。テラー３０１側には顧客情報の入力を受け付けるための入力欄が備えられており、顧客３０２側にはテラー３０１が入力を行った顧客情報がリアルタイムに更新されて表示される。情報処理装置１０１は、いずれかの入力欄に対するタッチ操作を検知すると、当該入力欄を入力受付状態にする。そして、入力デバイス４０９のキーボード等を用いて文字入力を受け付けると、この入力欄に文字列が入力される。

ステップＳ９０２では、情報処理装置１０１のＣＰＵ４０１は、顧客情報登録画面１１００が備える登録ボタン１１０１の押下を検知したか否かを判定する。すなわち、ユーザから登録ボタン１１０１の押下を受け付けたか否かを判定する。登録ボタン１１０１の押下を検知したと判定した場合には、ステップＳ９０３に処理を進める。登録ボタン１１０１の押下を検知していないと判定した場合には、登録ボタン１１０１の押下を検知するまでステップＳ９０２の処理を繰り返す。

ステップＳ９０３では、情報処理装置１０１のＣＰＵ４０１は、顧客情報登録画面１１００で入力を受け付けた顧客情報を図１２に示す顧客情報テーブル１２００に追加する。より具体的には、顧客情報テーブル１２００に新しくレコードを作成し、作成したレコードの各項目に対して、顧客情報を追加する。

顧客情報テーブル１２００は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。顧客情報テーブル１２００は、顧客ＩＤ１２０１、顧客名１２０２、フリガナ１２０３、郵便番号１２０４、住所１２０５、電話番号１２０６、生年月日１２０７、年齢１２０８、性別１２０９から構成される。顧客情報テーブル１２００の項目の構成はあくまで一例であり、これに限らない。

顧客ＩＤ１２０１は、顧客３０２ごとに割り振られる一意な識別情報である。ステップＳ９０３で新しくレコードを作成すると、一意な識別情報が割り振られて、顧客ＩＤ１２０１に格納される。顧客名１２０２は、顧客３０２の名前である。フリガナ１２０３は、顧客名１２０２が示す名前のフリガナを示す。郵便番号１２０４は、顧客３０２の住所の郵便番号を示す。住所１２０５は、顧客３０２の住所を示す。電話番号１２０６は、顧客３０２の電話番号を示す。生年月日１２０７は、顧客３０２の生年月日を示す。年齢１２０８は、顧客３０２の満年齢を示す。性別１２０９は、顧客３０２の性別を示す。

ステップＳ９０４では、情報処理装置１０１のＣＰＵ４０１は、図１３に示すような商品説明画面１３００をプロジェクタ４２３に投影させて、投影面３０４に表示する。商品説明画面１３００は、本実施形態においては住宅ローンの説明を行うための画面である。テラー３０１側には住宅ローンの説明を行うためのチラシのサムネイル画像が表示されており、このいずれかに対するタッチ操作を検知すると、タッチ操作を検知したサムネイル画像に対応するチラシが顧客３０２側に表示される。例えば、図１３のサムネイル画像１３０３に対するタッチ操作を検知すると、顧客３０２側にチラシ１３０４が表示される。顧客３０２側に表示されるチラシは、チラシの画像データであってもよいし、文書データであってもよい。

ステップＳ９０５では、情報処理装置１０１のＣＰＵ４０１は、再開時操作処理を実行する。再開時操作処理の詳細は、後述する図２８に示す。

ステップＳ９０６では、情報処理装置１０１のＣＰＵ４０１は、商品説明画面１３００が備える中断ボタン１３０１の押下を検知したか否かを判定する。すなわち、ユーザから中断ボタン１３０１の押下を受け付けたか否かを判定する。中断ボタン１３０１の押下を検知したと判定した場合には、ステップＳ９０７に処理を進める。中断ボタン１３０１の押下を検知していない、または中断ボタン１３０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９０９に処理を進める。

ステップＳ９０７では、情報処理装置１０１のＣＰＵ４０１は、現在、投影面３０４に投影している画面の画面ＩＤ１２１１を取得し、ＲＡＭ４０３に一時記憶する。画面ＩＤ１２１１は、図１２に示す画面管理テーブル１２１０で管理している。すなわち、現在、投影面３０４に表示されている画面は商品説明画面１３００であるので、この商品説明画面１３００に対応する画面名１２１２は、「商品説明画面」である。これに対応する画面ＩＤ１２１１は「ＵＩ０１」であるので、これを取得する。

画面管理テーブル１２１０は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。画面管理テーブル１２１０は、画面ＩＤ１２１１、画面名１２１２から構成される。画面管理テーブル１２１０の項目の構成はあくまで一例であり、これに限らない。画面ＩＤ１２１１は、画面ごとに一意に割り振られた識別情報を示す。画面名１２１２は、画面の名称を示す。

ステップＳ９０８では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理を実行する。説明中断処理の詳細は、後述する図１９に示す。このとき、引数としてＲＡＭ４０３に記憶した画面ＩＤ１２１１を渡す。説明中断処理が終了したら、説明開始処理を終了する。

ステップＳ９０９では、情報処理装置１０１にＣＰＵ４０１は、商品説明画面１３００が備える次へボタン１３０２の押下を検知したか否かを判定する。すなわち、ユーザから次へボタン１３０２の押下を受け付けたか否かを判定する。次へボタン１３０２の押下を検知したと判定した場合には、ステップＳ９１０に処理を進める。次へボタン１３０２の押下を検知していないと判定した場合には、ステップＳ９０５に処理を戻す。

ステップＳ９１０では、情報処理装置１０１のＣＰＵ４０１は、図１４に示すようなシミュレーション画面１４００をプロジェクタ４２３に投影させて、投影面３０４に表示する。シミュレーション画面１４００は、住宅ローンの返済シミュレーションを行うための画面である。テラー３０１側には、シミュレーションを実行するためのパラメータ（以下、入力値）の入力を受け付けるための各種入力欄が表示されている。顧客３０２側には、テラー３０１側で入力を受け付けた入力値に応じてシミュレーションが実行された結果が表示される。入力欄に対する入力は、顧客情報登録画面１１００と同様である。

ステップＳ９１１では、情報処理装置１０１のＣＰＵ４０１は、再開時操作処理を実行する。再開時操作処理の詳細は、後述する図２８に示す。

ステップＳ９１２では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００が備えるシミュレーションボタン１４０３の押下を検知したか否かを判定する。すなわち、ユーザからシミュレーションボタン１４０３の押下を受け付けたか否かを判定する。シミュレーションボタン１４０３の押下を検知したと判定した場合には、ステップＳ９１３に処理を進める。シミュレーションボタン１４０３の押下を検知していない、またはシミュレーションボタン１４０３以外のボタンの押下を検知したと判定した場合には、ステップＳ９１４に処理を進める。

ステップＳ９１３では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００の各入力欄に入力された入力値を用いて、住宅ローンの返済シミュレーションを実行する。シミュレーションの方法は従来技術を用いるため、詳細な説明は省略する。シミュレーションが実行されると、シミュレーション画面１４００の顧客３０２側にシミュレーションの実行結果が表示される。

ステップＳ９１４では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００が備える中断ボタン１４０１の押下を検知したか否かを判定する。すなわち、ユーザから中断ボタン１４０１の押下を受け付けたか否かを判定する。中断ボタン１４０１の押下を検知したと判定した場合には、ステップＳ９１５に処理を進める。中断ボタン１４０１の押下を検知していない、またはシミュレーションボタン１４０３、中断ボタン１３０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９１８に処理を進める。

ステップＳ９１５では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００の各入力欄に入力された入力値を取得し、ＲＡＭ４０３に一時記憶する。

ステップＳ９１６では、情報処理装置１０１のＣＰＵ４０１は、現在、投影面３０４に投影している画面の画面ＩＤ１２１１を取得し、ＲＡＭ４０３に一時記憶する。すなわち、現在、投影面３０４に表示されている画面はシミュレーション画面１４００であるので、このシミュレーション画面１４００に対応する画面名１２１２は、「シミュレーション画面」である。これに対応する画面ＩＤ１２１１は「ＵＩ０２」であるので、これを取得する。

ステップＳ９１７では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理を実行する。説明中断処理の詳細は、後述する図１９に示す。このとき、引数としてＲＡＭ４０３に記憶したシミュレーションの入力値と画面ＩＤ１２１１とを渡す。説明中断処理が終了したら、説明開始処理を終了する。

ステップＳ９１８では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００が備える次へボタン１４０２の押下を検知したか否かを判定する。すなわち、ユーザから次へボタン１４０２の押下を受け付けたか否かを判定する。次へボタン１４０２の押下を検知したと判定した場合には、図１０のステップＳ９１９に処理を進める。次へボタン１４０２の押下を検知していないと判定した場合には、ステップＳ９１１に処理を戻す。

図１０に説明を移す。ステップＳ９１９では、情報処理装置１０１のＣＰＵ４０１は、図１５に示すような書類読取画面１５００をプロジェクタ４２３に投影させて、投影面３０４に表示する。書類読取画面１５００は、住宅ローンを組むために必要な書類を画像データとして情報処理装置１０１に取り込むための画面である。テラー３０１側と顧客３０２側の双方に提出が必要な書類種別（重要事項説明書、本人確認書類等）の一覧（以下、書類種別欄）が表示されており、このいずれかに対するタッチ操作を検知すると、図１６に示す書類読取指示画面１６００が表示される。書類読取指示画面１６００で書類の読み取り、すなわちデジタルカメラ４２１による撮像が行われ、撮像により生成された画像データを情報処理装置１０１が取得する。無事に読み取りが終了すると、再び書類読取画面１５００に戻り、タッチ操作を検知した書類の枠に読み取った画像データを表示する。例えば、本人確認書類欄１５０３に対するタッチ操作を検知すると、この本人確認書類を読み込むために書類読取指示画面１６００が表示される。そして、顧客３０２が投影面３０４に置いた本人確認書類を読み込む。読み取りが完了すると、書類読取画面１５００に戻り、テラー３０１側と顧客３０２側の双方の本人確認書類欄に読み込んだ画像データが表示される。

ステップＳ９２２では、情報処理装置１０１のＣＰＵ４０１は、書類読取画面１５００が備える書類種別欄において、いずれかの書類種別に対する選択を検知したか否かを判定する。すなわち、ユーザからいずれかの書類種別に対する選択を受け付けたか否かを判定する。書類種別に対する選択を検知したと判定した場合には、ステップＳ９２２に処理を進める。書類種別に対する選択を検知していない、また他のボタンに対する選択を検知したと判定した場合には、ステップＳ９２９に処理を進める。

ステップＳ９２２では、情報処理装置１０１のＣＰＵ４０１は、図１６に示すような書類読取指示画面１６００をプロジェクタ４２３に投影させて、投影面３０４に表示する。

ステップＳ９２３では、情報処理装置１０１のＣＰＵ４０１は、書類読取指示画面１６００が備える書類読取ボタン１６０１の押下を検知したか否かを判定する。すなわち、ユーザから書類読取ボタン１６０１の押下を受け付けたか否かを判定する。書類読取ボタン１６０１の押下を検知したと判定した場合には、ステップＳ９２４に処理を進める。書類読取ボタン１６０１の押下を検知していない、または書類読取ボタン１６０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９２８に処理を進める。

ステップＳ９２４では、情報処理装置１０１のＣＰＵ４０１は、デジタルカメラ４２１に対して撮像指示を送信する。これにより、デジタルカメラ４２１が反射鏡２０７に映る投影面３０４を撮像する。

ステップＳ９２５では、情報処理装置１０１のＣＰＵ４０１は、撮像により生成された画像データをデジタルカメラから取得し、当該画像データを左右反転させた上で、当該画像データから書類の部分を抽出（トリミング）する。左右反転させるのは、前述した通り、反射鏡２０７に映る像を撮像しているためである。

ステップＳ９２６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ９２５でトリミングした画像データに対して傾きの補正や色味の補正を行い、外部メモリ４１１等に保存（記憶）する。

ステップＳ９２７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ９２６で記憶した画像データの保存場所を図１７に示す書類管理テーブル１７００に追加する。より具体的には、商品説明中の顧客３０２に対応するレコードがなければ、新しくレコードを作成し、ステップＳ９２１で選択を検知した書類種別の項目にステップＳ９２６で保存した画像データの保存場所を格納する。すでに商品説明中の顧客３０２に対応するレコードが存在するのであれば、当該レコードの項目のうち、ステップＳ９２１で選択を検知した書類種別の項目にステップＳ９２６で保存した画像データの保存場所を格納する。

書類管理テーブル１７００は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。書類管理テーブル１７００は、顧客ＩＤ１７０１、重要事項説明書１７０２、本人確認書類１７０３、住民票１７０４、源泉徴収票１７０５、印鑑証明書１７０６、住宅見取り図 １７０７から構成される。書類管理テーブル１７００の項目の構成はあくまで一例であり、これに限らない。

顧客ＩＤ１７０１は、顧客情報テーブル１２００の顧客ＩＤ１２０１に対応する、顧客３０２を一意に識別するための識別情報を示す。重要事項説明書１７０２は、書類種別で「重要事項説明書」が選択されて読み込まれた画像データの保存場所を示す。本人確認書類１７０３は、書類種別で「本人確認書類」が選択されて読み込まれた画像データの保存場所を示す。住民票１７０４は、書類種別で「住民票」が選択されて読み込まれた画像データの保存場所を示す。源泉徴収票１７０５は、書類種別で「源泉徴収票」が選択されて読み込まれた画像データの保存場所を示す。印鑑証明書１７０６は、書類種別で「印鑑証明書」が選択されて読み込まれた画像データの保存場所を示す。住宅見取り図 １７０７は、書類種別で「住宅見取り図」が選択されて読み込まれた画像データの保存場所を示す。尚、これらの保存場所を示す項目に「ＮＵＬＬ」が格納されている場合には、当該書類種別が読み取られていないことを示す。

ステップＳ９２８では、情報処理装置１０１のＣＰＵ４０１は、書類読取指示画面１６００が備えるキャンセルボタン１６０２の押下を検知したか否かを判定する。すなわち、ユーザからキャンセルボタン１６０２の押下を受け付けたか否かを判定する。キャンセルボタン１６０２の押下を検知したと判定した場合には、ステップＳ９１９に処理を戻す。キャンセルボタン１６０２の押下を検知していないと判定した場合には、ステップＳ９２３に処理を戻す。

一方、ステップＳ９２１で書類種別の選択を検知しなかった場合には、ステップＳ９２９では、情報処理装置１０１のＣＰＵ４０１は、書類読取画面１５００が備える中断ボタン１５０１の押下を検知したか否かを判定する。すなわち、ユーザから中断ボタン１５０１の押下を受け付けたか否かを判定する。中断ボタン１５０１の押下を検知したと判定した場合には、ステップＳ９３０に処理を進める。中断ボタン１５０１の押下を検知していない、または中断ボタン１５０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９３２に処理を進める。

ステップＳ９３０では、情報処理装置１０１のＣＰＵ４０１は、現在、投影面３０４に投影している画面の画面ＩＤ１２１１を取得し、ＲＡＭ４０３に一時記憶する。すなわち、現在、投影面３０４に表示されている画面は書類読取画面１５００であるので、この書類読取画面１５００に対応する画面名１２１２は、「書類読取画面」である。これに対応する画面ＩＤ１２１１は「ＵＩ０３」であるので、これを取得する。尚、書類読取指示画面１６００は一時的な作業画面であるため、他の画面に存在する中断ボタンは備えていない。特に、本実施形態では、中断する際に投影面３０４に置いてある書類を画像データとして保存しておき、再開時にはこの画像データを表示した状態で再開する。すなわち、再開時にこの画像データが表示されてしまうと、書類読取指示画面１６００で表示した画像データまでデジタルカメラ４２１が撮像してしまうことになる。これでは書類が綺麗に読み取れないので、中断ボタンは備えていない。

ステップＳ９３１では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理を実行する。説明中断処理の詳細は、後述する図１９に示す。このとき、引数としてＲＡＭ４０３に記憶した画面ＩＤ１２１１を渡す。説明中断処理が終了したら、説明開始処理を終了する。

ステップＳ９３２では、情報処理装置１０１のＣＰＵ４０１は、書類読取画面１５００が備える次へボタン１５０２の押下を検知したか否かを判定する。ユーザから次へボタン１５０２の押下を受け付けたか否かを判定する。次へボタン１５０２の押下を検知したと判定した場合には、ステップＳ９３３に処理を進める。次へボタン１５０２の押下を検知していないと判定した場合には、ステップＳ９２０に処理を戻す。

ステップＳ９３３では、情報処理装置１０１のＣＰＵ４０１は、図１８に示すような案内画面１８００をプロジェクタ４２３に投影させて、投影面３０４に表示する。案内画面１８００は、顧客３０２に今後の流れを説明するための画面である。

ステップＳ９２４では、情報処理装置１０１のＣＰＵ４０１は、案内画面１８００が備える終了ボタン１８０１の押下を検知したか否かを判定する。ユーザから終了ボタン１８０１の押下を受け付けたか否かを判定する。終了ボタン１８０１の押下を検知したと判定した場合には、説明開始処理を終了する。終了ボタン１８０１の押下を検知していないと判定した場合には、終了ボタン１８０１が押下されるまでステップＳ９２４の処理を繰り返す。

案内画面１８００においても中断ボタンを設けていないが、案内画面１８００は一連の画面遷移の中で最後の画面であるので、次回この画面から再開する意味はあまりない。よって、中断ボタンを設けていない。

次に、説明中断処理の流れについて、図１９に示すフローチャートを用いて説明する。

まず、ステップＳ１９０１では、情報処理装置１０１のＣＰＵ４０１は、説明中の顧客３０２の顧客ＩＤ１２０１を顧客情報テーブル１２００から取得する。

ステップＳ１９０２では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理の呼び出し元から引数として渡された画面ＩＤ１２１１と、ステップＳ１９０１で取得した顧客ＩＤ１２０１とを図２０に示す中断管理テーブル２０００に追加する。より具体的には、ステップＳ１９０１で取得した顧客ＩＤ１２０１に対応する顧客ＩＤ２００１が存在しなければ、中断管理テーブル２０００に新たなレコードを作成し、説明中断処理の呼び出し元から引数として渡された画面ＩＤ１２１１と、ステップＳ１９０１で取得した顧客ＩＤ１２０１とを作成したレコードの顧客ＩＤ２００１と画面ＩＤ２００２に追加する。または、ステップＳ１９０１で取得した顧客ＩＤ１２０１に対応する顧客ＩＤ２００１が存在する場合には、当該顧客ＩＤ２００１を含むレコードの画面ＩＤ２００２に画面ＩＤ１２１１を格納する。

中断管理テーブル２０００は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。中断管理テーブル２０００は、顧客ＩＤ２００１、画面ＩＤ２００２、中断書類２００３、中断書類座標２００４、傾き２００５、お借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０から構成される。中断管理テーブル２０００の項目の構成はあくまで一例であり、これに限らない。また、中断管理テーブル２０００に作成された顧客３０２ごとのレコードは、前述したステップＳ９３４で終了ボタン１８０１の押下を検知すると、削除される。

顧客ＩＤ２００１は、顧客情報テーブル１２００の顧客ＩＤ１２０１に対応する、顧客３０２を一意に識別するための識別情報を示す。画面ＩＤ２００２は、中断ボタンの押下を検知した画面の画面ＩＤ１２１１を示す。中断書類２００３は、中断ボタンの押下を検知した際に、投影面３０４に置いてある書類を撮影することにより生成される画像データの保存場所を示す。中断書類座標２００４は、中断書類２００３が示す保存場所に格納された画像データを配置する、画面ＩＤ２００２が示す画面上の座標値を示す。この座標値は、中断書類２００３が示す保存場所に保存される画像データの左上頂点の座標値である。傾き２００５は、中断書類２００３を画面ＩＤ２００２が示す画面上に表示する際に傾ける傾き（角度）を示す。お借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０は、シミュレーション画面１４００で中断ボタン１４０１の押下を検知した場合に、シミュレーション画面１４００に入力されている入力値を示す。

ステップＳ１９０３では、情報処理装置１０１のＣＰＵ４０１は、ジェスチャセンサ４２２から取得した情報に応じて、投影面３０４において書類（各図で中断書類と称する）を検知したか否かを判定する。ジェスチャセンサ４２２を用いることで、投影面３０４に存在する物体の形状や位置を特定することができる。ここで、投影面３０４に矩形状で一定範囲の厚さの物体が特定されれば、投影面３０４で書類を検知したと判定する。書類（紙文書）の特定方法は従来技術を用いるため詳細な説明は省略するが、前述した方法以外の方法で書類を検知してもよい。投影面３０４において書類を検知したと判定した場合には、ステップＳ１９０４に処理を進める。投影面３０４において書類を検知していないと判定した場合には、ステップＳ１９１３に処理を進める。

図２１の投影面例２１００は、商品説明画面１３００が投影面３０４に投影された状態を示す。この投影面例２１００では、中断ボタンの押下を検知したときに書類２１０１が投影面３０４に置かれている。ジェスチャセンサ４２２はこの書類の存在を検知すると、ステップＳ１９０４に処理を進めることになる。

ステップＳ１９０４では、情報処理装置１０１のＣＰＵ４０１は、現在投影している画面の投影を終了し、図２１に示すような中断書類読取画面２１１０をプロジェクタ４２３に投影するよう指示し、投影面３０４に表示する（投影終了指示手段）。中断書類読取画面２１１０は、検知した書類を自動的に読み取るための画面であるので、情報は表示せず、白い画面を投影するだけである。

ステップＳ１９０５では、情報処理装置１０１のＣＰＵ４０１は、投影面３０４に置かれている書類の現実空間における座標値を、ジェスチャセンサ４２２から取得する。より具体的には、ジェスチャセンサ４２２が認識する座標系に従って、当該書類の座標値を取得する。取得する座標値は書類の左上頂点の座標値である。中断書類読取画面２１１０を用いて説明すると、検知した書類２１０１の左上頂点は、左上頂点２１１１が示す点である。この点の座標値を取得する。ここでは便宜上、この座標値を（ｘ１、ｙ１）とする。

ステップＳ１９０６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９０５で取得した現実空間における書類の座標値を、中断した画面における座標値に変換する。前述した通り、現実空間における座標値、すなわちジェスチャセンサ４２２が認識する座標値と、中断した画面における（データ上の）座標値というのはそれぞれ異なる。よって、ジェスチャセンサ４２２で取得した座標値が、画面のどの座標値に該当するのかを特定しなければならない。よって、ステップＳ１９０６では現実空間の座標値を画面上の座標値に変換している。

図２２の画面例２２００では、ステップＳ１９０５で取得した現実空間における書類の座標値を、中断ボタンの押下を検知した商品説明画面１３００における座標値に変換した結果を示す画面である。すなわち、前述した中断書類読取画面２１１０で特定した左上頂点２１１１を商品説明画面１３００の座標値に変換すると、座標２２０１が示す座標値となる。この点が現実空間で投影面３０４に置かれた書類の左上頂点２１１１を示す座標値である。ここでは便宜上、この座標値を（ｘ１’，ｙ１’）とする。

ステップＳ１９０７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９０６で変換した座標値を中断管理テーブル２０００の中断書類座標２００４に格納する。

ステップＳ１９０８では、情報処理装置１０１のＣＰＵ４０１は、デジタルカメラ４２１に対して撮像指示を送信する（第１の撮像指示手段）。これにより、デジタルカメラ４２１が反射鏡２０７に映る投影面３０４を撮像する。

ステップＳ１９０９では、情報処理装置１０１のＣＰＵ４０１は、撮像により生成された画像データをデジタルカメラから取得し、当該画像データを左右反転させた上で、当該画像データから書類の部分を抽出（トリミング）する。図２３の画像データ例２３００は、図２１の中断書類読取画面２１１０が表示されている投影面３０４を撮像し、左右反転させた後の例である。この画像データから書類部分だけトリミングをする。

ステップＳ１９１０では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９０９で抽出した書類部分の画像データの傾きを検出する。図２３の画像データ例２３００にも示すように、書類はユーザが置くためある程度傾いていることが多い。よって、この傾きを、従来技術を用いて検出する。

ステップＳ１９１１では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９１０で検出した傾きに応じて、ステップＳ１９０９でトリミングした画像データの傾きを補正し、外部メモリ４１１等に保存する（画像データ保存手段）。図２３の画像データ例２３００から書類部分をトリミングして、傾き補正した例が画像データ例２３１０である。このように、画面の縦横に対して、画像の縦横がそれぞれ平行になるよう傾きを補正する。

ステップＳ１９１２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９１１で保存した書類部分の画像データの保存場所と、ステップＳ１９１０で検出した傾きとを、中断管理テーブル２０００に格納する。書類部分の画像データの保存場所は、中断管理テーブル２０００の中断書類２００３に格納し、ステップＳ１９１０で検出した傾きは、中断管理テーブル２０００の傾き２００５に格納する。

ステップＳ１９１３では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００で中断されたか否かを判定する。すなわち、中断管理テーブル２０００の画面ＩＤ２００２が示す画面が「シミュレーション画面」であるか否かを判定する。シミュレーション画面１４００で中断されたと判定した場合には、ステップＳ１９１４に処理を進める。シミュレーション画面１４００で中断されていない、すなわちシミュレーション画面１４００以外の画面で中断されたと判定した場合には、説明中断処理を終了する。

ステップＳ１９１４では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理の呼び出し元から引数として渡された、シミュレーション画面１４００の入力値を、中断管理テーブル２０００のお借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０、それぞれに格納する。こうしておくことで、説明を再開するときに、前回と同じ入力値を用いてすぐにシミュレーションを実行することができるようになる。

次に、説明再開処理の流れについて、図２４及び図２５に示すフローチャートを用いて説明する。

説明再開処理は、前述した説明中断処理によって一旦中断された説明を再開する場合の処理である。この再開する際に、中断時に投影面３０４に置かれていた書類が存在するのであれば、この書類の画像データを再開時の画面と共に表示することで、ユーザが当該書類を持参することなく、説明を再開することができるようになる。

まず、ステップＳ２４０１では、情報処理装置１０１のＣＰＵ４０１は、図２６に示すような顧客ＩＤ入力画面２６００をディスプレイ４１０に表示する。顧客ＩＤ入力画面２６００では、説明を再開する顧客の顧客ＩＤ１２０１の入力を受け付けるための顧客ＩＤ入力欄２６０１を備えている。

ステップＳ２４０２では、情報処理装置１０１のＣＰＵ４０１は、顧客ＩＤ入力画面２６００が備える再開ボタン２６０２の押下を検知したか否かを判定する。すなわち、ユーザから再開ボタン２６０２の押下を受け付けたか否かを判定する。再開ボタン２６０２の押下を検知したと判定した場合には、ステップＳ２４０３に処理を進める。再開ボタン２６０２の押下を検知していないと判定した場合には、再開ボタン２６０２の押下を検知するまで、ステップＳ２４０２を繰り返す。

ステップＳ２４０３では、情報処理装置１０１のＣＰＵ４０１は、中断管理テーブル２０００の顧客ＩＤ２００１に、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致するレコードが存在するか否かを判定する。つまり、前回説明を中断した顧客であるのか否かを判定する。中断管理テーブル２０００の顧客ＩＤ２００１に、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致するレコードが存在すると判定した場合には、ステップＳ２４０４に処理を進める。中断管理テーブル２０００の顧客ＩＤ２００１に、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致するレコードが存在しないと判定した場合には、前述したステップＳ９０１から説明開始処理を実行する。

ステップＳ２４０４では、情報処理装置１０１のＣＰＵ４０１は、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致する顧客ＩＤ２００１を持つレコードから、画面ＩＤ２００２を取得する。この画面ＩＤ２００２が前回中断した画面の画面ＩＤ１２１１である。

ステップＳ２４０５では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０４で取得した画面ＩＤ２００２を用いて、前回、商品説明画面１３００で中断したのか否かを判定する。すなわち、ステップＳ２４０４で取得した画面ＩＤ２００２が商品説明画面１３００を示すのか否かを判定する。画面ＩＤ２００２は、画面ＩＤ１２１１と対応するので、画面管理テーブル１２１０を用いれば、どの画面で中断したのかがわかる。商品説明画面１３００で中断したと判定した場合には、ステップＳ２４０６に処理を進める。商品説明画面１３００で中断していない、すなわち他の画面で中断したと判定した場合には、ステップＳ２４１０に処理を進める。

ステップＳ２４０６では、情報処理装置１０１のＣＰＵ４０１は、前回中断したと判定された商品説明画面１３００をプロジェクタ４２３に投影させて、投影面３０４に表示する。

ステップＳ２４０７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。すなわち、中断時に投影面３０４に書類が置かれていたか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２４０８に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、前述したステップＳ９０５に処理を進める。

ステップＳ２４０８では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３が示す保存場所から書類の画像データを取得し、更に当該レコードの中断書類座標２００４と傾き２００５とから、書類の画像データの座標値と傾きとを取得する。

ステップＳ２４０９では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０８で取得した書類の画像データ、座標値、傾きを用いて、商品説明画面１３００に取得した書類の画像データをオーバレイ表示し、これをプロジェクタ４２３に投影指示する（投影指示手段）。より具体的には、書類の画像データの左上頂点を取得した座標値にあわせる。そして、同じく取得した傾きを用いて画像データの角度を変えて、中断時に書類が置かれていた状況を再現する。

図２７のオーバレイ表示例２７００では、書類の画像データ例２３１０を商品説明画面１３００に重畳させている様子がわかる。中断書類座標２００４は座標２２０１である（ｘ１’，ｙ１’）を示すので、この点に取得した画像データ例２３１０の左上頂点を合わせている。そして、ステップＳ１９１０で検出した傾きが示す角度で画像データ例２３１０を回転させることにより、前回中断した際の書類の状況を再現することができる。

尚、図２１の投影面例２１００と図２７のオーバレイ表示例２７００とを比較して分かる通り、書類と商品説明画面１３００の前後関係が変わっている。これは、図２１の投影面例２１００が現実の書類の上に商品説明画面１３００を投影しているのに対し、図２７のオーバレイ表示例２７００は、商品説明画面１３００の上に書類の画像データを重畳させているためである。投影面例２１００と完全に同じ状況を再現するためには、書類の画像データの上に透過した商品説明画面１３００を重畳したり、商品説明画面１３００の上に透過した書類の画像データを重畳したりすることで、擬似的に再現することはできるのだが、どちらも透過処理を行うことになるので、投影面３０４に投影した際にユーザが閲覧しにくくなってしまう。よって、商品説明画面１３００の上に書類の画像データを重畳している。

ステップＳ２４０９でオーバレイ表示が完了したら、前述したステップＳ９０５に処理を進める。

ステップＳ２４１０では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０４で取得した画面ＩＤ２００２を用いて、前回、シミュレーション画面１４００で中断したのか否かを判定する。すなわち、ステップＳ２４０４で取得した画面ＩＤ２００２がシミュレーション画面１４００を示すのか否かを判定する。シミュレーション画面１４００で中断したと判定した場合には、ステップＳ２４１１に処理を進める。シミュレーション画面１４００で中断していない、すなわち他の画面で中断したと判定した場合には、図２５のステップＳ２４１８に処理を進める。

ステップＳ２４１１では、情報処理装置１０１のＣＰＵ４０１は、前回中断したと判定されたシミュレーション画面１４００をプロジェクタ４２３に投影させて、投影面３０４に表示する。

ステップＳ２４１２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定されたレコードに、シミュレーションの入力値が格納されているか否かを判定する。前述した通り、シミュレーションの入力値は、中断管理テーブル２０００のお借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０にそれぞれ格納されている。シミュレーションの入力値が格納されていると判定した場合には、ステップＳ２４１３に処理を進める。シミュレーションの入力値が格納されていないと判定された場合には、ステップＳ２４１５に処理を進める。

ステップＳ２４１３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定されたレコードのお借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０からそれぞれ入力値を取得する。

ステップＳ２４１４では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４１３で取得したシミュレーションの入力値を用いて、ステップＳ９１３と同様に返済シミュレーションを実行する。そしてその実行結果をステップＳ２４１１で表示したシミュレーション画面１４００の顧客３０２側に表示する。

ステップＳ２４１５では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。すなわち、中断時に投影面３０４に書類が置かれていたか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２４１６に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、前述したステップＳ９１１に処理を進める。

ステップＳ２４１６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３が示す保存場所から書類の画像データを取得し、更に当該レコードの中断書類座標２００４と傾き２００５とから、書類の画像データの座標値と傾きとを取得する。

ステップＳ２４１７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４１６で取得した書類の画像データ、座標値、傾きを用いて、シミュレーション画面１４００に取得した書類の画像データをオーバレイ表示する。オーバレイ表示については、ステップＳ２４０９で前述した通りである。オーバレイ表示が完了したら、前述したステップＳ９１１に処理を進める。

図２５に説明を移す。ステップＳ２４１８では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０４で取得した画面ＩＤ２００２を用いて、前回、書類読取画面１５００で中断したのか否かを判定する。すなわち、ステップＳ２４０４で取得した画面ＩＤ２００２が書類読取画面１５００を示すのか否かを判定する。書類読取画面１５００で中断したと判定した場合には、ステップＳ２４１９に処理を進める。書類読取画面１５００で中断していない、すなわち他の画面で中断したと判定した場合には、エラーを判定して説明再開処理を終了する。

ステップＳ２４１９では、情報処理装置１０１のＣＰＵ４０１は、前回中断したと判定された書類読取画面１５００をプロジェクタ４２３に投影させて、投影面３０４に表示する。

ステップＳ２４２０では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。すなわち、中断時に投影面３０４に書類が置かれていたか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２４２１に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、前述したステップＳ９１９に処理を進める。

ステップＳ２４２１では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３が示す保存場所から書類の画像データを取得し、更に当該レコードの中断書類座標２００４と傾き２００５とから、書類の画像データの座標値と傾きとを取得する。

ステップＳ２４２２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４２１で取得した書類の画像データ、座標値、傾きを用いて、書類読取画面１５００に取得した書類の画像データをオーバレイ表示する。オーバレイ表示については、ステップＳ２４０９で前述した通りである。オーバレイ表示が完了したら、前述したステップＳ９１９に処理を進める。

このようにして、前回中断時に投影面３０４に置かれていた書類の状況を再現して、説明を再開することにより、前回の状況をテラー３０１や顧客３０２に思い出させやすくすることができる。

次に、再開時操作処理の流れについて、図２８に示すフローチャートを用いて説明する。再開時操作処理は、前述した説明再開処理によりオーバレイ表示された書類の画像データに対する操作を受け付けるための処理である。

まず、ステップＳ２８０１では、情報処理装置１０１のＣＰＵ４０１は、説明を受けている顧客の顧客ＩＤ１２０１に対応する顧客ＩＤ２００１を持つレコードが存在し、かつ当該レコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２８０２に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、再開時操作処理を終了する。すなわち、メニュー画面８００で説明開始ボタン８０１の押下を検知し、図９及び図１０の説明開始処理を実行した場合には、まだ一度も中断していないので何も行わずに再開時操作処理を終了する。また、説明再開ボタン８０２の押下を検知し、図２４の説明再開処理から実行した場合であっても、前回説明時に投影面３０４に何も書類がなかった場合には、この中断書類２００３は「ＮＵＬＬ」になっているので、同じく再開時操作処理は行わない。

ステップＳ２８０２では、情報処理装置１０１のＣＰＵ４０１は、ジェスチャセンサ４２２から取得した情報に応じて、投影面３０４において書類を検知したか否かを判定する。検知方法については、前述したステップＳ１９０３と同様である。投影面３０４において書類を検知したと判定した場合には、ステップＳ２８０３に処理を進める。投影面３０４において書類を検知していないと判定した場合には、ステップＳ２８０８に処理を進める。

ステップＳ２８０３では、情報処理装置１０１のＣＰＵ４０１は、デジタルカメラ４２１に対して撮像指示を送信する（第２の撮像指示手段）。これにより、デジタルカメラ４２１が反射鏡２０７に映る投影面３０４を撮像する。

ステップＳ２８０４では、情報処理装置１０１のＣＰＵ４０１は、撮像により生成された画像データをデジタルカメラから取得し、当該画像データを左右反転させた上で、当該画像データから書類の部分（被写体）を抽出（トリミング）する（被写体検出手段）。左右反転させるのは、前述した通り、反射鏡２０７に映る像を撮像しているためである。

ステップＳ２８０５では、情報処理装置１０１のＣＰＵ４０１は、説明を受けている顧客の顧客ＩＤ１２０１に対応する顧客ＩＤ２００１を持つレコードの中断書類２００３が示す保存場所からオーバレイ表示している画像データを取得し、当該画像データの特徴量とステップＳ２８０４で抽出した書類の画像データの特徴量とを比較する。画像データ同士の比較方法は従来技術を用いるため、詳細な説明は省略する。

ステップＳ２８０６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０５で比較した結果、特徴量が所定値の割合以上、一致するか否かを判定する。図２９の投影面例２９００に示すように、オーバレイ表示された画像データ例２３１０と新たに投影面３０４に置かれた書類２９０１とは完全一致しない。なぜなら、新たに投影面３０４に置かれた書類２９０１は、その書類２９０１の上から画面が投影されているためである。よって、ステップＳ２８０６ではある程度特徴量が一致するのであれば、オーバレイ表示された画像データは、投影面３０４に置かれている書類と同じであると判定する。尚、本実施形態では、画面を投影したまま投影面３０４を撮像しているが、前述したステップＳ１９０４のように、投影面３０４に置かれた書類を読み込みしやすいように、白い画面を投影してもよい。この場合に、オーバレイ表示された画像データと投影面３０４に置かれている書類が同じであれば、特徴量の一致率が高くなると考えられるので、一致すると判定するための特徴量の閾値を高めに設定してもよい。ステップＳ２８０５で比較した結果、特徴量が所定値以上一致すると判定した場合には、ステップＳ２８０７に処理を進める。ステップＳ２８０５で比較した結果、特徴量が所定値以上一致しないと判定された場合には、再開時操作処理を終了する。

ステップＳ２８０７では、情報処理装置１０１のＣＰＵ４０１は、前述したステップＳ２４０９、ステップＳ２４１７、ステップＳ２４２２でオーバレイ表示された書類の画像データを非表示にする。すなわち、オーバレイ表示を終了する。オーバレイ表示している書類の画像データと同じ書類が投影面３０４に置かれているということは、顧客３０２が再度書類を持参したということである。そのため、ステップＳ２８０７ではオーバレイ表示を終了する。図２９の投影面例２９１０は、書類２９０１が投影面３０４に置かれたため、これと特徴量が所定値以上一致すると判定された画像データ例２３１０のオーバレイ表示は終了する。不要な情報を非表示とすることで、限られた作業スペースを有効利用することができるようになる。

ステップＳ２８０８では、情報処理装置１０１のＣＰＵ４０１は、ジェスチャセンサ４２２が検知した投影面３０４におけるユーザの手の動きにより、オーバレイ表示している画像データに対する操作を検知したか否かを判定する。より具体的には、オーバレイ表示している画像データを指でタッチしたまま、その指を移動させたかどうか（画像データの移動指示）、またはオーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指の間隔が広がったまたは狭まったかどうか（画像データの拡大・縮小指示）、またはオーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指を時計回りまたは反時計回りに移動させたかどうか（画像データの回転指示）を判定する。オーバレイ表示している画像データに対する操作を検知したと判定した場合には、ステップＳ２８０９に処理を進める。オーバレイ表示している画像データに対する操作を検知していないと判定した場合には、再開時操作処理を終了する。

ステップＳ２８０９では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０８で検知した操作が、オーバレイ表示している画像データの移動であるか否かを判定する。すなわち、オーバレイ表示している画像データを指でタッチしたまま、その指を移動させたか否かを判定する。オーバレイ表示している画像データの移動であると判定した場合には、ステップＳ２８１０に処理を進める。オーバレイ表示している画像データの移動でないと判定した場合には、ステップＳ２８１１に処理を進める。

ステップＳ２８１０では、情報処理装置１０１のＣＰＵ４０１は、オーバレイ表示された画像データをユーザから指示された位置に移動する。図３０の投影面例３０００では、オーバレイ表示された画像データ例２３１０を元の位置３００１からユーザの指の動作に応じた位置に移動させている様子が表現されている。このようにして、任意の位置に画像データを移動させることができる。ステップＳ２８１０の処理が完了したら、再開時操作処理を終了する。

ステップＳ２８１１では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０８で検知した操作が、オーバレイ表示している画像データの拡大・縮小であるか否かを判定する。すなわち、オーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指の間隔が広がったまたは狭まったか否かを判定する。オーバレイ表示している画像データの拡大・縮小であると判定した場合には、ステップＳ２８１２に処理を進める。オーバレイ表示している画像データの拡大・縮小でないと判定した場合には、ステップＳ２８１３に処理を進める。

ステップＳ２８１２では、情報処理装置１０１のＣＰＵ４０１は、オーバレイ表示された画像データの大きさをユーザからの指示に応じた大きさに拡大・縮小する。図３０の投影面例３０１０では、画像データ例２３１０を元の大きさ３０１１から縮小している様子が表現されている。このようにして、画像データをユーザが見やすい大きさや邪魔にならない大きさに調整することができる。ステップＳ２８１２の処理が完了したら、再開時操作処理を終了する。

ステップＳ２８１３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０８で検知した操作が、オーバレイ表示している画像データの回転であるか否かを判定する。すなわち、オーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指を時計回りまたは反時計回りに移動させたか否かを判定する。オーバレイ表示している画像データの回転であると判定した場合には、ステップＳ２８１４に処理を進める。オーバレイ表示している画像データの回転でないと判定した場合には、再開時操作処理を終了する。

ステップＳ２８１４では、情報処理装置１０１のＣＰＵ４０１は、オーバレイ表示された画像データの角度をユーザから指示された角度に回転する。図３１の投影面例３１００では、画像データ例２３１０を元の角度３１０１から回転している様子が表現されている。このようにして、ユーザが見やすい角度に調整することができる。ステップＳ２８１４の処理が完了したら、再開時操作処理を終了する。

このようにしてオーバレイ表示された画像データを操作することができる。再開時操作処理が行われるのは、説明開始処理であるので、各画面に設けられた次へボタンの押下を検知することで画面が遷移する。画面は遷移するものの、オーバレイ表示は継続するので、商品説明画面１３００で説明を再開し、書類の画像データをオーバレイ表示している状態で、次へボタン１３０２の押下を検知してシミュレーション画面１４００に画面が遷移しても、このオーバレイ表示は継続される。図３１の投影面例３１１０がこの一例である。図２７のオーバレイ表示例２７００の商品説明画面１３００からシミュレーション画面１４００に画面遷移した場合である。画像データ例２３１０が継続して商品説明画面１３００と同様の位置に存在することがわかる。このように、ステップＳ２８０７で表示を終了しない限り、オーバレイ表示を継続することで、どの画面でもユーザが以前持参した書類を閲覧することができる。

以上説明したように、本実施形態によれば、ユーザが持参した紙文書を再度持参することなく、説明を再開することのできる効果を奏する。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 情報処理装置
１０２ 投影撮像装置
４０１ ＣＰＵ
４０２ ＲＡＭ
４０３ ＲＯＭ
４０４ システムバス
４０５ 汎用入出力コントローラ
４０６ ビデオコントローラ
４０７ メモリコントローラ

４０８ 通信Ｉ／Ｆ（インターフェース）コントローラ
４０９ 入力デバイス
４１０ ディスプレイ
４１１ 外部メモリ
４２１ デジタルカメラ
４２２ ジェスチャセンサ
４２３ プロジェクタ

Claims (10)

1. 複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理システムであって、
   前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
   前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
   前記中断指示受付手段で受け付けた指示に応じて中断された前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段と
   を備え、
   前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影し、
   前記投影手段は、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影することを特徴とする情報処理システム。
2. 前記中断指示受付手段で中断するための指示を受け付けた場合に、前記投影される領域上の対象物を検知する検知手段と、
   前記検知手段で前記対象物を検知した場合には、前記領域上を撮像し、前記検知手段で前記対象物を検知しなかった場合には、前記領域上を撮像しない撮像手段と
   を更に備えることを特徴とする請求項１に記載の情報処理システム。
3. 前記画像データ取得手段は、前記再開指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上を撮像することにより生成される画像データを取得し、
   前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて取得した前記画像データに前記対象物が含まれている場合には、前記中断指示受付手段で受け付けた指示に応じて取得した前記画像データを投影しないことを特徴とする請求項１または２に記載の情報処理システム。
4. 前記情報処理システムは、
   前記画像データ取得手段で取得した前記対象物を含む画像データを、前記投影手段による投影が中断された前記第１の投影画面と対応づけて保存する保存手段
   を更に備え、
   前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と、前記保存手段で保存した当該投影画面に対応する画像データであって、前記画像データ取得手段で取得した前記画像データとを投影することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記画像データ取得手段は、前記中断指示受付手段で受け付けた指示に応じて、前記対象物を撮像することにより生成される、当該対象物が抽出された画像データを取得することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理システムの制御方法であって、
   前記情報処理システムの中断指示受付手段が、前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付ステップと、
   前記情報処理システムの画像データ取得手段が、前記中断指示受付ステップで受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得ステップと、
   前記情報処理システムの再開指示受付手段が、前記中断指示受付ステップで受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付ステップと、
   前記情報処理システムの前記投影手段が、前記再開指示受付ステップで受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得ステップで取得した前記画像データとを投影する第１の投影ステップと、
   前記情報処理システムの前記投影手段が、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影する第２の投影ステップと、
   を備えることを特徴とする情報処理システムの制御方法。
7. 複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理システムの制御方法を実行可能なプログラムであって、
   前記情報処理システムを、
   前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
   前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
   前記中断指示受付手段で受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段
   として機能させ、
   前記投影手段を、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影させ、
   前記投影手段を、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データを継続して投影させるよう機能するプログラム。
8. 複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理装置であって、
   前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
   前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
   前記中断指示受付手段で受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段と
   を備え、
   前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影し、
   前記投影手段は、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影することを特徴とする情報処理装置。
9. 複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理装置の制御方法であって、
   前記情報処理装置の中断指示受付手段が、前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付ステップと、
   前記情報処理装置の画像データ取得手段が、前記中断指示受付ステップで受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得ステップと、
   前記情報処理装置の再開指示受付手段が、前記中断指示受付ステップで受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付ステップと、
   前記情報処理装置の前記投影手段が、前記再開指示受付ステップで受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得ステップで取得した前記画像データとを投影する第１の投影ステップと、
   前記情報処理装置の前記投影手段が、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影する第２の投影ステップと、
   を備えることを特徴とする情報処理装置の制御方法。
10. 複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理装置の制御方法を実行可能なプログラムであって、
    前記情報処理装置を、
    前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
    前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
    前記中断指示受付手段で受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段
    として機能させ、
    前記投影手段を、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影させ、
    前記投影手段を、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影させるよう機能するプログラム。
    

Images