JP6495651B2 - 情報処理装置、その制御方法、及び、プログラム並びにコンピュータ可読記憶媒体 - Google Patents

Description

本発明は情報処理装置、その制御方法、及び、プログラム並びにコンピュータ可読記憶媒体に関するものである。

銀行にてローンなどの契約もしくは申請を行う場合、行員（以下、「テラー」という）は顧客と対面形式にて商品説明や、契約書作成に必要な事項の説明を行うことが義務づけられている。そして、顧客はテラーより説明を受けたことを示すため、所定の欄に記名、捺印等を行うのが一般的である。また、係る業務を、半ば電子的に行うシステムも提案されている（特許文献１）。

特開２００９−１２２７９６号公報

しかしながら、上記特許文献１では、テラー側が商品説明を行ったという事実を残すことはできるものの、顧客が積極的にその説明を理解・承諾したかどうかまでは判別できない。

本発明は係る問題点に鑑みなされたものである。そして、本発明は、投影面に投影された文書シートごとに、複数のユーザによる操作のうち、いずれの操作を有効とするかを制御可能な技術を提供する。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、ジェスチャ操作を受け付け可能なシートを示す複数のシート情報と、当該シートの全体にかかる複数のユーザのジェスチャ操作を制御する制御情報とを記憶する記憶手段と、前記記憶手段に記憶されたシート情報に基づき、前記シートを表すデータを複数のユーザに共有される投影面上に投影するよう制御する投影制御手段と、前記投影面上で検出されるジェスチャ操作に基づき、いずれのユーザからのジェスチャ操作かを特定する特定手段と、前記記憶手段に前記制御情報として記憶されている、前記シートの全体にかかる受け付け可能なジェスチャ操作と、前記特定手段で特定されたユーザのジェスチャ操作とが不一致の場合に当該ジェスチャ操作を無効とし、また、前記記憶手段に記憶されている前記シートの全体にかかる受け付け可能なジェスチャ操作と前記特定手段で特定されたユーザのジェスチャ操作とが一致した場合に当該ジェスチャ操作を有効とするよう制御する制御手段と、を有する。

本発明によれば、投影面に投影された文書シートごとに、複数のユーザによる操作のうち、いずれの操作を有効とするかを制御可能な技術を提供する。

実施形態における対面システムの外観構成図である。 実施形態における対面システムのブロック構成図である。 シートＤＢのデータ構造を示す図である。 実施形態における対面システムの利用形態を示す図である。 実施形態における対面システムの基本処理手順を示すフローチャートである。 実施形態における住宅ローン申請の手続きの処理内容を示すフローチャートである。 住宅ローン手続きにおいて用いられるシート例を示す図である。 住宅ローン手続きにおいて用いられるシート例を示す図である。 住宅ローン手続きにおいて用いられるシート例を示す図である。 住宅ローン手続きにおいて用いられるシート例を示す図である。 住宅ローン手続きにおいて用いられるシート例を示す図である。 住宅ローン手続きにおいて用いられるシート例を示す図である。 実施形態におけるジェスチャ操作の正当性判定に係る処理を示すフローチャートである。

以下、添付図面に従って本発明に係る実施の形態を詳細に説明する。なお、実施形態における対面システムは、銀行で利用される例を説明する。また、以下に説明では、銀行側の者（行員）をテラーとし、顧客と区別して説明する。なお、銀行を例にしたのは、これは業務を具現化することで理解を容易にするためであって、生命保険会社等、対面にて商品の売買や契約を行う類であれば利用可能であり、これに限定されない。あくまで例であることに注意されたい。

図１は、実施形態における対面システムの外観構成図であり、図２はそのブロック構成図である。本システムは、システム全体の制御を司る制御装置１００を有する。そして、この制御装置１００には、投影撮像装置１１０をはじめ、ユーザ（後述するテラー）との間のユーザインターフェースとして機能するディスプレイ１２０、入力デバイス（キーボードやマウス等）１３０が接続されている。また、図示していないが、業務に係る基幹ネットワークとも接続される。

制御装置１００は、通常のＰＣ（パーソナルコンピュータ）等と同じハードウェア構成の情報処理装置であり、プログラムに従って処理を行うＣＰＵ１０１、ブートプログラムやＢＩＯＳ等を記憶するＲＯＭ１０２、ＣＰＵ１０１が実行するＯＳやアプリケーションを格納するため、並びにＣＰＵ１０１がワークエリアとして利用するＲＡＭ１０３を有する。また、制御装置１００は、投影撮像装置１１０と通信するためのＩ/Ｆ部１０５、ＣＰＵ１０１の指示に従って描画処理やビデオ信号の出力処理等を行うビデオコントローラ１０６を有する。更に、制御装置１００はハードディスク（ＨＤＤ）に代表される外部記憶装置１０８に対する読み書きを行うストレージコントローラ１０７、基幹ネットワーク（特にネットワークプリンタ）と通信するためのネットワークＩ/Ｆ１０４を有する。外部記憶装置１０８には、オペレーティングシステム（ＯＳ）１０８ａ、対面システムとして機能させるためのアプリケーションプログラム１０８ｂをはじめ、詳細は後述するシートＤＢ１０８ｃ、環境情報１０８ｄが格納されている。

投影撮像装置１１０は、その筐体内に、制御装置１００と通信するためのＩ/Ｆ部１１８、投影部１１５、撮像部１１６、距離測定部１１７を収容している。投影撮像装置１１０には、投影部１１５から出射した投影光を通過させるための開口部１１１が設けられている。更に、撮像部１１６並びに距離測定部１１７に共有され、外部からの光（赤外線を含む）を入射するための開口部１１２も設けられている。

投影部１１５は、制御装置１００から要求された映像を表す投影光を開口部１１２を介して天板１１３に向け、且つ、若干斜め方向に出射する。天板１１３の下面側にはミラーが設けられており、投影部１１５からの投影光を反射する。この結果、図１における投影撮像装置１１０の設置位置より手前側の領域（実際にはテーブルの上面）が投影スクリーンとして、その映像を表示することになる。なお、出射する方向を斜めにするのではなく、天板１１３を傾けても構わない。

また、撮像部１１６並びに距離測定部１１７は、天板１１３のミラーを介して、投影部１１５によるテーブル上の投影領域よりも広い範囲を撮像範囲、又は、測距範囲として設定されている。撮像部１１６は通常のデジタルカメラに代表される撮像装置と同じ構成であり、テーブルの撮影範囲内の映像を光学的に読み取るものである。距離測定部１１７は、奥行き（距離）を検出するものであり、予め設定された２次元パターンを示す赤外線を照射する照射部と、その対象物から２次元空間での反射赤外線を検出するセンサで構成される。そして、撮像部１１６で得らえた映像データと、距離測定部１１７より検出された距離データの時間軸に対する変化に基づき、制御装置１００のＣＰＵ１０１による処理によって、ユーザの手の動きや指でテーブルをたたく操作（ジェスチャ）の検出処理が実現する。なお、映像と、赤外線によるパターン照射／検出によってユーザのジェスチャ検出を行う技術は公知（たとえば、米国マイクロソフト社のＫＩＮＥＣＴ（商標））であるので、ここでの詳細は省略する。ただし、ユーザのジェスチャ検出できれば良く、その構成、原理は特に問わない。なお、投影撮像装置１１０の筐体内に十分なスペースがあれば、制御装置１００を構成する回路を投影撮像装置１１０に内蔵させることで、これらを一体化しても構わない。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたブートプログラムを実行し、外部記憶装置１０８に格納されたＯＳ１０８ａをＲＡＭ１０３にロードし実行する。そして、そのＯＳの制御下にて、外部記憶装置１０８から対面システムのアプリケーションプログラム１０８ｂをＲＡＭ１０３にロードして、実行させる。この結果、本システムが銀行業務の対面システムとして機能することになる。

図４は本システムの利用形態を示している。本実施形態における対面システムは、図示のように、テラー（行員）４０１と顧客４０２がテーブル４００を間に挟み、それぞれが椅子に座って対面する形態を想定している。また、テーブル４００には、ディスプレイ１２０、入力デバイス１３０がテラー４０１が操作しやすい位置に配置されている。また、投影撮像装置１１０は、その天板１１３によって斜め方向から投影光がテーブル４００に向けて照射することになるので、テラー４０１と顧客４０２が向かい合った際に、邪魔にならない位置に載置することが可能である。この結果、テーブル４００の、テラー４０１と顧客４０２との間には十分なスペースを確保され、撮像部１１６及び距離測定部１１７の検出範囲４１０、投影部１１５による投影範囲４１１が確保される。なお、検出範囲４１０、投影範囲４１１が示す矩形は、テーブル４００上にそれぞれの範囲が規定されていることを示すためであって、その境界線が表示されることを意図するものではない。また、制御装置１００は、たとえばテラー側のテーブル４００の下に配置するものとする。

以上、実施形態における対面システムの構成とその利用形態を説明した。次に、対面システムの処理内容を、特にＣＰＵ１０１の処理手順として説明する。

本システムが稼働すると、テラー４０１と顧客４０２との間のテーブル４００上（の投影範囲４１１）に、投影撮像装置１１０から各種の文書シート（以下、単にシートという）が投影表示される。そして、テラー４０１はその都度解説や説明を行い、顧客４０２はその投影内容とテラー４０１の説明を理解したことの意思を示していって、手続きを進めていく。かかる手続きをＣＰＵ１０１の処理で示せば、以下の通りである。ＣＰＵ１０１は、外部記憶装置１０８から投影すべきシートの選択と選択したシート（詳細は後述）を投影部１１５に表示させる処理、並びに、テラー４０１及び顧客４０２の操作の操作をジェスチャとして、撮像部１１６及び距離測定部１１７によって認識していく。そして、次に表示すべきシートの選択…と処理を繰り返し、最終シートの表示で、テラー４０１と顧客４０２が合意したことを示すジェスチャを検出した際に、その処理を終える。

以下、更に詳しく説明する。図５は対面システムのアプリケーションプログラム１０８ｂを実行した際のＣＰＵ１０１の処理手順を示すフローチャートである。

本アプリケーションが実行されると、まず、ステップＳ１０１にて、ＣＰＵ１０１はメニュー画面をディスプレイ１２０に表示し、テラー４０１に項目の１つを選択させる。表示する項目は、「住宅ローンの借り入れ手続き」、「口座開設の手続き」…と、およそ銀行にて対面手続きするものが含まれる。ただし、項目の１つには「環境設定」が含まれるものとする。

ステップＳ１０２にて、ＣＰＵ１０１は、テラー４０１による入力デバイス１３０の操作による項目選択を待つ。選択がなされると、ステップＳ１０３にて、ＣＰＵ１０１はその選択した項目が「環境設定」であるか否かを判定する。環境設定であると判定した場合、処理はステップＳ１０４に進み環境設定処理を行う。この環境設定は、投影撮像装置１１０がテラー４０１から見て右側に設置するのか、左側に設置するのかを設定するためである。詳細は後述するが、投影撮像装置１１０がテーブル４００上に投影することになるシートは、テラー側、顧客側の向きがあり、その向きと座席についているテラー４０１、顧客４０２の位置関係の整合性を取るためである。設定が完了すると、ＣＰＵ１０１は、その設定内容を外部記憶装置１０８の環境情報１０８ｄとして保存する。なお、投影撮像装置１１０の配置位置を変更しない限り、この環境設定を行う必要はない。つまり、ＣＰＵ１０１は、シートを投影部１１５に投影させる際に、この環境情報１０８ｄに記憶された情報に従って、必要に応じてシートの向きを１８０°回転させて表示させる。なお、起動時の初期段階にて、ＣＰＵ１０１は、環境情報１０８ｄに記憶された情報に従い、現在設定されたテラー、顧客側がいずれの方向に設定されているのかを示すテストメッセージを表示させ、環境設定の必要性をテラー４０１に報知しても良い。例えば、顧客４０２から見て正立して見える「ご相談を承ります」というメッセージを表示する。テラー４０１から見てそのメッセージが逆さまに見えれば、正しい環境設定がなされていると判断できる。

テラー４０１は、顧客４０２の相談目的から、該当するメニュー項目を入力デバイス１３０を操作して選択することになる。ＣＰＵ１０１はこの選択がなされたことを検出すると、ステップＳ１０５にて、外部記憶装置１０８のシートＤＢ１０８ｃを参照して、選択した手続きのＧＵＩ構成情報（詳細後述）を読み込む。そして、ステップＳ１０６（詳細後述）にて、ＣＰＵ１０１は、読み込んだＧＵＩ構成情報に示された手順とシートに従い、該当するシートの投影処理と、テラー４０１と顧客４０２の双方のジェスチャ操作の認識処理とを行いながら、テラー４０１と顧客４０２との間のやりとりを支援しながら、手続きの支援処理を行っていく。

ステップＳ１０６の説明の前に、実施形態におけるシートＤＢ１０８ｃの構成を図３を用いて説明する。

シートＤＢ１０８ｃは、図３に示すように、ステップＳ１０１にて表示するメニュー項目（図示の符号３００、３５０…）を単位として管理されている。そして、各項目には、それぞれにおける手続きの推移と利用するシートを記述したＧＵＩ構成情報が格納されている。実施形態では、このうち「住宅ローンの申請」項目３００を例にして説明するので、それに含まれるＧＵＩ構成情報３０１について説明する。このＧＵＩ構成情報３０１は、住宅ローンの借り入れ申請に係る手続きと、その際に利用するシートの表示形式を記述するＧＵＩシート情報３０２乃至３０６を特定する情報が記述されている。

実施形態におけるＧＵＩ構成情報３０１に記述されている、テラー４０１と顧客４０２との間の手続きは、
手続き（１）：顧客登録
手続き（２）：商品説明
手続き（３）：ローンのシミュレーション
手続き（４）：書類読取り
手続き（５）：今後の手続きの説明
の５段階が記述されているものとする。各段階では、その際に利用するＧＵＩシート情報３０２乃至３０６が記述されているものとする。

ＧＵＩシート情報３０２乃至３０６のそれぞれは、投影するシート（ＧＵＩ）の表示形態を記述するフォーム情報（図示の「顧客登録フォーム」、「商品説明フォーム」…に対応）と、シートそのもの、或いは、シート上に配置される各種ＧＵＩ部品（ボタン等）がテラー側からのみ操作できるのか、顧客側からのみ操作できるのか（又は、テラー側からの操作を不許可とするか、顧客側からの操作を不許可にするか）等の操作に係る制限（条件）を記述する制限情報（図示の「ＧＵＩ制限情報」」で構成される。つまり、ＧＵＩ部品には、対面する二者（第１ユーザ、第２ユーザ）のうち第１ユーザに対応付けた第１ユーザＧＵＩ部品、第２ユーザに対応付け第２ユーザＧＵＩ部品がある。なお、シートそのもの（シート全体）に対して、たとえばテラー側のみが操作できると設定された場合、そのシート上に有る全ＧＵＩ部品はテラー側からのみ操作可能として扱われる。逆に、シート全体に対する制限を設定しない場合には、ＧＵＩ部品ごとに操作できるのがテラー側か顧客側かを記述できる。つまり、シートに対する制限が、ＧＵＩ部品に対する制限より優先する。また、フォーム情報には、テラー側、顧客側の方向に関する記述も含まれており、且つ、複数のフォームも入れ子式で記述可能としている。この結果、実施形態では、シートには、テラー４０１のみが操作できるもの、顧客４０２のみが操作できるものを規定することが可能になる。そして、両者が操作できるシートに対しては、そのシート上のＧＵＩ部品単位でいずれが操作可能であるのかを規定することも可能となる。

投影されるシート上の或るボタンが顧客４０２のみが操作可能と設定されているとする。本実施形態では、そのボタンを顧客４０２が操作した場合にはその操作は有効と判断され、そのボタンに応じた処理を行う。一方、テラー４０１がそのボタンを操作した場合にはその操作は無効となり、その操作を無視する。そのためには、操作した者がテラー４０１か顧客４０２かを判定する必要がある。実施形態では、テラー４０１と顧客４０２は、テーブル４００を挟んで対向するように着座している。そして、検出範囲４１０が投影範囲４１１を包含する関係にもなっている。それ故、ＧＵＩ部品を指示するタイミングよりも前のタイミングで、手が投影範囲４１１内に侵入してくる方向を検出できる。環境情報１０８ｄからテラー側、顧客側がいずれの方向にあるのかは判明しているので、テーブル４００に対するタッチ操作した手の持ち主である人物がテラー４０１か顧客４０２かを判定できることになる。

なお、上記では、タッチ操作を行った者がテラー４０１か顧客４０２かを判定するのは、投影面上の手の侵入してきた方向から判定するものとしたが、検出方法はこれに限定されない。たとえば、タッチ操作は、一般に人差し指で操作するものであるので、人差し指を突き出した手の外形パターンと向きから判定しても良い。

図７乃至図１２は、ＧＵＩシート情報３０２乃至３０６内のフォーム情報に従って描画、投影されるシートの例を示している。図７は手続き（１）で利用するシート７００、図８は手続き（２）で利用するシート８００、図９は手続き（３）で利用するシート９００、図１０は手続き（４）で利用するシート１０００、図１１は手続き（４）で利用するサブシート１１００、そして、図１２は手続き（５）で利用するシート１２００をそれぞれ示している。

図７の手続き（１）で利用するシート７００は、テラー４０１から正立して見えるテラー領域７１０と、顧客４０２から正立して見える顧客領域７２０を含む。テラー領域７１０には、文字入力可能なテキスト入力領域７１１乃至７１７、ラジオボタン７１８、登録ボタン７１９がＧＵＩ部品として設けられている。また、顧客領域７２０には、テラー領域７１０におけるテキスト入力領域７１１乃至７１７、及び、ラジオボタン７１８の入力結果を確認するための領域７２１、並びに、その領域７２１に対する確認に意思を示す確認ボタン７２２がＧＵＩ部品として設けられている。

実施形態におけるＧＵＩシート情報３０２で規定されるシート７００は、テラー、顧客の二者が操作することになる。それ故、その制限情報には、シートそのものに対する制限に記述はない。その代わり、シート７００上の操作対象となり得るＧＵＩ部品（図７の符号７１１乃至７１９、７２２）について、その部品に対する操作可能なのがテラーか、顧客かを示す情報が制限情報に記述されている。実施形態の場合、入力領域７１１乃至７１８、及び、登録ボタン７１９についてはテラー４０１のみ操作可能として設定され、確認ボタン７２２は顧客４０２のみ操作可能として設定される。なお、テキスト入力領域のＧＵＩ部品については、入力デバイス１３０を操作して行うこととするのであれば、特に制限する必要はない（入力デバイス１３０の配置位置の関係から、それを操作できるのはテラー側のみである）。

図８乃至図１２におけるシート８００乃至１２００についても、テラー側から見て正立して見える領域と、顧客から見て正立して見える領域で構成されている。また、シート８００乃至１２００は、いずれも二者が操作することになるので、シートそのものに対する制限はない。すなわち、各シート上におけるＧＵＩ部品について、そのＧＵＩ部品に対する操作可能なのはテラー側か顧客側なのかを示す情報が、それぞれの制限情報として記述されている点も図７と同じである。以下、図８乃至図１２のシートについては簡単に説明する。

図８のシート８００は、手続き（２）：「商品説明」のためのシートである。このシート８００は、図７のシートにて、テラー４０１が入力した顧客４０２に関する情報について顧客４０２が確認ボタン７２２に対する操作をし、テラー４０１が登録ボタン７１９を操作した場合に表示されるものである。なお、図７のシートにて、顧客４０２が確認ボタン７２２が操作しないまま、テラー４０１が登録ボタン７１９を操作したとする。この場合、登録ボタン７１９が操作されたことは確認されるものの、手続きに不備があるので、手続き（２）へは移行できず、顧客の確認がないです等のメッセージが表示される。そして、テラー４０１は、仮に確認ボタン７２２を操作した場合には、その操作そのものが無視されることになる。よって、顧客４０２による確認ボタン７２２に対する操作無しに、手続き（２）への移行はできない。かかる点は他のシートでも同様である。

図８の説明に戻る。シート８００のテラー領域には、テラー側のみが操作可能なＧＵＩ部品として、商品説明のためのサブシートを指定する領域８１１乃至８１３、次（手続き（３））へ移行することを指示する次へボタン８１５、中断を指示する中断ボタン８１４が配置されている。図示では、領域８１１が選択状態（デフォルト選択）となっており、その選択した領域のサブシート（の本来のサイズ）が顧客領域に表示されていることを示している。また、顧客領域には、顧客のみが操作可能なＧＵＩ部品としての確認ボタン８２１、前画面へボタン８２２が配置されている。確認ボタン８２１は、説明内容を確認したことを示すためのものであり、前画面へボタン８２２は前の手続き（手続き（１））に戻す指示を入力するためのボタンである。

図９のシート９００は、手続き（３）：「ローンのシミュレーション」のためのシートである。このシート９００は、図８のシートにて、顧客４０２が確認ボタン８２１に対する操作をし、テラー４０１が次へボタン８１５を操作した場合に表示されるものである。シート９００のテラー領域には、テラーのみが操作可能なＧＵＩ部品９１１乃至９１７が配置されている。また、顧客領域には、顧客のみが操作可能なＧＵ部品９２１、９２２が配置されている。テラー４０１は、顧客の要望に応じて入力デバイス１３０を操作し、ＧＵＩ部品９１１乃至９１４に借入額や返済年数、賞与時の返済額、更には、金利についての各種設定を行う。その上で、テラーはシミュレーションボタン９１５を操作する。ＣＰＵ１０１は、このボタンの操作を検出すると、返済に係る詳細を計算し、その結果を顧客領域に表示することになる。そして、必要に応じて、この操作を繰り返す。なお、テラー領域における中断ボタン８１６、次へボタン９１７、なたびに、顧客領域における確認ボタン９２１、前画面へボタン９２２は、図８における符号８１４、８１５、８２１、８２２の各ボタンと同様の機能を示す。

図１０のシート１０００は、手続き（４）：「書類読取」のためのシートである。この手続きは、顧客の身元確認をするための書類を読み取るものである。このシート１０００は、図９のシートにて、顧客４０２が確認ボタン９２１に対する操作をし、テラー４０１が次へボタン９１７を操作した場合に表示されるものである。シート１０００のテラー領域にはテラー４０１のみが操作可能な書類候補を示す領域１０１１乃至１０１６と、中断ボタン１０１７、次へボタン１０１８が配置される。一方、顧客領域にも、顧客４０２のみが操作可能な書類候補を示す領域１０２１乃至１０２６と、前画面へボタン１０２７が配置される。顧客４０２は自身の身元を確認する書類として、たとえば運転免許証を提出することを示すため領域１０２２を操作する。テラー４０１は、その顧客４０２が選択した「運転免許証」を選択し、互いに同じ書類を選択した上で、次へボタン１０１８を操作すると、図１１の書類読取シート（サブシート）１１００の表示に切り替わる。選択した書類が運転免許証であるので、中央位置に、運転免許証を配置する位置を示す枠１１０１を表示する。顧客４０２は、その枠１１０１内に運転免許証を載置する。これを受けてテラー４０１は、書類読取ボタン１１１１を操作して、書類の読み取りを指示する。ＣＰＵ１０１は、書類読取ボタン１１１１の操作を検出すると、撮像部１１６を制御して枠１１０１内の画像を読み取り、その画像を、一連の手続きと関連づけて保存する。また、読み取る書類の種類が判明しているので、適宜その中の文字列を文字認識し、関連付けて保存してもよいし、最初の登録処理で示した氏名と一致、不一致の判定を行ってもよい。なお、テラー４０１がキャンセルボタン１１１２を操作する、或いは、顧客４０２が前画面へボタン１１２１を操作すると、図１０のシート１０００の表示に戻る。

図１２のシート１２００は、手続き（５）：「今後の手続きの説明」のためのシートである。このシート１２００は、図１１のシートにて、書類読取を指示するボタン１１１１が操作され、読み取りが行われた後に表示されるものである。シート１２００のテラー領域、顧客領域には、今後の申請に係る手続きとそれに要る期間についての記載があり、基本的にテラー４０１がその段階の説明を行う。一通りの説明を受けた顧客４０２は、説明を受けたことの承諾を示す確認ボタン１２２１を操作する。そして、続けてテラー４０１が終了ボタン１２１１を操作することで、一連の住宅ローンの申請手続きを完了する。このとき、シミュレーションで互いに合意した項目に従った住宅ローンの申請書類を、基幹ネットワーク上のサーバに仮登録し、同ネットワーク上のプリンタに印刷要求を行い、印刷物を顧客に手渡す。後日、顧客が申請書で正式手続きを行う場合には、その手続きを行うことになるが、係る点の手続きについては省略する。なお、図１２のシート１２００が表示された状態で、顧客４０２が前画面へボタン１２２２を操作した場合には、図１１ではなく、図１０のシート１０００の表示処理に戻る。

以上、実施形態におけるシートＤＢに保存されたシートを形成するフォーム情報と制限情報を説明した。次に、先に説明した図５のステップＳ１０６の処理を、図６のフローチャートに従って説明する。ここでも、「住宅ローンの申請」がメニュー画面（不図示）から選択されたものとして説明する。

ステップＳ２０１にて、ＣＰＵ１０１は、既に読み込んだ住宅ローンの申請におけるＧＵＩ構成情報３０１を参照し、図７のシート７００を初期ＧＵＩ画面として生成し、環境情報１０８ｄを参照して必要に応じて回転処理をした上で、投影部１１５に転送する。この結果、図７の下側がテラー４０１が着座する方向、上側が顧客４０２が着座する方向となって、テーブル４００上に投影される。

次いで、ＣＰＵ１０１は、投影範囲４１１内でテラー４０１、顧客４０２に対する操作入力があったか否かを判定し、有りとなるまで待つ。もし、操作入力が有ると判定された場合、処理はステップＳ２０３に進み、その正当性を判定する。

以下、このステップＳ２０３の正当性判定処理を図１３のフローチャートに従って説明する。

まず、ＣＰＵ１０１は、ステップＳ３０１にて、ジェスチャ操作された手が、テラー側、顧客側のいずれの方向から投影範囲４１１に侵入してきたかに応じて、ジェスチャ操作者がテラー４０１か顧客４０２かを特定する。そして、ＣＰＵ１０１は、ステップＳ３０２にて、現在投影されているシートのＧＵＩシート情報の制限情報を取得する。そして、ＣＰＵ１０１は、ステップＳ３０３にて、シート全体に対して制限の記述があるか否かを判定する。その記述があれば、ステップＳ３０４に進み、シート全体に対して操作可能な者がテラーか顧客かの判定を行う。一方、シート全体に対する制限に係る記載がない場合には、ステップＳ３０５にて、操作されたＧＵＩ部品を特定し、そのＧＵＩ部品に対する制限情報から、操作可能な者がテラーか顧客かの判定を行う。上記のようにして、ステップＳ３０４、又はＳ３０５にて、ＧＵＩシート情報から制限情報から操作可能な者が決定されると処理はステップＳ３０６に進む。

ステップＳ３０６では、ＣＰＵ１０１は、ステップＳ３０１の処理で判定したジェスチャ操作者と、ステップＳ３０４又はＳ３０５で判定した操作可能な者との一致／不一致を判定する。一致すれば、そのジェスチャ操作は正当であると判定し（ステップＳ３０７）、不一致であれば非正当（不当）と判定する（ステップＳ３０８）。

上記のようにしてステップＳ２０３における正当性の判定処理が行われる。図６のフローチャートの説明に戻る。

ステップＳ２０４では、ステップＳ２０３における正当性の判定結果が非正当（不当）であった場合、ＣＰＵ１０１はそのジェスチャ操作に対しては何もせず（無視し）、次の入力を待つ。

一方、正当であると判定した場合には、ステップＳ２０５に進む。このステップＳ２０５では、表示されているシート１２００（手続きの最後のシート）上の終了ボタン１２１１が操作されたのか否かを判定する。否の場合には、ステップＳ２０６に進み、該当する処理を行う。なお、ステップＳ２０６の処理は、シートの切換に係る処理をはじめとし、シミュレーションボタン９１５等の計算処理が含まれるが、それらについてはこれまでの説明から明らかであるので、詳述しない。また、表示されているシートが最後のシート１２００であって、終了を示すボタン１２１１が操作され、且つ、その正当であると判定された場合、処理はステップＳ２０７に進み、ローン申請のデータの作成、基幹ネットワーク上のサーバへの仮登録、印刷処理を行い、一連の処理を終える。

以上説明したように本実施形態の対面システムによれば、顧客側またはテラー側のみが操作可能なシートやＧＵＩ部品を用意することで、少なくともその顧客の承諾の下で商品売買や契約等に係る業務を遂行することが可能になる。

なお、上記実施形態では、制限情報には、該当するシート上に配列されるＧＵＩ部品それぞれに対してテラー側のみが操作可能とするのか顧客側のみが操作可能とするかの情報が格納される例を説明した。先に説明したように、シートそのもの（シート全体）に対して、テラー側、顧客側のいずれか一方のみが操作できるようにすることもできる。それ故、先に説明した図５のステップＳ１０１のメニュー画面も１つのシートと見なし、シート全体に対してテラー側のみが操作できる（顧客に対する操作を制限して操作できない）として制限情報を作成するようにしても良い。この限りにおいては、ステップＳ１０１におけるメニューのシートを、投影部１１５でテーブル４００に投影させても構わない（顧客は操作できないから）。また、図１２のシート１２００から、テラー４０１が操作するボタン１２１１を削除し、シート１２００そのものを顧客４０２のみが操作できるようにしても構わない。この場合、確認ボタン１２２１が、一連の手続きを終了を指示するボタンとして機能させればよい。

なお、上記実施形態では、文書シートそのもの、並びに文書シートの構成要素であるＧＵＩ部品それぞれが、顧客から操作されるのか、テラーから操作されるのかを示す属性が制限情報で記述されているものとして説明した。しかし、ＧＵＩ部品について言えば、ＧＵＩ部品の位置から顧客、テラーのいずれにその操作を許可するかを決めるようにしても良い。典型的には、文書シートに対して規定した位置（たとえば中央位置）のいずれにあるかで、顧客のみが操作できるＧＵＩ部品，テラーのみが操作できるＧＵＩ部品を決定しても良い。

また、実施形態では、図３に示すようにフォームと制限情報は別々なデータとして管理していたが、これらを混在して記述できるのであれば図３の構成に限定されるものではない。

なお、実施形態では、投影撮像装置１１０等のハードウェアを必要としつつも、大部分の処理はＣＰＵ１０１が実行するプログラムで実現できるものである。それ故、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…制御装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…ネットワークＩ/Ｆ、１０５…Ｉ/Ｆ、１０６…ビデオコントローラ、１０７…ストレージコントローラ、１０８…外部記憶装置、１１０…投影撮像装置、１１５…投影部、１１６…撮像部、１１７…距離測定部

Claims (11)

1. ジェスチャ操作を受け付け可能なシートを示す複数のシート情報と、当該シートの全体にかかる複数のユーザのジェスチャ操作を制御する制御情報とを記憶する記憶手段と、
   前記記憶手段に記憶されたシート情報に基づき、前記シートを表すデータを複数のユーザに共有される投影面上に投影するよう制御する投影制御手段と、
   前記投影面上で検出されるジェスチャ操作に基づき、いずれのユーザからのジェスチャ操作かを特定する特定手段と、
   前記記憶手段に前記制御情報として記憶されている、前記シートの全体にかかる受け付け可能なジェスチャ操作と、前記特定手段で特定されたユーザのジェスチャ操作とが不一致の場合に当該ジェスチャ操作を無効とし、また、前記記憶手段に記憶されている前記シートの全体にかかる受け付け可能なジェスチャ操作と前記特定手段で特定されたユーザのジェスチャ操作とが一致した場合に当該ジェスチャ操作を有効とするよう制御する制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記特定手段は、前記投影面上に対して検出される前記ジェスチャ操作の方向に基づいて、いずれのユーザからのジェスチャ操作かを特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記シートは、第１のユーザから見て正立する第１のユーザ領域と、第２のユーザから見て正立する第２のユーザ領域とを含むことを特徴とし、
   前記制御手段は、前記特定手段で特定したユーザのジェスチャ操作が前記第１のユーザ領域、または前記第２のユーザ領域のいずれの領域で行われたかを特定することにより、前記ジェスチャ操作を有効とするか無効とするかを制御することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記シートはジェスチャ操作を受け付け可能なＧＵＩ部品を含み、
   前記特定手段は、前記第１のユーザ領域、または前記第２のユーザ領域のいずれの領域に前記ジェスチャ操作の行われた対象のＧＵＩ部品が位置するかによって、前記ジェスチャ操作の行われた対象のＧＵＩ部品がいずれのユーザに操作可能と設定されたＧＵＩ部品かを特定することを特徴とする請求項３に記載の情報処理装置。
5. 前記制御手段は、前記シートの全体にかかる受け付け可能なジェスチャ操作と、前記特定手段で特定したジェスチャ操作とが不一致の場合に当該ジェスチャ操作を無効とし、前記シートの全体にかかる受け付け可能なジェスチャ操作と、前記特定手段で特定したジェスチャ操作とが一致した場合に当該ＧＵＩ部品に対応するジェスチャ操作を有効とするよう制御することを特徴とする請求項４に記載の情報処理装置。
6. 前記記憶手段は、複数の連続するシートを示すシート情報と、当該シートごとにユーザのジェスチャ操作を制御する制御情報と、をさらに記憶し、
   前記投影制御手段は、前記特定手段で特定されたジェスチャ操作と前記制御情報に基づく受け付け可能なジェスチャ操作とが一致した場合は投影面に投影しているデータを他のデータに変更し、前記特定手段で特定されたジェスチャ操作と前記制御情報に基づく受け付け可能なジェスチャ操作とが一致しない場合は投影面に投影しているデータを他のデータに変更しないよう投影制御することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 複数の連続するシートを示すシート情報と、当該シートに対するユーザの操作であって、前記シートごとにいずれの操作が有効かを示す制限情報とを記憶する記憶手段と、
   前記記憶手段に記憶されたシート情報に基づき、前記シートを表すデータを、複数のユーザに共有される投影面上に投影するよう制御する投影制御手段と、
   前記投影面上で検出される操作を特定する特定手段と、
   前記特定手段によって特定された操作と前記制限情報により有効とされる操作とが不一致の場合には前記シートに対する操作を無効とし、また、前記特定手段によって特定された操作と前記制限情報により有効とされる操作とが一致した場合には前記シートに対応する操作を有効として制御する制御手段と、
   を有することを特徴とする情報処理装置。
8. ジェスチャ操作を受け付け可能なシートを示す複数のシート情報と、当該シートの全体にかかる複数のユーザのジェスチャ操作を制御する制御情報とを記憶する記憶手段を備える情報処理装置の制御方法であって、
   前記記憶手段に記憶されたシート情報に基づき、前記シートを表すデータを複数のユーザに共有される投影面上に投影するよう制御する投影制御ステップと、
   前記投影面上で検出されるジェスチャ操作に基づき、いずれのユーザからのジェスチャ操作かを特定する特定ステップと、
   前記記憶手段に前記制御情報として記憶されている、前記シートの全体にかかる受け付け可能なジェスチャ操作と、前記特定ステップで特定されたユーザのジェスチャ操作とが不一致の場合に当該ジェスチャ操作を無効とし、また、前記記憶手段に記憶されている前記シートの全体にかかる受け付け可能なジェスチャ操作と前記特定ステップで特定されたユーザのジェスチャ操作とが一致した場合に当該ジェスチャ操作を有効とするよう制御する制御ステップと、
   を含むことを特徴とする情報処理装置の制御方法。
9. 複数の連続するシートを示すシート情報と、当該シートに対するユーザの操作であって、前記シートごとにいずれの操作が有効かを示す制限情報とを記憶する記憶手段を備える情報処理装置の制御方法であって、
   前記記憶手段に記憶されたシート情報に基づき、前記シートを表すデータを、複数のユーザに共有される投影面上に投影するよう制御する投影制御ステップと、
   前記投影面上で検出される操作を特定する特定ステップと、
   前記特定ステップによって特定された操作と前記制限情報により有効とされる操作とが不一致の場合には前記シートに対する操作を無効とし、また、前記特定ステップによって特定された操作と前記制限情報により有効とされる操作とが一致した場合には前記シートに対応する操作を有効として制御する制御ステップと、
   を含むことを特徴とする情報処理装置の制御方法。
10. コンピュータを、請求項１乃至７の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images