JP6381361B2 - データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム - Google Patents

Description

本発明は、同一画面上に複数の操作項目を含む操作画面を複数の操作者が同時に操作することが可能なデータ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラムに関する。

近年、原稿の画像データを読み取る装置として、書画台に載置した原稿をカメラで撮像して、カメラで撮像した原稿の画像データを処理して記憶するカメラスキャナが知られている（特許文献１）。

また、このようなカメラスキャナにおいて、カメラにより撮像した画像データと操作ボタンをプロジェクタにより書画台上に投射する画像処理システムが知られている。このような画像処理システムにおいて、投射された画面上でのユーザによる操作を検出することにより、撮像した画像データを印刷すること等が可能である。

特開２００６−１１５３３４号公報

しかしながら、上述した画像処理システムにおいては、複数の操作者が同時に操作画面を操作するユースケースを考慮したものではなかった。例えば保険契約などの手続きを行う場面において、書画台に置かれた契約書をカメラにより撮影し、得られた画像データをプロジェクタにより書画台に投射すると共に、内容確認のためのチェックボックスを書画台上に投射するものとする。この場合、保険会社の担当者と顧客が同時に操作画面を操作することが可能となるが、チェックボックスについては顧客が担当者からの説明に納得した時のみ入力可能とすべきであり、担当者が勝手に入力できるようにするのは望ましくない。

本発明は、同一画面上に複数の操作項目を含む操作画面を複数の操作者が同時に操作可能なシステムにおいて、操作項目毎に操作可能な操作者を限定できるようにすることを目的とする。

上記課題を解決するため、本発明は、同一画面上に複数の操作項目を含む操作画面を第１の操作者と第２の操作者が同時に操作することが可能なデータ処理装置であって、前記操作画面を所定の領域に投射する投射手段と、前記投射手段により投射された前記操作画面に対する操作を行った操作者が第１の操作者であるか第２の操作者であるかを判定する判定手段と、前記判定手段により前記第１の操作者であると判定された場合、前記操作画面に含まれる第１の操作項目、及び前記操作画面に含まれる第２の操作項目に対する操作を有効とし、前記判定手段により前記第２の操作者であると判定された場合、前記第１の操作項目に対する操作を有効とし、前記第２の操作項目に対する操作を無効とするよう制御する制御手段と、前記第１の操作者が前記データ処理装置を操作可能な位置に存在するか否かを確認する確認手段と、を有し、前記制御手段は、前記確認手段による確認の結果、前記第１の操作者が前記データ処理装置を操作可能な位置に存在しないと確認された場合には、前記第２の操作者による前記第１の操作項目に対する操作を無効とするよう制御することを特徴とする。

本発明によれば、同一画面上に複数の操作項目を含む操作画面を複数の操作者が同時に操作可能なシステムにおいて、操作項目毎に操作可能な操作者を限定することが可能となる。

カメラスキャナ１０１のネットワーク構成を示す図の一例である。 カメラスキャナ１０１の外観の一例を示す図である。 コントローラ部２０１等のハードウェア構成の一例を示す図である。 カメラスキャナ１０１の機能構成４０１の一例を示す図である。 距離画像取得部４０９の処理の一例を示すフローチャート等である。 ジェスチャー認識部４１１の処理の一例を示すフローチャート等である。 指先検出処理を説明するための模式図である。 カメラスキャナ１０１の利用シーンを示す図の一例である。 実施形態１のメイン制御部４０２の処理の一例を示すフローチャートである。 操作画面および操作の様子を示す図の一例である。 実施形態１のジェスチャー操作者特定部４１２の一例を示すフローチャート等である。 実施形態１の操作権限管理テーブル１２０１の一例を示す図である。 操作画面の一例を示す図である。 実施形態２のメイン制御部４０２の処理の一例を示すフローチャートである。 実施形態２の離席状況確認処理の一例を示す図である。 実施形態２の操作権限管理テーブル１６０１の一例を示す図である。 実施形態３のメイン制御部４０２の処理の一例を示すフローチャートである。 実施形態３の実行制限確認時時の操作の一例を示す図である。 実施形態３の操作権限管理テーブル１９０１の一例を示す図である。

以下、本発明を実施するための最良の形態について図面を参照して説明する。

＜実施形態１＞
図１は、実施形態に係るカメラスキャナ１０１が含まれるネットワーク構成を示す図である。

図１に示すように、カメラスキャナ１０１は、ネットワーク１０４にてホストコンピュータ１０２及びプリンタ１０３に接続されている。なお、カメラスキャナ１０１は、画像処理装置の一例である。図１のシステム構成において、ホストコンピュータ１０２からの指示により、カメラスキャナ１０１から画像を読み取るスキャン機能や、スキャンデータをプリンタ１０３により出力するプリント機能の実行が可能である。また、ホストコンピュータ１０２を介さず、カメラスキャナ１０１への直接の指示により、スキャン機能、プリント機能の実行も可能である。

（カメラスキャナの構成）
図２は、実施形態に係るカメラスキャナ１０１の外観の一例を示す図である。

図２（ａ）に示すように、カメラスキャナ１０１は、コントローラ部２０１、カメラ部２０２、腕部２０３、短焦点プロジェクタ２０７（以下、プロジェクタ２０７という）、距離画像センサ２０８を含む。カメラスキャナ１０１の本体であるコントローラ部２０１と、撮像を行うためのカメラ部２０２、プロジェクタ２０７及び距離画像センサ２０８は、腕部２０３により連結されている。腕部２０３は関節を用いて曲げ伸ばしが可能である。ここで、カメラ部２０２は、撮像画像を取得する撮像部の一例である。プロジェクタ２０７は、後述するユーザが操作を行うための操作画面（操作表示）を投射する投射部の一例である。距離画像センサ２０８は、距離画像を取得する距離画像取得部の一例である。

図２（ａ）には、カメラスキャナ１０１が設置されている書画台２０４も示されている。カメラ部２０２及び距離画像センサ２０８のレンズは、書画台２０４方向に向けられており、破線で囲まれた読み取り領域２０５内の画像を読み取り可能である。図２の例では、原稿２０６は読み取り領域２０５内に置かれているので、カメラスキャナ１０１で読み取り可能である。また、書画台２０４内にはターンテーブル２０９が設けられている。ターンテーブル２０９は、コントローラ部２０１からの指示によって回転することが可能であり、ターンテーブル２０９上に置かれた物体（被写体）とカメラ部２０２との角度を変えることができる。

カメラ部２０２は、単一解像度で画像を撮像するものとしてもよいが、高解像度画像撮像と低解像度画像撮像とが可能なものとすることが好ましい。

なお、図２に示されていないが、カメラスキャナ１０１は、ＬＣＤタッチパネル３３０及びスピーカ３４０を更に含むこともできる。

図２（ｂ）は、カメラスキャナ１０１における座標系を表している。カメラスキャナ１０１では各ハードウェアデバイスに対して、カメラ座標系、距離画像座標系、プロジェクタ座標系という座標系が定義される。これらはカメラ部２０２及び距離画像センサ２０８のＲＧＢカメラが撮像する画像平面、又はプロジェクタ２０７が投射（投影）する画像平面をＸＹ平面とし、画像平面に直交した方向をＺ方向として定義したものである。更に、これらの独立した座標系の３次元データを統一的に扱えるようにするために、書画台２０４を含む平面をＸＹ平面とし、このＸＹ平面から上方に垂直な向きをＺ軸とする直交座標系を定義する。

座標系を変換する場合の例として、図２（ｃ）に直交座標系と、カメラ部２０２を中心としたカメラ座標系を用いて表現された空間と、カメラ部２０２が撮像する画像平面との関係を示す。直交座標系における３次元点Ｐ［Ｘ，Ｙ，Ｚ］は、式（１）によって、カメラ座標系における３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］へ変換できる。

ここで、Ｒｃ及びｔｃは、直交座標系に対するカメラの姿勢（回転）と位置（並進）とによって求まる外部パラメータによって構成され、Ｒｃを３×３の回転行列、ｔｃを並進ベクトルと呼ぶ。逆に、カメラ座標系で定義された３次元点は式（２）によって、直交座標系へ変換することができる。

更に、カメラ部２０２で撮影される２次元のカメラ画像平面は、カメラ部２０２によって３次元空間中の３次元情報が２次元情報に変換されたものである。即ち、カメラ座標系上での３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を、式（３）によってカメラ画像平面での２次元座標ｐｃ［ｘｐ，ｙｐ］に透視投影変換することによって変換することができる。

ここで、Ａは、カメラの内部パラメータと呼ばれ、焦点距離と画像中心等とで表現される３×３の行列である。

以上のように、式（１）と式（３）とを用いることで、直交座標系で表された３次元点群を、カメラ座標系での３次元点群座標やカメラ画像平面に変換することができる。なお、各ハードウェアデバイスの内部パラメータ及び直交座標系に対する位置姿勢（外部パラメータ）は、公知のキャリブレーション手法により予めキャリブレーションされているものとする。以後、特に断りがなく３次元点群と表記した場合は、直交座標系における３次元データ（立体データ）を表しているものとする。

（カメラスキャナのコントローラのハードウェア構成）
図３は、カメラスキャナ１０１の本体であるコントローラ部２０１等のハードウェア構成の一例を示す図である。

図３に示すように、コントローラ部２０１は、システムバス３０１に接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５、ネットワークＩ／Ｆ３０６、画像処理プロセッサ３０７を含む。また、コントローラ部２０１は、カメラＩ／Ｆ３０８、ディスプレイコントローラ３０９、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１及びＵＳＢコントローラ３１２を含む。

ＣＰＵ３０２は、コントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ３０３は、揮発性メモリである。ＲＯＭ３０４は、不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。ＨＤＤ３０５は、ＲＡＭ３０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ３０５にはコントローラ部２０１の実行する、カメラスキャナ１０１の制御用プログラムが格納されている。ＣＰＵ３０２が、ＲＯＭ３０４やＨＤＤ３０５に格納されているプログラムを実行することにより、カメラスキャナ１０１の機能構成及び後述するフローチャートの処理（情報処理）が実現される。

ＣＰＵ３０２は、電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ＣＰＵ３０２がＨＤＤ３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は、起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は、制御用プログラムによる動作に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ＨＤＤ３０５上には更に、制御用プログラムによる動作に必要な各種設定や、また、カメラ入力によって生成した画像データを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２は、ネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。

画像処理プロセッサ３０７は、ＲＡＭ３０３に格納された画像データを読み出して処理し、またＲＡＭ３０３へ書き戻す。なお、画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換等である。

カメラＩ／Ｆ３０８は、カメラ部２０２及び距離画像センサ２０８と接続され、ＣＰＵ３０２からの指示に応じてカメラ部２０２から画像データを、距離画像センサ２０８から距離画像データを取得してＲＡＭ３０３へ書き込む。また、カメラＩ／Ｆ３０８は、ＣＰＵ３０２からの制御コマンドをカメラ部２０２及び距離画像センサ２０８へ送信し、カメラ部２０２及び距離画像センサ２０８の設定を行う。

また、コントローラ部２０１は、ディスプレイコントローラ３０９、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１及びＵＳＢコントローラ３１２のうち少なくとも１つを更に含むことができる。

ディスプレイコントローラ３０９は、プロジェクタ２０７及びＬＣＤタッチパネル３３０に接続されており、ＣＰＵ３０２の指示に応じて画像データの表示を制御する。

シリアルＩ／Ｆ３１０は、シリアル信号の入出力を行う。ここでは、シリアルＩ／Ｆ３１０は、ターンテーブル２０９に接続され、ＣＰＵ３０２の回転開始・終了及び回転角度の指示をターンテーブル２０９へ送信する。また、シリアルＩ／Ｆ３１０は、ＬＣＤタッチパネル３３０に接続され、ＣＰＵ３０２はＬＣＤタッチパネル３３０が押下されたときに、シリアルＩ／Ｆ３１０を介して押下された座標を取得する。

オーディオコントローラ３１１は、スピーカ３４０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３４０を通じて音声を出力する。

ＵＳＢコントローラ３１２は、ＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ここでは、ＵＳＢコントローラ３１２は、ＵＳＢメモリやＳＤカード等の外部メモリ３５０に接続され、外部メモリ３５０へのデータの読み書きを行う。

（カメラスキャナの機能構成）
図４は、ＣＰＵ３０２が制御用プログラムを実行することにより実現されるカメラスキャナ１０１の機能構成４０１の一例を示す図である。カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。

メイン制御部４０２は制御の中心であり、機能構成４０１内の他の各モジュールを制御する。

画像取得部４０７は、画像入力処理を行うモジュールであり、カメラ画像取得部４０８、距離画像取得部４０９から構成される。カメラ画像取得部４０８は、カメラＩ／Ｆ３０８を介してカメラ部２０２が出力する画像データを取得し、ＲＡＭ３０３へ格納する（撮像画像取得処理）。距離画像取得部４０９は、カメラＩ／Ｆ３０８を介して距離画像センサ２０８が出力する距離画像データを取得し、ＲＡＭ３０３へ格納する（距離画像取得処理）。距離画像取得部４０９の処理の詳細は図５を用いて後述する。

認識処理部４１０はカメラ画像取得部４０８、距離画像取得部４０９が取得する画像データから書画台２０４上の物体の動きを検知して認識するモジュールであり、ジェスチャー認識部４１１、ジェスチャー操作者特定部４１２から構成される。ジェスチャー認識部４１１は、画像取得部４０７から書画台２０４上の画像を取得し続け、タッチ等のジェスチャーを検知するとメイン制御部４０２へ通知する。ジェスチャー操作者特定部４１２は、ジェスチャー認識部４１１で検知されたジェスチャーを行った操作者を特定し、メイン制御部４０２へ通知する。ジェスチャー認識部４１１、ジェスチャー操作者特定部４１２の処理の詳細は図６および図１０を用いて後述する。

画像処理部４１３は、カメラ部２０２および距離画像センサ２０８から取得した画像を画像処理プロセッサ３０７で解析するために用いられる。前述のジェスチャー認識部４１１やジェスチャー操作者特定部４１２なども画像処理部４１３の機能を利用して実行される。

ユーザーインターフェイス部４０３は、メイン制御部４０２からの要求を受け、メッセージやボタン等のＧＵＩ部品を生成する。そして、ユーザーインターフェイス部４０３は生成したＧＵＩ部品の表示を表示部４０６へ要求する。表示部４０６はディスプレイコントローラ３０９を介して、プロジェクタ２０７もしくはＬＣＤタッチパネル３３０へ要求されたＧＵＩ部品の表示を行う。プロジェクタ２０７は、書画台２０４に向けて設置されているため、書画台２０４上にＧＵＩ部品を投射することが可能となっている。すなわち、書画台２０４には、プロジェクタ２０７により画像が投射される投射領域が含まれる。また、ユーザーインターフェイス部４０３は、ジェスチャー認識部４１１が認識したタッチ等のジェスチャー操作、又はシリアルＩ／Ｆ３１０を介したＬＣＤタッチパネル３３０からの入力操作、そしてさらにそれらの座標を受信する。そして、ユーザーインターフェイス部４０３は、描画中の操作画面の内容と操作座標を対応させて操作内容（押下されたボタン等）を判定する。ユーザーインターフェイス部４０３がこの操作内容をメイン制御部４０２へ通知することにより、操作者の操作を受け付ける。

ネットワーク通信部４０４は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによる通信を行う。

データ管理部４０５は、ＣＰＵ３０２が制御用プログラムを実行することにより生成した作業データ等の様々なデータをＨＤＤ３０５上の所定の領域へ保存し、管理する。

（距離画像センサ及び距離画像取得部の説明）
距離画像センサ２０８は赤外線によるパターン投射方式の距離画像センサであり、図３に示すように、赤外線パターン投射部３６１、赤外線カメラ３６２、ＲＧＢカメラ３６３から構成される。赤外線パターン投射部３６１は対象物に対して、人の目には不可視である赤外線によって３次元測定パターンを投射する。赤外線カメラ３６２は対象物に投射された３次元測定パターンを読み取るカメラである。ＲＧＢカメラ３６３は人の目に見える可視光をＲＧＢ信号で撮影するカメラである。

距離画像取得部４０９の処理を図５（ａ）のフローチャートを用いて説明する。また、図５（ｂ）〜（ｄ）はパターン投射方式による距離画像の計測原理を説明するための図面である。

距離画像取得部４０９は、処理を開始すると、Ｓ５０１では図５（ｂ）に示すように赤外線パターン投射部３６１を用いて赤外線による３次元形状測定パターン（立体形状測定パターン）５２２を対象物５２１に投射する。

Ｓ５０２で、距離画像取得部４０９は、ＲＧＢカメラ３６３を用いて対象物を撮影したＲＧＢカメラ画像５２３、及び赤外線カメラ３６２を用いてＳ５０１で投射した３次元形状測定パターン５２２を撮影した赤外線カメラ画像５２４を取得する。なお、赤外線カメラ３６２とＲＧＢカメラ３６３とでは設置位置が異なるため、図５（ｃ）に示すようにそれぞれで撮影される２つのＲＧＢカメラ画像５２３及び赤外線カメラ画像５２４の撮影領域が異なる。

Ｓ５０３で、距離画像取得部４０９は、赤外線カメラ３６２の座標系からＲＧＢカメラ３６３の座標系への座標系変換を用いて赤外線カメラ画像５２４をＲＧＢカメラ画像５２３の座標系に合わせる。なお、赤外線カメラ３６２とＲＧＢカメラ３６３との相対位置や、それぞれの内部パラメータは事前のキャリブレーション処理により既知であるとする。

Ｓ５０４で、距離画像取得部４０９は、図５（ｄ）に示すように、３次元形状測定パターン５２２とＳ５０３で座標変換を行った赤外線カメラ画像５２４との間での対応点を抽出する。例えば、距離画像取得部４０９は、赤外線カメラ画像５２４上の１点を３次元形状測定パターン５２２上から探索して、同一の点が検出された場合に対応付けを行う。また、距離画像取得部４０９は、赤外線カメラ画像５２４の画素の周辺のパターンを３次元形状測定パターン５２２上から探索し、一番類似度が高い部分と対応付けてもよい。

Ｓ５０５で、距離画像取得部４０９は、赤外線パターン投射部３６１と赤外線カメラ３６２とを結ぶ直線を基線５２５として三角測量の原理を用いて計算を行うことにより、赤外線カメラ３６２からの距離を算出する。距離画像取得部４０９は、Ｓ５０４で対応付けができた画素については、その画素に対応する位置における対象物５２１と赤外線カメラ３６２との距離を算出して画素値として保存する。一方、距離画像取得部４０９は、対応付けができなかった画素については、距離の計測ができなかった部分として無効値を保存する。距離画像取得部４０９は、これをＳ５０３で座標変換を行った赤外線カメラ画像５２４の全画素に対して行うことで、各画素に距離値（距離情報）が入った距離画像を生成する。

Ｓ５０６で、距離画像取得部４０９は、距離画像の各画素にＲＧＢカメラ画像５２３のＲＧＢ値を保存することにより、１画素につきＲ、Ｇ、Ｂ、距離の４つの値を持つ距離画像を生成する。ここで取得した距離画像は、距離画像センサ２０８のＲＧＢカメラ３６３で定義された距離画像センサ座標系が基準となっている。

そこでＳ５０７で、距離画像取得部４０９は、図２（ｂ）を用いて上述したように、距離画像センサ座標系として得られた距離情報を直交座標系における３次元点群に変換する。以後、特に指定がなく３次元点群と表記した場合は、直交座標系における３次元点群を示すものとする。

なお、本実施形態では上述したように、距離画像センサ２０８として赤外線パターン投射方式を採用しているが、他の方式の距離画像センサを用いることも可能である。例えば、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式や、レーザー光の飛行時間を検出することで距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いてもよい。

（ジェスチャー認識部の説明）
ジェスチャー認識部４１１の処理の詳細を、図６のフローチャートを用いて説明する。

図６において、ジェスチャー認識部４１１は、処理を開始すると、Ｓ６０１では初期化処理を行う。初期化処理で、ジェスチャー認識部４１１は、距離画像取得部４０９から距離画像を１フレーム取得する。ここで、ジェスチャー認識部４１１の処理の開始時は書画台２０４上に対象物が置かれていない状態であるため、初期状態として書画台２０４の平面の認識を行う。即ち、ジェスチャー認識部４１１は、取得した距離画像から最も広い平面を抽出し、その位置と法線ベクトル（以降、書画台２０４の平面パラメータと呼ぶ）とを算出し、ＲＡＭ３０３に保存する。

Ｓ６０２で、ジェスチャー認識部４１１は、Ｓ６２１〜６２２に示す、書画台２０４上に存在する物体の３次元点群を取得する。

Ｓ６２１で、ジェスチャー認識部４１１は、距離画像取得部４０９から距離画像と３次元点群とを１フレーム取得する。

Ｓ６２２で、ジェスチャー認識部４１１は、書画台２０４の平面パラメータを用いて、取得した３次元点群から書画台２０４を含む平面にある点群を除去する。

Ｓ６０３で、ジェスチャー認識部４１１は、Ｓ６３１〜Ｓ６３４に示す、取得した３次元点群からユーザの手の形状及び指先を検出する処理を行う。ここで、Ｓ６０３の処理について、図７に示す、指先検出処理の方法を模式的に表した図を用いて説明する。

Ｓ６３１で、ジェスチャー認識部４１１は、Ｓ６０２で取得した３次元点群から、書画台２０４を含む平面から所定の高さ以上にある、肌色の３次元点群を抽出することで、手の３次元点群を得る。図７（ａ）の８０１は、抽出した手の３次元点群を表している。

Ｓ６３２で、ジェスチャー認識部４１１は、抽出した手の３次元点群を、書画台２０４の平面に射影した２次元画像を生成して、その手の外形を検出する。図７（ａ）の８０２は、書画台２０４の平面に投射した３次元点群を表している。投射は、点群の各座標を、書画台２０４の平面パラメータを用いてされればよい。また、図７（ｂ）に示すように、投射した３次元点群から、ｘｙ座標の値だけを取り出せば、ｚ軸方向から見た２次元画像７０３として扱うことができる。このとき、ジェスチャー認識部４１１は、手の３次元点群の各点が、書画台２０４の平面に投射した２次元画像の各座標のどれに対応するかを、記憶しておくものとする。

Ｓ６３３で、ジェスチャー認識部４１１は、検出した手の外形上の各点について、その点での外形の曲率を算出し、算出した曲率が所定値より小さい点を指先として検出する。図７（ｃ）は、外形の曲率から指先を検出する方法を模式的に表したものである。７０４は、書画台２０４の平面に投射された２次元画像７０３の外形を表す点の一部を表している。ここで、７０４のような、外形を表す点のうち、隣り合う５個の点を含むように円を描くことを考える。円７０５、７０７が、その例である。この円を、全ての外形の点に対して順に描き、その直径（例えば７０６、７０８）が所定の値より小さい（曲率が小さい）ことを以て、指先とする。この例では隣り合う５個の点としたが、その数は限定されるものではない。また、ここでは曲率を用いたが、外形に対して楕円フィッティングを行うことで、指先を検出してもよい。

Ｓ６３４で、ジェスチャー認識部４１１は、検出した指先の個数及び各指先の座標を算出する。このとき、前述したように、書画台２０４に投射した２次元画像の各点と、手の３次元点群の各点との対応関係を記憶しているため、ジェスチャー認識部４１１は、各指先の３次元座標を得ることができる。今回は、３次元点群から２次元画像に投射した画像から指先を検出する方法を説明したが、指先検出の対象とする画像は、これに限定されるものではない。例えば、距離画像の背景差分や、ＲＧＢ画像の肌色領域から手の領域を抽出し、上述と同様の方法（外形の曲率計算等）で、手領域のうちの指先を検出してもよい。この場合、検出した指先の座標はＲＧＢ画像や距離画像といった、２次元画像上の座標であるため、ジェスチャー認識部４１１は、その座標における距離画像の距離情報を用いて、直交座標系の３次元座標に変換する必要がある。このとき、指先点となる外形上の点ではなく、指先を検出するときに用いた、曲率円の中心を指先点としてもよい。

Ｓ６０４で、ジェスチャー認識部４１１は、Ｓ６４１〜Ｓ６４６に示す、検出した手の形状及び指先からのジェスチャー判定処理を行う。

Ｓ６４１で、ジェスチャー認識部４１１は、Ｓ６０３で検出した指先が１つかどうか判定する。ジェスチャー認識部４１１は、指先が１つでなければＳ６４６へ進み、ジェスチャーなしと判定する。ジェスチャー認識部４１１は、Ｓ６４１において検出した指先が１つであればＳ６４２へ進み、検出した指先と書画台２０４を含む平面との距離を算出する。

Ｓ６４３で、ジェスチャー認識部４１１は、Ｓ６４２で算出した距離が所定値以下であるかどうかを判定し、所定値以下であればＳ６４４へ進んで指先が書画台２０４へタッチした、タッチジェスチャーありと判定する。ジェスチャー認識部４１１は、Ｓ６４３においてＳ６４２で算出した距離が所定値以下でなければＳ６４５へ進み、指先が移動したジェスチャー（タッチはしていないが指先が書画台２０４上に存在するジェスチャー）と判定する。

Ｓ６０５で、ジェスチャー認識部４１１は、判定したジェスチャーをメイン制御部４０２へ通知し、Ｓ６０２へ戻ってジェスチャー認識処理を繰り返す。

以上の処理により、ジェスチャー認識部４１１は、距離画像に基づいてユーザのジェスチャーを認識することができる。

（利用シーンの説明）
図７を用いてカメラスキャナ１０１の利用シーンについて説明する。

本発明においては、複数の操作者がカメラスキャナ１０１を同時に操作する場合を想定している。例えば、契約などの手続きを行う場面、商品などの説明を行う場面、打合せを行う場面、教育など様々なシーンでの使用に適用できる。

カメラスキャナ１０１の操作者は、カメラスキャナ１０１の操作を行いながら説明を行う人（メイン操作者）と、説明を受けながらカメラスキャナ１０１を操作する人（サブ操作者）に分類される。

契約などの手続きを行う場面においては、説明員（メイン操作者）と顧客（サブ操作者）により、契約内容の確認、必要事項の入力、入力内容確認、承認といった手続きが行われる。必要事項の入力については、最終的に顧客による入力内容の確認を得ればよいので、説明員と顧客のどちらが入力してもよい。一方で、入力内容確認のチェックを行う際には、顧客が説明員の説明に納得した場合にのみ実行される必要がある。言い換えれば、説明員が顧客の代わりに内容確認チェックを行うことは許されない。

教育の場合には、教師（メイン操作者）と生徒（サブ操作者）により、問題の出題、解答、添削、解答例の指導、等の流れがある。教師は生徒の解答に対して添削を行うことができるが、その逆はできない。一方で、生徒は問題に対する解答を、教師は問題に対する解答例を入力することができる。本発明において、このような複数の操作者がカメラスキャナ１０１を操作する場合に、各操作者に適切な操作権限を付与することで、適切な処理フローを実現させることを目的とする。

図８は、２人の操作者８０１および８０２が同時にカメラスキャナ１０１を操作している様子を示している。例えば、図８（ａ）のように対面で利用したり、図８（ｂ）のようにＬ字型で利用したり、図８（ｃ）のように横並びで利用することも可能である。メイン操作者とサブ操作者の配置は、カメラスキャナ１０１のシステムにメイン操作者がログインする際に決めることができる。あるいは、顔認証技術などを用いて、事前に登録されているメイン操作者の顔を検出し、それ以外の操作者をサブ操作者と判断することで決めることも可能である。また、カメラスキャナ１０１を３人以上で利用することも可能である。

以下の説明では、図８（ａ）のように対面での契約手続きでカメラスキャナ１０１を使用するシーンを用いて説明を行う。そして、８０１をメイン操作者、８０２をサブ操作者とする。なお、操作者数や配置、使用シーンに関してはこれに限定されるものではない。

（メイン制御部の説明）
メイン制御部４０２の処理の詳細を、図９のフローチャートを用いて説明する。

メイン制御部４０２が処理を開始すると、図９のＳ９０１において、プロジェクタ２０７によって操作画面を書画台２０４上へ投射表示させる。図１０は、メイン操作者８０１とサブ操作者８０２が書画台２０４上に投射表示された操作画面を操作している様子を示しており、図１０（ａ）は操作画面の一例を示す。操作画面には、印刷ボタン１００１、氏名入力欄１００２、チェックボックス１００３、承認ボタン１００４が投影表示されている。操作者８０１および８０２はジェスチャー操作により各操作項目を操作可能である。なお、操作画面に表示される操作項目、及び各操作項目に対して行われるジェスチャー操作についてはこれに限るものではない。例えば、ソフトキーボード入力操作や、表示されたＵＩ部品・画像に対するジェスチャー操作（拡縮表示・回転・移動・切り出しなど）を適用することも可能である。

Ｓ９０２で、メイン制御部４０２は、ジェスチャー認識部４１１からのジェスチャー検知通知の有無を確認する。なお、以下の説明では、検知するジェスチャーは書画台２０４上へのタッチ操作であるとするが、その他のジェスチャー操作を用いても構わない。図１０（ａ）の場合は、メイン操作者８０１、サブ操作者８０２のいずれも操作画面に対する操作を行っておらず、ジェスチャー認識部４１１はジェスチャーを検知しないため、Ｓ９０８へ進む。一方、図１０（ｂ）〜（ｇ）の場合においては、メイン操作者８０１又はサブ操作者８０２のいずれかがジェスチャー操作を行っており、ジェスチャー認識部４１１からジェスチャー検知が通知されるため、Ｓ９０３へ進む。

Ｓ９０３で、メイン制御部４０２は、ジェスチャーによって選択された操作項目を識別する。図１０（ｂ）および（ｃ）の場合は氏名入力欄１００２、図１０（ｄ）および（ｅ）の場合はチェックボックス１００３、図１０（ｆ）および（ｇ）の場合は印刷ボタン１００１が、選択された操作項目として識別される。

Ｓ９０４で、メイン制御部４０２は、Ｓ９０２で検知されたジェスチャーを行ったジェスチャー操作者を特定する。図９（ｂ）、（ｄ）、（ｆ）の場合、メイン操作者８０１がジェスチャー操作者として特定され、図９（ｃ）、（ｅ）、（ｇ）の場合、サブ操作者８０２がジェスチャー操作者として特定される。

ここで図１１を用いて、Ｓ９０４のジェスチャー操作者特定処理について説明する。図１１（ａ）はジェスチャー操作者特定部４１２が実行する処理のフローチャートの一例であり、図１１（ｂ）〜（ｆ）は処理の説明図である。

図１１（ａ）のステップＳ１１０１において、ジェスチャー操作者特定部４１２は、手の概形形状を取得する。具体的には、ジェスチャー操作者特定部４１２は、カメラ部２０２あるいは距離画像センサ２０８により撮像された画像から背景差分やフレーム差分などを用いて手の概形形状を取得する。あるいは、ジェスチャー操作者特定部４１２は、ジェスチャー認識部４１１よりタッチジェスチャー検出時に図６のＳ６３２で生成された手の概形形状を取得しても構わない。例えば、図１０（ｇ）のようなタッチジェスチャーが行われた場合には、図１１（ｂ）に示すような手の概形形状１１１１が得られる。

続いてＳ１１０２において、ジェスチャー操作者特定部４１２は手領域の細線化処理を行い、図１１（ｃ）で示す手領域の中心線１１２１を生成する。

Ｓ１１０３において、ジェスチャー操作者特定部４１２はベクトル近似処理を行い、図１１（ｄ）で示すベクトル１１３１を生成する。

Ｓ１１０４において、ジェスチャー操作者特定部４１２は手領域の骨格モデルを生成する。図１１（ｅ）で示すように、指領域１１４１、手領域１１４２、前腕部１１４３、上腕部１１４４からなる骨格モデルが生成される。

最後にステップＳ１１０５において、ジェスチャー操作者特定部４１２はＳ１１０４で得られた骨格モデルをもとにジェスチャー操作が行われた方向を推定し、事前に設定された操作者の位置関係に基づいてジェスチャー操作者を特定する。これにより、操作者８０２の右手によりタッチジェスチャーが行われたと特定することができる。

なお、ジェスチャー操作者を特定する方法はこれに限るものではなく、他の方法で実現してもよい。たとえば、図１１（ｆ）に示すように画像端部で手領域の重心位置１１５１と指先位置１１５２との向き１１５３を用いてジェスチャー操作者を簡易的に特定してもよい。あるいは、図１１（ｇ）に示すようにジェスチャー認識部４１１より検知される指先移動ジェスチャーから手領域の軌跡１１６１を生成することでジェスチャー操作者を特定してもよい。さらには、カメラスキャナ１０１に取り付けられた人感センサ（図示なし）と組み合わせてジェスチャー操作者を特定することも可能である。また、顔認証などを用いて操作者を特定してもよい。

図９の説明に戻る。Ｓ９０５において、メイン制御部４０２は、Ｓ９０３で識別された操作項目と、Ｓ９０４で特定されたジェスチャー操作者とに基づいて、当該操作項目に対するジェスチャー操作者の操作権限があるか否かを判定する。操作権限があると判定された場合にはステップＳ９０６へ、操作権限がないと判定された場合にはステップ９０８へそれぞれ進む。操作権限の有無については、図１２に示すような操作権限管理テーブル１２０１に基づいて判定される。例えば、氏名入力欄１００２への操作に関してはメイン操作者８０１とサブ操作者８０２の双方に操作権限があることが分かる。一方、印刷ボタン１００１への操作に関してはメイン操作者８０１のみに操作権限があり、チェックボックス１００３および承認ボタン１００４への操作はサブ操作者８０２のみに操作権限があることが分かる。

なお、操作権限有無の判断方法についてはこれに限るものではない。例えば、操作項目に対応するＵＩ部品１００１〜１００４に操作権限有無の情報を埋め込み、操作されたＵＩ部品に付与された情報とジェスチャー操作者の情報から操作権限の有無を判断してもよい。

例えば図１３（ａ）に示すように、操作可能なＵＩ部品に対して、操作権限を有する操作者の方向に対して影付表示を行ったＵＩ画面を提供するようにしても良い。そして、カメラ画像取得部４０８あるいは距離画像取得部４０９から得られた画像から操作されたＵＩ部品の影付け方向を検出し、ジェスチャー操作者の方向と一致しているか否かに応じて操作権限の有無を判断すればよい。すなわち、印刷ボタン１３０１はメイン操作者８０１側に影付け表示されているため、メイン操作者８０１のみが操作権限があると判断できる。また、チェックボックス１３０３および承認ボタン１３０４は、サブ操作者８０２側に影付け表示されているため、サブ操作者８０２のみが操作権限があると判断できる。氏名入力欄１３０２はメイン操作者８０１およびサブ操作者８０２の両方に影付け表示されているため、メイン操作者８０１およびサブ操作者８０２双方に操作権限があると判断できる。

あるいは、図１３（ｂ）に示すように、それぞれ操作者が操作可能な操作項目に対応するＵＩ部品を、各操作者から見やすい方向に向けて表示するようなＵＩ画面を提供するようにしても良い。そして、カメラ画像取得部４０８あるいは距離画像取得部４０９から得られた画像から、ジェスチャー操作者の方向とＵＩ部品の方向が一致しているか否かに応じて操作権限の有無を判断すればよい。図１３（ｂ）の例では、印刷ボタン１３１１はメイン操作者８０１が見やすい方向に向けて表示されており、チェックボックス１３１３、承認ボタン１３１４はサブ操作者８０２が見やすい方向に向けて表示されている。また、複数の操作者が操作可能な操作項目に関しては、各操作者に対して操作項目がそれぞれ表示されることになる。例えば氏名入力欄１３１２はメイン操作者８０１およびサブ操作者８０２がそれぞれ操作可能な操作項目であるため、メイン操作者８０１用の氏名入力欄１３１２−１とサブ操作者８０２用の氏名入力欄１３１２−２が表示される。なお、複数の操作者が操作可能な操作項目に関しては、一方の操作者が操作した結果が、他方の操作項目にも反映される仕組みを提供する必要がある。ここで、メイン操作者８０１が氏名入力欄１３１２−１への入力操作を行うと、入力内容がサブ操作者用氏名入力欄１３１２−２へ反映される。同様に、サブ操作者８０２が氏名入力欄１３１２−２への入力操作を行うと、入力内容がメイン操作者用氏名入力欄１３１２−１へ反映される。このとき、図１３（ｂ）に示すように同一の内容を表示しても良いし、図１３（ｃ）に示すように表示方法や表示内容を各操作者向けに修正して表示してもよい（１３１２−１’、１３１２−２’）。

また、図１３（ｄ）に示すように、複数の操作者が操作可能な操作項目（指名入力欄１３２２）に関しては、操作結果を提示したい方向に表示するようにし、回転ボタン１３２３を操作すると他方の操作者の方向に表示を回転させるなどの仕組みを設けても構わない。

なお、図１２で示した操作権限管理テーブル１２０１と、図１３で示したＵＩ部品の表示方法を組み合わせてもよい。

再び図９の説明に戻る。Ｓ９０６において、メイン制御部４０２は、Ｓ９０３で識別された操作項目に対応する処理を実行する。そして、Ｓ９０７で、メイン制御部４０２は、実行された操作項目に伴うＵＩ画面の更新処理を行う。

氏名入力欄１００２はメイン操作者８０１、サブ操作者８０２共に操作可能な項目であるため、図１０（ｂ）及び（ｃ）に示すように、メイン操作者８０１、サブ操作者８０２のいずれが操作した場合であっても記入結果が氏名入力欄１００２に反映される。一方、チェックボックス１００３はサブ操作者８０２のみが操作可能な項目である。よって、図１０（ｅ）で示すように、サブ操作者８０２がチェックボックス１００３を押下した場合にはチェック表示が行われるが、図１０（ｄ）で示すように、メイン操作者８０１がチェックボックス１００３を押下してもチェック表示は行われない。また、印刷ボタン１００１はメイン操作者８０１のみが操作可能である。よって、図１０（ｆ）で示すように、メイン操作者８０１が印刷ボタン１００１を押下した場合には、プリンタ１０３による印刷が実行されるが、サブ操作者８０２が印刷ボタン１００１を押下しても、印刷処理は実行されない。

Ｓ９０８で、メイン制御部４０２は、システムの終了判定を行い、終了判定がなされるまでステップＳ９０１〜ステップＳ９０８の処理を繰り返す。なお、システムの終了は操作画面上に投射表示された終了ボタンを操作する、カメラスキャナ１０１の本体の電源ボタン（図示なし）を押すなどにより行われるものとする。

以上のように、本実施形態によれば、ジェスチャーによる操作が検出されると、ジェスチャー操作者の特定を行い、操作画面上の操作項目毎に実行可否が制御される。これにより、複数の操作者が同時に一つの操作画面を操作可能なデータ処理システムにおいて、一方の操作者のみ操作を許容する項目を表示しつつ、他の操作者が当該項目を勝手に操作してしまうのを防止することができる。

＜実施形態２＞
実施形態１では、操作者が常にカメラスキャナ１０１の傍にいて操作する場合について説明した。しかしながら、契約などの手続きを行う場面においては、説明員が一時的に離席する場合なども考えられる。このような場合、例え顧客が入力可能な操作項目であったとしても、説明員が離席中に操作されるのは望ましくない項目も考えられる。そこで、本実施形態では、一方の操作者がカメラスキャナ１０１を利用不可能な位置に移動した場合に、他方の操作者に対する操作権限を変更する仕組みについて説明する。

実施形態２におけるカメラスキャナ１０１の処理について、図１４〜図１６を用いて説明する。

図１４は、実施形態２におけるメイン制御部４０２の処理フローを説明した図である。図９と比較すると、操作者の離席状況を確認する処理（Ｓ１４０１）が追加されている。なお、図９と同様の処理については同一の参照符号を付与することにより、詳細な説明を省略する。

Ｓ９０３で操作項目が識別され、Ｓ９０４でジェスチャー操作者が特定されると、Ｓ１４０１において、メイン制御部４０２は、操作者の離席状況を確認する。離席状況を確認するには、図１５（ａ）に示すように、カメラスキャナ１０１に取りつけられた人感センサ１５０１および１５０２を用いて、人検知領域１５０３あるいは１５０４から操作者の離席状況を確認すればよい。この場合、操作者８０１は人検知領域１５０３の範囲外に移動していることから離席と判断することができる。ここでは人感センサを２つ使用して操作者を検知しているが、カメラスキャナ１０１周囲全体を検知できるような人感センサ１つのみで履歴状況を確認しても構わない。あるいは、カメラスキャナ１０１のカメラ部２０２あるいは距離画像センサ２０８のズーム倍率を変更するなど撮像範囲を広げて、各操作者の離席状態を確認してもよい。すなわち、図１５（ｂ）に示すように広域で撮影された画像１５１１に操作者８０１が映っていない場合に、操作者８０１が離席したと判断することができる。さらには、図１５（ｃ）に示すように、操作者８０１が離席する際には離席ボタン１５２１を押下するものとし、離席ボタン１５２１が押下されたか否かに応じて離席状況を判断するようにしても良い。なお、他の各種デバイスや他の手段を用いて離席状況確認を確認してもよい。

続いて、Ｓ９０５において、メイン制御部４０２は、Ｓ９０３で識別された操作項目と、Ｓ９０４で特定された操作者、及びＳ１４０１により確認した離席状況に基づいて、当該操作項目に対する操作者の操作権限があるか否かを判定する。操作権限があると判定された場合にはＳ９０６に進み、操作権限がないと判定された場合にはステップＳ９０８に進む。操作権限の有無については、図１６に示す操作権限管理テーブル１６０１に基づいて判定される。図１２の操作権限管理テーブル１２０１と比較すると、一方の操作者に関して、他方の操作者が在席中である場合と離席中の場合とで夫々操作権限が付与されている。例えばチェックボックス１００３に関しては、メイン操作者８０１が在席中であるか離席中であるかに拘わらずサブ操作者８０２は操作可能である。一方、承認ボタン１００４に関しては、メイン操作者８０１が在席中のみサブ操作者８０２は押下可能であり、メイン操作者８０１が離席中はサブ操作者８０２の操作権限がないものと判断される。その結果、サブ操作者８０２が承認ボタン１００４を押下しても承認処理は行われないこととなる。

以上のように、本実施形態によれば、一方の操作者がカメラスキャナ１０１を利用可能な位置に存在しない場合における他方の操作者の操作権限を限定することができるため、一方の操作者が不在の間に無断で操作が行われることを防止することができる。

＜実施形態３＞
実施形態１および２では、メイン操作者であるかサブ操作者であるかに拘わらず、操作権限のある操作項目が操作された場合には即座に当該操作項目に対応する処理を実行するものとして説明した。しかしながら、サブ操作者などの操作に不慣れな人がカメラスキャナ１０１を利用した際に、何気ない動作がジェスチャー操作と認識され、誤動作してしまうことが考えられる。そこで、本実施形態では、サブ操作者が操作できるタイミングをメイン操作者が制御することで、誤動作を防止するための仕組みについて説明する。

実施形態２におけるカメラスキャナ１０１の処理について、図１７〜図１９を用いて説明する。

図１７は、実施形態３におけるメイン制御部４０２の処理フローを説明した図である。図１４と比較すると、Ｓ１７０１、Ｓ１７０２の処理が追加されている、なお、実施形態１〜２と同様の処理については同一の参照番号を付与することにより、詳細な説明を省略する。

Ｓ１７０１において、メイン制御部４０２は、Ｓ９０４で特定されたジェスチャー操作者がメイン操作者８０１か否かを判断する。ジェスチャー操作者がメイン操作者８０１の場合には、Ｓ９０５の操作権限有無の確認処理へ進む。ジェスチャー操作者がサブ操作者８０２の場合には、Ｓ１７０２へ進む。

Ｓ１７０２において、メイン制御部４０２は、サブ操作者８０２による操作を許可する指示が入力されているか否かを確認する。例えば、図１８（ａ）に示すように、メイン操作者８０１が書画台上の所定の位置に手を置いている場合には、サブ操作者８０２による操作の許可指示が入力されているものとすることができる。この場合には、所定の位置にメイン操作者８０１の手があるか否かを確認することでサブ操作者８０２の操作が許可されているか否かを判定することができる。あるいは、メイン操作者８０１が操作可能ボタン（不図示）を押下することにより、サブ操作者８０２による操作を許可するようにしても良い。この場合は、操作可能ボタンの押下状態を確認することにより、サブ操作者８０２の操作が許可されているか否かを判定することができる。

続いてＳ９０５において、メイン制御部４０２は、図１９に示す操作権限確認テーブル１９０１に基づいて、特定された操作者の操作権限があるか否かを判定する。図１６の操作権限管理テーブル１６０１と比較すると、サブ操作者８０２の操作権限に関し、メイン操作者８０１による操作許可指示が行われていない場合の操作権限が追加されている。すなわち、メイン操作者８０１による操作許可指示が入力されていない場合には、サブ操作者８０２はどの操作項目を操作したとしてもその操作は無効化されることとなる。メイン操作者８０１による操作許可指示が入力されている場合のサブ操作者８０２の操作権限に関しては、図１６の場合と同様である。

上述のように、図１８（ａ）の場合はメイン操作者８０１が書画台上の所定の位置に手を置いており、サブ操作者８０２の操作許可指示が入力されているため、サブ操作者８０２はチェックボタンの押下を行うことができる。一方で、図１８（ｂ）の場合は、書画台上の所定の位置にメイン操作者８０１の手が置かれていないため、サブ操作者８０２の操作許可指示が入力されていないと判断され、サブ操作者８０２のチェックボタンへの操作が無効化されている。このような制御を加えることにより、図１８（ｃ）に示すような、操作に不慣れなサブ操作者８０２が書画台の上で自然と手を組むといった動作により、承認ボタン１００４の押下とみなされてしまう場合にも、実行制限を加えることが可能となる。

以上のように、本実施形態によれば、メイン操作者８０１がサブ操作者８０２の操作に対して制限を加えることで、サブ操作者８０２の何気ない動きによる誤動作を防ぐことができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、カメラスキャナ１０１等の同一画面上に複数の操作項目を含む操作画面を複数の操作者が同時に操作可能なデータ処理装置におけるユーザの操作性を向上させることができる。より具体的には、投射した操作画面に対するジェスチャー操作を行った操作者を距離画像に基づいて特定し、特定された操作者に応じて、操作画面に含まれる操作項目毎に操作の有効・無効を制御する。これにより、複数の操作者が一方の操作者のみ操作を許容する項目を表示しつつ、他の操作者が当該項目を勝手に操作してしまうのを防止することができる。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ カメラスキャナ
２０１ コントローラ部
２０２ カメラ部
２０４ 書画台
２０７ プロジェクタ
２０８ 距離画像センサ部

Claims (10)

1. 同一画面上に複数の操作項目を含む操作画面を第１の操作者と第２の操作者が同時に操作することが可能なデータ処理装置であって、
   前記操作画面を所定の領域に投射する投射手段と、
   前記投射手段により投射された前記操作画面に対する操作を行った操作者が第１の操作者であるか第２の操作者であるかを判定する判定手段と、
   前記判定手段により前記第１の操作者であると判定された場合、前記操作画面に含まれる第１の操作項目、及び前記操作画面に含まれる第２の操作項目に対する操作を有効とし、前記判定手段により前記第２の操作者であると判定された場合、前記第１の操作項目に対する操作を有効とし、前記第２の操作項目に対する操作を無効とするよう制御する制御手段と、
   前記第１の操作者が前記データ処理装置を操作可能な位置に存在するか否かを確認する確認手段と、を有し、
   前記制御手段は、前記確認手段による確認の結果、前記第１の操作者が前記データ処理装置を操作可能な位置に存在しないと確認された場合には、前記第２の操作者による前記第１の操作項目に対する操作を無効とするよう制御することを特徴とするデータ処理装置。
2. 前記操作画面に含まれる複数の操作項目それぞれについて、第１の操作者と第２の操作者それぞれの操作権限があるか否かを示す情報を記憶する記憶手段と、を有し、
   前記制御手段は、前記記憶手段により記憶されている情報に基づいて、前記制御を行うことを特徴とする請求項１に記載のデータ処理装置。
3. 距離画像を取得する距離画像取得手段を有し、
   前記判定手段は、前記距離画像取得手段により取得した距離画像に基づいて、前記操作画面に対する操作を行った操作者が前記第１の操作者であるか前記第２の操作者であるかを判定することを特徴とする請求項１に記載のデータ処理装置。
4. 前記判定手段は、前記距離画像取得手段により取得した距離画像に基づいて操作が行われた方向を推定し、該推定された方向と、事前に設定された前記第１の操作者と前記第２の操作者の位置関係とに基づいて、該操作を行った操作者が前記第１の操作者であるか前記第２の操作者であるかを判定することを特徴とする請求項３記載のデータ処理装置。
5. 前記距離画像取得手段により取得した距離画像に基づいて、前記操作画面に対して行われたジェスチャー操作を認識する認識手段を有し、
   前記判定手段は、前記認識手段により認識したジェスチャー操作を行った操作者が前記第１の操作者であるか前記第２の操作者であるかを判定することを特徴とする請求項３又は４記載のデータ処理装置。
6. 前記認識手段は、前記距離画像取得手段により取得された距離画像から検出した手の形状と位置とに基づいて、ジェスチャー操作を認識することを特徴とする請求項５記載のデータ処理装置。
7. 前記第２の操作者による操作を許可する指示を入力する入力手段を有し、
   前記制御手段は、前記指示が入力されていない場合には、前記操作画面に含まれる全ての操作項目に対する前記第２の操作者の操作を無効とするよう制御することを特徴とする請求項１に記載のデータ処理装置。
8. 同一画面上に複数の操作項目を含む操作画面を第１の操作者と第２の操作者が同時に操作することが可能なデータ処理システムであって、
   前記操作画面を所定の領域に投射する投射手段と、
   前記投射手段により投射された前記操作画面に対する操作を行った操作者が第１の操作者であるか第２の操作者であるかを判定する判定手段と、
   前記判定手段により前記第１の操作者であると判定された場合、前記操作画面に含まれる第１の操作項目、及び前記操作画面に含まれる第２の操作項目に対する操作を有効とし、前記判定手段により前記第２の操作者であると判定された場合、前記第１の操作項目に対する操作を有効とし、前記第２の操作項目に対する操作を無効とするよう制御する制御手段と、
   前記第１の操作者が前記データ処理装置を操作可能な位置に存在するか否かを確認する確認手段と、を有し、
   前記制御手段は、前記確認手段による確認の結果、前記第１の操作者が前記データ処理装置を操作可能な位置に存在しないと確認された場合には、前記第２の操作者による前記第１の操作項目に対する操作を無効とするよう制御することを特徴とするデータ処理システム。
9. 同一画面上に複数の操作項目を含む操作画面を第１の操作者と第２の操作者が同時に操作することが可能なデータ処理装置の制御方法であって、
   前記操作画面を所定の領域に投射する投射工程と、
   前記投射工程において投射された前記操作画面に対する操作を行った操作者が第１の操作者であるか第２の操作者であるかを判定する判定工程と、
   前記判定工程において前記第１の操作者であると判定された場合、前記操作画面に含まれる第１の操作項目、及び前記操作画面に含まれる第２の操作項目に対する操作を有効とし、前記判定工程において前記第２の操作者であると判定された場合、前記第１の操作項目に対する操作を有効とし、前記第２の操作項目に対する操作を無効とするよう制御する制御工程と、
   前記第１の操作者が前記データ処理装置を操作可能な位置に存在するか否かを確認する確認工程と、を有し、
   前記制御工程では、前記確認工程での確認の結果、前記第１の操作者が前記データ処理装置を操作可能な位置に存在しないと確認された場合には、前記第２の操作者による前記第１の操作項目に対する操作を無効とするよう制御することを特徴とするデータ処理装置の制御方法。
10. 請求項９記載の制御方法をコンピュータに実行させるためのプログラム。

Images