JP2011028366A - 操作制御装置および操作制御方法 - Google Patents

Abstract

【課題】指による指示等で、直感的かつ高精度に操作対象を操作することが可能な操作制御装置を提供する。
【解決手段】ステレオカメラにより、ユーザの動作によって移動する検出対象を検出する動き検出部と、動き検出部による検出結果に基づいて、検出対象の動作を判定する動作判定部と、表示領域に表示されたオブジェクトを操作するカーソル２２０を含むカーソル可動領域２１０を移動させる可動領域移動処理部と、カーソルを移動させるカーソル移動処理部とを備える。可動領域移動処理部は、動き検出部により検出された第１の検出対象の動作に基づいて、第１の移動単位で、カーソル可動領域２１０をカーソルとともに表示領域内で移動させ、カーソル移動処理部は、動き検出部により検出された第２の検出対象の動作に基づいて、第１の移動単位よりも小さい第２の移動単位で、カーソル２２０のみをカーソル可動領域内で移動させる。
【選択図】図１

Description

本発明は、操作制御装置および操作制御方法に関する。

従来、機器を遠隔操作する方法として、赤外線もしくは無線周波数（ＲＦ；Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号などによるリモートコントローラ（以下、「リモコン」と称する。）やマウス、ジョイスティック、トラックボール等のポインティングデバイスを用いる方法がある。例えば、テレビジョンの操作においては、一般にリモコンが用いられており、例えばチャンネルや音量、色相、濃度、コントラスト等を操作することができる。このように多くの制御対象があり、また、将来的な放送サービスの多様化やテレビのＰＣ化を踏まえると、テレビジョン操作はさらに複雑になることが予想される。この結果、リモコンの操作キーが増加したり、機能が複雑したり、リモコンが大型になったりする等、ユーザの利便性が低下すると考えられる。

このような問題に対して、近年、機器の操作手段として、リモコン等の装置を用いず、遠隔からユーザが指先により操作して直接入力をする入力装置が開示されている（例えば、特許文献１）。かかる入力装置１０を用いると、例えば、図１０に示すように、ユーザＰがテレビ受像機２６の表示画面２８に向かって指Ｆを動作させて、情報を入力することができる。かかる入力装置１０では、ステレオカメラ等の空間位置検出器２２によって指Ｆの位置を検出する。そして、制御部２４は、空間位置検出器２２により検出された位置に対応する表示画面２８の二次元座標上にカーソルを表示させ、さらに指Ｆの動きに基づいて、カーソルを連動して移動させる。また、ユーザＰが指Ｆを動かして表示画面２８上に表示された実行ボタンをカーソルで選択すると、制御部２４によりこの実行ボタンに関連付けられたジョブが実行される。

特開平５−３２４１８１号公報

しかし、従来は、指の位置を検出する空間位置検出器の出力結果を表示画面におけるカーソル位置としてそのまま用いるため、表示画面上のカーソルの動きが指先に対応しない動作となる場合があった。例えば、震えのようにユーザが意図しない指先の動きや背景による作用、検出精度の低い空間等における空間位置検出器の誤検出等により、表示画面上のカーソルの動きが指先に対応しない動作となる場合があった。このような状況が生じると、表示画面上のカーソルはユーザの意図する軌道から外れてしまい、ユーザは目的の実行ボタンを的確にポインティングするのが困難になる。

さらに、ジェスチャ認識においては、認識の基礎となるカーソル軌跡が連続した座標データ群により構成される。このため、カーソルの動きが指先の動きに対応しないという問題は、ジェスチャ機能においてより深刻である。

これらの問題は、テレビの解像度が高精細化するにつれ、より顕著に現れるようになる。このため、マウスでカーソルを操作するような精細さを保持しつつ、空間ジェスチャによる直感性を盛り込んだインタフェースが要求される。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、直感的かつ高精度に操作対象を操作することが可能な、新規かつ改良された操作制御装置および操作制御方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、ユーザの動作によって移動する検出対象を検出する動き検出部と、動き検出部による検出結果に基づいて、検出対象の動作を判定する動作判定部と、表示領域に表示されたオブジェクトを操作するカーソルを含むカーソル可動領域を移動させる可動領域移動処理部と、カーソルを移動させるカーソル移動処理部と、を備える操作制御装置が提供される。可動領域移動処理部は、動き検出部により検出された第１の検出対象の動作に基づいて、第１の移動単位で、カーソル可動領域をカーソルとともに表示領域内で移動させ、カーソル移動処理部は、動き検出部により検出された第２の検出対象の動作に基づいて、第１の移動単位よりも小さい第２の移動単位で、カーソルのみをカーソル可動領域内で移動させる。

本発明によれば、第１の検出対象の動作に基づいて、カーソル可動領域およびカーソルを第１の移動単位で移動させ、第２の検出対象の動作に基づいて、カーソルを第１の移動単位よりも小さい第２の移動単位で移動させることができる。このように、カーソルを段階的に移動させることにより、カーソルを直感的に大まかに移動させることもでき、精細に移動させることもできる。

ここで、表示領域を所定の分割数で分割して形成された一の領域を第１の単位領域として、カーソル可動領域は、１または２以上の第１の単位領域を含んでなり、可動領域移動処理部は、第１の検出対象の移動量に応じて、カーソルとともにカーソル可動領域を第１の単位領域単位で移動させるようにしてもよい。

また、カーソル可動領域を所定の分割数で分割して形成された一の領域を２の単位領域として、カーソル移動処理部は、第２の検出対象の移動量に応じて、カーソルを第２の単位領域単位で移動させるようにしてもよい。

さらに、第２の検出対象によってカーソルを移動させたときにカーソルがカーソル可動領域外に位置する場合、可動領域移動処理部は、第２の検出対象により移動されるカーソルとともにカーソル可動領域を移動させることもできる。

また、可動領域移動処理部は、第１の検出対象がカーソル可動領域を移動可能とする移動モードである場合にのみ、カーソル可動領域を移動させ、カーソル移動処理部は、第２の検出対象がカーソルを移動可能とする移動モードである場合にのみ、カーソルを移動させるようにしてもよい。

さらに、本発明にかかる操作制御装置により移動されるカーソル可動領域の大きさは、可変とすることもできる。

また、上記課題を解決するために、本発明の別の観点によれば、ユーザの動作によって移動する検出対象を検出するステップと、検出結果に基づいて、検出対象の動作を判定するステップと、検出された第１の検出対象の動作に基づいて、第１の移動単位で、表示領域に表示されたオブジェクトを操作するカーソルが表示されるカーソル可動領域を、カーソルとともに表示領域全体に対して移動するステップと、検出された第２の検出対象の動作に基づいて、第１の移動単位よりも小さい第２の移動単位で、カーソルをカーソル可動領域で移動するステップと、を含む、操作制御方法が提供される。

以上説明したように本発明によれば、直感的かつ高精度に操作対象を操作することが可能な操作制御装置および操作制御方法を提供することができる。

本発明の実施形態にかかるユーザのジェスチャにより操作される画面構成の一例を示す説明図である。 同実施形態にかかる操作制御装置のハードウェア構成を示すブロック図である。 同実施形態にかかる操作制御装置の機能構成を示す機能ブロック図である。 同実施形態にかかる操作制御装置による、右手と左手を用いた操作制御方法を示すフローチャートである。 カーソル可動領域の移動操作を説明する説明図である。 カーソルの移動操作を説明する説明図である。 同実施形態にかかる操作制御装置による、異なる関節を用いた操作制御方法を示すフローチャートである。 同実施形態にかかる操作制御装置による、両手と片手とを用いた操作制御方法を示すフローチャートである。 同実施形態にかかる操作制御装置による、ユーザの視線と片とを用いた操作制御方法を示すフローチャートである。 従来のジェスチャを用いた入力装置を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．操作制御装置により操作制御される画面の操作例
２．操作制御装置の構成
３．操作制御装置による操作制御方法

＜１．操作制御装置により操作制御される画面の操作例＞
まず、図１に基づいて、本発明の実施形態にかかる操作制御装置によりユーザのジェスチャが認識され、操作制御されている画面操作例について説明する。なお、図１は、ユーザのジェスチャにより操作される画面構成の一例を示す説明図である。

本実施形態では、一般的なパーソナルコンピュータとマウスとで採用されている、フリーカーソルによりターゲットを選択し、決定やキャンセル、メニュー等の表示等を行うことを想定している。例えば図１に示すように、画面の表示領域２００に、パーソナルコンピュータの設定メニューが表示されているとする。表示領域２００の左側には、パーソナルコンピュータの設定情報の分類を示すカテゴリ一覧２０２が表示されている。カテゴリ一覧２０２から１つのカテゴリアイコンが選択されると、当該カテゴリに含まれる設定情報の一覧（設定情報一覧）２０４が表示される。例えば、カテゴリ一覧２０２から「ディスプレイ」カテゴリが選択されると、「ディスプレイ」カテゴリに含まれるロゴランプや画面、色モード、スクリーンセイバー等の設定情報一覧２０４が表示される。

そして、設定情報一覧２０４から１つの設定情報が選択され、さらに操作ボタン２０６から「ＯＫ」ボタンが選択されると、選択された設定情報の設定画面に遷移する。あるいは、操作ボタン２０６から「キャンセル」ボタンが選択されると、設定情報一覧２０４から選択されている設定情報の選択が解除される。

このような画面において、カテゴリアイコンや設定情報、操作ボタン２０６の選択は、カーソル２２０を用いて行われる。本実施形態において、カーソル２２０は、ユーザの操作体によるジェスチャに応じて移動される。このとき、カーソル２２０の周囲には、カーソル２２０の可動領域を示すカーソル可動領域２１０が設定されている。本実施形態のカーソル可動領域２１０は、例えば図１に示すような円形カーソルであって、ユーザの操作体による所定のジェスチャに応じて、その内部に表示されたカーソル２２０とともに表示領域２００で移動される。

本実施形態にかかる操作制御装置では、領域内のカーソル２２０も合わせて移動されるカーソル可動領域２１０の移動と、カーソル可動領域２１０内でのカーソル２２０の移動とを独立して行うことができる。これにより、表示領域２００に表示された、カーソル２２０によって指示する指示対象に、カーソル可動領域２１０を合わせることにより、指示対象の近辺にカーソル２２０を容易に移動させることができる。また、カーソル移動領域２１０内でカーソル２２０を精細に移動させることにより、カーソル２２０を正確に指示対象に合わせることができる。以下、直感的かつ高精度なカーソル２２０の操作を可能とする操作制御装置の構成と、これを用いた操作制御方法について詳細に説明していく。

＜２．操作制御装置の構成＞
［ハードウェア構成］
まず、図２に基づいて、本実施形態にかかる操作制御装置１００のハードウェア構成について説明する。なお、図２は、本実施形態にかかる操作制御装置１００のハードウェア構成を示すブロック図である。

本実施形態にかかる操作制御装置１００は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、不揮発性メモリ１０３とを備える。さらに、操作制御装置１００は、ステレオカメラ１０４と、表示装置１０５とを備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って操作制御装置１００内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＡＭ１０２は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１０３は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１０３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等を用いることができる。

ステレオカメラ１０４は、奥行方向の位置を認識可能な入力デバイスである。ステレオカメラ１０４は、２つのカメラによって異なる方向からユーザにより動かされる複数の入力部位を同時撮像することにより、撮像画像の奥行方向の情報も記録することができる。ステレオカメラ１０４の代わりに、例えば視差を利用した距離計であるレンジファインダー等を用いてもよい。ステレオカメラ１０４は、ユーザの行うジェスチャを撮像する撮像手段と、撮像手段により撮像された撮像画像をＣＰＵ１０１に出力する入力制御回路などから構成されている。ユーザの行うジェスチャをステレオカメラ１０４で取得することにより、操作制御装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置１０５は、情報を出力する出力装置の一例である。表示装置１０５として、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを用いることができる。

［機能構成］
次に、図３に基づいて、本実施形態にかかる操作制御装置１００の機能構成について説明する。なお、図３は、本実施形態にかかる操作制御装置１００の機能構成を示す機能ブロック図である。

本実施形態にかかる操作制御装置１００は、図３に示すように、入力情報取得部１１０と、検出部１２０と、動作判定部１３０と、可動領域移動処理部１４０と、カーソル移動処理部１５０と、表示処理部１６０と、表示部１７０とを備える。

入力情報取得部１１０は、検出対象の位置情報を取得する機能部であって、図２のステレオカメラ１０４に相当する。本実施形態にかかる入力情報取得部１１０は、操作制御を行うユーザを撮像して、画像を取得する。当該画像は、ユーザによって動かされている操作体を判別し、その操作体の移動情報を取得するために用いられる。入力情報取得部１１０は、取得した画像を検出部１２０へ出力する。

検出部１２０は、入力情報取得部１１０により取得された画像から、カーソル可動領域２１０またはカーソル２２０を移動させる操作体を検出し、操作体に関する操作体情報を取得する。検出部１２０は、画像の奥行情報および任意の画像認識手法を用いて操作体を認識する。カーソル可動領域２１０およびカーソル２２０を移動するための操作体は、それぞれ予め設定されている。例えば、カーソル可動領域２１０を操作する第１の操作体を左手、カーソル２２０を操作する第２の操作体を右手と設定することができる。検出部１２０は、画像から操作体を認識するとともに、その操作体の位置や形状等を検出して、操作体情報として動作判定部１３０へ出力する。

ここで、操作体の奥行情報は、例えば対象物の３次元的な位置を測定可能なステレオ画像処理等を用いて取得することができる。また、操作体の検出は、例えば形状検出や肌色検出、テクスチャマッチング等の画像処理手法を用いることにより、画像から操作体およびその位置や形状を推定し検出することができる。なお、本実施形態にかかる操作制御装置は、操作制御処理に用いられる情報を記憶する記憶部（図示せず。）を備えることができる。かかる記憶部は、図２の不揮発性メモリに相当する。記憶部は、例えば、カーソル可動領域２１０を操作する第１の操作体やカーソル２２０を操作する第２の操作体、各操作体によるカーソルの移動を可能とするカーソル移動モード時の形状等の情報を記憶することができる。

動作判定部１３０は、検出部１２０から入力された操作体情報に基づいて、検出された操作体の動き（ジェスチャ）を判定する。動作判定部１３０は、検出された操作体がカーソル可動領域２１０とカーソル２２０とのどちらを操作する操作体であるかを判別する。また、動作判定部１３０は、検出された操作体の位置や形状から、操作体がカーソル可動領域２１０あるいはカーソル２２０を操作するカーソル移動モードであるか否かを判定する。

動作判定部１３０は、カーソル可動領域２１０を操作する第１の操作体がカーソル移動モードであると判定した場合、可動領域移動処理部１４０に対して、第１の操作体の移動量に応じてカーソル可動領域２１０を移動させる処理を行わせる。このとき、カーソル可動領域２１０の移動に合わせてカーソル２２０も移動させるため、動作判定部１３０は、カーソル移動処理部１５０に対して、第１の操作体の移動量に応じてカーソル２２０を移動させる処理を行わせる。

また、動作判定部１３０は、カーソル２２０を操作する第２の操作体がカーソル移動モードであると判定した場合、カーソル移動処理部１５０に対して、第２の操作体の移動量に応じてカーソル２２０を移動させる処理を行わせる。なお、動作判定部１３０は、上記２つの状況のいずれにも合致しないと判定した場合には、可動領域移動処理部１４０およびカーソル移動処理部１５０に対する出力は行わない。

可動領域移動処理部１４０は、操作体の動きに応じて表示領域２００に表示されたカーソル可動領域２１０を移動させる処理を行う。可動領域移動処理部１４０は、カーソル可動領域２１０を操作する第１の操作体の現在の位置情報に基づき、前時間における第１の操作体の位置からの移動方向および移動量を算出する。そして、可動領域移動処理部１４０は、第１の操作体の移動方向および移動量から、表示領域２００におけるカーソル可動領域２１０の移動方向および移動量を算出する。可動領域移動処理部１４０は、算出したカーソル可動領域２１０の移動方向および移動量を表示処理部１６０へ出力する。また、可動領域移動処理部１４０は、カーソル２２０の移動によりカーソル２２０がカーソル可動領域２１０外に位置するようになるとき、カーソル移動処理部１５０の指示を受けて、カーソル２２０の移動に合わせてカーソル可動領域２１０を移動させる処理を行う。

カーソル移動処理部１５０は、操作体の動きに応じて表示領域２００に表示されたカーソル２２０を移動させる処理を行う。カーソル移動処理部１５０は、カーソル可動領域２１０を操作する第１の操作体またはカーソル２２０を操作する第２の操作体について、現在の位置情報に基づき、前時間における操作体の位置からの移動方向および移動量を算出する。そして、カーソル移動処理部１５０は、操作体の移動方向および移動量から、カーソル２２０の移動方向および移動量を算出する。カーソル移動処理部１５０は、算出したカーソル２２０の移動方向および移動量を表示処理部１６０へ出力する。

また、カーソル移動処理部１５０は、第２の操作体によるカーソル２２０の移動によってカーソル２２０がカーソル可動領域２１０外に位置することになるか否かを判定する。カーソル移動処理部１５０は、カーソル２２０がカーソル可動領域２１０外に位置すると判定した場合、可動領域移動処理部１４０に対して、カーソル可動領域２１０を移動させる指示を出力する。

表示処理部１６０は、可動領域移動処理部１４０またはカーソル移動処理部１５０から入力された情報に基づいて、カーソル可動領域２１０および／またはカーソル２２０を移動して表示するための表示処理を行う。表示処理部１６０は、表示処理した表示情報を表示部１７０へ出力して表示させる。表示部１７０は、図２の表示装置１０５に相当し、例えばＣＲＴディスプレイ装置、液晶ディスプレイ装置、ＯＬＥＤ装置等を用いることができる。なお、本実施形態の操作制御装置１００は表示部１７０を備えているが、表示部１７０を設けずに外部の表示装置（図示せず。）に接続して用いることもできる。

以上、本実施形態にかかる操作制御装置１００の機能構成について説明した。操作制御装置１００を用いることにより、カーソル可動領域２１０とカーソル２２０との操作を独立して行うことができるので、段階的にカーソル２２０を操作することが可能となる。これにより、ユーザは、直感的かつ高精度にカーソル２２０を操作することができる。以下、図４〜図９に基づいて、操作制御装置１００による操作制御方法について説明する。なお、図７〜図９において、図４を用いて説明した操作制御方法の処理と同一である処理については、図４と同一の符号を付している。

＜３．操作制御装置による操作制御方法＞
カーソル２２０の段階的な操作を行うため、本実施形態ではカーソル可動領域２１０を操作する第１の操作体と、カーソル２２０を操作する第２の操作体とを設定する。各操作体は、ユーザによる操作のし易さやカーソル２２０を移動させる操作と関連付けやすいジェスチャを行うのに適したものを用いることができる。例えば、右手と左手、異なる部位、両手と片手、ユーザの視線と手等、身体の部位やユーザにより移動される物体を、第１の操作体および第２の操作体として設定することができる。以下、様々な操作体を用いた場合の、操作制御装置１００によるカーソル２２０の操作制御方法について説明する。

［（１）右手と左手による操作制御］
まず、図４〜図６に基づいて、カーソル可動領域２１０を操作する第１の操作体を左手、カーソル２２０を操作する第２の操作体を右手と設定した場合における、作制御装置１００によるカーソル２２０の操作制御方法について説明する。なお、図４は、本実施形態にかかる操作制御装置による、右手と左手を用いた操作制御方法を示すフローチャートである。図５は、カーソル可動領域２１０の移動操作を説明する説明図である。図６は、カーソル可動領域２１０内におけるカーソル２２０の移動操作を説明する説明図である。

まず、本実施形態にかかる操作制御装置１００は、入力情報取得部１１０により、ユーザを撮像し、検出部１２０によりカーソル可動領域２１０を操作する左手およびカーソル２２０を操作する右手の位置を検出する（ステップＳ１１０）。本実施形態の入力情報取得部１１０は、例えばステレオカメラ１０４であって、ユーザを撮像した撮像画像からユーザの位置や奥行情報を取得することができる。検出部１２０は、入力情報取得部１１０から入力された撮像画像から、操作体である左手および右手の奥行情報や位置を検出する。検出部１２０は、例えば、予め記憶部（図示せず。）に記憶された人体の部位や関節等の位置をモデル化した人体構造モデル等の設定情報を用いて、形状検出や肌色検出、テクスチャマッチング等の画像処理手法を用いることにより左手および右手を認識することができる。

次いで、動作判定部１３０は、左手がカーソル移動モードであるか否かを判定する（ステップＳ１２０）。本実施形態のようにユーザのジェスチャによって操作対象を操作する場合、通常、１つの操作体について、操作体の動きと操作処理とが複数関連付けて設定される。例えば、左手を操作体とした場合、左手を左右に移動させるジェスチャに対して、カーソルの移動処理や音量調節処理等を関連付けることができる。このとき、行われているジェスチャによって実行する処理を特定するために、実行する処理を示す情報であるモードを設定することができる。例えば、左手が握られた状態であるときにはカーソルの移動処理を行うカーソル移動モードを示し、左手が開かれた状態であるときには音量調節処理を行う音量調節モードを示すように、モードを設定することができる。また、カーソル移動モードを設けることにより、ユーザが操作体をカーソル移動モードに設定したり操作体のカーソル移動モードを解除したりして、ユーザが意図的にカーソル２２０の移動を行うことが可能となる。

ステップＳ１２０では、カーソル可動領域２１０を操作する左手がカーソル移動モードであるか否かを判定する。すなわち、左手の状態がカーソル可動領域２１０を移動操作するカーソル移動モードと一致するときのみ、左手の動きによってカーソル可動領域２１０およびカーソル２２０を移動させる。ここで、カーソル移動モードには、例えば、上述したような手を握る等の任意のジェスチャを割り当てることができる。この場合、ユーザが左手を握った状態で左手を空間内で上下左右に移動させると、検出部１２０は、左手が握られていることを判別することにより、カーソル移動モードであるか否かを判断する。

ステップＳ１２０にて、左手がカーソル移動モードではないと判定された場合、動作判定部１３０は、ステップＳ１４０の処理を実行する。一方、ステップＳ１２０にて、左手がカーソル移動モードであると判定された場合、可動領域移動処理部１４０およびカーソル移動処理部１５０は、左手の移動量に応じてカーソル２２０とともにカーソル可動領域２１０を移動させる（ステップＳ１３０）。

可動領域移動処理部１４０は、カーソル２２０を大まかに移動させる処理を行う。具体的には、まず、図５に示すように、表示領域２００を所定の分割数で分割した単位領域２３０が設定される。図５では、表示領域２００をｍ１×ｎ１個に分割した１つの領域が単位領域２３０として設定されている。カーソル可動領域２１０およびカーソル２２０は、可動領域移動処理部１４０によって、左手ＬＨの移動量に応じて、単位領域２３０単位で上下左右に移動される。したがって、表示領域２００の分割数が多いほどカーソル可動領域２１０およびカーソル２２０は細かく移動され、表示領域２００の分割数が少ないほどカーソル可動領域２１０およびカーソル２２０は大まかに移動される。

例えば、表示領域２００を３２×３２分割し、左手ＬＨが１ｃｍ移動したとき１単位領域だけ左手ＬＨの移動方向にカーソル可動領域２１０およびカーソル２２０を移動させるようにする。これにより、可動領域移動処理部１４０は、左手ＬＨが１ｃｍ移動する毎に、カーソル可動領域２１０およびカーソル２２０を表示領域２００の１／３２に相当する移動量で移動させることで、表示領域２００内でカーソル２２０を大まかに移動させる。このような大まかな移動を可能とすることにより、手ぶれノイズや左手ＬＨの微妙な動きへの誤反応の影響を受けないという利点がある。また、カーソル２２０を操作対象近辺へ素早く移動させることができる。

動作判定部１３０は、カーソル可動領域２１０を移動させるか否かを判定すると、次に、カーソル２２０を操作する右手がカーソル移動モードであるか否かを判定する（ステップＳ１４０）。カーソル２２０は、ステップＳ１２０と同様、右手がカーソル２２０を移動操作するカーソル移動モードであるときのみ、右手の動きによって移動される。カーソル２２０を移動させる操作体のカーソル移動モードは、上記と同様、例えば手を握る等の任意のジェスチャを割り当てることができる。ステップＳ１４０にて、右手がカーソル移動モードではないと判定された場合には、操作制御装置１００は、カーソル２２０を移動させず、処理を終了する。一方、ステップＳ１４０にて、右手がカーソル移動モードであると判定された場合には、カーソル移動処理部１５０は、右手の移動量に応じてカーソル２２０をカーソル可動領域内２１０で移動させる（ステップＳ１５０）。

カーソル移動処理部１５０は、カーソル２２０を高精度に移動させる処理を行う。具体的には、まず、図６に示すように、カーソル可動領域２１０を含む所定の領域２４０を所定の分割数で分割した単位領域２４５が設定される。本実施形態では、円形であるカーソル可動領域２１０が内接する四角形を領域２４０とするが、本発明はかかる例に限定されず、領域２４０とカーソル可動領域２１０とを同一の領域としてもよい。図６では、領域２４０をｍ２×ｎ２個に分割した１つの領域が単位領域２４５として設定されている。カーソル２２０は、カーソル移動処理部１５０により、右手ＲＨの移動量に応じて、単位領域２４５単位で上下左右に移動される。

例えば、領域２４０を３２×３２分割し、右手ＲＨが１ｃｍ移動したとき１単位領域だけ右手ＲＨの移動方向にカーソル２２０を移動させるようにする。これにより、カーソル移動処理部１５０は、右手ＲＨが１ｃｍ移動する毎に、カーソル２２０を領域２４０の１／３２に相当する移動量で移動させることができる。すなわち、左手ＬＨによりカーソル可動領域２１０およびカーソル２２０を移動させる場合と比較して、手を同一距離移動させたときのカーソル２２０の移動量が小さく、表示領域２００内でカーソル２２０を精細に移動させることができる。また、単位領域２４５を小さくするにつれ（例えば、単位領域２４５を１画素で構成することにより）、右手ＲＨの移動によるカーソル２２０の移動をより精細にすることができる。

ここで、右手ＲＨの移動に応じてカーソル２２０が移動されるとき、カーソル移動処理部１５０によりカーソル２２０がカーソル可動領域２１０外に位置するようになるか否かが判定される（ステップＳ１６０）。カーソル移動処理部１５０は、右手ＲＨの移動方向および移動量からカーソル２２０の移動方向および移動量を算出すると、表示領域２２０における移動後のカーソル２２０とカーソル可動領域２１０との位置関係を把握する。これらの位置関係は、例えば、表示領域２２０における移動後のカーソル２２０の座標とカーソル可動領域２１０を示す関数とから算出することができる。

ステップＳ１６０にて、カーソル可動領域２１０内に移動後のカーソル２２０が位置すると判定された場合には、右手ＲＨの移動に応じてカーソル２２０のみを移動させた後、操作制御装置１００は処理を終了する。一方、ステップＳ１６０にて、移動後のカーソル２２０がカーソル可動領域２１０外に位置すると判定されると、カーソル移動処理部１５０は、可動領域移動処理部１４０に対して、右手ＲＨの移動に応じてカーソル可動領域２１０を移動させるように指示する。これにより、カーソル２２０とともにカーソル可動領域２１０が移動される（ステップＳ１７０）。かかる処理を行うことにより、カーソル２２０がカーソル可動領域２１０外に出ないようにすることができる。

以上、本実施形態にかかる操作制御装置１００による、右手と左手とを用いた操作制御方法について説明した。かかる操作制御方法では、左手でカーソル可動領域２１０およびカーソル２２０を大まかに移動させ、右手でカーソル２２０を精細に移動させる。このように、カーソル２２０を段階的に移動させることができるため、カーソル２２０を直感的かつ高精度に操作することができる。

［（２）異なる部位による操作制御］
次に、図７に基づいて、異なる関節によってカーソル２２０を段階的に移動させる例について説明する。なお、図７は、本実施形態にかかる操作制御装置１００による、異なる部位を用いた操作制御方法を示すフローチャートである。本例では、肘関節より手首側の部位を、カーソル可動領域２１０を操作する第１の操作体とし、手首関節より指先側の部位を、カーソル２２０を操作する第２の操作体とする。すなわち、例えば肘関節を支点として手首を移動させると手首の移動に応じてカーソル可動領域２１０およびカーソル２２０が移動される。また、手首関節を始点として手のひらあるいは指等の下位の部位を移動させると手のひらあるいは指の移動に応じてカーソル２２０のみが移動される。

かかる操作制御方法では、まず、入力情報取得部１１０により取得された画像から、ユーザの身体の関節位置を推定し、肘関節および手首関節の位置を検出部１２０により検出する（ステップＳ１１０）。各関節の検出は、例えば、上述したように、記憶部（図示せず。）に記憶された人体構造モデルを用いて、身体の各部位の位置関係から推定して行うことができる。

次いで、カーソル可動領域２１０およびカーソル２２０の移動操作を行う手がカーソル移動モードであるか否かを判定する（ステップＳ１２０ａ）。例えば、右手により、カーソル可動領域２１０およびカーソル２２０を操作するとする。このとき、右手がカーソル操作モードである場合にのみ、カーソル可動領域２１０やカーソル２２０を移動させる。カーソル移動モードとして、例えば手を所定の高さ（例えば腰の高さ）より高く挙げている状態を設定することができる。これにより、カーソル可動領域２１０およびカーソル２２０の操作体ではない他方の手を挙げた場合に、カーソル可動領域２１０およびカーソル２２０が誤って移動されるのを防止することができる。

ステップＳ１２０ａにて、右手が挙がっていないと判定された場合には、ステップＳ１５０ａの処理を行う。一方、ステップＳ１２０ａにて、右手が挙がっていると判定された場合には、可動領域移動処理部１４０およびカーソル移動処理部１５０により、肘関節より下位に位置する部分の移動量に応じて、カーソル可動領域２１０およびカーソル２２０を移動させる（ステップＳ１３０ａ）。ここで、肘関節より下位の部分とは、手首側の部位を意味する。例えば、腕についてみると、肩、肘、手首、指の付け根、指等の関節や部位がある。これらの部位のうち任意の部位に着目したとき、肩側に位置する部位を上位部位、指側に位置する部位を下位部位とする。

ステップＳ１３０ａでは、可動領域移動処理部１４０は、肘関節に対する下位部位の移動方向に、下位部位の移動量だけ、カーソル可動領域２１０およびカーソル２２０をともに移動させる。なお、ステップ１３０ａでのカーソル可動領域２１０およびカーソル２２０の移動方向および移動量は、図４のステップＳ１３０と同様に決定することができる。すなわち、カーソル可動領域２１０およびカーソル２２０は、表示領域２００内で大まかに移動される。

その後、カーソル移動処理部１５０は、手首より下位の部分の移動量に応じて、カーソル２２０のみを移動させる（ステップＳ１５０ａ）。カーソル移動処理部１５０は、検出部１２０による検出結果から、例えば指等の手首より下位部位の移動方向に、下位部位の移動量だけ、カーソル２２０を移動させる。ステップＳ１５０ａでのカーソル２２０の移動方向および移動量は、図４のステップＳ１５０と同様に決定することができる。すなわち、カーソル２２０を、カーソル可動領域２１０内で精細に移動させることができる。

ここで、手首より下位部位の移動に応じてカーソル２２０が移動されるとき、カーソル移動処理部１５０によりカーソル２２０がカーソル可動領域２１０外に位置するようになるか否かが判定される（ステップＳ１６０）。ステップＳ１６０にて、カーソル２２０がカーソル可動領域２１０外に位置すると判定されると、可動領域移動処理部１４０は、手首より下位部位の移動に応じて、カーソル２２０とともにカーソル可動領域２１０を移動させる（ステップＳ１７０）。一方、ステップＳ１６０にて、カーソル２２０がカーソル可動領域２１０外には位置しないと判定されると、手首より下位部位の移動に応じてカーソル２２０のみを移動させた後、操作制御装置１００は処理を終了する。

以上、本実施形態にかかる操作制御装置１００による、異なる部位による操作制御方法を説明した。かかる操作制御方法によれば、異なる部位を移動させることで、カーソル２２０を段階的に移動させることができる。また、本例の操作制御方法では、同一の手でカーソル２２０を大まかに移動させたり精細に移動させたりすることができるという利点もある。

［（３）両手と片手による操作制御］
次に、図８に基づいて、両手と片手によってカーソル２２０を段階的に移動させる例について説明する。なお、図８は、本実施形態にかかる操作制御装置１００による、両手と片手とを用いた操作制御方法を示すフローチャートである。本例では、両手を、カーソル可動領域２１０を操作する第１の操作体とし、いずれか一方の手を、カーソル２２０を操作する第２の操作体とする。すなわち、カーソル移動モードで両手をともに移動させると、カーソル可動領域２１０およびカーソル２２０を移動させることができ、第２の操作体として設定された一方の手のみをカーソル移動モードで移動させると、カーソル２２０のみを移動させることができる。なお、以下では、第２の操作体である手をプライマリハンドとする。

かかる操作制御方法では、まず、入力情報取得部１１０により取得された画像から、検出部１２０によりユーザの身体の部位の位置を推定して両手の位置を検出する（ステップＳ１１０）。次いで、ステップＳ１１０において検出された両手がカーソル移動モードであるか否かを判定する（ステップＳ１２０ｂ）。カーソル移動モードとして、例えば、右手は手を握った状態であり、左手は手を広げている状態を設定することができる。手の状態は、例えば、予め記憶部（図示せず。）に記憶された人体構造モデル等の設定情報を用いて、形状検出等の画像処理手法を用いることにより認識することができる。

動作判定部１３０は、検出された手の状態から両手がカーソル移動モードであるか否かを判定する。そして、少なくともいずれか一方の手がカーソル移動モードではない場合には、ステップＳ１４０ｂの処理を行う。一方、ステップＳ１２０ｂにて、両手ともにカーソル移動モードであると判定された場合には、可動領域移動処理部１４０およびカーソル移動処理部１５０は、両手の移動方向に、両手の移動量だけカーソル可動領域２１０およびカーソル２２０を移動させる（ステップＳ１３０ｂ）。ここで、両手の移動方向および移動量は、各手の移動方向および移動量の平均としてもよく、いずれか一方の手の移動方向および移動量としてもよい。また、ステップ１３０ｂでのカーソル可動領域２１０およびカーソル２２０の移動方向および移動量は、図４のステップＳ１３０と同様に決定することができる。すなわち、カーソル可動領域２１０およびカーソル２２０は、表示領域２００内で大まかに移動される。

次いで、カーソル移動処理部１５０は、プライマリハンドがカーソル移動モードであるか否かを判定する（ステップＳ１４０ｂ）。このとき、プライマリハンドである右手のカーソル移動モードは、ステップＳ１２０ｂと同様、例えば手を握った状態とすることができる。本例では、両手でカーソル可動領域２１０およびカーソル２２０を移動させる場合と、プライマリハンドでカーソル２２０のみを移動させる場合とにおいて、両者を明確に区別できるようにカーソル移動モードを設定するのが望ましい。ここでは、プライマリハンドである右手のカーソル移動モードを同一とし、プライマリハンドではない左手の状態により、カーソル可動領域２１０およびカーソル２２０を移動させる場合と、カーソル２２０のみを移動させる場合とを区別している。

ステップＳ１４０ｂにて、プライマリハンドがカーソル移動モードではないと判定された場合には、操作制御装置１４０は本処理を終了する。一方、ステップＳ１４０ｂにて、プライマリハンドがカーソル移動モードであると判定された場合には、プライマリハンドの移動量に応じて、カーソル２２０のみを移動させる（ステップＳ１５０）。カーソル移動処理部１５０は、検出部１２０による検出結果から、右手の移動方向に、右手の移動量だけ、カーソル２２０を移動させる。ステップＳ１５０でのカーソル２２０の移動方向および移動量は、図４のステップＳ１５０と同様に決定することができる。すなわち、カーソル２２０を、カーソル可動領域２１０内で精細に移動させることができる。

ここで、プライマリハンドである右手の移動に応じてカーソル２２０が移動されるとき、カーソル移動処理部１５０によりカーソル２２０がカーソル可動領域２１０外に位置するようになるか否かが判定される（ステップＳ１６０）。ステップＳ１６０にて、カーソル２２０がカーソル可動領域２１０外に位置すると判定されると、可動領域移動処理部１４０は、右手の移動に応じて、カーソル２２０とともにカーソル可動領域２１０を移動させる（ステップＳ１７０）。一方、ステップＳ１６０にて、カーソル２２０がカーソル可動領域２１０外には位置しないと判定されると、右手の移動に応じてカーソル２２０のみを移動させた後、操作制御装置１００は処理を終了する。

以上、本実施形態にかかる操作制御装置１００による、両手と片手による操作制御方法を説明した。かかる操作制御方法によれば、両手あるいは片手のみを移動させることで、カーソル２２０を段階的に移動させることができる。

［（４）ユーザの視線と手による操作制御］
次に、図９に基づいて、ユーザの視線と手によってカーソル２２０を段階的に移動させる例について説明する。なお、図９は、本実施形態にかかる操作制御装置１００による、ユーザの視線と手とを用いた操作制御方法を示すフローチャートである。本例では、第１の操作体であるユーザの視線によりカーソル移動領域２１０を操作し、第２の操作体である手によってカーソル２２０を操作する。本例の操作制御方法によれば、カーソル２２０を移動させたい大体の方向に視線を向けることによりカーソル可動領域２１０およびカーソル２２０を素早く移動させることができ、操作対象近辺に移動されたカーソル２２０を手で精度よく操作することができる。

かかる操作制御方法では、まず、入力情報取得部１１０により取得された画像から、ユーザの身体の関節位置を推定し、ユーザの視線とカーソル２２０を操作する手の位置を検出部１２０により検出する（ステップＳ１１０）。手の位置は、上述したように、予め記憶部（図示せず。）に記憶された人体構造モデル等の設定情報を用いて、形状検出等の画像処理手法を用いることにより検出することができる。また、ユーザの視線の方向は、例えば特開平８−３０８８０１号公報に記載された手法を用いて検出することができる。すなわち、ユーザの眼球に異なる入射角で２つの光束を投射し、投射した光束の眼球による反射光を受光する。そして、反射光に応じた２つの映像信号が生成し、これらの映像信号の差分情報に基づいて、眼球の瞳孔の位置に応じた値を演算する。この瞳孔の位置と眼球からの反射光より検出される眼球のプルキンエ像の位置とに基づいて、ユーザの視線方向を検出することができる。

次いで、ステップＳ１１０において検出された操作体である手がカーソル移動モードであるか否かを判定する（ステップＳ１２０ｃ）。ステップＳ１２０ｃでは、ユーザの視線の向く先にカーソル可動領域２１０およびカーソル２２０を移動させるか否かの判定に、カーソル２２０を操作する操作体のカーソル移動モードを用いる。カーソル２２０を操作する操作体を右手としたとき、例えば右手のみが所定の高さ（例えば腰の高さ）以上挙がっている状態をカーソル移動モードとすることができる。また、ステップＳ１２０ｃでは、カーソル２２０を移動させる手を片方（本例では右手）に限定することにより、両手を挙げた場合の誤検出を防止することができる。

ステップＳ１２０ｃにて、操作体である手がカーソル移動モードではないと判定された場合、ステップＳ１１０へ戻り、ステップＳ１１０からの処理を繰り返す。一方、ステップＳ１２０ｃにて、操作体である手がカーソル移動モードであると判定された場合には、可動領域移動処理部１４０およびカーソル移動処理部１５０は、ユーザの視線の向いている方向を算出し、カーソル可動領域２１０およびカーソル２２０を移動させる（ステップＳ１３０ｃ）。

このとき、カーソル可動領域２１０は、例えば、ユーザの視線の方向と表示領域２００との交点が位置する表示領域２００の単位領域２３０に、カーソル可動領域２１０の中心が位置するように移動させるようにしてもよい。また、カーソル２２０は、カーソル移動算出部１５０により、カーソル可動領域２１０の移動に同期して移動させるようにしてもよい。このようにカーソル可動領域２１０およびカーソル２２０を移動させることにより、カーソル可動領域２１０およびカーソル２２０を表示領域２００内で大まかに移動させることができる。

次いで、操作体である手がカーソル移動モードで移動している場合には、カーソル移動処理部１５０によって、当該手の移動方向に、手の移動量だけカーソル２２０のみを移動させる（ステップＳ１５０ｃ）。ステップＳ１５０ｃでのカーソル２２０の移動方向および移動量は、図４のステップＳ１５０と同様に決定することができる。これにより、カーソル２２０を、カーソル可動領域２１０内で精細に移動させることができる。

ここで、操作体である手（右手）の移動に応じてカーソル２２０が移動されるとき、カーソル移動処理部１５０によりカーソル２２０がカーソル可動領域２１０外に位置するようになるか否かが判定される（ステップＳ１６０）。ステップＳ１６０にて、カーソル２２０がカーソル可動領域２１０外に位置すると判定されると、可動領域移動処理部１４０は、右手の移動に応じて、カーソル２２０とともにカーソル可動領域２１０を移動させる（ステップＳ１７０）。一方、ステップＳ１６０にて、カーソル２２０がカーソル可動領域２１０外には位置しないと判定されると、右手の移動に応じてカーソル２２０のみを移動させた後、操作制御装置１００は処理を終了する。

以上、ユーザの視線と手とを用いた操作制御方法について説明した。かかる操作制御方法によれば、ユーザの視線と手を移動させることで、カーソル２２０を段階的に移動させることができる。

以上、本実施形態にかかる操作制御装置１００と、これによる操作制御方法について説明した。本実施形態によれば、カーソル２２０をカーソル可動領域２１０とともに大まかに移動させることができ、さらにカーソル２２０のみを細かく移動させることができる。このように、ジェスチャによってカーソル２２０を段階的に操作することができ、カーソル２２０を直感的かつ高精度に操作することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、カーソル可動領域２１０は円形カーソルであったが、本発明はかかる例に限定されない。例えば、カーソル可動領域２１０の形状は、四角形等の多角形状のカーソルとしてもよい。

また、上記実施形態では、カーソル可動領域２１０の大きさは一定であったが、本発明はかかる例に限定されず、例えばカーソル可動領域２１０の大きさを可変にすることもできる。カーソル可動領域２１０の大きさを可変にすることにより、カーソル２２０を移動させる表示領域２００に表示された画面レイアウトに応じた、適切なサイズのカーソル可動領域２１０をユーザにより設定することができる。

例えば、カーソル２２０により指示するオブジェクトのサイズがカーソル可動領域２１０よりも僅かに大きくすることにより、オブジェクトの近辺までカーソル２２０を容易に移動させることができる。その後、ユーザは第２の操作体を動かしてカーソル可動領域２１０内でカーソル２２０の位置を微調整して移動させることにより、正確にオブジェクトを選択することができるようになる。

カーソル可動領域２１０の大きさの変更も、ユーザのジェスチャによって行うことができる。例えば、手のひらを向かい合わせて両手を離隔させる動作を行った場合には、カーソル可動領域２１０を大きくし、手のひらを向かい合わせて両手を近接させる動作を行った場合には、カーソル可動領域２１０を小さくするようにすることができる。このとき、カーソル可動領域２１０の大きさの変更を可能とするサイズ変更モードを設定し、ユーザが意図したときのみカーソル可動領域２１０の大きさを変更できるようにしてもよい。

１００ 操作制御装置
１１０ 入力情報取得部
１２０ 検出部
１３０ 動作判定部
１４０ 可動領域移動処理部
１５０ カーソル移動処理部
１６０ 表示処理部
１７０ 表示部
２００ 表示領域
２１０ カーソル可動領域
２２０ カーソル
２３０、２４５ 単位領域

Claims (7)

1. ユーザの動作によって移動する検出対象を検出する動き検出部と、
   前記動き検出部による検出結果に基づいて、前記検出対象の動作を判定する動作判定部と、
   表示領域に表示されたオブジェクトを操作するカーソルを含むカーソル可動領域を移動させる可動領域移動処理部と、
   前記カーソルを移動させるカーソル移動処理部と、
   を備え、
   前記可動領域移動処理部は、前記動き検出部により検出された第１の検出対象の動作に基づいて、第１の移動単位で、前記カーソル可動領域を前記カーソルとともに前記表示領域内で移動させ、
   前記カーソル移動処理部は、前記動き検出部により検出された第２の検出対象の動作に基づいて、前記第１の移動単位よりも小さい第２の移動単位で、前記カーソルのみを前記カーソル可動領域内で移動させる、操作制御装置。
2. 前記表示領域を所定の分割数で分割して形成された一の領域を第１の単位領域として、
   前記カーソル可動領域は、１または２以上の前記第１の単位領域を含んでなり、
   前記可動領域移動処理部は、前記第１の検出対象の移動量に応じて、前記カーソルとともに前記カーソル可動領域を前記第１の単位領域単位で移動させる、請求項１に記載の操作制御装置。
3. 前記カーソル可動領域を所定の分割数で分割して形成された一の領域を２の単位領域として、
   前記カーソル移動処理部は、前記第２の検出対象の移動量に応じて、前記カーソルを前記第２の単位領域単位で移動させる、請求項１または２に記載の操作制御装置。
4. 前記第２の検出対象によって前記カーソルを移動させたときに前記カーソルが前記カーソル可動領域外に位置する場合、前記可動領域移動処理部は、前記第２の検出対象により移動される前記カーソルとともに前記カーソル可動領域を移動させる、請求項３に記載の操作制御装置。
5. 前記可動領域移動処理部は、前記第１の検出対象が前記カーソル可動領域を移動可能とする移動モードである場合にのみ、前記カーソル可動領域を移動させ、
   前記カーソル移動処理部は、前記第２の検出対象が前記カーソルを移動可能とする移動モードである場合にのみ、前記カーソルを移動させる、請求項１〜４のいずれか１項に記載の操作制御装置。
6. 前記カーソル可動領域の大きさは、可変である、請求項１〜５のいずれか１項に記載の操作制御装置。
7. ユーザの動作によって移動する検出対象を検出するステップと、
   検出結果に基づいて、前記検出対象の動作を判定するステップと、
   検出された第１の検出対象の動作に基づいて、第１の移動単位で、表示領域に表示されたオブジェクトを操作するカーソルが表示されるカーソル可動領域を、前記カーソルとともに前記表示領域全体に対して移動するステップと、
   検出された第２の検出対象の動作に基づいて、前記第１の移動単位よりも小さい第２の移動単位で、前記カーソルを前記カーソル可動領域で移動するステップと、
   を含む、操作制御方法。

Images