JP2014219879A - Information processing device, information processing method, and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To make it possible to efficiently operate an operation object apparatus through a gesture, and reduce erroneous operations.SOLUTION: An information processing device comprises: presentation means that on the basis of motion information of a user who operates an apparatus, presents a motion instruction related to operation of the apparatus to the user through a display unit; determination means that determines whether the user has completed a motion corresponding to the motion instruction presented by the presentation means; and execution means that executes a command based on a result of the motion when the determination means determines that it has been completed.

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program.

機器をジェスチャによって操作することに対する需要がある。従来、ユーザは、メニューや、アイコンによって情報機器を操作する際、マウスをクリックすることによって自身の意図を情報機器に伝えていた。しかし、近年の情報機器の高性能化により、ジェスチャによって機器操作を行うシーンが増えてきており、どのようにしてユーザの意図を確実に情報機器に伝えるかが課題となっている。
メニューや、アイコンや、ポインタ等からなるＧＵＩアプリケーションをジェスチャで操作する際のカーソルの制御方法については、手の移動によって制御する手法が一般的となってきている。この制御手法により、ユーザにとって直感的な操作が実現されている。
特許文献１に開示されている技術は、ディスプレイに内蔵されたカメラを用いて操作者を撮像し、操作者の手の形状や、手の動きを認識することによって、ハンドジェスチャによる操作を可能にしている。また、Ｍｉｃｒｏｓｏｆｔ（登録商標）社が発売している「Ｋｉｎｅｃｔアドベンチャー！」というゲームソフトでは、メニュー等の項目の選択方法として、メニュー項目の上にカーソルを合わせて一定時間静止することで項目を選択するという手法がとられている。なお、「Ｋｉｎｅｃｔアドベンチャー！」についての詳細は、（ｈｔｔｐ：／／ｂｉｔ．ｌｙ／ｌＦＺＣ９ａ）に記載されている。更に、ＰｒｉｍｅＳｅｎｓｅ社が公開している「ＯｐｅｎＮＩ」と、「ＯｐｅｎＮＩ Ｍｉｄｄｌｅｗａｒｅ ＮＩＴＥ」とでは、メニュー等の項目の選択方法として、手をユーザ前方に押し出すことで項目を選択するという手法がとられている。なお、「ＯｐｅｎＮＩ」と、「ＯｐｅｎＮＩ Ｍｉｄｄｌｅｗａｒｅ ＮＩＴＥ」とについての詳細は、（ｈｔｔｐ：／／ｗｗｗ．ｏｐｅｎｎｉ．ｏｒｇ／）に記載されている。 There is a demand for manipulating equipment with gestures. Conventionally, when a user operates an information device using a menu or an icon, the user transmits his / her intention to the information device by clicking a mouse. However, as the performance of information devices in recent years has increased, the number of scenes in which device operations are performed using gestures has increased, and it has become an issue how to reliably convey the user's intention to the information devices.
As a method of controlling a cursor when operating a GUI application including a menu, an icon, a pointer, and the like with a gesture, a method of controlling by moving a hand has become common. By this control method, an intuitive operation for the user is realized.
The technique disclosed in Patent Document 1 enables an operation by a hand gesture by capturing an image of an operator using a camera built in a display and recognizing the shape and movement of the operator's hand. ing. In addition, in the game software called “Kinect Adventure!” Released by Microsoft (registered trademark), select an item by placing the cursor on the menu item and resting for a certain period of time as a method for selecting an item such as a menu. The technique of doing is taken. The details of “Kinect Adventure!” Are described in (http://bit.ly/lFZC9a). Furthermore, in “OpenNI” and “OpenNI Middleware NITE” published by PrimeSense, a method of selecting items by pushing the hand forward of the user is used as a method for selecting items such as menus. . The details of “OpenNI” and “OpenNI Middleware NITE” are described in (http://www.openni.org/).

特開２００４−７８９７７号公報JP 2004-78977 A

しかしながら、特許文献１に開示されている手法のように、手の形状変化によってメニューを選択する方法の場合、事前にユーザが手の形状変化について学習しなければならないという課題がある。また、上述した「ＯｐｅｎＮＩ」と、「ＯｐｅｎＮＩ Ｍｉｄｄｌｅｗａｒｅ ＮＩＴＥ」とで採用されている手法の場合、メニューの選択に時間がかかるため素早い操作が困難であるという課題がある。また、上述した「Ｋｉｎｅｃｔアドベンチャー！」で採用されている手法の場合、ユーザの手が前方へ押し出されたことを確実に検知するために、三次元カメラが必須となる。また、何れの手法においても、ユーザの意図しないメニュー選択が行われてしまう可能性がある。
本発明は、上記課題を鑑みてなされたものであり、操作対象機器をジェスチャによって効率的に操作することを可能とし、かつ、誤操作を少なくすることを目的とする。 However, in the method of selecting a menu by changing the shape of the hand as in the method disclosed in Patent Document 1, there is a problem that the user has to learn about the change in the shape of the hand in advance. Further, in the case of the methods employed in the above-described “OpenNI” and “OpenNI Middleware NITE”, there is a problem that quick operation is difficult because it takes time to select a menu. In the case of the method adopted in the above-mentioned “Kinect Adventure!”, A three-dimensional camera is essential to reliably detect that the user's hand has been pushed forward. In any method, there is a possibility that a menu selection unintended by the user is performed.
The present invention has been made in view of the above problems, and an object of the present invention is to enable an operation target device to be efficiently operated by a gesture and to reduce erroneous operations.

そこで、本発明は、機器を操作するユーザの動作情報に基づいて、前記機器の操作に係る動作指示を表示部を介してユーザに提示する提示手段と、前記提示手段により提示された動作指示に対応する動作をユーザが完了させたか否かを判定する判定手段と、前記判定手段により完了させたと判定された場合、前記動作の結果に基づくコマンドを実行する実行手段と、を有する。   Therefore, the present invention provides a presentation unit that presents an operation instruction related to the operation of the device to the user via a display unit based on operation information of the user who operates the device, and an operation instruction presented by the presentation unit. Determination means for determining whether or not the user has completed the corresponding operation; and execution means for executing a command based on the result of the operation when the determination means determines that the operation has been completed.

本発明によれば、操作対象機器をジェスチャによって効率的に操作することを可能とし、かつ、誤操作を少なくすることができる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to operate an operation target apparatus efficiently by gesture, and can reduce misoperation.

実施形態１の機器操作装置のハードウェア構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of a device operating device according to the first embodiment. 実施形態１の機器操作装置のソフトウェア構成等の一例を示す図である。2 is a diagram illustrating an example of a software configuration and the like of the device operating device according to the first embodiment. FIG. 実施形態１の機器操作装置の装置構成等の一例を示す図である。It is a figure which shows an example of an apparatus structure etc. of the apparatus operating device of Embodiment 1. FIG. 実施形態１の処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of processing according to the first exemplary embodiment. 動作指示生成処理の一例を示すフローチャートである。It is a flowchart which shows an example of an operation instruction production | generation process. 撮像データの一例を示す図である。It is a figure which shows an example of imaging data. ディスプレイの表示画面の一例を示す図（その１）である。It is FIG. (1) which shows an example of the display screen of a display. 確率分布の一例を示す図（その１）である。It is a figure which shows an example of probability distribution (the 1). ディスプレイの表示画面の一例を示す図（その２）である。It is FIG. (2) which shows an example of the display screen of a display. 指示動作完了判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of instruction | indication operation completion determination processing. 実施形態２の機器操作装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the apparatus operating device of Embodiment 2. 実施形態２の機器操作装置のソフトウェア構成等の一例を示す図である。It is a figure which shows an example of the software configuration etc. of the apparatus operating device of Embodiment 2. 実施形態２の機器操作装置の装置構成等の一例を示す図である。It is a figure which shows an example of the apparatus structure etc. of the apparatus operating device of Embodiment 2. 実施形態２の処理の一例を示すフローチャートである。10 is a flowchart illustrating an example of processing according to the second exemplary embodiment. ディスプレイの表示画面の一例を示す図（その３）である。It is FIG. (3) which shows an example of the display screen of a display. 確率分布の一例を示す図（その２）である。It is a figure (the 2) which shows an example of probability distribution. ディスプレイの表示画面の一例を示す図（その４）である。It is FIG. (4) which shows an example of the display screen of a display. 実施形態３の機器操作装置の装置構成等の一例を示す図である。It is a figure which shows an example of the apparatus structure etc. of the apparatus operating device of Embodiment 3. ディスプレイの表示画面の一例を示す図（その５）である。It is FIG. (5) which shows an example of the display screen of a display. 確率分布の一例を示す図（その３）である。It is a figure (example 3) which shows an example of probability distribution.

以下、本発明を実施するための最良の形態について図面を用いて説明する。
＜実施形態１＞
以下、図面を参照して実施形態１について詳細に説明する。
図１は、本実施形態の機器操作装置１０１のハードウェア構成の一例を示す図である。なお、機器操作装置１０１は、情報処理装置の一例である。
機器操作装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４と、バス１０５とを有する。更に、機器操作装置１０１は、カメラＩ／Ｆ１０６と、カメラ１０７と、ディスプレイＩ／Ｆ１０８と、ディスプレイ１０９とを有する。
ＣＰＵ１０２は、機器操作装置１０１全体を制御する。また、ＣＰＵ１０２は、ＲＯＭ１０３等に保存されているプログラムをＲＡＭ１０４にロードして実行することにより、後述の機器操作装置１０１の機能（ソフトウェア構成）及びフローチャートに係る処理を実現する。
ＲＯＭ１０３は、各種のプログラムや、閾値に関するデータ等、各種のデータを格納している。
ＲＡＭ１０４は、プログラムやデータを一時記憶するワークメモリとして機能する。
カメラＩ／Ｆ１０６は、バス１０５と、カメラ１０７とを接続するインターフェースである。
カメラ１０７は、ユーザを撮像する。
ディスプレイＩ／Ｆ１０８は、バス１０５と、ディスプレイ１０９とを接続するインターフェースである。
ディスプレイ１０９は、後述する動作指示情報等が表示される表示部である。
バス１０５は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、カメラＩ／Ｆ１０６及びディスプレイＩ／Ｆ１０８を互いに通信可能に接続するシステムバスである。
なお、カメラ１０７及びディスプレイ１０９は、機器操作装置１０１の外部に接続される構成であってもよい。 The best mode for carrying out the present invention will be described below with reference to the drawings.
<Embodiment 1>
Hereinafter, the first embodiment will be described in detail with reference to the drawings.
FIG. 1 is a diagram illustrating an example of a hardware configuration of the device operation apparatus 101 according to the present embodiment. The device operating device 101 is an example of an information processing device.
The device operating apparatus 101 includes a central processing unit (CPU) 102, a read only memory (ROM) 103, a random access memory (RAM) 104, and a bus 105. Furthermore, the device operating apparatus 101 includes a camera I / F 106, a camera 107, a display I / F 108, and a display 109.
The CPU 102 controls the entire device operation apparatus 101. Further, the CPU 102 loads a program stored in the ROM 103 or the like into the RAM 104 and executes the program, thereby realizing the functions (software configuration) of the device operation apparatus 101 and the processing related to the flowchart described below.
The ROM 103 stores various data such as various programs and data relating to threshold values.
The RAM 104 functions as a work memory that temporarily stores programs and data.
The camera I / F 106 is an interface that connects the bus 105 and the camera 107.
The camera 107 images the user.
The display I / F 108 is an interface that connects the bus 105 and the display 109.
The display 109 is a display unit on which operation instruction information described later is displayed.
A bus 105 is a system bus that connects the CPU 102, the ROM 103, the RAM 104, the camera I / F 106, and the display I / F 108 so that they can communicate with each other.
The camera 107 and the display 109 may be configured to be connected to the outside of the device operation apparatus 101.

図２は、本実施形態の機器操作装置１０１におけるソフトウェア構成等の一例を示す図である。
機器操作装置１０１は、動作データ取得部Ａ１１００、計算部Ａ１２００及び提示部Ａ１３００を有する。
動作データ取得部Ａ１１００は、カメラ等を介してユーザの動作に関するデータを取得する。より具体的には、動作データ取得部Ａ１１００は、ユーザの動作を表すデータ取得のためにユーザを撮像し、動作データである撮像データ（撮像情報）を取得する。なお、動作データ取得部Ａ１１００による撮像データの取得は、撮像情報取得処理の一例である。
計算部Ａ１２００は、様々な計算を行う。
撮像データ保持部Ａ１２０１は、動作データ取得部Ａ１１００で取得されたデータを保持する。
ユーザ動作認識部Ａ１２１０は、撮像データ保持部Ａ１２０１に保持された撮像データからユーザの動作（以下、単にユーザ動作という）を認識する。
ユーザ動作保持部Ａ１２０２は、ユーザ動作認識部Ａ１２１０で認識されたユーザ動作の内容を示す動作情報（以下、単に動作情報という）を保持する記憶領域である。
動作指示生成部Ａ１２２０は、ユーザ動作保持部Ａ１２０２に保持された動作情報からユーザに対する動作指示の内容を示す動作指示情報（以下、単に動作指示情報という）を生成する。 FIG. 2 is a diagram illustrating an example of a software configuration and the like in the device operation apparatus 101 according to the present embodiment.
The device operating device 101 includes an operation data acquisition unit A1100, a calculation unit A1200, and a presentation unit A1300.
The operation data acquisition unit A1100 acquires data related to the user's operation via a camera or the like. More specifically, the operation data acquisition unit A1100 images the user for data acquisition representing the user's operation, and acquires imaging data (imaging information) that is operation data. Note that acquisition of imaging data by the operation data acquisition unit A1100 is an example of imaging information acquisition processing.
The calculation unit A1200 performs various calculations.
The imaging data holding unit A1201 holds the data acquired by the operation data acquisition unit A1100.
The user action recognition unit A1210 recognizes a user action (hereinafter simply referred to as a user action) from the image pickup data held in the image pickup data holding part A1201.
The user action holding unit A1202 is a storage area for holding action information (hereinafter simply referred to as action information) indicating the contents of the user action recognized by the user action recognition unit A1210.
The operation instruction generation unit A1220 generates operation instruction information indicating the content of the operation instruction for the user (hereinafter simply referred to as operation instruction information) from the operation information held in the user operation holding unit A1202.

動作指示保持部Ａ１２０３は、動作指示生成部Ａ１２２０で生成された動作指示情報を保持する記憶領域である。
指示動作完了判定部Ａ１２３０は、ユーザ動作保持部Ａ１２０２に保持された動作情報と、動作指示保持部Ａ１２０３に保持された動作指示情報とから、ユーザによる指示動作が完了したか否かを判定する。
指示動作完了時コマンド保持部Ａ１２０４は、指示動作完了判定部Ａ１２３０がユーザによる指示動作が完了したと判定した際に実行されるコマンドを保持する記憶領域である。
指示動作完了時コマンド実行部Ａ１２４０は、指示動作完了判定部Ａ１２３０がユーザによる指示動作が完了したと判定した際に、指示動作完了時コマンド保持部Ａ１２０４に保持されたコマンドを実行する。
提示部Ａ１３００は、ユーザ動作保持部Ａ１２０２に保持された動作情報と、動作指示保持部Ａ１２０３に保持された動作指示情報とを提示する。より具体的には、提示部Ａ１３００は、前記動作情報と、前記動作指示情報とを、機器操作装置１０１が有するディスプレイ等の表示部を介してユーザに提示する。
なお、動作データ取得部Ａ１１００、計算部Ａ１２００及び提示部Ａ１３００は、上述の機能を有するハードウェアであってもよい。 The operation instruction holding unit A1203 is a storage area that holds the operation instruction information generated by the operation instruction generating unit A1220.
The instruction operation completion determination unit A1230 determines whether the instruction operation by the user has been completed from the operation information held in the user operation holding unit A1202 and the operation instruction information held in the operation instruction holding unit A1203.
The instruction operation completion time command holding unit A1204 is a storage area for holding a command to be executed when the instruction operation completion determination unit A1230 determines that the instruction operation by the user is completed.
When the instruction operation completion determination unit A1230 determines that the instruction operation by the user has been completed, the instruction operation completion time command execution unit A1240 executes the command held in the instruction operation completion command holding unit A1204.
The presentation unit A1300 presents the operation information held in the user operation holding unit A1202 and the operation instruction information held in the operation instruction holding unit A1203. More specifically, the presentation unit A1300 presents the operation information and the operation instruction information to the user via a display unit such as a display included in the device operation apparatus 101.
Note that the motion data acquisition unit A1100, calculation unit A1200, and presentation unit A1300 may be hardware having the above-described functions.

図３は、本実施形態における機器操作装置１０１の装置構成等の一例を示す図である。
ここでは、図２で上述した動作データ取得部Ａ１１００、計算部Ａ１２００及び提示部Ａ１３００を有する機器操作装置１０１の一例として操作対象機器２１００を用いて説明する。
動作データ取得部Ａ１１００は、カメラ２１２０を介してユーザ２２００の手２２１０を捉える。ユーザ２２００は、操作対象機器２１００のディスプレイ２１１０上に提示されるカーソル２１１３を、手２２１０を動かすことにより移動させて操作対象機器２１００の操作を行う。
また、上述したように、操作対象機器２１００は、ユーザ動作認識部Ａ１２１０、動作指示生成部Ａ１２２０、指示動作完了判定部Ａ１２３０及び指示動作完了時コマンド実行部Ａ１２４０の機能を含む計算部Ａ１２００を有する。また、計算部Ａ１２００は、記憶領域として、撮像データ保持部Ａ１２０１、ユーザ動作保持部Ａ１２０２、動作指示保持部Ａ１２０３及び指示動作完了時コマンド保持部Ａ１２０４を有している。
以上が、本実施形態における機器操作装置１０１の装置構成の一例である。 FIG. 3 is a diagram illustrating an example of a device configuration and the like of the device operating device 101 according to the present embodiment.
Here, an operation target device 2100 will be described as an example of the device operation apparatus 101 including the motion data acquisition unit A1100, the calculation unit A1200, and the presentation unit A1300 described above with reference to FIG.
The motion data acquisition unit A1100 captures the hand 2210 of the user 2200 via the camera 2120. The user 2200 operates the operation target device 2100 by moving the cursor 2113 presented on the display 2110 of the operation target device 2100 by moving the hand 2210.
Further, as described above, the operation target device 2100 includes the calculation unit A1200 including the functions of the user operation recognition unit A1210, the operation instruction generation unit A1220, the instruction operation completion determination unit A1230, and the instruction operation completion command execution unit A1240. Further, the calculation unit A1200 includes an imaging data holding unit A1201, a user operation holding unit A1202, an operation instruction holding unit A1203, and an instruction operation completion command holding unit A1204 as storage areas.
The above is an example of the device configuration of the device operating device 101 in the present embodiment.

図４は、本実施形態の処理の一例を示すフローチャートである。
Ｓ３１００で、ユーザ動作認識部Ａ１２１０は、撮像データ保持部Ａ１２０１から撮像データを取得し、ユーザ２２００の手２２１０の位置の認識を行う。そして、ユーザ動作認識部Ａ１２１０は、認識したユーザ２２００の手２２１０の位置に関する動作情報をユーザ動作保持部Ａ１２０２に保持する。
Ｓ３２００で、動作指示生成部Ａ１２２０は、ユーザに対する動作指示に関する動作指示情報を生成する。Ｓ３２００の詳細な処理について、図５を用いて説明する。なお、図５は、Ｓ３２００における動作指示生成処理の一例を示すフローチャートである。
Ｓ３２１０で、動作指示生成部Ａ１２２０は、ユーザ動作保持部Ａ１２０２からユーザ２２００の手２２１０の位置に関する動作情報を取得する。即ち、動作指示生成部Ａ１２２０は、ユーザ２２００の過去動作の情報を取得する。
Ｓ３２２０で、動作指示生成部Ａ１２２０は、Ｓ３２１０で取得したユーザ２２００の手２２１０の位置に関する動作情報をもとにユーザ２２００の将来の動作を予測する。
Ｓ３２３０で、動作指示生成部Ａ１２２０は、Ｓ３２２０で予測した結果をもとに、ユーザ２２００に対する動作指示に関する動作指示情報を生成する。 FIG. 4 is a flowchart illustrating an example of processing according to the present embodiment.
In step S <b> 3100, the user operation recognition unit A <b> 1210 acquires imaging data from the imaging data holding unit A <b> 1201 and recognizes the position of the hand 2210 of the user 2200. Then, the user action recognition unit A1210 holds the action information related to the recognized position of the hand 2210 of the user 2200 in the user action holding unit A1202.
In S3200, operation instruction generation unit A1220 generates operation instruction information related to the operation instruction for the user. Detailed processing in S3200 will be described with reference to FIG. FIG. 5 is a flowchart illustrating an example of the operation instruction generation process in S3200.
In step S3210, the operation instruction generation unit A1220 acquires operation information related to the position of the hand 2210 of the user 2200 from the user operation holding unit A1202. That is, the operation instruction generation unit A1220 acquires information on past operations of the user 2200.
In step S3220, the operation instruction generation unit A1220 predicts a future operation of the user 2200 based on the operation information regarding the position of the hand 2210 of the user 2200 acquired in step S3210.
In step S3230, the operation instruction generation unit A1220 generates operation instruction information related to the operation instruction for the user 2200 based on the result predicted in step S3220.

図４の説明に戻る。
Ｓ３３００で、提示部Ａ１３００は、動作指示保持部Ａ１２０３から動作指示情報を取得し、ディスプレイ２１１０を介してユーザ２２００に対する動作指示を提示する。
Ｓ３４００で、指示動作完了判定部Ａ１２３０は、動作指示保持部Ａ１２０３から動作指示情報を取得し、更に、ユーザ動作保持部Ａ１２０２からユーザ２２００の手２２１０の位置に関する動作情報を取得する。そして、指示動作完了判定部Ａ１２３０は、取得した動作指示情報と、動作情報とをもとに、ユーザ２２００が指示動作を完了させたか否かを判定する。なお、判定の手法に関する詳細については、図１０等を用いて後述する。指示動作完了判定部Ａ１２３０は、ユーザ２２００が指示動作を完了させたと判定した場合、処理をＳ３５００に進める。一方、指示動作完了判定部Ａ１２３０は、ユーザ２２００が指示動作を完了させていないと判定した場合、更に、Ｓ３４００の指示動作完了判定を終了するか否かを判定する。そして、指示動作完了判定部Ａ１２３０は、終了すると判定した場合、処理を終了し、終了しないと判定した場合、処理をＳ３１００に戻す。
Ｓ３５００で、指示動作完了時コマンド実行部Ａ１２４０は、指示動作完了時コマンド保持部Ａ１２０４から指示動作が完了した際に実行するコマンドを取得し、取得したコマンドを実行する。
以上が、本実施形態における機器操作装置１０１の処理フローである。 Returning to the description of FIG.
In step S3300, the presentation unit A1300 acquires operation instruction information from the operation instruction holding unit A1203, and presents an operation instruction to the user 2200 via the display 2110.
In step S3400, the instruction operation completion determination unit A1230 acquires operation instruction information from the operation instruction holding unit A1203, and further acquires operation information related to the position of the hand 2210 of the user 2200 from the user operation holding unit A1202. The instruction operation completion determination unit A1230 determines whether the user 2200 has completed the instruction operation based on the acquired operation instruction information and the operation information. Details regarding the determination method will be described later with reference to FIG. When the instruction operation completion determination unit A1230 determines that the user 2200 has completed the instruction operation, the process proceeds to S3500. On the other hand, when it is determined that the user 2200 has not completed the instruction operation, the instruction operation completion determination unit A1230 further determines whether or not to end the instruction operation completion determination in S3400. If the instruction operation completion determination unit A1230 determines to end the process, the instruction operation completion determination unit A1230 ends the process. If the instruction operation completion determination unit A1230 determines not to end the process, the process returns to S3100.
In S3500, command execution unit A1240 at the completion of the instruction operation acquires a command to be executed when the instruction operation is completed from command storage unit A1204 at the completion of the instruction operation, and executes the acquired command.
The processing flow of the device operation apparatus 101 in the present embodiment has been described above.

次に、図３の装置構成等と、図４及び図５の処理フローとを用いた場合における処理の一例について説明する。
本実施形態では、ユーザ２２００が、操作対象機器２１００のディスプレイ２１１０上に表示される選択可能な項目をジェスチャによって選択する。
動作データ取得部Ａ１１００は、操作対象機器２１００が有するカメラ２１２０を介して、ユーザ２２００を撮像し、ユーザ２２００の動作を表す動作データである撮像データを取得する。
図６は、動作データ取得部Ａ１１００が取得した撮像データの一例を示す図である。
撮像データ４１００の中にユーザ２２００が映っており、ユーザ２２００は、手２２１０によるジェスチャによって操作対象機器２１００を操作している。
ここで、図７に示されるように、操作対象機器２１００のディスプレイ２１１０に選択可能項目２１１１及び選択可能項目２１１２が表示されているものとして説明を行う。なお、図７は、ディスプレイ２１１０の表示画面の一例を示す図である。
ユーザ２２００は、選択可能項目のひとつである選択可能項目２１１１を選択しようとしている。操作対象機器２１００は、動作データ取得部Ａ１１００が取得した撮像データ４１００を撮像データ保持部Ａ１２０１にあたるバッファメモリに一時的に保持し、図４に示されるフローに従って処理する。 Next, an example of processing in the case of using the apparatus configuration of FIG. 3 and the processing flows of FIGS. 4 and 5 will be described.
In the present embodiment, the user 2200 selects a selectable item displayed on the display 2110 of the operation target device 2100 using a gesture.
The operation data acquisition unit A1100 images the user 2200 via the camera 2120 included in the operation target device 2100, and acquires imaging data that is operation data representing the operation of the user 2200.
FIG. 6 is a diagram illustrating an example of imaging data acquired by the operation data acquisition unit A1100.
A user 2200 is shown in the imaging data 4100, and the user 2200 operates the operation target device 2100 with a gesture by the hand 2210.
Here, as shown in FIG. 7, the description will be made assuming that the selectable item 2111 and the selectable item 2112 are displayed on the display 2110 of the operation target device 2100. FIG. 7 is a diagram illustrating an example of a display screen of the display 2110.
The user 2200 is about to select a selectable item 2111 which is one of selectable items. The operation target device 2100 temporarily holds the imaging data 4100 acquired by the motion data acquisition unit A1100 in a buffer memory corresponding to the imaging data holding unit A1201, and processes it according to the flow shown in FIG.

図４のＳ３１００で、ユーザ動作認識部Ａ１２１０は、動作データ取得部Ａ１１００により取得された画像中から背景差分を用いてユーザ２２００の領域を抽出する。そして、ユーザ動作認識部Ａ１２１０は、人物の手の領域を学習させた認識器を用いてユーザ２２００の手２２１０の位置をユーザ２２００の領域から認識する。ユーザ動作認識部Ａ１２１０は、認識した手２２１０の領域に関する情報を、ユーザ動作保持部Ａ１２０２にあたるメモリに保持する。そして、操作対象機器２１００は、ディスプレイ２１１０に、ユーザ２２００の手２２１０の領域と対応した位置にカーソル２１１３を描画する。なお、ここでいう対応とは、ユーザ２２００が手２２１０を上方向に１０ｃｍだけ動かせば、ディスプレイ２１１０上のカーソル２１１３も上方向に１０ｃｍだけ移動する関係のことをいう。また、これは上方向に限ることではない。即ち、ユーザ２２００が手２２１０を右方向に１０ｃｍだけ動かせば、ディスプレイ２１１０上のカーソル２１１３も右方向に１０ｃｍだけ移動する。他の方向に関しても同様である。
なお、ユーザ動作認識部Ａ１２１０が撮像データ４１００からユーザ２２００の領域を抽出する方法は、背景差分に限る必要はなく、撮像データ４１００中からユーザ２２００の領域を抽出することができれば他の方法でもよい。また、ユーザ動作認識部Ａ１２１０がユーザ２２００の領域から手２２１０の領域を抽出する方法についても、認識器を用いることは必須ではなく、ユーザ２２００の手２２１０の領域を抽出することができれば他の方法でもよい。
また、ユーザ動作認識部Ａ１２１０は、撮像データ４１００からユーザ２２００の領域を抽出した後にユーザ２２００の手２２１０の領域を認識するようにしたが、撮像データ４１００から直接、ユーザ２２００の手２２１０の領域を認識するようにしてもよい。 In S3100 of FIG. 4, the user motion recognition unit A1210 extracts the region of the user 2200 from the image acquired by the motion data acquisition unit A1100 using the background difference. Then, the user action recognition unit A1210 recognizes the position of the hand 2210 of the user 2200 from the area of the user 2200 using a recognizer that has learned the area of the human hand. The user action recognition unit A1210 holds information regarding the recognized area of the hand 2210 in a memory corresponding to the user action holding unit A1202. The operation target device 2100 draws the cursor 2113 on the display 2110 at a position corresponding to the region of the hand 2210 of the user 2200. Note that the correspondence here refers to a relationship in which if the user 2200 moves the hand 2210 upward by 10 cm, the cursor 2113 on the display 2110 also moves upward by 10 cm. This is not limited to the upward direction. That is, if the user 2200 moves the hand 2210 by 10 cm in the right direction, the cursor 2113 on the display 2110 also moves by 10 cm in the right direction. The same applies to the other directions.
Note that the method by which the user action recognition unit A1210 extracts the user 2200 region from the imaging data 4100 is not limited to the background difference, and any other method may be used as long as the user 2200 region can be extracted from the imaging data 4100. . In addition, regarding the method by which the user motion recognition unit A1210 extracts the hand 2210 region from the user 2200 region, it is not essential to use the recognizer. If the user 2200 hand 2210 region can be extracted, other methods can be used. But you can.
In addition, the user motion recognition unit A1210 recognizes the area of the hand 2210 of the user 2200 after extracting the area of the user 2200 from the imaging data 4100, but the area of the hand 2210 of the user 2200 is directly determined from the imaging data 4100. You may make it recognize.

また、操作対象機器２１００がユーザ２２００の手２２１０の位置と対応した位置に表示するカーソル２１１３についても、矢印の形状であることは必須ではなく、ユーザがポインティングしている位置がわかれば、他の表示方法であってもよい。
また、ユーザ２２００の手２２１０の移動距離と、カーソル２１１３の移動距離との対応関係が１対１の関係であることは必須ではなく、ディスプレイ２１１０の大きさや、操作のしやすさによって対応関係を変えてもよい。
また、カーソル２１１３をディスプレイ２１１０に表示することは必須ではない。例えば操作対象機器２１００は、ディスプレイ２１１０に映りこんだユーザ２２００の手２２１０や、ディスプレイ２１１０の前面にハーフミラーを設置し、ハーフミラーに映ったユーザ２２００の手２２１０をカーソル２１１３に見立てるようにしてもよい。
本実施形態におけるユーザ動作認識部Ａ１２１０は、ディスプレイ２１１０上のカーソル２１１３が選択可能項目２１１１又は選択可能項目２１１２に重なると、処理をＳ３２００に進める。本実施形態におけるユーザ動作認識部Ａ１２１０は、ディスプレイ２１１０上のカーソル２１１３が選択可能項目２１１１又は選択可能項目２１１２に重なったか否かを、以下の方法により検知するようにした。ユーザ動作認識部Ａ１２１０は、ディスプレイ２１１０上のカーソル２１１３の座標（Ｘ、Ｙ）が、選択可能項目の領域（Ｘ'、Ｙ'）から（Ｘ''、Ｙ''）までの中に含まれるか否かによって判断する。しかし、ユーザ動作認識部Ａ１２１０は、これ以外の方法によって検知するようにしてもよい。また、本実施形態では選択可能項目の領域を直方体としたが、直方体に限る必要はない。また、Ｓ３２００へと進む条件は、特定領域にカーソル２１１３が重なった場合に限らず、その他のユーザ動作、プログラム処理結果、時間又は外部入出力等を開始条件としてもよい。これによって、多種多様な状況において、本実施形態を適用することができる。 Also, the cursor 2113 displayed at the position corresponding to the position of the hand 2210 of the user 2200 by the operation target device 2100 is not necessarily in the shape of an arrow. If the position where the user is pointing is known, A display method may be used.
In addition, it is not essential that the correspondence between the movement distance of the hand 2210 of the user 2200 and the movement distance of the cursor 2113 is a one-to-one relation, and the correspondence relation depends on the size of the display 2110 and the ease of operation. You may change it.
Further, it is not essential to display the cursor 2113 on the display 2110. For example, the operation target device 2100 may be configured such that the hand 2210 of the user 2200 reflected in the display 2110 or a half mirror is installed in front of the display 2110 and the hand 2210 of the user 2200 reflected in the half mirror is viewed as the cursor 2113 Good.
When the cursor 2113 on the display 2110 overlaps the selectable item 2111 or the selectable item 2112, the user action recognition unit A1210 in this embodiment advances the process to S3200. In this embodiment, the user action recognition unit A1210 detects whether or not the cursor 2113 on the display 2110 overlaps the selectable item 2111 or the selectable item 2112 by the following method. In the user action recognition unit A1210, the coordinates (X, Y) of the cursor 2113 on the display 2110 are included in the selectable item areas (X ′, Y ′) to (X ″, Y ″). Judgment by whether or not. However, the user action recognition unit A1210 may be detected by other methods. In this embodiment, the area of the selectable item is a rectangular parallelepiped, but it is not necessary to limit to the rectangular parallelepiped. The condition for proceeding to S3200 is not limited to the case where the cursor 2113 overlaps the specific area, and other user actions, program processing results, time, external input / output, or the like may be used as the start condition. Accordingly, the present embodiment can be applied in various situations.

Ｓ３２１０で、動作指示生成部Ａ１２２０は、ユーザ動作保持部Ａ１２０２に保持されている、カーソル２１１３が選択可能項目２１１１に重なるまでのユーザ２２００の手２２１０の動きに関する動作情報を取得する。
Ｓ３２２０で、動作指示生成部Ａ１２２０は、Ｓ３２１０で取得した動作情報から、ユーザの将来動作であるカーソル２１１３が動く方向を推定する。本実施形態において、動作指示生成部Ａ１２２０は、カーソル２１１３の動きの予測方法として、カーソル２１１３の手の位置に連動するカーソルと、選択可能項目との交差の直前の移動方向から、各方向への移動確率を求める。
本実施形態では、動作指示生成部Ａ１２２０は、今後のカーソル２１１３の各方向への移動確率を図８のように仮定する。なお、図８は、確率分布の一例を示す図である。
図８は、縦軸が確率、横軸が現在の進行方向との角度差を示しており、縦軸と、横軸との交点が角度差ゼロ、確率ゼロを示す。このグラフでは、進行方向に変更を加えずそのまま進む確率が高く、進行方向との角度差が大きくなるにつれて、確率が低くなることがわかる。動作指示生成部Ａ１２２０は、図８に示される各方向への移動確率をもとに移動確率の低い方向に対して、カーソル２１１３を移動させるような動作指示に関する動作指示情報を生成する。例えば、動作指示生成部Ａ１２２０は、予め定められた確率よりも低くなる方向を求めて、求めた方向に対して移動させるような動作指示情報を生成する。なお、本実施形態において、動作指示生成部Ａ１２２０は、直前の移動方向から確率を求めるようにしたが、カーソル２１１３の動きの予測方法はこれに限る必要はない。例えば、動作指示生成部Ａ１２２０は、過去のユーザ２２００の手２２１０の動きを学習した認識器を用いる方法等を用いてもよい。この認識器における学習方法に関して、例えば実際の表示矢印方向に対してどのような挙動を示したかに関する方向別ヒストグラム分布を用いて学習する方法等があるが、学習方法に関してもこれに限る必要なない。
また、動作指示生成部Ａ１２２０は、カーソル２１１３が同じ動作をしていたとしても、同じ動作を指示することは必須ではなく、毎回異なる動作を指示してもよい。
また、動作指示生成部Ａ１２２０によるユーザ２２００への動作指示は、カーソル２１１３の移動に限ったものではなく、例えばユーザ２２００の手２２１０を軸に、手のひらを回転させる等の動作指示であってもよい。
このように、動作指示生成部Ａ１２２０がユーザへの多様な動作指示を可能にすることで、誤認識確率を少なくすることができる。 In step S <b> 3210, the motion instruction generation unit A <b> 1220 acquires motion information related to the movement of the hand 2210 of the user 2200 until the cursor 2113 overlaps the selectable item 2111 held in the user motion holding unit A <b> 1202.
In S3220, the motion instruction generation unit A1220 estimates the direction in which the cursor 2113, which is the user's future motion, moves from the motion information acquired in S3210. In the present embodiment, the motion instruction generation unit A1220 predicts the movement of the cursor 2113 from the moving direction immediately before the intersection of the cursor linked to the position of the cursor 2113 and the selectable item in each direction. Find the movement probability.
In the present embodiment, the motion instruction generation unit A1220 assumes the future movement probability of the cursor 2113 in each direction as shown in FIG. FIG. 8 is a diagram illustrating an example of the probability distribution.
In FIG. 8, the vertical axis indicates the probability, and the horizontal axis indicates the angle difference from the current traveling direction, and the intersection of the vertical axis and the horizontal axis indicates zero angle difference and zero probability. In this graph, it can be seen that the probability of proceeding as it is without changing the traveling direction is high, and the probability decreases as the angle difference from the traveling direction increases. The operation instruction generation unit A1220 generates operation instruction information related to an operation instruction that moves the cursor 2113 in a direction with a low movement probability based on the movement probability in each direction shown in FIG. For example, the operation instruction generation unit A1220 determines a direction that is lower than a predetermined probability, and generates operation instruction information that moves in the determined direction. In the present embodiment, the motion instruction generation unit A1220 obtains the probability from the immediately preceding movement direction, but the method for predicting the movement of the cursor 2113 is not limited to this. For example, the operation instruction generation unit A1220 may use a method using a recognizer that has learned the movement of the hand 2210 of the user 2200 in the past. Regarding the learning method in this recognizer, for example, there is a method of learning using a histogram distribution according to direction regarding what behavior is shown in the actual display arrow direction, but the learning method is not limited to this. .
In addition, even if the cursor 2113 performs the same operation, the operation instruction generation unit A1220 does not necessarily instruct the same operation, and may instruct a different operation every time.
The operation instruction to the user 2200 by the operation instruction generation unit A1220 is not limited to the movement of the cursor 2113, and may be an operation instruction such as rotating the palm about the hand 2210 of the user 2200, for example. .
As described above, the operation instruction generation unit A1220 enables various operation instructions to the user, thereby reducing the misrecognition probability.

Ｓ３２３０で、動作指示生成部Ａ１２２０は、将来のカーソル２１１３の動きの推定結果の信頼性をもとに、動作指示情報を生成する。より具体的には、動作指示生成部Ａ１２２０は、動く可能性が低いと予測した方向で、かつ、他の選択可能項目２１１２と重ならない方向にカーソル２１１３を移動させる動作指示に関する動作指示情報を生成する。
動作指示としては、例えば「カーソル２１１３を上方向に３０ｃｍ動かした後、右方向に６０ｃｍ動かす」といった指示が挙げられる。しかし、その時点でユーザ２２００が将来行う確率が予め定められた閾値よりも低いものであれば、ジェスチャや、発話等の動作指示であってもよい。
動作指示生成部Ａ１２２０は、Ｓ３２００で生成した動作指示情報を、動作指示保持部Ａ１２０３にあたるメモリに保持する。そして、Ｓ３３００で、提示部Ａ１３００は、動作指示保持部Ａ１２０３から動作指示情報を取得し、操作対象機器２１００のディスプレイ２１１０に表示してユーザに提示する。提示部Ａ１３００は、例えば図９に示されるような表示画面を提示する。なお、図９は、ディスプレイ２１１０の表示画面の一例を示す図である。
図９の表示画面は、カーソル２１１３を移動させる方向及び距離を、矢印２１１４によってユーザ２２００に提示している。なお、提示部Ａ１３００によるユーザ２２００への動作指示に関する提示方法は、矢印での表示に限る必要はない。例えば、提示部Ａ１３００は、文字や、音声等で動作指示を提示するようにしてもよい。これによって、操作対象機器２１００は、ディスプレイ２１１０の表示への影響を最小限にして、ユーザによる操作対象機器２１００の操作を実現することができるようになる。 In S3230, operation instruction generation unit A1220 generates operation instruction information based on the reliability of the estimation result of the future movement of cursor 2113. More specifically, the operation instruction generation unit A1220 generates operation instruction information related to an operation instruction that moves the cursor 2113 in a direction that is predicted to have a low possibility of movement and that does not overlap the other selectable items 2112. To do.
As the operation instruction, for example, an instruction such as “move the cursor 2113 upward by 30 cm and then move it to the right by 60 cm” can be given. However, if the probability that the user 2200 will perform in the future at that time is lower than a predetermined threshold, an operation instruction such as a gesture or speech may be used.
The operation instruction generation unit A1220 holds the operation instruction information generated in S3200 in a memory corresponding to the operation instruction holding unit A1203. In step S3300, the presentation unit A1300 acquires the operation instruction information from the operation instruction holding unit A1203, displays the operation instruction information on the display 2110 of the operation target device 2100, and presents it to the user. The presentation unit A1300 presents a display screen as shown in FIG. 9, for example. FIG. 9 is a diagram illustrating an example of a display screen of the display 2110.
In the display screen of FIG. 9, the direction and distance in which the cursor 2113 is moved are presented to the user 2200 by arrows 2114. In addition, the presentation method regarding the operation instruction to the user 2200 by the presentation unit A1300 is not necessarily limited to the display with an arrow. For example, the presentation unit A1300 may present an operation instruction with characters, voice, or the like. Thus, the operation target device 2100 can realize the operation of the operation target device 2100 by the user while minimizing the influence on the display of the display 2110.

Ｓ３４００で、指示動作完了判定部Ａ１２３０は、操作対象機器２１００のディスプレイ２１１０上に表示されるカーソル２１１３が、生成された動作指示情報が示す動作指示である矢印２１１４の通りに動いたか否かを判定する。
図１０は、Ｓ３４００における指示動作完了判定処理の一例を示すフローチャートである。
Ｓ３４１０で、指示動作完了判定部Ａ１２３０は、動作指示に関する動作をユーザが完了させたか否かを判定する。即ち、指示動作完了判定部Ａ１２３０は、ディスプレイ２１１０上に表示されるカーソル２１１３が、動作指示である矢印２１１４の通りに動いたか否かを判定する。より具体的には、指示動作完了判定部Ａ１２３０は、矢印２１１４が表示された後に、カーソル２１１３が上方向に２７ｃｍから３３ｃｍまでの間で動き、右方向に５４ｃｍから６６ｃｍまでの間で動いたことを検出した場合、指示動作が完了したと判定する。なお、本実施形態では、指示動作完了判定部Ａ１２３０が判定に用いる許容誤差を、カーソル２１１３を上方向に３０ｃｍ動かした後、右方向に６０ｃｍ動かすといった動作指示が示す移動距離の１０％と定めたが、これに限る必要はない。
また、指示動作完了判定部Ａ１２３０は、判定にカーソル２１１３の移動距離を用いることは必須ではなく、例えば、予め定めた領域にカーソル２１１３が重なった場合に指示動作完了と判定するようにしてもよい。このように、操作対象機器２１００は、多様に閾値を設定することで、例えば身体の動作が不自由なユーザへの使い勝手を確保することができるようになる。また、操作対象機器２１００は、例えば身長が低いためディスプレイ２１１０の上部にカーソル２１１３を移動させることが困難な場合等、体格的に困難な動作を行わなければならないユーザへの使い勝手を確保することができるようになる。
また、本実施形態では、動作指示生成部Ａ１２２０は、「カーソル２１１３を上に３０ｃｍ動かした後、右に６０ｃｍ動かす」といった動作指示を示す動作指示情報を生成した。提示部Ａ１３００は、二つの動作指示を表す矢印を一度に提示したが、ユーザ２２００がカーソル２１１３を上方向に３０ｃｍ動かしたことを判定した後に、右方向に６０ｃｍ動かす動作指示を提示するようにしてもよい。
また、動作指示生成部Ａ１２２０が予め全ての動作指示を生成することは必須ではない。例えば、動作指示生成部Ａ１２２０は、ユーザ２２００がカーソル２１１３を上に３０ｃｍ動かした後で、更なる動作指示情報を生成し、提示部Ａ１３００が新たな動作指示を提示するようにしてもよい。これによって、操作対象機器２１００は、誤認識の確率を少なくすることができる。 In step S3400, the instruction operation completion determination unit A1230 determines whether or not the cursor 2113 displayed on the display 2110 of the operation target device 2100 has moved according to the arrow 2114 that is the operation instruction indicated by the generated operation instruction information. To do.
FIG. 10 is a flowchart illustrating an example of the instruction operation completion determination process in S3400.
In step S3410, the instruction operation completion determination unit A1230 determines whether the user has completed the operation related to the operation instruction. That is, the instruction operation completion determination unit A1230 determines whether or not the cursor 2113 displayed on the display 2110 has moved according to the arrow 2114 that is an operation instruction. More specifically, after the arrow 2114 is displayed, the instruction operation completion determination unit A1230 has moved the cursor 2113 upward from 27 cm to 33 cm and moved right from 54 cm to 66 cm. Is detected, it is determined that the instruction operation is completed. In this embodiment, the allowable error used for the determination by the instruction operation completion determination unit A1230 is set to 10% of the movement distance indicated by the operation instruction such as moving the cursor 2113 upward by 30 cm and then moving right by 60 cm. However, this need not be the case.
The instruction operation completion determination unit A1230 does not necessarily use the moving distance of the cursor 2113 for the determination. For example, the instruction operation completion determination unit A1230 may determine that the instruction operation is completed when the cursor 2113 overlaps a predetermined region. . As described above, the operation target device 2100 can secure usability for a user who is physically inconvenient, for example, by setting various threshold values. In addition, the operation target device 2100 can ensure usability for a user who has to perform a physically difficult operation, for example, when it is difficult to move the cursor 2113 to the top of the display 2110 because of its low height. become able to.
In this embodiment, the operation instruction generation unit A1220 generates operation instruction information indicating an operation instruction such as “move the cursor 2113 upward by 30 cm and then move it to the right by 60 cm”. The presentation unit A1300 presents the arrows representing the two motion instructions at a time, but after determining that the user 2200 has moved the cursor 2113 upward by 30 cm, it presents the motion instruction to move right by 60 cm. Also good.
Further, it is not essential for the operation instruction generation unit A1220 to generate all operation instructions in advance. For example, the operation instruction generation unit A1220 may generate further operation instruction information after the user 2200 moves the cursor 2113 upward by 30 cm, and the presentation unit A1300 may present a new operation instruction. As a result, the operation target device 2100 can reduce the probability of erroneous recognition.

指示動作完了判定部Ａ１２３０は、Ｓ３４１０でユーザ２２００による指示動作が完了したと判定した場合、処理を図４のＳ３５００へと進める。そして、Ｓ３５００で、指示動作完了時コマンド実行部Ａ１２４０は、指示動作完了時コマンド保持部Ａ１２０４に保持されている動作認識完了時コマンドを取得して実行する。即ち、指示動作完了時コマンド実行部Ａ１２４０は、選択可能項目２１１１の選択の結果に対応するコマンドを指示動作完了時コマンド保持部Ａ１２０４から取得して実行する。
指示動作完了判定部Ａ１２３０は、Ｓ３４１０でユーザ２２００による指示動作が完了していないと判定した場合、処理をＳ３４２０に進める。Ｓ３４２０で、指示動作完了判定部Ａ１２３０は、生成された動作指示情報が示す指示動作と異なる動作をユーザ２２００が行ったか否かを判定する。例えば本実施形態において、指示動作完了判定部Ａ１２３０は、ユーザ２２００が上方向に３０ｃｍ動かさずに、右方向に３０ｃｍ以上動かした場合、指示無視とみなす。指示動作完了判定部Ａ１２３０は、指示無視と判定すると、認識失敗として認識動作を終了する。
指示動作完了判定部Ａ１２３０は、Ｓ３４２０において指示無視と判定しなかった場合、処理をＳ３４３０に進める。Ｓ３４３０で、指示動作完了判定部Ａ１２３０は、認識処理が開始されてから、予め定められた時間が経過したか否かを判定する。例えば本実施形態における指示動作完了判定部Ａ１２３０は、認識処理が開始されてから１０秒以上経過すると認識失敗と判定し、認識動作を終了する。一方、指示動作完了判定部Ａ１２３０は、認識処理が開始されてから１０秒以上経過していないと判定した場合、処理をＳ３４１０に戻し、一連の処理を繰り返す。
Ｓ３４００で、指示動作完了判定部Ａ１２３０は、認識失敗と判定した場合、処理をＳ３１００に戻す。そして、動作指示生成部Ａ１２２０は、異なる動作指示情報を生成する。更に、提示部Ａ１３００は、再度、動作指示情報が示す動作指示を提示する。但し、提示部Ａ１３００が異なる動作指示を５回提示しても、指示動作完了判定部Ａ１２３０が動作完了と判定しない場合は、指示動作完了判定部Ａ１２３０は、指示動作完了判定処理を中断する。こうすることによって、操作対象機器２１００は、柔軟な認識処理と、少ない誤動作とを実現し、ユーザの使い勝手を向上させることができる。 If the instruction operation completion determination unit A1230 determines in S3410 that the instruction operation by the user 2200 has been completed, the process proceeds to S3500 in FIG. In step S3500, the command operation completion time command execution unit A1240 acquires and executes the operation recognition completion time command held in the command operation completion time command holding unit A1204. That is, the command execution unit A1240 at the completion of the instruction operation acquires a command corresponding to the selection result of the selectable item 2111 from the command storage unit A1204 at the completion of the instruction operation and executes it.
If the instruction operation completion determination unit A1230 determines in S3410 that the instruction operation by the user 2200 has not been completed, the process proceeds to S3420. In S3420, instruction operation completion determination unit A1230 determines whether user 2200 has performed an operation different from the instruction operation indicated by the generated operation instruction information. For example, in this embodiment, the instruction operation completion determination unit A1230 considers that the instruction is ignored if the user 2200 moves 30 cm or more in the right direction without moving 30 cm in the upward direction. When the instruction operation completion determination unit A1230 determines that the instruction is ignored, the recognition operation ends as a recognition failure.
If the instruction operation completion determination unit A1230 does not determine that the instruction is ignored in S3420, the process proceeds to S3430. In S3430, instruction operation completion determination unit A1230 determines whether or not a predetermined time has elapsed since the recognition process was started. For example, the instruction operation completion determination unit A1230 in the present embodiment determines that the recognition has failed when 10 seconds or more have elapsed since the recognition processing was started, and ends the recognition operation. On the other hand, if the instruction operation completion determination unit A1230 determines that 10 seconds or more have not elapsed since the start of the recognition process, the process returns to S3410 to repeat a series of processes.
If the instruction operation completion determination unit A1230 determines that the recognition has failed in S3400, the process returns to S3100. Then, the operation instruction generation unit A1220 generates different operation instruction information. Furthermore, the presentation unit A1300 again presents the operation instruction indicated by the operation instruction information. However, even if the presentation unit A1300 presents different operation instructions five times, if the instruction operation completion determination unit A1230 does not determine that the operation is complete, the instruction operation completion determination unit A1230 interrupts the instruction operation completion determination process. By doing so, the operation target device 2100 can realize flexible recognition processing and a few malfunctions, and can improve the usability of the user.

上記のように、操作対象機器２１００は、動的に生成した動作指示を用いて項目の選択をユーザに行わせることによって、ユーザの何気ない動作をジェスチャとして誤認識する可能性が少なくなる。これによって、操作対象機器２１００は、ジェスチャによる機器操作における誤動作を少なくし、更に、ユーザによる確実な項目選択を可能にすることで、ユーザの使い勝手を向上させることができる。
以上、本実施形態では、ユーザがジェスチャによって画面に表示される項目を選択する場合において、操作対象機器２１００がユーザに対する項目選択のための動作指示情報を動的に生成し、動作指示を提示する実施形態について述べた。本実施形態では、操作対象機器２１００が、ユーザが項目にカーソルを重ねるまでの動作とは不連続な動作の指示を示す指示情報を生成することで、ユーザが意図せずに項目を選択することを抑止することができる。これにより、操作対象機器２１００は、誤動作を少なくし、ユーザが効率的に操作対象機器を操作することを可能にする。 As described above, the operation target device 2100 reduces the possibility of erroneously recognizing a user's casual operation as a gesture by causing the user to select an item using a dynamically generated operation instruction. As a result, the operation target device 2100 can reduce the malfunction in the device operation due to the gesture, and further improve the user-friendliness by enabling the user to select an item reliably.
As described above, in this embodiment, when the user selects an item displayed on the screen by a gesture, the operation target device 2100 dynamically generates operation instruction information for item selection for the user and presents the operation instruction. The embodiment has been described. In the present embodiment, the operation target device 2100 generates instruction information indicating an instruction of an operation discontinuous from the operation until the user moves the cursor over the item, so that the user selects the item unintentionally. Can be suppressed. As a result, the operation target device 2100 reduces malfunctions and enables the user to efficiently operate the operation target device.

＜実施形態２＞
以下、図面を参照して実施形態２について詳細に説明する。
実施形態１との主な差異は、機器操作装置１０１がユーザ動作を示す動作情報を取得するために、撮像データ保持や、それに基づく画像認識を行わず、操作部等を介して直接ポインティングデバイスの操作情報から得られるデータを用いる点である。
図１１は、本実施形態の機器操作装置１０１のハードウェア構成の一例を示す図である。
機器操作装置１０１は、ＣＰＵ１０２と、ＲＯＭ１０３と、ＲＡＭ１０４と、操作部Ｉ／Ｆ１１０と、操作部１１１と、ディスプレイＩ／Ｆ１０８と、ディスプレイ１０９と、バス１０５とを有する。
ＣＰＵ１０２は、機器操作装置１０１全体を制御する。また、ＣＰＵ１０２は、ＲＯＭ１０３等に保存されているプログラムをＲＡＭ１０４にロードして実行することにより、後述の機器操作装置１０１の機能（ソフトウェア構成）及びフローチャートに係る処理を実現する。
ＲＯＭ１０３は、各種のプログラムや、閾値に関するデータ等、各種のデータを格納している。
ＲＡＭ１０４は、プログラムやデータを一時記憶するワークメモリとして機能する。
操作部Ｉ／Ｆ１１０は、バス１０５と、操作部１１１とを接続するインターフェースである。
操作部１１１は、ユーザが入力操作に用いるマウスや、キーボード等である。本実施形態では、操作部１１１がマウス等のポインティングデバイスであるものとして説明する。
ディスプレイＩ／Ｆ１０８は、バス１０５と、ディスプレイ１０９とを接続するインターフェースである。
ディスプレイ１０９は、後述する動作指示情報等を表示する表示部である。
バス１０５は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、操作部Ｉ／Ｆ１１１０及びディスプレイＩ／Ｆ１０８を互いに通信可能に接続するシステムバスである。
なお、操作部１１１及びディスプレイ１０９は、機器操作装置１０１の外部に接続される構成であってもよい。 <Embodiment 2>
Hereinafter, Embodiment 2 will be described in detail with reference to the drawings.
The main difference from the first embodiment is that the device operating apparatus 101 acquires operation information indicating a user operation, and thus does not hold imaging data and does not perform image recognition based on it, and directly uses a pointing device or the like via an operation unit. The data obtained from the operation information is used.
FIG. 11 is a diagram illustrating an example of a hardware configuration of the device operation apparatus 101 according to the present embodiment.
The device operation apparatus 101 includes a CPU 102, a ROM 103, a RAM 104, an operation unit I / F 110, an operation unit 111, a display I / F 108, a display 109, and a bus 105.
The CPU 102 controls the entire device operation apparatus 101. Further, the CPU 102 loads a program stored in the ROM 103 or the like into the RAM 104 and executes the program, thereby realizing the functions (software configuration) of the device operation apparatus 101 and the processing related to the flowchart described below.
The ROM 103 stores various data such as various programs and data relating to threshold values.
The RAM 104 functions as a work memory that temporarily stores programs and data.
The operation unit I / F 110 is an interface that connects the bus 105 and the operation unit 111.
The operation unit 111 is a mouse, a keyboard, or the like used by the user for input operations. In the present embodiment, the operation unit 111 is described as a pointing device such as a mouse.
The display I / F 108 is an interface that connects the bus 105 and the display 109.
The display 109 is a display unit that displays operation instruction information, which will be described later.
The bus 105 is a system bus that connects the CPU 102, the ROM 103, the RAM 104, the operation unit I / F 1110, and the display I / F 108 so that they can communicate with each other.
The operation unit 111 and the display 109 may be configured to be connected to the outside of the device operation apparatus 101.

図１２は、本実施形態の機器操作装置１０１におけるソフトウェア構成等の一例を示す図である。
以下、図１２に示される機器操作装置１０１ソフトウェア構成等について説明する。
動作データ取得部Ａ９１００は、カーソルを操作するためのポインティングデバイスの操作情報からカーソル操作をするユーザの動作情報を取得する。なお、動作データ取得部Ａ９１００がポインティングデバイスの操作情報を取得する処理は、操作情報取得処理の一例である。
計算部Ａ９２００は、様々な計算を行う。
ユーザ動作保持部Ａ９２０１は、動作データ取得部Ａ９１００により取得された動作情報を保持する。
動作指示生成部Ａ９２１０は、ユーザ動作保持部Ａ９２０１に保持された動作情報から動作指示情報を生成する。
動作指示保持部Ａ９２０３は、動作指示生成部Ａ９２１０で生成された動作指示情報を保持する。
指示動作完了判定部Ａ９２２０は、ユーザ動作保持部Ａ９２０１に保持された動作情報と、動作指示保持部Ａ９２０３に保持された動作指示情報とから、ユーザによる指示動作が完了したか否かを判定する。
指示動作完了時コマンド保持部Ａ９２０２は、指示動作完了判定部Ａ９２２０がユーザによる指示動作が完了したと判定した際に実行されるコマンドを保持する記憶領域である。
指示動作完了時コマンド実行部Ａ９２３０は、指示動作完了判定部Ａ９２２０がユーザによる指示動作が完了したと判定した際に、指示動作完了時コマンド保持部Ａ９２０２に保持されたコマンドを実行する。
提示部Ａ９３００は、ユーザ動作保持部Ａ９２０１に保持された動作情報と、動作指示保持部Ａ９２０３に保持された動作指示情報とを提示する。より具体的には、提示部Ａ９３００は、前記動作情報と、前記動作指示情報とを、機器操作装置１０１が有するディスプレイ等の表示部を介してユーザに提示する。
なお、動作データ取得部Ａ９１００、計算部Ａ９２００及び提示部Ａ９３００は、上述の機能を有するハードウェアであってもよい。 FIG. 12 is a diagram illustrating an example of a software configuration and the like in the device operation apparatus 101 according to the present embodiment.
Hereinafter, a software configuration and the like of the device operation apparatus 101 illustrated in FIG. 12 will be described.
The operation data acquisition unit A9100 acquires operation information of a user who performs a cursor operation from operation information of a pointing device for operating the cursor. The process in which the operation data acquisition unit A9100 acquires the operation information of the pointing device is an example of the operation information acquisition process.
The calculation unit A9200 performs various calculations.
The user action holding unit A9201 holds the action information acquired by the action data acquiring unit A9100.
The operation instruction generation unit A9210 generates operation instruction information from the operation information held in the user operation holding unit A9201.
The operation instruction holding unit A9203 holds the operation instruction information generated by the operation instruction generating unit A9210.
The instruction operation completion determination unit A9220 determines whether the instruction operation by the user has been completed from the operation information held in the user operation holding unit A9201 and the operation instruction information held in the operation instruction holding unit A9203.
The instruction operation completion time command holding unit A9202 is a storage area for holding a command to be executed when the instruction operation completion determining unit A9220 determines that the instruction operation by the user is completed.
When the instruction operation completion determination unit A9220 determines that the instruction operation by the user has been completed, the instruction operation completion time command execution unit A9230 executes the command held in the instruction operation completion time command storage unit A9202.
The presentation unit A9300 presents the operation information held in the user operation holding unit A9201 and the operation instruction information held in the operation instruction holding unit A9203. More specifically, the presentation unit A9300 presents the operation information and the operation instruction information to the user via a display unit such as a display included in the device operation apparatus 101.
Note that the motion data acquisition unit A9100, the calculation unit A9200, and the presentation unit A9300 may be hardware having the above-described functions.

図１３は、本実施形態における機器操作装置１０１の装置構成等の一例を示す図である。
ここでは、図１２で上述した動作データ取得部Ａ９１００、計算部Ａ９２００及び提示部Ａ９３００を有する機器操作装置１０１の一例として操作対象機器１０１００を用いて説明する。
ユーザ２２００は、マウス１０１２０を移動させることによって操作対象機器１０１００のディスプレイ１０１１０上に提示されるカーソル１０１１３の位置を移動させ操作を行う。
また、上述したように、操作対象機器２１００は、動作指示生成部Ａ９２１０、指示動作完了判定部Ａ９２２０及び指示動作完了時コマンド実行部Ａ９２３０の機能を含む計算部Ａ９２００を有する。また、計算部Ａ９２００は、記憶領域として、ユーザ動作保持部Ａ９２０１、指示動作完了時コマンド保持部Ａ９２０２及び動作指示保持部Ａ９２０３を有している。
以上が、本実施形態における機器操作装置の装置構成の一例である。 FIG. 13 is a diagram illustrating an example of a device configuration and the like of the device operating device 101 according to the present embodiment.
Here, an operation target device 10100 will be described as an example of the device operation apparatus 101 including the motion data acquisition unit A9100, the calculation unit A9200, and the presentation unit A9300 described above with reference to FIG.
The user 2200 performs an operation by moving the position of the cursor 10113 presented on the display 10110 of the operation target device 10100 by moving the mouse 10120.
Further, as described above, the operation target device 2100 includes the calculation unit A9200 including the functions of the operation instruction generation unit A9210, the instruction operation completion determination unit A9220, and the instruction operation completion time command execution unit A9230. Further, the calculation unit A9200 has a user operation holding unit A9201, an instruction operation completion command holding unit A9202 and an operation instruction holding unit A9203 as storage areas.
The above is an example of the device configuration of the device operating device in the present embodiment.

図１４は、本実施形態の処理の一例を示すフローチャートである。
Ｓ１１１００で、動作データ取得部Ａ９１００は、マウス等の操作によって移動されたカーソル１０１１３の位置に関する動作情報をユーザ動作保持部Ａ９２０１に保持する。
Ｓ１１２００で、動作指示生成部Ａ９２１０は、ユーザ動作保持部Ａ９２０１から取得したカーソル１０１１３の位置に関する動作情報に基づいて、ユーザ２２００に対する動作指示情報を生成する。そして、動作指示生成部Ａ９２１０は、生成した動作指示情報を動作指示保持部Ａ９２０３に保持する。なお、Ｓ１１２００において動作指示生成部Ａ９２１０は、実施形態１の図４で上述したＳ３２００と同様の方法により動作指示情報を生成する。
Ｓ１１３００で、提示部Ａ９３００は、動作指示保持部Ａ９２０３から動作指示情報を取得し、ディスプレイ１０１１０を介してユーザ２２００に動作指示を提示する。
Ｓ１１４００で、指示動作完了判定部Ａ９２２０は、動作指示保持部Ａ９２０３から動作指示情報を取得し、更に、ユーザ動作保持部Ａ９２０１からカーソル１０１１３の位置に関する動作情報を取得する。そして、指示動作完了判定部Ａ９２２０は、取得した動作指示情報と、動作情報とをもとに、ユーザ２２００が指示動作を完了させたか否かを判定する。なお、指示動作完了判定部Ａ９２２０による判定の手法は、実施形態１の図１０等を用いて上述した手法と同様である。
Ｓ１１５００で、指示動作完了時コマンド実行部Ａ９２３０は、指示動作完了時コマンド保持部Ａ９２０２から指示動作が完了した際に実行するコマンドを取得し、取得したコマンドを実行する。
以上が、本実施形態における機器操作装置の処理フローである。 FIG. 14 is a flowchart illustrating an example of processing according to the present embodiment.
In step S11100, the operation data acquisition unit A9100 stores operation information regarding the position of the cursor 10113 moved by the operation of the mouse or the like in the user operation holding unit A9201.
In step S11200, the operation instruction generation unit A9210 generates operation instruction information for the user 2200 based on the operation information regarding the position of the cursor 10113 acquired from the user operation holding unit A9201. Then, the operation instruction generation unit A9210 holds the generated operation instruction information in the operation instruction holding unit A9203. In S11200, the operation instruction generation unit A9210 generates operation instruction information by the same method as in S3200 described above with reference to FIG.
In step S11300, the presentation unit A9300 acquires the operation instruction information from the operation instruction holding unit A9203 and presents the operation instruction to the user 2200 via the display 10110.
In step S11400, the instruction operation completion determination unit A9220 acquires operation instruction information from the operation instruction holding unit A9203, and further acquires operation information related to the position of the cursor 10113 from the user operation holding unit A9201. The instruction operation completion determination unit A9220 determines whether the user 2200 has completed the instruction operation based on the acquired operation instruction information and the operation information. Note that the determination method by the instruction operation completion determination unit A9220 is the same as the method described above with reference to FIG.
In S11500, command execution unit A9230 at the completion of the instruction operation acquires a command to be executed when the instruction operation is completed from command holding unit A9202 at the completion of the instruction operation, and executes the acquired command.
The processing flow of the device operating device according to the present embodiment has been described above.

次に、図１３の装置構成等と、図１４の処理フローとを用いた場合における処理の一例について説明する。
本実施形態では、ユーザ２２００が、操作対象機器１０１００のディスプレイ１０１１０上に表示される選択可能な項目を、マウス１０１２０を用いたジェスチャによって選択する。ここで、ユーザは、操作対象機器１０１００に接続されているマウス１０１２０を操作することによってディスプレイ１０１１０上に表示されるカーソル１０１１３を操作する。また、図１５に示されるように、ディスプレイ１０１１０に、選択可能項目１０００１、選択可能項目１０００２、選択可能項目１０００３及び選択可能項目１０００４が表示されているものとして説明を行う。なお、図１５は、ディスプレイ２１１０の表示画面の一例を示す図である。ユーザ２２００は、選択可能項目のひとつである選択可能項目１０００１を選択しようとしているものとする。
図１４のＳ１１１００で、ユーザによるマウス１０１２０の操作を介して入力された座標の情報がユーザ動作保持部Ａ９２０１にあたるバッファメモリに一時的に保持される。
本実施形態における操作対象機器１０１００は、ディスプレイ１０１１０上のカーソル１０１１３が選択可能項目１０００１、選択可能項目１０００２、選択可能項目１０００３又は選択可能項目１０００４に重なると、処理をＳ１１２００へ進める。なお、操作対象機器１０１００が、ディスプレイ１０１１０上のカーソル１０１１３が選択可能項目１０００１等に重なったか否かを判定する方法は、上述したＳ３４００の処理と同様であるため、説明を省略する。また、Ｓ１１２００へと進む条件は、特定領域にカーソル１０１１３が重なった場合に限らず、その他のユーザ動作、プログラム処理結果、時間又は外部入出力等を開始条件としてもよい。これによって、多種多様な状況において、本実施形態を適用することができる。 Next, an example of processing in the case where the apparatus configuration of FIG. 13 and the processing flow of FIG. 14 are used will be described.
In the present embodiment, the user 2200 selects a selectable item displayed on the display 10110 of the operation target device 10100 by a gesture using the mouse 10120. Here, the user operates the cursor 10113 displayed on the display 10110 by operating the mouse 10120 connected to the operation target device 10100. Further, as shown in FIG. 15, description will be made assuming that a selectable item 10001, a selectable item 10002, a selectable item 10003 and a selectable item 10004 are displayed on the display 10110. FIG. 15 is a diagram illustrating an example of a display screen of the display 2110. It is assumed that the user 2200 is trying to select a selectable item 10001 that is one of selectable items.
In S11100 of FIG. 14, the coordinate information input through the operation of the mouse 10120 by the user is temporarily held in the buffer memory corresponding to the user action holding unit A9201.
When the cursor 10113 on the display 10110 overlaps the selectable item 10001, selectable item 10002, selectable item 10003, or selectable item 10004, the operation target device 10100 in this embodiment advances the process to S11200. Note that the method of determining whether the operation target device 10100 has the cursor 10113 on the display 10110 overlap the selectable item 10001 or the like is the same as the processing of S3400 described above, and thus the description thereof is omitted. The condition for proceeding to S11200 is not limited to the case where the cursor 10113 overlaps the specific area, and other user actions, program processing results, time, external input / output, or the like may be used as the start condition. Accordingly, the present embodiment can be applied in various situations.

Ｓ１１２００で、動作指示生成部Ａ９２１０は、ユーザ動作保持部Ａ９２０１に保持されている動作情報が示すカーソル１０１１３が選択可能項目１０００１に重なるまでの動きから、今後カーソル１０１１３が動く方向と、速度とを推定する。本実施形態において、動作指示生成部Ａ９２１０は、カーソル１０１１３の動きの予測方法として、カーソル１０１１３の直前の移動方向と、速度とから各方向への移動確率を求める。より具体的には、動作指示生成部Ａ９２１０は、実施形態１と同様に図８を用いて各方向への移動確率を求める。また、動作指示生成部Ａ９２１０は、速度の推定について、今後のカーソル１０１１３の速度変化を図１６のように仮定する。なお、図１６は、確率分布の一例を示す図である。
図１６は、縦軸が確率、横軸が現在の速度との速度差を示しており、縦軸と、横軸との交点が速度差ゼロ、確率ゼロを示す。このグラフでは、同じ進行速度でそのまま進む確率が高く、現在の速度との速度差が大きくなるにつれて、確率が低くなることがわかる。動作指示生成部Ａ９２１０は、図１６に示される速度変化確率をもとに確率が低くなる移動速度で、カーソル１０１１３を移動させるような動作指示を示す動作指示情報を生成する。例えば、動作指示生成部Ａ９２１０は、予め定められた確率よりも低くなる移動速度を求めて、求めた移動速度で移動させるような動作指示情報を生成する。なお、本実施形態において、動作指示生成部Ａ９２１０は、直前の移動方向と、速度とから予め定められた確率を求めるようにしたが、カーソル１０１１３の動きの予測方法はこれに限る必要はない。例えば、動作指示生成部Ａ９２１０は、過去のカーソル１０１１３の動きを学習した認識器を用いる方法等を用いてもよい。動作指示生成部Ａ９２１０は、この認識器を用いることで、より精度よくカーソル１０１１３の動きを予測することができる場合があり、その結果、誤認識を少なくすることが可能となる。
動作指示生成部Ａ９２１０は、将来のカーソル１０１１３の動きを予測し、動く可能性が低いと予測した方向、速度で、カーソル１０１１３を移動させる動作指示を示す動作指示情報を生成する。動作指示としては、例えば「カーソル１０１１３を秒速１０ｃｍで、上方向に３０ｃｍ動かす」といった指示が挙げられる。しかし、その時点でユーザ２２００が将来行う確率が予め定められた閾値よりも低いものであれば、ジェスチャや、発話等の動作指示であってもよい。 In step S1200, the motion instruction generation unit A9210 estimates the direction and speed of the future cursor 10113 from the movement until the cursor 10113 indicated by the motion information held in the user motion holding unit A9201 overlaps the selectable item 10001. To do. In the present embodiment, the motion instruction generation unit A9210 obtains a movement probability in each direction from the movement direction immediately before the cursor 10113 and the speed as a method for predicting the movement of the cursor 10113. More specifically, the operation instruction generation unit A9210 obtains the movement probability in each direction using FIG. 8 as in the first embodiment. Further, the motion instruction generation unit A9210 assumes a future speed change of the cursor 10113 as shown in FIG. FIG. 16 is a diagram illustrating an example of the probability distribution.
In FIG. 16, the vertical axis indicates the probability, the horizontal axis indicates the speed difference from the current speed, and the intersection between the vertical axis and the horizontal axis indicates the speed difference zero and the probability zero. In this graph, it can be seen that the probability of proceeding as it is at the same traveling speed is high, and the probability decreases as the speed difference from the current speed increases. The operation instruction generation unit A9210 generates operation instruction information indicating an operation instruction for moving the cursor 10113 at a moving speed with a low probability based on the speed change probability shown in FIG. For example, the operation instruction generation unit A9210 determines a movement speed that is lower than a predetermined probability, and generates movement instruction information that causes the movement to be performed at the calculated movement speed. In this embodiment, the motion instruction generation unit A9210 obtains a predetermined probability from the immediately preceding moving direction and speed, but the method for predicting the movement of the cursor 10113 is not limited to this. For example, the operation instruction generation unit A 9210 may use a method using a recognizer that has learned the movement of the cursor 10113 in the past. The motion instruction generation unit A9210 may be able to predict the movement of the cursor 10113 with higher accuracy by using this recognizer, and as a result, it is possible to reduce misrecognition.
The motion instruction generation unit A9210 predicts a future movement of the cursor 10113, and generates motion instruction information indicating an operation instruction to move the cursor 10113 at a direction and speed predicted to have a low possibility of movement. As the operation instruction, for example, an instruction such as “move the cursor 10113 upward by 10 cm at a speed of 10 cm per second” is given. However, if the probability that the user 2200 will perform in the future at that time is lower than a predetermined threshold, an operation instruction such as a gesture or speech may be used.

動作指示生成部Ａ９２１０は、Ｓ１１２００で生成した動作指示情報を、動作指示保持部Ａ９２０３にあたるメモリに保持する。そして、Ｓ１１３００で、提示部Ａ９３００は、動作指示保持部Ａ９２０３から動作指示情報を取得し、操作対象機器１０１００のディスプレイ１０１１０に表示してユーザに提示する。提示部Ａ１３００は、例えば図１７に示されるような表示画面を提示する。なお、図１７は、ディスプレイ１０１１０の表示画面の一例を示す図である。
図１７の表示画面では、カーソル１０１１３が選択可能項目１０００１と重なった状態で表示されており、選択可能項目１０００１は秒速１０ｃｍで上方向に３０ｃｍ移動する。即ち、提示部Ａ１３００は、カーソル１０１１３と、選択可能項目１０００１とを重ね合わせた状態のまま、秒速１０ｃｍで上方向に３０ｃｍ移動することをユーザ２２００に対して指示している。なお、提示部Ａ１３００によるユーザ２２００への動作指示に関する提示方法は、これに限る必要はない。例えば、提示部Ａ１３００は、文字や、音声等で動作指示を提示するようにしてもよい。これによって、操作対象機器１０１００は、ディスプレイ１０１１０の表示における影響を最小限にして、ユーザによる操作対象機器１０１００の操作を実現することができるようになる。また、動きは直線に限る必要はなく、曲線であってもよい。
このように、操作対象機器１０１００がユーザへの多様な動作指示を可能にすることで、誤認識を抑止することが可能になる。 The operation instruction generation unit A9210 stores the operation instruction information generated in S11200 in a memory corresponding to the operation instruction storage unit A9203. In step S11300, the presentation unit A9300 acquires the operation instruction information from the operation instruction holding unit A9203, displays the operation instruction information on the display 10110 of the operation target device 10100, and presents it to the user. The presentation unit A1300 presents a display screen as shown in FIG. 17, for example. FIG. 17 is a diagram illustrating an example of a display screen of the display 10110.
In the display screen of FIG. 17, the cursor 10113 is displayed in a state where it overlaps the selectable item 10001, and the selectable item 10001 moves upward by 30 cm at a speed of 10 cm per second. That is, the presentation unit A1300 instructs the user 2200 to move upward by 30 cm at a speed of 10 cm per second while the cursor 10113 and the selectable item 10001 are overlapped. In addition, the presentation method regarding the operation instruction to the user 2200 by the presentation unit A1300 is not necessarily limited to this. For example, the presentation unit A1300 may present an operation instruction with characters, voice, or the like. As a result, the operation target device 10100 can realize the operation of the operation target device 10100 by the user while minimizing the influence on the display of the display 10110. Further, the movement need not be limited to a straight line, but may be a curved line.
As described above, the operation target device 10100 can perform various operation instructions to the user, thereby preventing erroneous recognition.

Ｓ１１４００で、指示動作完了判定部Ａ９２２０は、操作対象機器１０１００のディスプレイ１０１１０上に表示されるカーソル１０１１３が、生成された動作指示情報が示す動作指示１０１１４の通りに動いたか否かを判定する。より具体的には、指示動作完了判定部Ａ９２２０は、カーソル１０１１３が移動する選択可能項目１０００１と重なった状態で上方向に３０ｃｍ移動したかどうかで判定する。なお、カーソル１０１１３が選択可能項目１０００１からはみ出した場合、動作指示生成部Ａ９２１０は、新たな動作指示情報を生成する。また、動作指示生成部Ａ９２１０が生成する動作指示情報が示す動作指示において、移動速度は秒速１０ｃｍに限る必要はなく、移動距離も３０ｃｍに限る必要はない。動作指示生成部Ａ９２１０は、ユーザ２２００の状態や、ユースケース等によって生成する動作指示情報を調節するようにしてもよい。
また、本実施形態において、動作指示生成部Ａ９２１０は、「カーソル１０１１３を秒速１０ｃｍで、上方向に３０ｃｍ動かす」といった動作指示を示す動作指示情報を生成した。しかし、動作指示生成部Ａ９２１０は、ユーザ２２００がカーソル１０１１３を選択可能項目１０００１と重なった状態で上方向に３０ｃｍ動かしたことを判定した後に、更なる動作指示情報を生成するようにしてもよい。このように、操作対象機器１０１００は、ユーザへの多様な動作指示を可能にすることで、誤認識を抑止することが可能になる。
Ｓ１１４００で、指示動作完了判定部Ａ９２２０は、指示動作が完了したと判定すると、処理をＳ１１５００に進める。
Ｓ１１５００で、指示動作完了時コマンド実行部Ａ９２３０は、指示動作完了時コマンド保持部Ａ９２０２に保持されている指示動作完了時コマンドを取得し、取得したコマンドを実行する。 In S11400, the instruction operation completion determination unit A9220 determines whether or not the cursor 10113 displayed on the display 10110 of the operation target device 10100 has moved according to the operation instruction 10114 indicated by the generated operation instruction information. More specifically, the instruction operation completion determination unit A9220 determines whether or not the cursor 10113 has moved upward by 30 cm while overlapping the selectable item 10001 to which the cursor 10113 moves. When the cursor 10113 protrudes from the selectable item 10001, the operation instruction generation unit A9210 generates new operation instruction information. In the operation instruction indicated by the operation instruction information generated by the operation instruction generation unit A9210, the moving speed need not be limited to 10 cm per second, and the moving distance need not be limited to 30 cm. The operation instruction generation unit A9210 may adjust the operation instruction information generated according to the state of the user 2200, the use case, and the like.
Further, in this embodiment, the operation instruction generation unit A9210 generates operation instruction information indicating an operation instruction such as “move the cursor 10113 upward by 10 cm at a speed of 10 cm per second”. However, the operation instruction generation unit A9210 may generate further operation instruction information after determining that the user 2200 has moved the cursor 10113 upward by 30 cm while overlapping the selectable item 10001. As described above, the operation target device 10100 can suppress misrecognition by enabling various operation instructions to the user.
If the instruction operation completion determination unit A9220 determines that the instruction operation is completed in S11400, the process proceeds to S11500.
In step S11500, the instruction operation completion time command execution unit A9230 acquires the instruction operation completion time command held in the instruction operation completion time command holding unit A9202, and executes the acquired command.

上記のように、操作対象機器１０１００は、動的に生成した動作指示情報を用いて項目の選択をユーザに行わせることによって、機器操作における誤動作を少なくし、確実な項目の選択を可能にすることができる。また、この場合、操作対象機器１０１００は、操作に伴うクリック動作の発生を必須としないため、セキュリティを確保することが可能である。更に、操作対象機器１０１００は、身体的にクリック操作が困難なユーザに対する利便性を向上させることができる。
以上、本実施形態では、ユーザがマウス等を用いて操作対象機器１０１００を操作する場合において、ユーザに対する機器操作のための動作指示情報を動的に生成し、動作指示を提示する実施形態について述べた。本実施形態では、操作対象機器１０１００が、ユーザが項目にカーソルを重ねるまでの動作（マウス操作）とは不連続な動作（マウス操作）の指示を示す指示情報を生成することで、ユーザが意図せずに項目を選択することを抑止することができる。 As described above, the operation target device 10100 allows the user to select an item using dynamically generated operation instruction information, thereby reducing malfunctions in device operation and enabling reliable item selection. be able to. In this case, the operation target device 10100 does not necessarily require the occurrence of a click operation associated with the operation, and thus security can be ensured. Furthermore, the operation target device 10100 can improve convenience for a user who is physically difficult to perform a click operation.
As described above, this embodiment describes an embodiment in which, when a user operates the operation target device 10100 using a mouse or the like, operation instruction information for device operation for the user is dynamically generated and an operation instruction is presented. It was. In the present embodiment, the operation target device 10100 generates instruction information indicating an instruction of an operation (mouse operation) that is discontinuous from the operation (mouse operation) until the user moves the cursor over an item. It is possible to suppress selecting an item without doing so.

＜実施形態３＞
以下、図面を参照して実施形態３について詳細に説明する。
本実施形態の機器操作装置１０１における機能構成等は、実施形態１で上述した図２と同様である。
図１８は、本実施形態における機器操作装置１０１の装置構成等の一例を示す図である。
ここでは、動作データ取得部Ａ１１００、計算部Ａ１２００及び提示部Ａ１３００を有する機器操作装置１０１の一例として操作対象機器１３１００を用いて説明する。
動作データ取得部Ａ１１００は、カメラ１３１２０を介してユーザ２２００の手２２１０を捉える。ユーザ２２００は、操作対象機器１３１００の三次元ディスプレイ１３１１０上に提示されるカーソル１３１１３を、手２２１０を動かすことにより移動させて操作対象機器１３１００の操作を行う。
以上が、本実施形態における機器操作装置の装置構成の一例である。
また、本実施形態における処理フローも、実施形態１で上述した図４と同様である。 <Embodiment 3>
Hereinafter, Embodiment 3 will be described in detail with reference to the drawings.
The functional configuration and the like in the device operating device 101 of the present embodiment are the same as those in FIG. 2 described above in the first embodiment.
FIG. 18 is a diagram illustrating an example of a device configuration and the like of the device operating device 101 according to the present embodiment.
Here, an operation target device 13100 will be described as an example of the device operation device 101 having the motion data acquisition unit A1100, the calculation unit A1200, and the presentation unit A1300.
The motion data acquisition unit A1100 captures the hand 2210 of the user 2200 via the camera 13120. The user 2200 operates the operation target device 13100 by moving the cursor 13113 presented on the three-dimensional display 13110 of the operation target device 13100 by moving the hand 2210.
The above is an example of the device configuration of the device operating device in the present embodiment.
The processing flow in this embodiment is also the same as that in FIG. 4 described in the first embodiment.

次に、図３の装置構成と、図４の処理フローとを用いた場合における本実施形態の処理の一例について説明する。
本実施形態において、操作対象機器１３１００は、ユーザ２２００が操作対象機器１３１００を操作中、ネットワーク経由で外部からのメッセージを受信する。ユーザ２２００は、ハンドジェスチャによって三次元ディスプレイ１３１１０上に表示される図１９に示されるような受信メッセージ表示ボタン１３１１１を選択する。そして、操作対象機器１３１００は、メッセージを表示する。なお、図１９は、三次元ディスプレイ１３１１０の表示画面の一例を示す図である。
動作データ取得部Ａ１１００は、図６に示されるようにカメラ２１２０を介してユーザ２２００を撮像する。撮像データ４１００の中にユーザ２２００が映っており、ユーザ２２００は、手２２１０によるジェスチャによって操作対象機器１３１００を操作している。
操作対象機器１３１００は、ユーザ２２００が操作対象機器１３１００を操作している際に外部からメッセージを受信すると、メッセージを受信したことをユーザ２２００に通知する。より具体的には、操作対象機器１３１００は、図１９に示される受信メッセージ表示ボタン１３１１１を表示する。操作対象機器１３１００は、ユーザ２２００が受信メッセージ表示ボタン１３１１１にカーソルを合わせると、受信したメッセージを表示する。
操作対象機器１３１００は、撮像データ４１００を撮像データ保持部Ａ１２０１にあたるバッファメモリに一時的に保持し、図４に示されるフローに従って処理する。なお、カメラ１３１２０は、ステレオカメラＴＯＦや、パターン投光等の測距部を有する。これにより、動作データ取得部Ａ１１００は、カメラ１３１２０を介してユーザ動作に関する３次元的な動作情報（例えばユーザの手の３次元的位置）が抽出可能な撮像データを取得することができる。 Next, an example of processing of the present embodiment when the apparatus configuration of FIG. 3 and the processing flow of FIG. 4 are used will be described.
In the present embodiment, the operation target device 13100 receives a message from the outside via the network while the user 2200 is operating the operation target device 13100. The user 2200 selects a received message display button 13111 as shown in FIG. 19 displayed on the three-dimensional display 13110 by hand gesture. Then, the operation target device 13100 displays a message. FIG. 19 is a diagram illustrating an example of a display screen of the three-dimensional display 13110.
The motion data acquisition unit A1100 images the user 2200 via the camera 2120 as shown in FIG. A user 2200 is shown in the imaging data 4100, and the user 2200 operates the operation target device 13100 with a gesture by the hand 2210.
When the user 2200 receives a message from outside while the user 2200 is operating the operation target device 13100, the operation target device 13100 notifies the user 2200 that the message has been received. More specifically, the operation target device 13100 displays a received message display button 13111 shown in FIG. The operation target device 13100 displays the received message when the user 2200 moves the cursor to the received message display button 13111.
The operation target device 13100 temporarily holds the imaging data 4100 in a buffer memory corresponding to the imaging data holding unit A1201, and processes the imaging data 4100 according to the flow shown in FIG. Note that the camera 13120 includes a stereo camera TOF and a distance measuring unit such as pattern projection. Accordingly, the motion data acquisition unit A1100 can acquire imaging data from which three-dimensional motion information (for example, the three-dimensional position of the user's hand) regarding the user motion can be extracted via the camera 13120.

Ｓ３１００で、ユーザ動作認識部Ａ１２１０は、撮像データ保持部Ａ１２０１から撮像データを取得する。そして、ユーザ動作認識部Ａ１２１０は、背景差分を用いて画像中からユーザ２２００の領域を抽出し、人物の手の領域を学習させた認識器を用いてユーザ２２００の手２２１０の位置をユーザ２２００の領域から推定する。また、ユーザ動作認識部Ａ１２１０は、画像中の手２２１０のサイズから、奥行き方向への移動量を推定する。ユーザ動作認識部Ａ１２１０は、推定した手２２１０の領域に関する情報を、ユーザ動作保持部Ａ１２０２にあたるメモリに保持する。
提示部Ａ１３００は、ユーザ動作保持部Ａ１２０２から手２２１０の領域に関する情報を取得し、操作対象機器１３１００の三次元ディスプレイ１３１１０に、手２２１０の領域と対応した位置にカーソル１３１１３を描画する。なお、ここでいう対応とは、ユーザ２２００が手２２１０を上方向に１０ｃｍだけ動かせば、三次元ディスプレイ１３１１０上のカーソル１３１１３も上方向に１０ｃｍだけ移動する関係のことをいう。また、これは上方向に限ることではない。即ち、ユーザ２２００が手２２１０を右方向に１０ｃｍだけ動かせば、三次元ディスプレイ１３１１０上のカーソル１３１１３も右方向に１０ｃｍだけ移動する。他の方向に関しても同様である。
なお、ユーザ動作認識部Ａ１２１０が撮像データ４１００からユーザ２２００の領域を抽出する方法は、背景差分に限る必要はなく、撮像データ４１００中からユーザ２２００の領域を抽出することができれば他の方法でもよい。また、ユーザ動作認識部Ａ１２１０がユーザ２２００の領域から手２２１０の領域を抽出する方法についても、認識器を用いることは必須ではなく、ユーザ２２００の手２２１０の領域を抽出することができれば他の方法でもよい。 In step S3100, the user action recognition unit A1210 acquires imaging data from the imaging data holding unit A1201. Then, the user action recognition unit A1210 extracts the area of the user 2200 from the image using the background difference, and uses the recognizer that has learned the human hand area to determine the position of the hand 2210 of the user 2200. Estimate from the region. Further, the user motion recognition unit A1210 estimates the amount of movement in the depth direction from the size of the hand 2210 in the image. The user action recognition unit A1210 holds information regarding the estimated region of the hand 2210 in a memory corresponding to the user action holding unit A1202.
The presentation unit A1300 acquires information related to the region of the hand 2210 from the user action holding unit A1202, and draws the cursor 13113 on the three-dimensional display 13110 of the operation target device 13100 at a position corresponding to the region of the hand 2210. Note that the correspondence here refers to a relationship in which if the user 2200 moves the hand 2210 upward by 10 cm, the cursor 13113 on the three-dimensional display 13110 also moves upward by 10 cm. This is not limited to the upward direction. That is, if the user 2200 moves the hand 2210 by 10 cm to the right, the cursor 13113 on the three-dimensional display 13110 also moves to the right by 10 cm. The same applies to the other directions.
Note that the method by which the user action recognition unit A1210 extracts the user 2200 region from the imaging data 4100 is not limited to the background difference, and any other method may be used as long as the user 2200 region can be extracted from the imaging data 4100. . In addition, regarding the method by which the user motion recognition unit A1210 extracts the hand 2210 region from the user 2200 region, it is not essential to use the recognizer. If the user 2200 hand 2210 region can be extracted, other methods can be used. But you can.

また、ユーザ動作認識部Ａ１２１０は、撮像データ４１００の中からユーザ２２００の領域を抽出した後にユーザ２２００の手２２１０の領域を推定するようにしたが、撮像データ４１００から直接ユーザ２２００の手２２１０の領域を推定するようにしてもよい。
また、ユーザ２２００の手２２１０の位置と対応した位置に表示するカーソル１３１１３についても、矢印の形状であることは必須ではなく、ユーザがポインティングしている位置がわかれば、他の表示方法であってもよい。
また、ユーザ２２００の手２２１０の移動距離と、カーソル１３１１３の移動距離との対応関係が１対１の関係であることは必須ではなく、三次元ディスプレイ１２１１０の大きさや、操作のしやすさによって対応関係を変えてもよい。
また、本実施形態の操作対象機器１３１００がユーザ２２００の手２２１０の奥行きを推定する方法についても、手２２１０のサイズから推定することは必須ではなく、三次元カメラや、測距センサ等を使う方法であってもよい。 Further, the user motion recognition unit A1210 estimates the area of the user 2210's hand 2210 after extracting the area of the user 2200 from the imaging data 4100, but the area of the user 2210's hand 2210 directly from the imaging data 4100. May be estimated.
The cursor 13113 displayed at a position corresponding to the position of the hand 2210 of the user 2200 is not necessarily in the shape of an arrow. If the position where the user is pointing is known, another display method may be used. Also good.
In addition, it is not essential that the correspondence between the movement distance of the hand 2210 of the user 2200 and the movement distance of the cursor 13113 is a one-to-one relationship, and the correspondence is based on the size of the three-dimensional display 12110 and the ease of operation. You may change the relationship.
In addition, the method by which the operation target device 13100 according to the present embodiment estimates the depth of the hand 2210 of the user 2200 is not necessarily estimated from the size of the hand 2210, and a method using a three-dimensional camera, a distance sensor, or the like. It may be.

本実施形態では、操作対象機器１３１００が外部からメッセージを受信すると、Ｓ３２００の処理を実行する。なお、操作対象機器１３１００がＳ３２００の処理を開始する際の開始条件は、外部からのメッセージ受信に限る必要はない。例えば、操作対象機器１３１００は、スイッチが押下された場合等、外部からの様々な入出力や、その他のユーザ動作、プログラム処理結果、時間等に係る予め定められた条件を開始条件としてもよい。これによって、多種多様な状況において、本実施形態を適用することができる。
Ｓ３２００で、動作指示生成部Ａ１２２０は、ユーザ動作保持部Ａ１２０２に保持されている動作情報に基づくカーソル１３１１３の動きから、今後カーソル１３１１３が動く方向を推定する。なお、本実施形態において、動作指示生成部Ａ１２２０は、カーソル１３１１３の動きの予測方法として、カーソル１３１１３の直前の移動方向から、各方向への移動確率を求める。より具体的には、動作指示生成部Ａ１２２０は、各方向への移動確率について、操作者に平行する面の移動確率を実施形態１と同様に図８を用いて求める。また、動作指示生成部Ａ１２２０は、奥行き方向への移動確率を、図２０を用いて求める。なお、図２０は、移動確率の一例を示す図である。
本実施形態では、今後のカーソル１３１１３の速度変化を図２０のように仮定する。図２０は、縦軸が確率、横軸が現在のカーソルの奥行き方向への移動速度変化の確率を示しており、縦軸と、横軸との交点が速度差ゼロ、確率ゼロを示す。このグラフでは、同じ進行速度でそのまま進む確率が高く、現在の速度との速度差が大きくなるにつれて、確率が低くなることがわかる。動作指示生成部Ａ１２２０は、図２０に示される奥行き方向への速度変化確率をもとに確率の低い移動速度で、カーソル１３１１３を移動させるような動作指示を示す動作指示情報を生成する。例えば、動作指示生成部Ａ１２２０は、予め定められた確率よりも低くなる移動速度を求めて、求めた移動速度で移動させるような動作指示情報を生成する。 In the present embodiment, when the operation target device 13100 receives a message from the outside, the processing of S3200 is executed. Note that the start condition when the operation target device 13100 starts the process of S3200 need not be limited to receiving a message from the outside. For example, the operation target device 13100 may use predetermined conditions relating to various input / output from the outside, other user operations, program processing results, time, and the like as a start condition, such as when a switch is pressed. Accordingly, the present embodiment can be applied in various situations.
In S3200, operation instruction generation unit A1220 estimates the direction in which cursor 13113 will move in the future from the movement of cursor 13113 based on the operation information held in user operation holding unit A1202. In the present embodiment, the motion instruction generation unit A1220 obtains the movement probability in each direction from the movement direction immediately before the cursor 13113 as a method of predicting the movement of the cursor 13113. More specifically, the motion instruction generation unit A1220 obtains the movement probability of the plane parallel to the operator with respect to the movement probability in each direction using FIG. 8 as in the first embodiment. Further, the motion instruction generation unit A1220 obtains the movement probability in the depth direction with reference to FIG. FIG. 20 is a diagram illustrating an example of the movement probability.
In the present embodiment, a future change in the speed of the cursor 13113 is assumed as shown in FIG. In FIG. 20, the vertical axis represents the probability, the horizontal axis represents the current movement speed change probability in the depth direction, and the intersection between the vertical axis and the horizontal axis represents a speed difference of zero and a probability of zero. In this graph, it can be seen that the probability of proceeding as it is at the same traveling speed is high, and the probability decreases as the speed difference from the current speed increases. The operation instruction generation unit A1220 generates operation instruction information indicating an operation instruction for moving the cursor 13113 at a low movement speed based on the speed change probability in the depth direction shown in FIG. For example, the motion instruction generation unit A1220 determines a movement speed that is lower than a predetermined probability, and generates movement instruction information that causes the movement to be performed at the calculated movement speed.

なお、本実施形態において、動作指示生成部Ａ１２２０は、直前の移動方向と、速度とから予め定められた確率を求めるようにしたが、カーソル１３１１３の動きの予測方法はこれに限る必要はない。例えば、動作指示生成部Ａ１２２０は、過去のカーソル１３１１３の動きを学習した認識器を用いる方法等により確率を求めるようにしてもよい。また、動作指示生成部Ａ１２２０は、速度変化を確率として求めるのではなく、カーソル１３１１３の将来位置を確率として求めるようにしてもよい。
また、動作指示生成部Ａ１２２０は、将来のカーソル１３１１３の動きを予測し、動く可能性が低いと予測した方向で、かつ、他の選択可能項目と重ならない方向にカーソル１３１１３を移動させるような動作指示を示す動作指示情報を生成する。動作指示としては、例えば「カーソル１３１１３を移動させて表示された受信メッセージ表示ボタン１３１１１に重ねる」のような指示が挙げられる。また、その時点でユーザ２２００が将来行う確率が予め定められた閾値よりも低いものであれば、ジェスチャや、発話等の動作指示であってもよい。
Ｓ３３００で、提示部Ａ１３００は、Ｓ３２００で生成され動作指示保持部Ａ１２０３にあたるメモリに保持されている動作指示情報を取得し、操作対象機器１３１００の三次元ディスプレイ１３１１０上に表示する。例えば、提示部Ａ１３００は、三次元ディスプレイ１３１１０上に図１９のような画面表示を表示する。図１９は、カーソル１３１１３を三次元ディスプレイ１３１１０の左上に表示された受信メッセージ表示ボタン１３１１１に重ねることを指示している。なお、提示部Ａ１３００によるユーザ２２００への動作指示に関する提示方法は、これに限る必要はない。例えば、提示部Ａ１３００は、文字や、音声等で動作指示を提示するようにしてもよい。 In this embodiment, the motion instruction generation unit A1220 obtains a predetermined probability from the immediately preceding moving direction and speed, but the method of predicting the movement of the cursor 13113 is not limited to this. For example, the motion instruction generation unit A1220 may obtain the probability by a method using a recognizer that has learned the movement of the cursor 13113 in the past. Further, the motion instruction generation unit A1220 may obtain the future position of the cursor 13113 as the probability instead of obtaining the speed change as the probability.
In addition, the operation instruction generation unit A1220 predicts the future movement of the cursor 13113, and moves the cursor 13113 in a direction in which it is predicted that the possibility of movement is low and does not overlap with other selectable items. Operation instruction information indicating an instruction is generated. As the operation instruction, for example, an instruction such as “overlapping the received message display button 13111 displayed by moving the cursor 13113” can be given. If the probability that the user 2200 will perform in the future at that time is lower than a predetermined threshold value, an operation instruction such as a gesture or speech may be used.
In S3300, the presentation unit A1300 acquires the operation instruction information generated in S3200 and stored in the memory corresponding to the operation instruction storage unit A1203, and displays the operation instruction information on the three-dimensional display 13110 of the operation target device 13100. For example, the presentation unit A1300 displays a screen display as shown in FIG. 19 on the three-dimensional display 13110. FIG. 19 indicates that the cursor 13113 is superimposed on the received message display button 13111 displayed on the upper left of the three-dimensional display 13110. In addition, the presentation method regarding the operation instruction to the user 2200 by the presentation unit A1300 is not necessarily limited to this. For example, the presentation unit A1300 may present an operation instruction with characters, voice, or the like.

Ｓ３４００で、指示動作完了判定部Ａ１２３０は、操作対象機器１３１００の三次元ディスプレイ１３１１０上に表示されるカーソル１３１１３が、生成された動作指示情報が示す動作指示の通りに動いたか否かを判定する。より具体的には、指示動作完了判定部Ａ１２３０は、カーソル１３１１３が動作指示である受信メッセージ表示ボタン１３１１１と重なったかどうかで判定する。動作指示生成部Ａ１２２０は、受信メッセージ表示ボタン１３１１１が表示されてから１０秒間経過してもカーソル１３１１３が受信メッセージ表示ボタン１３１１１と重ならない場合は、新たな動作指示情報を生成する。なお、動作指示生成部Ａ１２２０が新たな動作指示情報を生成するまでの時間は１０秒間に限る必要はなく、ユーザ２２００の状態や、ユースケース、機器操作の状態等によって調節するようにしてもよい。また、状況によっては、動作指示生成部Ａ１２２０が一度生成した動作指示情報を時間経過に応じて生成しなおさなくてもよい場合もある。また、本実施形態において、動作指示生成部Ａ１２２０は、「カーソル１３１１３を受信メッセージ表示ボタン１３１１１と重ねる」といった動作指示を示す動作指示情報を生成した。しかし、動作指示生成部Ａ１２２０は、ユーザ２２００がカーソル１３１１３を受信メッセージ表示ボタン１３１１１と重ねた後に、更なる動作指示情報を生成するようにしてもよい。このように、動作指示生成部Ａ１２２０がユーザへの多様な動作指示を可能にすることで、誤認識確を抑止することが可能になる。Ｓ３４００で、指示動作完了判定部Ａ１２３０は、指示動作が完了したと判定すると、処理をＳ３５００に進める。
Ｓ３５００で、指示動作完了時コマンド実行部Ａ１２４０は、指示動作完了時コマンド保持部Ａ１２０４から指示動作が完了した際に実行するコマンドを取得し、取得したコマンドを実行する。 In step S3400, the instruction operation completion determination unit A1230 determines whether the cursor 13113 displayed on the three-dimensional display 13110 of the operation target device 13100 has moved according to the operation instruction indicated by the generated operation instruction information. More specifically, the instruction operation completion determination unit A1230 determines whether or not the cursor 13113 overlaps the received message display button 13111 that is an operation instruction. The operation instruction generation unit A1220 generates new operation instruction information when the cursor 13113 does not overlap the reception message display button 13111 even after 10 seconds have elapsed since the reception message display button 13111 is displayed. Note that the time until the operation instruction generation unit A1220 generates new operation instruction information need not be limited to 10 seconds, and may be adjusted according to the state of the user 2200, the use case, the state of device operation, or the like. . Further, depending on the situation, the operation instruction information generated once by the operation instruction generation unit A1220 may not be generated again as time elapses. In the present embodiment, the operation instruction generation unit A1220 generates operation instruction information indicating an operation instruction such as “overlapping the cursor 13113 with the received message display button 13111”. However, the operation instruction generation unit A1220 may generate further operation instruction information after the user 2200 places the cursor 13113 on the received message display button 13111. As described above, since the operation instruction generation unit A1220 enables various operation instructions to the user, it is possible to suppress the erroneous recognition probability. If the instruction operation completion determination unit A1230 determines that the instruction operation is completed in S3400, the process proceeds to S3500.
In S3500, command execution unit A1240 at the completion of the instruction operation acquires a command to be executed when the instruction operation is completed from command storage unit A1204 at the completion of the instruction operation, and executes the acquired command.

上記のように、操作対象機器１３１００は、動的に生成した動作指示を用いて項目の選択をユーザに行わせることによって、ジェスチャによる機器操作における誤動作を少なくし、確実な項目選択を可能にし、更に、ユーザの使い勝手を向上させることができる。
以上、本実施形態では、三次元ディスプレイを備えた操作対象機器１３１００とのインタラクションにおいて、操作対象機器１３１００がユーザに対する動作指示を動的に生成して、提示する実施形態について述べた。本実施形態において、操作対象機器１３１００は、メッセージを受信したことをユーザ２２００に通知し、受信メッセージ表示ボタン１３１１１を表示するまでの動作といった動作指示を行うまでの動作とは不連続な動作の指示を示す動作指示情報を生成する。これにより、操作対象機器１３１００は、ユーザが意図せずに項目を選択することを抑止している。
また、ユーザが三次元ディスプレイ上に表示される項目を備える機器を操作する場合は、二次元ディスプレイ上に表示される項目を操作する場合と異なり、画面に表示されるカーソル位置に影響を与えないジェスチャを定義するのが困難である。それは、以下の理由による。二次元ディスプレイ上に表示される項目に対するカーソル等の動きに対し、それと直交する軸（三つ目の空間軸）上でのカーソル等の動きは定義できる。しかし、三次元ディスプレイ上に表示される項目に対するカーソル等の動きに直交する軸（四つ目の空間軸）は定義できないからである。それに対して、本実施形態の操作対象機器１３１００は、動的に生成する動作指示情報が示す動作指示をユーザに提示する。これにより、操作対象機器１３１００は、誤動作を少なくし、ユーザが確実に機器を操作することを可能にする。 As described above, the operation target device 13100 allows a user to select an item using a dynamically generated operation instruction, thereby reducing malfunctions in device operation due to a gesture and enabling reliable item selection. Furthermore, user convenience can be improved.
As described above, in the present embodiment, the embodiment in which the operation target device 13100 dynamically generates and presents the operation instruction to the user in the interaction with the operation target device 13100 including the three-dimensional display has been described. In the present embodiment, the operation target device 13100 notifies the user 2200 that a message has been received, and indicates an operation that is discontinuous from the operation until the operation instruction such as the operation until the received message display button 13111 is displayed. Is generated. As a result, the operation target device 13100 prevents the user from selecting an item unintentionally.
In addition, when the user operates a device having items displayed on the three-dimensional display, unlike the case of operating the items displayed on the two-dimensional display, the cursor position displayed on the screen is not affected. It is difficult to define a gesture. The reason is as follows. The movement of the cursor or the like on the axis (third spatial axis) orthogonal to the movement of the cursor or the like for the item displayed on the two-dimensional display can be defined. However, this is because an axis (fourth spatial axis) orthogonal to the movement of the cursor or the like for the item displayed on the three-dimensional display cannot be defined. On the other hand, the operation target device 13100 of the present embodiment presents to the user an operation instruction indicated by the operation instruction information that is dynamically generated. As a result, the operation target device 13100 reduces malfunctions and allows the user to operate the device with certainty.

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 <Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

以上、上述した各実施形態によれば、操作対象機器をジェスチャによって効率的に操作することを可能とし、かつ、誤操作を少なくすることができる。   As described above, according to each of the above-described embodiments, it is possible to efficiently operate the operation target device with a gesture, and it is possible to reduce erroneous operations.

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   The preferred embodiment of the present invention has been described in detail above, but the present embodiment is not limited to the specific embodiment, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.

Claims (12)

機器を操作するユーザの動作情報に基づいて、前記機器の操作に係る動作指示を表示部を介してユーザに提示する提示手段と、
前記提示手段により提示された動作指示に対応する動作をユーザが完了させたか否かを判定する判定手段と、
前記判定手段により完了させたと判定された場合、前記動作の結果に基づくコマンドを実行する実行手段と、
を有する情報処理装置。 Presenting means for presenting an operation instruction related to operation of the device to the user via the display unit based on operation information of the user who operates the device;
Determining means for determining whether or not the user has completed the operation corresponding to the operation instruction presented by the presenting means;
An execution unit that executes a command based on the result of the operation when the determination unit determines that the operation has been completed;
An information processing apparatus. 機器を操作するユーザの動作を認識する認識手段と、
前記認識手段により認識された動作に係る動作情報に基づいて、前記ユーザが前記機器を操作する際の動作指示を示す動作指示情報を生成する生成手段と、
を更に有し、
前記提示手段は、前記生成手段により生成された動作指示情報が示す動作指示を表示部を介してユーザに提示する請求項１記載の情報処理装置。 Recognizing means for recognizing a user's operation of operating the device
Generating means for generating operation instruction information indicating an operation instruction when the user operates the device based on operation information related to the operation recognized by the recognition unit;
Further comprising
The information processing apparatus according to claim 1, wherein the presenting unit presents an operation instruction indicated by the operation instruction information generated by the generating unit to a user via a display unit. 前記機器を操作するユーザの撮像情報を取得する撮像情報取得手段を更に有し、
前記認識手段は、前記撮像情報取得手段により取得された撮像情報に基づいて前記ユーザの動作を認識する請求項２記載の情報処理装置。 It further has imaging information acquisition means for acquiring imaging information of a user who operates the device,
The information processing apparatus according to claim 2, wherein the recognition unit recognizes the operation of the user based on the imaging information acquired by the imaging information acquisition unit. 操作部を介して受け付けた操作情報を取得する操作情報取得手段を更に有し、
前記認識手段は、前記操作情報取得手段により取得された操作情報に基づいて前記ユーザの動作を認識する請求項２記載の情報処理装置。 It further has operation information acquisition means for acquiring operation information received via the operation unit,
The information processing apparatus according to claim 2, wherein the recognition unit recognizes the operation of the user based on the operation information acquired by the operation information acquisition unit. 前記生成手段は、前記動作情報に基づいてユーザが行う動作を推定し、前記推定した動作に基づいて前記動作指示情報を生成する請求項２乃至４何れか１項記載の情報処理装置。   5. The information processing apparatus according to claim 2, wherein the generation unit estimates an operation performed by a user based on the operation information, and generates the operation instruction information based on the estimated operation. 6. 前記生成手段は、前記推定した動作の信頼性に関する確率を求め、前記求めた確率が予め定められた確率よりも低くなる動作の指示を示す動作指示情報を生成する請求項５記載の情報処理装置。   The information processing apparatus according to claim 5, wherein the generation unit determines a probability relating to the reliability of the estimated motion, and generates motion command information indicating a motion command that causes the calculated probability to be lower than a predetermined probability. . 前記判定手段は、前記提示手段により提示された動作指示に係る動作指示情報と、前記動作指示が提示された後に前記認識手段により認識されたユーザの動作に係る動作情報とに基づいて、前記動作指示に対応する動作をユーザが完了させたか否かを判定する請求項２乃至６何れか１項記載の情報処理装置。   The determination means is based on the action instruction information related to the action instruction presented by the presenting means and the action information related to the user action recognized by the recognition means after the action instruction is presented. The information processing apparatus according to claim 2, wherein the information processing apparatus determines whether or not the user has completed an operation corresponding to the instruction. 前記判定手段は、前記動作指示が示す動作に係る移動距離と、前記動作情報が示す動作に係る移動距離との差が予め定められた閾値よりも小さいか否かに基づいて、前記動作指示に対応する動作をユーザが完了させたか否かを判定する請求項７記載の情報処理装置。   The determination unit determines whether the difference between the movement distance related to the movement indicated by the movement instruction and the movement distance related to the movement indicated by the movement information is smaller than a predetermined threshold. The information processing apparatus according to claim 7, wherein it is determined whether or not the user has completed the corresponding operation. 前記判定手段は、前記動作指示に対応する動作をユーザが予め定められた時間が経過するまでに行ったか否かに基づいて、前記動作指示に対応する動作をユーザが完了させたか否かを判定する請求項７又は８記載の情報処理装置。   The determination unit determines whether or not the user has completed the operation corresponding to the operation instruction based on whether or not the user has performed an operation corresponding to the operation instruction before a predetermined time has elapsed. The information processing apparatus according to claim 7 or 8. 前記判定手段により前記動作指示に対応する動作をユーザが完了させなかったと判定された場合、
前記生成手段は、前記動作情報に基づいて、既に生成した動作指示情報とは異なる動作指示情報を生成し、
前記提示手段は、前記生成手段により生成された前記異なる動作指示情報が示す動作指示を表示部を介してユーザに提示する請求項２乃至９何れか１項記載の情報処理装置。 When it is determined by the determination means that the user has not completed the operation corresponding to the operation instruction,
The generation means generates operation instruction information different from the already generated operation instruction information based on the operation information,
The information processing apparatus according to claim 2, wherein the presenting unit presents an operation instruction indicated by the different operation instruction information generated by the generating unit to a user via a display unit. 情報処理装置が実行する情報処理方法であって、
機器を操作するユーザの動作情報に基づいて、前記機器の操作に係る動作指示を表示部を介してユーザに提示する提示ステップと、
前記提示ステップにより提示された動作指示に対応する動作をユーザが完了させたか否かを判定する判定ステップと、
前記判定ステップにより完了させたと判定された場合、前記動作の結果に基づくコマンドを実行する実行ステップと、
を含む情報処理方法。 An information processing method executed by an information processing apparatus,
Based on the operation information of the user who operates the device, a presentation step of presenting an operation instruction related to the operation of the device to the user via the display unit;
A determination step of determining whether or not the user has completed the operation corresponding to the operation instruction presented in the presenting step;
An execution step of executing a command based on the result of the operation when it is determined that the determination is completed in the determination step;
An information processing method including: コンピュータに、
機器を操作するユーザの動作情報に基づいて、前記機器の操作に係る動作指示を表示部を介してユーザに提示する提示ステップと、
前記提示ステップにより提示された動作指示に対応する動作をユーザが完了させたか否かを判定する判定ステップと、
前記判定ステップにより完了させたと判定された場合、前記動作の結果に基づくコマンドを実行する実行ステップと、
を実行させるためのプログラム。 On the computer,
Based on the operation information of the user who operates the device, a presentation step of presenting an operation instruction related to the operation of the device to the user via the display unit;
A determination step of determining whether or not the user has completed the operation corresponding to the operation instruction presented in the presenting step;
An execution step of executing a command based on the result of the operation when it is determined that the determination is completed in the determination step;
A program for running

Images