JP2017102598A - Recognition device, recognition method, and recognition program - Google Patents
Recognition device, recognition method, and recognition program Download PDFInfo
- Publication number
- JP2017102598A JP2017102598A JP2015233926A JP2015233926A JP2017102598A JP 2017102598 A JP2017102598 A JP 2017102598A JP 2015233926 A JP2015233926 A JP 2015233926A JP 2015233926 A JP2015233926 A JP 2015233926A JP 2017102598 A JP2017102598 A JP 2017102598A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- finger
- fingertip
- point
- root
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、認識装置等に関する。 The present invention relates to a recognition device and the like.
近年、ＨＭＤ（Head Mounted Display）が普及している。ＨＭＤは、利用者の頭部に装着するディスプレイ装置であり、利用者にＣＧ（Computer Graphics）映像や遠隔映像を見せることで、利用者は、バーチャルリアリティを体験することができる。 In recent years, HMD (Head Mounted Display) has become widespread. The HMD is a display device that is worn on the user's head. By showing a CG (Computer Graphics) video or a remote video to the user, the user can experience virtual reality.
ここで、全画面型のＨＭＤを装着した利用者は目がディスプレイによって覆われるため、利用者は、ＨＭＤを装着したまま、キーボード等の入力装置を操作することが難しく、映像内の視点を変更することが難しかった。このため、ＨＭＤを装着した利用者が所定のジェスチャ等を行うことで、映像内の視点を変更できる技術が求められている。 Here, since a user wearing a full-screen HMD covers his eyes with a display, it is difficult for the user to operate an input device such as a keyboard while wearing the HMD, and the viewpoint in the video is changed. It was difficult to do. For this reason, there is a demand for a technique that allows a user wearing an HMD to change a viewpoint in a video by performing a predetermined gesture or the like.
従来技術１について説明する。従来技術１は、Kinect（登録商標）等の固定センサを用いて、利用者の腕の移動に基づくジェスチャを認識し、６方向のナビゲーションを可能とするものである。図１３は、従来技術１を説明するための図である。例えば、１Ａに示すように、利用者が手の位置を固定すると、移動停止を装置に指示する。１Ｂに示すように、利用者が腕の位置を左に移動させると、左方向への移動を装置に指示し、腕の位置を右に移動させると、右方向への移動を装置に指示する。１Ｃに示すように、利用者が腕の位置を前方へ移動させると、前方への移動を装置に指示し、腕の位置を後方へ移動させると、後方への移動を装置に指示する。１Ｄに示すように、利用者が腕の位置を上方に移動させると、上方への移動を装置に指示し、腕の位置を下方へ移動させると、下方への移動を装置に指示する。 Prior art 1 will be described. Prior art 1 recognizes a gesture based on movement of a user's arm using a fixed sensor such as Kinect (registered trademark), and enables navigation in six directions. FIG. 13 is a diagram for explaining the related art 1. For example, as shown in 1A, when the user fixes the position of the hand, the apparatus is instructed to stop moving. As shown in 1B, when the user moves the arm position to the left, the device is instructed to move leftward, and when the user moves the arm position to the right, the device is instructed to move rightward. . As shown in 1C, when the user moves the arm position forward, the device instructs the device to move forward, and when the user moves the arm position backward, the device instructs the device to move backward. As shown in 1D, when the user moves the arm position upward, the user instructs the apparatus to move upward, and when the user moves the arm position downward, the user instructs the apparatus to move downward.
従来技術１は、ＨＭＤに適用されるものではないため、仮に、従来技術１をＨＭＤに適用し、映像内の視点位置を変更する場合について検討する。ＨＭＤに搭載されるカメラは、利用者の頭部から視線方向を撮影するように取り付けられるため、撮影範囲に手のひらが含まれるものの、腕が含まれないため、腕の移動を検出できず、視点の移動方向を指示することが難しい。例えば、図１３で説明した１Ｂ，１Ｄのジェスチャを認識することが難しい。 Since the conventional technique 1 is not applied to the HMD, a case where the conventional technique 1 is applied to the HMD and the viewpoint position in the video is changed will be considered. Since the camera mounted on the HMD is attached so as to capture the direction of the line of sight from the user's head, the imaging range includes the palm, but the arm is not included, so the movement of the arm cannot be detected, and the viewpoint It is difficult to indicate the direction of movement. For example, it is difficult to recognize the 1B and 1D gestures described in FIG.
なお、従来技術１の１Ｃのように、腕を前方・後方に移動させる場合には、カメラの撮影範囲に腕を含めることが可能である。しかし、利用者毎に身体的な特徴が異なるため、利用者毎に手の長さが異なり、例えば、手のひらとカメラとの間の距離によって、腕の曲げ伸ばしを推定することが難しい。 In addition, when moving an arm forward and backward like 1C of the prior art 1, an arm can be included in the imaging | photography range of a camera. However, since the physical characteristics are different for each user, the length of the hand is different for each user. For example, it is difficult to estimate the bending and stretching of the arm depending on the distance between the palm and the camera.
従来技術２について説明する。従来技術２は、ＨＭＤのカメラの撮影範囲に、利用者の両手のひらが存在するか否かを判定し、両手のひらが存在する場合には、視点位置を前方に移動させる技術である。従来技術２は、従来技術１と比較して、両手のひらが存在するか否かを判定するだけでよいので、利用者はＨＭＤを装着した状態で、視点位置を前方に移動させることができる。 Prior art 2 will be described. Prior art 2 is a technique for determining whether or not both palms of the user are present in the shooting range of the HMD camera, and moving the viewpoint position forward if both palms are present. Compared with the prior art 1, the prior art 2 only needs to determine whether or not both palms exist, so that the user can move the viewpoint position forward while wearing the HMD.
しかしながら、上述した従来技術では、複数種類のジェスチャを認識することができないという問題がある。 However, the above-described conventional technique has a problem that it cannot recognize a plurality of types of gestures.
例えば、従来技術２では、両手のひらが存在するか否かを判定するのみであるため、操作可能な視点位置の移動方向が限られてしまう。 For example, in the conventional technique 2, since it is only determined whether or not the palms of both hands exist, the movement direction of the operable viewpoint position is limited.
１つの側面では、本発明は、複数種類のジェスチャを認識することができる認識装置、認識方法および認識プログラムを提供することを目的とする。 In one aspect, an object of the present invention is to provide a recognition device, a recognition method, and a recognition program capable of recognizing a plurality of types of gestures.
第１の案では、認識装置は、距離センサと、取得部と、特定部と、ジェスチャ認識部とを有する。距離センサは、利用者側から利用者の視線方向に空間に存在する物体までの距離情報を取得する。取得部は、距離センサから利用者の視線方向の空間に存在する物体までの距離情報を距離画像として取得する。特定部は、距離画像として表された物体の特徴点と基準点間の距離に基づいて、指先および指の根本を識別することで指領域を特定し、特定した指領域を基にして手領域を特定する。ジェスチャ認識部は、手領域に含まれる指先の位置と指の根本の位置との差分値を基にして、ジェスチャの種別を認識する。 In the first proposal, the recognition device includes a distance sensor, an acquisition unit, a specification unit, and a gesture recognition unit. The distance sensor acquires distance information from the user side to an object existing in space in the direction of the user's line of sight. The acquisition unit acquires distance information from the distance sensor to an object existing in the space in the user's line-of-sight direction as a distance image. The identifying unit identifies the finger region by identifying the fingertip and the root of the finger based on the distance between the feature point of the object represented as the distance image and the reference point, and the hand region based on the identified finger region Is identified. The gesture recognition unit recognizes the type of gesture based on the difference value between the position of the fingertip included in the hand region and the base position of the finger.
複数種類のジェスチャを認識することができる。 Multiple types of gestures can be recognized.
以下に、本願の開示する認識装置、認識方法および認識プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Hereinafter, embodiments of a recognition device, a recognition method, and a recognition program disclosed in the present application will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.
図１は、本実施例に係る認識装置の構成を示す機能ブロック図である。認識装置１００は、例えば、図示しないＨＭＤ（Head Mounted Display）に組み込まれる。認識装置１００は、ＨＭＤに搭載された距離画像センサ５０および表示装置６０に接続される。利用者は、認識装置１００が組み込まれたＨＭＤを頭部に装着する。
FIG. 1 is a functional block diagram illustrating the configuration of the recognition apparatus according to the present embodiment. The recognition apparatus 100 is incorporated in, for example, an unillustrated HMD (Head Mounted Display). The recognition device 100 is connected to a distance image sensor 50 and a
距離画像センサ５０は、距離画像センサ５０から、距離画像センサ５０の撮影範囲に含まれる物体までの距離情報を計測するセンサである。距離画像センサの撮影方向は、利用者の視線方向とする。 The distance image sensor 50 is a sensor that measures distance information from the distance image sensor 50 to an object included in the shooting range of the distance image sensor 50. The shooting direction of the distance image sensor is the user's line-of-sight direction.
距離画像センサ５０は、ＴＯＦ（Time Of Flight）方式に基づいて、距離画像センサ５０から物体までの距離情報を計測する。距離情報は、距離画像センサ５０から物体上の各点までの距離をそれぞれ含む。距離画像センサ５０は、距離情報を、認識装置１００に出力する。なお、距離画像センサ５０は、カメラによる撮影範囲の画像と距離情報とを組み合わせた距離画像の情報を、認識装置１００に出力しても良い。また、距離画像としては、対象物体と距離センサ間の距離を画素値で表した距離画像であってもよい。また、以下に説明する処理も、距離情報の代わりに、距離画像を用いて、処理を行っても良い。 The distance image sensor 50 measures distance information from the distance image sensor 50 to an object based on the TOF (Time Of Flight) method. The distance information includes the distance from the distance image sensor 50 to each point on the object. The distance image sensor 50 outputs distance information to the recognition device 100. The distance image sensor 50 may output to the recognition device 100 information on a distance image obtained by combining an image of a shooting range captured by a camera and distance information. Further, the distance image may be a distance image in which the distance between the target object and the distance sensor is represented by a pixel value. The processing described below may also be performed using a distance image instead of distance information.
表示装置６０は、認識装置１００から出力される映像情報を表示する表示装置である。
The
認識装置１００は、取得部１１０と、特定部１２０と、ジェスチャ認識部１３０と、表示制御部１４０とを有する。
The recognition apparatus 100 includes an
取得部１１０は、距離画像センサ５０から距離情報を取得する取得部である。取得部１１０は、取得した距離情報を、特定部１２０に出力する。
The
特定部１２０は、距離情報に含まれる物体上の点と基準点との距離を基にして、利用者の指先および指の根本を識別することで、指領域を特定し、特定した指領域を基にして手領域を特定する処理部である。特定部１２０は、手領域の情報を、ジェスチャ認識部１３０に出力する。
The identifying
以下において、特定部１２０の処理を具体的に説明する。特定部１２０は、手領域候補を切り出す処理、手領域候補の輪郭を平滑化する処理、指先候補点と指根本候補点とを特定する処理、指領域を特定する処理、手領域候補が手領域か否かを特定する処理を実行する。
Below, the process of the specific |
特定部１２０が、手領域候補を切り出す処理について説明する。特定部１２０は、距離情報に基づいて、距離画像センサ５０からの距離が閾値未満となる領域に存在する物体を、手領域候補として切り出す。
A process in which the specifying
図２は、手領域候補を切り出す処理を説明するための図である。図２において、例えば、距離情報１０ａには、物体１１，１２，１３，１４が含まれる。物体１１〜１４のうち、物体１４が、距離画像センサ５０からの距離が閾値未満となる領域に存在するものとする。この場合には、特定部１２０は、距離情報１０ａから物体１４を切り出すことで、距離情報１０ｂを生成する。
FIG. 2 is a diagram for explaining a process of cutting out hand region candidates. In FIG. 2, for example, the
特定部１２０が、手領域候補の輪郭を平滑化する処理について説明する。特定部１２０は、手領域候補を切り出した距離情報について、隣り合う輪郭との重み付き平均などを実行することで、平滑化を行う。
A process in which the specifying
図３は、平滑化する処理を説明するための図である。特定部１２０は、距離情報全体に、平滑化フィルタ２０をかけることで、距離情報を平滑化する。平滑化フィルタは、中心画素２１ｉの距離の値を、式（１）に基づき算出するフィルタである。
FIG. 3 is a diagram for explaining the smoothing process. The
中心画素２１ｉの距離の値＝１／９（画素２１ａの距離の値＋画素２１ｂの距離の値＋画素２１ｃの距離の値＋画素２１ｄの距離の値＋画素２１ｅの距離の値＋画素２１ｆの距離の値＋画素２１ｇの距離の値＋画素２１ｈの距離の値）・・・（１）
The distance value of the
特定部１２０が、指先候補点と指根本候補点とを特定する処理について説明する。図４および図５は、指先候補点と指根本候補点とを特定する処理を説明するための図である。特定部１２０は、平滑化が行われた距離情報に含まれる手領域候補１４について、基準点１５を設定する。図４に示したように、例えば、特定部１２０は、手領域候補１４の重心位置を、基準点１５として設定する。
The process in which the specifying
特定部１２０は、手領域候補１４の輪郭上の全点について、下記の第１条件および第２条件を満たす点を算出し、指先候補点と指根本候補点とを特定する。ここでは、図５に示すように、隣り合う輪郭上の点１６Ａ，点１６Ｂ，点１６Ｃを用いて説明する。基準点１５と、点１６Ａとの距離をＤａとする。基準点１５と、点１６Ｂとの距離をＤｂとする。基準点１５と、点１６Ｃとの距離をＤｃとする。
The specifying
特定部１２０は、下記の第１条件を満たす場合に、点１６Ｂを、指先候補点として特定する。
The specifying
第１条件：Ｄａ＜Ｄｂ、Ｄｂ＞Ｄｃ First condition: Da <Db, Db> Dc
特定部１２０は、第２条件を満たす場合に、点１６Ｂを、指根本候補点として特定する。
When the second condition is satisfied, the specifying
第２条件：Ｄａ＞Ｄｂ、Ｄｂ＜Ｄｃ Second condition: Da> Db, Db <Dc
特定部１２０は、例えば、図４の手領域候補１４の輪郭上の全点について、上記処理を繰り返し実行することで、指先候補点１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅ，１７ｆ，１７ｇを特定する。また、特定部１２０は、指根本候補点１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅを特定する。
The identifying
特定部１２０は、各指先候補点１７ａ〜１７ｇの位置を比較し、各指先候補点間の距離が閾値未満となる指先候補点同士をマージする。また、特定部１２０は、各指根本点候補１８ａ〜１８ｅの位置を比較し、各指根本候補点間の距離が閾値未満となる指根本候補点同士をマージする。
The specifying
例えば、図４に示す例では、指先候補点１７ｅと指先候補点１７ｆとの距離が閾値未満であるため、特定部１２０は、指先候補点１７ｅと指先候補点１７ｆとをマージする。例えば、特定部１２０は、指先候補点１７ｅを残し、指先候補点１７ｆを削除することでマージする。なお、特定部１２０は、指先候補点１７ｅの距離と、指先候補点１７ｆの距離との平均距離を求め、求めた平均距離を、新たな指先候補点の距離とし、指先候補点１７ｅ，１７ｆを削除することで、マージしても良い。
For example, in the example shown in FIG. 4, since the distance between the
ここで、上記処理では、端の指における指根本候補点の検出が不安定となり、適切に指根本候補点を検出できない場合がある。このため、特定部１２０は、下記に示す処理を更に実行することで、上記処理では検出していない指根本候補点を検出してもよい。
Here, in the above process, the detection of the finger base candidate point in the end finger becomes unstable, and the finger base candidate point may not be detected appropriately. For this reason, the specifying
図６は、指根本候補点を検出するその他の処理を説明するための図である。特定部１２０は、複数の指先候補点を通る直線と、手領域候補１４の輪郭との交点とを求め、求めた交点を、指根本候補点として検出する。例えば、図６に示すように、特定部１２０は、指根本候補点１８ｄ，１８ｅを通る直線１９と、手領域候補１４の輪郭の交点１８ｆを、指根本候補点として検出する。
FIG. 6 is a diagram for explaining another process for detecting a root candidate point. The specifying
なお、特定部１２０は、後述する処理により手領域を特定した後に、手領域に含まれる指根本点を通る直線と、手領域候補１４の輪郭の交点を、指根本点として検出しても良い。以下の説明では、指根本点を通る直線と、手領域候補１４の輪郭の交点により特定した指根本点を、仮想指根本点と表記する。
Note that the specifying
特定部１２０が指領域を特定する処理について説明する。図７は、指領域を特定する処理を説明するための図である。特定部１２０は、下記の第３条件および第４条件を満たす指先候補点と２つの指根本候補点とからなる領域を指領域として特定する。
Processing for specifying the finger area by the specifying
一例として、図７に示すように、指先候補点１７Ａと、二つの指根本候補点１８Ｂ，１８Ｃとを用いて説明する。ここでは、指先候補点１７Ａと、二つの指根本候補点１８Ｂ，１８Ｃとからなる三角形を三角形ＡＢＣと表記する。特定部１２０は、三角形ＡＢＣの形状を判定し、第３条件を満たし、かつ、第４条件を満たす場合に、三角形ＡＢＣの領域を指領域として判定する。
As an example, as shown in FIG. 7, description will be made using a fingertip candidate point 17 </ b> A and two finger root candidate points 18 </ b> B and 18 </ b> C. Here, a triangle composed of the fingertip candidate point 17A and the two finger root candidate points 18B and 18C is represented as a triangle ABC. The specifying
第３条件：三角形ＡＢＣの点１７Ａの角度が鋭角である。
第４条件：点１７Ａおよび点１８Ｂを結ぶ辺ＡＢの長さと、点１７Ａおよび点１８Ｃを結ぶ辺ＡＣとの長さの差分が閾値未満である。
Third condition: The angle of the
Fourth condition: The difference between the length of the side AB connecting the
図７に示す三角形ＡＢＣが、第３条件および第４条件を満たす場合には、特定部１２０は、指先候補点１７Ａと、二つの指根本候補点１８Ｂ，１８Ｃとに囲まれる領域を、指領域として特定する。特定部１２０は、他の指先候補点、他の二つの指根本候補点について、上記処理を繰り返し実行することで、他の指領域を特定する。以下の説明では、指領域に含まれる指先候補点を指先点と表記し、指領域に含まれる指根本候補点を指根本点と表記する。
When the triangle ABC shown in FIG. 7 satisfies the third condition and the fourth condition, the specifying
また、特定部１２０は、指先候補点と、１つの指根本候補点と、１つの仮想指根本点とから構成される三角形を特定し、特定した三角形が、第３条件および第４条件を満たす場合には、該当する三角形を指領域として特定する。
Further, the specifying
特定部１２０が、手領域候補が手領域か否かを判定する処理について説明する。特定部１２０は、手領域候補から検出した指領域の数を基にして、手領域候補が手領域であるか否かを判定する。例えば、特定部１２０は、手領域候補に含まれる指領域の数が、５である場合に、手領域候補が手領域であると判定する。
A process in which the specifying
図８は、手領域を特定する処理を説明するための図である。例えば、図８に示す例では、手領域候補１４から、指領域２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅが特定されたものとする。特定部１２０は、指領域２０ａ〜２０ｅの数が「５」であるため、手領域候補１４が、手領域であると判定する。
FIG. 8 is a diagram for explaining processing for specifying a hand region. For example, in the example illustrated in FIG. 8, it is assumed that the
特定部１２０は、手領域の情報を、ジェスチャ認識部１３０に出力する。手領域の情報には、手領域に含まれる各指領域の指先点の距離および指根本点の距離が含まれる。ここで、指先点の距離は、距離画像センサ５０から指先点までの距離を示す。指根本点の距離は、距離画像センサ５０から指根本点までの距離を示す。なお、特定部１２０は、指先点の距離および指根本点の距離を、３次元座標に変換してもよい。
The
ジェスチャ認識部１３０は、手領域に含まれる指先点の距離と、指根本点の距離との差分値を基にして、ジェスチャの種別を認識する処理部である。例えば、ジェスチャ認識部１３０は、指先点の距離から指根本の距離を引いた値が「正の値」である場合には、手領域が前方に傾いていると認識する。これに対して、ジェスチャ認識部１３０は、指先点の距離から指根本点の距離を引いた値が「負の値」である場合には、手領域が後方に傾いていると認識する。
The
なお、ジェスチャ認識部１３０は、指領域に含まれる指先点および指根本点の差分値を、各指領域からそれぞれ算出し、算出した複数の差分値の平均値を、上記の差分値としても良い。または、ジェスチャ認識部１３０は、複数の指領域のうち、いずれか一つの指領域を選択し、選択した指領域に含まれる指先点および指根本点に基づき、上記差分値を算出しても良い。
Note that the
ジェスチャ認識部１３０は、ジェスチャの認識結果の情報を、表示制御部１４０に出力する。例えば、ジェスチャの認識結果の情報には、手領域が前方に傾いているか、手領域が後方に傾いているかの情報と、手領域に含まれる指先点の距離と、指根本点の距離との差分値の絶対値の情報が含まれる。
The
表示制御部１４０は、バーチャル空間の映像を、表示装置６０に表示させる処理部である。また、表示制御部１４０は、ジェスチャの認識結果の情報を基にして、表示装置６０に表示させるバーチャル空間上の利用者の視点位置を移動させる。
The display control unit 140 is a processing unit that displays the video in the virtual space on the
例えば、表示制御部１４０は、ジェスチャの認識結果の情報に、手領域が前方に傾いている旨の情報が含まれている場合には、表示装置６０に表示させるバーチャル空間の映像を制御して、バーチャル空間上の利用者の視点位置を前方に移動させる。
For example, if the gesture recognition result information includes information indicating that the hand region is tilted forward, the display control unit 140 controls the virtual space image displayed on the
表示制御部１４０は、ジェスチャの認識結果の情報に、手領域が後方に傾いている旨の情報が含まれている場合には、表示装置６０に表示させるバーチャル空間の映像を制御して、バーチャル空間上の利用者の視点位置を後方に移動させる。
If the gesture recognition result information includes information indicating that the hand region is tilted backward, the display control unit 140 controls the virtual space image to be displayed on the
表示制御部１４０は、利用者の視点位置を移動させる場合の移動速度を、ジェスチャの認識結果の情報に含まれる絶対値の情報を基にして調整しても良い。例えば、表示制御部１４０は、絶対値が大きくなるほど、視点位置の移動速度を速くし、絶対値が０に近づくほど、移動速度を遅くする。 The display control unit 140 may adjust the moving speed when the user's viewpoint position is moved based on the absolute value information included in the gesture recognition result information. For example, the display control unit 140 increases the moving speed of the viewpoint position as the absolute value increases, and decreases the moving speed as the absolute value approaches 0.
次に、本実施例に係る認識装置の処理手順の一例について説明する。図９は、本実施例に係る認識装置の処理手順を示すフローチャートである。図９に示す処理は、認識装置１００が、距離画像センサ５０から距離情報を取得する度に実行される。図９に示すように、認識装置１００の特定部１２０は、手領域候補を切り出す（ステップＳ１０１）。
Next, an example of a processing procedure of the recognition apparatus according to the present embodiment will be described. FIG. 9 is a flowchart illustrating the processing procedure of the recognition apparatus according to the present embodiment. The process illustrated in FIG. 9 is executed every time the recognition apparatus 100 acquires distance information from the distance image sensor 50. As illustrated in FIG. 9, the specifying
特定部１２０は、手領域候補の輪郭を平滑化する（ステップＳ１０２）。特定部１２０は、手領域候補に含まれる指先候補点と指根本候補点とを算出する（ステップＳ１０３）。特定部１２０は、指先候補点と指根本候補点とから指領域を算出する（ステップＳ１０４）。
The identifying
特定部１２０は、指領域の数をカウントする（ステップＳ１０５）。特定部１２０は、指領域の数が５であるか否かを判定する（ステップＳ１０６）。特定部１２０は、指領域の数が５でない場合には（ステップＳ１０６，Ｎｏ）、処理を終了する。
The identifying
特定部１２０は、指領域の数が５である場合には（ステップＳ１０６，Ｙｅｓ）、指領域を含む手領域候補を、手領域として特定する（ステップＳ１０７）。認識装置１００のジェスチャ認識部１３０は、手領域に含まれる指先点の距離と指根本点の距離との差分値を基にして、ジェスチャを認識する（ステップＳ１０８）。
When the number of finger areas is five (step S106, Yes), the specifying
認識装置１００の表示制御部１４０は、ジェスチャの認識結果を基にして、バーチャル空間の視点位置を制御する（ステップＳ１０９）。 The display control unit 140 of the recognition apparatus 100 controls the viewpoint position in the virtual space based on the gesture recognition result (step S109).
次に、図９のステップＳ１０３に示した指先候補点と指根本候補点とを算出する処理手順について説明する。図１０は、指先候補点と指根本候補点とを算出する処理手順を示すフローチャートである。図１０に示すように、認識装置１００の特定部１２０は、基準点を決定する（ステップＳ２０１）。
Next, the processing procedure for calculating the fingertip candidate points and the finger root candidate points shown in step S103 of FIG. 9 will be described. FIG. 10 is a flowchart showing a processing procedure for calculating a fingertip candidate point and a root candidate point. As illustrated in FIG. 10, the specifying
特定部１２０は、手領域候補の輪郭の全点に対して、第１条件を満たす点を指先候補点として特定する（ステップＳ２０２）。特定部１２０は、手領域候補の輪郭の全点に対して、第２条件を満たす点を指根本候補点として特定する（ステップＳ２０３）。
The specifying
特定部１２０は、隣接する指先候補点同士をマージする（ステップＳ２０４）。特定部１２０は、隣接する指根本候補点同士をマージする（ステップＳ２０５）。
The specifying
次に、図９のステップＳ１０４に示した指先候補点と根本候補点から指領域を算出する処理手順について説明する。図１１は、指先候補点と指根本候補点から指領域を算出する処理手順を示すフローチャートである。図１１に示すように、認識装置１００の特定部１２０は、両隣に指根本候補点がある指先候補点を選択する（ステップＳ３０１）。
Next, a processing procedure for calculating a finger region from the fingertip candidate point and the root candidate point shown in step S104 of FIG. 9 will be described. FIG. 11 is a flowchart illustrating a processing procedure for calculating a finger region from a fingertip candidate point and a finger root candidate point. As illustrated in FIG. 11, the identifying
特定部１２０は、指先候補点Ａと、その指先候補点Ａの両隣の指根本候補点Ｂ，Ｃとを結ぶ三角形ＡＢＣが、第３条件および第４条件を満たす場合に、三角形ＡＢＣの領域を指領域として特定する（ステップＳ３０２）。
When the triangle ABC connecting the fingertip candidate point A and the root candidate points B and C on both sides of the fingertip candidate point A satisfies the third condition and the fourth condition, the specifying
特定部１２０は、指領域に属する指根本点を通る直線と、手領域候補の輪郭との交点を仮想指根本点として特定する（ステップＳ３０３）。特定部１２０は、指先候補点Ａと、その指先候補点Ａの両隣の指根本候補点（仮想指根本点）Ｂ，Ｃとを結ぶ三角形ＡＢＣが、第３条件および第４条件を満たす場合に、三角形ＡＢＣの領域を指領域として特定する（ステップＳ３０４）。
The specifying
次に、本実施例に係る認識装置１００の効果について説明する。認識装置１００は、距離情報に含まれる物体の指先候補点および指根本候補点に基づいて手領域を特定し、手領域に含まれる指先点と指根本点との差分を基にして、ジェスチャの種別を認識する。このため、認識装置１００によれば、複数種類のジェスチャを認識することができる。また、ジェスチャの認識結果を用いることで、例えば、全画面表示ＨＭＤにおいて、直感的な視点移動ナビゲーションが可能となる。 Next, the effect of the recognition apparatus 100 according to the present embodiment will be described. The recognition apparatus 100 identifies the hand region based on the fingertip candidate point and the finger root candidate point of the object included in the distance information, and based on the difference between the fingertip point and the finger root point included in the hand region, Recognize the type. For this reason, according to the recognition apparatus 100, multiple types of gestures can be recognized. In addition, by using the gesture recognition result, for example, an intuitive viewpoint movement navigation is possible in a full-screen display HMD.
認識装置１００は、物体上の隣り合う３つの点を選択し、選択した点と基準点との距離の関係が、第１条件を満たす場合に、中央の点を指先候補点として選択する。このため、物体上の各点から指先の候補を適切に特定することができる。 The recognition apparatus 100 selects three adjacent points on the object, and selects the center point as a fingertip candidate point when the distance relationship between the selected point and the reference point satisfies the first condition. For this reason, a fingertip candidate can be appropriately identified from each point on the object.
認識装置１００は、物体上の隣り合う３つの点を選択し、選択した点と基準点との距離の関係が、第２条件を満たす場合に、中央の点を指根本候補点として選択する。このため、物体上の各点から指根本の候補を適切に特定することができる。 The recognition apparatus 100 selects three adjacent points on the object, and selects the central point as a root candidate point when the relationship between the distance between the selected point and the reference point satisfies the second condition. Therefore, it is possible to appropriately specify the root candidate from each point on the object.
認識装置１００は、指先候補点と、隣り合う指根本候補点とを選択し、選択した各候補点によって構成される三角形の形状が、第３条件および第４条件を満たす場合に、選択した各候補点の領域を指領域として特定する。このため、物体から指領域を正確に特定することができる。 The recognizing device 100 selects a fingertip candidate point and an adjacent finger root candidate point, and when the shape of a triangle formed by each selected candidate point satisfies the third condition and the fourth condition, The candidate point area is specified as the finger area. For this reason, the finger region can be accurately identified from the object.
認識装置１００は、特定した指領域の数が５である場合に、各指領域を含む手領域候補を、手領域として判定する。このため、利用者は、意識的に手の指を開いた状態で、手を傾けることで、認識装置１００にジェスチャを認識させることができる。また、利用者の手の指が開いていない状態で、誤って手を視線前に出してしまっても、手の領域として認識されないので、意識していない間に、認識装置１００にジェスチャを認識させることを防止できる。 When the number of specified finger areas is 5, the recognition apparatus 100 determines a hand area candidate including each finger area as a hand area. For this reason, the user can make the recognition apparatus 100 recognize the gesture by tilting the hand with the finger of the hand consciously opened. In addition, even if the user's hand is not open, even if the hand is accidentally placed in front of the line of sight, it is not recognized as a hand region, so the recognition device 100 recognizes the gesture without being conscious. Can be prevented.
認識装置１００は、指先点の距離から指根本点の距離を引いた値が正の値である場合には、手領域が前方に傾いていると認識する。また、認識装置１００は、指先点の距離から指根本点の距離を引いた値が負の値である場合には、手領域が後方に傾いていると認識する。このため、認識装置１００は、利用者の身体的な相違に左右されることなく、利用者のジェスチャを適切に認識することができる。 The recognizing device 100 recognizes that the hand region is tilted forward when the value obtained by subtracting the distance between the fingertip points from the distance between the fingertip points is a positive value. Further, when the value obtained by subtracting the distance between the fingertip points from the distance between the fingertip points is a negative value, the recognition apparatus 100 recognizes that the hand region is inclined backward. For this reason, the recognition apparatus 100 can recognize a user's gesture appropriately, without being influenced by a user's physical difference.
認識装置１００は、複数の指根本点を通る直線と、手領域候補の輪郭との交点を新たな指根本候補点として特定し、特定した新たな指根本候補点を用いて、指領域を特定する。このため、端の指における指根本候補点の検出が不安定となっても、適切に指根本候補点を検出することができる。 The recognition apparatus 100 specifies an intersection of a straight line passing through a plurality of finger root points and the contour of a hand region candidate as a new finger root candidate point, and specifies a finger region using the specified new finger root candidate point To do. For this reason, even if the detection of the finger root candidate point on the end finger becomes unstable, the finger root candidate point can be appropriately detected.
ところで、上述した認識装置１００の処理は一例であり、認識装置１００は、その他の処理を行ってジェスチャを認識しても良い。例えば、認識装置１００のジェスチャ認識部１３０は、指先点の距離から指根本点の距離を引いた値が「負の値」である場合には、手領域が後方に傾いていると認識すると判定していたが、これに限定されるものではない。
By the way, the process of the recognition apparatus 100 mentioned above is an example, and the recognition apparatus 100 may recognize a gesture by performing other processes. For example, the
例えば、ジェスチャ認識部１３０は、取得部１１０から距離情報を取得し、距離画像センサ５０から物体までの距離が閾値未満である場合には、手領域が後方に傾いていると認識してもよい。
For example, the
距離画像センサ５０は、ＨＭＤに直接装着されるものの他に、ヘルメットに装着しても良い。また、距離画像センサ５０は、必ずしも頭部に装着しなくても良い。例えば、利用者が首から距離画像センサ５０をかける装着方法でも良い。 The distance image sensor 50 may be mounted on a helmet in addition to that mounted directly on the HMD. The distance image sensor 50 does not necessarily have to be mounted on the head. For example, a wearing method in which the user puts the distance image sensor 50 from the neck may be used.
本実施例に係る認識装置１００を組み込むＨＭＤは、全画面表示ＨＭＤでも良いし、光学シースルーＨＭＤ等でも良い。また、表示装置６０はＨＭＤに限定されるものではなく、プロジェクタ等を用いて、ユーザの視界に投影しても良い。
The HMD incorporating the recognition apparatus 100 according to the present embodiment may be a full screen display HMD, an optical see-through HMD, or the like. The
次に、上記実施例に示した認識装置１００と同様の機能を実現する認識プログラムを実行するコンピュータの一例について説明する。図１２は、認識プログラムを実行するコンピュータの一例を示す図である。 Next, an example of a computer that executes a recognition program that realizes the same function as the recognition device 100 described in the above embodiment will be described. FIG. 12 is a diagram illustrating an example of a computer that executes a recognition program.
図１２に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５と、距離画像センサ３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、ハードディスク装置３０８とを有する。そして、各装置３０１〜３０８は、バス３０９に接続される。
As illustrated in FIG. 12, the
ハードディスク装置３０８は、取得プログラム３０８ａ、特定プログラム３０８ｂ、認識プログラム３０８ｃを有する。ＣＰＵ３０１は、取得プログラム３０８ａ、特定プログラム３０８ｂ、認識プログラム３０８ｃを読み出してＲＡＭ３０７に展開する。
The
取得プログラム３０８ａは、取得プロセス３０７ａとして機能する。特定プログラム３０８ｂは、特定プロセス３０７ｂとして機能する。認識プログラム３０８ｃは、認識プロセス３０７ｃとして機能する。
The
取得プロセス３０７ａの処理は、取得部１１０の処理に対応する。特定プロセス３０７ｂの処理は、特定部１２０の処理に対応する。認識プロセス３０７ｃの処理は、ジェスチャ認識部１３０の処理に対応する。
The process of the acquisition process 307a corresponds to the process of the
なお、取得プログラム３０８ａ、特定プログラム３０８ｂ、認識プログラム３０８ｃについては、必ずしも最初からハードディスク装置３０８に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０８ａ〜３０８ｃを読み出して実行するようにしてもよい。
Note that the
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following supplementary notes are further disclosed with respect to the embodiments including the above examples.
（付記１）利用者側から利用者の視線方向に空間に存在する物体までの距離情報を取得する距離センサと、
前記距離センサから利用者の視線方向の空間に存在する物体までの距離情報を距離画像として取得する取得部と、
前記距離画像として表された前記物体の特徴点と基準点間の距離に基づいて、指先および指の根本を識別することで指領域を特定し、特定した指領域を基にして手領域を特定する特定部と、
前記手領域に含まれる前記指先の位置と前記指の根本の位置との差分値を基にして、ジェスチャの種別を認識するジェスチャ認識部と
を有することを特徴とする認識装置。
(Supplementary Note 1) A distance sensor that acquires distance information from a user side to an object that exists in space in the direction of the user's line of sight;
An acquisition unit that acquires, as a distance image, distance information from the distance sensor to an object that exists in a space in a user's line-of-sight direction;
Based on the distance between the feature point of the object represented as the distance image and the reference point, the finger region is identified by identifying the fingertip and the root of the finger, and the hand region is identified based on the identified finger region. Specific part to do,
A gesture recognition unit, comprising: a gesture recognition unit that recognizes a gesture type based on a difference value between the position of the fingertip included in the hand region and the position of the base of the finger.
（付記２）前記特定部は前記物体上の隣り合う３つの特徴点を選択し、前記基準点と第１特徴点との第１距離、前記基準点と第２特徴点との第２距離、前記基準点と第３特徴点との第３距離を算出し、前記第２距離が前記第１距離よりも大きく、かつ、前記第２距離が前記第３距離よりも大きい場合に、前記第２点を指先の点として識別することを特徴とする付記１に記載の認識装置。 (Appendix 2) The specifying unit selects three adjacent feature points on the object, a first distance between the reference point and the first feature point, a second distance between the reference point and the second feature point, When the third distance between the reference point and the third feature point is calculated, and the second distance is larger than the first distance and the second distance is larger than the third distance, the second distance is calculated. The recognition apparatus according to appendix 1, wherein the point is identified as a fingertip point.
（付記３）前記特定部は前記物体上の隣り合う３つの特徴点を選択し、前記基準点と第１特徴点との第１距離、前記基準点と第２特徴点との第２距離、前記基準点と第３特徴点との第３距離を算出し、前記第２距離が前記第１距離よりも小さく、かつ、前記第２距離が前記第３距離よりも小さい場合に、前記第２点を指根本の点として識別することを特徴とする付記１または２に記載の認識装置。 (Supplementary Note 3) The specifying unit selects three adjacent feature points on the object, a first distance between the reference point and the first feature point, a second distance between the reference point and the second feature point, When the third distance between the reference point and the third feature point is calculated, and the second distance is smaller than the first distance and the second distance is smaller than the third distance, the second distance is calculated. The recognition apparatus according to appendix 1 or 2, wherein the point is identified as a point of a root of a finger.
（付記４）前記特定部は、前記指先と、隣り合う第１の指の根本および第２の指の根本を選択し、前記指先から第１の指の根本までの距離と、前記指先から第２の指の根本までの距離との差が閾値未満であり、かつ、前記指先および第１の指の根本を通る線分と、前記指先および第２の指の根本を通る線分とによって形成される角度が所定角度未満である場合に、前記指先と、隣り合う第１の指の根本および第２の指の根本に囲まれる領域を、前記指領域として特定することを特徴とする付記１、２または３に記載の認識装置。 (Supplementary Note 4) The specifying unit selects the fingertip, the root of the first finger adjacent to the fingertip, and the root of the second finger, the distance from the fingertip to the root of the first finger, A difference between the distance to the root of the second finger is less than a threshold value and a line segment passing through the fingertip and the first finger root and a line segment passing through the fingertip and the second finger root When the angle to be performed is less than a predetermined angle, the fingertip and a region surrounded by the root of the first finger and the root of the second finger adjacent to each other are specified as the finger region. 2. The recognition device according to 2 or 3.
（付記５）前記特定部は、特定した指領域の数が５である場合に、各指領域を含む物体の領域を手領域として特定することを特徴とする付記１〜４のいずれか一つに記載の認識装置。 (Additional remark 5) The said specific | specification part specifies the area | region of the object containing each finger area | region as a hand area, when the number of the specified finger area | regions is 5, Any one of Additional remarks 1-4 characterized by the above-mentioned. The recognition device described in 1.
（付記６）前記ジェスチャ認識部は、前記指先の位置から前記指の根本の位置を引いた値が正の値である場合には、前記手領域が前方に傾いていると認識し、前記指先の位置から前記指の根本の位置を引いた値が負の値である場合には、前記手領域が後方に傾いていると認識することを特徴とする付記１〜５のいずれか一つに記載の認識装置。 (Supplementary Note 6) When the value obtained by subtracting the base position of the finger from the position of the fingertip is a positive value, the gesture recognition unit recognizes that the hand region is tilted forward, and the fingertip When the value obtained by subtracting the base position of the finger from the position is a negative value, it is recognized that the hand region is tilted backward. The recognition device described.
（付記７）前記特定部は、複数の指の根本を通る直線と、前記物体の輪郭との交点を新たな指の根本として特定し、特定した新たな指の根本を用いて指領域を特定することを特徴とする付記１〜６のいずれか一つに記載の認識装置。 (Additional remark 7) The said specific | specification part specifies the intersection of the straight line which passes through the root of several fingers, and the outline of the said object as a new finger root, and specifies a finger area | region using the specified new finger root The recognition device according to any one of supplementary notes 1 to 6, wherein:
（付記８）コンピュータが実行する認識方法であって、
利用者側から利用者の視線方向に空間に存在する物体までの距離情報を取得する距離センサから利用者の視線方向の空間に存在する物体までの距離情報を距離画像として取得し、
前記距離画像として表された前記物体の特徴点と基準点間の距離に基づいて、指先および指の根本を識別することで指領域を特定し、特定した指領域を基にして手領域を特定し、
前記手領域に含まれる前記指先の位置と前記指の根本の位置との差分値を基にして、ジェスチャの種別を認識する
処理を実行することを特徴とする認識方法。
(Appendix 8) A recognition method executed by a computer,
Obtain distance information from the user side to the object that exists in the space in the user's line-of-sight direction as a distance image from the distance sensor that acquires distance information to the object in the space in the user's line-of-sight direction,
Based on the distance between the feature point of the object represented as the distance image and the reference point, the finger region is identified by identifying the fingertip and the root of the finger, and the hand region is identified based on the identified finger region. And
A recognition method, comprising: performing a process of recognizing a gesture type based on a difference value between the position of the fingertip included in the hand region and the position of the base of the finger.
（付記９）前記特定する処理は、前記物体上の隣り合う３つの特徴点を選択し、前記基準点と第１特徴点との第１距離、前記基準点と第２特徴点との第２距離、前記基準点と第３特徴点との第３距離を算出し、前記第２距離が前記第１距離よりも大きく、かつ、前記第２距離が前記第３距離よりも大きい場合に、前記第２点を指先の点として識別することを特徴とする付記８に記載の認識方法。 (Additional remark 9) The said process to specify selects the three feature points adjacent on the said object, the 1st distance of the said reference point and a 1st feature point, and the 2nd of the said reference point and a 2nd feature point. Calculating a distance, a third distance between the reference point and the third feature point, and when the second distance is greater than the first distance and the second distance is greater than the third distance, The recognition method according to appendix 8, wherein the second point is identified as a fingertip point.
（付記１０）前記特定する処理は、前記物体上の隣り合う３つの特徴点を選択し、前記基準点と第１特徴点との第１距離、前記基準点と第２特徴点との第２距離、前記基準点と第３特徴点との第３距離を算出し、前記第２距離が前記第１距離よりも小さく、かつ、前記第２距離が前記第３距離よりも小さい場合に、前記第２点を指根本の点として識別することを特徴とする付記８または９に記載の認識方法。 (Supplementary Note 10) The specifying process selects three adjacent feature points on the object, a first distance between the reference point and the first feature point, and a second distance between the reference point and the second feature point. Calculating a distance, a third distance between the reference point and the third feature point, and when the second distance is smaller than the first distance and the second distance is smaller than the third distance, The recognition method according to appendix 8 or 9, wherein the second point is identified as a root point.
（付記１１）前記特定する処理は、前記指先と、隣り合う第１の指の根本および第２の指の根本を選択し、前記指先から第１の指の根本までの距離と、前記指先から第２の指の根本までの距離との差が閾値未満であり、かつ、前記指先および第１の指の根本を通る線分と、前記指先および第２の指の根本を通る線分とによって形成される角度が所定角度未満である場合に、前記指先と、隣り合う第１の指の根本および第２の指の根本に囲まれる領域を、前記指領域として特定することを特徴とする付記８、９または１０に記載の認識方法。 (Additional remark 11) The process to specify selects the said fingertip, the base of the 1st finger | toe adjacent, and the base of the 2nd finger, the distance from the said fingertip to the root of the 1st finger, and the said fingertip A difference between the distance to the root of the second finger is less than a threshold and a line segment passing through the fingertip and the first finger root and a line segment passing through the fingertip and the second finger root Note that when the formed angle is less than a predetermined angle, an area surrounded by the fingertip and the base of the first finger and the base of the second finger adjacent to each other is specified as the finger area. The recognition method according to 8, 9 or 10.
（付記１２）前記特定する処理は、特定した指領域の数が５である場合に、各指領域を含む物体の領域を手領域として特定することを特徴とする付記８〜１１のいずれか一つに記載の認識方法。 (Additional remark 12) When the number of the specified finger area | regions is 5, the process to specify specifies the area | region of the object containing each finger area | region as a hand area, Any one of Additional remarks 8-11 characterized by the above-mentioned. The recognition method described in one.
（付記１３）前記認識する処理は、前記指先の位置から前記指の根本の位置を引いた値が正の値である場合には、前記手領域が前方に傾いていると認識し、前記指先の位置から前記指の根本の位置を引いた値が負の値である場合には、前記手領域が後方に傾いていると認識することを特徴とする付記８〜１２のいずれか一つに記載の認識方法。 (Supplementary Note 13) When the value obtained by subtracting the base position of the finger from the position of the fingertip is a positive value, the recognizing process recognizes that the hand region is tilted forward, and the fingertip If the value obtained by subtracting the base position of the finger from the position is a negative value, it is recognized that the hand region is tilted backward. The recognition method described.
（付記１４）前記特定する処理は、複数の指の根本を通る直線と、前記物体の輪郭との交点を新たな指の根本として特定し、特定した新たな指の根本を用いて指領域を特定することを特徴とする付記８〜１３のいずれか一つに記載の認識方法。 (Supplementary note 14) The specifying process specifies an intersection of a straight line passing through a plurality of finger roots and an outline of the object as a new finger root, and uses the specified new finger root to specify a finger region. The recognition method according to any one of appendices 8 to 13, characterized in that the recognition method is specified.
（付記１５）コンピュータに、
利用者側から利用者の視線方向に空間に存在する物体までの距離情報を取得する距離センサから利用者の視線方向の空間に存在する物体までの距離情報を距離画像として取得し、
前記距離画像として表された前記物体の特徴点と基準点間の距離に基づいて、指先および指の根本を識別することで指領域を特定し、特定した指領域を基にして手領域を特定し、
前記手領域に含まれる前記指先の位置と前記指の根本の位置との差分値を基にして、ジェスチャの種別を認識する
処理を実行させることを特徴とする認識プログラム。
(Supplementary note 15)
Obtain distance information from the user side to the object that exists in the space in the user's line-of-sight direction as a distance image from the distance sensor that acquires distance information to the object in the space in the user's line-of-sight direction,
Based on the distance between the feature point of the object represented as the distance image and the reference point, the finger region is identified by identifying the fingertip and the root of the finger, and the hand region is identified based on the identified finger region. And
A recognition program that executes a process of recognizing a gesture type based on a difference value between the position of the fingertip and the position of the base of the finger included in the hand region.
（付記１６）前記特定する処理は、前記物体上の隣り合う３つの特徴点を選択し、前記基準点と第１特徴点との第１距離、前記基準点と第２特徴点との第２距離、前記基準点と第３特徴点との第３距離を算出し、前記第２距離が前記第１距離よりも大きく、かつ、前記第２距離が前記第３距離よりも大きい場合に、前記第２点を指先の点として識別することを特徴とする付記１５に記載の認識プログラム。
(Supplementary Note 16) In the specifying process, three adjacent feature points on the object are selected, a first distance between the reference point and the first feature point, and a second distance between the reference point and the second feature point. Calculating a distance, a third distance between the reference point and the third feature point, and when the second distance is greater than the first distance and the second distance is greater than the third distance, The recognition program according to
（付記１７）前記特定する処理は、前記物体上の隣り合う３つの特徴点を選択し、前記基準点と第１特徴点との第１距離、前記基準点と第２特徴点との第２距離、前記基準点と第３特徴点との第３距離を算出し、前記第２距離が前記第１距離よりも小さく、かつ、前記第２距離が前記第３距離よりも小さい場合に、前記第２点を指根本の点として識別することを特徴とする付記１５または１６に記載の認識プログラム。
(Supplementary Note 17) The specifying process selects three adjacent feature points on the object, a first distance between the reference point and the first feature point, and a second distance between the reference point and the second feature point. Calculating a distance, a third distance between the reference point and the third feature point, and when the second distance is smaller than the first distance and the second distance is smaller than the third distance, The recognition program according to
（付記１８）前記特定する処理は、前記指先と、隣り合う第１の指の根本および第２の指の根本を選択し、前記指先から第１の指の根本までの距離と、前記指先から第２の指の根本までの距離との差が閾値未満であり、かつ、前記指先および第１の指の根本を通る線分と、前記指先および第２の指の根本を通る線分とによって形成される角度が所定角度未満である場合に、前記指先と、隣り合う第１の指の根本および第２の指の根本に囲まれる領域を、前記指領域として特定することを特徴とする付記１５、１６または１７に記載の認識プログラム。 (Supplementary note 18) The specifying process selects the fingertip, the root of the first finger adjacent to the fingertip, and the root of the second finger, the distance from the fingertip to the root of the first finger, and the fingertip A difference between the distance to the root of the second finger is less than a threshold and a line segment passing through the fingertip and the first finger root and a line segment passing through the fingertip and the second finger root Note that when the formed angle is less than a predetermined angle, an area surrounded by the fingertip and the base of the first finger and the base of the second finger adjacent to each other is specified as the finger area. The recognition program according to 15, 16 or 17.
（付記１９）前記特定する処理は、特定した指領域の数が５である場合に、各指領域を含む物体の領域を手領域として特定することを特徴とする付記１５〜１８のいずれか一つに記載の認識プログラム。 (Additional remark 19) When the number of the specified finger area | regions is 5, the process to specify specifies the area | region of the object containing each finger area | region as a hand area, Any one of Additional remarks 15-18 characterized by the above-mentioned. The recognition program described in 1.
（付記２０）前記認識する処理は、前記指先の位置から前記指の根本の位置を引いた値が正の値である場合には、前記手領域が前方に傾いていると認識し、前記指先の位置から前記指の根本の位置を引いた値が負の値である場合には、前記手領域が後方に傾いていると認識することを特徴とする付記１５〜１９のいずれか一つに記載の認識プログラム。 (Supplementary note 20) When the value obtained by subtracting the base position of the finger from the position of the fingertip is a positive value, the recognizing process recognizes that the hand region is tilted forward, and the fingertip If the value obtained by subtracting the base position of the finger from the position is a negative value, it is recognized that the hand region is tilted backward. The recognition program described.
（付記２１）前記特定する処理は、複数の指の根本を通る直線と、前記物体の輪郭との交点を新たな指の根本として特定し、特定した新たな指の根本を用いて指領域を特定することを特徴とする付記１５〜２０のいずれか一つに記載の認識プログラム。
(Supplementary note 21) The specifying process specifies an intersection of a straight line passing through a plurality of finger roots and the contour of the object as a new finger root, and uses the specified new finger root to specify a finger region. The recognition program according to any one of
５０ 距離画像センサ
６０ 表示装置
１００ 認識装置
１１０ 取得部
１２０ 特定部
１３０ ジェスチャ認識部
１４０ 表示制御部
DESCRIPTION OF SYMBOLS 50
Claims (9)
前記距離センサから利用者の視線方向の空間に存在する物体までの距離情報を距離画像として取得する取得部と、
前記距離画像として表された前記物体の特徴点と基準点間の距離に基づいて、指先および指の根本を識別することで指領域を特定し、特定した指領域を基にして手領域を特定する特定部と、
前記手領域に含まれる前記指先の位置と前記指の根本の位置との差分値を基にして、ジェスチャの種別を認識するジェスチャ認識部と
を有することを特徴とする認識装置。 A distance sensor for acquiring distance information from the user side to an object existing in space in the direction of the user's line of sight;
An acquisition unit that acquires, as a distance image, distance information from the distance sensor to an object that exists in a space in a user's line-of-sight direction;
Based on the distance between the feature point of the object represented as the distance image and the reference point, the finger region is identified by identifying the fingertip and the root of the finger, and the hand region is identified based on the identified finger region. Specific part to do,
A gesture recognition unit, comprising: a gesture recognition unit that recognizes a gesture type based on a difference value between the position of the fingertip included in the hand region and the position of the base of the finger.
利用者側から利用者の視線方向に空間に存在する物体までの距離情報を取得する距離センサから利用者の視線方向の空間に存在する物体までの距離情報を距離画像として取得し、
前記距離画像として表された前記物体の特徴点と基準点間の距離に基づいて、指先および指の根本を識別することで指領域を特定し、特定した指領域を基にして手領域を特定し、
前記手領域に含まれる前記指先の位置と前記指の根本の位置との差分値を基にして、ジェスチャの種別を認識する
処理を実行することを特徴とする認識方法。 A recognition method performed by a computer,
Obtain distance information from the user side to the object that exists in the space in the user's line-of-sight direction as a distance image from the distance sensor that acquires distance information to the object in the space in the user's line-of-sight direction,
Based on the distance between the feature point of the object represented as the distance image and the reference point, the finger region is identified by identifying the fingertip and the root of the finger, and the hand region is identified based on the identified finger region. And
A recognition method, comprising: performing a process of recognizing a gesture type based on a difference value between the position of the fingertip included in the hand region and the position of the base of the finger.
利用者側から利用者の視線方向に空間に存在する物体までの距離情報を取得する距離センサから利用者の視線方向の空間に存在する物体までの距離情報を距離画像として取得し、
前記距離画像として表された前記物体の特徴点と基準点間の距離に基づいて、指先および指の根本を識別することで指領域を特定し、特定した指領域を基にして手領域を特定し、
前記手領域に含まれる前記指先の位置と前記指の根本の位置との差分値を基にして、ジェスチャの種別を認識する
処理を実行させることを特徴とする認識プログラム。 On the computer,
Obtain distance information from the user side to the object that exists in the space in the user's line-of-sight direction as a distance image from the distance sensor that acquires distance information to the object in the space in the user's line-of-sight direction,
Based on the distance between the feature point of the object represented as the distance image and the reference point, the finger region is identified by identifying the fingertip and the root of the finger, and the hand region is identified based on the identified finger region. And
A recognition program that executes a process of recognizing a gesture type based on a difference value between the position of the fingertip and the position of the base of the finger included in the hand region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015233926A JP2017102598A (en) | 2015-11-30 | 2015-11-30 | Recognition device, recognition method, and recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015233926A JP2017102598A (en) | 2015-11-30 | 2015-11-30 | Recognition device, recognition method, and recognition program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017102598A true JP2017102598A (en) | 2017-06-08 |
Family
ID=59015470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015233926A Pending JP2017102598A (en) | 2015-11-30 | 2015-11-30 | Recognition device, recognition method, and recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017102598A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111736693A (en) * | 2020-06-09 | 2020-10-02 | 海尔优家智能科技（北京）有限公司 | Gesture control method and device of intelligent equipment |
| WO2020255598A1 (en) * | 2019-06-20 | 2020-12-24 | ヌヴォトンテクノロジージャパン株式会社 | Distance measurement imaging device |
| US11318877B2 (en) | 2019-05-29 | 2022-05-03 | Toyota Boshoku Kabushiki Kaisha | Vehicle light-adjusting system |
| WO2023070933A1 (en) * | 2021-10-26 | 2023-05-04 | 深圳市鸿合创新信息技术有限责任公司 | Gesture recognition method and apparatus, device, and medium |
| CN116842180A (en) * | 2023-08-30 | 2023-10-03 | 中电科大数据研究院有限公司 | Method and device for identifying industry to which document belongs |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10207619A (en) * | 1997-01-22 | 1998-08-07 | Toshiba Corp | User interface device and operation range indicating method |
| JP2003346162A (en) * | 2002-05-28 | 2003-12-05 | Japan Science & Technology Corp | Input system by image recognition of hand |
| JP2007538318A (en) * | 2004-05-14 | 2007-12-27 | 本田技研工業株式会社 | Sign-based human-machine interaction |
| WO2014128788A1 (en) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Shape recognition device, shape recognition program, and shape recognition method |
-
2015
- 2015-11-30 JP JP2015233926A patent/JP2017102598A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10207619A (en) * | 1997-01-22 | 1998-08-07 | Toshiba Corp | User interface device and operation range indicating method |
| JP2003346162A (en) * | 2002-05-28 | 2003-12-05 | Japan Science & Technology Corp | Input system by image recognition of hand |
| JP2007538318A (en) * | 2004-05-14 | 2007-12-27 | 本田技研工業株式会社 | Sign-based human-machine interaction |
| WO2014128788A1 (en) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Shape recognition device, shape recognition program, and shape recognition method |
Non-Patent Citations (2)
| Title |
|---|
| 中村 淳一: "粒子フィルタと最小分類誤り学習を用いた映像オブジェクト追跡法の検討", 電子情報通信学会技術研究報告, vol. 111, no. 441, JPN6019038075, 13 February 2012 (2012-02-13), pages 79 - 84, ISSN: 0004127478 * |
| 白石 孝弥: "距離画像センサを用いた日本語の指文字認識のための手領域自動抽出と指方向認識", 電気学会論文誌Ｃ 電子・情報・システム部門誌, vol. 135, no. 11, JPN6019038073, 1 November 2015 (2015-11-01), pages 1328 - 1336, ISSN: 0004127477 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11318877B2 (en) | 2019-05-29 | 2022-05-03 | Toyota Boshoku Kabushiki Kaisha | Vehicle light-adjusting system |
| WO2020255598A1 (en) * | 2019-06-20 | 2020-12-24 | ヌヴォトンテクノロジージャパン株式会社 | Distance measurement imaging device |
| JP7411656B2 (en) | 2019-06-20 | 2024-01-11 | ヌヴォトンテクノロジージャパン株式会社 | Distance imaging device |
| CN111736693A (en) * | 2020-06-09 | 2020-10-02 | 海尔优家智能科技（北京）有限公司 | Gesture control method and device of intelligent equipment |
| CN111736693B (en) * | 2020-06-09 | 2024-03-22 | 海尔优家智能科技（北京）有限公司 | Gesture control method and device of intelligent equipment |
| WO2023070933A1 (en) * | 2021-10-26 | 2023-05-04 | 深圳市鸿合创新信息技术有限责任公司 | Gesture recognition method and apparatus, device, and medium |
| CN116842180A (en) * | 2023-08-30 | 2023-10-03 | 中电科大数据研究院有限公司 | Method and device for identifying industry to which document belongs |
| CN116842180B (en) * | 2023-08-30 | 2023-12-19 | 中电科大数据研究院有限公司 | Method and device for identifying industry to which document belongs |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6597235B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP7191714B2 (en) | Systems and methods for direct pointing detection for interaction with digital devices | |
| US9927881B2 (en) | Hand tracker for device with display | |
| KR101844390B1 (en) | Systems and techniques for user interface control | |
| KR101743948B1 (en) | Method for hover sensing in the interactive display and method for processing hover sensing image | |
| KR101663452B1 (en) | Screen Operation Apparatus and Screen Operation Method | |
| CN106845335B (en) | Gesture recognition method and device for virtual reality equipment and virtual reality equipment | |
| TWI516093B (en) | Image interaction system, detecting method for detecting finger position, stereo display system and control method of stereo display | |
| JP6015250B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2017102598A (en) | Recognition device, recognition method, and recognition program | |
| JP6314251B2 (en) | Operation input device, operation input method and program | |
| KR20140002007A (en) | Information processing device, information processing method, and recording medium | |
| JP6524589B2 (en) | Click operation detection device, method and program | |
| JP6693223B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2012238293A (en) | Input device | |
| WO2023173668A1 (en) | Input recognition method in virtual scene, device and storage medium | |
| KR20230072757A (en) | Wearable electronic device and operating method of wearable electronic device | |
| Schmieder et al. | Thumbs up: 3D gesture input on mobile phones using the front facing camera | |
| JP2016071824A (en) | Interface device, finger tracking method, and program | |
| CN109164924B (en) | Character input method and system for recognizing character input method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190416 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191008 |