JP7163649B2 - GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND GESTURE DETECTION CONTROL PROGRAM - Google Patents
GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND GESTURE DETECTION CONTROL PROGRAM Download PDFInfo
- Publication number
- JP7163649B2 JP7163649B2 JP2018135291A JP2018135291A JP7163649B2 JP 7163649 B2 JP7163649 B2 JP 7163649B2 JP 2018135291 A JP2018135291 A JP 2018135291A JP 2018135291 A JP2018135291 A JP 2018135291A JP 7163649 B2 JP7163649 B2 JP 7163649B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- gestures
- similarity
- immediately
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、入力操作に用いるジェスチャを検出するジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラムに関するものである。 The present invention relates to a gesture detection device, a gesture detection method, and a gesture detection control program for detecting gestures used for input operations.
従来のジェスチャ検出装置として、例えば、特許文献1に記載されたものが知られている。特許文献1のジェスチャ検出装置(ハンドパターンスイッチ装置)は、操作者のジェスチャが意図をもって行われたものか、不用意に行われたものかを確実に識別するようにし、誤認識の発生を抑制している。具体的には、カメラによる撮像領域において、操作者が予め設定した手指の形状で、その手指の位置を所定時間にわたって、停止させたとき、検出装置は、操作者の意図を持ったジェスチャによる操作が開始されたものと認識するようになっている。そして、その後に、検出装置は、手指の形状と動きとに基づいてくジェスチャ操作の検出処理を実行するようになっている。
As a conventional gesture detection device, for example, one described in
しかしながら、上記特許文献1では、検出装置は、操作者の意図を持ったジェスチャ操作の開始を認識するために、予め設定した手指の形状で、所定時間にわたって停止させる必要があり、ジェスチャ操作が煩雑(手間のかかる)ものとなっている。
However, in
本発明の目的は、上記問題に鑑み、ジェスチャ検出のための操作の手間を増やすことなく、操作者の意図を持ったジェスチャであることを認識可能とするジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラムを提供することにある。 SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide a gesture detection device, a gesture detection method, and a gesture that enable recognition of a gesture intended by an operator without increasing the time and effort required for gesture detection. An object of the present invention is to provide a detection control program.
本発明は上記目的を達成するために、以下の技術的手段を採用する。 The present invention adopts the following technical means in order to achieve the above objects.
第1の発明では、操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、ジェスチャを検出するジェスチャ検出装置において、
撮像装置(10)によって撮像された操作者の撮像データから抽出された特徴量データに基づいて、ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとしてジェスチャの区間を抽出するジェスチャ区間抽出部(120)と、
開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部(130)と、を備え、
ジェスチャ区間抽出部は、
互いに類似する複数組みのジェスチャについて、それぞれ類似度を算出する類似度算出部(122)と、
類似度算出部によって算出された類似度のうち、類似度の最も高い組のジェスチャを一組のジェスチャとして抽出し、開始直前ジェスチャ、および終了直後ジェスチャを決定する開始終了決定部(123)と、を有することを特徴としている。
In a first invention, in a gesture detection device for detecting a gesture when performing an input operation on an operation target based on a gesture of an operator,
Based on the feature amount data extracted from the imaging data of the operator imaged by the imaging device (10), the first gesture of a pair of gestures similar to each other is the gesture just before the start, and the latter is the end gesture. a gesture segment extraction unit (120) for extracting a segment of the gesture as the gesture immediately after;
a gesture identification unit (130) that identifies a gesture performed between the gesture just before the start and the gesture just after the end as an input gesture ;
The gesture segment extraction unit
a similarity calculation unit (122) that calculates the similarity for each of a plurality of sets of gestures that are similar to each other;
a start/end determination unit (123) that extracts a set of gestures having the highest similarity among the similarities calculated by the similarity calculation unit as a set of gestures, and determines a gesture immediately before the start and a gesture immediately after the end; It is characterized by having
また、第2の発明では、操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、ジェスチャを検出するジェスチャ検出方法において、
撮像装置(10)によって撮像された操作者の撮像データから抽出された特徴量データに基づいて、ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとしてジェスチャの区間を抽出し、
開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別すると共に、
互いに類似する複数組みのジェスチャについて、それぞれ類似度を算出し、
算出された類似度のうち、類似度の最も高い組のジェスチャを一組のジェスチャとして抽出し、開始直前ジェスチャ、および終了直後ジェスチャを決定することを特徴としている。
Further, in the second invention, in a gesture detection method for detecting a gesture when performing an input operation on an operation target based on a gesture of an operator,
Based on the feature amount data extracted from the imaging data of the operator imaged by the imaging device (10), the first gesture of a pair of gestures similar to each other is the gesture just before the start, and the latter is the end gesture. Immediately after extracting the gesture interval as a gesture,
identifying gestures made between the just-beginning gesture and the just-ending gesture as input gestures ;
Calculating the degree of similarity for each of a plurality of sets of gestures that are similar to each other,
A gesture having the highest similarity among the calculated similarities is extracted as a set of gestures, and a gesture immediately before the start and a gesture immediately after the end are determined .
また、第3の発明では、操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、ジェスチャを検出するジェスチャ検出制御プログラムにおいて、
コンピュータを、
撮像装置(10)によって撮像された操作者の撮像データから抽出された特徴量データに基づいて、ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとしてジェスチャの区間を抽出するジェスチャ区間抽出部(120)と、
開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部(130)として機能させると共に、
ジェスチャ区間抽出部において、
互いに類似する複数組みのジェスチャについて、それぞれ類似度を算出する類似度算出部(122)と、
類似度算出部によって算出された類似度のうち、類似度の最も高い組のジェスチャを一組のジェスチャとして抽出し、開始直前ジェスチャ、および終了直後ジェスチャを決定する開始終了決定部(123)として機能させることを特徴としている。
Further, in the third invention, in the gesture detection control program for detecting the gesture when performing the input operation on the operation target based on the operator's gesture,
the computer,
Based on the feature amount data extracted from the imaging data of the operator imaged by the imaging device (10), the first gesture of a pair of gestures similar to each other is the gesture just before the start, and the latter is the end gesture. a gesture segment extraction unit (120) for extracting a segment of the gesture as the gesture immediately after;
Functioning as a gesture identification unit (130) for identifying a gesture performed between the gesture immediately before the start and the gesture immediately after the end as an input gesture ,
In the gesture segment extraction unit,
a similarity calculation unit (122) that calculates the similarity for each of a plurality of sets of gestures that are similar to each other;
Functions as a start/end determination unit (123) that extracts a set of gestures with the highest similarity among the similarities calculated by the similarity calculation unit as a set of gestures, and determines the gesture just before the start and the gesture just after the end. It is characterized by
一般的に、操作者がジェスチャを行う際の開始時と終了時では、類似した姿勢を取る。即ち、操作者は所定のジェスチャを開始するときは、まず、所定の手指形状(ジェスチャの基本形状)で手をかざす行為をとり、所定のジェスチャを実行した後は、最初と同じ所定の手指形状を維持して、ジェスチャを終了する。 In general, the operator takes similar postures at the start and end of gestures. That is, when starting a predetermined gesture, the operator first takes an action of holding his/her hand in a predetermined finger shape (basic shape of the gesture), and after executing the predetermined gesture, performs the same predetermined finger shape as the beginning. to end the gesture.
よって、本発明によれば、互いに類似する一組のジェスチャを捉えることで、開始直前ジェスチャおよび終了直後ジェスチャを抽出して、ジェスチャの区間を抽出することが可能となる。そして、開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別することで、例えば、不用意に行われたジェスチャではなく、操作者の意図を持ったジェスチャとして確実に認識することが可能となる。よって、従来技術のように、わざわざジェスチャ検出のための操作の手間を増やすことなく、入力用のジェスチャを認識することができ、ひいては、誤認識の発生を抑制することができる。 Therefore, according to the present invention, by capturing a set of gestures that are similar to each other, it is possible to extract the gesture just before the start and the gesture just after the end, thereby extracting the gesture section. By identifying the gesture made between the gesture just before the start and the gesture just after the end as the gesture for input, for example, it can be ensured that it is a gesture intended by the operator, not a gesture made carelessly. can be recognized. Therefore, it is possible to recognize the gesture for input without increasing the trouble of operation for gesture detection as in the conventional technology, and furthermore, it is possible to suppress the occurrence of erroneous recognition.
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。 It should be noted that the reference numerals in parentheses of the above means indicate the corresponding relationship with specific means described in the embodiments to be described later.
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。 A plurality of modes for carrying out the present invention will be described below with reference to the drawings. In each form, the same reference numerals may be given to the parts corresponding to the matters described in the preceding form, and overlapping explanations may be omitted. When only a part of the configuration is described in each form, the previously described other forms can be applied to other parts of the configuration. Not only combinations of parts that are explicitly stated that combinations are possible in each embodiment, but also partial combinations of embodiments even if they are not explicitly stated unless there is a particular problem with the combination. is also possible.
(第1実施形態)
第1実施形態のジェスチャ検出装置100について図1~図4を用いて説明する。本実施形態のジェスチャ検出装置100は、車両に搭載され、運転者(操作者)の体の特定部位の動き(ジェスチャ)に基づいて、各種車両機器に対する入力操作を行う際の、ジェスチャを検出する装置となっている。
(First embodiment)
A
各種車両機器としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置(以下、カーナビ装置)、テレビ放映、ラジオ放送、CD/DVDの再生等を行うオーディオ装置等、がある。これらの各種車両機器は、本発明の操作対象に対応する。尚、各種車両機器としては、上記に限らず、ヘッドアップディスプレイ装置、ルームランプ装置、後席サンシェード装置、電動シート装置、グローボックス開閉装置等がある。 Various types of vehicle equipment include, for example, an air conditioner that air-conditions the interior of the vehicle, a car navigation device that displays the current position of the vehicle or displays guidance to a destination (hereinafter referred to as a car navigation device), television broadcasting, radio broadcasting, CD / Audio device for playing back DVDs, etc. These various vehicle devices correspond to the operation targets of the present invention. Various types of vehicle equipment are not limited to those described above, but include a head-up display device, a room lamp device, a rear seat sunshade device, an electric seat device, a glove box opening and closing device, and the like.
ジェスチャ検出装置100は、図1に示すように、撮像装置10によって撮像された運転者の体の特定の部位の撮像データをもとに、入力操作用のジェスチャを検出する。検出されたジェスチャに基づいて、各種車両機器が操作され、操作の結果(作動状態等)が情報機器20に表示されるようになっている。
As shown in FIG. 1 , the
運転者の体の特定部位としては、例えば、運転者の手の指、手の平、腕等とすることができる。本実施形態では、入力操作用のジェスチャとして、主に手の指(指差しジェスチャ、サークルジェスチャ、ウェーブジェスチャ、フリックジェスチャ等)を用いるものとしている。 The specific part of the driver's body can be, for example, the finger, palm, arm, or the like of the driver's hand. In this embodiment, as gestures for input operation, fingers (pointing gesture, circle gesture, wave gesture, flick gesture, etc.) are mainly used.
尚、各種車両機器は、入力操作用のジェスチャによって、例えば、空調装置であると、設定温度の変更、空調風の風量の変更等が行われ、また、カーナビ装置では、地図の拡大縮小、目的地設定等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。 In the case of an air conditioner, the set temperature and the air volume of the air-conditioned air can be changed, for example, by gestures for input operation of various vehicle devices. On the audio device, the TV station and radio station are changed, music is selected, volume is changed, and so on.
撮像装置10は、運転者の体の特定部位の動きを連続的に(時間経過と共に)撮像し、撮像データをジェスチャ検出装置100(手検出部110)に出力するようになっている。
The
撮像装置10としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。
As the
また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するToF(Time of Flight)カメラ等がある。本実施形態では、撮像装置10としては、カメラを用いたものとしている。
In addition, as a range image sensor, for example, a stereo camera that measures information in the depth direction from parallax by photographing simultaneously with multiple cameras, or depth is measured by the time it takes for the light from the light source to be reflected by the target object. There are ToF (Time of Flight) cameras and the like for measurement. In this embodiment, a camera is used as the
情報機器20は、各種車両機器の作動状態等を表示する表示部であり、空調表示部、カーナビ表示部、およびオーディオ表示部等がある。情報機器20は、例えば、液晶ディスプレイあるいは有機ELディスプレイ等によって形成されている。
The
ジェスチャ検出装置100は、例えば、CPU、ROM、RAM等を備えたコンピュータであり、手検出部110、ジェスチャ区間抽出部120、およびジェスチャ識別部130等を備えている。
The
手検出部110は、撮像装置10によって撮像された撮像データ(画像)から、運転者の手が存在する領域を特定して、特定した領域のデータをジェスチャ区間抽出部120に出力するようになっている。尚、手を検出する手法としては、例えば、以下の文献等に示されている。
・M. Kolsch and M. Turk.: Robust Hand Detection. FGR, 2004
・Wei Fan, Li Chen, Wei Liu, Yuan He, Jun Sun, Shutao Li: Monocular Vision Based Relative Depth Estimation for Hand Gesture Recognition. MVA 2013 。
The
・M. Kolsch and M. Turk.: Robust Hand Detection. FGR, 2004
・Wei Fan, Li Chen, Wei Liu, Yuan He, Jun Sun, Shutao Li: Monocular Vision Based Relative Depth Estimation for Hand Gesture Recognition. MVA 2013.
ジェスチャ区間抽出部120は、運転者が入力操作のために意図的に行ったジェスチャの区間を抽出する部位であり、開始終了候補抽出部121、類似度算出部122、および開始終了決定部123等を有している(詳細後述)。
The gesture
ジェスチャ識別部130は、ジェスチャ区間抽出部120によって抽出された区間のジェスチャを、入力操作のために運転者が意図的に行ったジェスチャとして識別する部位である。ジェスチャ識別部130は、識別したジェスチャを各種車両機器、および情報機器20に出力する部位となっている。
The
本実施形態のジェスチャ検出装置100は、以上のような構成となっており、以下、図2~図4を加えて、作動および作用効果について説明する。
The
撮像装置10によって撮像された撮像データは、手検出部110に出力される。手検出部110は、撮像データにおいて、手が存在する領域を特定して、特定した領域のデータを、ジェスチャ区間抽出部120の開始終了候補抽出部121に出力する。
Imaged data imaged by the
開始終了候補抽出部121は、図2に示すように、手検出部110から出力された撮像データのフレームから、ジェスチャの開始時および終了時のフレームの候補を抽出する。ここで、ジェスチャの開始時のフレームというのは、運転手がジェスチャを行う際の開始時の状態を示すフレームである。例えば、実行するジェスチャを、フリックジェスチャとすると、ジェスチャ開始時というのは、まず、指を立てた手をかざした状態に対応する。また、ジェスチャの終了時というのは、フリックジェスチャを終えたときに、開始時と同様に、指を立てた手の姿勢が維持された状態に対応する。
The start/end
開始終了候補抽出部121は、3枚以上の連続した撮像フレーム(撮像データ)を用いて、1つのフレームに基づく静的な特徴量(特徴量データ)と、複数のフレームに基づく動的な特徴量(特徴量データ)とを抽出し、それらを結合して1つの特徴量を作成する。好適には、静的特徴量としてHOG(Histogram of Oriented Gradient)、動的特徴量としてHoOF(Histogram of Optical Flow)が使用できる。
The start/end
開始終了候補抽出部121のデータベースには、予め、ジェスチャの開始時および終了時の特徴量と、それ以外の時の特徴量との分類基準を学習した基準データが記憶されている。そして、開始終了候補抽出部121は、実際の撮像フレームの中から抽出した特徴量を基準データにより分類し、開始時および終了時の特徴量としての基準を満たすものを候補として抽出する。学習・分類には機械学習の手法を用いることができ、好適にはRandom Forestが使用できる。図2では、連続する撮像フレームのうち、符号1、2、3、4で表示された部分が、ジェスチャの開始時および終了時の候補として複数抽出された部分(フレーム)となっている。
The database of the start/end
類似度算出部122は、開始終了候補抽出部121によって抽出された複数の候補のうち、2つで一組みとなるすべての組合せを形成して、各組の候補の撮像フレームから、静的な特徴量(特徴量データ)を抽出し、抽出した特徴量を用いて、各組ごとの類似度を算出する。図3では、2つで一組みとなるすべての組み合せは、符号1と2、符号1と3、符号1と4、符号2と3、符号2と4、符号3と4であることを示している。類似度算出部122は、これらのすべての組み合せについて、2つの候補の類似度をそれぞれ算出するのである。
The
開始終了決定部123は、類似度算出部122によって算出された類似度のうち、最も高い類似度を持つ組み合せ(一組)を抽出し、その組み合せにおいて、早い方(先の方)を開始直前ジェスチャのフレームとし、また遅い方(後の方)を終了直後のジェスチャのフレームとして決定する。そして、開始終了決定部123は、開始直前のフレームと終了直後のフレームの間のフレームを、運転者が入力操作のために行ったジェスチャの区間として決定する。図4では、図3における各組み合せのうち、各符号1と2の組み合せの類似度が最も高く、符号1と2の間が、ジェスチャ区間として決定されたことを示している。
The start/
そして、ジェスチャ識別部130は、開始終了決定部123によって決定されたジェスチャ区間の全撮像フレームについて、静的な特徴量と動的な特徴量とを抽出する。ジェスチャ識別部130のデータベースには、予め、各ジェスチャ動作の特徴量を分類する基準を示すジェスチャ基準データが記憶されている。そして、ジェスチャ識別部130は、ジェスチャ基準データに基づき、ジェスチャ区間における撮像フレームの特徴量が、どのジェスチャ動作のものか識別(分類)する。
Then, the
ジェスチャ識別部130は、識別したジェスチャを各種車両機器、および各情報機器20に出力することで、各種車両機器は、ジェスチャに応じた入力操作が行われ、各情報機器20には、操作された作動状態等が表示される。
一般的に、運転手がジェスチャを行う際の開始時と終了時では、類似した姿勢を取る。即ち、運転手は所定のジェスチャを開始するときは、まず、所定の手指形状(ジェスチャの基本形状)で手をかざす行為をとり、所定のジェスチャを実行した後は、最初と同じ所定の手指形状を維持して、ジェスチャを終了する。 In general, the driver assumes similar postures at the beginning and at the end of gesturing. That is, when starting a predetermined gesture, the driver first takes an action of holding his/her hand in a predetermined finger shape (basic shape of the gesture), and after executing the predetermined gesture, the driver performs the same predetermined finger shape as the beginning. to end the gesture.
よって、本実施形態によれば、ジェスチャ区間抽出部120は、互いに類似する一組のジェスチャを捉えることで、開始直前ジェスチャおよび終了直後ジェスチャを抽出して、ジェスチャの区間を抽出することが可能となる。そして、ジェスチャ識別部130は、開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別することで、例えば、不用意に行われたジェスチャではなく、運転主の意図を持ったジェスチャとして確実に認識することが可能となる。よって、従来技術のように、わざわざジェスチャ検出のための操作の手間を増やすことなく、入力用のジェスチャを認識することができ、ひいては、誤認識の発生を抑制することができる。
Therefore, according to the present embodiment, the gesture
また、本実施形態では、類似度算出部122が処理を行う前段階で、互いに類似する複数組みのジェスチャの候補を抽出する開始終了候補抽出部121を設けている。これにより、複数組みのジェスチャの候補を予め抽出することで、類似度算出部122において、各組の候補に対して類似度を順序立てて計算することが可能となり、計算負荷を減らすことができる。
Further, in the present embodiment, the start/end
(その他の実施形態)
上記第1実施形態では、手検出部110を設けるものとして説明したが、手検出部110を廃止して、撮像装置10によって撮像された撮像データをジェスチャ区間抽出部120に出力するものとしてもよい。
(Other embodiments)
In the first embodiment described above, the
上記第1実施形態では、開始終了候補抽出部121を設けるものとして説明したが、計算の負荷を重視しないのであれば、開始終了候補抽出部121は、廃止したものとしてもよい。
In the first embodiment described above, the start/end
また、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、ジェスチャを行うことで、ジェスチャ検出装置100によるジェスチャ検出が行われて、各種車両機器の操作が可能となる。
Also, the target operator is not limited to the driver, and may be a passenger. In this case, the passenger's gesture is also detected by the
尚、上記第1実施形態で説明したジェスチャ検出装置100が実行する内容は、本発明の「ジェスチャ検出方法」に対応する。また、上記第1実施形態では、ジェスチャ検出のために、ジェスチャ検出装置100を用いたものとして説明したが、例えば、センタサーバーやクラウド等の記憶媒体に記憶された制御プログラムによって、コンピュータが、各部110、120、130として機能するようにすることで、ジェスチャ検出が可能である。
The contents executed by the
10 撮像装置
100 ジェスチャ検出装置
120 ジェスチャ区間抽出部
121 開始終了候補抽出部
122 類似度算出部
123 開始終了決定部
130 ジェスチャ識別部
10
Claims (4)
撮像装置(10)によって撮像された前記操作者の撮像データから抽出された特徴量データに基づいて、前記ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとして前記ジェスチャの区間を抽出するジェスチャ区間抽出部(120)と、
前記開始直前ジェスチャと前記終了直後ジェスチャとの間に行われた前記ジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部(130)と、を備え、
前記ジェスチャ区間抽出部は、
互いに類似する複数組みのジェスチャについて、それぞれ類似度を算出する類似度算出部(122)と、
前記類似度算出部によって算出された前記類似度のうち、前記類似度の最も高い組のジェスチャを前記一組のジェスチャとして抽出し、前記開始直前ジェスチャ、および前記終了直後ジェスチャを決定する開始終了決定部(123)と、を有するジェスチャ検出装置。 A gesture detection device for detecting a gesture when performing an input operation on an operation target based on a gesture of an operator,
Based on the feature data extracted from the imaging data of the operator captured by an imaging device (10), the first gesture of a pair of gestures similar to each other among the gestures is referred to as the immediately-before-start gesture, and the subsequent one. a gesture segment extraction unit (120) for extracting a segment of the gesture as a gesture immediately after the end of
a gesture identification unit (130) that identifies the gesture performed between the gesture immediately before the start and the gesture immediately after the end as an input gesture ;
The gesture segment extraction unit
a similarity calculation unit (122) that calculates the similarity for each of a plurality of sets of gestures that are similar to each other;
A start/end determination of extracting a set of gestures having the highest degree of similarity among the degrees of similarity calculated by the degree of similarity calculation unit as the set of gestures, and determining the gesture immediately before the start and the gesture immediately after the end. (123) .
撮像装置(10)によって撮像された前記操作者の撮像データから抽出された特徴量データに基づいて、前記ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとして前記ジェスチャの区間を抽出し、
前記開始直前ジェスチャと前記終了直後ジェスチャとの間に行われた前記ジェスチャを、入力用ジェスチャとして識別すると共に、
互いに類似する複数組みのジェスチャについて、それぞれ類似度を算出し、
算出された前記類似度のうち、前記類似度の最も高い組のジェスチャを前記一組のジェスチャとして抽出し、前記開始直前ジェスチャ、および前記終了直後ジェスチャを決定するジェスチャ検出方法。 A gesture detection method for detecting a gesture when performing an input operation on an operation target based on a gesture of an operator,
Based on the feature amount data extracted from the imaging data of the operator imaged by the imaging device (10), among the gestures, the first gesture of a pair of gestures similar to each other is the gesture just before the start, and the latter one. is extracted as a gesture immediately after the end of
Identifying the gesture made between the just-beginning gesture and the just-ending gesture as an input gesturewith
Calculating the degree of similarity for each of a plurality of sets of gestures that are similar to each other,
Among the calculated degrees of similarity, a set of gestures with the highest degree of similarity is extracted as the set of gestures, and the gesture just before the start and the gesture just after the end are determined.Gesture detection method.
コンピュータを、
撮像装置(10)によって撮像された前記操作者の撮像データから抽出された特徴量データに基づいて、前記ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとして前記ジェスチャの区間を抽出するジェスチャ区間抽出部(120)と、
前記開始直前ジェスチャと前記終了直後ジェスチャとの間に行われた前記ジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部(130)として機能させると共に、
前記ジェスチャ区間抽出部において、
互いに類似する複数組みのジェスチャについて、それぞれ類似度を算出する類似度算出部(122)と、
前記類似度算出部によって算出された前記類似度のうち、前記類似度の最も高い組のジェスチャを前記一組のジェスチャとして抽出し、前記開始直前ジェスチャ、および前記終了直後ジェスチャを決定する開始終了決定部(123)として機能させるジェスチャ検出制御プログラム。 In a gesture detection control program for detecting the gesture when performing an input operation on an operation target based on the gesture of the operator,
the computer,
Based on the feature data extracted from the imaging data of the operator captured by an imaging device (10), the first gesture of a pair of gestures similar to each other among the gestures is referred to as the immediately-before-start gesture, and the subsequent one. a gesture segment extraction unit (120) for extracting a segment of the gesture as a gesture immediately after the end of
Functioning as a gesture identification unit (130) that identifies the gesture performed between the gesture immediately before the start and the gesture immediately after the end as an input gesture ,
In the gesture segment extraction unit,
a similarity calculation unit (122) that calculates the similarity for each of a plurality of sets of gestures that are similar to each other;
A start/end determination of extracting a set of gestures having the highest degree of similarity among the degrees of similarity calculated by the degree of similarity calculation unit as the set of gestures, and determining the gesture immediately before the start and the gesture immediately after the end. A gesture detection control program functioning as a part (123) .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018135291A JP7163649B2 (en) | 2018-07-18 | 2018-07-18 | GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND GESTURE DETECTION CONTROL PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018135291A JP7163649B2 (en) | 2018-07-18 | 2018-07-18 | GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND GESTURE DETECTION CONTROL PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020013348A JP2020013348A (en) | 2020-01-23 |
JP7163649B2 true JP7163649B2 (en) | 2022-11-01 |
Family
ID=69169845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018135291A Active JP7163649B2 (en) | 2018-07-18 | 2018-07-18 | GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND GESTURE DETECTION CONTROL PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7163649B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3931744A4 (en) * | 2020-04-28 | 2022-01-05 | SZ DJI Technology Co., Ltd. | System and method for operating a movable object based on human body indications |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192090A (en) | 2010-03-15 | 2011-09-29 | Omron Corp | Gesture recognition apparatus, method for controlling gesture recognition apparatus, and control programprogram |
-
2018
- 2018-07-18 JP JP2018135291A patent/JP7163649B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192090A (en) | 2010-03-15 | 2011-09-29 | Omron Corp | Gesture recognition apparatus, method for controlling gesture recognition apparatus, and control programprogram |
Also Published As
Publication number | Publication date |
---|---|
JP2020013348A (en) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112590794B (en) | Method and device for determining an estimated value of the ability of a vehicle driver to take over vehicle control | |
US9696814B2 (en) | Information processing device, gesture detection method, and gesture detection program | |
US9235269B2 (en) | System and method for manipulating user interface in vehicle using finger valleys | |
JP2022118183A (en) | Systems and methods of direct pointing detection for interaction with digital device | |
EP4361771A1 (en) | Gesture recognition method and apparatus, system, and vehicle | |
US20160132124A1 (en) | Gesture determination apparatus and method, gesture operation apparatus, program, and recording medium | |
US9542003B2 (en) | Image processing device, image processing method, and a computer-readable non-transitory medium | |
US9171223B2 (en) | System and method for effective section detecting of hand gesture | |
Borghi et al. | Hands on the wheel: a dataset for driver hand detection and tracking | |
JP2012069114A (en) | Finger-pointing, gesture based human-machine interface for vehicle | |
CN113330395B (en) | Multi-screen interaction method and device, terminal equipment and vehicle | |
US20150293585A1 (en) | System and method for controlling heads up display for vehicle | |
JPWO2018154709A1 (en) | Motion learning device, skill discrimination device and skill discrimination system | |
WO2018061413A1 (en) | Gesture detection device | |
US20140361981A1 (en) | Information processing apparatus and method thereof | |
JP6043933B2 (en) | Sleepiness level estimation device, sleepiness level estimation method, and sleepiness level estimation processing program | |
Martin et al. | Real time driver body pose estimation for novel assistance systems | |
JP7163649B2 (en) | GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND GESTURE DETECTION CONTROL PROGRAM | |
CN105759955B (en) | Input device | |
JP5912177B2 (en) | Operation input device, operation input method, and operation input program | |
US10261593B2 (en) | User interface, means of movement, and methods for recognizing a user's hand | |
WO2018051836A1 (en) | Iris detection device, iris detection method, iris detection program, and recording medium onto which iris detection program is recorded | |
KR101976498B1 (en) | System and method for gesture recognition of vehicle | |
JP2016157457A (en) | Operation input device, operation input method and operation input program | |
JP7293620B2 (en) | Gesture detection device and gesture detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221003 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7163649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |