JP6739896B2 - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP6739896B2 JP6739896B2 JP2014254080A JP2014254080A JP6739896B2 JP 6739896 B2 JP6739896 B2 JP 6739896B2 JP 2014254080 A JP2014254080 A JP 2014254080A JP 2014254080 A JP2014254080 A JP 2014254080A JP 6739896 B2 JP6739896 B2 JP 6739896B2
- Authority
- JP
- Japan
- Prior art keywords
- gripping
- feature
- target
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、把持手段により把持されている物体を認識するための情報処理装置、情報処理方法、及び、プログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program for recognizing an object held by a holding means.
人等(以下、把持者とも記載する)が手の指等(以下、把持手段とも記載する)で物体(以下、把持対象とも記載する)を把持している状態を撮影した画像を用いて、把持対象を認識する技術が知られている。 Using an image obtained by capturing a state in which a person or the like (hereinafter, also referred to as a gripper) grips an object (hereinafter, also referred to as a gripping target) with a finger or the like (hereinafter, also described as gripping means), A technique for recognizing a grip target is known.
例えば、特許文献1に開示されている技術では、画像中の対象物の部分領域とデータベース内の物品形状とのマッチングを行うときに、手の把持姿勢から算出された空間の大きさで、マッチング対象の物品を限定する。
For example, in the technique disclosed in
また、非特許文献1に開示されている技術では、画像中の手領域と物体領域の形状の対の特徴を、把持パターン毎に記憶し、当該特徴を用いて把持パターンを認識する。
In addition, in the technique disclosed in Non-Patent
なお、関連技術として、特許文献2には、画像から検出された指の位置を用いて、操作対象の仮想キーを特定する技術が開示されている。特許文献3には、画像に含まれる対象物を、カラーヒストグラムを用いて認識する技術が開示されている。特許文献4には、動画像中の対象物の面積や外周長の変化の特徴をもとに、対象物を特定する技術が開示されている。非特許文献2には、指毎に指定色のついたグローブ(手袋)を着用して撮影した画像中で、指定色を探すことによって、指領域を検出する技術が開示されている。
As a related technique,
上述のように、把持手段が把持対象を把持している状態を撮影した画像で把持対象を認識する場合、例えば、指や手のひらにより把持対象が覆われてしまい、画像内に把持対象が存在しない場合がある。しかしながら、特許文献1、及び、非特許文献に記載された技術では、把持対象の部分的な画像を用いて把持対象を認識しているため、このように画像内に把持対象が存在しない場合は、把持対象を認識できない。
As described above, when the gripping unit recognizes the gripping target in the image of the state in which the gripping target grips the gripping target, for example, the gripping target is covered by the finger or the palm, and the gripping target does not exist in the image. There are cases. However, in the techniques described in
本発明は、上述の課題を解決し、把持対象を把持している把持手段の画像中に把持対象が存在しない場合であっても、把持対象を認識できる、情報処理装置、情報処理方法、及び、プログラムを提供することである。 The present invention solves the above-mentioned problems, and an information processing apparatus, an information processing method, and an information processing method capable of recognizing a grip target even when the grip target does not exist in an image of a grip unit that grips the grip target. , To provide the program.
本発明の情報処理装置は、把持対象を把持している把持手段の画像を取得する画像取得手段と、前記画像における前記把持手段の複数の所定部位間の位置関係を示す把持特徴を生成する、把持特徴生成手段と、前記把持特徴をもとに、前記把持対象を認識する、把持対象認識手段と、を備える。 An information processing apparatus of the present invention generates an image acquisition unit that acquires an image of a gripping unit that grips a grip target, and a gripping characteristic that indicates a positional relationship between a plurality of predetermined parts of the gripping unit in the image, A gripping feature generation unit and a gripping target recognition unit that recognizes the gripping target based on the gripping feature.
本発明の情報処理方法は、把持対象を把持している把持手段の画像を取得し、前記画像における前記把持手段の複数の所定部位間の位置関係を示す把持特徴を生成し、前記把持特徴をもとに、前記把持対象を認識する。 An information processing method of the present invention obtains an image of a gripping means gripping a gripping target, generates a gripping characteristic indicating a positional relationship between a plurality of predetermined parts of the gripping means in the image, and determines the gripping characteristic. First, the grip target is recognized.
本発明のプログラムは、コンピュータに、把持対象を把持している把持手段の画像を取得し、前記画像における前記把持手段の複数の所定部位間の位置関係を示す把持特徴を生成し、前記把持特徴をもとに、前記把持対象を認識する、処理を実行させる。 The program of the present invention causes a computer to acquire an image of a gripping means gripping a gripping target, generate a gripping characteristic indicating a positional relationship between a plurality of predetermined parts of the gripping means in the image, Based on the above, processing for recognizing the grip target is executed.
本発明の効果は、把持対象を把持している把持手段の画像中に把持対象が存在しない場合であっても、把持対象を認識できることである。 The effect of the present invention is that the gripping target can be recognized even when the gripping target does not exist in the image of the gripping means that grips the gripping target.
<第1の実施の形態>
はじめに、本発明の第1の実施の形態について説明する。
<First Embodiment>
First, the first embodiment of the present invention will be described.
本発明の第1の実施の形態では、把持手段501の複数の所定部位間の位置関係をもとに、把持対象502を認識する。なお、本発明の実施の形態では、把持手段501が人の手である場合を例に説明する。
In the first embodiment of the present invention, the
はじめに、本発明の第1の実施の形態の構成を説明する。 First, the configuration of the first embodiment of the present invention will be described.
図2は、本発明の第1の実施の形態における、認識装置100の構成を示すブロック図である。認識装置100は、本発明の情報処理装置の一実施形態である。
FIG. 2 is a block diagram showing the configuration of the
図2を参照すると、本発明の第1の実施の形態の認識装置100は、画像取得部110、把持手段検出部111、把持特徴生成部112、物体尤度算出部113、把持特徴記憶部114、及び、把持対象認識部116を含む。
Referring to FIG. 2, the
画像取得部110は、把持対象502を把持している把持手段501の画像を取得する。画像取得部110は、赤、青、緑の3色情報を取得可能なRGBカメラでもよい。また、画像取得部110は、遠赤外線カメラやマルチスペクトルカメラのように、他の波長信号情報を取得可能なカメラでもよい。また、画像取得部110は、画像中の各画素に、カメラから物体までの距離情報を収められるような、距離カメラ(距離センサ)でもよい。さらに、画像取得部110は、上述の3色情報、他の波長信号情報、及び、距離情報の内の一つ、または、複数を同時に取得可能なカメラでもよい。
The
把持手段検出部111は、画像取得部110により取得された画像における、把持手段501の複数の所定部位の各々の位置、または、位置と方向を検出する。本発明の実施の形態では、所定部位として、把持手段501の指が用いられる。また、所定部位の位置(指の位置)として、各指の指先や関節等、指上で指定された位置が用いられる。
The gripping
把持特徴生成部112は、把持手段501による把持特徴を表す把持特徴量として、複数の所定部位間の位置関係(指間の位置関係)を示す把持特徴量を生成する。本発明の実施の形態では、複数の所定部位の位置間の位置関係として、各指の位置の座標値や、各指の位置の座標値と方向、指の位置間の距離等が用いられる。
The gripping
把持特徴記憶部114は、把持特徴情報115を記憶する。把持特徴情報115は、認識すべき物体のカテゴリに対する、「把持特徴量に基づく物体尤度」を算出するための情報である。把持特徴情報115には、後述するように、物体尤度の算出方法に応じた情報が設定される。
The gripping
物体尤度算出部113は、把持特徴生成部112により生成された把持特徴量と把持特徴記憶部114に記憶されている把持特徴情報115とを用いて、物体のカテゴリ毎に、把持特徴量に基づく物体尤度を算出する。
The object
把持対象認識部116は、物体尤度算出部113により算出された物体尤度を用いて、把持対象502のカテゴリを認識する。
The grip
なお、認識装置100は、CPU(Central Processing Unit)とプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。
The
図3は、本発明の第1の実施の形態における、コンピュータにより実現された認識装置100の構成を示すブロック図である。
FIG. 3 is a block diagram showing the configuration of the computer-implemented
認識装置100は、CPU101、ハードディスクやメモリ等の記憶デバイス(記憶媒体)102、他の装置等と通信を行う通信デバイス103、マウスやキーボード等の入力デバイス104、及び、ディスプレイ等の出力デバイス105を含む。
The
CPU101は、画像取得部110、把持手段検出部111、把持特徴生成部112、物体尤度算出部113、及び、把持対象認識部116の機能を実現するためのコンピュータプログラムを実行する。記憶デバイス102は、把持特徴記憶部114のデータを記憶する。入力デバイス104は、利用者等から、把持対象502を把持している把持手段501の画像を取得する。出力デバイス105が、利用者等へ、認識結果(把持対象502の物体のカテゴリ)を出力する。また、通信デバイス103は、他の装置等から画像を取得し、他の装置等へ認識結果を出力してもよい。
The
次に、本発明の第1の実施の形態の動作を説明する。 Next, the operation of the first exemplary embodiment of the present invention will be described.
図4は、本発明の第1の実施の形態における、認識装置100の動作を示すフローチャートである。
FIG. 4 is a flowchart showing the operation of the
はじめに、画像取得部110は、利用者等から、把持対象502を把持している把持手段501の画像を取得する(ステップS101)。
First, the
図5は、本発明の第1の実施の形態における、取得した画像の例を示す図である。
例えば、画像取得部110は、図5のような画像を取得する。
FIG. 5 is a diagram showing an example of an acquired image according to the first embodiment of the present invention.
For example, the
把持手段検出部111は、画像取得部110により取得された画像における、把持手段501の各指の位置、または、各指の位置と方向を検出する(ステップS102)。ここで、把持手段検出部111は、指の位置や方向を、例えば、指の色や形状、配置に基づいて検出する。また、把持手段検出部111は、指の位置を、非特許文献2に記載されて技術を用いて検出してもよい。さらに、把持手段検出部111は、指の位置を、画像中で指が存在する部分について検出してもよいし、指が存在する部分の検出結果をもとにした形状推定等により、指が存在しない部分についても推定してよい。また、指の位置は、画像中の2次元座標で指定されてもよいし、実空間内の3次元座標で指定されてもよい。また、座標の値は、ある特定の点を原点とした絶対座標値でもよいし、任意の点からの相対座標値であってもよい。また、把持手段検出部111は、各指について、複数の位置を検出してもよい。
The gripping
把持手段検出部111は、画像において検出された指の本数が、2本以上かどうかを判定する(ステップS103)。
ステップS103において、検出された指の本数が2本以上の場合(ステップS103/Y)、把持特徴生成部112は、検出された各指の位置、または、各指の位置と方向をもとに、把持特徴量を生成する(ステップS105)。ここで、把持特徴生成部112は、例えば、以下の把持特徴量生成方法1〜3のいずれかに従って、把持特徴量を生成する。
The gripping
In step S103, when the number of detected fingers is two or more (step S103/Y), the gripping-
(把持特徴量生成方法1)
図6は、本発明の第1の実施の形態における、把持特徴量の生成方法の例を示す図である。ここで、把持手段検出部111により、n本の指の位置が検出されたと仮定する。この場合、図6に示すような、当該n本の指の位置を互いに結ぶ線分が得られる。線分の数Nlは、数1式により算出される。
(Grip feature amount generation method 1)
FIG. 6 is a diagram showing an example of a method of generating a gripping characteristic amount according to the first embodiment of the present invention. Here, it is assumed that the gripping
Nl本の線分の各々の長さli(i=1,…,Nl)は、検出されたj番目(j=1,…,n)の指の位置をPj=(xj,yj,zj)とすると、数2式により算出される。 The length l i (i=1,..., N l ) of each of the N l line segments corresponds to the detected position of the j-th (j=1,..., n) finger as P j =(x j , Y j , z j ) is calculated by the equation (2).
ここで、線分の長さliを大きい順に並べると、数3式のようなベクトル形式の把持特徴量VAが定義できる。
Here, by arranging the lengths l i of the line segments in the descending order, the gripping feature amount V A in the vector format as in the
また、把持特徴量VAの要素の最大値をmxとすると、数4式のような把持特徴量V’Aが定義できる。 Further, when the maximum value of the element of the gripping characteristic amount V A is mx, the gripping characteristic amount V′ A can be defined by the equation (4).
把持特徴生成部112は、図6の線分の長さをもとに、数3式、または、数4式のような把持特徴量を生成する。
The gripping-
例えば、物体尤度算出部113は、図5の画像から、把持特徴量VA=(1.5, 1.0, 0.3, …)を生成する。
For example, the object
(把持特徴量生成方法2)
図7は、本発明の第1の実施の形態における、把持特徴量の生成方法の他の例を示す図である。ここで、把持手段検出部111により、n本の指の位置が検出されたと仮定する。この場合、図7に示すように、検出された各指の位置と他の指の位置とを結ぶn−1本の線分が得られる。これらの線分の長さの組をGri=(li,1,li,2,…,li,n−1)とする。また、Griの要素を大きさ(長さ)の降順に並び替えたものをGr’i=(l’i,1,l’i,2,…,l’i,n−1)とする。さらに、Gr’iを、最初の要素l’i,1の大きい順に並べ換えたものを(Gr”0,Gr”1,…,Gr”n)とし、Gr”iの要素をGr”i=(l”i,1,l”i,2,…,l”i,n−1)と記述する。各Gr”iの要素を並べることにより、数5式のような把持特徴量VBが定義できる。
(Grip feature amount generation method 2)
FIG. 7 is a diagram showing another example of the method of generating the gripping characteristic amount according to the first embodiment of the present invention. Here, it is assumed that the gripping
また、把持特徴量VBの要素の最大値mxを用いて、数6式のような把持特徴量V’Bが定義できる。 Further, using the maximum value mx of the elements of the gripping feature quantity V B, it can be defined gripping feature quantity V 'B, such as equation (6).
把持特徴生成部112は、図7の線分の長さをもとに、数5式、または、数6式のような把持特徴量を生成する。
The gripping-
(把持特徴量生成方法3)
把持手段検出部111により、各指の位置と方向に加えて、各指が親指、人差し指、中指、薬指、及び、小指の内のどの指かを特定できたと仮定する。この場合、例えば、親指、人差し指、中指、薬指、及び、小指の順で、各指の座標値Pj=(xj,yj,zj)、(j=1,…,n)及び、方向Dj=(aj,bj,cj)が得られる。ここで、各指の方向には、例えば、距離センサで得られる指先位置の法線の方向を用いてもよいし、第一関節から指先へ向かう方向を用いてもよい。また、指の順序(親指、人差し指、…)として、他の順序を用いてもよい。
(Grip feature amount generation method 3)
In addition to the position and direction of each finger, it is assumed that the gripping
これらの座標値、方向を、所定の座標系Z上の座標、方向で表すことにより、数7式のような把持特徴量VC、または、数8式のような把持特徴量VDが定義できる。 By expressing these coordinate values and directions by the coordinates and directions on the predetermined coordinate system Z, the gripping feature amount V C as in the formula 7 or the gripping feature amount V D as in the formula 8 is defined. it can.
座標系Zとしては、例えば、予め定めた一本の指の方向と平行な座標軸を持つ座標系を用いてもよい。 As the coordinate system Z, for example, a coordinate system having a predetermined coordinate axis parallel to the direction of one finger may be used.
把持特徴生成部112は、各指の位置や方向をもとに、数7式、または、数8式の把持特徴量を生成する。
The gripping
次に、物体尤度算出部113は、物体のカテゴリ毎に、把持特徴量に基づく物体尤度を算出する(ステップS106)。ここで、物体尤度算出部113は、例えば、以下の物体尤度算出方法1〜3のいずれかに従って、物体尤度を算出する。
Next, the object
(物体尤度算出方法1)
図8は、本発明の第1の実施の形態における、把持特徴情報115の例を示す図である。図8の把持特徴情報115では、物体のカテゴリ毎に、当該物体を把持した場合の把持特徴量を示すインスタンスが登録されている。ここで、各カテゴリと当該カテゴリに対して登録された把持特徴量の対をインスタンスと呼ぶ。一つのカテゴリに対して、複数のインスタンスが登録されていてもよい。ここで、物体のカテゴリをCi(i=1,…,M、Mはカテゴリの数)、カテゴリCiに対応する把持特徴量をVij(j=1,…,R(i)、R(i)はカテゴリCiに対する把持特徴量の数)とすると、インスタンスは、(Ci,Vij)と表される。
(Object likelihood calculation method 1)
FIG. 8 is a diagram showing an example of the gripping
物体尤度算出部113は、把持特徴生成部112により生成された把持特徴量と把持特徴情報115に登録された各インスタンスの把持特徴量Vijとの距離を算出する。距離は、ユークリッド距離でもマンハッタン距離でも、その他の距離尺度でもよい。物体尤度算出部113は、把持特徴情報115に登録されたインスタンスの内、算出された距離が所定の閾値以下のインスタンスを抽出する。そして、物体尤度算出部113は、抽出したインスタンスを用いて、各カテゴリCiの物体尤度Liを、例えば、数9式により算出する。
The object
ここで、kは、抽出されたインスタンスの数、Nciは、k個のインスタンスの内、カテゴリCiに対応するインスタンス(Ci,Vij)の数である。 Here, k is the number of extracted instances, and Nc i is the number of instances (C i , V ij ) corresponding to the category C i among the k instances.
図9は、本発明の第1の実施の形態における、インスタンスの抽出例を示す図である。例えば、物体尤度算出部113は、図9に示すように、図8の把持特徴情報115に登録されたインスタンスの内、把持特徴生成部112により生成された把持特徴量V=(1.5, 1.0, 0.3, …)との距離が閾値以下である10個のインスタンスを抽出する。
FIG. 9 is a diagram showing an example of instance extraction in the first embodiment of the present invention. For example, as shown in FIG. 9, the object
図10は、本発明の第1の実施の形態における、物体尤度の算出結果の例を示す図である。例えば、物体尤度算出部113は、抽出されたインスタンスの数をもとに、図10のように物体尤度を算出する。
FIG. 10 is a diagram showing an example of the calculation result of the object likelihood in the first embodiment of the present invention. For example, the object
なお、物体尤度算出部113は、距離が所定の閾値以下のインスタンスを抽出する代わりに、距離が小さい方から所定数のインスタンスを抽出してもよい。
Note that the object
(物体尤度算出方法2)
図11は、本発明の第1の実施の形態における、把持特徴情報115の他の例を示す図である。図11の把持特徴情報115では、物体のカテゴリ毎に、把持特徴量空間での各点における物体尤度が登録されている。この場合、各点における物体尤度は、予め、最近傍密度推定法やカーネル密度推定法等により算出される。
(Object likelihood calculation method 2)
FIG. 11 is a diagram showing another example of the gripping
物体尤度算出部113は、把持特徴情報115を参照し、把持特徴生成部112により生成された把持特徴量に対応する物体尤度を取得することにより、各カテゴリCiの物体尤度Liを算出する。
The object
(物体尤度算出方法3)
把持特徴情報115には、例えば、Support Vector MachineやRandom Forest等、機械学習によって得られた学習結果が登録されていてもよい。
(Object likelihood calculation method 3)
In the gripping
例えば、Support Vector Machineを用いた場合、学習結果として、把持特徴空間内での識別境界面が登録される。この場合、物体尤度算出部113は、把持特徴生成部112により生成された把持特徴量と識別境界面との距離の関数により、各カテゴリCiの物体尤度Liを算出する。
For example, when the Support Vector Machine is used, the identification boundary surface in the gripping feature space is registered as the learning result. In this case, the object
また、Random Forestを用いた場合、学習結果として、識別器での識別境界とその識別器の重みが登録される。この場合、物体尤度算出部113は、重み付投票結果の関数により、各カテゴリCiの物体尤度Liを算出する。
Further, when Random Forest is used, the discrimination boundary in the discriminator and the weight of the discriminator are registered as the learning result. In this case, the object
次に、把持対象認識部116は、算出した物体尤度を用いて、把持対象502のカテゴリを認識する(ステップS107)。ここで、把持対象認識部116は、例えば、数10式に従って、把持対象502のカテゴリidxを特定する。
Next, the gripping
なお、Lthは、予め設定された、物体尤度Liの最大値に対する閾値である。 Note that L th is a preset threshold value for the maximum value of the object likelihood L i .
例えば、把持対象認識部116は、図10の物体尤度算出結果をもとに、把持対象502のカテゴリを、物体尤度が最大であるカテゴリC1と特定する。
For example, the gripping
把持対象認識部116は、ステップS106の結果に応じて、認識結果に、把持対象502のカテゴリのインデックス、または、「該当なし」を設定する(ステップS108)。
The gripping
例えば、把持対象認識部116は、認識結果に「カテゴリC1」を設定する。
For example, the grip
なお、ステップS103において、検出された指の本数が2本未満の場合(ステップS103/N)、認識結果には、「該当なし」が設定される(ステップS104)。 When the number of detected fingers is less than two in step S103 (step S103/N), "not applicable" is set in the recognition result (step S104).
最後に、把持対象認識部116は、利用者等へ、認識結果を出力する(ステップS109)。
Finally, the gripping
以上により、本発明の第1の実施の形態の動作が完了する。 With the above, the operation of the first exemplary embodiment of the present invention is completed.
なお、上述の説明では、把持対象認識部116は、物体尤度算出部113により算出された各カテゴリに対する物体尤度をもとに、物体のカテゴリを特定した。しかしながら、これに限らず、把持対象認識部116は、物体形状に対する物体尤度をもとに物体形状を特定し、さらに、各物体形状に関連づけられた物体のカテゴリを取得することにより、物体のカテゴリを特定してもよい。
In the above description, the gripping
また、本発明の実施の形態では、把持手段501が人の手である場合を例に説明したが、これに限らず、人の手と同様に物体を把持できれば、把持手段501は、動物やロボット等の手でもよい。 Further, in the embodiment of the present invention, the case where the gripping means 501 is a human hand has been described as an example, but the present invention is not limited to this, and if the gripping means 501 can grip an object similarly to a human hand, the gripping means 501 can A hand such as a robot may be used.
また、複数の可動部を動かすことにより物体を把持できれば、把持手段501は、手以外の形状であってもよい。この場合、所定部位として、例えば、把持手段501の各可動部が用いられ、所定部位の位置(可動部の位置)として、各可動部の先端や中心、関節等、指定された位置が検出される。また、複数の所定部位の位置間の位置関係(可動部間の位置関係)として、各可動部の位置の座標値や、可動部の位置間の距離等が用いられる。 Further, the gripping means 501 may have a shape other than the hand as long as the object can be gripped by moving the plurality of movable parts. In this case, for example, each movable part of the gripping means 501 is used as the predetermined part, and as the position of the predetermined part (position of the movable part), a designated position such as a tip, a center, or a joint of each movable part is detected. It Further, as the positional relationship between the positions of the plurality of predetermined parts (positional relationship between the movable parts), the coordinate value of the position of each movable part, the distance between the positions of the movable parts, etc. are used.
次に、本発明の実施の形態の基本的な構成を説明する。図1は、本発明の実施の形態の基本的な構成を示すブロック図である。 Next, a basic configuration of the embodiment of the present invention will be described. FIG. 1 is a block diagram showing the basic configuration of the embodiment of the present invention.
図1を参照すると、認識装置100は、画像取得部110、把持特徴生成部112、及び、把持対象認識部116を含む。画像取得部110は、把持対象502を把持している把持手段501の画像を取得する。把持特徴生成部112は、画像における把持手段501の複数の所定部位間の位置関係を示す把持特徴を生成する。把持対象認識部116は、把持特徴をもとに、把持対象502を認識する。
Referring to FIG. 1, the
本発明の実施の形態によれば、把持対象502を把持している把持手段501の画像中に把持対象502が存在しない場合であっても、把持対象502を認識できる。その理由は、把持対象認識部116が、画像における把持手段501の複数の所定部位間の位置関係を示す把持特徴をもとに、把持対象502を認識するためである。これにより、把持対象502を把持している把持手段501の画像において、把持対象502が遮蔽されている場合であっても、把持対象502を認識できる。
According to the embodiment of the present invention, even if the
<第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described.
本発明の第2の実施の形態では、把持特徴量に加えて、画像上の把持対象502の物体領域から物体特徴量を生成し、把持特徴量と物体特徴量とを用いて、把持物体を認識する。なお、本発明の第2の実施の形態では、把持特徴量基づく物体尤度を第1物体尤度、物体特徴量に基づく物体尤度を第2物体尤度と呼ぶ。
In the second embodiment of the present invention, in addition to the gripping feature amount, the object feature amount is generated from the object region of the
はじめに、本発明の第2の実施の形態の構成を説明する。 First, the configuration of the second embodiment of the present invention will be described.
図12は、本発明の第2の実施の形態における、認識装置200の構成を示すブロック図である。 FIG. 12: is a block diagram which shows the structure of the recognition apparatus 200 in the 2nd Embodiment of this invention.
図12を参照すると、本発明の第2の実施の形態の認識装置200は、画像取得部210、把持手段検出部211、把持特徴生成部212、第1物体尤度算出部213、把持特徴記憶部214を含む。認識装置200は、さらに、把持対象検出部221、物体特徴生成部222、第2物体尤度算出部223、物体特徴記憶部224、統合尤度算出部230、及び、把持対象認識部240を含む。
Referring to FIG. 12, the recognition device 200 according to the second exemplary embodiment of the present invention includes an
画像取得部210、把持手段検出部211、及び、把持特徴生成部212は、それぞれ、本発明の第1の実施の形態における、画像取得部110、把持手段検出部111、及び、把持特徴生成部112と同様である。把持特徴記憶部214は、把持特徴情報115と同様の把持特徴情報215(「把持特徴量に基づく物体尤度(第1物体尤度)」を算出するための情報)を記憶する。第1物体尤度算出部213は、物体尤度算出部113と同様に、物体のカテゴリ毎に、第1物体尤度を算出する。
The
把持対象検出部221は、画像取得部110により取得された画像における、把持対象502の物体領域を検出する。ここで、把持対象検出部221は、例えば、背景が固定である場合に移動物体を検出する背景差分法を用いて、物体領域を検出してもよい。また、把持対象検出部221は、距離が所定の閾値よりも小さい(近い)画素を、物体領域として検出してもよい。また,把持対象検出部221は、ある把持対象候補領域(例えば画像の中心)に類似する周辺画素を把持対象に属する領域とみなすことにより、物体領域を検出してもよい。
The grip
物体特徴生成部222は、把持対象502の物体の特徴を表す物体特徴量として、把持対象502の色や模様等に係る特徴を示す物体特徴量を生成する。ここで、物体特徴として、例えば、色の出現頻度や色の配置を用いてもよい。また、物体特徴として、画像の輝度値の部分的な明暗パターンや、輝度値の変化方向、フィルタへの応答強度を用いてもよい。
The object
物体特徴記憶部224は、物体特徴情報225を記憶する。物体特徴情報225は、認識すべき物体のカテゴリに対する、「物体特徴量に基づく物体尤度(第2物体尤度)」を算出するための情報である。
The object
第2物体尤度算出部223は、物体特徴生成部222により生成された物体特徴量と物体特徴記憶部224に記憶されている物体特徴情報225とを用いて、物体のカテゴリ毎に、第2物体尤度を算出する。
The second object
統合尤度算出部230は、第1物体尤度と第2物体尤度とを用いて、統合尤度を算出する。
The integrated
把持対象認識部240は、統合尤度算出部230により算出された統合尤度を用いて、把持対象502のカテゴリを認識する。
The grip
次に、本発明の第2の実施の形態の動作を説明する。 Next, the operation of the second exemplary embodiment of the present invention will be described.
図13は、本発明の第2の実施の形態における、認識装置200の動作を示すフローチャートである。 FIG. 13 is a flowchart showing the operation of the recognition device 200 according to the second embodiment of the present invention.
はじめに、画像取得部210は、把持対象502を把持している把持手段501の画像を取得する(ステップS201)。この場合、画像には、把持対象502の物体領域の少なくとも一部が含まれると仮定する。
First, the
把持手段検出部211は、画像取得部210により取得された画像における、把持手段501の各指の位置、または、各指の位置と方向を検出する(ステップS202)。
The gripping
把持対象検出部221は、画像取得部210により取得された画像における、把持対象502の物体領域を検出する(ステップS203)。
The grip
把持手段検出部211は、画像において検出された指の本数が、2本以上かどうかを判定する(ステップS204)。
The gripping
ステップS204において、検出された指の本数が2本以上の場合(ステップS204/Y)、把持特徴生成部212は、検出された各指の位置、または、各指の位置と方向をもとに、把持特徴量を生成する(ステップS206)。
In step S204, when the number of detected fingers is two or more (step S204/Y), the gripping
第1物体尤度算出部213は、生成された把持特徴量をもとに、物体のカテゴリ毎に第1物体尤度を算出する(ステップS207)。
The first object
図15は、本発明の第2の実施の形態における、統合尤度の算出結果の例を示す図である。 FIG. 15 is a diagram showing an example of the integrated likelihood calculation result in the second exemplary embodiment of the present invention.
例えば、第1物体尤度算出部213は、図8の把持特徴情報115に登録されたインスタンスの内、把持特徴生成部112により生成された把持特徴量との距離が閾値以下であるインスタンスを抽出する。そして、第1物体尤度算出部213は、抽出されたインスタンスの数をもとに、図15のように第1物体尤度を算出する。
For example, the first object
なお、ステップS204において、検出された指の本数が2本未満の場合(ステップS204/N)、全カテゴリに対する第1物体尤度に1が設定される(ステップS205)。 When the number of detected fingers is less than two in step S204 (step S204/N), 1 is set to the first object likelihood for all categories (step S205).
次に、物体特徴生成部222は、検出された把持対象502の物体領域から、物体特徴量を生成する(ステップS208)。
Next, the object
第2物体尤度算出部223は、生成された物体特徴量をもとに、物体のカテゴリ毎に、第2物体尤度を算出する(ステップS209)。ここで、第2物体尤度算出部223は、例えば、把持特徴量に基づく物体尤度(第1物体尤度)の算出方法と同様の方法で、第2物体尤度を算出する。
The second object
図14は、本発明の第2の実施の形態における、物体特徴情報225の例を示す図である。図14の物体特徴情報225では、物体のカテゴリ毎に、当該物体の物体特徴量を示すインスタンスが登録されている。ここで、物体特徴量は、例えば、物体の色や模様等の物体特徴を表す。
FIG. 14 is a diagram showing an example of the
例えば、第2物体尤度算出部223は、図14の物体特徴情報225に登録されたインスタンスの内、物体特徴生成部222により生成された物体特徴量との距離が閾値以下であるインスタンスを抽出する。そして、第2物体尤度算出部223は、抽出されたインスタンスの数をもとに、図15のように第2物体尤度を算出する。
For example, the second object
次に、統合尤度算出部230は、第1物体尤度と第2物体尤度とを用いて、統合尤度を算出する(ステップS210)。統合尤度算出部230は、各カテゴリCiの統合尤度Lcomb(i)を、例えば、数11式、または、数12式により算出する。
Next, the integrated
ここで、LA(i)、LB(i)は、それぞれ、カテゴリCiの第1物体尤度、第2物体尤度である。 Here, L A (i) and L B (i) are the first object likelihood and the second object likelihood of category C i , respectively.
例えば、統合尤度算出部230は、図15のように統合尤度を算出する。
For example, the integrated
次に、把持対象認識部240は、算出した統合尤度を用いて、把持対象502のカテゴリを認識する(ステップS211)。ここで、把持対象認識部240は、例えば、数13式に従って、把持対象502のカテゴリidxを特定する。
Next, the gripping
ここで、Lth_combは、予め設定された、統合尤度Lcomb(i)の最大値に対する閾値である。 Here, L th_comb is a preset threshold value for the maximum value of the integrated likelihood L comb (i).
例えば、把持対象認識部240は、図15の統合尤度算出結果をもとに、把持対象502のカテゴリを、統合尤度が最大であるカテゴリC3と特定する。
For example, the gripping
把持対象認識部116は、ステップS211の結果に応じて、認識結果に、把持対象502のカテゴリのインデックス、または、「該当なし」を設定し(ステップS212)、出力する(ステップS213)。
The gripping
以上により、本発明の第2の実施の形態の動作が完了する。 With the above, the operation of the second exemplary embodiment of the present invention is completed.
本発明の第2の実施の形態によれば、本発明の第1の実施の形態に比べて、把持対象502の認識精度を向上できる。その理由は、把持対象認識部240が、把持特徴量に基づく第1物体尤度と物体特徴量に基づく第2物体尤度を用いて算出された統合尤度をもとに、把持対象502を認識するためである。これにより、例えば、把持対象502を把持している把持手段501の画像において、把持対象502のほとんどが遮蔽されているが、一部が存在するような場合に、把持対象502の認識精度を向上できる。
According to the second embodiment of the present invention, the recognition accuracy of the
<第3の実施の形態>
次に、本発明の第3の実施の形態について説明する。
<Third Embodiment>
Next, a third embodiment of the present invention will be described.
本発明の第3の実施の形態では、把持手段501の複数の所定部位の内、把持対象502と接触している部位(把持対象502と接触している指)について、把持特徴量を生成する。 In the third embodiment of the present invention, a gripping characteristic amount is generated for a part of the plurality of predetermined parts of the gripping means 501 that is in contact with the grip target 502 (finger that is in contact with the grip target 502). ..
はじめに、本発明の第3の実施の形態の構成を説明する。 First, the configuration of the third embodiment of the present invention will be described.
図16は、本発明の第3の実施の形態における、認識装置200の構成を示すブロック図である。 FIG. 16: is a block diagram which shows the structure of the recognition apparatus 200 in the 3rd Embodiment of this invention.
図16を参照すると、本発明の第3の実施の形態の認識装置200は、本発明の第2の実施の形態の認識装置200の構成要素に加えて、接触検出部250を含む。
Referring to FIG. 16, the recognition device 200 according to the third exemplary embodiment of the present invention includes a
接触検出部250は、把持対象検出部221により検出された把持対象502の物体領域と、把持手段検出部111により検出された各指の位置とをもとに、検出された指の内の把持対象502と接触している指(接触指)を特定する。接触検出部250は、例えば、注目する指の位置を示す座標値と、その座標値に最も近い物体領域との距離が所定の閾値未満の場合、当該指が接触指であると判定する。
The
把持特徴生成部212は、接触指に係る所定部位間の位置関係を表す把持特徴量を生成する。
The gripping-
次に、本発明の第3の実施の形態の動作を説明する。 Next, the operation of the third exemplary embodiment of the present invention will be described.
図17は、本発明の第3の実施の形態における、認識装置200の動作を示すフローチャートである。 FIG. 17 is a flowchart showing the operation of the recognition device 200 according to the third embodiment of the present invention.
はじめに、画像取得部210は、把持対象502を把持している把持手段501の画像を取得する(ステップS301)。
First, the
把持手段検出部211は、画像取得部210により取得された画像における、各指の位置、または、各指の位置と方向を検出する(ステップS302)。
The gripping
把持対象検出部221は、画像取得部210により取得された画像における、把持対象502の物体領域を検出する(ステップS303)。
The grip
把持手段検出部211は、画像において検出された指の本数が、2本以上かどうかを判定する(ステップS304)。
The gripping
ステップS304において、検出された指の本数が2本以上の場合(ステップS304/Y)、接触検出部250は、検出された指の内の接触指を特定する(ステップS306)。
In step S304, when the number of detected fingers is two or more (step S304/Y), the
接触検出部250は、接触指の本数が、2本以上かどうかを判定する(ステップS307)。
The
ステップS307において、接触指の本数が2本以上の場合(ステップS307/Y)、把持特徴生成部212は、検出された各接触指の位置、または、各接触指の位置と方向をもとに、接触指間の位置関係を表す把持特徴量を生成する(ステップS308)。
In step S307, when the number of contact fingers is two or more (step S307/Y), the gripping
第1物体尤度算出部213は、生成された把持特徴量をもとに、物体のカテゴリ毎に第1物体尤度を算出する(ステップ309)。
The first object
なお、ステップS304において、検出された指の本数が2本未満の場合(ステップS304/N)、または、ステップS307において、接触指の本数が2本未満の場合(ステップS307/N)、全カテゴリに対する第1物体尤度が1に設定される。 If the number of detected fingers is less than 2 in step S304 (step S304/N), or if the number of contact fingers is less than 2 in step S307 (step S307/N), all categories The first object likelihood for is set to 1.
以降、物体特徴量の生成、第2物体尤度の算出、統合尤度の算出、及び、把持対象502のカテゴリの認識(ステップS310〜S315)が、本発明の第2の実施の形態(ステップS208〜S213)と同様に行われる。 After that, the generation of the object feature amount, the calculation of the second object likelihood, the calculation of the integrated likelihood, and the recognition of the category of the grip target 502 (steps S310 to S315) are the second embodiment (step of the present invention). This is performed in the same manner as S208 to S213).
以上により、本発明の第3の実施の形態の動作が完了する。 With the above, the operation of the third exemplary embodiment of the present invention is completed.
本発明の第3の実施の形態によれば、本発明の第1の実施の形態に比べて、把持対象502の認識精度を向上できる。その理由は、把持特徴生成部212が、把持手段501の複数の所定部位の内、把持対象502と接触している部位(把持対象502と接触している指)間の位置関係を表す把持特徴量を生成するためである。これにより、把持特徴量から、把持対象502と接触していない部位(接触していない指)に係る情報を除外することができ、把持手段501による把持に寄与していない部位の位置の影響を受けずに、把持対象502のカテゴリを特定できる。
According to the third embodiment of the present invention, it is possible to improve the recognition accuracy of the
<第4の実施の形態>
次に、本発明の第4の実施の形態について説明する。
<Fourth Embodiment>
Next, a fourth embodiment of the present invention will be described.
本発明の第4の実施の形態では、把持手段501の複数の所定部位の間の位置関係の時間的な変化を示す把持特徴を生成する。 In the fourth embodiment of the present invention, a gripping feature indicating a temporal change in the positional relationship between a plurality of predetermined parts of the gripping means 501 is generated.
はじめに、本発明の第4の実施の形態の構成を説明する。 First, the configuration of the fourth embodiment of the present invention will be described.
図18は、本発明の第4の実施の形態における、認識装置200の構成を示すブロック図である。 FIG. 18: is a block diagram which shows the structure of the recognition apparatus 200 in the 4th Embodiment of this invention.
図18を参照すると、本発明の第4の実施の形態の構成は、本発明の第2の実施の形態において、把持特徴生成部212が把持特徴生成部260に置き換えられている。
Referring to FIG. 18, in the configuration of the fourth exemplary embodiment of the present invention, in the second exemplary embodiment of the present invention, the gripping
把持特徴生成部260は、把持手段501の複数の所定部位の間の位置関係の時間的な変化を示す、動き特徴を含む把持特徴量を生成する。把持特徴生成部260は、フレーム特徴生成部261、フレーム特徴記憶部262、及び、動き特徴抽出部263を含む。
The gripping
フレーム特徴生成部261は、把持特徴生成部212と同様の方法により、画像のフレーム毎の把持特徴量を生成する。
The frame
フレーム特徴記憶部262は、フレーム特徴生成部261により生成された、フレーム毎の把持特徴量を、所定のフレーム数分記憶する。
The frame
動き特徴抽出部263は、フレーム毎の把持特徴量の差分をもとに、動き特徴を抽出し、動き特徴を含む把持特徴量を生成する。
The motion
次に、本発明の第4の実施の形態の動作を説明する。 Next, the operation of the fourth exemplary embodiment of the present invention will be described.
図19は、本発明の第4の実施の形態における、認識装置200の動作を示すフローチャートである。 FIG. 19 is a flowchart showing the operation of the recognition device 200 according to the fourth embodiment of the present invention.
はじめに、把持特徴生成部260のフレーム特徴生成部261は、フレームを示す変数t(t=1,…,Nf。Nfは、動き特徴を含む把持特徴量を生成するためのフレーム数)に1を設定する(ステップS401)。
First, the frame
画像取得部210は、把持対象502を把持している把持手段501の画像を1フレーム取得する(ステップS402)。
The
把持手段検出部211は、画像取得部210により取得されたフレーム(対象フレーム)における、各指の位置、または、各指の位置と方向を検出する(ステップS403)。
The gripping
把持対象検出部221は、画像取得部210により取得された対象フレームにおける、把持対象502の物体領域を検出する(ステップS404)。
The grip
把持手段検出部211は、対象フレームにおいて検出された指の本数が、2本以上かどうかを判定する(ステップS405)。
The gripping
ステップS405において、検出された指の本数が2本以上の場合(ステップS405/Y)、フレーム特徴生成部261は、検出された各指の位置、または、各指の位置と方向をもとに、対象フレームtでの把持特徴量V(t)を生成する(ステップS407)。ここで、フレーム特徴生成部261は、把持特徴量V(t)として、例えば、本発明の第1の実施の形態の把持特徴量生成方法で示した、把持特徴量VA、VB、VC、VDの内のいずれかを生成する。
In step S405, when the number of detected fingers is two or more (step S405/Y), the frame
フレーム特徴生成部261は、変数tがNf以上かどうかを判定する(ステップS408)。
The frame
ステップS408で、変数tがNf未満の場合(ステップS408/N)、フレーム特徴生成部261は、生成した把持特徴量V(t)をフレーム特徴記憶部262に保存し、変数tに1を加算する(ステップS409)。そして、ステップS402からの処理が繰り返される。
If the variable t is less than Nf in step S408 (step S408/N), the frame
一方、ステップS408で、変数tがNf以上の場合(ステップS408/Y)、動き特徴抽出部263は、フレーム特徴記憶部262に記憶されている、フレーム毎の把持特徴量の差分を算出する(ステップS410)。
On the other hand, in step S408, when the variable t is Nf or more (step S408/Y), the motion
動き特徴抽出部263は、算出した差分をもとに、動き特徴を含む把持特徴量を生成する(ステップS411)。
The motion
ここで、動き特徴抽出部263は、例えば、数14式により、動き特徴を含む把持特徴量Vmovを生成する。
Here, the motion
図20は、本発明の第4の実施の形態における、動き特徴を含む把持特徴量の算出例を示す図である。図20は、Nfが3の場合の例である。例えば、動き特徴抽出部263は、t=1,2,3における把持特徴量V(t)をもとに、図20のように、動き特徴を含む把持特徴量Vmovを生成する。
FIG. 20 is a diagram showing an example of calculation of a gripping feature amount including a motion feature according to the fourth embodiment of the present invention. FIG. 20 is an example when Nf is 3. For example, the motion
次に、第1物体尤度算出部213は、生成された動き特徴を含む把持特徴量をもとに、物体のカテゴリ毎に第1物体尤度を算出する(ステップS412)。
Next, the first object
なお、ステップS405において、検出された指の本数が2本未満の場合(ステップS405/N)、全カテゴリに対する第1物体尤度に1が設定される(ステップS406)。 In addition, in step S405, when the number of detected fingers is less than two (step S405/N), 1 is set to the first object likelihood for all categories (step S406).
次に、物体特徴生成部222は、検出された把持対象502の物体領域から、物体特徴量を生成する(ステップS413)。ここで、物体特徴生成部222は、Nf個のフレームの内、1番目のフレームや、Nf番目のフレームで検出された把持対象502の物体領域から、物体特徴量を生成する。また、物体特徴生成部222は、Nf個のフレームの各々で検出された把持対象502の物体領域から生成した物体特徴量の平均値を算出してもよい。
Next, the object
以降、第2物体尤度の算出、統合尤度の算出、及び、把持対象502のカテゴリの認識(ステップS414〜S418)が、本発明の第2の実施の形態(ステップS209〜S213)と同様に行われる。 After that, the calculation of the second object likelihood, the calculation of the integrated likelihood, and the recognition of the category of the grip target 502 (steps S414 to S418) are the same as those in the second embodiment of the present invention (steps S209 to S213). To be done.
以上により、本発明の第4の実施の形態の動作が完了する。 With the above, the operation of the fourth exemplary embodiment of the present invention is completed.
本発明の第4の実施の形態によれば、把持手段501による把持に時間的な変化がある場合に、把持対象502の認識精度を向上できる。その理由は、把持特徴生成部260が、把持手段501の複数の所定部位の間の位置関係の時間的な変化を示す、動き特徴を含む把持特徴量を生成するためである。これにより、例えば、柔らかい物体等、把持手段501による把持中に、形状が時間的に変化する把持対象502を、硬い物体等、形状が時間的に変化しない把持対象502と識別できる。また、スマートフォンの操作等、把持手段501の所定部位(指)が、把持対象502上を移動する場合にも、把持対象502の認識精度を向上できる。
According to the fourth embodiment of the present invention, the recognition accuracy of the
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the exemplary embodiments, the present invention is not limited to the above exemplary embodiments. Various modifications that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
例えば、本発明の第3の実施の形態で説明した、把持手段501の複数の所定部位の内の把持対象502と接触している部位についての把持特徴量の生成は、把持対象502との接触が検出できれば、本発明の第1の実施に適用されてもよい。
For example, as described in the third embodiment of the present invention, the generation of the gripping characteristic amount of the part in contact with the
また、本発明の第4の実施の形態で説明した、動き特徴を含む把持特徴量の生成は、本発明の第1の実施や第2の実施の形態に適用されてもよい。 Further, the generation of the gripping feature amount including the motion feature described in the fourth embodiment of the present invention may be applied to the first embodiment or the second embodiment of the present invention.
100 認識装置
101 CPU
102 記憶デバイス
103 通信デバイス
104 入力デバイス
105 出力デバイス
110 画像取得部
111 把持手段検出部
112 把持特徴生成部
113 物体尤度算出部
114 把持特徴記憶部
115 把持特徴情報
116 把持対象認識部
200 認識装置
210 画像取得部
211 把持手段検出部
212 把持特徴生成部
213 第1物体尤度算出部
214 把持特徴記憶部
215 把持特徴情報
221 把持対象検出部
222 物体特徴生成部
223 第2物体尤度算出部
224 物体特徴記憶部
225 物体特徴情報
230 統合尤度算出部
240 把持対象認識部
250 接触検出部
260 把持特徴生成部
261 フレーム特徴生成部
262 フレーム特徴記憶部
263 動き特徴抽出部
501 把持手段
502 把持対象
100
Reference numeral 102
Claims (7)
把持対象を把持している前記把持手段の画像を取得する画像取得手段と、
前記画像における前記把持手段の前記把持特徴を生成する、把持特徴生成手段と、
前記記憶手段から取得した前記把持特徴と、前記把持特徴生成手段により生成された前記把持特徴と、をもとに、前記把持対象が前記物体であることを認識する、把持対象認識手段と、
を備え、
前記把持特徴は、前記複数の所定部位間の距離により、前記複数の所定部位間の位置関係を示す
情報処理装置。 A storage unit that stores an object and a gripping feature indicating a positional relationship between a plurality of predetermined portions of the gripping unit when the gripping unit grips the object in association with each other,
An image acquisition means for acquiring an image of said gripping means gripping the gripping target,
Generating the gripping characteristics of the gripping means in the image, a gripping feature generating means,
It said gripping feature acquired from the storage unit, on the basis of, and the gripping features generated by the gripping feature generating means, recognizing, gripping target recognition means that the gripping target is the object,
Equipped with
The information processing apparatus, wherein the gripping feature indicates a positional relationship between the plurality of predetermined parts based on a distance between the plurality of predetermined parts.
前記把持対象認識手段は、前記記憶手段から取得した前記把持特徴と、前記把持特徴生成手段により生成された前記把持特徴と、前記物体特徴と、をもとに、前記把持対象を認識する、請求項1に記載の情報処理装置。 Furthermore, an object feature generation unit that generates an object feature indicating at least one of the color and the pattern of the grip target in the image is provided,
The gripping target recognizing means recognizes said gripping feature acquired from the storage means, the gripping feature generated by the gripping feature generating means and said object, wherein, on the basis of, the gripping target, wherein The information processing device according to item 1.
請求項1または2に記載の情報処理装置。 The gripping characteristic generation means generates the gripping characteristic indicating a positional relationship between the portions of the plurality of predetermined portions that are in contact with the gripping target.
The information processing apparatus according to claim 1.
請求項1乃至3のいずれかに記載の情報処理装置。 The gripping characteristic generation means generates a gripping characteristic indicating a temporal change in the positional relationship between the plurality of predetermined parts,
The information processing apparatus according to claim 1.
請求項1乃至4のいずれかに記載の情報処理装置。 The predetermined portion is a finger included in the gripping means,
The information processing apparatus according to claim 1.
把持対象を把持している前記把持手段の画像を取得し、
前記画像における前記把持手段の前記把持特徴を生成し、
前記記憶された前記把持特徴と、前記生成された前記把持特徴と、をもとに、前記把持対象が前記物体であることを認識する、
情報処理方法であって、
前記把持特徴は、前記複数の所定部位間の距離により、前記複数の所定部位間の位置関係を示す
情報処理方法。 An object and a gripping feature indicating a positional relationship between a plurality of predetermined parts of the gripping means when the gripping means grips the object are stored in association with each other,
Acquiring an image of said gripping means gripping the gripping target,
It generates the gripping characteristics of the gripping means in the image,
It said gripping feature is the storage, on the basis of, and the gripping feature the generated, recognizing that the gripping target is the object,
An information processing method ,
The information processing method, wherein the gripping feature indicates a positional relationship between the plurality of predetermined parts based on a distance between the plurality of predetermined parts.
物体と、該物体を把持手段が把持した場合の該把持手段の複数の所定部位間の位置関係を示す把持特徴と、を関連付けて記憶し、
把持対象を把持している前記把持手段の画像を取得し、
前記画像における前記把持手段の前記把持特徴を生成し、
前記記憶された前記把持特徴と、前記生成された前記把持特徴と、をもとに、前記把持対象が前記物体であることを認識する、
処理を実行させるプログラムであって、
前記把持特徴は、前記複数の所定部位間の距離により、前記複数の所定部位間の位置関係を示す
プログラム。 On the computer,
An object and a gripping feature indicating a positional relationship between a plurality of predetermined parts of the gripping means when the gripping means grips the object are stored in association with each other,
Acquiring an image of said gripping means gripping the gripping target,
It generates the gripping characteristics of the gripping means in the image,
Based said gripping feature is the storage, and the gripping feature the generated, and recognizes that the gripping target is the object,
A program Ru to execute the processing,
The gripping feature is a program that indicates a positional relationship between the plurality of predetermined portions based on a distance between the plurality of predetermined portions.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014254080A JP6739896B2 (en) | 2014-12-16 | 2014-12-16 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014254080A JP6739896B2 (en) | 2014-12-16 | 2014-12-16 | Information processing device, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016115179A JP2016115179A (en) | 2016-06-23 |
JP6739896B2 true JP6739896B2 (en) | 2020-08-12 |
Family
ID=56141825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014254080A Active JP6739896B2 (en) | 2014-12-16 | 2014-12-16 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6739896B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022264436A1 (en) * | 2021-06-15 | 2022-12-22 | ソニーグループ株式会社 | Information processing device, information processing method, program, and information processing system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244413A (en) * | 2009-04-08 | 2010-10-28 | Toyota Industries Corp | Method for recognizing object gripped by grip means |
JP6056398B2 (en) * | 2012-11-14 | 2017-01-11 | 富士通株式会社 | Biometric authentication apparatus, biometric authentication method, and biometric authentication computer program |
JP6086474B2 (en) * | 2012-11-26 | 2017-03-01 | Kddi株式会社 | Information terminal equipment |
JP6155786B2 (en) * | 2013-04-15 | 2017-07-05 | オムロン株式会社 | Gesture recognition device, gesture recognition method, electronic device, control program, and recording medium |
-
2014
- 2014-12-16 JP JP2014254080A patent/JP6739896B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016115179A (en) | 2016-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101612605B1 (en) | Method for extracting face feature and apparatus for perforimg the method | |
Raheja et al. | Robust gesture recognition using Kinect: A comparison between DTW and HMM | |
Singha et al. | Indian sign language recognition using eigen value weighted euclidean distance based classification technique | |
US10078796B2 (en) | Apparatus and method of hand gesture recognition based on depth image | |
Bhuyan et al. | Fingertip detection for hand pose recognition | |
JP5403699B2 (en) | Finger shape estimation device, finger shape estimation method and program | |
Qi et al. | Computer vision-based hand gesture recognition for human-robot interaction: a review | |
EP2980755B1 (en) | Method for partitioning area, and inspection device | |
TWI506461B (en) | Method and system for human action recognition | |
US20120068917A1 (en) | System and method for dynamic gesture recognition using geometric classification | |
JP6066093B2 (en) | Finger shape estimation device, finger shape estimation method, and finger shape estimation program | |
Shukla et al. | A method for hand gesture recognition | |
Bhuyan et al. | Hand pose recognition using geometric features | |
JP2012053606A (en) | Information processor, method and program | |
Bhuyan et al. | Hand pose identification from monocular image for sign language recognition | |
CN111428731A (en) | Multi-class target identification and positioning method, device and equipment based on machine vision | |
CN105892633A (en) | Gesture identification method and virtual reality display output device | |
CN107272899B (en) | VR (virtual reality) interaction method and device based on dynamic gestures and electronic equipment | |
Vishwakarma et al. | Hand gesture recognition in low-intensity environment using depth images | |
JP2016014954A (en) | Method for detecting finger shape, program thereof, storage medium of program thereof, and system for detecting finger shape | |
US20150199592A1 (en) | Contour-based classification of objects | |
CN115335872A (en) | Training method of target detection network, target detection method and device | |
Nandwana et al. | A survey paper on hand gesture recognition | |
Pradhan et al. | A hand gesture recognition using feature extraction | |
CN102778951B (en) | Use input equipment and the input method of virtual key |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190709 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191007 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20191016 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20191108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6739896 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |