JP2006294018A - High speed retrieval method of database and drive method of robot using high speed retrieval method - Google Patents

High speed retrieval method of database and drive method of robot using high speed retrieval method Download PDF

Info

Publication number
JP2006294018A
JP2006294018A JP2006075505A JP2006075505A JP2006294018A JP 2006294018 A JP2006294018 A JP 2006294018A JP 2006075505 A JP2006075505 A JP 2006075505A JP 2006075505 A JP2006075505 A JP 2006075505A JP 2006294018 A JP2006294018 A JP 2006294018A
Authority
JP
Japan
Prior art keywords
data
classes
image data
class
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006075505A
Other languages
Japanese (ja)
Other versions
JP4410208B2 (en
Inventor
Sei Hoshino
聖 星野
Takanobu Tanimoto
貴頌 谷本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2006075505A priority Critical patent/JP4410208B2/en
Publication of JP2006294018A publication Critical patent/JP2006294018A/en
Application granted granted Critical
Publication of JP4410208B2 publication Critical patent/JP4410208B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a high speed retrieval method of a database by which retrieval time is quickened in comparison with the conventional manner, retrieval accuracy is also enhanced and time required for estimation by every input image is made approximately uniform. <P>SOLUTION: The high speed retrieval method of the data base is constituted by dividing a plurality pieces of data into a plurality of classes by performing self-organization of a data base DB using a true value as a reference in the case of classification and having a representative estimation amount representing estimation amount of each of the plurality of pieces of data included in the plurality of classes to the plurality of classes. In a first retrieval step, an applicable class is determined by comparing an estimation amount of unknown data with the plurality of representative estimation amounts. Next, by a second retrieval step, the applicable data is determined by comparing each estimation value of the plurality of pieces of data included in the class determined by the first retrieval step with an estimation value of the unknown data. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

データベースの高速検索方法及びこの高速検索方法を用いたロボットの駆動方法に関するものである。   The present invention relates to a high-speed database search method and a robot driving method using the high-speed search method.

特開２００４−４６６１２号公報等には、自己組織化技術を用いてデータベースを構築し、データの検索を高速化する技術が記載されている。従来は、自己組織化をする場合に、特にデータベースに蓄積されるデータの種類を考慮していない。そのため自己組織化の基準とするデータの精度が、検索精度に大きな影響を与えている。   Japanese Patent Application Laid-Open No. 2004-46612 describes a technique for constructing a database by using a self-organization technique and speeding up data search. Conventionally, when performing self-organization, the type of data stored in a database is not particularly considered. For this reason, the accuracy of data used as a reference for self-organization has a great influence on the search accuracy.

また特開２００５−１４１６６号公報に示されるロボットハンドの駆動方法や、ＰＣＴ／ＪＰ２００４／１６９６８に示されたロボットの駆動方法のように、データベースに蓄積されたデータを用いてロボットを駆動する場合には、データベースから所望のデータを高速で検索することや、検索に要する時間の均等化が望まれている。
特開２００４−４６６１２号公報 特開２００５−１４１６６号公報 Also, when driving a robot using data stored in a database, such as a robot hand driving method disclosed in JP-A-2005-14166 and a robot driving method described in PCT / JP2004 / 16968. Therefore, it is desired to search desired data from a database at high speed and equalize the time required for the search.
JP 2004-46612 A JP-A-2005-14166

しかしながら、従来公知の自己組織化により構築されたデータベースを利用する場合には、検索時間を速くしてしかも検索精度を高めることには、限界があった。   However, in the case of using a conventionally constructed database constructed by self-organization, there is a limit in increasing the search accuracy while increasing the search time.

本発明の目的は、従来よりも検索時間を速くすることができてしかも検索精度を高めることができるデータベースの高速検索方法を提供することにある。   An object of the present invention is to provide a high-speed database search method capable of making the search time faster than before and improving the search accuracy.

本発明の更に他の目的は、検索に要する時間の均等化が可能なデータベースの高速検索方法を提供することにある。   Still another object of the present invention is to provide a high-speed database search method capable of equalizing the time required for search.

本発明の他の目的は、データベースの高速検索方法を利用したロボットの駆動方法を提供することにある。   Another object of the present invention is to provide a robot driving method using a high-speed database searching method.

本発明は、真値と推定量とが組になった複数のデータが自己組織化により複数のクラスにより分けられて保存されているデータベースから、ある推定量を持った未知のデータに対応するデータを高速で検索するデータベースの高速検索方法を対象とする。ここで真値とは、センサ等から出力された変動しないまたは確定した値である。また推定量とは、演算によって求める特徴量等のように、条件が異なることによって変動する量のことである。本発明の方法では、真値をクラス分けの際の基準として自己組織化を行って複数のデータを複数のクラスに分け、且つ複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を複数のクラスに対してそれぞれ有している構造のデータベースを用いる。なお自己組織化において、クラスの自己増殖及び自己消滅を導入すると、データが特徴空間内に均等に存在し、また各クラスが概ね同数のデータを持つようになるので、特徴空間内にクラスがまんべんなく分散配置され、かつ各クラスに含まれるデータの数に偏りが無くなって、検索に要する時間の均等化が可能になる。   The present invention relates to data corresponding to unknown data having a certain estimator from a database in which a plurality of data in which true values and estimators are paired and stored by a plurality of classes by self-organization. The target is a high-speed database search method. Here, the true value is a value which is output from a sensor or the like and does not vary or is determined. The estimated amount is an amount that varies depending on different conditions, such as a feature amount obtained by calculation. In the method of the present invention, self-organization is performed using a true value as a reference for classification, a plurality of data is divided into a plurality of classes, and the estimated amounts of the plurality of data included in the plurality of classes are represented. A database having a structure having representative estimators for a plurality of classes is used. In addition, when self-organization and self-annihilation of classes are introduced in self-organization, the data exists evenly in the feature space, and each class has approximately the same number of data, so there are no classes in the feature space. The number of data distributed and distributed in each class is not biased, and the time required for search can be equalized.

なおデータベースの構造を、真値をクラス分けの際の基準として自己組織化を行って前記複数のデータを第１段階の複数のクラスに分け、第１段階の複数のクラスにそれぞれ分けられた複数のデータを、真値をクラス分けの際の基準として自己組織化を行って、さらに第２段階の複数のクラスに分け、さらに必要に応じて前の段階の複数のクラスに分けられた複数のデータを、真値をクラス分けの際の基準として自己組織化を行って、さらに次の段階の複数のクラスに分ける多重自己組織化を行い、各段階における複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を各段階における複数のクラスに対してそれぞれ設けた構造としてもよい。なおこの多重自己組織化は、前述のように本願明細書によって定義されたものである。このような多重自己組織化を実行すると、さらに検索時間を速くしてしかも検索精度を高めることができる。   The database structure is self-organized using the true value as a reference for classification, and the plurality of data are divided into a plurality of classes in the first stage, and a plurality of classes divided into the plurality of classes in the first stage, respectively. Data is self-organized using the true value as a standard for classification, and further divided into a plurality of classes in the second stage, and further divided into a plurality of classes in the previous stage as necessary. The data is self-organized using the true value as a standard for classification, and then multiple self-organization is performed to divide the data into multiple classes at the next stage. A structure may be adopted in which representative estimators representing the respective estimators are provided for a plurality of classes in each stage. This multiple self-organization is defined by the present specification as described above. When such multiple self-organization is executed, the search time can be further shortened and the search accuracy can be improved.

また第２段階以降のクラス分けでは、クラス分けの基準として真値だけでなく、推定量を用いてもよい。第１段階のクラス分けにおいて、クラス分けの基準として真値を用いるだけで、他の段階では推定量をクラス分けの基準として用いたとしても、推定量のみをクラス分けの基準とする場合と比べると、検索時間を速くして、しかも検索精度を高めることができ、更に検索に要する時間の均等化を図ることが可能になる。   In the classification after the second stage, not only a true value but also an estimated amount may be used as a classification criterion. Even if only the true value is used as the classification criterion in the first stage classification and the estimated amount is used as the classification criterion in other stages, it is compared with the case where only the estimated amount is used as the classification criterion. As a result, the search time can be increased and the search accuracy can be increased, and the time required for the search can be equalized.

検索の対象が推定量である場合、従来の考え方であれば、推定量を自己組織化におけるクラス分けの基準として使用する。しかしながら推定量は条件によって変動する量であって、条件の定め方によってその量の精度は低下する。そこで本発明では、変動しない確定した真値をクラス分けの基準として使用して、クラス分けを行ったデータベースを使用する。また多層自己組織化を利用する場合にも、少なくとも最初の段階のクラス分けにおいて、真値をクラス分けの基準として使用して、クラス分けを行ったデータベースを使用する。これによってクラス分けの精度は向上する。そして本発明では、推定量を検索対象とするため、複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を複数のクラスに対してそれぞれ定めることとした。この代表推定量を定めることによって、真値をクラス分けの基準として用いても、クラスを基準とした検索が可能になる。そこで本発明では、まず第１の検索ステップで、未知の入力データの推定量と複数の代表推定量との対比により該当するクラスを決定する。次に第２の検索ステップにより、第１の検索ステップで決定されたクラスに含まれる複数のデータのそれぞれの推定値と未知の入力データの推定値との対比により該当する最類似データを決定する。このように２段階の検索を実行すると、データベース内の全てのデータを検索対象とする必要がないので、データの検索を高速で行うことができる。   When the search target is an estimated amount, the estimated amount is used as a classification criterion in self-organization according to the conventional concept. However, the estimated amount varies depending on the condition, and the accuracy of the amount decreases depending on how the condition is determined. Therefore, in the present invention, a classified database is used by using a fixed true value that does not vary as a classification criterion. Also, when using multi-layered self-organization, a database that has been classified is used by using a true value as a classification criterion at least in the first classification. This improves the classification accuracy. In the present invention, in order to use the estimated amount as a search target, representative estimated amounts representing respective estimated amounts of the plurality of data included in the plurality of classes are respectively determined for the plurality of classes. By defining this representative estimation amount, a search based on a class can be performed even if a true value is used as a classification criterion. Therefore, in the present invention, first, in the first search step, the corresponding class is determined by comparing the estimated amount of unknown input data with a plurality of representative estimated amounts. Next, in the second search step, the corresponding most similar data is determined by comparing each estimated value of a plurality of data included in the class determined in the first search step with an estimated value of unknown input data. . When the two-stage search is executed in this way, it is not necessary to search all the data in the database, so that the data search can be performed at high speed.

また複数のデータが時系列で取得されたデータであり、複数の未知の入力データも時系列で取得されたデータである場合には、次のようにすると、更に検索の高速化を図ることができる。すなわち第１の検索ステップで、前回の検索で決定された一つのクラスと該一つのクラスの代表推定量と近似する代表推定量を有する１以上の他のクラスだけを、次回の第１の検索ステップにおける検索対象のクラスとすることである。ロボットの動作に関するデータのように、時系列で取得されるデータは、殆どの場合、連続して変化する。そのため、前回のデータと次回のデータとが極端に相違することはない。したがって前述のように、次回の検索の際に前回の検索で決定された一つのクラスと該一つのクラスの代表推定量と近似する代表推定量を有する１以上の他のクラスだけを、次回の第１の検索ステップにおける検索対象のクラスとして、検索対象とするクラスを減らしても、検索不能になるといった事態が発生することはない。したがって時系列で取得するデータの検索については、前述のようにすると、更に高速化を図ることができる。   If a plurality of data is acquired in time series and a plurality of unknown input data is also acquired in time series, the search can be further speeded up as follows. it can. That is, in the first search step, only the one class determined in the previous search and one or more other classes having a representative estimator approximate to the representative estimator of the one class are searched for the first first search. It is to be a class to be searched in the step. In most cases, data acquired in time series, such as data relating to robot movement, changes continuously. For this reason, there is no extreme difference between the previous data and the next data. Therefore, as described above, in the next search, only one class determined in the previous search and one or more other classes having a representative estimator that approximates the representative estimator of the one class are included in the next search. Even if the number of search target classes is reduced as the search target class in the first search step, a situation in which the search becomes impossible does not occur. Therefore, the search for data acquired in time series can be further speeded up as described above.

本発明のデータベースの高速検索方法は、種々の用途に適用が可能である。特に、ロボットの駆動方法に本発明のデータベースの高速検索方法を適用すると、膨大なデータを蓄積したデータベースを用いても、迅速に必要なデータを検索することができ、リアルタイムで遅延なくロボットを駆動制御することが可能になる。具体的に本発明のロボットの駆動方法では、以下の第１乃至第５のステップを実行することによりロボットを駆動する。第１のステップでは、ロボットに対応する動作物と、この動作物に設けられて動作物の動きを検出する複数のセンサと、これら複数のセンサの出力に基づいて動作指令を発生する動作指令発生装置とを用いる。そして動作物に所定の動作を行わせたときの複数のセンサの出力に基づいて動作指令発生装置が発生する動作指令を事前収集動作指令として記憶する。ここで動作物とは、典型的には人間自体または人間の手や足等の動作する部位等であるが、動作物は人間以外の動物等でもよい。また事前収集動作指令は、複数のセンサの出力に基づく複数の値（真値）であり、例えば複数のセンサが角度を検出するセンサであれば、この事前収集動作指令は、複数のセンサが検出した角度に対応する値であってもよい。したがって事前収集動作指令がセンサの出力に対応するものであれば、複数のセンサが動作指令発生装置を兼ねることなる。   The database high-speed search method of the present invention can be applied to various uses. In particular, by applying the database high-speed search method of the present invention to the robot drive method, it is possible to quickly search for necessary data using a database storing a large amount of data, and drive the robot in real time without delay. It becomes possible to control. Specifically, in the robot driving method of the present invention, the robot is driven by executing the following first to fifth steps. In the first step, an operation object corresponding to the robot, a plurality of sensors provided on the operation object for detecting the movement of the operation object, and an operation command generation for generating an operation command based on the outputs of the plurality of sensors Device. Then, the operation command generated by the operation command generator based on the outputs of the plurality of sensors when the operation object performs a predetermined operation is stored as a pre-collection operation command. Here, the moving object is typically a person itself or a moving part such as a human hand or foot, but the moving object may be an animal other than a human. The pre-collection operation command is a plurality of values (true values) based on the outputs of the plurality of sensors. For example, if the plurality of sensors detect the angle, the pre-collection operation command is detected by the plurality of sensors. It may be a value corresponding to the angle. Therefore, if the pre-collection operation command corresponds to the output of the sensor, a plurality of sensors also serve as the operation command generator.

第２のステップでは、動作物またはその擬似物に所定の動作と同じ動作をさせたときの動作物またはその擬似物の複数の画像データを時系列で取得する。ここで「動作物またはその擬似物」における「動作物」とは第１のステップの動作物と同じものでもよいが、同様の形状及び構造を有し（言換えると、同じ場所に同じ関節があり）且つ同じ動作を行い得るものであれば別の動作物であってもよい。また「動作物またはその擬似物」における「その擬似物」とは、その動作物をコンピュータグラフィック技術等の擬似物生成技術を用いて作成したものや、その動作物の人形等である。この場合疑似物の画像データは、疑似画像データである。特にコンピュータグラフィック技術を用いる場合の疑似物の画像データは、コンピュータグラフィック画像データである。複数の画像データを時系列で取得する方法または手法は、任意であり、単眼カメラ、両眼カメラのいずれにより撮影したものであってもよい。   In the second step, a plurality of pieces of image data of the action object or the imitation are obtained in a time series when the action object or its imitation is caused to perform the same operation as the predetermined action. Here, the “motion object” in the “motion object or its imitation” may be the same as the motion object of the first step, but has the same shape and structure (in other words, the same joint is located at the same place. Yes, and another operation object may be used as long as it can perform the same operation. In addition, the “imitation” in the “action object or its imitation” refers to a movement object created using a fake generation technique such as a computer graphic technique, or a doll of the action object. In this case, the pseudo image data is pseudo image data. In particular, the image data of the imitation when using the computer graphic technique is computer graphic image data. A method or method for acquiring a plurality of image data in time series is arbitrary, and may be one obtained by either a monocular camera or a binocular camera.

動作物が人間の手である場合、第２のステップでは、疑似物の複数の画像データに、人間の手に現れる個人差を考慮した画像データを含めておくと、後述する第５のステップにおける画像データの特定精度を高めることができる。ここで個人差が生じる相違要素には、拇指以外の４指の基節位置の曲率、拇指基節の張り出し具合、隣り合う二本の指の開き具合、開いた二本の指の基準角度の違い、拇指の反り具合等がある。このような個人差は、コンピュータグラフィック技術等の擬似物生成技術を用いて疑似物の画像データ（疑似画像データ）を作成する場合には、前述の相違要素をパラメータとして既に作成した基本となる疑似物の画像データを変更することにより簡単に得ることができる。したがって個人差を考慮した画像データの作成は、難しいものではなく、簡単である。   In the case where the moving object is a human hand, in the second step, if image data considering individual differences appearing in the human hand is included in the plurality of image data of the pseudo object, The accuracy of specifying image data can be increased. Differences that cause individual differences include the curvature of the base position of the four fingers other than the thumb, the degree of protrusion of the thumb, the opening of two adjacent fingers, and the reference angle of the two open fingers. There are differences, such as how to warp the thumb. Such individual differences are the basis for creating pseudo-image data (pseudo-image data) using a pseudo-image generation technique such as computer graphic technology, which is a basic pseudo-image that has already been created using the above-described different elements as parameters. It can be easily obtained by changing the image data of the object. Therefore, the creation of image data considering individual differences is not difficult and simple.

また第２のステップで作成する複数の画像データには、疑似物の複数の画像データの解像度を変えて作成した複数の解像度変更画像データを含めてもよい。これは画像データの解像度を変えたほうが、画像の特徴が現れやすくなるものもあるからである。画像データの解像度は、基本となる画像データがあれば、簡単に変更することは可能である。   Further, the plurality of image data created in the second step may include a plurality of resolution-change image data created by changing the resolution of the plurality of pseudo-image data. This is because some image characteristics are more likely to appear when the resolution of the image data is changed. The resolution of the image data can be easily changed if there is basic image data.

第３のステップでは、第２のステップで得た複数の画像データに含まれる各画像データと事前収集動作指令とを対応付けて画像対応動作指令記憶手段（データベース）に記憶する。なお擬似物の画像データを用いる場合には、第３のステップでは、実際に撮影した画像だけでなく、第２のステップで取得した前の画像データと後の画像データとの間の未作成（未撮影）の画像データをコンピュータグラフィック技術により作成したものも対象とする。この場合には、未作成の画像データに対応する事前収集動作指令を、前の画像データに対応する事前収集動作指令と後の画像データに対応する事前収集動作指令とに基づいて推定により作成し、これを未作成の画像データと対応付けて記憶することができる。このようにすれば、少ない実際の画像データを用いて、より多くの画像データと事前収集動作指令との対応データを得ることができ、対応データ（画像データと事前収集動作指令とを対応付けたもの）の収集が大幅に簡単になる。   In the third step, the image data included in the plurality of image data obtained in the second step and the pre-collection operation command are associated with each other and stored in the image corresponding operation command storage means (database). In the case of using the image data of the pseudo object, in the third step, not only the actually captured image but also the uncreated (not shown) between the previous image data and the subsequent image data acquired in the second step ( This also applies to images created by computer graphic technology. In this case, a pre-collection operation command corresponding to uncreated image data is created by estimation based on a pre-collection operation command corresponding to the previous image data and a pre-collection operation command corresponding to the subsequent image data. This can be stored in association with uncreated image data. In this way, it is possible to obtain correspondence data between a larger amount of image data and a pre-collection operation command by using a small amount of actual image data. Stuff) is much easier to collect.

また第３のステップは、対応データを取得するために、演算ステップと、自己組織化ステップと、代表特徴量決定ステップと記憶ステップとを含んで構成される。演算ステップでは、複数の画像データのそれぞれについて特徴量を演算する。自己組織化ステップでは、複数の対応データを複数のクラスに分ける基準として複数の真値を用いて自己組織化を行い複数の対応データを複数のクラスに分ける。代表特徴量決定ステップでは、１つのクラスに含まれる複数の対応データのそれぞれの特徴量（推定量）を代表する代表特徴量（代表推定量）を決定する。なおこの自己組織化ステップにおいて、前述の多重自己組織化を行って複数の対応データをｎ段階（ただしｎは２以上の整数）の複数のクラスに分けても良いのは勿論である。この自己組織化ステップにおいて、少なくとも最初の段階において、複数の真値を用いて自己組織化を行えばよく、残りの段階では、画像データの特徴量をクラス分けの基準として用いることもできる。このようにしても全て画像データの特徴量をクラス分けの基準とする場合と比べれば、検索速度及び検索精度を向上させることが可能であり、また推定に要する時間を概ね均等にすることができる。   The third step includes a calculation step, a self-organization step, a representative feature amount determination step, and a storage step in order to obtain correspondence data. In the calculation step, the feature amount is calculated for each of the plurality of image data. In the self-organization step, self-organization is performed using a plurality of true values as a reference for dividing a plurality of correspondence data into a plurality of classes, and the plurality of correspondence data is divided into a plurality of classes. In the representative feature amount determination step, a representative feature amount (representative estimation amount) representing each feature amount (estimation amount) of a plurality of corresponding data included in one class is determined. In this self-organization step, it is of course possible to divide a plurality of corresponding data into a plurality of classes of n stages (where n is an integer of 2 or more) by performing the above-mentioned multiple self-organization. In this self-organization step, self-organization may be performed using a plurality of true values at least in the first stage, and in the remaining stages, feature quantities of image data can be used as classification criteria. Even in this case, the search speed and the search accuracy can be improved and the time required for the estimation can be made substantially equal as compared with the case where the feature amount of the image data is used as the classification criterion. .

そして記憶ステップでは、複数の真値及び特徴量を含む対応データを複数のクラスに分け且つ該複数のクラスに対応する複数の代表特徴量と一緒に画像対応動作指令記憶手段（データベース）に記憶する。ここでセンサの出力が角度に相当するものであれば、複数の真値は複数の角度に相当するものである。   In the storing step, correspondence data including a plurality of true values and feature amounts is divided into a plurality of classes and stored together with a plurality of representative feature amounts corresponding to the plurality of classes in an image corresponding operation command storage means (database). . If the sensor output corresponds to an angle, the plurality of true values correspond to a plurality of angles.

第４のステップでは、ロボットを動作させるために、動作物またはその擬似物に所望の動作を行わせ、その際に動作物またはその擬似物の画像データを時系列でロボット動作用画像データとして取得する。動作物にセンサを装着する必要はない。そして第５のステップでは、ロボット動作用画像データに含まれる動作画像データに対応する画像データを画像対応動作指令記憶手段に記憶している複数の画像データ（対応データ）から時系列で特定する。なおロボット動作用画像データに含まれる動作画像データと画像対応動作指令記憶手段に記憶されている複数の画像データとの対応は、画像データから演算により求めた特徴量を用いて、例えば類似度に基づいて判断することができる。したがって対応データには、各画像データの特徴量を含めている。類似度の求め方は任意であり、特定の方法に限定されるものではない。そして第５のステップでは、特定した画像データに対応する事前収集動作指令を動作指令としてロボットに与える。   In the fourth step, in order to operate the robot, the desired motion is performed on the moving object or its imitation, and image data of the moving object or its imitation is acquired as time-series image data for robot operation. To do. There is no need to attach a sensor to the moving object. In a fifth step, image data corresponding to the motion image data included in the robot motion image data is specified in time series from a plurality of image data (corresponding data) stored in the image corresponding motion command storage means. Note that the correspondence between the motion image data included in the image data for robot motion and the plurality of image data stored in the image corresponding motion command storage means is obtained by using, for example, the degree of similarity using the feature amount obtained by calculation from the image data. It can be judged based on. Therefore, the correspondence data includes the feature amount of each image data. The method for obtaining the similarity is arbitrary and is not limited to a specific method. In a fifth step, a pre-collection operation command corresponding to the specified image data is given to the robot as an operation command.

なお人間型ロボットにおいて不良設定性が多いのは、手である。したがってロボットハンドの駆動に本発明を適用すると、従来よりも簡単にロボットハンドを駆動することができる。なおこの場合、動作物としては人間の手またはその擬似物が用いられることになる。そして第１のステップでは、人間の手に装着するデータグローブを用いる。このデータグローブは、グローブ本体にロボットの手の動作部に対応した人間の手の動作部の動きを検出する位置に複数のセンサが装着された構造を有している。   It is the hand that has a large defect setting property in the humanoid robot. Therefore, when the present invention is applied to driving of a robot hand, the robot hand can be driven more easily than in the past. In this case, a human hand or an imitation thereof is used as the moving object. In the first step, a data glove worn on a human hand is used. This data glove has a structure in which a plurality of sensors are mounted on the glove body at a position for detecting the motion of the motion part of the human hand corresponding to the motion part of the robot hand.

なお第１のステップは事前に行う作業であるため、第１のステップを切り離して、ロボットを駆動する装置に用いられる駆動方法においては、第２乃至第５のステップだけを用いてロボットを駆動することができるのは当然である。   Since the first step is an operation performed in advance, in the driving method used for the apparatus for driving the robot by separating the first step, the robot is driven using only the second to fifth steps. Of course, you can.

本発明によれば、複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を複数のクラスに対してそれぞれ定めているので、真値をクラス分けの基準として用いても、クラスを基準とした検索が可能になる。また本発明では、第１の検索ステップで、未知のデータの推定量と複数の代表推定量との対比により該当するクラスを決定し、第２の検索ステップにより、第１の検索ステップで決定されたクラスに含まれる複数のデータのそれぞれの推定値と未知のデータの推定値との対比により該当するデータを決定するので、２段階の検索を実行することにより、データベース内の全てのデータを検索対象とすることなく、データの検索を高速で行うことができる。   According to the present invention, since the representative estimators representing the respective estimators of the plurality of data included in the plurality of classes are respectively determined for the plurality of classes, the true value may be used as a classification criterion. Search based on class is possible. In the present invention, in the first search step, the corresponding class is determined by comparing the estimated amount of unknown data with a plurality of representative estimation amounts, and determined in the first search step by the second search step. Since the corresponding data is determined by comparing the estimated value of each of the multiple data included in the selected class with the estimated value of the unknown data, all data in the database is searched by performing a two-step search. Data search can be performed at high speed without targeting.

また複数のデータが時系列で取得されたデータであり、複数の未知のデータも時系列で取得されたデータである場合には、第１の検索ステップで、前回の検索で決定された一つのクラスと該一つのクラスの代表推定量と近似する代表推定量を有する複数の他のクラスだけを、次回の第１の検索ステップにおける検索対象のクラスとすることにより、検索対象とするクラスを減らして、更に高速化を図ることができる。   Further, when a plurality of data are data acquired in time series and a plurality of unknown data are also data acquired in time series, the first search step determines one of the data determined in the previous search. Only a plurality of other classes having a class and a representative estimator that approximates the representative estimator of the one class are used as search target classes in the next first search step, thereby reducing the search target classes. Thus, the speed can be further increased.

以下図面を参照して本発明のデータベースの高速検索方法をロボットの駆動方法に適用した実施の形態について説明する。なお実施の形態について説明する前に、本実施の形態で用いる技術の基礎について説明する。両眼あるいは単眼カメラによるヒト手指の３次元形状を推定する場合には、手指の形状が複雑で、しかも自己遮蔽も多く、形状の認識における不良設定性が存在する。そのため、赤外線レンジセンサや複数台のコンピュータを用いた並列計算装置といった周辺機器類を使用しない限り、高速で且つ高精度に推定することはできない。   An embodiment in which the fast database searching method of the present invention is applied to a robot driving method will be described below with reference to the drawings. Before describing the embodiment, the basis of the technique used in the present embodiment will be described. When estimating the three-dimensional shape of a human finger using a binocular or monocular camera, the shape of the finger is complicated, and there are many self-occlusions, and there is a defect setting property in shape recognition. Therefore, it cannot be estimated at high speed and with high accuracy unless peripheral devices such as an infrared range sensor or a parallel computing device using a plurality of computers are used.

そこで、発明者らは、形状が複雑で自己遮蔽の多いヒトの手の形状推定とロボット制御を同時に解決できる非常に有効な、場合によっては唯一の方法が、人間の見まね能力であると考えて、人と同じような精度と処理速度で手指動作の再現が可能なロボットハンドの制御方法の開発を行った。そしてこの開発において、データベースから高速でデータを検索しなければならに問題に直面し、本発明の検索方法を発明した。   Therefore, the inventors consider that the ability to imitate humans is the only effective method that can solve both human hand shape estimation and robot control with complex shapes and high self-shielding at the same time. We have developed a robot hand control method that can reproduce finger movements with the same accuracy and processing speed as humans. In this development, we faced the problem of having to retrieve data from the database at high speed, and invented the retrieval method of the present invention.

以下、この開発に係わる本発明のロボットの駆動方法についての実施例を説明し、併せて本発明のデータベースの高速検索方法についての実施例を説明する。まず本実施の形態で用いる多指ロボットハンド（ロボット）の機構について説明する。図１は、発明者等が開発した本実施の形態で制御の対象とする公知の多指ロボットハンド１の平面図であり、図２は図１のロボットハンドの内部に配置されたアクチュエータ２（エンコーダ内蔵型超小形モータ）の配置構成を示す図である。なおこの多指ロボットハンドの詳細は、特開２００３−１１７８７３号公報に示されている。この多指ロボットハンド１の各関節の可動範囲は、親指の内外旋が１２０°であり、内外転が６０°である。そして各５本指の屈曲、伸展は第２関節に連動して行われ、第２関節の可動範囲は１１２°であり、第１関節は第２関節の可動範囲の７／１０倍、第３関節は第２関節の可動範囲の５／７倍となっている。指の開閉は薬指に連動して、人指し指、小指が動き、中指は動かない。また薬指の開閉可動範囲は１５°であり、人指し指は１３°であり、小指は３１°である。これらの構成によって、拇指と小指の接触が可能になり人の手指の可動域を十分に実現できている。   Hereinafter, an embodiment of the robot driving method of the present invention related to this development will be described, and an embodiment of the database fast search method of the present invention will also be described. First, the mechanism of the multi-fingered robot hand (robot) used in this embodiment will be described. FIG. 1 is a plan view of a known multi-fingered robot hand 1 to be controlled in the present embodiment developed by the inventors, and FIG. 2 is an actuator 2 (located inside the robot hand of FIG. It is a figure which shows the arrangement configuration of an encoder built-in type ultra-small motor). Details of this multi-fingered robot hand are disclosed in Japanese Patent Laid-Open No. 2003-117873. The movable range of each joint of the multi-fingered robot hand 1 is 120 ° for the internal and external rotation of the thumb and 60 ° for internal and external rotation. The bending and extension of each of the five fingers is performed in conjunction with the second joint, the movable range of the second joint is 112 °, the first joint is 7/10 times the movable range of the second joint, the third The joint is 5/7 times the movable range of the second joint. The finger opens and closes in conjunction with the ring finger, and the index finger and little finger move, and the middle finger does not move. The ring finger open / close movable range is 15 °, the index finger is 13 °, and the little finger is 31 °. With these configurations, the thumb and the little finger can be contacted, and the range of motion of the human finger can be sufficiently realized.

各関節のアクチュエータ２には、ＤＣマイクロモータを使用している。各指の第２関節、拇指の内外旋、内外転部位と拇指以外の４指間の開閉（アブダクション）用に掌の内部にそれぞれアクチュエータ２が設置されている。各関節の制御は、図示しない制御用計算機からの指令を受けて動作し、内部にＤ／Ａコンバータや、小型サーボモータ専用ドライバー（マイクロサーボ）が配置された駆動装置３を介して、各アクチュエータ２のモータにかける電圧を変化させることで行う。各アクチュエータ２のモータには、インクリメンタルシャフトエンコーダが内蔵されている。このエンコーダの出力は、軸速度、回転方向の検出の他に、位置制御に使用できる。各関節の角度情報は、ギヤを介して分解能を挙げたエンコーダを介して図示しない制御用計算機にフィードバックされる機構を持っている。   A DC micromotor is used for the actuator 2 of each joint. Actuators 2 are installed inside the palm for opening and closing (abduction) between the second joint of each finger, the internal and external rotations of the thumb, and the four fingers other than the internal and external rotation parts and the thumb. Each joint is operated in response to a command from a control computer (not shown), and each actuator is connected via a drive device 3 in which a D / A converter and a small servo motor driver (micro servo) are arranged. This is done by changing the voltage applied to the motor No.2. Each motor 2 has a built-in incremental shaft encoder. The output of this encoder can be used for position control in addition to detection of shaft speed and rotation direction. The angle information of each joint has a mechanism that is fed back to a control computer (not shown) through an encoder that increases the resolution through gears.

図３は、遠隔指令装置として使用するデータグローブ４の一例の概略構成を示す図である。このデータグローブ４には、手袋形の本体の関節部分を中心にして約１６箇所の位置に分散して位置センサが備えられた構成を有している。具体的には、Ｖｉｒｔｕａｌ ｔｅｃｈｎｏｌｏｇｉｅｓ社製のｃｙｂｅｒｇｌｏｖｅ（商標）をデータグローブとして用いている。このデータグローブのセンサ５は、拇指を除く各指のＭＰ（中手指節関節），ＰＩＰ（近位指節間関節）に一つずつ、拇指にはＭＰ、ＰＩＰ、ＤＩＰ（遠位節間関節）についており、また各指の間にあるアブダクションを計測するセンサと掌の中央のセンサとで計１６ヶ所に設置されている各センサ５はそれぞれ歪曲（ひずみ）度を数値化して３０〜４０Ｈｚで出力する仕様を有している。掌の中央に設置されているセンサ５は掌全体の歪曲度を計測するものであり、対する人型ロボットハンドにはその機構は備わっていないため、この実施の形態では、この中央のセンサ５は使用しない。   FIG. 3 is a diagram showing a schematic configuration of an example of the data glove 4 used as a remote command device. The data glove 4 has a configuration in which position sensors are provided dispersed at approximately 16 positions centering on the joint portion of the glove-shaped main body. Specifically, cyberglove (trademark) manufactured by Virtual technologies is used as a data glove. The sensor 5 of this data glove has one MP (middle hand phalanx joint) and one PIP (proximal interphalangeal joint) for each finger excluding the thumb, and MP, PIP, DIP (distal interphalangeal joint) for the thumb. In addition, each sensor 5 installed at a total of 16 locations, including a sensor for measuring abduction between each finger and a sensor in the center of the palm, digitizes each degree of distortion (strain) at 30 to 40 Hz. Has specifications to output. The sensor 5 installed at the center of the palm measures the degree of distortion of the entire palm. Since the humanoid robot hand does not have the mechanism, in this embodiment, the sensor 5 at the center is do not use.

人の手指動作を操作者が手に装着したデータグローブによりデータ化し、これを計算機に取り込んで多指型ロボットハンドの制御指令値に変換すれば、データグローブを装着した操作者の手の動作と同様の動作をロボットハンドで実現させることができる。   If a human glove's finger movement is converted into data using a data glove worn by the operator and is converted into a control command value for a multi-fingered robot hand by incorporating it into a computer, the movement of the hand of the operator wearing the data glove A similar operation can be realized with a robot hand.

データグローブによるロボットハンドの制御法において、一つの簡単な方法としては、サイバーグローブから出力されるデータを３次元座標位置に変換しロボットハンドの関節と対になる部分の角度情報を時系列で取り出し、それをロボットハンドに実行させて、ロボットハンドを動作させるという手段がある。しかし、この方法を用いるとデータグローブの各センサから出力される１６個の値がそれぞれ各関節のＸ座標、Ｙ座標、Ｚ座標、ピッチ角、ヨー角、ロール角に変換され、一単位時刻あたり１００ものデータが生成されることとなり、これからロボットハンドの動作に必要な８関節分のデータを抽出して使用することは計算効率や時間効率を考える面からも最適ではない。   One simple method for controlling a robot hand using a data glove is to convert the data output from the cyber glove into a three-dimensional coordinate position and extract the angle information of the part paired with the joint of the robot hand in time series. There is a means for causing the robot hand to operate by causing the robot hand to execute it. However, using this method, the 16 values output from each sensor of the data glove are converted to the X coordinate, Y coordinate, Z coordinate, pitch angle, yaw angle, and roll angle of each joint, respectively. As many as 100 data are generated, and it is not optimal from the viewpoint of calculation efficiency and time efficiency to extract and use data for 8 joints necessary for the operation of the robot hand.

人の手指は拇指を除く四指に至って、他の四指の影響を少なからず受ける。その特徴を定量的に表すこともこの制御方法及び装置において重要であると考える。そこでデータグローブで得られるデータからロボットハンド制御用の指令値への変換式に本発明の実施の形態では、重回帰式を用いる。   Human fingers reach four fingers except the thumb and are affected by the other four fingers. It is considered to be important in this control method and apparatus to quantitatively represent the characteristics. Therefore, in the embodiment of the present invention, a multiple regression equation is used for the conversion equation from the data obtained by the data glove to the command value for controlling the robot hand.

ロボットハンドの各関節に対し重回帰式、すなわちすべてのデータグローブからの出力の重み付き線形和によりそれぞれのロボットハンドの関節を記述するためには、まず重回帰分析を行い偏回帰係数を求める必要がある。そこで重回帰分析用のデータを取得するためにデータグローブ装着者は予め定めた時系列関節角度パターンに従って関節角度指令値を駆動装置３に入力して、ロボットハンドを動作させる。なお駆動装置３に指令を与える制御装置は、ロボットハンド１にあらかじめ重回帰分析に有効な動作を行わせる予め定めた時系列関節角度パターンの関節角度指令値を記憶している。そしてこのロボットハンドの動作に従い即ち倣って、データグローブを装着した操作者には、データグローブを装着した手において、指の屈伸、アブダクション等の動作を事前に行ってもらう。本発明では、このようにして計測したデータグローブ４の出力と計測に用いたロボットハンドの時系列関節角度パターンとを重回帰分析にかけ、各関節ごとの偏回帰係数を導き出す。下記の式は本実施の形態で用いる重回帰式である。
In order to describe the joints of each robot hand by multiple regression equations for each joint of the robot hand, that is, the weighted linear sum of the outputs from all data gloves, it is necessary to first perform partial regression analysis and obtain partial regression coefficients There is. Therefore, in order to acquire data for multiple regression analysis, the data glove wearer inputs a joint angle command value to the driving device 3 according to a predetermined time-series joint angle pattern and operates the robot hand. The control device that gives a command to the driving device 3 stores a joint angle command value of a predetermined time-series joint angle pattern that causes the robot hand 1 to perform an operation effective for multiple regression analysis in advance. In accordance with the movement of the robot hand, that is, the operator who wears the data glove asks the operator wearing the data glove in advance to perform operations such as bending and stretching of the finger and abduction. In the present invention, the output of the data glove 4 thus measured and the time series joint angle pattern of the robot hand used for the measurement are subjected to a multiple regression analysis to derive a partial regression coefficient for each joint. The following equation is a multiple regression equation used in the present embodiment.

ここで、目的変数θｉはロボットハンド１での制御対象となる関節各度の指令値、説明変数ｘinはデータグローブ４からの出力値、ａinは偏回帰係数、ａ0nは残差である。この重回帰式で出される値はデータグローブ４での各指の関節角度の値であるので、この値をロボットハンドの角度指令値として制御を行えばよいことになる。 Here, the objective variable θi is the command value of the joint the degree to be controlled in the robot hand 1, the explanatory variable x in the output value from the data glove 4, a in the partial regression coefficients, a 0n is the residual . Since the value given by this multiple regression equation is the value of the joint angle of each finger in the data glove 4, it is sufficient to control this value as the angle command value of the robot hand.

図４には、事前収集動作指令を得る際に用いる多指ロボットハンドの制御装置と本発明のデータベースの高速検索方法を採用したロボットの駆動方法を用いてロボットハンドを駆動する装置の構成の一例の概略構成を示してある。図４に示した動作指令を事前に収集する際に用いる制御装置では、関節角度を指示する関節角度指令値ｙに応じて動作するアクチュエータを備えたｋ個（ｋは正の整数）の関節を有する多指ロボットハンド１を制御するものとする。そしてデータグローブ４は、操作者の手に装着されて操作者の手の動きに応じてｎ個（ｎは正の整数）の出力信号ｘｎを出力する遠隔指令装置を構成している。この多指ロボットハンドの制御装置は、対応関係決定手段６と制御信号発生手段７とを備えている。対応関係決定手段６は、ｋ個の関節のためのｋ個の関節角度指令値ｙそれぞれについて、各関節角度指令値ｙとｎ個の出力信号ｘｎとの間の対応関係を予め定めるように構成されている。具体的には、対応関係決定手段６は、時系列関節角度パターン記憶手段６１と、サンプリング手段６２と、偏回帰係数導出手段６３と、重回帰式決定手段６４とを備えている。   FIG. 4 shows an example of the configuration of an apparatus for driving a robot hand using a multi-fingered robot hand control apparatus used for obtaining a pre-collection operation command and a robot driving method adopting the database high-speed search method of the present invention. The schematic structure of is shown. In the control device used when collecting the operation commands shown in FIG. 4 in advance, k joints (k is a positive integer) having actuators that operate according to the joint angle command value y that indicates the joint angle are provided. Assume that the multi-fingered robot hand 1 is controlled. The data glove 4 constitutes a remote command device that is attached to the operator's hand and outputs n (n is a positive integer) output signals xn according to the movement of the operator's hand. This control apparatus for a multi-fingered robot hand includes a correspondence determining means 6 and a control signal generating means 7. The correspondence determining means 6 is configured to predetermine a correspondence between each joint angle command value y and n output signals xn for each of k joint angle command values y for k joints. Has been. Specifically, the correspondence determination unit 6 includes a time-series joint angle pattern storage unit 61, a sampling unit 62, a partial regression coefficient derivation unit 63, and a multiple regression equation determination unit 64.

サンプリング手段６３は、ｋ個の関節（実際にはアクチュエータ２）にそれぞれ予め定めた時系列関節角度パターン記憶手段６１に記憶した時系列関節角度パターンに従って関節角度指令値を入力して多指ロボットハンド１を動作させた状態において、多指ロボットハンド１の動きに倣うように操作者がデータグローブ４を操作したときにｎ個の出力信号ｘｎを時系列でｍ回（ｍはｎより大きい正の整数）サンプリングする。サンプリング手段６２はサンプリングを開始する前に時系列関節角度パターン記憶手段６１に指令を与え、時系列関節角度パターン記憶手段６１は駆動装置３に予め定めた関節角度指令値を出力する。なお時系列関節角度パターンは、Ｎ次元空間をまんべんなく動くような任意の関数指令を多指ロボットハンドの関節（アクチュエータ）に与えるように構成するのが好ましい。駆動手段３は、これを受けて多指ロボットハンド１を動作させる。   The sampling means 63 inputs the joint angle command value according to the time-series joint angle pattern stored in the predetermined time-series joint angle pattern storage means 61 for each of the k joints (actually the actuator 2), and multi-fingered robot hand When the operator operates the data glove 4 so as to follow the movement of the multi-fingered robot hand 1 in a state where 1 is operated, n output signals xn are time-sequentially m times (m is a positive value greater than n). (Integer) sampling. The sampling means 62 gives a command to the time-series joint angle pattern storage means 61 before starting sampling, and the time-series joint angle pattern storage means 61 outputs a predetermined joint angle command value to the driving device 3. The time-series joint angle pattern is preferably configured to give an arbitrary function command that moves evenly in the N-dimensional space to the joint (actuator) of the multi-fingered robot hand. In response to this, the driving unit 3 operates the multi-fingered robot hand 1.

偏回帰係数導出手段６３は、時系列関節角度パターン記憶手段６１に記憶した時系列関節角度パターンと、サンプリング手段６２から出力されるｍ回のサンプリングにより求めたｍ組のｎ個の出力信号ｘｎとに基づいて重回帰分析を行い、ｋ個の関節のそれぞれについて偏回帰係数を導出する。   The partial regression coefficient deriving unit 63 includes a time-series joint angle pattern stored in the time-series joint angle pattern storage unit 61, and m sets of n output signals xn obtained by m samplings output from the sampling unit 62. Is subjected to multiple regression analysis, and partial regression coefficients are derived for each of the k joints.

重回帰式決定手段６４、偏回帰係数導出手段６３が定めたｋ個の関節毎の偏回帰係数を用いて、ｋ個の関節毎の関節角度指令値ｙとｎ個の出力信号ｘｎとの間の対応関係を定めるｋ個の重回帰式を決定する。   Between the joint angle command value y for each of k joints and the n output signals xn using the partial regression coefficient for each of the k joints determined by the multiple regression equation determining means 64 and the partial regression coefficient deriving means 63. K multiple regression equations that determine the corresponding relationship are determined.

そして制御信号発生手段７は、対応関係決定手段６の重回帰式決定手段６４が求めた対応関係とｎ個の出力信号ｘｎとに基づいて、ｋ個の関節角度指令値ｙを求め、ｋ個の関節角度指令値ｙを示す制御信号（動作指令）を多指ロボットハンドのｋ個の関節を駆動するための駆動装置３に出力するように構成されている。この制御信号発生手段７は、重回帰式決定手段６４が求めたｋ個の重回帰式を対応関係として用い、ｎ個の出力信号ｘｎを入力としてｋ個の関節角度指令値ｙを求める。これらｋ個の関節角度指令値ｙが動作指令（データベースの高速検索方法における真値）となる。なおデータグローブ４の動きに応じて制御指令発生手段７からは処理速度に応じた時間間隔で動作指令が出力される。なお図４の例においては、対応関係決定手段６及び制御信号発生手段７により動作物（操作者の手）に所定の動作を行わせたときの複数のセンサの出力に基づいて動作指令を発生する動作指令発生装置が構成されている。   The control signal generating means 7 obtains k joint angle command values y based on the correspondence obtained by the multiple regression equation determining means 64 of the correspondence determining means 6 and the n output signals xn. A control signal (operation command) indicating the joint angle command value y is output to the driving device 3 for driving k joints of the multi-fingered robot hand. The control signal generation means 7 uses k multiple regression equations obtained by the multiple regression equation determination means 64 as a correspondence relationship, and obtains k joint angle command values y by inputting n output signals xn. These k joint angle command values y become operation commands (true values in the high-speed database search method). An operation command is output from the control command generation means 7 in accordance with the movement of the data globe 4 at time intervals corresponding to the processing speed. In the example of FIG. 4, an operation command is generated based on outputs of a plurality of sensors when an action object (hand of the operator) is caused to perform a predetermined operation by the correspondence determination unit 6 and the control signal generation unit 7. An operation command generating device is configured.

図６と図５乃至図７を用いて、ロボットハンドを駆動する方法の一例を説明する。第１のステップでは、事前収集動作指令記憶装置８が、データグローブ４を嵌めた手（動作物）に所定の動作を行わせたときのデータグローブ４の複数のセンサ５の出力に基づいて動作指令発生装置（６，７）が発生する動作指令を事前収集動作指令（データベースの高速検索方法における真値）として記憶する。この記憶動作をコンピュータを用いて実現する場合に用いるソフトウエアのアルゴリズムを図５に示す。   An example of a method for driving the robot hand will be described with reference to FIGS. 6 and 5 to 7. In the first step, the pre-collection operation command storage device 8 operates based on the outputs of the plurality of sensors 5 of the data glove 4 when the hand (operation object) with the data glove 4 is made to perform a predetermined operation. The operation command generated by the command generator (6, 7) is stored as a pre-collection operation command (true value in the database fast search method). FIG. 5 shows a software algorithm used when this storage operation is realized using a computer.

第２のステップでは、図６に示すように、単眼カメラまたは両眼カメラ等からなるカメラ９によりデータグローブ４を手に装着して事前収集動作指令を取得するときと同じ動作（所定の動作）を人の手Ｈで行う。そしてこのときの手（動作物）Ｈの画像データを時系列で取得する。なおこの画像データの取得は、事前収集動作指令を取得するのと同時に行ってもよいが、後から行ってもよい。図６の例では、手Ｈで「グー」の形を作った状態の画像データをとり、この画像データに基づいてコンピュータグラフィック技術で手の擬似物の画像データＰＤ１を作成する。そして手Ｈで「パー」の形を作った状態の画像データをとり、この画像データに基づいてコンピュータグラフィック技術で手の擬似物の画像データＰＤｎを作成する。「グー」から「パー」まで変化するまでの間の過程の画像を実際に撮影してもよいが、図６のようにその間の画像をコンピュータグラフィック技術で作成してもよい。このようにして作成した画像データは、画像データ記憶装置１０に記憶される。なおこの画像データは、データ処理が行われたデータであり、画像データから得た特徴量も画像データの一部として記憶される。この特徴量が、本発明のデータベースの高速検索方法における推定量に該当する。   In the second step, as shown in FIG. 6, the same operation (predetermined operation) as when the data glove 4 is attached to the hand and the pre-collection operation command is acquired by the camera 9 composed of a monocular camera or a binocular camera or the like. Is performed by human hand H. And the image data of the hand (action object) H at this time is acquired in time series. The acquisition of the image data may be performed simultaneously with the acquisition of the pre-collection operation command, or may be performed later. In the example of FIG. 6, image data in a state where the shape of “Goo” is created with the hand H is taken, and based on this image data, image data PD1 of a hand mimic is created by computer graphic technology. Then, the image data in a state where the shape of the “par” is created with the hand H is taken, and based on this image data, the image data PDn of the hand mimic is created by computer graphic technology. An image of the process during the transition from “Goo” to “Par” may be actually taken, but the image during that time may be created by computer graphic technology as shown in FIG. The image data created in this way is stored in the image data storage device 10. Note that this image data is data that has been subjected to data processing, and a feature amount obtained from the image data is also stored as part of the image data. This feature amount corresponds to the estimated amount in the fast database search method of the present invention.

第３のステップでは、第２のステップで得た複数の画像データに含まれる各画像データ（特徴量を含む）と事前収集動作指令記憶装置８に記憶された事前収集動作指令（真値）とを対応付けて、対応データとして画像対応動作指令記憶手段１１に記憶する。本例では、画像対応動作指令記憶手段１１が高速検索の対象となるデータベースである。   In the third step, each image data (including the feature amount) included in the plurality of image data obtained in the second step, and the pre-collection operation command (true value) stored in the pre-collection operation command storage device 8 Are stored in the image corresponding operation command storage means 11 as corresponding data. In this example, the image corresponding operation command storage means 11 is a database that is a target of high-speed search.

第３のステップは、対応データを取得するために、演算ステップと、自己組織化ステップと、代表特徴量決定ステップと記憶ステップとを実行する。演算ステップでは、複数の画像データのそれぞれについて特徴量を演算する。自己組織化ステップでは、複数の対応データを複数のクラスに分ける基準として複数の事前収集動作指令（真値）を用いて自己組織化を行い複数の対応データを複数のクラスに分ける。代表特徴量決定ステップでは、１つのクラスに含まれる複数の対応データのそれぞれの特徴量（推定量）を代表する代表特徴量（代表推定量）を決定する。そして記憶ステップでは、複数の真値及び特徴量を含む対応データを複数のクラスに分け且つ該複数のクラスに対応する複数の代表特徴量と一緒に画像対応動作指令記憶手段１１（データベース）に記憶する。なお第３のステップで採用する演算ステップと、自己組織化ステップと、代表特徴量決定ステップと記憶ステップ自己組織化については、後の実施の形態の説明の中において併せて説明する。   In the third step, a calculation step, a self-organization step, a representative feature amount determination step, and a storage step are executed in order to obtain correspondence data. In the calculation step, the feature amount is calculated for each of the plurality of image data. In the self-organization step, self-organization is performed using a plurality of pre-collection operation commands (true values) as a reference for dividing a plurality of correspondence data into a plurality of classes, and the plurality of correspondence data is divided into a plurality of classes. In the representative feature amount determination step, a representative feature amount (representative estimation amount) representing each feature amount (estimation amount) of a plurality of corresponding data included in one class is determined. In the storing step, the correspondence data including a plurality of true values and feature quantities are divided into a plurality of classes and stored together with a plurality of representative feature quantities corresponding to the plurality of classes in the image correspondence operation command storage means 11 (database). To do. Note that the calculation step, the self-organization step, the representative feature amount determination step, and the storage step self-organization employed in the third step will be described together in the description of the later embodiments.

なお本例では、画像対応動作指令記憶手段１１は、実際に撮影した画像のデータとこの画像から得た各画像データの特徴量だけでなく、時系列で取得した前の画像データＰＤ１と後の画像データＰＤｎとの間の未作成の画像データをコンピュータグラフィック技術により作成する場合には、作成した画像データに対応する事前収集動作指令を前の画像データＰＤ１に対応する事前収集動作指令と後の画像データＰＤｎに対応する事前収集動作指令とに基づいて推定により作成して未作成の画像データ及びこの画像データの特徴量と対応付けて記憶することができる。このようにすれば、少ない画像データによりより多くの画像データと事前収集動作指令との対応データを得ることができ、基礎データ（画像データと事前収集動作指令とを対応付けたデータ）の収集が大幅に簡単になる。   Note that in this example, the image corresponding operation command storage means 11 is not only the image data actually taken and the feature amount of each image data obtained from this image, but also the previous image data PD1 acquired in time series and the subsequent image data PD1. In the case of creating uncreated image data with the image data PDn by computer graphic technology, the pre-collection operation command corresponding to the created image data is changed to the pre-collection operation command corresponding to the previous image data PD1 and the subsequent It can be created by estimation based on the pre-collection operation command corresponding to the image data PDn, and can be stored in association with uncreated image data and the feature amount of this image data. In this way, it is possible to obtain correspondence data between more image data and the pre-collection operation command with less image data, and to collect basic data (data in which the image data and the pre-collection operation command are associated). It will be much easier.

第１から第３までのステップは、ロボットハンドを駆動するための事前作業として実施される。なお自由度ごとに５度刻みの精度の関節角度制御をロボットハンドの駆動において実現しようとすると、１億個（２０の７乗）程度の数の画像が必要となるが、上述のようにコンピュータグラフィック技術を用いれば、基礎データの収集は簡単になる。この場合に用いることができるＣＧ編集ソフトウエアとしては「Poser 5（Curious Labs Incorporated製）」を使用することができる。このソフトウエアを用いれば、データグローブ出力から得られた関節データから、撮像した手指２次元画像と類似した理想的な手指ＣＧ画像を補間生成することができる。そして補間生成した画像データに対応する事前収集動作指令は、関節角度の線形補間により生成することができる。なお、画像１枚あたりの手指ＣＧのファイルサイズは５kB程度である。   The first to third steps are carried out as preliminary work for driving the robot hand. In addition, when trying to realize joint angle control with accuracy of 5 degrees for each degree of freedom in driving the robot hand, about 100 million images (20 to the seventh power) are required, but as described above, the computer The use of graphic technology makes it easy to collect basic data. As a CG editing software that can be used in this case, “Poser 5 (manufactured by Curious Labs Incorporated)” can be used. By using this software, it is possible to interpolate and generate an ideal finger CG image similar to the captured two-dimensional image of the finger from the joint data obtained from the data glove output. The pre-collection operation command corresponding to the image data generated by interpolation can be generated by linear interpolation of the joint angle. Note that the file size of the finger CG per image is about 5 kB.

第４のステップ及び第５のステップは、実際にロボットハンドを駆動する際のステップである。第４のステップでは、ロボットハンドを動作させるために、手で所望の動作を行い。図６に示すように、その際の手の画像データをカメラ１２を用いて時系列でロボット動作用画像データとして取得する。このロボット動作用画像データ（動作画像データ）は、ロボット動作用画像データ記憶装置１３に記憶される。そして第５のステップでは、ロボット動作用画像データに含まれる動作画像データ（未知の画像データ）に対応する画像データを画像対応動作指令記憶手段１１に記憶している複数の画像データから演算により求めた特徴量から時系列で特定する。この特定作業（検索作業）は、画像データ特定及び動作指令発生装置１４で行う。この例では、ロボット動作用画像データに含まれる動作画像データの特徴量と画像対応動作指令記憶手段に記憶されている複数の画像データの特徴量との対応は、両者の特徴量の類似度に基づいて判断する。類似度の求め方は任意である。そして第５のステップでは、特定した画像データに対応する事前収集動作指令を動作指令として駆動装置３に与え、駆動装置３の出力で多指ロボットハンドを駆動する。第４及び第５のステップの主要部をコンピュータ用いて実現する場合のソフトウエアの一例のアルゴリズムは図１０に示す通りである。   The fourth step and the fifth step are steps when the robot hand is actually driven. In the fourth step, a desired operation is performed by hand to operate the robot hand. As shown in FIG. 6, hand image data at that time is acquired as image data for robot operation in time series using the camera 12. The robot motion image data (motion image data) is stored in the robot motion image data storage device 13. In the fifth step, image data corresponding to the motion image data (unknown image data) included in the image data for robot motion is obtained by calculation from a plurality of image data stored in the image corresponding motion command storage means 11. Identified in time series from the measured feature values. This identification work (retrieval work) is performed by the image data identification and operation command generator 14. In this example, the correspondence between the feature amount of the motion image data included in the image data for robot motion and the feature amount of the plurality of image data stored in the image corresponding operation command storage means is based on the similarity between the feature amounts of the two. Judgment based on. The method for obtaining the degree of similarity is arbitrary. In a fifth step, a pre-collection operation command corresponding to the specified image data is given to the drive device 3 as an operation command, and the multi-fingered robot hand is driven by the output of the drive device 3. An example of an algorithm of software when the main parts of the fourth and fifth steps are realized using a computer is as shown in FIG.

画像データ特定及び動作指令発生装置１４で画像データの検索に使用する画像データの特徴量を抽出する技術としては、例えば、高次局所自己相関関数を用いる特徴量抽出技術を利用することができる。高次局所自己相関関数については、１９９３年発行の電総研研究報告，ｊ９５７の１２６頁乃至１４０に「柔らかな情報処理のための統計的手法の応用に関する研究」と題する論文に詳しく説明されている。手指２次元画像の特徴抽出には，高次局所自己相関関数を用いた。画面内の対象画像をｆ（ｒ）とすると、Ｎ次自己相関関数は変位方向（ａ１，ａ２，…ａｎ）に対して次式のように定義される。
As a technique for extracting the feature quantity of the image data used for the search of the image data by the image data specifying and operation command generating device 14, for example, a feature quantity extraction technique using a higher-order local autocorrelation function can be used. The higher-order local autocorrelation function is described in detail in a paper entitled “Research on Application of Statistical Methods for Soft Information Processing” on pages 126 to 140 of the Research Institute of Electric Research, published in 1993, j957. A high-order local autocorrelation function was used to extract features from the 2D finger image. Assuming that the target image in the screen is f (r), the Nth-order autocorrelation function is defined as follows with respect to the displacement direction (a1, a2,... An).

実証試験では、高次自己相関係数の次数Ｎを２とし、また変位方向を参照点ｒの周りの局所的な３×３画素の領域に限定した。これより、平行移動による等価な特徴を除くと特徴Ｍの数は後に説明する図１２に示す２５個になる。図１２中の黒の四角は、局所パターンの対応する画素の位置に対応する。各特徴量の計算は、局所パターンの対応する画素の値の積を全画素に対して足し合わせることで得られる。   In the demonstration test, the order N of the high-order autocorrelation coefficient was set to 2, and the displacement direction was limited to a local 3 × 3 pixel region around the reference point r. Thus, excluding equivalent features due to translation, the number of features M is 25 as shown in FIG. The black square in FIG. 12 corresponds to the position of the corresponding pixel in the local pattern. The calculation of each feature amount is obtained by adding the product of the values of the corresponding pixels of the local pattern to all the pixels.

上記の方法によれば、実際にロボットハンド１を動かすために、ロボットハンド１に対応する手の画像を得るだけで、センサを使用することなく、手の動きと同じ動作を、見まねにより不良設定性を解消してロボットハンドに動作させることができる。   According to the above method, in order to actually move the robot hand 1, only the image of the hand corresponding to the robot hand 1 is obtained, and the same operation as the hand movement is set by imitation without using a sensor. The robot hand can be operated by eliminating the characteristics.

上記実施の形態では、第３のステップで実際に人の手の画像を撮影しているが、すべてコンピュータグラフィック技術により手の画像データ（手の擬似物の画像データ）を作成してもよいのは勿論である。画像データの特定のために、高次局所自己相関関数を用いる特徴量抽出技術を用いる場合、画像全体について特徴量を抽出せずに、精度を高めるために画像をいくつかの分割画像に分けて分割画像単位で特徴量を抽出してもよい。   In the above-described embodiment, an image of a human hand is actually taken in the third step. However, hand image data (image data of a hand mimic) may be created by computer graphic technology. Of course. When using feature extraction technology that uses a higher-order local autocorrelation function to identify image data, the image is divided into several divided images to improve accuracy without extracting features for the entire image. The feature amount may be extracted in units of divided images.

次に、本発明の別の実施の形態について説明する。この実施の形態では、前述の実施の形態とは異なって、図８に示すように、データグローブを嵌めた手の上にさらに無地（無模様：一色）の手袋（被覆物）を嵌めて、前述の第１のステップと第２のステップとを同時に実施する。図８において、下側の図がデータグローブを嵌めた手であり、上側の図がデータグローブを嵌めた手の上に手袋を嵌めた図である。図９は、事前にデータベースを作成する際の手順を示すフローチャートであり、図１０は図９のフローチャートの詳細を示すフローチャートである。   Next, another embodiment of the present invention will be described. In this embodiment, unlike the above-described embodiment, as shown in FIG. 8, a plain (no pattern: one color) glove (cover) is further fitted on the hand fitted with a data glove, The first step and the second step described above are performed simultaneously. In FIG. 8, the lower figure is a hand with a data glove fitted, and the upper figure is a figure with a glove fitted on a hand with a data glove fitted. FIG. 9 is a flowchart showing a procedure for creating a database in advance, and FIG. 10 is a flowchart showing details of the flowchart of FIG.

まずビデオカメラ１０９で、手袋を嵌めた状態の手を撮影する。本実施の形態では、高速ビデオカメラ１０９で撮影した手画像データおよびデータグローブから得た角度データを用いてデータベースを構築する。そのために画像データと角度データとを組にして取得する。本実施の形態では、モノクロ高速度カメラ（ＭＥＧＡＰＬＵＳ社製、ＥＳ３１０／Ｔ）を使い、解像度を３２０＊２４０画素として、手指が画面内に十分な大きさで映っている状態を想定する。また角度データの測定には、Ｖｉｒｔｕａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ社製の「ＣｙｂｅｒＧｌｏｖｅ」（商標）と呼ばれるデータグローブを用いた。そして手袋は、白一色で無模様のものを用いた。手袋をデータグローブの上に嵌めることにより、データグローブ固有の画像特徴（センサの形状やグローブの形状）が出るのを防止している。前の実施の形態と異なって、白手袋を撮影すると、ヒトの手とは色が違い、画像としても違うものとなる。しかしながら、手袋を嵌めた手の画像データであっても、後に説明するように、特徴量化により一般の手画像として扱うことができる。なおデータベース作成に際しては、背景画像が影響を及ぼさないようにするために、背面に無模様一色のスクリーンを用いて撮影を行う。そして連続する複数の画像データと一緒に、データグローブから取得した手指角度データを組にして１次データベースを作成する。必要十分な情報を得るために、手を連続的に動かして必要な画像データと角度データを同時に取得して、保存する。   First, the video camera 109 is used to photograph a hand with gloves on. In this embodiment, a database is constructed using hand image data captured by the high-speed video camera 109 and angle data obtained from the data glove. For this purpose, image data and angle data are acquired as a set. In the present embodiment, it is assumed that a monochrome high-speed camera (manufactured by MEGAPLUS, ES310 / T) is used, the resolution is 320 * 240 pixels, and fingers are reflected in a sufficiently large size on the screen. The angle data was measured using a data glove called “CyberGlove” (trademark) manufactured by Virtual Technologies. And the glove was white and had no pattern. By fitting the glove on the data glove, image characteristics (sensor shape and glove shape) unique to the data glove are prevented from appearing. Unlike the previous embodiment, when a white glove is photographed, the color is different from that of a human hand and the image is also different. However, even image data of a hand wearing a glove can be handled as a general hand image by making it a feature amount, as will be described later. When creating the database, shooting is performed using a screen with a single pattern on the back to prevent the background image from affecting the database. A primary database is created by combining hand angle data acquired from the data glove together with a plurality of continuous image data. In order to obtain necessary and sufficient information, the user continuously moves his / her hand to acquire and store necessary image data and angle data at the same time.

本実施の形態では、１次データベースの画像データを、実際に撮影した手画像の推定に必要な特徴量へと変換する画像処理を行なう。この画像処理のために背景除去、解像度変更、エッジ抽出、輪郭抽出（特徴量抽出）を行なう。   In the present embodiment, image processing is performed to convert image data in the primary database into a feature amount necessary for estimation of a hand image that is actually captured. For this image processing, background removal, resolution change, edge extraction, and contour extraction (feature amount extraction) are performed.

まず画像の解像度を変更する。今回取得した画像は３２０×２４０の画素値を持つ画像である。しかしこれをそのまま用いて各種画像処理を施して推定処理をするには、計算に時間がかかる。また人間が推定する際には、本実施の形態で用いた画像のサイズより小さくとも推定が可能である。そこで本実施の形態では、解像度を、３２０×２４０の画素値から６４×６４のサイズに変更する。解像度変更後の画素値は次式により得られる。
First, the image resolution is changed. The image acquired this time is an image having a pixel value of 320 × 240. However, it takes a long time to perform calculation by performing various image processing using this as it is and performing estimation processing. Further, when a human estimates, it can be estimated even if it is smaller than the size of the image used in the present embodiment. Therefore, in this embodiment, the resolution is changed from a pixel value of 320 × 240 to a size of 64 × 64. The pixel value after the resolution change is obtained by the following equation.

ここでｇｒ（ｉ、ｊ）は解像度変更後のｉ行ｊ列番目の画素値である。ｇｏ（ｉ、ｊ）は、解像度変更前のｉ行ｊ列番目の画素値である。この式では、縦についても３２０で計算しているが、これは変更後の画素値を６４×６４にしているため縦横比を合わせるためである。またｋ、ｌについてはｉ×３２０／６４から（ｉ＋１）×３２０／６４−１まで計算し、ｒはｋの個数×ｌの個数とする。   Here, gr (i, j) is the pixel value of the i-th row and j-th column after the resolution change. go (i, j) is the pixel value of the i-th row and j-th column before the resolution change. In this equation, the vertical length is also calculated at 320, because the changed pixel value is 64 × 64, so that the aspect ratio is adjusted. K and l are calculated from i × 320/64 to (i + 1) × 320 / 64-1, and r is the number of k × the number of l.

次に画像情報から背景除去を行う。あらかじめ取得しておいた背景画像を用いて対象画像との差分を取る。その差分が閾値以上の場合は対象画像の画素を使い、以下ならば０とする。   Next, the background is removed from the image information. A difference from the target image is obtained using the background image acquired in advance. If the difference is greater than or equal to the threshold value, the pixel of the target image is used.

次に背景を除去した以上の操作で得られた解像度変更画像を用いてエッジ抽出を行なう。この作業で推定に必要な特徴を抜き出す。具体的にはソーベルフィルタで解像度変更画像をフィルタ処理する。その後、この画像の最外周のみを二値化することでエッジを抽出する。   Next, edge extraction is performed using the resolution-changed image obtained by the above operation with the background removed. In this work, the features necessary for estimation are extracted. Specifically, the resolution-changed image is filtered with a Sobel filter. Then, an edge is extracted by binarizing only the outermost periphery of this image.

ソーベルフィルタによる処理は、次式で表現できる。
The processing by the Sobel filter can be expressed by the following equation.

ここでｆｒ（ｉ、ｊ）は下記の式で表すことができる。
Here, fr (i, j) can be expressed by the following equation.

上記式において、ｆｉ（ｉ、ｊ）は処理前の横ｉ番目、縦ｊ番目の画素を示す。ｆｓが処理後の最終的な値となる。   In the above equation, fi (i, j) represents the i-th pixel in the horizontal direction and the j-th pixel in the vertical direction before processing. fs is the final value after processing.

ここでの画像の最外周の二値化は、輪郭抽出で輪郭が途切れないように、比較的低い閾値で二値化することを意味する。この最後の画像処理として、エッジ抽出で得られた二値化画像上を走査することで輪郭抽出を行う。前段階のエッジ抽出により得た画像を輪郭として使用しない理由として、環境光の変化を上げることができる。実際の推定時とデータベース作成時とでは、環境光や人の肌の色等に違いがある。ましてやデータベース作成時には白手袋を使用しているため、エッジ抽出を行っても、エッジの値や幅などが実際の画像のエッジとは異なってくる。その結果、データベースの画像データと実際の画像データとを比較するとき（推定時）とで、両者のエッジには大幅な相違が生じる可能性がある。そこで輪郭抽出を行って、エッジの幅や値を一定にする。輪郭抽出は、データベースから得られる情報と推定時に得られる情報との差を少なくし、環境の影響などを排除することで、推定時の誤差を減少させるために採用する。図１１は、エッジ抽出後に輪郭抽出を行って得た解像度変更後の画像である。   The binarization of the outermost periphery of the image here means binarization with a relatively low threshold so that the contour is not interrupted by contour extraction. As this last image processing, contour extraction is performed by scanning the binarized image obtained by edge extraction. The reason for not using the image obtained by the edge extraction in the previous stage as the contour can be a change in ambient light. There is a difference in environmental light, human skin color, etc. between actual estimation and database creation. In addition, since white gloves are used when creating the database, even if edge extraction is performed, the edge value and width differ from the actual image edges. As a result, when comparing the image data in the database with the actual image data (at the time of estimation), there is a possibility that a large difference occurs between the two edges. Therefore, contour extraction is performed to make the edge width and value constant. Contour extraction is employed to reduce the error during estimation by reducing the difference between the information obtained from the database and the information obtained during estimation and eliminating the influence of the environment. FIG. 11 is an image after resolution change obtained by performing contour extraction after edge extraction.

なお最外周のみ二値化するための輪郭抽出アルゴリズムでは、画像を上から走査していき、最初の１２７の点を始点とした。始点から左回りに近傍画素を探索して行き、１２７の点があればそこへ移動し、値を２５５に書き換える。移動後は前回の位置を参考にして探索開始地点を８パターンに分けて探索を継続する。始点に再び戻った時点で輪郭を抽出したと判断し、探索を終了させる。最後に残りの点は輪郭ではないので１２７の点は全て０とする。   In the contour extraction algorithm for binarizing only the outermost circumference, the image is scanned from the top, and the first 127 points are set as the starting points. Search for neighboring pixels counterclockwise from the start point, and if there are 127 points, move to them and rewrite the value to 255. After the movement, the search is continued by dividing the search start point into 8 patterns with reference to the previous position. When returning to the start point again, it is determined that the contour has been extracted, and the search is terminated. Finally, since the remaining points are not contours, all 127 points are set to 0.

次に輪郭抽出を行った画像データの特徴量化を実施する（特徴量決定のための演算ステップ）。本実施の形態では、Ｏｔｓｕ等（Ｎ．Ｏｔｓｕ ａｎｄ Ｔ．Ｋｕｒｉｔａ，“Ａ ｎｅｗ ｓｃｈｅｍｅ ｆｏｒ ｐｒａｃｔｉｃａｌ， ｆｌｅｘｉｂｌｅ ａｎｄ ｉｎｔｅｌｌｉｇｅｎｔ ｖｉｓｉｏｎ ｓｙｓｔｅｍｓ，”Ｐｒｏｃ．ＩＡＰＲ．Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．４３１−４３５，１９９８．）が提案している高次局所自己相関関数を特徴量化に使用した。高次局所自己相関特徴は、画像の認識や計測のために有効な特徴であり、下記の式で定義される高次相関関数について、参照点とその近傍についての計算をしたものである。
Next, the feature amount of the image data subjected to the contour extraction is implemented (calculation step for determining the feature amount). In this embodiment, Otsu et al. (N. Otsu and T. Kurita, “A new scheme for prismatic, flexible and intelligent vision systems,” Proc. IAPR. Workshop. The proposed higher order local autocorrelation function is used for feature quantification. The high-order local autocorrelation feature is an effective feature for image recognition and measurement. The high-order correlation function defined by the following equation is calculated for the reference point and its vicinity.

上記式でｘＮはＮ次元でのｒ点近傍の相関関数である。一般に自然画像を処理対象とする場合には、対象点回りの画素が重要になるため、係数Ｎを２次までとする。また、平行移動すると等価なものになるものを除くと、図１２に示す２５の特徴量で表現できる。ただしＮｏ．１からＮｏ．５までは、Ｎｏ．６以降の特徴量に比べスケールが小さいので、スケールを合わせる必要がある。Ｎｏ．２〜Ｎｏ．５までは、参照点の画素をさらにかけあわせ、Ｎｏ．１は参照点の画素の２乗をかけることで他の特徴量にスケールを一致させる。   In the above equation, xN is a correlation function near the r point in the N dimension. In general, when a natural image is a processing target, since the pixels around the target point are important, the coefficient N is set to the second order. Further, except for those equivalent to parallel movement, it can be expressed by 25 feature amounts shown in FIG. However, no. 1 to No. Up to 5, no. Since the scale is smaller than the feature quantity after 6, it is necessary to adjust the scale. No. 2-No. Up to 5, the pixel of the reference point is further multiplied and No. 1 matches the scale to other feature quantities by multiplying the square of the pixel of the reference point.

本実施の形態では、図１３に示すように、画像の画面を縦８分割、横８分割（６４分割）にした。そして、計６４分割した分割画面に対して、それぞれ画素全てを参照点として、高次局所自己相関関数によって２５の特徴量に次元低減を行なった。すなわち、全体の画像で考えれば、２５×画面分割数の特徴量により、その全体画像の特徴量化を行うことができる。   In the present embodiment, as shown in FIG. 13, the screen of the image is divided into 8 vertical divisions and 8 horizontal divisions (64 divisions). Then, the dimension was reduced to 25 feature quantities by a high-order local autocorrelation function with all the pixels as reference points for the divided screen divided into a total of 64 parts. That is, when considering the entire image, the feature amount of the entire image can be obtained by the feature amount of 25 × the number of screen divisions.

このようにして１つの画像データを特徴量化した画像データとデータグローブからの角度データ（事前収集動作指令に対応）を組みにした対応データを一次データベースに記憶する。そしてすべての手指形状のパターン（画像データの特徴量と角度）の記録を行い、最後にデータベースの構築を行う。   Corresponding data in which image data obtained by converting one piece of image data into feature quantities and angle data from the data glove (corresponding to the pre-collection operation command) is stored in the primary database. All finger-shaped patterns (image data feature amounts and angles) are recorded, and finally a database is constructed.

データベースの構築は、図１４に示すコンピュータのアルゴリズムに従って、自己組織化を用いて実行される。一次データベースに記録されているデータは、図１５に示すように、各データ１〜ｎが角度と特徴量とデータ番号とを少なくとも有している。なおここで角度は、データグローブから得られた複数の角度データの全てまたは代表的な１以上の部分の角度である。説明を容易にするため、以下の説明ではこの角度を代表的な１つの角度として説明する。また特徴量は、前述の特徴量の演算により求められた全体画像の特徴量である。   The database construction is performed using self-organization according to the computer algorithm shown in FIG. In the data recorded in the primary database, as shown in FIG. 15, each data 1 to n has at least an angle, a feature amount, and a data number. Here, the angle is an angle of all or representative one or more portions of the plurality of angle data obtained from the data glove. For ease of explanation, in the following description, this angle will be described as one representative angle. The feature amount is a feature amount of the entire image obtained by the above-described feature amount calculation.

この例では、対応データに含まれる角度（真値）と特徴量（推定量）のうち、角度をクラス分けの基準にして自己組織化を行う（自己組織化ステップ）。図１６の概念図に示すように、例えば最初に３つのクラス１〜３を用意し、各クラスのクラス分けの基準となる角度を５°，２４°及び４０°としたとする。クラス分けにおいては、各クラスの基準となる角度と、各データ１〜ｎの角度の角度差をユークリッド距離を用いて計算する。図１６においては、理解を容易にするために単なる角度差として示してある。例えばデータ１の角度１２°をクラス１乃至３の基準となる角度との差をとると、−７°、１２°及び２８°となる。ここで最も角度差が小さくなるクラスを選ぶ。図１６の例では、クラス１が最も角度差が小さくなる。そこでデータ１はクラス１に所属することを決定する。ここで所属するとは、データ番号が各クラスに記録されることを意味し、データの内容全てがクラスに記録されることを意味しない。そしてクラス１の基準となる角度を、データ１の角度に近付けるように更新する。すなわちクラス１の角度を例えば、次のように改める。なお下記の式において係数は便宜的に０．２とする。この係数は１以下の正の数である。   In this example, self-organization is performed using the angle (classified value) and the feature amount (estimated amount) included in the corresponding data as the classification criteria (self-organization step). As shown in the conceptual diagram of FIG. 16, for example, first, three classes 1 to 3 are prepared, and the angles serving as the reference for classifying each class are 5 °, 24 °, and 40 °. In the classification, the angle difference between the reference angle of each class and the angles of the data 1 to n is calculated using the Euclidean distance. In FIG. 16, it is shown as a mere angle difference for easy understanding. For example, the difference between the angle 12 ° of data 1 and the reference angle for classes 1 to 3 is −7 °, 12 °, and 28 °. Here, the class with the smallest angular difference is selected. In the example of FIG. 16, class 1 has the smallest angular difference. Therefore, it is determined that data 1 belongs to class 1. Belonging here means that the data number is recorded in each class, and does not mean that all data contents are recorded in the class. Then, the reference angle of class 1 is updated so as to approach the angle of data 1. That is, the class 1 angle is changed as follows, for example. In the following formula, the coefficient is set to 0.2 for convenience. This coefficient is a positive number of 1 or less.

クラス１の更新角度＝現在角度−（データの角度−現在角度）×係数
＝５−（１２−５）×０．２＝６．４
このようにデータ１をクラス１に所属させることにより、クラス１の基準となる角度は更新される。なお本実施の形態では、各クラスに対して基準となる角度が近い関係を有する別の１以上のクラスを子クラスとして定義する。例えば、図１６ではクラス２，３がクラス１の子クラスとして定義されるものとする。このような子クラスを定義した場合には、親クラスであるクラス１の基準となる角度の更新と併せて、子クラス２及び３の基準となる角度２４°及び４０°の更新も行う。この更新の計算には前述の計算式を用いる。子クラスの基準となる角度の更新が終了したら、全てのクラス間の角度差をユークリッド距離で計算し、各クラスの子クラスとして距離が近いｎ個のクラスを定義する。クラスの数が多くなった場合には、例えばｎを４程度にしてもよい。 Class 1 update angle = current angle-(data angle-current angle) x coefficient
= 5- (12-5) × 0.2 = 6.4
By making data 1 belong to class 1 in this way, the reference angle for class 1 is updated. In the present embodiment, one or more other classes having a relationship in which the reference angle is close to each class are defined as child classes. For example, in FIG. 16, it is assumed that classes 2 and 3 are defined as child classes of class 1. When such a child class is defined, the angles 24 ° and 40 ° serving as the references of the child classes 2 and 3 are also updated together with the updating of the angle serving as the reference of the class 1 being the parent class. The above-described calculation formula is used for this update calculation. When the update of the angle serving as the reference of the child class is completed, the angle difference between all the classes is calculated by the Euclidean distance, and n classes having a close distance are defined as child classes of each class. When the number of classes increases, for example, n may be about 4.

次に各クラスのデータの数を確認する。各クラスのデータ数が予め定めた基準数Ｋより大きければ、後に説明するクラスの増殖を行う。なおこの基準数Ｋは、使用するコンピュータの性能により決定される。たとえば、使用する計算機の性能によりリアルタイム処理が可能な検索回数が１秒あたり２，０００回であり、毎回の未知データ入力に対して１０クラスの検索を行うとしたら、１クラスあたりのデータ数Ｋは２００個となる。反対に、毎回の学習の最後には各クラスのデータ数が予め定めた基準数Ｌより小さいか否かを確認し、小さければ該当クラスの削減を行う。この基準数Ｌも、使用するコンピュータの性能により決定される。図１７は、クラスの自己増殖と自己削減を模擬的に示した図である。ここで自己増殖では、クラス１をコピーして別のクラス１を作成する。なおこの別のクラス１には新たなクラス番号が付されることになる。自己増殖したクラスの最初の基準となる角度及び所属するデータのデータ番号の内容は同じである。しかし後に前述のクラス分けが実施されると、自己増殖したクラスの基準となる角度及び内容は変わってくる。このような自己増殖が行われると、同じデータが複数のクラスに所属することになるが、後に説明するように全てのデータについて繰り返しクラス分けが実施されるため、最終的に一つのデータが複数のクラスに所属することはなくなる。このようにして１つのデータの所属の決定動作が、全てのデータｉの所属が決まるまで繰り返される。この動作が繰り返されているうちに、各クラスの基準となる角度が変わり、またクラスの自己増殖または自己削減が行われる。   Next, the number of data of each class is confirmed. If the number of data of each class is larger than a predetermined reference number K, the class is expanded as described later. The reference number K is determined by the performance of the computer used. For example, if the number of searches that can be processed in real time is 2,000 times per second depending on the performance of the computer used, and if 10 classes are searched for each unknown data input, the number of data per class K Will be 200. On the contrary, at the end of each learning, it is checked whether or not the number of data of each class is smaller than a predetermined reference number L. If it is smaller, the corresponding class is reduced. This reference number L is also determined by the performance of the computer used. FIG. 17 is a diagram schematically illustrating self-replication and self-reduction of classes. Here, in self-propagation, class 1 is copied and another class 1 is created. This other class 1 is given a new class number. The initial reference angle of the self-propagating class and the contents of the data number of the data to which it belongs are the same. However, when the above-mentioned classification is performed later, the angle and contents that serve as a reference for the self-propagating class change. If this kind of self-propagation is performed, the same data belongs to multiple classes. However, as will be described later, all data is repeatedly classified, so that finally one data You will no longer belong to any class. In this way, the operation of determining the affiliation of one data is repeated until the affiliation of all the data i is determined. While this operation is repeated, the reference angle of each class changes, and the class self-propagation or self-reduction is performed.

全てのデータｉのクラス分けが終了したときに、各クラスの基準となる角度の更新の幅が、予め定めた幅（角度差）より大きいときには、クラス分けが不十分であると判断して、再度全てのデータｉについてのクラス分けて行う。そしてクラスの基準となる角度の更新の幅が、予め定めた幅（角度差）より小さくなった時点でクラス分けを終了する。なおこの予め定めた幅とは、例えば、前々回と前回の学習結果の差と、前回と今回の学習結果の差とを比べた時に、両者の差が絶対値の総和で０．０１％以下となった時である。   When the classification of all data i is completed and the update width of the angle serving as the reference for each class is larger than a predetermined width (angle difference), it is determined that the classification is insufficient. The classification is performed again for all data i. Then, the classification is finished when the update width of the angle serving as the reference of the class becomes smaller than a predetermined width (angle difference). The predetermined width is, for example, when the difference between the previous learning result and the previous learning result is compared with the difference between the previous learning result and the current learning result, the difference between them is 0.01% or less in terms of the sum of absolute values. It is time.

図１８はクラス分けが終了したときのクラス１の内容を概念的に示す図である。更新を繰り返して基準となる角度と、子クラスが決まる。ここで実際にデータベースを完成するためには、クラス１に所属するデータの代表的な特徴量（代表特徴量即ち代表推定量）を決める必要がある。代表特徴量は、例えば所属するデータの特徴量の平均値とすることができる（代表特徴量決定ステップ）。この代表特徴量は、後の高速検索において使用される。図１９は、完成したデータベースの一つのクラス１の内容を概念的に示している。データベースが完了した時点で各クラスには、基準となる角度と、代表特徴量と、子クラスと、所属するデータの角度と特徴量がそれぞれ記録される。図２０は完成し自己組織化により完成したデータベースの構成を概念的に示す図である。なお実線で囲んだクラス１乃至３が親と子の関係になるクラスである。この親子関係は、後の検索の際の高速化のために使用される。   FIG. 18 is a diagram conceptually showing the contents of class 1 when classification is completed. Repeat the update to determine the base angle and child class. Here, in order to actually complete the database, it is necessary to determine representative feature amounts (representative feature amounts, ie, representative estimation amounts) of data belonging to class 1. The representative feature amount can be, for example, an average value of the feature amounts of the data to which it belongs (representative feature amount determination step). This representative feature amount is used in a later high-speed search. FIG. 19 conceptually shows the contents of one class 1 of the completed database. At the time when the database is completed, each class stores a reference angle, a representative feature value, a child class, an angle of the data to which the data belongs, and a feature value. FIG. 20 is a diagram conceptually showing the structure of the completed database by self-organization. Classes 1 to 3 surrounded by a solid line are classes having a parent-child relationship. This parent-child relationship is used for speeding up later searches.

次に、上記のようにして作成したデータベース（画像対応動作指令記憶手段）を利用して、実際に撮影した手の画像から手指角度を推定する方法について説明する。図２１は検索時の手順を示すアルゴリズムであり、図２２はその具体的なアルゴリズムである。まず検索すなわち推定時には、データベース作成時と同様に高速カメラで動く手の画像（動作画像データ）を取得する。そして取得した動作画像データに対し、データベース作成時と同様の画像処理を施し特徴量を抽出する。そしてこの動作画像データの特徴量とデータベースに記憶されている対応データの特徴量とを後述の処理により比較し、動作画像データと最も近い画像データと組になる角度データを、その動作画像データに対応する動作指令として出力する。   Next, a method for estimating a finger angle from an actually photographed hand image using the database (image correspondence operation command storage means) created as described above will be described. FIG. 21 is an algorithm showing a procedure at the time of search, and FIG. 22 is a specific algorithm. First, at the time of retrieval, that is, estimation, an image of a hand moving with a high-speed camera (motion image data) is acquired in the same manner as when creating a database. Then, the obtained motion image data is subjected to image processing similar to that at the time of creating the database to extract feature amounts. Then, the feature amount of the motion image data and the feature amount of the corresponding data stored in the database are compared by processing described later, and the angle data paired with the image data closest to the motion image data is set as the motion image data. Output as the corresponding operation command.

特に、データベースとの照合処理または検索処理では、データベースにクラス分けされて記憶されている画像データの特徴量全てに対して、動作画像データの特徴量との間の距離算出を行なうのではなく、図２２に示すように動作画像データの特徴量（未知のデータの推定量）とデータベースに記録されている複数のクラスの代表特徴量（代表推定量）との対比により検索の対象となるクラスを決定する（第１の検索ステップ：クラスタリング）。このクラスの決定には、ユークリッド距離の計算を用いればよい。   In particular, in the collation processing or search processing with the database, instead of calculating the distance between the feature amounts of the operation image data with respect to all the feature amounts of the image data classified and stored in the database, As shown in FIG. 22, the class to be searched is determined by comparing the feature amount of the motion image data (estimated amount of unknown data) with the representative feature amount (representative estimated amount) of a plurality of classes recorded in the database. Determine (first search step: clustering). The Euclidean distance calculation may be used to determine this class.

前述のように、各クラスに対して子クラスが定義されている場合には、該当するクラスとその子クラスとが検索の対象となるクラスである。そして該当するクラスに所属する複数のデータと推定の対象となる画像のデータ（特徴量）との対比を行う。具体的には、推定の対象となるデータの特徴量と該当するクラスに所属するデータの特徴との距離を求める。この例では、距離の算出は単純なユークリッド距離で行なった。最終的な距離は、下記式より算出した。
As described above, when a child class is defined for each class, the corresponding class and its child class are classes to be searched. Then, a plurality of data belonging to the corresponding class is compared with image data (features) to be estimated. Specifically, the distance between the feature amount of the data to be estimated and the feature of the data belonging to the corresponding class is obtained. In this example, the distance is calculated with a simple Euclidean distance. The final distance was calculated from the following formula.

上記式において、ｘriは候補ｒの高次局所自己相関関数による特徴量ｉ、ｘtiは時刻ｔでの高次局所自己相関関数による特徴量ｉである。Ｅｒを最小にするデータｒの角度を、その動作画像データの推定角度とした。ただし、角度の大幅に違うものの中に特徴量の近いデータが紛れ込むことがあるので、前回（ｔ−１時刻）の推定角度との比較を行って角度制限を行う。具体的には、距離が近いものについて、下記式で示す評価関数Ａｐが規定値を超える場合には、推定候補から除外した。そして評価関数Ａｐが規定値以内であれば、その推定角度を採用することとする。
In the above equation, x ri is a feature quantity i by the higher-order local autocorrelation function of the candidate r, and x ti is a feature quantity i by the higher-order local autocorrelation function at time t. The angle of the data r that minimizes Er was taken as the estimated angle of the motion image data. However, since data with a close feature amount may be mixed in data with significantly different angles, the angle is limited by comparing with the estimated angle of the previous time (time t-1). Specifically, when the evaluation function Ap shown by the following formula exceeds a specified value for those having a short distance, they are excluded from the estimation candidates. If the evaluation function Ap is within the specified value, the estimated angle is adopted.

ここでａｎｇi(t)は時刻ｔのｉ番目の角度データである。また、データグローブから得られる角度情報は２４となっている。以上の操作により現在の推定角度を求める。 Here, ang i (t) is the i-th angle data at time t. The angle information obtained from the data glove is 24. The current estimated angle is obtained by the above operation.

前述のように、自己組織化されたデータベースを用いると、各クラスには、画像データの並びにおいて、手の形状の近い画像データに関するデータが集まるようになる。これを利用することで距離計算の対象データを削減することができる。なお親のクラスに該当するデータが無ければ、子クラスに所属するデータについても距離計算を行う。   As described above, when a self-organized database is used, in each class, data related to image data having a hand shape close to each other is arranged in each class. By using this, the target data for distance calculation can be reduced. If there is no data corresponding to the parent class, the distance calculation is also performed for the data belonging to the child class.

なおロボットの動きのように連続している動き（時系列の動き）の動作画像は、前回の動作画像と次回の動作画像が近似したものとなる。したがって次回の動作画像に対応するデータを推定（検索）する場合の第１の検索ステップでは、前回の推定（検索）ステップで決定された一つのクラスと該一つのクラスの代表特徴量（代表推定量）と近似する代表特徴量を有する１以上の他のクラスだけを、次回の第１の検索ステップにおける検索対象のクラスとしてもよい。このようにすると第１の検索ステップにおいて該当するクラスを決定する時間が短くなる。   Note that the motion image of the continuous motion (time-series motion) like the motion of the robot is an approximation of the previous motion image and the next motion image. Therefore, in the first search step in estimating (searching) data corresponding to the next motion image, one class determined in the previous estimation (search) step and the representative feature amount (representative estimation) of the one class. Only one or more other classes having a representative feature amount approximate to (quantity) may be used as a search target class in the next first search step. This shortens the time for determining the corresponding class in the first search step.

図２３は、前回の推定結果を利用する場合で、図２２の第２の検索ステップとは異なる方法で該当クラス内のデータとの照合を行う場合のアルゴリズムを示している。このアルゴリズムでは、前回の推定結果に決定されたデータが所属するクラスの周囲の各クラスの代表特徴量と次回の動作画像のデータ（特徴量）との間の特徴量差をユークリッド距離を用いて計算する。そして最も特徴量差が小さくなるクラス（最近傍クラス）に所属する複数のデータの角度と前回の推定結果のデータの角度差をユークリッド距離を用いて計算する。そして角度差が予め定めた閾値以上のものを除外して、推定候補データとする。次に、これら推定候補データと動作画像のデータ間の特徴量差をユークリッド距離を用いて計算し、最も特徴量差が小さくなるデータを推定結果即ち検索結果とする。そしてこの推定結果のデータの角度を動作指令として用いる。   FIG. 23 shows an algorithm in the case where the previous estimation result is used and the data in the corresponding class is collated by a method different from the second search step in FIG. This algorithm uses the Euclidean distance to calculate the feature value difference between the representative feature value of each class around the class to which the data determined in the previous estimation result belongs and the next motion image data (feature value). calculate. Then, the angle difference between a plurality of data belonging to a class (nearest neighbor class) having the smallest feature amount difference and the data of the previous estimation result data is calculated using the Euclidean distance. Then, data with an angular difference equal to or greater than a predetermined threshold is excluded and used as estimation candidate data. Next, a feature amount difference between the estimation candidate data and the motion image data is calculated using the Euclidean distance, and data having the smallest feature amount difference is set as an estimation result, that is, a search result. The angle of the estimation result data is used as an operation command.

図４に示した最初の実施の形態における画像対応動作指令記憶手段１１は、図８以降に示した二番目の実施の形態におけるデータベースと同様に、図１４〜図２０に示した自己組織化技術と同じ技術を用いてクラス分けされたデータベースとして構成されている。そして画像データ特定及び動作指令発生装置１４による入力画像データの特徴量と記憶している画像データの特徴量との対比は、図２１乃至図２３で説明した二番目の実施の形態におけるデータベースの照合と同じ方法を用いて実行できる。   The image corresponding operation command storage means 11 in the first embodiment shown in FIG. 4 is similar to the database in the second embodiment shown in FIG. 8 and subsequent figures, and the self-organization technique shown in FIGS. It is configured as a database that is classified using the same technology. The comparison between the feature amount of the input image data by the image data specifying and operation command generating device 14 and the feature amount of the stored image data is compared with the database in the second embodiment described with reference to FIGS. Can be performed using the same method as

上記実施の形態では、特徴量を求めるにあたって、高次局所自己相関関数を用いた。しかしながらその他の特徴量の求め方を採用することができるのは勿論である。例えば、廣池敦、武者義則著の「大規模な画像集合のための表現モデル」（日本写真学会誌、６６巻、１号、９３〜１０１頁、２００３年発行）に記載の特徴量ベクトルの求め方を採用することもできる。   In the above-described embodiment, a high-order local autocorrelation function is used to obtain the feature amount. However, it is a matter of course that other methods for obtaining the feature amount can be adopted. For example, the feature vector described in “Representation model for large-scale image collection” written by Kaoru Tsujiike and Yoshinori Takeshi (Journal of Photographic Society of Japan, Vol. 66, No. 1, pages 93 to 101, published in 2003) You can also adopt one.

上記二つの実施の形態は、本発明のデータベースの高速検索方法を、ロボットの制御方法におけるデータの検索に用いたものである。しかしながら、本発明のデータベースの高速検索方法は、その他の用途で使用されるデータベースの検索にも当然にして適用できるものであって、ロボットの制御方法に適用されることに限定されるものではない。   In the above two embodiments, the database high-speed search method of the present invention is used for data search in the robot control method. However, the database high-speed search method of the present invention can naturally be applied to a database search used for other purposes, and is not limited to being applied to a robot control method. .

上記実施の形態では、データベースの階層構造を１段階のクラス分けにより構成している。しかしながら図２４に概念を示すように、データベースの階層構造をｎ段階のクラス分け（または多段階の樹状構造）により構成してもよい。このようなｎ段階のクラス分けを行う場合には、データベースを構成するに当たって、まず真値をクラス分けの際の基準として自己組織化を行って前記複数のデータを第１段階の複数のクラスに分けるクラス分けを行う［図２４の（１）］。次に、第１段階の複数のクラスにそれぞれ分けられた複数のデータを、真値をクラス分けの基準として自己組織化を行って、さらに第２段階の複数のクラスに分けるクラス分けを行う［図２４の（２）］。さらに必要に応じて前の段階の複数のクラスに分けられた複数のデータを、真値をクラス分けの際の基準として自己組織化を行って、さらに次の段階の複数のクラスに分けるクラス分けを行う［図２４の（３）及び（４）］。このような多段階のクラス分けを多重自己組織化と言う。そして各段階における複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を、各段階における複数のクラスに対してそれぞれ設ける。データ構造は、概念的には、図２５に示すように、各クラスの中に分けられて存在している。なお図２５中の（１）及び（２）が、図２４中の（１）及び（２）のレベルに相当するものである。このような多段階構造のデータベースを用いた場合には、実験によると、１段階のクラス分けを行った場合と比べて、検索速度は３倍程度速くなることが確認されている。   In the above embodiment, the hierarchical structure of the database is configured by one-stage classification. However, as shown in the concept of FIG. 24, the hierarchical structure of the database may be configured by n-stage classification (or multi-stage tree structure). When performing such n-stage classification, in constructing the database, first, self-organization is performed using the true value as a reference for classification, and the plurality of data is divided into a plurality of classes in the first stage. Classification is performed [(1) in FIG. 24]. Next, a plurality of data divided into a plurality of classes in the first stage is self-organized using true values as classification criteria, and further classified into a plurality of classes in the second stage [ (2) in FIG. Furthermore, if necessary, multiple data divided into multiple classes in the previous stage is self-organized using the true value as a reference for classification, and further divided into multiple classes in the next stage [(3) and (4) in FIG. 24]. Such multi-stage classification is called multiple self-organization. Then, representative estimation amounts representing the respective estimation amounts of the plurality of data included in the plurality of classes at each stage are provided for the plurality of classes at each stage. The data structure is conceptually divided into classes as shown in FIG. Note that (1) and (2) in FIG. 25 correspond to the levels (1) and (2) in FIG. When such a multi-level database is used, it has been confirmed through experiments that the search speed is about three times faster than when one-level classification is performed.

また上記実施の形態では、図１２に示すように、２５種類の局所パターンを用いて特徴量を求めている。しかしながら図２６に示すような１５種類の局所パターンを用いると、精度を大幅に落すことなく、特徴量計算速度を大幅に速くすることができる。なお図２６に示した１５種類の局所パターンは、画像全体あるいは領域を限定して特徴量化を行うのではなく、画像の輪郭に沿って特徴量化する場合に有効に使用できる局所パターンである。   In the above embodiment, as shown in FIG. 12, feature amounts are obtained using 25 types of local patterns. However, if 15 types of local patterns as shown in FIG. 26 are used, the feature amount calculation speed can be greatly increased without significantly reducing the accuracy. Note that the 15 types of local patterns shown in FIG. 26 are local patterns that can be used effectively when feature values are generated along the contour of an image, instead of performing feature values by limiting the entire image or region.

なお図２４乃至図２５に示した多重自己組織化によるデータベース及び図２６に示した局所パターンは、ロボットの駆動方法に用、いるデータベースを構築する際にも当然にして適用できるものであり、このようなデータベースを使用することはロボットの制御速度の向上に大きく貢献する。   Note that the multiple self-organization database shown in FIGS. 24 to 25 and the local pattern shown in FIG. 26 are naturally applicable to the construction of a database used for the robot driving method. Using such a database greatly contributes to the improvement of the control speed of the robot.

なお多層自己組織化を利用する場合には、少なくとも最初のクラス分けで、真値をクラス分けの際の基準として用いればよく、２段階以降のクラス分けで、推定量（ロボットの駆動制御においては画像データの特徴量）をクラス分けの際の基準として用いてもよい。このようにしても、最初の段階で真値をクラス分けの際の基準として用いることにより、全てのクラス分けの基準として推定量を用いる場合と比べて、検索速度及び検索精度を高めることができ、更に推定に要する時間を概ね均等にすることができる。   When using multi-layer self-organization, the true value may be used as a reference for classification at least in the first classification, and the estimated amount (in robot drive control) The feature amount of image data) may be used as a reference for classification. Even in this case, by using the true value as a reference for classification in the first stage, it is possible to increase the search speed and the search accuracy compared to the case where the estimated amount is used as the reference for all classification. Further, the time required for estimation can be made substantially uniform.

発明者等が開発した本実施の形態で制御の対象とする公知の多指ロボットハンドの平面図である。It is a top view of the well-known multi-fingered robot hand made into control object in this Embodiment developed by inventors. 図１のロボットハンドの内部に配置されたアクチュエータ（エンコーダ内蔵型超小形モータ）の配置構成を示す図である。It is a figure which shows the arrangement structure of the actuator (encoder built-in type ultra-small motor) arrange | positioned inside the robot hand of FIG. 遠隔指令装置として使用するデータグローブの一例の概略構成を示す図である。It is a figure which shows schematic structure of an example of the data glove used as a remote commander. 事前収集動作指令を得る際に用いる多指ロボットハンドの制御装置と本発明のデータベースの高速検索方法を採用したロボットの駆動方法を用いてロボットハンドを駆動する装置の構成の一例の概略構成を示す図である。1 shows a schematic configuration of an example of a configuration of a device for driving a robot hand using a multi-fingered robot hand control device used when obtaining a pre-collection operation command and a robot driving method adopting the database high-speed search method of the present invention. FIG. 記憶動作をコンピュータを用いて実現する場合に用いるソフトウエアのアルゴリズムを示す図である。It is a figure which shows the algorithm of the software used when memory | storage operation | movement is implement | achieved using a computer. カメラによりデータグローブを手に装着して事前収集動作指令を取得するときと同じ動作（所定の動作）を人の手で行って事前収集動作指令を取得する過程を説明するために用いる図である。It is a figure used in order to explain the process of performing the same operation | movement (predetermined operation | movement) when acquiring a pre-collection operation command by attaching a data glove to a hand with a camera by a human hand, and acquiring a pre-collection operation command. . 入力画像データに対応する画像データを特定する過程のアルゴリズムを示す図である。It is a figure which shows the algorithm of the process which specifies the image data corresponding to input image data. データグローブを嵌めた手の上にさらに無地（無模様：一色）の手袋（被覆物）を嵌めて、必要なデータを得ることを説明するために用いる図である。It is a figure used in order to explain that it obtains necessary data by further fitting a plain (no pattern: one color) glove (cover) on a hand fitted with a data glove. 事前にデータベースを作成する際の手順を示すフローチャートである。It is a flowchart which shows the procedure at the time of creating a database in advance. 図９のフローチャートの詳細を示すフローチャートである。10 is a flowchart showing details of the flowchart of FIG. 9. エッジ抽出後に輪郭抽出を行って得た解像度変更後の画像である。It is an image after resolution change obtained by performing contour extraction after edge extraction. ２５種類の特徴量を表現する図である。It is a figure expressing 25 types of feature-values. 全体画像の特徴量化を説明するために用いる図である。It is a figure used in order to demonstrate the feature-value conversion of a whole image. 自己組織化をコンピュータを用いて行う際のソフトウエアのアルゴリズムを示す図である。It is a figure which shows the algorithm of the software at the time of performing self-organization using a computer. 一次データベースに記録されているデータの内容を概念的に示す図である。It is a figure which shows notionally the content of the data currently recorded on the primary database. 自己組織化におけるクラス分けを説明するために用いる図である。It is a figure used in order to explain the classification in self-organization. 自己組織化における増殖と消滅を説明するために用いる図である。It is a figure used in order to explain proliferation and extinction in self-organization. クラス分けが完了したときのクラスの記憶内容を概念的に示す図である。It is a figure which shows notionally the memory content of the class when classification is completed. 自己組織化により作られたデータベースのクラスの記憶内容を概念的に示す図である。It is a figure which shows notionally the memory content of the class of the database created by self-organization. 自己組織化により作られたデータベース内の各クラスの関係を示す図である。It is a figure which shows the relationship of each class in the database created by self-organization. 検索時の手順を示すアルゴリズムを示す図である。It is a figure which shows the algorithm which shows the procedure at the time of a search. 図２１の具体的なアルゴリズムを示す図である。It is a figure which shows the specific algorithm of FIG. 検索時の異なる手順を示すアルゴリズムを示す図である。It is a figure which shows the algorithm which shows the different procedure at the time of a search. 多重自己組織化の概念を説明するために用いる図である。It is a figure used in order to explain the concept of multiple self-organization. 多重自己組織化によりクラス分けが完了したときのクラスの記憶内容を概念的に示す図である。It is a figure which shows notionally the memory | storage content of the class when classification is completed by multiple self-organization. 画像の輪郭形状の特徴量を計算するのに適した局所パターンを示す図である。It is a figure which shows the local pattern suitable for calculating the feature-value of the outline shape of an image.

符号の説明Explanation of symbols

１ 多指ロボットハンド
３ 駆動装置
４ データグローブ
６ 対応関係決定手段
８ 事前収集動作指令記憶装置
１０ 画像データ記憶装置
１１ 画像対応動作指令記憶手段（データベース） DESCRIPTION OF SYMBOLS 1 Multi-fingered robot hand 3 Driving device 4 Data glove 6 Correspondence relation determination means 8 Pre-collection operation command storage device 10 Image data storage device 11 Image correspondence operation command storage means (database)

Claims (9)

真値と推定量とが組になった複数のデータが自己組織化により複数のクラスにより分けられて保存されているデータベースから、ある推定量を持った複数の未知の入力データに対応する最類似データを高速で検索するデータベースの高速検索方法であって、
前記データベースの構造を、前記真値をクラス分けの際の基準として前記自己組織化を行って前記複数のデータを前記複数のクラスに分け、且つ前記複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を前記複数のクラスに対してそれぞれ有している構造とし、
前記未知の入力データの前記推定量と複数の前記代表推定量との対比により該当する前記クラスを決定する第１の検索ステップと、
前記第１の検索ステップで決定された前記クラスに含まれる複数のデータのそれぞれの前記推定値と前記未知の入力データの前記推定値との対比により該当する前記最類似データを決定する第２の検索ステップとからなることを特徴とするデータベースの高速検索方法。 The most similar data corresponding to multiple unknown input data with a certain estimator from a database in which multiple data with a set of true value and estimator are stored by being divided into multiple classes by self-organization A high-speed database search method for searching data at high speed,
The structure of the database is divided into the plurality of classes by performing the self-organization using the true value as a reference for classification, and each of the plurality of data included in the plurality of classes A structure having a representative estimator representing the estimator for each of the plurality of classes,
A first search step of determining the corresponding class by comparing the estimated amount of the unknown input data with a plurality of representative estimated amounts;
Determining the corresponding most similar data by comparing the estimated value of each of a plurality of data included in the class determined in the first search step and the estimated value of the unknown input data; A high-speed database search method characterized by comprising a search step. 真値と推定量とが組になった複数のデータが自己組織化により複数のクラスにより分けられて保存されているデータベースから、ある推定量を持った複数の未知の入力データに対応する最類似データを高速で検索するデータベースの高速検索方法であって、
前記データベースの構造を、前記真値をクラス分けの際の基準として前記自己組織化を行って前記複数のデータを第１段階の複数のクラスに分け、前記第１段階の複数のクラスにそれぞれ分けられた複数のデータを、前記真値をクラス分けの際の基準として前記自己組織化を行って、さらに第２段階の複数のクラスに分け、さらに必要に応じて前の段階の複数のクラスに分けられた複数のデータを、前記真値をクラス分けの際の基準として前記自己組織化を行って、さらに次の段階の複数のクラスに分ける多重自己組織化を行い、各段階における前記複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を各段階における前記複数のクラスに対してそれぞれ設けた構造とし、
前記未知の入力データの前記推定量と複数の前記代表推定量との対比により該当する前記クラスを決定する第１の検索ステップと、
前記第１の検索ステップで決定された前記クラスに含まれる複数のデータのそれぞれの前記推定値と前記未知の入力データの前記推定値との対比により該当する前記最類似データを決定する第２の検索ステップとからなることを特徴とするデータベースの高速検索方法。 The most similar data corresponding to multiple unknown input data with a certain estimator from a database in which multiple data with a set of true value and estimator are stored by being divided into multiple classes by self-organization A high-speed database search method for searching data at high speed,
The database structure is divided into a plurality of first-stage classes by performing the self-organization using the true value as a reference for classification, and each of the plurality of data is divided into a plurality of first-stage classes. The self-organization is performed on the plurality of data obtained by using the true value as a reference for classification, and further divided into a plurality of classes in the second stage, and further classified into a plurality of classes in the previous stage as necessary. The plurality of divided data is subjected to the self-organization using the true value as a reference for classification, and further divided into a plurality of classes in the next stage, and the multiple self-organization is performed in each stage. A representative estimator representing each estimator of a plurality of data included in a class is provided for each of the plurality of classes in each stage, and
A first search step of determining the corresponding class by comparing the estimated amount of the unknown input data with a plurality of representative estimated amounts;
Determining the corresponding most similar data by comparing the estimated value of each of a plurality of data included in the class determined in the first search step and the estimated value of the unknown input data; A high-speed database search method characterized by comprising a search step. 真値と推定量とが組になった複数のデータが自己組織化により複数のクラスにより分けられて保存されているデータベースから、ある推定量を持った複数の未知の入力データに対応する最類似データを高速で検索するデータベースの高速検索方法であって、
前記データベースの構造を、前記真値をクラス分けの際の基準として前記自己組織化を行って前記複数のデータを第１段階の複数のクラスに分け、前記第１段階の複数のクラスにそれぞれ分けられた複数のデータを、前記真値または推定量をクラス分けの際の基準として前記自己組織化を行って、さらに第２段階の複数のクラスに分け、さらに必要に応じて前の段階の複数のクラスに分けられた複数のデータを、前記真値または推定量をクラス分けの際の基準として前記自己組織化を行って、さらに次の段階の複数のクラスに分ける多重自己組織化を行い、各段階における前記複数のクラスに含まれる複数のデータのそれぞれの推定量を代表する代表推定量を各段階における前記複数のクラスに対してそれぞれ設けた構造とし、
前記未知の入力データの前記推定量と複数の前記代表推定量との対比により該当する前記クラスを決定する第１の検索ステップと、
前記第１の検索ステップで決定された前記クラスに含まれる複数のデータのそれぞれの前記推定値と前記未知の入力データの前記推定値との対比により該当する前記最類似データを決定する第２の検索ステップとからなることを特徴とするデータベースの高速検索方法。 The most similar data corresponding to multiple unknown input data with a certain estimator from a database in which multiple data with a set of true value and estimator are stored by being divided into multiple classes by self-organization A high-speed database search method for searching data at high speed,
The database structure is divided into a plurality of first-stage classes by performing the self-organization using the true value as a reference for classification, and each of the plurality of data is divided into a plurality of first-stage classes. The plurality of data obtained are subjected to the self-organization using the true value or the estimated amount as a reference for classification, further divided into a plurality of classes in the second stage, and further, a plurality of data in the previous stage as necessary. A plurality of data divided into classes, the self-organization is performed by using the true value or the estimated amount as a reference for classification, and a multiple self-organization is performed to further divide into a plurality of classes in the next stage, A structure in which representative estimation amounts representing respective estimation amounts of a plurality of data included in the plurality of classes in each stage are provided for the plurality of classes in each stage, respectively.
A first search step of determining the corresponding class by comparing the estimated amount of the unknown input data with a plurality of representative estimated amounts;
Determining the corresponding most similar data by comparing the estimated value of each of a plurality of data included in the class determined in the first search step and the estimated value of the unknown input data; A high-speed database search method characterized by comprising a search step. 複数のデータは時系列で取得されたデータであり、また前記複数の未知の入力データも時系列で取得されたデータであり、
前記第１の検索ステップでは、前回の検索で決定された一つのクラスと該一つのクラスの前記代表推定量と近似する代表推定量を有する１以上の他のクラスだけを、次回の第１の検索ステップにおける検索対象のクラスとすることを特徴とする請求項１または２に記載のデータベースの高速検索方法。 The plurality of data is data acquired in time series, and the plurality of unknown input data is also data acquired in time series,
In the first search step, only one class determined in the previous search and one or more other classes having a representative estimator that approximates the representative estimator of the one class are searched for the first first time. 3. The database high-speed search method according to claim 1, wherein the search target class in the search step is used. 前記自己組織化において、データが特徴空間内に均等に存在し、また各クラスが概ね同数のデータを持つように、クラスの自己増殖及び自己消滅が導入されている請求項１または２に記載のデータベースの高速検索方法。 3. The self-organization and self-annihilation of classes are introduced in the self-organization so that data exists evenly in the feature space and each class has approximately the same number of data. Fast database search method. 動作指令に応じて動作するロボットの駆動方法であって、
ロボットに対応する動作物と、前記動作物に設けられて前記動作物の動きを検出する複数のセンサと、前記複数のセンサの出力に基づいて前記動作指令を発生する動作指令発生装置とを用い、前記動作物に所定の動作を行わせたときの前記複数のセンサの出力に基づいて前記動作指令発生装置が発生する前記動作指令を事前収集動作指令として記憶する第１のステップと、
前記動作物またはその擬似物に前記所定の動作と同じ動作をさせたときの前記動作物またはその擬似物の複数の画像データを時系列で取得する第２のステップと、
前記複数の画像データに含まれる画像データと前記事前収集動作指令とを対応付けて対応データとして画像対応動作指令記憶手段に記憶する第３のステップと、
前記ロボットを動作させるために、前記動作物またはその擬似物に所望の動作を行わせ、その際に前記動作物またはその擬似物の動作画像データを時系列でロボット動作用画像データとして取得する第４のステップと、
前記ロボット動作用画像データに含まれる前記動作画像データに対応する画像データを前記画像対応動作指令記憶手段に記憶している前記複数の画像データから時系列で特定し、特定した前記画像データに対応する前記事前収集動作指令を前記動作指令として前記ロボットに与える第５のステップとからなるロボットの駆動方法であって、
前記第１のステップで収集する事前収集動作指令は、前記複数のセンサの出力に対応した複数の真値から構成され、
前記第３のステップは、前記複数の画像データのそれぞれについて特徴量を演算する演算ステップと、複数の前記対応データを複数のクラスに分ける基準として前記複数の真値を用いて自己組織化を行い前記複数の対応データを前記複数のクラスに分ける自己組織化ステップと、１つの前記クラスに含まれる複数の前記対応データのそれぞれの前記特徴量を代表する代表特徴量を決定する代表特徴量決定ステップと、前記複数の真値及び前記特徴量を含む前記対応データを前記複数のクラスに分け且つ該複数のクラスに対応する複数の前記代表特徴量と一緒に前記画像対応動作指令記憶手段に記憶する記憶ステップを含んで構成されており、
前記第５のステップは、前記動作画像データから求めた特徴量を前記複数の前記代表特徴量と対比して対応する前記クラスを検索する第１の検索ステップと、前記動作画像データから求めた前記特徴量を前記第１の検索ステップで検索した前記クラスに含まれる前記複数の対応データ中の前記複数の特徴量と対比して前記画像データを特定する第２の検索ステップとを含んで構成されていることを特徴とするロボットの駆動方法。 A method for driving a robot that operates according to an operation command,
Using an operation object corresponding to a robot, a plurality of sensors provided on the operation object for detecting movement of the operation object, and an operation command generating device for generating the operation command based on outputs of the plurality of sensors A first step of storing, as a pre-collection operation command, the operation command generated by the operation command generation device based on outputs of the plurality of sensors when the operation object performs a predetermined operation;
A second step of acquiring, in time series, a plurality of image data of the operation object or the mimic thereof when the operation object or the imitation thereof is caused to perform the same operation as the predetermined operation;
A third step of associating the image data included in the plurality of image data and the pre-collection operation command with corresponding data and storing them in the image corresponding operation command storage means;
In order to operate the robot, a desired operation is performed on the moving object or its imitation, and at this time, operation image data of the moving object or its imitation is acquired as image data for robot operation in time series. 4 steps,
Image data corresponding to the motion image data included in the robot motion image data is identified in time series from the plurality of image data stored in the image corresponding motion command storage means, and corresponds to the identified image data A robot driving method comprising: a fifth step of giving the pre-collection operation command to the robot as the operation command.
The pre-collection operation command collected in the first step is composed of a plurality of true values corresponding to the outputs of the plurality of sensors,
The third step includes a calculation step of calculating a feature amount for each of the plurality of image data, and self-organization using the plurality of true values as a reference for dividing the plurality of corresponding data into a plurality of classes. A self-organizing step of dividing the plurality of corresponding data into the plurality of classes, and a representative feature amount determining step of determining a representative feature amount representing each of the plurality of corresponding data included in one class And the correspondence data including the plurality of true values and the feature quantities are divided into the plurality of classes and stored together with the plurality of representative feature quantities corresponding to the plurality of classes in the image correspondence operation command storage means. Comprising a memory step,
The fifth step includes a first search step of searching for a corresponding class by comparing a feature amount obtained from the motion image data with the plurality of representative feature amounts, and the step of obtaining the feature amount from the motion image data. A second search step for specifying the image data in comparison with the plurality of feature amounts in the plurality of corresponding data included in the class searched for the feature amount in the first search step. A method for driving a robot characterized by comprising: 動作指令に応じて動作するロボットの駆動方法であって、
ロボットに対応する動作物と、前記動作物に設けられて前記動作物の動きを検出する複数のセンサを用い、前記動作物に所定の動作を行わせたときの前記複数のセンサの出力を事前収集動作指令として記憶する第１のステップと、
前記動作物またはその擬似物に前記所定の動作と同じ動作をさせたときの前記動作物またはその擬似物の複数の画像データを時系列で取得する第２のステップと、
前記複数の画像データに含まれる画像データと前記事前収集動作指令とを対応付けて対応データとして画像対応動作指令記憶手段に記憶する第３のステップと、
前記ロボットを動作させるために、前記動作物またはその擬似物に所望の動作を行わせ、その際に前記動作物またはその擬似物の動作画像データを時系列でロボット動作用画像データとして取得する第４のステップと、
前記ロボット動作用画像データに含まれる前記動作画像データに対応する画像データを前記画像対応動作指令記憶手段に記憶している前記複数の画像データから時系列で特定し、特定した前記画像データに対応する前記事前収集動作指令を前記動作指令として前記ロボットに与える第５のステップとからなるロボットの駆動方法であって、
前記第１のステップで収集する前記事前収集動作指令は、前記複数のセンサの出力に対応した複数の真値から構成され、
前記第３のステップは、前記複数の画像データのそれぞれについて特徴量を演算する演算ステップと、複数の前記対応データを複数のクラスに分ける基準として、少なくとも最初の段階では前記複数の真値を用いて自己組織化を行って前記複数の対応データをｎ段階（ｎは２以上の整数）の前記複数のクラスに分ける多重自己組織化ステップと、１つの前記クラスに含まれる複数の前記対応データのそれぞれの前記特徴量を代表する代表特徴量を決定する代表特徴量決定ステップと、前記複数の真値及び前記特徴量を含む前記対応データを前記複数のクラスに分け且つ該複数のクラスに対応する複数の前記代表特徴量と一緒に前記画像対応動作指令記憶手段に記憶する記憶ステップを含んで構成されており、
前記第５のステップは、前記動作画像データから求めた特徴量を前記複数の前記代表特徴量と対比して対応する前記クラスを検索する第１の検索ステップと、前記動作画像データから求めた前記特徴量を前記第１の検索ステップで検索した前記クラスに含まれる前記複数の対応データ中の前記複数の特徴量と対比して前記画像データを特定する第２の検索ステップとを含んで構成されていることを特徴とするロボットの駆動方法。 A method for driving a robot that operates according to an operation command,
Using an operation object corresponding to the robot and a plurality of sensors provided on the operation object to detect the movement of the operation object, outputs of the plurality of sensors when the operation object is caused to perform a predetermined operation in advance A first step of storing as a collection operation command;
A second step of acquiring, in time series, a plurality of image data of the operation object or the mimic thereof when the operation object or the imitation thereof is caused to perform the same operation as the predetermined operation;
A third step of associating the image data included in the plurality of image data and the pre-collection operation command with corresponding data and storing them in the image corresponding operation command storage means;
In order to operate the robot, a desired operation is performed on the operation object or its imitation, and at this time, operation image data of the operation object or its imitation is acquired as image data for robot operation in time series. 4 steps,
Image data corresponding to the motion image data included in the robot motion image data is identified in time series from the plurality of image data stored in the image corresponding motion command storage means, and corresponds to the identified image data A robot driving method comprising: a fifth step of giving the pre-collection operation command to the robot as the operation command.
The pre-collection operation command collected in the first step includes a plurality of true values corresponding to outputs of the plurality of sensors,
The third step uses the plurality of true values at least in the first stage as a calculation step for calculating a feature amount for each of the plurality of image data, and as a reference for dividing the plurality of corresponding data into a plurality of classes. Multiple self-organizing steps of performing self-organization and dividing the plurality of corresponding data into the plurality of classes of n stages (n is an integer of 2 or more), and a plurality of the corresponding data included in one class A representative feature amount determining step for determining a representative feature amount representing each of the feature amounts, and the correspondence data including the plurality of true values and the feature amounts are divided into the plurality of classes and correspond to the plurality of classes. A storage step of storing together with the plurality of representative feature quantities in the image corresponding operation command storage means;
The fifth step includes a first search step of searching for a corresponding class by comparing a feature amount obtained from the motion image data with the plurality of representative feature amounts, and the step of obtaining the feature amount from the motion image data. A second search step for specifying the image data in comparison with the plurality of feature amounts in the plurality of corresponding data included in the class searched for the feature amount in the first search step. A method for driving a robot. 前記第５のステップの前記第１の検索ステップでは、前回の検索で決定された一つのクラスと該一つのクラスの前記代表特徴量と近似する代表特徴量を有する１以上の他のクラスだけを、次回の第１の検索ステップにおける検索対象のクラスとすることを特徴とする請求項６または７に記載のロボットの駆動方法。 In the first search step of the fifth step, only one class determined in the previous search and one or more other classes having a representative feature amount that approximates the representative feature amount of the one class are obtained. The robot driving method according to claim 6, wherein the class is a search target class in the next first search step. 前記第１の検索ステップ及び第２の検索ステップでは、データの対比にユークリッド距離を用いている請求項６または７に記載のロボットの駆動方法。 The robot driving method according to claim 6 or 7, wherein the Euclidean distance is used for data comparison in the first search step and the second search step.
JP2006075505A 2005-03-17 2006-03-17 Robot drive method using fast search method Expired - Fee Related JP4410208B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006075505A JP4410208B2 (en) 2005-03-17 2006-03-17 Robot drive method using fast search method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005078256 2005-03-17
JP2006075505A JP4410208B2 (en) 2005-03-17 2006-03-17 Robot drive method using fast search method

Publications (2)

Publication Number Publication Date
JP2006294018A true JP2006294018A (en) 2006-10-26
JP4410208B2 JP4410208B2 (en) 2010-02-03

Family

ID=37414467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006075505A Expired - Fee Related JP4410208B2 (en) 2005-03-17 2006-03-17 Robot drive method using fast search method

Country Status (1)

Country Link
JP (1) JP4410208B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009148850A (en) * 2007-12-20 2009-07-09 Denso Wave Inc Motion control device for robot and its motion control method
WO2009147904A1 (en) 2008-06-04 2009-12-10 国立大学法人筑波大学 Finger shape estimating device, and finger shape estimating method and program
WO2011065034A1 (en) * 2009-11-24 2011-06-03 株式会社豊田自動織機 Method for controlling action of robot, and robot system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826069B2 (en) 2018-04-18 2021-02-03 ファナック株式会社 Robot motion teaching device, robot system and robot control device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009148850A (en) * 2007-12-20 2009-07-09 Denso Wave Inc Motion control device for robot and its motion control method
WO2009147904A1 (en) 2008-06-04 2009-12-10 国立大学法人筑波大学 Finger shape estimating device, and finger shape estimating method and program
CN102113012A (en) * 2008-06-04 2011-06-29 国立大学法人筑波大学 Finger shape estimating device, and finger shape estimating method and program
JP5403699B2 (en) * 2008-06-04 2014-01-29 国立大学法人 筑波大学 Finger shape estimation device, finger shape estimation method and program
US9002119B2 (en) 2008-06-04 2015-04-07 University Of Tsukuba, National University Corporation Device method and program for human hand posture estimation
WO2011065034A1 (en) * 2009-11-24 2011-06-03 株式会社豊田自動織機 Method for controlling action of robot, and robot system
JP2011110620A (en) * 2009-11-24 2011-06-09 Toyota Industries Corp Method of controlling action of robot, and robot system

Also Published As

Publication number Publication date
JP4410208B2 (en) 2010-02-03

Similar Documents

Publication Publication Date Title
JP4878842B2 (en) Robot drive method
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
CN111055279B (en) Multi-mode object grabbing method and system based on combination of touch sense and vision
JP5403699B2 (en) Finger shape estimation device, finger shape estimation method and program
Ibraheem et al. Survey on various gesture recognition technologies and techniques
Cretu et al. Soft object deformation monitoring and learning for model-based robotic hand manipulation
JP7146247B2 (en) Motion recognition method and device
KR101549645B1 (en) Method and apparatus of recognizing facial expression using motion dictionary
CN109993073B (en) Leap Motion-based complex dynamic gesture recognition method
CN107424161B (en) Coarse-to-fine indoor scene image layout estimation method
Ridge et al. Self-supervised cross-modal online learning of basic object affordances for developmental robotic systems
Jia et al. Two-stream temporal convolutional networks for skeleton-based human action recognition
JP4410208B2 (en) Robot drive method using fast search method
Ge et al. A real-time gesture prediction system using neural networks and multimodal fusion based on data glove
Adhikari et al. A Novel Machine Learning-Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform.
Ong et al. Tracking hybrid 2D-3D human models from multiple views
Hoshino et al. Copycat hand—robot hand imitating human motions at high speed and with high accuracy
Heer et al. An improved hand gesture recognition system based on optimized msvm and sift feature extraction algorithm
Bergström et al. Integration of visual cues for robotic grasping
Shah et al. Gesture recognition technique: a review
Gutta et al. Hand gesture recognition using ensembles of radial basis function (RBF) networks and decision trees
Li et al. Tactile Sensing, Skill Learning, and Robotic Dexterous Manipulation
Farouk Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition
CN112507940A (en) Skeleton action recognition method based on difference guidance representation learning network
Ravinder et al. An approach for gesture recognition based on a lightweight convolutional neural network

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091112

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4410208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees