JP2012163451A - Shape recognition device, shape recognition method, and program thereof - Google Patents
Shape recognition device, shape recognition method, and program thereof Download PDFInfo
- Publication number
- JP2012163451A JP2012163451A JP2011024353A JP2011024353A JP2012163451A JP 2012163451 A JP2012163451 A JP 2012163451A JP 2011024353 A JP2011024353 A JP 2011024353A JP 2011024353 A JP2011024353 A JP 2011024353A JP 2012163451 A JP2012163451 A JP 2012163451A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- recognition target
- dimensional model
- variable
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに関する。 The present invention relates to a shape recognition apparatus, a shape recognition method, and a program for recognizing the position and orientation of an arbitrary recognition object.
ファクトリーオートメーションにおけるアセンブリ処理では、ケーブルを用いて複数の電子機器同士の接続作業も実行される。このようなケーブルの接続作業を、産業用のロボットを用いて行うことを試みる場合、ロボットは、ケーブル終端のコネクタやその付近のケーブルを自律的に認識し、そのコネクタの位置や姿勢を特定して把持(ピッキング)しなければならない。 In assembly processing in factory automation, a connection operation between a plurality of electronic devices is also performed using a cable. When attempting to connect such cables using an industrial robot, the robot autonomously recognizes the connector at the end of the cable and the cable near it, and specifies the position and orientation of the connector. Must be picked.
しかし、現行の技術では、ケーブルを除く、単純な形状や特別な着色を施したコネクタ単体しか、その形状を認識することができない。また、コネクタが単純な形状や特別な着色で構成されていたとしても、ケーブルが不規則に収容され、コネクタの一部をケーブルが覆ってしまっていたり、環境光により着色した色を正しく認識できない場合、コネクタを的確に特定することができなかった。さらに、通常、ケーブルには様々な模様が示されており、その模様(テクスチャ)をケーブルやコネクタのエッジと誤認識することもあった。このようにコネクタを的確に認識できないと、コネクタが未接続の状態となったり、誤った接続位置にコネクタを誤接続してしまうおそれがある。 However, with the current technology, only a simple connector or a single colored connector other than a cable can recognize the shape. Also, even if the connector is configured with a simple shape or special coloration, the cable is irregularly accommodated, the cable covers part of the connector, or the color colored by ambient light cannot be recognized correctly In this case, the connector could not be accurately identified. Further, various patterns are usually shown on the cable, and the pattern (texture) may be erroneously recognized as the edge of the cable or connector. If the connector cannot be accurately recognized in this manner, the connector may be unconnected or the connector may be erroneously connected to an incorrect connection position.
コネクタの未接続や誤接続を防止する技術としては、例えば、コネクタ付きケーブルのコネクタ部分にRF−IDタグを内蔵させ、対応するジャック部品に読み取り回路を配置することで、コネクタ付きケーブルとジャック部品との接続管理を行う技術が開示されている(例えば、特許文献1)。また、コネクタ付きケーブルのうち、ケーブルの任意の点に設けられた加圧スイッチを押止することで、コネクタまたはケーブルの所定の部分が発光する技術も知られている(例えば、特許文献2)。 As a technique for preventing unconnected or erroneous connection of a connector, for example, an RF-ID tag is built in a connector portion of a cable with a connector, and a reading circuit is arranged on the corresponding jack component, so that the cable with the connector and the jack component are arranged. Has been disclosed (for example, Patent Document 1). In addition, a technique in which a predetermined portion of a connector or a cable emits light by pressing a pressure switch provided at an arbitrary point of the cable among cables with a connector is also known (for example, Patent Document 2). .
しかし、特許文献1の技術は、コネクタの接続関係を事後的に確認する技術であり、特許文献2の技術は、任意のケーブルを人が認識する技術であり、コネクタやケーブルの形状認識には応用できず、また、両技術は、コネクタやケーブルの加工を前提とし、既存のコネクタやケーブルには適用できなかった。
However, the technique of Patent Document 1 is a technique for confirming the connection relationship of connectors afterwards, and the technique of
また、従来の技術では、コネクタを単体で認識せざるを得ず、コネクタから延長されるケーブルは物理的に切り離せないので形状認識の弊害となることもあり、コネクタの認識精度を高めることができなかった。 In addition, with the conventional technology, it is necessary to recognize the connector alone, and the cable extending from the connector cannot be physically disconnected, which may be a detrimental effect on shape recognition, and can improve the connector recognition accuracy. There wasn't.
本発明は、このような課題に鑑み、コネクタ等の固定部にケーブル等の可変部を加えた3次元モデルを通じて認識対象物を的確に抽出可能な形状認識装置、形状認識方法、および、そのプログラムを提供することを目的としている。 In view of such problems, the present invention provides a shape recognition device, a shape recognition method, and a program for accurately extracting a recognition object through a three-dimensional model in which a variable portion such as a cable is added to a fixed portion such as a connector. The purpose is to provide.
上記課題を解決するために、本発明の形状認識装置は、固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報を保持するモデル保持部と、認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と3次元モデル情報とに基づき、長手軸に対して対称な2つの候補姿勢を作り、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。 In order to solve the above-described problem, a shape recognition device of the present invention includes a model holding unit that holds a three-dimensional model information indicating a three-dimensional model having a longitudinal axis, including a fixed unit and a variable unit having an internal degree of freedom. Based on the recognition target information acquisition unit that acquires the recognition target information indicating the three-dimensional shape of the recognition target, the recognition target information and the three-dimensional model information, two candidate postures that are symmetric with respect to the longitudinal axis are created, and the recognition target A recognition object specifying unit that specifies the position and orientation of the recognition object by pattern matching the object and a three-dimensional model in which the internal degree of freedom of the variable part is changed.
形状認識装置は、認識対象物の可変部の候補となる部位が延長されている場合に、可変部の候補となる部位の固定部側端部の部位を切り出す端部切出部をさらに備えてもよい。 The shape recognition device further includes an end cutout unit that cuts out a fixed portion side end portion of the variable portion candidate portion when the portion that is a candidate for the variable portion of the recognition object is extended. Also good.
端部切出部は、可変部の延長方向に垂直な断面の任意の2つの点間の直線距離の最大値に基づいて決定される円によって2つに分断される部位を切り出してもよい。 The end cutout portion may cut out a portion divided into two by a circle determined based on the maximum value of the linear distance between any two points on the cross section perpendicular to the extending direction of the variable portion.
認識対象物特定部は、認識対象物における3次元モデルの固定部にマッチングする部位を特定し、その特定した部位の位置および姿勢を用いて、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定してもよい。 The recognition object specifying unit specifies a part matching the fixed part of the three-dimensional model in the recognition object, and changes the internal degree of freedom of the recognition object and the variable part using the position and orientation of the specified part. The position and orientation of the recognition target object may be specified by pattern matching with the three-dimensional model.
上記課題を解決するために、本発明の形状認識方法は、固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報を予め保持し、認識対象物の3次元形状を示す認識対象情報を取得し、認識対象情報と3次元モデル情報とに基づき、長手軸に対して対称な2つの候補姿勢を作り、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定することを特徴とする。 In order to solve the above-mentioned problem, a shape recognition method of the present invention preliminarily holds three-dimensional model information indicating a three-dimensional model having a longitudinal axis including a fixed portion and a variable portion having an internal degree of freedom. Recognition target information indicating the three-dimensional shape of the object, and based on the recognition target information and the three-dimensional model information, create two candidate postures symmetric with respect to the longitudinal axis. The position and orientation of the recognition target object are specified by pattern matching with a three-dimensional model in which the angle is changed.
また、上記課題を解決するために、コンピュータを、認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報とに基づき、長手軸に対して対称な2つの候補姿勢を作り、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。 In order to solve the above problem, the computer includes a recognition target information acquisition unit that acquires recognition target information indicating the three-dimensional shape of the recognition target, a recognition target information, a fixed unit, and a variable unit having internal degrees of freedom. And two candidate postures symmetric with respect to the longitudinal axis based on the 3D model information indicating the 3D model having the longitudinal axis and the internal degrees of freedom of the recognition object and the variable part are changed. A program for functioning as a recognition target specifying unit that specifies the position and orientation of a recognition target by pattern matching with a dimensional model is provided.
本発明によれば、コネクタ等の固定部にケーブル等の可変部を加えた3次元モデルを通じて認識対象物を的確に抽出することが可能となる。 According to the present invention, a recognition object can be accurately extracted through a three-dimensional model in which a variable part such as a cable is added to a fixed part such as a connector.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiments are merely examples for facilitating the understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
(ピッキングシステム100)
図1は、ピッキングシステム100の概略的な接続関係を示した説明図である。ピッキングシステム100は、3次元形状測定装置110と、形状認識装置120と、ロボット制御装置130と、ロボット140とを含んで構成される。本実施形態が対象とする認識対象物112は、モデル自体の変化を伴わない固定部のみからなるものに加え、固定部と内部自由度を有する可変部とが一体形成されたものに及ぶ。かかる内部自由度は、通常のパターンマッチングで用いられる固定部の外観そのもののスピン等ではなく、固定部に対する内部での相対的な変化を言う。ここでは、その理解を容易にするため、コネクタ(固定部)とコネクタから延長されるケーブル(可変部)とが一体形成された認識対象物112を用いて説明するが、認識対象物112がコネクタやケーブルに限定されないのは言うまでもない。このようなピッキングシステム100における形状認識では、認識対象物112は球のような完全に全方向に対し対称なものを除き、一般的に形状の偏りにより、長手軸(長手方向)を有する。長手軸とは形状の広がりが大きい方向に沿った軸の事を言う。
(Picking system 100)
FIG. 1 is an explanatory diagram showing a schematic connection relationship of the picking system 100. The picking system 100 includes a three-dimensional
3次元形状測定装置110は、例えば、レーザースキャナ方式の3次元距離センサで構成され、可変部としてのケーブルが不規則に折り曲げられた(とぐろを巻いた)状態で乱雑に収容されている1または複数の認識対象物(ワーク:ここではコネクタおよびケーブル)112の測定面(表面)における複数の検出点の3次元座標を検出する。
The three-dimensional
具体的に、3次元形状測定装置110としての3次元距離センサは、測定面上の複数の検出点の、3次元形状測定装置110からの距離を示すZ軸座標と、検出方向に垂直な面(XY平面)上におけるX、Y軸座標とを合わせて3次元座標とし、複数の検出点全ての3次元座標を示す情報である認識対象情報を生成する。こうして生成された認識対象情報は、形状認識装置120に送信される。ここでは、認識対象情報として、認識対象物上の複数の検出点における3次元座標を送信しているが、かかる場合に限られず、認識対象物の3次元形状を表す様々な情報を送信することができる。また、3次元形状測定装置110として、3次元距離センサを挙げているが、3次元形状が把握可能な既存の様々なセンサを採用することが可能である。
Specifically, the three-dimensional distance sensor as the three-dimensional
形状認識装置120は、3次元形状測定装置110から受信した認識対象情報に基づいて認識対象物112を抽出し、パターンマッチング等により、その認識対象物112が3次元モデル122で示される所望する認識対象物112であることを認識し、その認識対象物112の位置や姿勢を特定する。
The
ロボット制御装置130は、そのようにして認識された1の認識対象物112の位置や姿勢を示す情報を形状認識装置120から受信して、ロボット140に認識対象物112をピッキングさせる制御指令を発する。ロボット140は、その制御指令を受けて、不規則に収容された複数の認識対象物112から、指示された1の認識対象物112、例えば、コネクタやその付近のケーブルを、吸着式バンド142を通じてピッキングする。
The
従来のピッキングシステムでは、コネクタを単体で認識せざるを得ず、コネクタから延長されるケーブルは物理的に切り離せないので形状認識の弊害となることもあり、コネクタの認識精度を高めることができなかった。本実施形態では、コネクタにおけるケーブルとの接続位置やケーブルの形状も、コネクタを特徴付ける要素として用いることで、コネクタの位置や姿勢を高精度で特定する。 In conventional picking systems, it is necessary to recognize the connector alone, and the cable extending from the connector cannot be physically disconnected, which may be a detrimental to shape recognition, and the connector recognition accuracy cannot be increased. It was. In this embodiment, the connection position of the connector and the shape of the cable are also used as elements that characterize the connector, so that the position and orientation of the connector are specified with high accuracy.
ただし、ケーブル等の可変部はフレキシブルに変化するので、延長されるケーブル全てに関してパターンマッチングを実行しようとすると、計算量が膨大になってしまい、結局マッチング不能となる問題が生じ得る。ここでは、その可変部の変化範囲(自由度)を制限することで、可変部の変化範囲をパターンマッチングのパラメータに取り込むことも目的としている。 However, since a variable part such as a cable changes flexibly, if an attempt is made to perform pattern matching on all the extended cables, the amount of calculation becomes enormous, which may result in a problem that matching is impossible. Here, it is also intended to incorporate the change range of the variable portion into the pattern matching parameters by limiting the change range (degree of freedom) of the variable portion.
図2は、認識対象物112のパターンマッチングの概要を説明するための説明図である。特に図2(a)は、認識対象物112がコネクタ単体であった場合、図2(b)は、認識対象物112としてコネクタとケーブルの一部を用いた場合、図2(c)は、図2(b)の場合に、さらにケーブルを変化範囲内で変化させてパターンマッチングを行った場合を示している。
FIG. 2 is an explanatory diagram for explaining an outline of pattern matching of the
例えば、対称性があり長手軸を有する円柱形状のコネクタのみをイメージした認識対象物112と3次元モデル122とがあるとする。ただし、図2では認識対象物112および3次元モデル122が側面視で表されているので形状が矩形となっている。ここでは、理解を容易にするため、平行移動変換は既に行われており、認識対象物112であるコネクタの長手軸が、3次元モデル122の長手軸を図2(a)中時計回りに270°回転した状態(図2(a)における回転角度0°の状態)となっており、長手軸回りのスピン角度は考慮しないものとする。
For example, it is assumed that there is a
パターンマッチングでは、まず、3次元モデル122を基準として、認識対象物112と3次元モデル122との一致度が高くなる方向(図2(a)中一致度の軌跡に沿った矢印で示す。)に、認識対象物112を回転する。そして、一致度が極値に落ち着くと、その点をパターンマッチングの収束点としている。
In pattern matching, first, the direction in which the degree of coincidence between the
図2(a)では、認識対象物112が90°の姿勢になった場合と、270°の姿勢になった場合の2つの姿勢で一致度が高い収束点(極値)を得ることができる。そのうち、270°の姿勢が正しい姿勢であり、90°の姿勢は誤った姿勢である。ここでは、一致度を評価することで正しい姿勢を抽出することができる。
In FIG. 2A, a convergence point (extreme value) having a high degree of coincidence can be obtained between the two postures when the
図2(b)では、コネクタにケーブルの一部を加えた3次元モデル122と、それに相当する認識対象物112とのパターンマッチングを示している。ここでは、パターンマッチングの要素として、コネクタにおけるケーブルとの接続位置やケーブルの形状が含まれているので、より厳密にパターンマッチングが遂行され、極値となる2つの姿勢のうち少なくとも誤った姿勢(90°)の一致度が低くなる。また、正しい姿勢(270°)においては、認識対象物112のケーブルの姿勢によっては一致度が高まり、誤った姿勢(90°)との差分が大きくなるので、図2(a)と比べて、認識対象物112の位置や姿勢をより特定し易くなる。長手軸を有する認識対象物では、長手軸方向に、順方向、逆方向に揃った場合に一致度が高くなる。順方向、逆方向、どちらかが見つかった時に、それと逆向きの候補姿勢をつくり、2つの最終マッチング結果を比較すると、誤った姿勢を得るのを避ける事ができる。
FIG. 2B shows pattern matching between the three-
さらに、図2(c)では、コネクタにケーブルの一部を加えた3次元モデル122と、それに相当する認識対象物112とをパターンマッチングするのみならず、3次元モデル122のケーブル114部分を既知の折り曲げ範囲(変化範囲)で変化させ、認識対象物112に合わせ込んでいる。パターンマッチングの際、正しい姿勢(270°)以外では、ケーブルを折り曲げても一致度はあまり高まらないが、正しい姿勢(270°)に近づくと、ケーブルの折り曲げ変化によって一致度が顕著に向上する。こうして、正しい姿勢(270°)と誤った姿勢(90°)との差分がさらに大きくなるので、認識対象物112の位置や姿勢をさらに特定し易くなる。
Further, in FIG. 2C, not only pattern matching is performed on the three-
本実施形態の形状認識装置120は、3次元モデル122として固定部と可変部とを一体的に形成し、パターンマッチングすることで認識対象物112を的確に特定することが可能となる。以下では、形状認識装置120の具体的な構成を示し、その後、具体的な処理の流れ(形状認識方法)を詳述する。
The
(形状認識装置120)
図3は、形状認識装置120の概略的な構成を示した機能ブロック図である。形状認識装置120は、モデル保持部210と、データバッファ212と、中央制御部214とを含んで構成される。
(Shape recognition device 120)
FIG. 3 is a functional block diagram illustrating a schematic configuration of the
モデル保持部210は、ROM、不揮発性RAM、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、認識対象物112に対応する3次元モデル122を示す3次元モデル情報を保持する。本実施形態において、モデル保持部210は、固定部のみを有する3次元モデルを示す3次元モデル情報に加え、固定部と可変部とを一体形成した3次元モデル122を示す3次元モデル情報を保持する。
The
図4は、固定部と可変部とを一体形成した3次元モデル122を例示した説明図である。例えば、図4(a)では、フレキシブルな要素を有さないコネクタ250を固定部とし、矢印の変化範囲で円弧状に折り曲げ可能なケーブル252を可変部としている。また、図4(b)の如く、コネクタ250には、コネクタ250をプラグとした場合の接続先であるレセプタクルへのロック機構254が設けられていることもあり、コネクタ250をレセプタクルに接続後、そのロック機構254を矢印の方向に回転させて脱落を防止している。かかるロック機構254も固定部に対して所定の回転範囲(変化範囲)を有する可変部として扱うことができる。
FIG. 4 is an explanatory view illustrating a three-
固定部に対する可変部の他の例としては、コネクタ(固定部)の他のラッチ機構(可変部)やスライドバー(可変部)、コネクタ(固定部)の蓋(可変部)の有無、その蓋の紛失防止用チェーン等の拘束部材(可変部)、電子機器(固定部)におけるボリューム、スイッチ、レセプタクルのロック機構(可変部)等、様々な認識対象物112を想定することができる。 Other examples of the variable portion with respect to the fixed portion include other latch mechanisms (variable portions) and slide bars (variable portions) of the connector (fixed portion), the presence / absence of a lid (variable portion) of the connector (fixed portion), and the lid. Various recognition objects 112 such as a restraining member (variable portion) such as a loss prevention chain, a volume in an electronic device (fixed portion), a switch, and a receptacle locking mechanism (variable portion) can be assumed.
データバッファ212は、SRAM、DRAM等で構成され、3次元形状測定装置110から受信した認識対象情報を一時的に保持する。
The
中央制御部214は、中央処理装置(CPU)や信号処理装置(DSP:Digital Signal Processor)、プログラム等が格納されたROMやメモリ、ワークエリアとしてのRAM等を含む半導体集積回路により、形状認識装置120全体を管理および制御する。また、本実施形態において、中央制御部214は、認識対象情報取得部230と、端部切出部232と、認識対象物特定部234としても機能する。
The
認識対象情報取得部230は、3次元形状測定装置110から任意の認識対象物112の3次元形状を示す認識対象情報を取得し、データバッファ212に保持させる。
The recognition target information acquisition unit 230 acquires recognition target information indicating the three-dimensional shape of an arbitrary
端部切出部232は、認識対象物112の可変部の候補となる部位が延長されている場合に、可変部の候補となる部位の固定部側端部の部位(ラベル)を可変部として切り出す。ここで、ラベルは、連続かつスムーズに繋がる曲面を示す。本来、一連のラベルを特定した場合、そのラベル全てを可変部とすべきところ、ここでは、端部切出部232が、敢えて、その一連のラベルを分割し、固定部側端部の部位を示すラベルのみを可変部としている。
When the part which becomes the candidate for the variable part of the
図5は、端部切出部232の動作を説明するための説明図である。ここでも、固定部としてコネクタ250を、可変部としてケーブル252を例に挙げている。ケーブル252の終端にはコネクタ250が接続されており、ケーブル252同士の重なりや潜り込みが少ない場合、図5(a)のように、一連のケーブル252としてみなされる部位(ラベル)が長く判断されることがある。しかし、ケーブル252のラベルが大きいと、可変部としての変化範囲も大きくなり計算が膨大となる。そこで、本実施形態では、認識対象物112と、図5(b)に示す、固定部と可変部とを一体形成した3次元モデル122とパターンマッチングを実行するために、端部切出部232は、必要な可変部の部位、ここでは、図5(c)のように、ケーブル252のコネクタ250(固定部)側端部の部位のみを切り出し、他を排除する。
FIG. 5 is an explanatory diagram for explaining the operation of the
こうすることで、変化範囲の大きいケーブルのラベルを、パターンマッチングの前段で候補から除外できる。また、3次元モデル122としても同等の大きさの可変部252を準備することで、パターンマッチングをより的確に行うことが可能となる。かかる構成により、計算処理の高速化やロバスト化を図ることができる。
By doing this, it is possible to exclude the label of the cable having a large change range from the candidates before the pattern matching. In addition, by preparing the
可変部の候補となる部位を切り出す一例として、端部切出部232は、可変部の延長方向に垂直な断面の任意の2つの点間の直線距離の最大値に基づいて決定される円によって2つに分断される部位(3つに分断されない部位)を端部とみなして切り出す。
As an example of cutting out a candidate portion for the variable portion, the
図6は、端部切出部232の具体的な切り出し動作の一例を説明するための説明図である。端部切出部232は、まず、図6(a)に示す切出位置を決定するための指標となる円256を設定する。かかる円256の半径は、可変部の延長方向に垂直な断面の任意の2つの点間の直線距離の最大値以上とする。ここで、可変部の延長方向に垂直な断面は、例えば、可変部が円柱形状で示される場合、その延長方向に垂直な断面(円)であり、任意の2つの点間の直線距離の最大値は、可変部が円柱形状で示される場合、その面(円)の直径となる。即ち、端部切出部232は、半径が、可変部の短手方向の幅以上となる円256を設定している。
FIG. 6 is an explanatory diagram for explaining an example of a specific cutout operation of the
そして、端部切出部232は、図6(a)のように、可変部としてのケーブル252を示すラベルの任意の点258を中心として円256を形成する。図6(a)の例では、円256によってケーブル252のラベルが(1)、(2)、(3)の3つに分断される。端部切出部232は、このようにケーブル252のラベルを3つに分断する円256の中心の点258をケーブルの端部とは判定しない。
Then, as shown in FIG. 6A, the
端部切出部232は、任意の点258をシフトして、例えば、図6(b)に示す円256を形成する。図6(b)の例では、円256によってケーブル252のラベルが(1)、(2)の2つにしか分断されない。端部切出部232は、このようにケーブル252のラベルが3つに分断されない円256の中心の点258をケーブルの端部と判定する。ここでは、説明の便宜上、ケーブル252のあらゆる点258で端部であるか否か判定しているように記載したが、実際は、計算負荷軽減のため、固定部であるコネクタ250に近い部位から円256を順次形成し、分断される領域が2つから3つに変化した位置に基づいて切り出し範囲を決定している。しかし、端部の切り出し方法は、かかる場合に限られず、様々な既存の方法を採用することができる。
The
認識対象物特定部234は、認識対象情報と3次元モデル情報とに基づき、認識対象物112と、可変部の内部自由度を変化させた3次元モデル122とをパターンマッチングして認識対象物112の位置および姿勢を特定する。
Based on the recognition target information and the three-dimensional model information, the recognition
ここで、認識対象物特定部234は、認識対象物112と3次元モデル122とのパターンマッチング(軸特定)において、いずれか一方を基準とし、他方の位置や姿勢を変更することとなるが、いずれを基準とするかは限定されない。本実施形態では、3次元モデル122の方が認識対象物112より情報量が多いので、計算負荷を軽減すべく、3次元モデル122を基準として認識対象物112の位置や姿勢を変更することとする。
Here, the recognition
尚、かかる軸特定には、ICP(Iterative Closest Points)やPCA(Principal Component Analysis)等、様々な手法を用いることができるが、ここでは、その一例としてICPを用いる。ICPは、6自由度ある3次元モデル122の位置や姿勢を、認識対象物112と3次元モデル122とを特定するためのそれぞれの対応点間の距離の合計(ノルム)が閾値以下になるまで共役勾配法等を利用して反復的に更新する手法である。PCAは、入力されたデータが空間内においてどのように長手軸を持つかを調べる手法(主軸成分解析)である。
For such axis identification, various methods such as ICP (Iterative Closest Points) and PCA (Principal Component Analysis) can be used. Here, ICP is used as an example. The ICP determines the position and orientation of the three-
ICPは、例えば、PCA等と異なり、認識対象物112と3次元モデル122との点群同士のマッチングを目的としているので、認識対象物112が重なること等による認識対象物112の部分的な欠落に強いため、ロバスト性に優れ、比較的高精度に認識対象物112の位置や姿勢を特定することが可能となる。
ICP, for example, is different from PCA and the like, and aims at matching points between the
また、上述したように、認識対象物特定部234は、認識対象物112の可変部の内部自由度を、想定される変化範囲内で変化させつつ3次元モデル122とのパターンマッチングを遂行する。かかる内部自由度は、図4を用いて説明したように、折り曲げや可変部のみの回転等を含む。さらにケーブル等可変部の剛性モデルを加味することも可能である。このような可変部の変化範囲は、変化パラメータとして3次元モデル122と共にモデル保持部210に保持される。認識対象物特定部234は、3次元モデル122の後述する3次元点群データの各対応点の位置を変化させることで変化パラメータを収束させている。
Further, as described above, the recognition
このように、3次元モデル122の可変部の内部自由度を、変化範囲内で変化させつつ認識対象物112とのパターンマッチングを行うことにより、可変部の変化も加味することができるので、一致度を格段に高めることができる。また、規則性を有する等、変化範囲を限定できる部位のみを可変部として用いることで、計算負荷の増大を抑制することができ、適切な計算負荷の下、認識対象物112の的確な位置および姿勢を特定することが可能となる。
In this way, by performing pattern matching with the
また、このようなマッチングによって得られたケーブル252等の折り曲げ角度は、ケーブル252等の延長方向の推定にも利用することが可能である。例えば、可変部の3次元モデル122としてフレキシブルな弾性管(例えばゴムホース)を登録しておき、さらに、そのモデルの節点と、その節点での接線の角度等をパラメータとして設定しておく。そうすると、その角度を調整することで3次元モデル122の折り曲げ度合いを変化させることができるので、弾性管の大まかな方向のみならず、要所での角度もマッチングさせて、弾性管のうねり姿勢等の認識も可能となる。
The bending angle of the
また、認識対象物特定部234は、認識対象物112が長手軸を有する場合、まず、その長手軸を特定し、その長手軸に沿って対称的(互いに逆向き)に配置した2つの姿勢候補を生成し、その2つの候補姿勢のいずれに関しても3次元モデル122とのパターンマッチングを行って、認識対象物112の位置や姿勢を特定するとしてもよい。
In addition, when the
図2を用いて説明したように、長手軸を有する、コネクタや、コネクタとケーブルが一体形成された認識対象物112は、パターンマッチングにおいて2つ以上の極値を有する場合が多い。この場合に、認識対象物112と3次元モデル122との長手軸が合っていると、それが誤った姿勢であってもパターンマッチングの一致度が高くなる。
As described with reference to FIG. 2, the
そこで、認識対象物特定部234は、パターンマッチングを2段階に分け、1段階目において、認識対象物112と3次元モデル122とのパターンマッチングの結果が収束し得る軸のみを特定し、特定した軸を基準とした2つの姿勢候補を生成し、2段階目において、その姿勢候補を用いてパターンマッチングを厳密に行う。具体的に、認識対象物特定部234は、認識対象物112を0°からZ軸を中心に時計回りに回転し、その一致度が1つ目の極値(90°)になる前の所定の閾値に達した時点で、一旦パターンマッチングを停止する。そして、認識対象物特定部234は、停止したときの認識対象物112を2段階目の姿勢候補とすると共に、さらに180°回転した認識対象物112も姿勢候補とする。続いて、認識対象物112の2つの姿勢候補に基づいて、厳密なパターンマッチングを並行して行う。
Therefore, the recognition
このような2つの姿勢候補は、図2の例では、それぞれ90°と270°において極値を示すが、そのうち一致度が高い270°の姿勢が認識対象物112の真の姿勢であると判断される。ここでは、1つの長手軸に対して2つの姿勢候補があるので、そのいずれもパターンマッチングを行うことで、誤った姿勢にのみパターンマッチングが収束するのを回避している。
In the example of FIG. 2, such two posture candidates show extreme values at 90 ° and 270 °, respectively, and the posture of 270 ° having a high degree of coincidence is determined to be the true posture of the
また、その2つの姿勢の関係、例えば、軸に沿って対称的(互いに逆向き)な関係にあることは把握されているので、軸の特定に関しては、いずれか一方の姿勢の軸を用いればよく、そのときに厳密なパターンマッチングを要さない。即ち、1段階目では、厳密なパターンマッチングと比較して緩い閾値で一方のみの軸を抽出すればよいこととなる。 Moreover, since it is grasped that the relationship between the two postures, for example, a symmetric (reverse direction to each other) relationship along the axis, with respect to specifying the axis, if one of the posture axes is used, Often, strict pattern matching is not required at that time. That is, at the first stage, only one of the axes needs to be extracted with a gentler threshold than that of strict pattern matching.
ここでは、少なくとも一方の姿勢候補に関して、最適な収束点(極値)が導出されるので、他方の収束点を導出するまでもなく、パターンマッチングが完了する。したがって、認識対象物112の位置と姿勢とが的確に導出される。また、軸を抽出するまでのパターンマッチングを2つの極値それぞれについて実行せず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。
Here, since the optimum convergence point (extreme value) is derived for at least one posture candidate, the pattern matching is completed without deriving the other convergence point. Therefore, the position and orientation of the
さらに、認識対象物特定部234は、認識対象物112における3次元モデル122の固定部にのみマッチングする部位を特定し、その特定した部位の位置および姿勢を用いて、認識対象物112と可変部の内部自由度を変化させた3次元モデル122とを厳密にパターンマッチングして認識対象物112の位置および姿勢を特定するとしてもよい。
Furthermore, the recognition target
例えば、可変部としてのケーブル252があまりにもフレキシブルな場合、上述したコネクタ250とケーブル252とを一体形成した3次元モデル122のパターンマッチングのみでは、収束点を得ることが難しい場合がある。その場合、固定部であるコネクタ250のみの3次元モデルを独立して用い、コネクタ250のみのパターンマッチングを遂行して、コネクタ250の例えば長手軸のみを推定し、その長手軸に沿った姿勢を開始姿勢としてコネクタ250とケーブル252とを一体形成した3次元モデル122とのパターンマッチングを行うことで、認識対象物112の位置および姿勢を特定する。
For example, when the
ここでは、形状が歪みにくい固定部のパターンマッチングを事前に行うことで、コネクタ250とケーブル252とを一体形成した3次元モデル122の大凡の姿勢を推定することができ、可変部の変化範囲を限定することが可能となるので、処理負荷を軽減すると共に、認識対象物112の位置および姿勢を迅速に特定することが可能となる。
Here, it is possible to estimate the general posture of the three-
以上、説明した形状認識装置120では、固定部単体では対称性によってその姿勢を特定できない場合であっても、固定部における可変部との接続位置や可変部の形状を、固定部を特徴付ける要素として用いているので、認識対象物112の位置や姿勢を高精度で特定することが可能となる。さらに、固定部に可変部を加えた3次元モデル122と、それに相当する認識対象物112とをパターンマッチングするのみならず、フレキシブルな可変部を既知の変化範囲で変化させることで、位置および姿勢をより高精度に特定することが可能となる。
As described above, in the
さらに、本実施形態では、パターンマッチング手法として、ICPを用いているので、様々な形状を有する認識対象物112に対しても位置や姿勢を特定できる。ICPでは、認識対象物112の一部が隠されていた場合においてもロバスト性が高いので有効な結果を得ることが可能となる。したがって、可変部としてのケーブルの一部を他の物体が覆ったとしても、ケーブルの進行方向を把握でき、ケーブルがとぐろ状に重なっていたとしても各ケーブルの先を推定することができる。
Furthermore, in this embodiment, since ICP is used as the pattern matching method, the position and orientation can be specified for the
また、コンピュータによって形状認識装置120として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
In addition, a program that functions as the
(形状認識方法)
また、形状認識装置120を用いた形状認識方法も提供される。以下、このような形状認識方法を詳細に説明する。図7は、形状認識方法の処理の流れを示したフローチャートである。特に、図7(a)は形状認識方法の全体的な処理の流れを、図7(b)はICPに関するサブルーチンを示している。ここで、モデル保持部210は3次元モデル情報を予め保持している。
(Shape recognition method)
A shape recognition method using the
本実施形態における固定部と可変部とを一体形成した3次元モデル122を用いたパターンマッチングは、固定部が対称性を有し、その方向を一義的に求めることができない場合や、固定部に接続されている可変部がフレキシブルに変化し、そのフレキシブルな変化部をピッキングしたい場合等に用いると効果的である。これに対して、固定部の形状が特徴的であり、可変部を特定する必要がない場合、固定部のみによる3次元モデル122によってパターンマッチングを実行することもできる。
In the pattern matching using the three-
認識対象情報取得部230は、3次元形状測定装置110から、任意の認識対象物112の3次元形状を示す認識対象情報を取得する(S300)。そして、端部切出部232は、認識対象物112の可変部のラベルの大きさが所定の閾値より大きいか否か、即ち、可変部の候補となる部位が延長されているか否かを判定し(S302)、可変部のラベルの大きさが所定の閾値より大きい場合(S302におけるYES)、可変部の候補となる部位の固定部側端部の部位(ラベル)を切り出す(S304)。このとき、可変部のラベルの大きさが所定の閾値以下であれば(S302におけるNO)、そのまま認識対象物112の特定ステップS306に移行する。
The recognition target information acquisition unit 230 acquires recognition target information indicating the three-dimensional shape of an arbitrary
認識対象物特定部234は、認識対象情報と3次元モデル情報とに基づいて、ICPによるパターンマッチングを行う(S306)。
The recognition
図7(b)を用いて認識対象物特定部234によるICPの処理の流れを簡単に説明する。3次元形状測定装置110から取得された認識対象情報には、認識対象物112の測定面における配列された複数の検出点に関する3次元座標(3次元点群データ)が示されている。3次元点群データの点の数は、認識対象物112の大きさと、パターンマッチングの要求精度に応じて決定される。ICPエンジンは、ICPの繰り返し処理を行う前に、このような認識対象情報中の3次元点群データに対し、床や支柱、コンテナ等の明らかな背景計測点があれば、それを除外する(S350)。
The flow of ICP processing by the recognition
ICPエンジンは、初期姿勢を用意し、それに回転や並行移動変換などの姿勢変更処理を施す(S352)。姿勢変更処理は認識対象物112に対して施すことも可能であるし、3次元モデル122側に対して施すことも可能である。例えば、点数の少ないほうを動かして、計算処理を少なくしてもよい。続いて、姿勢変更処理後の認識対象物112と3次元モデル122との間でそれぞれ対応する点を求め(S354:ペアリング)、対応点間の距離合計(ノルム)を計算する(S356)。このノルムが小さいほうが形状の一致度合いが高いといえる。一致度合いが高かった姿勢を取り出し(S358)、一致度が閾値以下(ノルムが閾値以上)の間(S360におけるNO)、それを初期姿勢に置き換えて、上記処理を繰り返す。このように、一致度が閾値を超える(ノルムが閾値以下になる)まで(S360におけるYES)共役勾配法等を利用して反復的に更新し、パターンマッチングを遂行する。
The ICP engine prepares an initial posture and performs posture change processing such as rotation and parallel movement conversion on the initial posture (S352). The posture changing process can be performed on the
ノルムの取り方(メトリック)としては、例えば、L1ノルムやL2ノルム等があり、用途に応じて適した取り方を採用する。また、このとき、3次元モデル122の可変部に相当する変化パラメータを予め定められた変化範囲内で変化させつつ対応点間の距離を導出する。これは、ICPでの収束パラメータの次元を増やしたことに相当する。このように、3次元モデル122の可変部の内部自由度を変化させつつ認識対象物112とのパターンマッチングを行うことにより、可変部の変化も加味することができるので、一致度を格段に高めることができる。また、規則性を有する等、変化範囲を限定できる部位のみを可変部として用いることで、計算負荷の増大を抑制することができ、適切な計算負荷の下、認識対象物112の的確な位置および姿勢を特定することが可能となる。
For example, there are L1 norm and L2 norm as the norm taking method (metric), and the taking method suitable for the application is adopted. At this time, the distance between the corresponding points is derived while changing the change parameter corresponding to the variable part of the three-
こうして導出された位置および姿勢は、最終的に、形状認識装置120の座標系からロボット140の座標系に変換される。
The position and orientation thus derived are finally converted from the coordinate system of the
このような形状認識方法においても、固定部単体では対称性によって、長手軸に対して順方向か逆方向かを特定できない場合であっても、固定部における可変部との接続位置や可変部の形状を、固定部を特徴付ける要素として用いているので、認識対象物112の位置や姿勢を高精度で特定することが可能となる。さらに、固定部に可変部を加えた3次元モデル122と、それに相当する認識対象物112とをパターンマッチングするのみならず、フレキシブルな可変部を既知の変化範囲で変化させることで、位置および姿勢をより高精度に特定することが可能となる。
Even in such a shape recognition method, even if it is not possible to specify the forward direction or the reverse direction with respect to the longitudinal axis due to symmetry of the fixed unit alone, the connection position of the fixed unit with the variable unit and the variable unit Since the shape is used as an element that characterizes the fixed portion, the position and orientation of the
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.
なお、本明細書の形状認識方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。 Note that each step in the shape recognition method of the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or by a subroutine.
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに利用することができる。 The present invention can be used for a shape recognition device, a shape recognition method, and a program for recognizing the position and posture of an arbitrary recognition target.
100 …ピッキングシステム
112 …認識対象物
120 …形状認識装置
122 …3次元モデル
210 …モデル保持部
230 …認識対象情報取得部
232 …端部切出部
234 …認識対象物特定部
250 …コネクタ
252 …ケーブル
DESCRIPTION OF SYMBOLS 100 ... Picking
Claims (6)
認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記3次元モデル情報とに基づき、前記長手軸に対して対称な2つの候補姿勢をつくり、前記認識対象物と、前記可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。 A model holding unit for holding three-dimensional model information indicating a three-dimensional model having a longitudinal axis, including a fixed part and a variable part having an internal degree of freedom;
A recognition target information acquisition unit for acquiring recognition target information indicating a three-dimensional shape of the recognition target;
Based on the recognition target information and the three-dimensional model information, two candidate postures that are symmetric with respect to the longitudinal axis are created, and the recognition target and a three-dimensional model in which the internal degrees of freedom of the variable part are changed, A recognition target specifying unit that specifies the position and orientation of the recognition target by pattern matching,
A shape recognition device comprising:
認識対象物の3次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記3次元モデル情報とに基づき、前記長手軸に対して対称な2つの候補姿勢をつくり、前記認識対象物と、前記可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。 3D model information indicating a 3D model having a longitudinal axis including a fixed part and a variable part having an internal degree of freedom is held in advance,
Obtaining recognition object information indicating the three-dimensional shape of the recognition object;
Based on the recognition target information and the three-dimensional model information, two candidate postures that are symmetric with respect to the longitudinal axis are created, and the recognition target and a three-dimensional model in which the internal degrees of freedom of the variable part are changed, A pattern recognition method is used to specify the position and orientation of the recognition object.
認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、固定部と内部自由度を有する可変部とを含むみ長手軸を有する3次元モデルを示す3次元モデル情報とに基づき、前記長手軸に対して対称な2つの候補姿勢をつくり、前記認識対象物と、前記可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。 Computer
A recognition target information acquisition unit for acquiring recognition target information indicating a three-dimensional shape of the recognition target;
Based on the recognition target information, and a three-dimensional model information indicating a three-dimensional model having a longitudinal axis including a fixed portion and a variable portion having an internal degree of freedom, two candidate postures symmetric with respect to the longitudinal axis are obtained. A recognition target specifying unit that pattern-matches the recognition target and a three-dimensional model in which the internal degree of freedom of the variable unit is changed, and specifies the position and orientation of the recognition target;
Program to make it function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011024353A JP5716434B2 (en) | 2011-02-07 | 2011-02-07 | Shape recognition device, shape recognition method, and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011024353A JP5716434B2 (en) | 2011-02-07 | 2011-02-07 | Shape recognition device, shape recognition method, and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012163451A true JP2012163451A (en) | 2012-08-30 |
JP5716434B2 JP5716434B2 (en) | 2015-05-13 |
Family
ID=46842975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011024353A Active JP5716434B2 (en) | 2011-02-07 | 2011-02-07 | Shape recognition device, shape recognition method, and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5716434B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017044657A (en) * | 2015-08-28 | 2017-03-02 | 住重試験検査株式会社 | Method and system for inspecting inside of container |
EP3120108A4 (en) * | 2014-03-20 | 2017-11-01 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01283677A (en) * | 1988-05-11 | 1989-11-15 | Fujitsu Ltd | Visual recognizing device |
JPH09141594A (en) * | 1995-11-17 | 1997-06-03 | Ishikawajima Harima Heavy Ind Co Ltd | Posture detecting method for three-dimensional shapes structure |
JP2002319022A (en) * | 2001-04-23 | 2002-10-31 | Mitsubishi Electric Corp | Image processor |
-
2011
- 2011-02-07 JP JP2011024353A patent/JP5716434B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01283677A (en) * | 1988-05-11 | 1989-11-15 | Fujitsu Ltd | Visual recognizing device |
JPH09141594A (en) * | 1995-11-17 | 1997-06-03 | Ishikawajima Harima Heavy Ind Co Ltd | Posture detecting method for three-dimensional shapes structure |
JP2002319022A (en) * | 2001-04-23 | 2002-10-31 | Mitsubishi Electric Corp | Image processor |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3120108A4 (en) * | 2014-03-20 | 2017-11-01 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
US10456918B2 (en) | 2014-03-20 | 2019-10-29 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
JP2017044657A (en) * | 2015-08-28 | 2017-03-02 | 住重試験検査株式会社 | Method and system for inspecting inside of container |
Also Published As
Publication number | Publication date |
---|---|
JP5716434B2 (en) | 2015-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10496762B2 (en) | Model generating device, position and orientation calculating device, and handling robot device | |
US10933527B2 (en) | Robotic system with enhanced scanning mechanism | |
US10894324B2 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
JP6348097B2 (en) | Work position and orientation calculation device and handling system | |
US9089971B2 (en) | Information processing apparatus, control method thereof and storage medium | |
US9727053B2 (en) | Information processing apparatus, control method for information processing apparatus, and recording medium | |
US20210023718A1 (en) | Three-dimensional data generation device and robot control system | |
US10740649B2 (en) | Object attitude detection device, control device, and robot system | |
WO2013032192A2 (en) | Method for recognizing position of mobile robot by using features of arbitrary shapes on ceiling | |
JP5092711B2 (en) | Object recognition apparatus and robot apparatus | |
JP2009128075A (en) | Object recognition method | |
JP5523378B2 (en) | Method and system for determining the attitude of a probe relative to an object by probing the object with the probe | |
CN111899302A (en) | Point cloud data-based visual detection method, device and system | |
US9317771B2 (en) | Device and method to detect an object and controlling a device to pick up the detected object | |
JP2018136896A (en) | Information processor, system, information processing method, and manufacturing method of article | |
US9292932B2 (en) | Three dimension measurement method, three dimension measurement program and robot device | |
JP5104248B2 (en) | Object recognition apparatus and robot apparatus | |
Wojciechowski et al. | Optical scanner assisted robotic assembly | |
JP5716434B2 (en) | Shape recognition device, shape recognition method, and program thereof | |
US20220152834A1 (en) | Device and method for controlling a robot to pick up an object in various positions | |
CN110926405A (en) | ARV attitude measurement method based on monocular vision vanishing point detection | |
De Gregorio et al. | Robotfusion: Grasping with a robotic manipulator via multi-view reconstruction | |
Bhuyan et al. | Structure‐aware multiple salient region detection and localization for autonomous robotic manipulation | |
JPH10124677A (en) | Method for estimating attitude of object and device therefor | |
CN112818930B (en) | Method for identifying stacking box body and method for determining grabbing pose |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150302 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5716434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |