JP6237122B2 - Robot, image processing method and robot system - Google Patents
Robot, image processing method and robot system Download PDFInfo
- Publication number
- JP6237122B2 JP6237122B2 JP2013225869A JP2013225869A JP6237122B2 JP 6237122 B2 JP6237122 B2 JP 6237122B2 JP 2013225869 A JP2013225869 A JP 2013225869A JP 2013225869 A JP2013225869 A JP 2013225869A JP 6237122 B2 JP6237122 B2 JP 6237122B2
- Authority
- JP
- Japan
- Prior art keywords
- points
- line segment
- central axis
- selection unit
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Description
本発明は、ロボット、画像処理方法及びロボットシステムに関する。 The present invention relates to a robot, an image processing method, and a robot system.
ロボットが行う作業には、乱雑に積まれた対象物を一つ一つ取り出し、他の物体に組み付けを行う動作がある。このような動作には、例えば、ピンピッキングがあり、産業上重要なものと考えられている。対象物を取り出す際、乱雑に積まれた対象物をロボットアームに治具や専用の装置を用いて把持させ、一定の位置や姿勢をとるように整列し直すことがある。しかし、対象物の形状・大きさによって個々に異なる専用の治具や専用の装置を取り付ける必要があるため、経済的、時間的なコストが増大してしまう。 The operation performed by the robot includes an operation of taking out the objects stacked randomly and assembling them on other objects. Such operation includes, for example, pin picking and is considered industrially important. When taking out a target object, the target object piled up randomly may be gripped by a robot arm using a jig or a dedicated device, and rearranged to take a certain position and posture. However, since it is necessary to attach different dedicated jigs and dedicated devices depending on the shape and size of the object, cost and cost increase.
そこで、プロジェクターやレーザー光発生器等の光源を用いて対象物に光線を照射し、対象物からの反射光を処理することで対象物の３次元情報を取得し、取得した３次元情報に基づいて対象物の位置や姿勢を求めることが試みられてきた。３次元情報は、例えば、対象物が含まれる空間内の３次元点群を示す画像データである。位置や姿勢を求める際に、所定の対象物のテンプレートと３次元点群とのマッチングを行うことがある。しかし３次元点群のマッチングは、２次元画像のマッチングと比較して、演算すべき次元数が増加する。つまり、マッチングの対象が２次元から３次元に増加することに応じて、対象物の位置や姿勢を求める際の次元数が３次元から６次元に増加する。同種の計算手法を用いる場合、計算量や計算時間が対象物の次元数に応じて指数関数的に増加する。そのために、３次元点群に対する位置や姿勢の推定に、膨大な計算量や計算時間を要することがある。 Therefore, the object is irradiated with light using a light source such as a projector or a laser light generator, and the reflected light from the object is processed to obtain three-dimensional information of the object. Based on the obtained three-dimensional information Attempts have been made to determine the position and orientation of an object. The three-dimensional information is, for example, image data indicating a three-dimensional point group in a space including the object. When obtaining the position and orientation, matching may be performed between a template of a predetermined object and a three-dimensional point group. However, the matching of the three-dimensional point group increases the number of dimensions to be calculated as compared with the matching of the two-dimensional image. That is, as the number of objects to be matched increases from 2D to 3D, the number of dimensions for obtaining the position and orientation of the object increases from 3D to 6D. When the same kind of calculation method is used, the calculation amount and calculation time increase exponentially according to the number of dimensions of the object. Therefore, enormous calculation amount and calculation time may be required to estimate the position and orientation with respect to the three-dimensional point group.
この問題を解決するため、位置や姿勢の推定において、対象物が有する形状の特徴を用いる方法が提案されている。例えば、特許文献１には、同一形状の部品が乱雑に山積みされた部品群に対してピンピッキングを可能とする位置姿勢認識装置等を備えたピンピッキングシステムについて記載されている。当該ピンピッキングシステムでは、撮像画像における明領域が単独でかつ直線上に延在する直線状明領域を撮像画像から抽出する。ここで、閾値を用いて撮像画像から明領域を抽出し、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する直線状明領域を抽出する。 In order to solve this problem, a method has been proposed in which the feature of the shape of an object is used in estimating the position and orientation. For example, Patent Document 1 describes a pin picking system including a position / orientation recognition device that enables pin picking for a group of parts in which parts having the same shape are randomly stacked. In the pin picking system, a linear bright region in which a bright region in a captured image is independent and extends on a straight line is extracted from the captured image. Here, a bright area is extracted from the captured image using a threshold value, and a linear bright area extending in a straight line without the bright areas intersecting is extracted from each of the extracted bright areas.
しかしながら、工場等の作業現場で用いられる対象物の形状は個々に異なる。例えば、ネジ、ボルト等のように、その表面を占める平面領域が少なく、主に曲面を有する物体が数多く存在する。一方、そのような物体は、プラスチックフィルムからなる袋に詰められて運搬、納入されることがあり、作業空間内において整列されていることは稀である。従って、ロボットに曲面を有する対象物を操作させる際には、その位置と姿勢を個々に特定することが要求される。 However, the shapes of objects used at work sites such as factories are individually different. For example, there are a large number of objects mainly having a curved surface, such as screws, bolts, etc., which occupy a small surface area. On the other hand, such objects are sometimes transported and delivered in bags made of plastic film, and are rarely aligned in the work space. Therefore, when the robot operates an object having a curved surface, it is required to individually specify the position and posture.
そこで、本発明は、上記問題に鑑みてなされたものであり、曲面を有する対象物の位置や姿勢を推定することを可能とするロボット、画像処理方法及びロボットシステムを提供することを課題とする。 Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to provide a robot, an image processing method, and a robot system that can estimate the position and orientation of an object having a curved surface. .
（１）本発明の一態様は、整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部と、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、を備えるロボットである。
この構成によれば、長さが所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物の位置及び姿勢を推定することができる。
(1) According to one aspect of the present invention, a plurality of three-dimensional points included in a three-dimensional point group representing a surface of a subject obtained from a three-dimensional image obtained by imaging one or a plurality of unaligned objects as the subject A set selection unit that selects a set in which a length of a line segment between two points is within a predetermined range from the length of the object among a plurality of sets made up of two arbitrary points selected from the points; and the set An error between a distance from a line segment between two points forming a set selected by the selection unit to a point within the predetermined distance from the line segment and the radius of the object is determined in advance. And a central axis selection unit that selects the line segment within the range as a central axis.
According to this configuration, a point representing an image of an object formed from a point whose radius from the central axis connecting two points whose length is within a predetermined range is within the predetermined range is specified. Therefore, it is possible to estimate the position and orientation of an object having a curved surface or a shape that approximates a cylinder as an object having a curved surface.
（２）本発明の一態様は、上記のロボットであって、前記組を選択する範囲となる注目領域を設定する注目領域設定部を備え、前記組選択部は、前記注目領域設定部が設定した注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択し、前記中心軸選択部は、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、最も小さい前記線分を中心軸として選択する。
この構成によれば、処理対象となる画像の領域が注目領域に限定され、中心軸の選択に要する点が選択した組をなす２点間の線分から予め定めた範囲内に限定される。そのため、対象物の位置及び姿勢を推定するための処理量の増大を抑制することができる。また、誤差が最も小さい中心軸が選択されるため、対応する周囲の点として対象物の形状に最も近似するものが選択される。
(2) One aspect of the present invention is the robot described above, further including an attention area setting unit that sets an attention area that is a range for selecting the set, and the set selection section is set by the attention area setting section A pair in which the length of the line segment between the two points is within a predetermined range from the length of the target object is selected from a plurality of pairs composed of any two points selected from the plurality of points included in the attention area The central axis selection unit is a distance between a line segment between two points forming the set selected by the set selection unit, to a point within a predetermined distance from the line segment among the plurality of points, and The line segment having the smallest error from the radius of the object is selected as the central axis .
According to this configuration, the area of the image to be processed is limited to the attention area, and the point required for selecting the central axis is limited to a predetermined range from the line segment between the two points forming the selected set. Therefore, an increase in the processing amount for estimating the position and orientation of the object can be suppressed. Further, since the central axis with the smallest error is selected, the closest surrounding point is selected as the corresponding surrounding point.
（３）本発明の一態様は、上記のロボットにおいて、前記注目領域設定部は、前記複数の点を網羅する複数の注目領域の候補である候補領域から前記複数の点が分布する領域が最も大きい候補領域を前記注目領域の少なくとも１つとして選択する。
この構成によれば、被写体が表されている領域が最も大きい候補領域を含むように注目領域が選択されるため、処理対象となる対象物を表す画像の欠落を低減し、当該画像を確実に取得することができる。
(3) According to one aspect of the present invention, in the robot described above, the attention area setting unit is most preferably an area in which the plurality of points are distributed from candidate areas that are candidates for a plurality of attention areas covering the plurality of points. A large candidate area is selected as at least one of the attention areas.
According to this configuration, since the region of interest is selected so that the region where the subject is represented includes the largest candidate region, it is possible to reduce missing of the image representing the target object to be processed, and to ensure that the image is displayed. Can be acquired.
（４）本発明の一態様は、上記のロボットにおいて、前記組選択部は、前記注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち２点間の線分から予め定めた距離内に含まれる点の数が、前記対象物がとりうる点の数から予め定めた範囲外となる組を除外する。
この構成によれば、注目領域に含まれる画像のうち、対象物の画像の大きさからかけ離れた画像を除外することで処理効率を向上し、表している対象物の大きさとして妥当な画像を選択することができる。
(4) According to one aspect of the present invention, in the robot described above, the set selection unit is configured based on a line segment between two points among a plurality of sets including any two points selected from a plurality of points included in the attention area. A set in which the number of points included within a predetermined distance is out of a predetermined range from the number of points that can be taken by the object is excluded.
According to this configuration, processing efficiency is improved by excluding an image far from the size of the image of the target object from among the images included in the region of interest, and an image that is appropriate as the size of the target object is represented. You can choose.
（５）本発明の一態様は、上記のロボットにおいて、前記組選択部は、撮像方向に垂直な面と２点間の直線の方向とのなす角が予め定めた角度よりも大きい組を除外する。
撮像方向に垂直な面と２点間の直線の方向とのなす角が大きくなると、当該２点間の直線の周りの画像がその垂直な面に射影される面積が小さくなり、当該画像を表す点に基づく位置及び方向の推定精度が低下する。この構成によれば、かかる画像に対する処理を除外することで処理効率を向上し、より高い推定精度が期待できる画像を選択することができる。
(5) In one aspect of the present invention, in the robot described above, the set selection unit excludes a set in which an angle formed by a plane perpendicular to the imaging direction and the direction of a straight line between two points is larger than a predetermined angle. To do.
When the angle formed by the plane perpendicular to the imaging direction and the direction of the straight line between the two points increases, the area around which the image around the straight line between the two points is projected onto the vertical plane is reduced, representing the image. The accuracy of position and direction estimation based on points is reduced. According to this configuration, it is possible to select an image that can improve the processing efficiency by excluding the processing on the image and can expect higher estimation accuracy.
（６）本発明の一態様は、上記のロボットにおいて、前記中心軸選択部が選択した中心軸の方向と、前記中心軸選択部が選択した中心軸から所定距離内に含まれる点から算出した前記対象物の位置に基づいて動作する。
これにより、推定した対象物の位置や姿勢に応じて動作を制御することができる。
(6) According to one aspect of the present invention, in the robot described above, the calculation is performed based on a direction of the central axis selected by the central axis selection unit and a point included within a predetermined distance from the central axis selected by the central axis selection unit. Operates based on the position of the object.
Thereby, operation | movement can be controlled according to the position and attitude | position of the estimated target object.
（７）本発明の一態様は、画像処理装置における画像処理方法であって、画像処理装置における画像処理方法であって、整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択過程と、前記組選択過程で選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択過程と、を有する画像処理方法である。
この構成によれば、長さが所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物の位置及び姿勢を推定することができる。
(7) One aspect of the present invention is an image processing method in an image processing apparatus, which is an image processing method in an image processing apparatus, in which one or a plurality of objects that are not aligned are captured as a subject. The length of a line segment between two points of a plurality of sets consisting of two arbitrary points selected from a plurality of points included in a three-dimensional point group representing the surface of the subject obtained from a three-dimensional image is the target. From a pair selection process for selecting a pair that falls within a predetermined range from the length of the object, and a line segment between two points that form the pair selected in the pair selection process, a predetermined distance from the line segment among the plurality of points An image processing method comprising: a center axis selection process in which an error between a distance to a point within and a radius of an object selects a line segment within a predetermined range as a center axis.
According to this configuration, a point representing an image of an object formed from a point whose radius from the central axis connecting two points whose length is within a predetermined range is within the predetermined range is specified. Therefore, it is possible to estimate the position and orientation of an object having a curved surface or a shape that approximates a cylinder as an object having a curved surface.
（８）本発明の一態様は、ロボットと、対象物を撮像する撮像装置と、前記撮像装置が撮影した画像に基づいて１個の前記対象物の位置と姿勢を表す空間データを取得する画像処理装置と、前記空間データに基づいて前記ロボットの動作を制御するロボット制御装置とを備えるロボットシステムであって、前記画像処理装置は、整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部と、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、を備えるロボットシステムである。
この構成によれば、長さが所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物の位置及び姿勢を推定することができる。
また、この構成によれば、推定した対象物の位置及び姿勢に応じてロボットの動作を制御することができる。
(8) One embodiment of the present invention is an image in which a robot, an imaging device that captures an object, and spatial data representing the position and orientation of one object are acquired based on an image captured by the imaging device. A robot system comprising a processing device and a robot control device that controls the operation of the robot based on the spatial data , wherein the image processing device uses one or more objects that are not aligned as a subject. The length of a line segment between two points in a plurality of sets consisting of two arbitrary points selected from a plurality of points included in a three-dimensional point group representing the surface of the subject, obtained from a captured three-dimensional image Is selected in advance from the line segment of the plurality of points, from a group selection unit that selects a group that falls within a predetermined range from the length of the object, and a line segment between two points that form the group selected by the group selection unit Up to a point within a set distance The distance, the error of the radius of the object, a robot system comprising a central axis selector, the selecting the line segment is within a predetermined range as a center axis.
According to this configuration, a point representing an image of an object formed from a point whose radius from the central axis connecting two points whose length is within a predetermined range is within the predetermined range is specified. Therefore, it is possible to estimate the position and orientation of an object having a curved surface or a shape that approximates a cylinder as an object having a curved surface.
Further, according to this configuration, it is possible to control the operation of the robot according to the estimated position and posture of the target object.
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、本実施形態に係るロボットシステム１の概略斜視図である。
図１に示すように、ロボットシステム１は、撮像装置１０、制御装置２０及びロボット３０を備える。なお、図１における部品や構造等の縮尺は、図を明瞭なものとするために実際のものとは異なっている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a schematic perspective view of a robot system 1 according to the present embodiment.
As shown in FIG. 1, the robot system 1 includes an imaging device 10, a control device 20, and a robot 30. Note that the scales of the components, structures, and the like in FIG. 1 are different from actual ones for the sake of clarity.
撮像装置１０は、被写体の３次元の形状を撮像し、撮像した３次元の形状を示す画像データを生成する。生成された画像データは、例えば、その３次元の形状を所定の解像度でサンプリングした複数のサンプル点毎の位置情報で形成されるデータである。各サンプル点は、被写体の表面をサンプリングした３次元のユークリッド空間内の直交座標（Ｘ，Ｙ，Ｚ）を示す。つまり、生成された画像データは、複数のサンプル点データを含む点群データである。サンプル点データは、被写体の表面をサンプリングしたサンプル点毎の位置を示すデータである。また、個々のサンプル点データには、その点での明るさを示す輝度値が含まれていてもよい。サンプル点は、２次元の画像データにおける画素に相当し、複数のサンプル点で張られる面で被写体の表面が表される。この画像データが示す画像は点群画像とも呼ばれる。
なお、図１に示す例では、Ｘ方向は左方、Ｙ方向は奥行方向、Ｚ方向は下方である。
The imaging device 10 captures a three-dimensional shape of a subject and generates image data indicating the captured three-dimensional shape. The generated image data is, for example, data formed by position information for each of a plurality of sample points obtained by sampling the three-dimensional shape with a predetermined resolution. Each sample point indicates orthogonal coordinates (X, Y, Z) in a three-dimensional Euclidean space obtained by sampling the surface of the subject. That is, the generated image data is point cloud data including a plurality of sample point data. The sample point data is data indicating the position of each sample point obtained by sampling the surface of the subject. Further, each sample point data may include a luminance value indicating the brightness at that point. The sample point corresponds to a pixel in the two-dimensional image data, and the surface of the subject is represented by a surface stretched by a plurality of sample points. The image indicated by this image data is also called a point cloud image.
In the example shown in FIG. 1, the X direction is leftward, the Y direction is depth, and the Z direction is downward.
撮像装置１０は、例えば、形状検査用３次元センサーである。撮像装置１０は、被写体として、例えば、ロボット３０による操作対象となる物体（以下、対象物という）Ｗｋが積み重ねられた領域を光学的に観察できる位置に設置されている。対象物Ｗｋは、後述するように、その表面に曲面を有するほぼ円筒状の形状を有する物体である。作業机Ｔｂの表面は、水平面に対して平行であり１個又は複数個の対象物Ｗｋが乱雑に積み重ねられている。
撮像装置１０は、その光学軸が、例えば、水平面に対して垂直（下方）に向くように設置されている。撮像装置１０は、少なくとも１つの対象物を含む撮像領域Ｉｒに含まれる１フレームの３次元の画像を撮像する。撮像領域Ｉｒは、撮像装置１０がその領域内に置かれた被写体の画像を撮像することができる予め定めた大きさを有する３次元の領域である。
撮像装置１０は、撮像により得られた撮像画像（以下、カメラ画像ともいう）を示す画像データを制御装置２０に出力する。
The imaging device 10 is, for example, a three-dimensional sensor for shape inspection. The imaging device 10 is installed as a subject at a position where, for example, a region where objects (hereinafter, referred to as objects) Wk to be operated by the robot 30 are stacked can be optically observed. As will be described later, the object Wk is an object having a substantially cylindrical shape having a curved surface. The surface of the work desk Tb is parallel to the horizontal plane, and one or a plurality of objects Wk are randomly stacked.
The imaging device 10 is installed such that its optical axis is perpendicular (downward) to the horizontal plane, for example. The imaging device 10 captures one frame of a three-dimensional image included in the imaging region Ir including at least one object. The imaging region Ir is a three-dimensional region having a predetermined size in which the imaging device 10 can capture an image of a subject placed in the region.
The imaging device 10 outputs image data indicating a captured image (hereinafter also referred to as a camera image) obtained by imaging to the control device 20.
制御装置２０は、撮像装置１０から入力された画像データに基づいてロボット３０の動作を制御する。制御装置２０は、画像処理装置２１とロボット制御装置２２とを含んで構成される。 The control device 20 controls the operation of the robot 30 based on the image data input from the imaging device 10. The control device 20 includes an image processing device 21 and a robot control device 22.
画像処理装置２１は、撮像装置１０から入力された画像データから対象物の位置及び配置されている方向（姿勢）を検出する。以下の説明では、位置、方向、又は位置ならびに方向を空間状態と総称することがある。画像処理装置２１は、検出した空間状態を示す空間データを生成し、生成した空間データをロボット制御装置２２に出力する。画像処理装置２１の構成については、後述する。 The image processing device 21 detects the position and orientation (posture) of the target object from the image data input from the imaging device 10. In the following description, the position, direction, or position and direction may be collectively referred to as a spatial state. The image processing device 21 generates spatial data indicating the detected spatial state, and outputs the generated spatial data to the robot control device 22. The configuration of the image processing device 21 will be described later.
ロボット制御装置２２は、画像処理装置２１から入力された空間データが示す対象物の位置、方向、又は位置ならびに方向に基づいてロボット３０の動作を制御する。ロボット制御装置２２は、例えば、ロボット３０の把持部３０ｄ（後述）を作業開始位置に移動させ、把持部３０ｄが備える２つの先端部が互いに向かい合う方向を作業開始方向に回転させる。作業開始位置は、例えば、その空間データが示す位置から予め定めた間隔だけ離れた位置である。作業開始方向は、例えば、その空間データが示す方向と同一の方向である。他方、ロボット制御装置２２は、ロボット３０から入力された各関節の角度に基づいて把持部３０ｄの位置と方向を算出する。ロボット制御装置２２は、例えば、ビジュアルサーボを用いて、算出した位置と目標位置との間の距離、及び算出した方向と目標方向との差分が、それぞれ時間経過に伴って減少するようにロボット３０の各構成の動作を制御する。作業開始前においては、目標位置、目標方向として、予め定めた作業開始位置、作業開始方向がそれぞれ用いられる。作業中においては、目標位置、目標方向として、例えば、空間データが示す位置、方向がそれぞれ用いられる。 The robot control device 22 controls the operation of the robot 30 based on the position, direction, or position and direction of the object indicated by the spatial data input from the image processing device 21. For example, the robot control device 22 moves a grip 30d (described later) of the robot 30 to a work start position, and rotates the direction in which two tip portions of the grip 30d face each other in the work start direction. The work start position is, for example, a position away from the position indicated by the spatial data by a predetermined interval. The work start direction is, for example, the same direction as the direction indicated by the spatial data. On the other hand, the robot control device 22 calculates the position and direction of the grip portion 30 d based on the angles of the joints input from the robot 30. The robot controller 22 uses, for example, a visual servo so that the distance between the calculated position and the target position and the difference between the calculated direction and the target direction decrease with time. Control the operation of each component. Prior to the start of work, a predetermined work start position and work start direction are used as the target position and target direction, respectively. During work, for example, the position and direction indicated by the spatial data are used as the target position and target direction, respectively.
また、ロボット制御装置２２は、ロボット３０から負荷情報が入力され、負荷情報が示す力をさらに用いて２つの先端部の位置及び方向を制御する。負荷情報は、先端部で検知された力を示す情報である。例えば、２個の先端部が互いに離間しているとき、ロボット制御装置２２は、２個の先端部間の距離を互いに狭めて対象物を把持する。ロボット制御装置２２は、先端部で検知された力が予め定めた目標値となるように対象物を挟む力を制御する。対象物が把持されているとき、ロボット制御装置２２は、対象物を挟む力を解除し、２個の先端部間の距離を互いに広げるように制御することで対象物を解放することができる。 Further, the robot control device 22 receives load information from the robot 30 and controls the positions and directions of the two tip portions by further using the force indicated by the load information. The load information is information indicating the force detected at the tip. For example, when the two tip portions are separated from each other, the robot control device 22 grips the object by reducing the distance between the two tip portions. The robot control device 22 controls the force to pinch the object so that the force detected at the tip portion becomes a predetermined target value. When the object is being gripped, the robot control device 22 can release the object by releasing the force sandwiching the object and controlling the distance between the two tip portions to be increased.
ロボット３０は、例えば、６軸の垂直多関節ロボットであり、支持台３０ａ、アーム部３０ｂ、ハンド部３０ｃ及び把持部３０ｄを含んで構成される。ロボット３０は、支持台３０ａとアーム部３０ｂとハンド部３０ｃとの連係した動作によって６軸の自由度を有し、把持部３０ｄが把持する部品の位置および姿勢を自在に変更することができる。また、ロボット３０は、ロボット制御装置２２が行う制御によって、アーム部３０ｂとハンド部３０ｃと把持部３０ｄとのうちいずれか一つまたはそれらの組み合わせを動作させる。把持部３０ｄは、２個の先端部を備え、２個の先端部は各々の長手方向が互いに向かい合うように配置される。
ロボット３０の自由度は６軸に限られず、７軸であってもよい。また、支持台３０ａは、壁や天井等、床面に対して固定された場所に設置されてもよい。
The robot 30 is, for example, a six-axis vertical articulated robot, and includes a support base 30a, an arm part 30b, a hand part 30c, and a grip part 30d. The robot 30 has six degrees of freedom by the coordinated operation of the support base 30a, the arm part 30b, and the hand part 30c, and can freely change the position and posture of the parts gripped by the gripping part 30d. Further, the robot 30 operates any one of the arm unit 30b, the hand unit 30c, and the gripping unit 30d, or a combination thereof under the control performed by the robot control device 22. The grip portion 30d includes two tip portions, and the two tip portions are arranged so that their longitudinal directions face each other.
The degree of freedom of the robot 30 is not limited to six axes, and may be seven axes. Further, the support base 30a may be installed at a place fixed to the floor surface, such as a wall or a ceiling.
ロボット３０は、把持部３０ｄに加わる力とモーメントを、予め定めた時間間隔（例えば、１ｍｓ）で検出する力センサー（図示せず）を備え、検出した力及びモーメントを示す負荷情報をロボット制御装置２２に出力する。ロボット３０は、エンコーダー（図示せず）を備える。エンコーダーは、ロボット３０の各関節の角度を検出し、検出した各関節の角度をロボット制御装置２２に出力する。 The robot 30 includes a force sensor (not shown) that detects a force and a moment applied to the grip portion 30d at a predetermined time interval (for example, 1 ms), and load information indicating the detected force and moment is transmitted to the robot controller. 22 to output. The robot 30 includes an encoder (not shown). The encoder detects the angle of each joint of the robot 30 and outputs the detected angle of each joint to the robot controller 22.
次に、本実施形態に係る画像処理装置２１の構成について説明する。
図２は、本実施形態に係るロボットシステム１の構成を示す概略ブロック図である。
画像処理装置２１は、画像データ取得部２１１、注目領域設定部２１２、点対選択部（組選択部）２１３、中心軸推定部２１６、中心軸選択部２１７、空間データ生成部２１８及び空間データ出力部２１９を含んで構成される。
Next, the configuration of the image processing apparatus 21 according to the present embodiment will be described.
FIG. 2 is a schematic block diagram showing the configuration of the robot system 1 according to this embodiment.
The image processing device 21 includes an image data acquisition unit 211, a region of interest setting unit 212, a point pair selection unit (set selection unit) 213, a central axis estimation unit 216, a central axis selection unit 217, a spatial data generation unit 218, and spatial data output. A portion 219 is included.
画像データ取得部２１１には、撮像装置１０から画像データが入力され、入力された画像データを注目領域設定部２１２に出力する。画像データ取得部２１１は、例えば、データ入力インターフェイスである。 The image data acquisition unit 211 receives image data from the imaging device 10 and outputs the input image data to the attention area setting unit 212. The image data acquisition unit 211 is, for example, a data input interface.
注目領域設定部２１２は、画像データ取得部２１１から画像データが入力される。注目領域設定部２１２は、撮像領域を所定の２次元平面に射影した２次元領域から、予め定めた大きさの２次元の注目領域を設定する。注目領域とは、点対選択部２１３、中心軸推定部２１６、中心軸選択部２１７、空間データ生成部２１８で一度に処理の対象とする領域（３次元）、又はその領域を所定の２次元平面に射影した２次元の領域である。
注目領域設定部２１２は、画像データが示すサンプル点データに基づいて予め定めた大きさの注目領域を予め定めた個数定める。注目領域設定部２１２は、例えば、被写体を表すサンプル点が分布する領域が最も大きい領域を、その注目領域の１つとして定める。これにより、対象物の検知の失敗を回避し、一度に行われる処理の処理量を低減することができる。この設定例については、後述する。また、注目領域設定部２１２は、サンプル点の座標値の重心の高さ方向の座標が最も小さい候補領域を定めてもよい。これにより、把持する際に好都合な撮像装置１０に最も近接した（この配置例では、上方に）所在している対象物の検出が容易になる。
The attention area setting unit 212 receives image data from the image data acquisition unit 211. The attention area setting unit 212 sets a two-dimensional attention area having a predetermined size from a two-dimensional area obtained by projecting the imaging area onto a predetermined two-dimensional plane. The region of interest is a region (three-dimensional) that is processed at a time by the point pair selection unit 213, the central axis estimation unit 216, the central axis selection unit 217, and the spatial data generation unit 218, or a predetermined two-dimensional region. A two-dimensional area projected onto a plane.
The attention area setting section 212 determines a predetermined number of attention areas having a predetermined size based on the sample point data indicated by the image data. The attention area setting unit 212 determines, for example, an area having the largest area in which sample points representing the subject are distributed as one of the attention areas. Thereby, the failure of detection of an object can be avoided and the processing amount of the process performed at once can be reduced. An example of this setting will be described later. The attention area setting unit 212 may determine a candidate area having the smallest coordinate in the height direction of the center of gravity of the coordinate value of the sample point. This facilitates detection of an object located closest to the imaging apparatus 10 that is convenient for gripping (in this arrangement example, upward).
所定の２次元平面とは、例えば、撮像装置１０の撮像方向に垂直な平面、例えば、３次元の撮像領域Ｉｒのうち、撮像装置１０からの奥行（高さ）方向の座標（Ｚ座標）を無視し残された２次元座標で表される領域（ＸＹ平面）の一部である。撮像装置１０の撮像方向は、撮像装置１０の光学軸の方向である。これにより、２次元の注目領域は、その２次元の注目領域と奥行方向の所定の範囲とで特定される３次元の注目領域と対応付けられる。注目領域設定部２１２は、設定した２次元の注目領域のそれぞれに対応する３次元の注目領域と特定し、特定した各注目領域に含まれるサンプル点に係るサンプル点データを点対選択部２１３に出力する。 The predetermined two-dimensional plane is, for example, a plane (Z coordinate) in the depth (height) direction from the imaging device 10 in a plane perpendicular to the imaging direction of the imaging device 10, for example, the three-dimensional imaging region Ir. This is a part of an area (XY plane) represented by two-dimensional coordinates that are ignored and left behind. The imaging direction of the imaging device 10 is the direction of the optical axis of the imaging device 10. Thereby, the two-dimensional attention area is associated with the three-dimensional attention area specified by the two-dimensional attention area and a predetermined range in the depth direction. The attention area setting unit 212 identifies a three-dimensional attention area corresponding to each of the set two-dimensional attention areas, and supplies sample point data related to the sample points included in each identified attention area to the point pair selection section 213. Output.
点対選択部２１３は、注目領域設定部２１２から入力された注目領域毎のサンプル点データが示すサンプル点のうちの２点からなる組（点対、ｐｏｉｎｔ ｐａｉｒ）のうち所定の条件を満足する組を選択する。点対選択部２１３は、第１点対選択部２１４及び第２点対選択部２１５を含んで構成される。
第１点対選択部２１４は、注目領域毎のサンプル点データが示すサンプル点から２点間の距離Ｌが、特性長ｌから予め定めた範囲内、例えば、０．８ｌから１．０ｌまでの間である点対を、Ｎｅ（Ｎｅは、予め定めた個数）個選択する。これにより、対象物の表面上の一点と底面上の一点とからなる点対が抽出され、それ以外の点対が除外される。
Ｎｅは、例えば、対象物がとりうるサンプル点の総数Ｍから選択された任意の２点が、注目領域内に含まれない確率が、予め定めた有意水準ｐ（例えば、０．０５）よりも低くなる点対の数のうちの最小値である。Ｎｅは、式（１）で与えられる。
The point pair selection unit 213 satisfies a predetermined condition among a set (point pair) of two points among sample points indicated by sample point data for each region of interest input from the region of interest setting unit 212. Select a pair. The point pair selection unit 213 includes a first point pair selection unit 214 and a second point pair selection unit 215.
The first point pair selection unit 214 has a distance L between two points from the sample point indicated by the sample point data for each region of interest within a predetermined range from the characteristic length l, for example, from 0.8 l to 1.0 l. Ne (N is a predetermined number) point pairs that are between are selected. Thereby, a point pair consisting of one point on the surface of the object and one point on the bottom surface is extracted, and the other point pairs are excluded.
Ne is, for example, that the probability that any two points selected from the total number M of sample points that the object can take is not included in the region of interest is higher than a predetermined significance level p (for example, 0.05). This is the minimum value of the number of point pairs to be lowered. Ne is given by equation (1).
式（１）において、Ｎは、注目領域内に存在しうるサンプル点の最大数である。つまり、Ｎは、撮像装置１０で取得される画像データに含まれるサンプル点の空間分解能に依存する。このように、Ｎｅを定めておくことで、対象物を確実に検出し、かつ、処理量を低減することができる。
第１点対選択部２１４は、選択した点対のそれぞれを形成する２点間の直線を示す一次関数の定数を算出する。算出した定数は、その直線の傾きとＸ、Ｙ、Ｚ軸の切片を示す。
In Equation (1), N is the maximum number of sample points that can exist in the region of interest. That is, N depends on the spatial resolution of the sample points included in the image data acquired by the imaging device 10. In this way, by setting Ne, it is possible to reliably detect the object and reduce the processing amount.
The first point pair selection unit 214 calculates a constant of a linear function indicating a straight line between two points forming each of the selected point pairs. The calculated constant indicates the slope of the straight line and the intercepts of the X, Y, and Z axes.
第１点対選択部２１４は、算出した定数から導かれるＸ−Ｙ平面に対する傾きθｚが予め定めた傾きの範囲内の点対を選択し、その範囲外の点対を除外する。予め定めた傾きの範囲は、例えば、傾きの閾値θｍａｘよりも小さい傾きである。θｍａｘは、例えば、把持部３０ｄを構成するハンド、ジグ、等の形状や配置のもとで対象物を把持することができる傾きθｚの最大値である。これにより、把持部３０ｄが対象物を把持することができない対象物の画像が処理対象から排除される。また、θｚが大きくなるほど、直線の方向が撮像装置１０の光学軸の方向に近似するため、この直線の周りの曲面を表すサンプル点の数が少なくなる。これは、この曲面をＸ−Ｙ平面に射影したときの面積が小さくなるためである。このような曲面を処理対象から除外されるので、無用な処理を防止することができる。
第１点対選択部２１４は、選択した点対を示す選択点対情報を第２点対選択部２１５に出力する。
The first point pair selection unit 214 selects point pairs whose inclination θz with respect to the XY plane derived from the calculated constant is within a predetermined inclination range, and excludes point pairs outside that range. The predetermined tilt range is, for example, a tilt smaller than the tilt threshold θmax. θmax is, for example, the maximum value of the inclination θz that can grip an object under the shape and arrangement of hands, jigs, and the like that constitute the grip portion 30d. As a result, the image of the object that cannot be grasped by the grasping unit 30d is excluded from the processing object. Further, as θz increases, the direction of the straight line approximates the direction of the optical axis of the imaging apparatus 10, and therefore the number of sample points representing a curved surface around the straight line decreases. This is because the area when the curved surface is projected onto the XY plane is reduced. Since such a curved surface is excluded from the processing target, unnecessary processing can be prevented.
The first point pair selection unit 214 outputs selected point pair information indicating the selected point pair to the second point pair selection unit 215.
第２点対選択部２１５は、注目領域毎のサンプル点データのうち第１点対選択部２１４から入力された選択点対情報が示す点対のそれぞれを形成する２点を結ぶ線分から所定距離内のサンプル点を線分に属する点として抽出し、それ以外のサンプル点を除外する。所定距離ρは、例えば、対象物の半径ｒよりも大きい値であって、隣接する対象物との平均的な距離よりも小さい値、例えば、２ｒである。これにより、１個の対象物の表面を表すサンプル点が確実に取得され、その他の対象物の表面を表すサンプル点を極力除外される。
そして、第２点対選択部２１５は、抽出したサンプル点の数Ｎが、所定の個数の範囲内にある点対を選択し、所定の個数の範囲外の点対を排除する。所定の個数の範囲とは、例えば、式（２）に示す範囲である。
The second point pair selection unit 215 has a predetermined distance from the line segment connecting the two points forming each of the point pairs indicated by the selection point pair information input from the first point pair selection unit 214 in the sample point data for each region of interest. Are extracted as points belonging to the line segment, and other sample points are excluded. The predetermined distance ρ is, for example, a value that is larger than the radius r of the object and is smaller than an average distance between adjacent objects, for example, 2r. Thereby, sample points representing the surface of one object are reliably acquired, and sample points representing the surface of the other object are excluded as much as possible.
Then, the second point pair selection unit 215 selects point pairs in which the number N of extracted sample points is within a predetermined number of ranges, and excludes point pairs outside the predetermined number of ranges. The predetermined number of ranges is, for example, a range shown in Formula (2).
式（２）において、Ｒは、撮像装置１０の信頼性に応じた設定値を示す。Ｒが大きいほど信頼性が高いことを示し、Ｒが小さいほど信頼性が低いことを示す。Ｒは、例えば、０．７から０．９５までの実数である。なお、Ｒの最大値、最小値は、それぞれ１、０である。Ｎｍａｘは、対象物がとりうるサンプル点数の最大値である。対象物の形状が円柱である場合には、中心軸が撮像装置１０の光学軸の方向と垂直であって、対象物の全体が撮像領域Ｉｒに含まれ、かつ撮像装置１０からの距離が最も短くなるように配置されたとき、撮影された画像データを形成するサンプル点数が最大となる。θｍａｘは、上述した傾きの閾値である。これにより、その側面が撮像装置１０に対して十分に露出されている対象物を表すサンプル点を所定距離ρ内に含む線分が選択される。即ち、選択された線分で結ばれる２点からなる点対が選択される。
第２点対選択部２１５は、その点対を形成する２点を結ぶ線分に属するサンプル点を示す第２点対情報を選択した点対毎に中心軸推定部２１６に出力する。
In Expression (2), R represents a set value corresponding to the reliability of the imaging device 10. A larger R indicates higher reliability, and a smaller R indicates lower reliability. R is, for example, a real number from 0.7 to 0.95. The maximum value and the minimum value of R are 1 and 0, respectively. Nmax is the maximum value of the number of sample points that the object can take. When the shape of the object is a cylinder, the center axis is perpendicular to the direction of the optical axis of the imaging device 10, the entire object is included in the imaging region Ir, and the distance from the imaging device 10 is the longest. When arranged so as to be short, the number of sample points for forming photographed image data is maximized. θmax is the above-described inclination threshold value. As a result, a line segment is selected that includes a sample point representing a target object whose side surface is sufficiently exposed to the imaging device 10 within the predetermined distance ρ. That is, a point pair consisting of two points connected by the selected line segment is selected.
The second point pair selection unit 215 outputs second point pair information indicating the sample points belonging to the line segment connecting the two points forming the point pair to the central axis estimation unit 216 for each selected point pair.
中心軸推定部２１６は、第２点対選択部２１５から入力された第２点対情報が示すサンプル点で張られる表面の中心軸の候補（中心軸候補）を点対毎に推定する。中心軸推定部２１６は、中心軸候補を推定する際、例えば、逐次二次計画法（ＳＱＰ：Ｓｅｑｕｅｎｔｉａｌ Ｑｕａｄｒａｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ ｍｅｔｈｏｄ）を用いることができる。中心軸推定部２１６は、推定した中心軸候補の定数からなる中心軸情報を生成し、生成した中心軸情報に係る点対に係る第２点対情報と対応付けて中心軸選択部２１７に出力する。 The center axis estimation unit 216 estimates a center axis candidate (center axis candidate) of the surface stretched by the sample points indicated by the second point pair information input from the second point pair selection unit 215 for each point pair. When estimating the central axis candidate, the central axis estimation unit 216 can use, for example, a sequential quadratic programming method (SQP). The central axis estimation unit 216 generates central axis information composed of the estimated central axis candidate constants, and outputs the central axis information to the central axis selection unit 217 in association with the second point pair information related to the point pair related to the generated central axis information. To do.
中心軸選択部２１７は、中心軸推定部２１６から中心軸情報と第２点対情報が入力される。中心軸選択部２１７は、中心軸候補の定数で示されるＸＹ平面に対する傾きθｚが予め定めた傾きの範囲内の中心軸を選択し、その範囲外の中心軸を除外する。予め定めた傾きの範囲は、例えば、第１点対選択部２１４で点対を選択した傾きの範囲、つまり、傾きの閾値θｍａｘよりも小さい傾きであってもよい。
中心軸選択部２１７は、選択した中心軸のそれぞれについて対応する第２点対情報が示すサンプル点に基づいて、例えば、式（３）を用いて推定誤差ｅｒｒを算出し、算出した推定誤差ｅｒｒが予め定めた誤差よりも小さい中心軸を選択する。選択された中心軸が複数個ある場合には、中心軸選択部２１７は、推定誤差ｅｒｒが最も小さい中心軸を選択する。
The central axis selection unit 217 receives the central axis information and the second point pair information from the central axis estimation unit 216. The center axis selection unit 217 selects a center axis within the range of the tilt θz with respect to the XY plane indicated by the constant of the center axis candidate, and excludes center axes outside the range. The predetermined inclination range may be, for example, an inclination range in which a point pair is selected by the first point pair selection unit 214, that is, an inclination smaller than an inclination threshold θmax.
The central axis selection unit 217 calculates the estimation error err using, for example, Equation (3) based on the sample points indicated by the corresponding second point pair information for each of the selected central axes, and calculates the estimated error err Selects a central axis that is smaller than a predetermined error. When there are a plurality of selected center axes, the center axis selection unit 217 selects the center axis with the smallest estimation error err.
式（３）において、ｎは、中心軸に属するサンプル点、つまり、中心軸から所定距離ρ内に含まれるサンプル点の数を示す。ｉは、各サンプル点を区別するインデックスである。｜…｜は、…の絶対値である。ｄｉは、サンプル点ｉと中心軸との間の距離を示す。即ち、推定誤差ｅｒｒは、各サンプル点における中心軸からの距離ｄｉと半径ｒとの間の誤差における絶対値の平均を示す。
中心軸選択部２１７は、選択した中心軸に係る中心軸情報と中心軸に属するサンプル点を示す推定サンプル点データを対応付けて空間データ生成部２１８に出力する。
In Expression (3), n represents the number of sample points belonging to the central axis, that is, the number of sample points included within a predetermined distance ρ from the central axis. i is an index for distinguishing each sample point. | ... | is the absolute value of ... d i indicates the distance between the sample point i and the central axis. That is, the estimation error err indicates an average of absolute values of errors between the distance d i from the central axis and the radius r at each sample point.
The central axis selection unit 217 associates the central axis information related to the selected central axis with the estimated sample point data indicating the sample points belonging to the central axis, and outputs them to the spatial data generation unit 218.
空間データ生成部２１８は、中心軸選択部２１７から入力された推定サンプル点データに基づいて対象物の位置を算出し、中心軸情報に基づいて対象物の方向（姿勢）を算出する。ここで、空間データ生成部２１８は、中心軸情報が示す中心軸の定数に基づいて中心軸の方向を、対象物の方向として算出する。
また、空間データ生成部２１８は、推定サンプル点データが示すサンプル点の座標の代表点、例えば重心点を対象物の位置として算出する。但し、サンプル点の分布は、一面に偏っていることがあるので、それらの重心点が対象物の位置を代表するとは限らない。そこで、空間データ生成部２１８は、算出した重心点を通る中心軸に垂直な面と、その中心軸との交点を対象物の位置として算出してもよい。
The spatial data generation unit 218 calculates the position of the target object based on the estimated sample point data input from the central axis selection unit 217, and calculates the direction (posture) of the target object based on the central axis information. Here, the spatial data generation unit 218 calculates the direction of the central axis as the direction of the object based on the constant of the central axis indicated by the central axis information.
In addition, the spatial data generation unit 218 calculates a representative point of the coordinates of the sample point indicated by the estimated sample point data, for example, a centroid point as the position of the object. However, since the distribution of the sample points may be biased to one surface, those centroid points do not necessarily represent the position of the object. Therefore, the spatial data generation unit 218 may calculate the intersection of the plane perpendicular to the central axis passing through the calculated center of gravity and the central axis as the position of the object.
なお、算出された対象物の位置及び方向が、撮像装置１０を基準とするカメラ座標系に基づく座標値及び方位角で示されている場合には、空間データ生成部２１８は、算出した座標値及び方位角を、ロボット３０を基準とするロボット座標系に基づく座標値及び方位角に変換してもよい。そのために、空間データ生成部２１８には、カメラ座標系からロボット座標系に変換する変換データを予め設定しておく。
空間データ生成部２１８は、算出した対象物の位置及び方向を示す空間データを生成し、生成した空間データを空間データ出力部２１９に出力する。
When the calculated position and direction of the object are indicated by coordinate values and azimuths based on the camera coordinate system with the imaging device 10 as a reference, the spatial data generation unit 218 calculates the calculated coordinate values. The azimuth angle may be converted into a coordinate value and an azimuth angle based on a robot coordinate system with the robot 30 as a reference. Therefore, conversion data for converting from the camera coordinate system to the robot coordinate system is set in advance in the spatial data generation unit 218.
The spatial data generation unit 218 generates spatial data indicating the calculated position and direction of the object, and outputs the generated spatial data to the spatial data output unit 219.
空間データ出力部２１９は、空間データ生成部２１８から入力された空間データをロボット制御装置２２に出力する。空間データ出力部２１９は、例えば、データ出力インターフェイスである。 The spatial data output unit 219 outputs the spatial data input from the spatial data generation unit 218 to the robot control device 22. The spatial data output unit 219 is, for example, a data output interface.
（画像データの例）
次に、撮像装置１０で得られる画像データの一例について説明する。
図３は、画像データの一例を示す図である。
図３に示す画像データは、所定の撮像領域Ｉｒ内の被写体の３次元形状を示す点群画像を示す。この点群画像は、複数のサンプル点からなり、サンプル点の各々は複数の乱雑に積み重ねられた対象物の表面を所定の分解能でサンプリングした点である。サンプル点の濃淡は、対象物の輝度を示す。濃いサンプル点ほど輝度値が低く、薄いサンプル点ほど輝度値が高いことを示す
(Example of image data)
Next, an example of image data obtained by the imaging device 10 will be described.
FIG. 3 is a diagram illustrating an example of image data.
The image data shown in FIG. 3 shows a point cloud image indicating the three-dimensional shape of the subject in the predetermined imaging area Ir. This point cloud image consists of a plurality of sample points, and each sample point is a point obtained by sampling the surface of a plurality of randomly stacked objects with a predetermined resolution. The shading of the sample points indicates the brightness of the object. A darker sample point indicates a lower luminance value, and a thinner sample point indicates a higher luminance value.
（注目領域の例）
次に、注目領域設定部２１２で設定される注目領域について説明する。
注目領域は、Ｘ方向、Ｙ方向にそれぞれ平行な２辺（計４辺）で囲まれる長方形であり、少なくとも対象物の全体を十分に表すことができる大きさを有する。注目領域の一辺の長さは、対象物の特徴的な大きさ（特性長）に基づいて与えられる。例えば、対象物の形状が円柱に近似され、直径２ｒよりも高さｌの方が長い細長い形状を有する場合、特性長として、その高さｌを用いることができる。例えば、高さｌが２０ｍｍである場合、注目領域のＸ方向の辺の長さｗｘ、Ｙ方向の辺の長さｗｙをともに２５ｍｍと定めておいてもよい。また、変位量Δｘ、Δｙは、それぞれの方向の辺の長さｗｘ、ｗｙよりも小さい値、例えば、その長さの４０％と定めておいてもよい。
(Example of attention area)
Next, the attention area set by the attention area setting unit 212 will be described.
The attention area is a rectangle surrounded by two sides (total of four sides) parallel to the X direction and the Y direction, respectively, and has a size that can sufficiently represent at least the entire object. The length of one side of the attention area is given based on the characteristic size (characteristic length) of the object. For example, when the shape of the object is approximated to a cylinder and has a long and narrow shape with a height l longer than the diameter 2r, the height l can be used as the characteristic length. For example, when the height l is 20 mm, the length w x of the side in the X direction and the length w y of the side in the Y direction may both be set to 25 mm. Further, the displacement amounts Δx and Δy may be set to values smaller than the side lengths w x and w y in the respective directions, for example, 40% of the lengths.
注目領域設定部２１２は、画像データを形成するサンプル点データの座標値の重心、高さに基づいて注目領域を予め定めた個数（例えば、９個）定める。ここで、注目領域設定部２１２は、例えば、撮像領域Ｉｒにおいて予め定めた空間間隔毎に候補となる候補領域を定め、各候補領域に含まれるサンプル点の重心を算出する。注目領域設定部２１２は、算出した重心のＺ方向の座標が最も小さい（つまり、撮像装置１０に近い）候補領域を主たる注目領域と定める。 The attention area setting section 212 determines a predetermined number (for example, nine) of attention areas based on the center of gravity and height of the coordinate values of the sample point data forming the image data. Here, for example, the attention area setting unit 212 determines candidate areas for each predetermined spatial interval in the imaging area Ir, and calculates the center of gravity of the sample points included in each candidate area. The attention area setting unit 212 determines the candidate area having the smallest coordinate in the Z direction of the calculated center of gravity (that is, close to the imaging device 10) as the main attention area.
注目領域設定部２１２は、主たる注目領域から、予め定めた変位量ΔｘだけＸ方向に正負それぞれ変位した位置（２通り）、予め定めた変位量ΔｙだけＹ方向に正負それぞれ変位した位置（２通り）にも、それぞれ注目領域（図示せず）を定める。また、注目領域設定部２１２は、主たる注目領域から、予め定めた変位量ΔｘだけＸ方向に正負それぞれ変位した位置、及び予め定めた変位量ΔｙだけＹ方向に正負それぞれ変位した位置（計４通り）にも、それぞれ注目領域（図示せず）を定める。 The attention area setting unit 212 is displaced from the main attention area by a predetermined displacement amount Δx in the X direction (two ways), and is displaced by a predetermined displacement amount Δy in the Y direction (two ways). ) Also define a region of interest (not shown). Further, the attention area setting unit 212 is displaced from the main attention area by a predetermined displacement amount Δx in the X direction and positive and negative positions in the Y direction by a predetermined displacement amount Δy (a total of four positions). ) Also define a region of interest (not shown).
図４は、注目領域の一例を示す図である。
図４は、図３に示す点群画像と主たる注目領域Ｗｄを実線で示す。注目領域Ｗｄの右側の右向きの矢印は、この領域から変位量ΔｘだけＸ方向にずれた位置に注目領域が設定されていることを示す。注目領域Ｗｄから右上向きの矢印は、この領域から変位量ΔｘだけＸ方向に変位し、変位量ΔｙだけＹ方向に変位した位置に注目領域が設定されていることを示す。図４は、２通りに変位した注目領域の例を示すが、変位量Δｘ、変位量Δｙ、又はその両者の少なくとも一方が負方向に変位した位置に注目領域が配置されてもよい。
FIG. 4 is a diagram illustrating an example of a region of interest.
FIG. 4 shows the point cloud image shown in FIG. 3 and the main region of interest Wd by solid lines. A right-pointing arrow on the right side of the attention area Wd indicates that the attention area is set at a position shifted from this area by the displacement amount Δx in the X direction. An arrow pointing upward from the attention area Wd indicates that the attention area is set at a position displaced from the area by the displacement amount Δx in the X direction and by the displacement amount Δy in the Y direction. Although FIG. 4 shows an example of the attention area displaced in two ways, the attention area may be arranged at a position where at least one of the displacement amount Δx, the displacement amount Δy, or both of them is displaced in the negative direction.
図５は、対象物の形状を近似するモデルの一例を示す図である。
対象物Ｗｋの形状は、円柱に近似されている。これにより、対象物Ｗｋの特性長として高さｌ、半径ｒ、又はその両者が用いられうる。図５に示す対象物Ｗｋは、半径ｒに比べて高さｌが格段に大きい細長の形状を有するため、主に高さｌが特性長として用いられる。
FIG. 5 is a diagram illustrating an example of a model that approximates the shape of an object.
The shape of the object Wk is approximated to a cylinder. Accordingly, the height l, the radius r, or both can be used as the characteristic length of the object Wk. The object Wk shown in FIG. 5 has an elongated shape in which the height l is significantly larger than the radius r, and thus the height l is mainly used as the characteristic length.
（主たる注目領域を選択する処理）
次に、注目領域設定部２１２が主たる注目領域を選択する処理について説明する。
注目領域設定部２１２は、ＸＹ平面内の予め定めた空間間隔毎に複数の注目領域の候補（候補領域）を設定し、設定した候補領域のうち空間的に連続した被写体を表す領域が最も大きい領域を主たる注目領域として選択する。
ここで、注目領域設定部２１２は、候補領域のそれぞれに含まれるサンプル点データを二値化する。複数の注目領域の大きさは、いずれも等しくてもよい。また、空間間隔は、Ｘ−Ｙ平面内の表示領域の全体を全ての候補領域で網羅されればよい。空間間隔は、変位量ΔＸ、ΔＹと等しくてもよい。
(Process to select main attention area)
Next, a process in which the attention area setting unit 212 selects a main attention area will be described.
The attention area setting unit 212 sets a plurality of candidate attention areas (candidate areas) at predetermined spatial intervals in the XY plane, and the area representing the spatially continuous subject is the largest among the set candidate areas. Select the region as the main region of interest.
Here, the attention area setting unit 212 binarizes the sample point data included in each candidate area. The sizes of the plurality of regions of interest may all be equal. Moreover, the space interval should just cover the whole display area in XY plane by all the candidate area | regions. The space interval may be equal to the displacement amounts ΔX and ΔY.
注目領域設定部２１２は、二値化を行う際、例えば、次の（ａ）又は（ｂ）に示す処理を行ってもよい。
（ａ）注目領域設定部２１２は、サンプル点データが示す輝度値が予め定めた輝度値の閾値よりも高い場合、そのサンプル点に係る信号値を１と定め、それ以外のサンプル点に係る信号値を０と定める。輝度値の閾値は、例えば、その最大値と最小値の中間の値である。輝度の高い部分は撮像装置１０に近接している傾向があるところ、撮像装置１０に近接した高さの高い部分が識別される。
When performing the binarization, the attention area setting unit 212 may perform, for example, the following process (a) or (b).
(A) When the brightness value indicated by the sample point data is higher than a predetermined threshold value of the brightness value, the attention area setting unit 212 sets the signal value related to the sample point to 1, and signals related to other sample points The value is set to 0. The threshold value of the luminance value is, for example, an intermediate value between the maximum value and the minimum value. A portion with a high luminance tends to be close to the imaging device 10, and thus a portion with a high height that is close to the imaging device 10 is identified.
図６は、候補領域内に表示された画像の一例を示す図である。
図６に示す画像は、（ａ）の処理対象となるサンプル点毎の輝度を表す輝度画像である。明るく表示されている部分ほど輝度値が高く、暗く表示されている部分ほど輝度値が低い。この例では、対象物Ｗｋ１、Ｗｋ２、Ｗｋ３の順に明るく表示され、対象物Ｗｋ１は対象物Ｗｋ３に重なっていることを示す。また、対象物Ｗｋ２を示す画像は、下部よりも上部のほうが明るく表示されている。
FIG. 6 is a diagram illustrating an example of an image displayed in the candidate area.
The image shown in FIG. 6 is a luminance image representing the luminance for each sample point to be processed in (a). The brighter the part, the higher the luminance value, and the darker the part, the lower the luminance value. In this example, the objects Wk1, Wk2, and Wk3 are displayed brightly in this order, indicating that the object Wk1 overlaps the object Wk3. In the image showing the target object Wk2, the upper part is displayed brighter than the lower part.
図７は、候補領域内の二値化画像の一例を示す図である。
図７に示す二値化画像は、図６に示す輝度画像を二値化した画像である。この例では、対象物Ｗｋ１の全体、対象物Ｗｋ２の上方が明るく表示されている。この領域の信号値は１である。それ以外の領域は、黒く表示され、図６に表示されていた対象物Ｗｋ２の下方、対象物Ｗｋ３の全体が表れていない。この領域の信号値は０である。これは、対象物Ｗｋ２の下方、対象物Ｗｋ３の全体における輝度値が予め定めた輝度値の閾値よりも低いためである。
FIG. 7 is a diagram illustrating an example of the binarized image in the candidate area.
The binarized image shown in FIG. 7 is an image obtained by binarizing the luminance image shown in FIG. In this example, the entire object Wk1 and the upper part of the object Wk2 are displayed brightly. The signal value in this area is 1. The other areas are displayed in black, and the entire object Wk3 does not appear below the object Wk2 displayed in FIG. The signal value in this area is zero. This is because the luminance value of the entire target object Wk3 below the target object Wk2 is lower than a predetermined threshold value of the luminance value.
（ｂ）注目領域設定部２１２は、候補領域毎にサンプル点データが示すサンプル点を、ＸＹ平面に射影する。注目領域設定部２１２は、グリッド（サンプル点ブロック）のそれぞれに含まれるサンプル点の数を計数する。このグリッドは、互いに隣接する複数の最密サンプル点を含む正方形の領域である。最密サンプル点とは、最も密に配置されたときのサンプル点であり、最密サンプル点間の間隔は撮像装置１０のＸＹ平面内の空間分解能を示す。サンプル点ブロックの大きさは、例えば、Ｘ方向、Ｙ方向に各４サンプル（計１６サンプル）である。各グリッドのサンプル点の数は、ヒストグラムを形成する。
注目領域設定部２１２は、計数したサンプル点の数が予め定めたサンプル数の閾値よりも大きいグリッドについて、信号値を１と定め、それ以外のグリッドについて信号値を０と定める。
(B) The attention area setting unit 212 projects the sample points indicated by the sample point data for each candidate area onto the XY plane. The attention area setting unit 212 counts the number of sample points included in each grid (sample point block). The grid is a square region including a plurality of closest sample points adjacent to each other. The closest sample points are sample points when they are arranged most densely, and the interval between the closest sample points indicates the spatial resolution in the XY plane of the imaging device 10. The size of the sample point block is, for example, 4 samples each in the X direction and the Y direction (16 samples in total). The number of sample points in each grid forms a histogram.
The attention area setting unit 212 determines the signal value as 1 for a grid in which the number of sample points counted is larger than a predetermined sample number threshold, and determines the signal value as 0 for the other grids.
図８は、候補領域内に射影されたサンプル点の一例を示す図である。
図８において、各点は、（ｂ）の処理対象となる候補領域内に射影されたサンプル点を示す。撮像された画像において対象物が明るく表示されている領域ほど、図８ではサンプル点が密に表されている。
図９は、候補領域内の二値化画像の他の例を示す図である。
図９は、図８に示したサンプル点に基づいて得られた二値化した画像である。サンプル点が密に分布している領域の信号値が１であり、それ以外の部分の信号値が０である。これにより、撮像装置１０から近く、明るく表示されている部分を識別することができる。以下の説明では、信号値が１である領域を明領域と呼ぶ。
FIG. 8 is a diagram illustrating an example of sample points projected in the candidate area.
In FIG. 8, each point indicates a sample point projected in the candidate region to be processed in (b). In the region where the object is displayed brighter in the captured image, the sample points are more densely represented in FIG.
FIG. 9 is a diagram illustrating another example of the binarized image in the candidate area.
FIG. 9 is a binarized image obtained based on the sample points shown in FIG. The signal value in the region where the sample points are densely distributed is 1, and the signal value in other portions is 0. Thereby, it is possible to identify a portion that is close to the imaging device 10 and is brightly displayed. In the following description, a region having a signal value of 1 is called a bright region.
注目領域設定部２１２は、（１）又は（２）で述べた処理を行った後、信号値が１と定められた明領域を、空間的に連続した領域毎に区分する。ここで、注目領域設定部２１２は、信号値が１である注目グリッドに隣接する隣接グリッドの信号値が１である場合、注目グリッドと隣接するグリッドと空間的に連続している同一の明領域に区分されると判定する。注目領域設定部２１２は、それ以外の場合、空間的に連続している同一の明領域には区分されないと判定する。 After performing the processing described in (1) or (2), the attention area setting unit 212 classifies the bright area whose signal value is set to 1 for each spatially continuous area. Here, when the signal value of the adjacent grid adjacent to the target grid whose signal value is 1 is 1, the attention region setting unit 212 is the same bright region that is spatially continuous with the target grid and the adjacent grid. It is determined that it is classified. In other cases, the attention area setting unit 212 determines that the same bright area that is spatially continuous is not classified.
図１０は、明領域の例を示す図である。
図１０は、図９に示した二値化画像に基づいて区分した明領域Ｒｇ１、Ｒｇ２、Ｒｇ３を示す。
明領域Ｒｇ１は、二値化画像の左上部において破線で囲まれた部分である。明領域Ｒｇ２は、二値化画像の中央部からやや左側において破線で囲まれた部分である。明領域Ｒｇ３は、二値化画像の中央上部から右下部にかけて破線で囲まれた部分である。
FIG. 10 is a diagram illustrating an example of a bright region.
FIG. 10 shows bright regions Rg1, Rg2, and Rg3 that are segmented based on the binarized image shown in FIG.
The bright region Rg1 is a portion surrounded by a broken line in the upper left part of the binarized image. The bright region Rg2 is a portion surrounded by a broken line slightly on the left side from the center of the binarized image. The bright region Rg3 is a portion surrounded by a broken line from the center upper part to the lower right part of the binarized image.
その後、注目領域設定部２１２は、候補領域内における信号値が１である明領域の面積（グリッドの個数）を明領域面積として算出する。また、注目領域設定部２１２は、区分した各明領域について領域内距離を求める。領域内距離は、ある１つの明領域を横断する距離の最大値である。領域内距離は、例えば、（ｉ）その明領域内の２つの座標点間の距離が最も大きくなる距離、（ｉｉ）明領域内を中断ならびに交差せずに１回のみ通って形成される（いわゆる一筆書き可能な）経路の長さの最大値のいずれでもあってもよい。いずれも、連続した明領域の大きさを示す指標である。 Thereafter, the attention area setting unit 212 calculates the area (number of grids) of the bright area whose signal value is 1 in the candidate area as the bright area. In addition, the attention area setting unit 212 calculates an in-area distance for each of the divided bright areas. The intra-region distance is the maximum value of the distance crossing a certain bright region. The intra-area distance is formed, for example, by (i) a distance where the distance between two coordinate points in the bright area is the largest, and (ii) passing through the bright area only once without interruption or crossing ( It may be any of the maximum path lengths (so-called one-stroke writing). Both are indices indicating the size of a continuous bright region.
図１１は、領域内距離の一例を示す図である。
図１１が示す領域内距離は、（ｉ）の例である。この例では、明領域Ｒｇ２の外縁上の相対する２点ｐ１、ｐ２間の距離が領域内距離に相当する。
図１２は、領域内距離の他の例を示す図である。
図１２が示す領域内距離は、（ｉｉ）の例である。この例では、明領域Ｒｇ２に含まれる経路Ｔｒ２の長さが領域内距離に相当する。
FIG. 11 is a diagram illustrating an example of the intra-region distance.
The in-region distance shown in FIG. 11 is an example of (i). In this example, the distance between two opposing points p1 and p2 on the outer edge of the bright region Rg2 corresponds to the intra-region distance.
FIG. 12 is a diagram illustrating another example of the intra-region distance.
The intra-region distance shown in FIG. 12 is an example of (ii). In this example, the length of the route Tr2 included in the bright region Rg2 corresponds to the intra-region distance.
注目領域設定部２１２は、領域内距離が予め定めた領域内距離の閾値よりも大きく、かつ明領域面積が予め定めた明領域面積の閾値よりも大きい候補領域を選択し、それ以外の候補領域を排除する。注目領域設定部２１２は、領域内距離が最も大きい候補領域を注目領域として定める。
なお、注目領域設定部２１２は、候補領域毎に領域内距離及び明領域面積を求める処理を空間的に隣接する順で逐次に行ってもよいし（スキャン）、並列に行ってもよい。
The attention area setting unit 212 selects a candidate area having an in-area distance larger than a predetermined in-area distance threshold and having a bright area larger than a predetermined bright area area threshold, and other candidate areas Eliminate. The attention area setting unit 212 determines a candidate area having the largest intra-area distance as the attention area.
Note that the attention area setting unit 212 may sequentially perform the process of obtaining the in-area distance and the bright area for each candidate area in the order of spatial adjacency (scanning) or in parallel.
（点対の例）
次に、第１点対選択部２１４で選択された点対の例について説明する。
図１３は、選択された点対の例を示す図である。
図１３（ａ）、（ｂ）は、ＸＹ平面上、ＸＺ平面上にそれぞれ射影された注目領域におけるサンプル点の分布の一例を示す。それぞれの黒丸は、サンプル点を示す。Ｐ１１、Ｐ１２は、選択された点対を形成する２個のサンプル点の組の一例である。上述したように、Ｐ１１、Ｐ１２間の距離Ｌは、対象物の特性長ｌから予め定めた範囲にある。
(Example of point pair)
Next, an example of the point pair selected by the first point pair selection unit 214 will be described.
FIG. 13 is a diagram illustrating an example of a selected point pair.
FIGS. 13A and 13B show an example of the distribution of sample points in a region of interest projected on the XY plane and the XZ plane, respectively. Each black circle indicates a sample point. P11 and P12 are an example of a set of two sample points forming the selected point pair. As described above, the distance L between P11 and P12 is within a predetermined range from the characteristic length l of the object.
図１３（ｂ）に示された一点破線は、Ｚ座標が一定であるＸＹ平面を示す。傾きθｚは、Ｐ１１、Ｐ１２間の線分Ｅ１とＸＹ平面とのなす角度である。傾きθｚは、予め定めた傾きの閾値θｍａｘよりも小さい値である。即ち、第１点対選択部２１４は、対象物の表面の１点と底面の１点から形成される点対として、この２点間の距離Ｌが特性長ｌに近似し、画像データから確実に検出され、かつ制御対象となりうる方向を有するものを選択する。 A dashed line shown in FIG. 13B indicates an XY plane in which the Z coordinate is constant. The inclination θz is an angle formed by the line segment E1 between P11 and P12 and the XY plane. The inclination θz is a value smaller than a predetermined inclination threshold θmax. In other words, the first point pair selection unit 214, as a point pair formed from one point on the surface of the object and one point on the bottom surface, approximates the distance L between the two points to the characteristic length l, and reliably determines from the image data. That have a direction that can be detected and can be controlled.
（線分に属するサンプル点の例）
次に、第２点対選択部２１５で抽出された線分に属するサンプル点の例について説明する。
図１４は、線分に属するサンプル点の例を示す図である。
図１４（ａ）、（ｂ）は、ＸＹ平面上、ＸＺ平面上にそれぞれ射影されたサンプル点の分布の他の例を示す。黒丸のそれぞれは、サンプル点を示す。Ｐ２１、Ｐ２２は、点対を形成する２個のサンプル点の組の他の例であり、Ｅ２は、Ｐ２１、Ｐ２２間を結ぶ線分である。線分Ｅ２に属するサンプル点は、線分Ｅから距離ρの範囲内に含まれるサンプル点である。第２点対選択部２１５は、これらのサンプル点を選択し、選択したサンプル点の個数Ｎが所定の個数の範囲内となる点対及びそのサンプル点を採用する。
(Example of sample points belonging to a line segment)
Next, an example of sample points belonging to the line segment extracted by the second point pair selection unit 215 will be described.
FIG. 14 is a diagram illustrating an example of sample points belonging to a line segment.
FIGS. 14A and 14B show other examples of the distribution of sample points projected on the XY plane and the XZ plane, respectively. Each black circle indicates a sample point. P21 and P22 are other examples of a set of two sample points forming a point pair, and E2 is a line segment connecting P21 and P22. The sample points belonging to the line segment E2 are sample points included within the distance ρ from the line segment E. The second point pair selection unit 215 selects these sample points, and employs the point pairs and the sample points where the number N of selected sample points is within a predetermined number of ranges.
（選択されたサンプル点の例）
次に、中心軸選択部２１７で選択された中心軸と対応するサンプル点の例について説明する。
図１５は、選択された中心軸と対応するサンプル点の例を示す断面図である。
この例では、中心軸Ｅ３とサンプル点の分布がＸＺ平面に射影されている。各点は、サンプル点を示す。選択されたサンプル点の多くは、中心軸Ｅ３からＺの負方向に所定距離だけ偏って分布しているが、その分布が延びている方向は中心軸Ｅ３の方向にほぼ平行している。この偏りは、各サンプル点までの距離と半径ｒとの誤差が最小となるように中心軸が選択され、対象物のうち撮像装置１０に向いている側の表面を表す。対象別のその他の側の表面が表れていないためである。
図１６は、選択された中心軸に対応するサンプル点の例を示す斜視図である。
各点は、注目領域内に含まれるサンプル点を示す。そのうち選択されたサンプル点が、その他のサンプル点よりも濃い点で表されている。選択されたサンプル点は、１個の対象物の表面の形状を表し、上述した中心軸を中心に湾曲した面上に分布している。中心軸から面まで距離は、半径ｒに近似している。
(Example of selected sample points)
Next, an example of sample points corresponding to the central axis selected by the central axis selection unit 217 will be described.
FIG. 15 is a cross-sectional view showing an example of sample points corresponding to the selected central axis.
In this example, the central axis E3 and the distribution of sample points are projected onto the XZ plane. Each point represents a sample point. Many of the selected sample points are distributed by a predetermined distance in the negative direction of Z from the central axis E3, but the direction in which the distribution extends is substantially parallel to the direction of the central axis E3. This bias represents the surface of the object that faces the imaging device 10 with the central axis selected so that the error between the distance to each sample point and the radius r is minimized. This is because the surface on the other side of each object does not appear.
FIG. 16 is a perspective view showing an example of sample points corresponding to the selected central axis.
Each point indicates a sample point included in the region of interest. The selected sample point is represented by a darker point than the other sample points. The selected sample points represent the shape of the surface of one object, and are distributed on a curved surface around the above-described central axis. The distance from the central axis to the surface approximates the radius r.
（画像処理フロー）
次に、本実施形態に係る画像処理について説明する。
図１７は、本実施形態に係る画像処理を示すフローチャートである。
この処理が開始されるまでに、画像データ取得部２１１には撮像装置１０で取得した画像データが入力され、当該画像データは注目領域設定部２１２に供給される。
（ステップＳ１０１）注目領域設定部２１２には、供給された画像データが示す画像の撮像領域を所定の２次元平面に射影した２次元領域において予め定めた大きさの注目領域を設定する。注目領域設定部２１２は、例えば、２次元領域のうち被写体を表すサンプル点が分布する領域が最も大きい注目領域をその１つとして選択する。その後、ステップＳ１０２に進む。
(Image processing flow)
Next, image processing according to the present embodiment will be described.
FIG. 17 is a flowchart showing image processing according to the present embodiment.
By the time this process is started, image data acquired by the imaging apparatus 10 is input to the image data acquisition unit 211, and the image data is supplied to the attention area setting unit 212.
(Step S101) In the attention area setting unit 212, an attention area having a predetermined size is set in a two-dimensional area obtained by projecting the imaging area of the image indicated by the supplied image data onto a predetermined two-dimensional plane. For example, the attention area setting unit 212 selects, as one of the attention areas, the area in which the sample points representing the subject are distributed among the two-dimensional areas. Thereafter, the process proceeds to step S102.
（ステップＳ１０２）第１点対選択部２１４は、注目領域設定部２１２が設定した注目領域内に含まれサンプル点のうちの２点からなる点対のうち所定の条件を満足する点対を選択する。所定の条件は、例えば、対象物の特性長から予め定めた範囲内であること、２点間の直線の傾きθｚが予め定めた範囲内であるか、又はその両者である。その後、ステップＳ１０３に進む。
（ステップＳ１０３）第２点対選択部２１５は、第１点対選択部２１４で選択された点対のそれぞれについて、各点対を形成する２点を結ぶ線分から所定距離ρ内のサンプル点を抽出する。第２点対選択部２１５は、抽出したサンプル点の数が所定の個数の範囲内、例えば対象物を表す画像がとりうるサンプル点の数から予め定めた範囲内となる点対を選択する。その後、ステップＳ１０４に進む。
(Step S <b> 102) The first point pair selection unit 214 selects a point pair that satisfies a predetermined condition from point pairs that are included in the region of interest set by the region of interest setting unit 212 and consist of two of the sample points. To do. The predetermined condition is, for example, within a predetermined range from the characteristic length of the object, or the slope θz of the straight line between the two points is within the predetermined range, or both. Thereafter, the process proceeds to step S103.
(Step S103) For each point pair selected by the first point pair selection unit 214, the second point pair selection unit 215 selects a sample point within a predetermined distance ρ from the line segment connecting the two points forming each point pair. Extract. The second point pair selection unit 215 selects a point pair in which the number of extracted sample points is within a predetermined number range, for example, a predetermined range from the number of sample points that can be taken by the image representing the object. Thereafter, the process proceeds to step S104.
（ステップＳ１０４）中心軸推定部２１６は、第２点対選択部２１５で選択した点対について、抽出されたサンプル点に基づいて、例えば、逐次二次計画法を用いて中心軸を推定する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）中心軸選択部２１７は、推定した中心軸のそれぞれについて抽出されたサンプル点までの距離と対象物の半径との間の推定誤差ｅｒｒを、例えば、式（３）を用いて算出し、算出した推定誤差ｅｒｒが最も小さい中心軸を選択する。その後、ステップＳ１０６に進む。
(Step S104) The central axis estimation unit 216 estimates the central axis of the point pair selected by the second point pair selection unit 215 based on the extracted sample points using, for example, sequential quadratic programming. Thereafter, the process proceeds to step S105.
(Step S105) The central axis selection unit 217 calculates an estimation error err between the distance to the sample point extracted for each of the estimated central axes and the radius of the object using, for example, Expression (3). Then, the central axis with the smallest estimated error err calculated is selected. Thereafter, the process proceeds to step S106.
（ステップＳ１０６）空間データ生成部２１８は、中心軸選択部２１７で選択した中心軸と、これに対応するサンプル点に基づいて対象物の方向と位置を算出する。算出された対象物の方向と位置は、ロボット制御装置２２がロボット３０の動作を制御する際に用いられる。その後、図１７に示す処理を終了する。 (Step S106) The spatial data generation unit 218 calculates the direction and position of the object based on the central axis selected by the central axis selection unit 217 and the corresponding sample points. The calculated direction and position of the object are used when the robot control device 22 controls the operation of the robot 30. Thereafter, the process shown in FIG.
ステップＳ１０１において注目領域設定部２１２で設定される注目領域の数は、９個に限られず、１個でもよいし、２個から８個、又は９個より多くてもよい。設定される注目領域の数が１個よりも多い場合には、注目領域毎にステップＳ１０２−Ｓ１０４の処理が繰り返えされてもよいし、並列して実行されてもよい。
また、ステップＳ１０２において第１点対選択部２１４で選択される点対の数は、通例、１個よりも多い。選択される点対の数が１個よりも多い場合には、点対毎にステップＳ１０３、Ｓ１０４の処理が繰り返されてもよいし、並列して実行されてもよい。
The number of attention areas set by the attention area setting unit 212 in step S101 is not limited to nine, and may be one, two to eight, or more than nine. When the number of attention areas to be set is greater than one, the processing of steps S102 to S104 may be repeated for each attention area, or may be executed in parallel.
Also, the number of point pairs selected by the first point pair selection unit 214 in step S102 is typically more than one. When the number of selected point pairs is greater than one, the processes of steps S103 and S104 may be repeated for each point pair, or may be executed in parallel.
以上、説明したように、本実施形態は、対象物の形状を表す複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部（例えば、点対選択部２１３）と、前記複数の点のうち、前記組選択部が選択した組をなす２点間の線分から予め定めた距離内にある点と前記線分との間の距離と、対象物の半径との誤差が予め定めた範囲内にある中心軸を選択する中心軸選択部（例えば、中心軸選択部２１７）と、を備える。 As described above, according to the present embodiment, the length of a line segment between two points of a plurality of sets composed of two arbitrary points selected from a plurality of points representing the shape of the target object is that of the target object. From a group selection unit (for example, a point pair selection unit 213) that selects a group within a predetermined range from the length, and a line segment between two points that form the group selected by the group selection unit among the plurality of points A central axis selection unit (for example, a central axis selection unit) that selects a central axis in which an error between a distance between a point within a predetermined distance and the line segment and a radius of the object is within a predetermined range 217).
これにより、長さ（即ち、円柱の高さ）が所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物（例えば、ネジ、ボルト、等）の位置及び姿勢を推定することができる。また、対象物の位置及び姿勢を推定する際に、パターン認識等の負荷の大きい処理が要求されないため高速な処理を経済的に実現可能になる。 As a result, the point representing the image of the object formed from the point whose radius from the central axis connecting the two points whose length (that is, the height of the cylinder) is within the predetermined range is within the predetermined range is specified. Is done. Therefore, it is possible to estimate the position and orientation of an object having a curved surface, such as a cylinder or an object (for example, a screw, bolt, etc.) whose shape approximates that of a cylinder. In addition, when estimating the position and orientation of the object, high-load processing such as pattern recognition is not required, so that high-speed processing can be realized economically.
また、推定した位置及び姿勢に基づいてロボット（例えば、ロボット３０）の動作を制御することができる。例えば、ロボット制御装置２２は、ロボット３０のアーム部３０ｂ及びハンド部３０ｃを動作させて把持部３０ｄの位置及び方向を、推定した対象物の位置及び姿勢に応じて制御することができる。これにより、ロボット３０は、特殊なジグを用いることなく乱雑に積まれた対象物を操作することができる。 Further, the operation of the robot (for example, the robot 30) can be controlled based on the estimated position and posture. For example, the robot control device 22 can control the position and direction of the grasping unit 30d according to the estimated position and orientation of the target object by operating the arm unit 30b and the hand unit 30c of the robot 30. As a result, the robot 30 can operate the objects stacked randomly without using a special jig.
また、本実施形態は、組を選択する範囲となる注目領域を設定する注目領域設定部（例えば、注目領域設定部２１２）を備え、組選択部は、注目領域設定部が設定した注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択し、中心軸選択部（例えば、中心軸選択部２１７）は、複数の点のうち、組選択部が選択した組をなす２点間の線分から予め定めた距離内にある点と前記線分との間の距離と、対象物の半径との誤差が最も小さい中心軸を選択する。 In addition, the present embodiment includes an attention area setting unit (for example, an attention area setting unit 212) that sets an attention area that is a range for selecting a set, and the set selection unit sets the attention area set by the attention area setting section. A plurality of sets consisting of two arbitrary points selected from a plurality of included points are selected so that the length of the line segment between the two points falls within a predetermined range from the length of the object, and the central axis The selection unit (for example, the central axis selection unit 217) is a point between the line segment and a point that is within a predetermined distance from a line segment between two points that form a group selected by the group selection unit among a plurality of points. A central axis with the smallest error between the distance and the radius of the object is selected.
これにより、処理対象となる画像の領域が注目領域に限定され、中心軸の選択に要する点が点対から予め定めた範囲内に限定される。そのため、対象物の位置及び姿勢を推定するための処理量の増大を抑制することができる。また、誤差が最も小さい中心軸が選択されるため、対応する周囲の点として対象物の形状に最も近似するものが選択される。 As a result, the region of the image to be processed is limited to the region of interest, and the points required to select the central axis are limited to a predetermined range from the point pair. Therefore, an increase in the processing amount for estimating the position and orientation of the object can be suppressed. Further, since the central axis with the smallest error is selected, the closest surrounding point is selected as the corresponding surrounding point.
上述では、長さ（高さ）や半径は、予め画像処理装置２１に設定しておくことを前提に説明したが、これには限られない。画像処理装置２１は、ユーザからの操作に応じて長さ及び半径を入力可能な入力部（図示せず）を備えてもよいし、通信回線を介して長さ及び半径を受信可能な通信部（図示せず）を備えてもよい。画像処理装置２１は、さらに入力又は受信した長さに基づいて注目領域の大きさ、対象物がとりうるサンプル点数Ｎｍａｘを定めてもよい。 In the above description, the length (height) and the radius have been described on the assumption that the image processing apparatus 21 is set in advance. However, the present invention is not limited to this. The image processing apparatus 21 may include an input unit (not shown) that can input a length and a radius in accordance with an operation from a user, or a communication unit that can receive a length and a radius via a communication line. (Not shown) may be provided. The image processing apparatus 21 may further determine the size of the region of interest and the number of sample points Nmax that the object can take based on the input or received length.
上述では、中心軸推定部２１６が、逐次二次推定法を用いて中心軸候補を推定する場合を例にとって説明したが、これには限られない。中心軸推定部２１６は、例えば、その他の手法、例えば、ニュートン法等のその他の非線形計画法や、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法、最小二乗法、等の回帰分析法を用いることができる。 Although the case where the central axis estimation unit 216 estimates the central axis candidate using the successive quadratic estimation method has been described above as an example, the present invention is not limited thereto. The central axis estimation unit 216 can use, for example, other methods, for example, other nonlinear programming methods such as Newton's method, RANSAC (Random Sample Consensus) method, least square method, and other regression analysis methods.
撮像装置１０は、各フレームの画像データを、個々に制御装置２０に出力してもよいし、予め定めた時間間隔で逐次に制御装置２０に出力してもよい。撮像装置１０は、画像処理装置２１と一体に構成されていてもよい。
上述では、画像処理装置２１とロボット制御装置２２とは一定に構成されている場合を例にとって説明したが、これには限られない。画像処理装置２１とロボット制御装置２２は別体に構成されていてもよい。
また、画像処理装置２１とロボット制御装置２２は、ロボット３０と一体化したロボットとして構成されてもよい。
The imaging device 10 may individually output the image data of each frame to the control device 20 or sequentially output to the control device 20 at a predetermined time interval. The imaging device 10 may be configured integrally with the image processing device 21.
In the above description, the case where the image processing device 21 and the robot control device 22 are configured to be constant has been described as an example, but the present invention is not limited thereto. The image processing device 21 and the robot control device 22 may be configured separately.
Further, the image processing device 21 and the robot control device 22 may be configured as a robot integrated with the robot 30.
また、各実施形態の画像処理装置２１の一部、例えば、注目領域設定部２１２、点対選択部２１３、中心軸推定部２１６、中心軸選択部２１７、及び空間データ生成部２１８の各処理を実行するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより、画像処理装置２１に係る上述した種々の処理を行ってもよい。 In addition, each processing of a part of the image processing apparatus 21 of each embodiment, for example, the attention area setting unit 212, the point pair selection unit 213, the central axis estimation unit 216, the central axis selection unit 217, and the spatial data generation unit 218 is performed. The program to be executed is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed, thereby performing the above-described various processes related to the image processing apparatus 21. May be.
なお、ここでいう「コンピューターシステム」とは、上述した処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、等のハードウェアの他、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。また、「コンピューターシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリー等の書き込み可能な不揮発性メモリー、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。 The “computer system” here means hardware such as an OS (Operating System) and peripheral devices in addition to hardware such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit) that perform the above-described processing. May be included. Further, the “computer system” includes a homepage providing environment (or display environment) if the WWW system is used. The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a writable nonvolatile memory such as a flash memory, and a CD (Compact Disc) -ROM. A storage device such as a hard disk built in a computer system.
さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリー（例えば、ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the “computer-readable recording medium” is a volatile memory (for example, DRAM: DRAM) inside a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. As in the case of Dynamic Random Access Memory), a program that holds a program for a certain period of time is also included. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
１ ロボットシステム
１０ 撮像装置
２０ 制御装置
２１ 画像処理装置
２１１ 画像データ取得部
２１２ 注目領域設定部
２１３ 点対選択部
２１４ 第１点対選択部
２１５ 第２点対選択部
２１６ 中心軸推定部
２１７ 中心軸選択部
２１８ 空間データ生成部
２１９ 空間データ出力部
２２ ロボット制御装置
３０ ロボット
３０ａ 支持台
３０ｂ アーム部
３０ｃ ハンド部
３０ｄ 把持部
DESCRIPTION OF SYMBOLS 1 Robot system 10 Imaging device 20 Control apparatus 21 Image processing apparatus 211 Image data acquisition part 212 Attention area setting part 213 Point pair selection part 214 First point pair selection part 215 Second point pair selection part 216 Center axis estimation part 217 Center axis Selection unit 218 Spatial data generation unit 219 Spatial data output unit 22 Robot control device 30 Robot 30a Support base 30b Arm unit 30c Hand unit 30d Gripping unit
Claims (8)
前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、
を備えるロボット。 Consists of two arbitrary points selected from a plurality of points included in a three-dimensional point group representing the surface of the subject obtained from a three-dimensional image obtained by imaging one or more objects that are not aligned as a subject. A set selection unit that selects a set in which a length of a line segment between two points is within a predetermined range from the length of the object, among a plurality of sets;
An error between a distance between a line segment between two points forming the set selected by the set selection unit and a point within a predetermined distance from the line segment among the plurality of points, and an object radius, A central axis selection unit that selects the line segment within a predetermined range as a central axis;
Robot equipped with.
前記組選択部は、前記注目領域設定部が設定した注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択し、
前記中心軸選択部は、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、最も小さい前記線分を中心軸として選択する請求項１に記載のロボット。 An attention area setting unit for setting an attention area that is a range for selecting the set;
The set selection unit is configured such that a length of a line segment between two points of the plurality of sets selected from a plurality of points included in the target region set by the target region setting unit is the target object. Select a pair that falls within the specified range from the length of
The central axis selection unit includes a distance between a line segment between two points forming the set selected by the set selection unit and a point within a predetermined distance from the line segment among the plurality of points, and an object The robot according to claim 1, wherein the line segment having the smallest error from the radius is selected as a central axis .
整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択過程と、
前記組選択過程で選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択過程と、
を有する画像処理方法。 An image processing method in an image processing apparatus,
Consists of two arbitrary points selected from a plurality of points included in a three-dimensional point group representing the surface of the subject obtained from a three-dimensional image obtained by imaging one or more objects that are not aligned as a subject. A set selection process of selecting a set in which a length of a line segment between two points is within a predetermined range from the length of the object, among a plurality of sets;
An error between a distance between a line segment between two points forming a set selected in the group selection process to a point within a predetermined distance from the line segment among the plurality of points, and an object radius is, A center axis selection process for selecting the line segment within a predetermined range as a center axis;
An image processing method.
前記画像処理装置は、
整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部と、
前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、
を備えるロボットシステム。 A robot, an imaging device that captures an object, an image processing device that acquires spatial data representing the position and orientation of one of the objects based on an image captured by the imaging device, and the spatial data A robot system comprising a robot control device for controlling the operation of the robot,
The image processing apparatus includes:
Consists of two arbitrary points selected from a plurality of points included in a three-dimensional point group representing the surface of the subject obtained from a three-dimensional image obtained by imaging one or more objects that are not aligned as a subject. A set selection unit that selects a set in which a length of a line segment between two points is within a predetermined range from the length of the object, among a plurality of sets;
An error between a distance between a line segment between two points forming the set selected by the set selection unit and a point within a predetermined distance from the line segment among the plurality of points, and an object radius, A central axis selection unit that selects the line segment within a predetermined range as a central axis;
A robot system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013225869A JP6237122B2 (en) | 2013-10-30 | 2013-10-30 | Robot, image processing method and robot system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013225869A JP6237122B2 (en) | 2013-10-30 | 2013-10-30 | Robot, image processing method and robot system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015085434A JP2015085434A (en) | 2015-05-07 |
| JP6237122B2 true JP6237122B2 (en) | 2017-11-29 |
Family
ID=53048792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013225869A Active JP6237122B2 (en) | 2013-10-30 | 2013-10-30 | Robot, image processing method and robot system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6237122B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6450788B2 (en) | 2017-02-21 | 2019-01-09 | ファナック株式会社 | Work removal system |
| US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
| JP7034971B2 (en) * | 2018-11-08 | 2022-03-14 | 株式会社東芝 | Actuation systems, controls, and programs |
| JP6810173B2 (en) * | 2019-01-29 | 2021-01-06 | 日本金銭機械株式会社 | Object grasping system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01134573A (en) * | 1987-11-19 | 1989-05-26 | Kawasaki Heavy Ind Ltd | Image processing method |
| JP4959520B2 (en) * | 2007-11-26 | 2012-06-27 | 三菱電機株式会社 | Position and orientation recognition apparatus and method, and component picking system |
| JP2011167815A (en) * | 2010-02-19 | 2011-09-01 | Ihi Corp | Object recognizing robot system |
| JP5105380B2 (en) * | 2010-05-28 | 2012-12-26 | 独立行政法人国立高等専門学校機構 | Picking system and picking method |
| JP2013117392A (en) * | 2011-12-01 | 2013-06-13 | Ohbayashi Corp | Positioning system, positioning method and program |
| JP5902023B2 (en) * | 2012-04-06 | 2016-04-13 | 株式会社セントラルユニ | Picking equipment |
-
2013
- 2013-10-30 JP JP2013225869A patent/JP6237122B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015085434A (en) | 2015-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10562182B2 (en) | Robot, robot system, control device, and control method | |
| JP6364856B2 (en) | robot | |
| JP5458885B2 (en) | Object detection method, object detection apparatus, and robot system | |
| US9044858B2 (en) | Target object gripping apparatus, method for controlling the same and storage medium | |
| US9118823B2 (en) | Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image | |
| JP5328979B2 (en) | Object recognition method, object recognition device, autonomous mobile robot | |
| JP6415026B2 (en) | Interference determination apparatus, interference determination method, and computer program | |
| JP5671281B2 (en) | Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus | |
| JP6489243B2 (en) | Object recognition device, object recognition method, object recognition program, robot system, and robot | |
| JP6054831B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2018205929A (en) | Learning device, learning method, learning model, detection device and gripping system | |
| US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
| US9595095B2 (en) | Robot system | |
| JP2010207989A (en) | Holding system of object and method of detecting interference in the same system | |
| JP6237122B2 (en) | Robot, image processing method and robot system | |
| JP2010071743A (en) | Method of detecting object, object detection device and robot system | |
| US10207409B2 (en) | Image processing method, image processing device, and robot system | |
| JP2020197978A (en) | Object detection device, object gripping system, object detection method, and object detection program | |
| JP2015079374A (en) | Object recognition device, object recognition method, object recognition program, robot system, and robot | |
| JP7051751B2 (en) | Learning device, learning method, learning model, detection device and gripping system | |
| JP5083715B2 (en) | 3D position and orientation measurement method and apparatus | |
| Zhang et al. | Vision-based six-dimensional peg-in-hole for practical connector insertion | |
| JP2014106856A (en) | Image recognition method and image recognition device | |
| JP2014238687A (en) | Image processing apparatus, robot control system, robot, image processing method, and image processing program | |
| JP7161857B2 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170718 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170720 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171016 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6237122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |