JP7296719B2 - Ease determination device and ease determination method - Google Patents

Ease determination device and ease determination method Download PDF

Info

Publication number
JP7296719B2
JP7296719B2 JP2018232608A JP2018232608A JP7296719B2 JP 7296719 B2 JP7296719 B2 JP 7296719B2 JP 2018232608 A JP2018232608 A JP 2018232608A JP 2018232608 A JP2018232608 A JP 2018232608A JP 7296719 B2 JP7296719 B2 JP 7296719B2
Authority
JP
Japan
Prior art keywords
easiness
region
index
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018232608A
Other languages
Japanese (ja)
Other versions
JP2020093341A (en
Inventor
將暢 山中
雅人 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2018232608A priority Critical patent/JP7296719B2/en
Publication of JP2020093341A publication Critical patent/JP2020093341A/en
Application granted granted Critical
Publication of JP7296719B2 publication Critical patent/JP7296719B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

この発明は、物体の把持の容易度を判定する容易度判定装置及び容易度判定方法に関する。 The present invention relates to an easiness determination device and an easiness determination method for determining the easiness of gripping an object.

従来から、テンプレートマッチングという手法を用いて、画像から、対象である物体の位置（ｘ、ｙ）及び姿勢（θ）を推定する２次元位置姿勢推定装置が知られている（例えば特許文献１参照）。この２次元位置姿勢推定装置では、物体のモデル（テンプレート）を予め登録し、画像とテンプレートとの間の画像特徴の一致度を評価することで、画像上での物体の位置姿勢を推定する。
そして、ロボットピッキングシステムでは、２次元位置姿勢推定装置により推定された物体の位置及び姿勢に基づいて、コンベア等の搬送路により供給された物体のピッキングを行う。 Conventionally, a two-dimensional position/orientation estimation apparatus is known that estimates the position (x, y) and orientation (θ) of a target object from an image using a method called template matching (see, for example, Patent Document 1). ). In this two-dimensional position and orientation estimation apparatus, an object model (template) is registered in advance, and the degree of matching of image features between the image and the template is evaluated to estimate the position and orientation of the object on the image.
Then, in the robot picking system, based on the position and orientation of the object estimated by the two-dimensional position/orientation estimation device, an object supplied by a conveying path such as a conveyor is picked.

特開２０１６－２０７１４７号公報JP 2016-207147 A

一方、複数のロボットが多品種少量の生産ラインで稼動している場合、ロボットによる把持ミスが生じると作業員がリカバリー作業を行う必要がある。しかしながら、常に把持ミスが起こるわけではない。よって、徹底的な合理化を促進するためには、物体の把持の容易度を検出し、ロボットに配置する作業員の人数を可能な限り少なくすることが望ましい。 On the other hand, when a plurality of robots are operating in a high-mix, low-volume production line, workers need to perform recovery work when a robot makes a gripping error. However, gripping errors do not always occur. Therefore, in order to promote thorough rationalization, it is desirable to detect the easiness of grasping an object and to reduce the number of workers assigned to the robot as much as possible.

この発明は、上記のような課題を解決するためになされたもので、物体の把持の容易度を判定可能な容易度判定装置を提供することを目的としている。 SUMMARY OF THE INVENTION An object of the present invention is to provide an easiness determination device capable of determining the easiness of gripping an object.

この発明に係る容易度判定装置は、搬送路により供給された物体のピッキングを行うロボットピッキングシステムに設けられる容易度判定装置であって、画像から物体のうちの平行グリッパが接触する面の面内方向である接触面内方向を推定し、推定結果から物体の把持の容易度を評価するための指標を取得する指標取得部と、指標取得部により取得された指標から、物体の把持の容易度を算出する容易度算出部と、容易度算出部により算出された容易度を示す情報を提示する容易度提示部とを備え、指標取得部は、画像を取得する画像取得部と、画像取得部により取得された画像から、物体を示す領域である物体領域を抽出する領域抽出部と、領域抽出部により抽出された物体領域に基づく領域から、物体における長軸方向を推定し、当該長軸方向を接触面内方向として推定する方向推定部と、領域抽出部により抽出された物体領域に基づく領域及び方向推定部により推定された接触面内方向から、物体の把持の容易度を評価するための指標を算出する指標算出部とを有し、領域抽出部は、閾値処理によって画像から搬送路を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出することを特徴とする。 An easiness determination device according to the present invention is provided in a robot picking system for picking an object supplied by a conveying path, wherein the easiness determination device detects from an image the in-plane of the object contacted by the parallel gripper. an index acquisition unit for estimating a contact in-plane direction, which is a direction, and acquiring an index for evaluating ease of gripping an object from the estimation result; and an easiness presentation unit for presenting information indicating the easiness calculated by the easiness calculation unit. estimating the long axis direction of the object from an area extraction unit for extracting an object area, which is an area indicating the object, from the image acquired by the area extraction unit, and estimating the long axis direction of the object from the area based on the object area extracted by the area extraction unit; To evaluate the easiness of gripping an object from a direction estimating unit that estimates the direction as an in-plane contact direction, a region based on the object region extracted by the region extracting unit, and the in-contact plane direction estimated by the direction estimating unit. The area extracting unit extracts an area indicating the conveying path from the image by threshold processing, extracts the area that has been filled in the area, and extracts both areas It is characterized by extracting an object region by taking the difference of .

この発明によれば、上記のように構成したので、物体の把持の容易度を判定可能である。 According to this invention, since it is configured as described above, it is possible to determine the degree of easiness of gripping an object.

実施の形態１に係る容易度判定装置を備えロボットピッキングシステムの構成例を示す図である。1 is a diagram showing a configuration example of a robot picking system including an easiness degree determination device according to Embodiment 1; FIG. 実施の形態１に係る容易度判定装置の構成例を示す図である。1 is a diagram showing a configuration example of an easiness degree determination device according to Embodiment 1; FIG. 実施の形態１に係る容易度判定装置の動作例を示すフローチャートである。4 is a flowchart showing an operation example of the easiness degree determination device according to Embodiment 1; 実施の形態１における画像取得部により取得された画像の一例を示す図である。FIG. 3 is a diagram showing an example of an image acquired by an image acquisition unit according to Embodiment 1; FIG. 図５Ａ～図５Ｃは、実施の形態１における領域抽出部による動作を説明するための図である。5A to 5C are diagrams for explaining the operation of the area extraction unit according to the first embodiment. 図６Ａ、図６Ｂは、実施の形態１における方向推定部による動作を説明するための図である。6A and 6B are diagrams for explaining the operation of the direction estimation unit according to Embodiment 1. FIG. 実施の形態１における総距離算出部により算出される総距離、最大距離算出部により算出される最大距離及び実距離算出部により算出される実距離を説明するための図である。4 is a diagram for explaining a total distance calculated by a total distance calculation unit, a maximum distance calculated by a maximum distance calculation unit, and an actual distance calculated by an actual distance calculation unit according to Embodiment 1; FIG.

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る容易度判定装置３を備えたロボットピッキングシステムの構成例を示す図である。
容易度判定装置３は、例えば、ＦＡ（ファクトリーオートメーション）等における物体１１のピッキング動作を行うロボットピッキングシステムに設けられる。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1.
FIG. 1 is a diagram showing a configuration example of a robot picking system including an easiness determination device 3 according to Embodiment 1. As shown in FIG.
The easiness determination device 3 is provided, for example, in a robot picking system that performs a picking operation of an object 11 in FA (factory automation) or the like.

ロボットピッキングシステムは、例えば、工場の生産ライン等に配置され、搬送路１２により供給された物体１１のピッキングを行う。なお、搬送路１２により供給される物体１１は重ならずに配置されているものとする。このロボットピッキングシステムは、図１に示すように、ロボット１、カメラ（撮像装置）２及び容易度判定装置３を備えている。 A robot picking system is arranged, for example, in a production line of a factory or the like, and picks an object 11 supplied through a transport path 12 . It is assumed that the objects 11 supplied by the transport path 12 are arranged without overlapping. This robot picking system includes a robot 1, a camera (imaging device) 2, and an easiness determination device 3, as shown in FIG.

ロボット１は、アームの先端に平行グリッパ１０１を有し、この平行グリッパ１０１を用いて物体１１のピッキングを行う。なお、平行の意味は略平行の意味を含み、また、複数の爪を略平行に配置して平行グリッパ１０１と等価な把持ができるようにしたものを含む。 The robot 1 has a parallel gripper 101 at the tip of its arm, and uses this parallel gripper 101 to pick an object 11 . Note that the term "parallel" includes the meaning of "substantially parallel", and also includes a plurality of claws arranged substantially parallel so that they can be gripped in the same manner as the parallel gripper 101. FIG.

カメラ２は、例えば平行グリッパ１０１に取付けられ、撮像領域を撮像して画像を得る。このカメラ２により得られた画像を示すデータ（画像データ）は容易度判定装置３に出力される。また、カメラ２の取付け位置は、平行グリッパ１０１に限られない。
なお、カメラ２により得られる画像は、撮像領域に物体１１が存在する場合に、その物体１１を示す領域（物体領域）とその他の領域（背景領域）とを判別可能な画像であればよく、その形式は問わない。カメラ２は、例えば２次元画像を得てもよい。この２次元画像としては、一般的にはカラー又はモノクロの可視画像が挙げられるが、これに限らず、可視画像では上記の判別が容易ではない場合には、近赤外線画像又はマルチスペクトル画像等の特殊な２次元画像を用いてもよい。また、カメラ２は、物体１１にある程度の奥行きがある場合には、距離画像を得てもよい。 The camera 2 is attached to, for example, a parallel gripper 101 and captures an imaging area to obtain an image. Data (image data) representing an image obtained by the camera 2 is output to the easiness determination device 3 . Also, the mounting position of the camera 2 is not limited to the parallel gripper 101 .
The image obtained by the camera 2 may be an image that can distinguish between an area (object area) showing the object 11 and another area (background area) when the object 11 exists in the imaging area. Any format is acceptable. Camera 2 may, for example, obtain two-dimensional images. The two-dimensional image generally includes a color or monochrome visible image, but is not limited to this, and if the above discrimination is not easy with a visible image, a near-infrared image or a multispectral image, etc. Special two-dimensional images may also be used. Also, the camera 2 may obtain a distance image when the object 11 has a certain depth.

容易度判定装置３は、カメラ２により得られた画像から、搬送路１２により供給された物体１１の把持の容易度を判定する。この容易度判定装置３は、図２に示すように、指標取得部３０１、容易度算出部３０２及び容易度提示部３０３を備えている。なお、容易度判定装置３は、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。 The easiness determination device 3 determines the easiness of gripping the object 11 supplied by the transport path 12 from the image obtained by the camera 2 . The easiness determination device 3 includes an index acquisition unit 301, an easiness calculation unit 302, and an easiness presentation unit 303, as shown in FIG. The easiness determination device 3 is implemented by a processing circuit such as a system LSI (Large Scale Integration) or a CPU (Central Processing Unit) that executes a program stored in a memory or the like.

指標取得部３０１は、カメラ２により得られた画像から物体１１の接触面内方向を推定し、推定結果から物体１１の把持の容易度を評価するための指標を取得する。接触面内方向は、物体１１のうちの平行グリッパ１０１が接触する面の面内方向である。この指標取得部３０１は、図２に示すように、画像取得部３０４、領域抽出部３０５、方向推定部３０６、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９を有している。 The index acquisition unit 301 estimates the contact plane direction of the object 11 from the image obtained by the camera 2, and acquires an index for evaluating the ease of gripping the object 11 from the estimation result. The contact in-plane direction is the in-plane direction of the surface of the object 11 with which the parallel gripper 101 contacts. The index acquisition unit 301 includes an image acquisition unit 304, an area extraction unit 305, a direction estimation unit 306, a total distance calculation unit 307, a maximum distance calculation unit 308, and an actual distance calculation unit 309, as shown in FIG. there is

画像取得部３０４は、カメラ２により得られた画像を取得する。 An image acquisition unit 304 acquires an image obtained by the camera 2 .

領域抽出部３０５は、画像取得部３０４により取得された画像から、画像処理によって物体領域を抽出する。すなわち、領域抽出部３０５は、上記画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する。領域抽出部３０５による物体領域の抽出手法としては、例えば閾値処理又は背景差分法等が考えられるが、物体領域と背景領域とを判別して物体領域を抽出可能な手法であれば特に制限はない。 A region extraction unit 305 extracts an object region from the image acquired by the image acquisition unit 304 by image processing. That is, the area extraction unit 305 extracts an object area from the image based on the degree of change in contrast. As a method for extracting the object region by the region extracting unit 305, for example, threshold processing, background subtraction, or the like can be considered, but there is no particular limitation as long as the method can distinguish between the object region and the background region and extract the object region. .

方向推定部３０６は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定することで、物体１１の接触面内方向を推定する。なお、領域抽出部３０５により抽出された物体領域に基づく領域は、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの１つ以上の領域を含む。幾何学形状としては、矩形又は楕円等が挙げられる。
方向推定部３０６は、例えば、上記接触面内方向として上記物体領域に基づく領域の長軸方向を推定する。 The direction estimation unit 306 estimates the contact plane direction of the object 11 by estimating the orientation of the object 11 based on a reproducible unique direction from the area based on the object area extracted by the area extraction unit 305. . Note that the regions based on the object region extracted by the region extraction unit 305 include the object region, a convex hull region of the object region, a geometric approximation of the object region, and a geometric shape of the object region. It includes one or more of the smallest enclosing area or the smallest area that geometrically circumscribes the object area. Geometric shapes include rectangles, ellipses, and the like.
The direction estimator 306 estimates, for example, the major axis direction of the area based on the object area as the in-contact plane direction.

総距離算出部３０７は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、総距離を算出する。総距離は、上記物体領域そのものにおける上記接触面内方向に平行（略平行の意味を含む）な両辺の合計の距離である。 A total distance calculation unit 307 calculates a total distance from the area based on the object area extracted by the area extraction unit 305 and the contact plane direction estimated by the direction estimation unit 306 . The total distance is the total distance of both sides parallel (including the meaning of substantially parallel) to the in-contact plane direction in the object area itself.

最大距離算出部３０８は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、最大距離を算出する。最大距離は、上記両辺を上記接触面内方向に投影した際に重複する部分の距離である。 A maximum distance calculation unit 308 calculates a maximum distance from the area based on the object area extracted by the area extraction unit 305 and the contact plane direction estimated by the direction estimation unit 306 . The maximum distance is the distance of the overlapping portion when both sides are projected in the contact surface direction.

実距離算出部３０９は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、実距離を算出する。実距離は、上記物体領域に基づく領域における上記接触面内方向に垂直な方向（平行グリッパ１０１の把持方向）の距離である。 The actual distance calculation unit 309 calculates the actual distance from the area based on the object area extracted by the area extraction unit 305 and the contact plane direction estimated by the direction estimation unit 306 . The actual distance is the distance in the direction (gripping direction of the parallel gripper 101) perpendicular to the in-contact plane direction in the area based on the object area.

なお、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９は、「領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、物体１１の把持の容易度を評価するための指標を算出する指標算出部」を構成する。 Note that the total distance calculation unit 307, the maximum distance calculation unit 308, and the actual distance calculation unit 309 calculate "from the area based on the object area extracted by the area extraction unit 305 and the direction in the contact plane estimated by the direction estimation unit 306, An index calculation unit for calculating an index for evaluating the degree of easiness of gripping the object 11 is configured.

また図２では、指標取得部３０１が、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９の全てを有する場合を示した。しかしながら、これに限らず、指標取得部３０１は、総距離算出部３０７、最大距離算出部３０８及び実距離算出部３０９のうちの少なくとも１つ以上を有していればよい。
また、指標取得部３０１は、取得する指標として、上記各指標に加え、更に別の指標を含めてもよい。 2 shows a case where the index acquisition unit 301 includes all of the total distance calculation unit 307, the maximum distance calculation unit 308, and the actual distance calculation unit 309. FIG. However, the present invention is not limited to this, and the index acquisition section 301 may include at least one of the total distance calculation section 307 , maximum distance calculation section 308 and actual distance calculation section 309 .
The index acquisition unit 301 may also include another index in addition to the above indices as the index to be acquired.

容易度算出部３０２は、指標取得部３０１により取得された指標から、搬送路１２により供給された物体１１の把持の容易度を算出する。
なお、容易度算出部３０２は、例えば、指標取得部３０１により取得された指標に係数を乗じた多項式によって容易度を算出する。又は、容易度算出部３０２は、機械学習を行った学習済みの学習器を用いて容易度を算出する。 The easiness calculation unit 302 calculates the easiness of gripping the object 11 supplied through the transport path 12 from the index acquired by the index acquisition unit 301 .
Note that the easiness calculation unit 302 calculates the easiness using, for example, a polynomial obtained by multiplying the index acquired by the index acquisition unit 301 by a coefficient. Alternatively, the easiness calculation unit 302 calculates the easiness using a learned learner that has performed machine learning.

容易度提示部３０３は、容易度算出部３０２により算出された容易度を示す情報を、モニタ（不図示）に提示する。 The easiness presentation unit 303 presents information indicating the easiness calculated by the easiness calculation unit 302 on a monitor (not shown).

次に、図２に示す容易度判定装置３の動作例について、図３を参照しながら説明する。
一般的に、物体１１の姿勢を表現する場合、オイラー角（α，β，γ）及び四元数（ｗ，ｘ，ｙ，ｚ）に代表されるように、ある基準からの回転量（角度）で表現する場合が多い。この場合、物体１１自体はその基準を持っていないため、ユーザは、任意に基準を設定する必要がある。また、基準の設定に関しては特に制限はない。よって、方向推定部３０６は、物体領域に基づく領域から再現性のある一意の方向を導出することで、基準となるテンプレートを用いずに物体１１の姿勢が表現可能である。
また、画像上で物体１１の姿勢を表現する場合、主にＺ軸（カメラ２の光軸方向）周りの回転量で表現する場合が多い。よって、Ｚ軸周りに回転対称な形状を有する物体１１に対しては、姿勢の表現が不可能（不必要）である。このことから、画像上での姿勢推定が必要な物体１１は、形状に何らかの幾何学的特徴を有するものに限定される。そして、物体１１として形状に何らかの幾何学的特徴を有するものを想定した場合、その物体領域に基づく領域の長軸方向は一意に定まる。そこで、以下では、方向推定部３０６は物体１１の接触面内方向として長軸方向を推定する。 Next, an operation example of the easiness determination device 3 shown in FIG. 2 will be described with reference to FIG.
In general, when expressing the posture of the object 11, the amount of rotation (angle ) is often expressed. In this case, the object 11 itself does not have its reference, so the user has to arbitrarily set the reference. Moreover, there is no particular limitation regarding the setting of the criteria. Therefore, the direction estimating unit 306 can express the orientation of the object 11 without using a reference template by deriving a unique reproducible direction from the region based on the object region.
Moreover, when expressing the posture of the object 11 on the image, it is often expressed mainly by the amount of rotation around the Z-axis (optical axis direction of the camera 2). Therefore, it is impossible (unnecessary) to express the orientation of the object 11 having a shape that is rotationally symmetrical about the Z axis. For this reason, the object 11 whose pose needs to be estimated on the image is limited to those having some geometric features in their shape. Assuming that the object 11 has some geometric feature in its shape, the longitudinal direction of the area based on the object area is uniquely determined. Therefore, in the following description, the direction estimation unit 306 estimates the long axis direction as the direction within the contact surface of the object 11 .

そして、実施の形態１に係る容易度判定装置３では、物体領域及び接触面内方向を入力情報として用いることで、搬送路１２により供給された物体１１の把持の容易度を判定する。 Then, the easiness determination device 3 according to the first embodiment determines the easiness of gripping of the object 11 supplied by the transport path 12 by using the object area and the in-contact plane direction as input information.

この実施の形態１に係る容易度判定装置３の動作例では、図３に示すように、まず、画像取得部３０４は、カメラ２により得られた画像を取得する（ステップＳＴ１）。 In the operation example of the easiness determination device 3 according to the first embodiment, as shown in FIG. 3, first, the image acquisition unit 304 acquires an image obtained by the camera 2 (step ST1).

次いで、領域抽出部３０５は、画像取得部３０４により取得された画像から、画像処理によって物体領域を抽出する（ステップＳＴ２）。ここでは、領域抽出部３０５は、閾値処理によって画像から物体領域を抽出するものとする。画像取得部３０４により例えば図４に示すような画像が取得されたとする。この画像には、物体１１、搬送路１２及びその他の背景が含まれている。実施の形態１に係る容易度判定装置３では、テンプレートを用意しないため、画像から物体領域を直接抽出することは容易ではない。そこで、領域抽出部３０５は、まず、例えば図５Ａに示すように、閾値処理によって画像から搬送路１２を示す領域（図５Ａに示すグレーの領域）５０１を抽出することが望ましい。そして、領域抽出部３０５は、搬送路１２を示す領域５０１と、当該領域に対してクロージング処理等で領域の穴埋めを行った領域（図５Ｂに示すグレーの領域）５０２との差分をとることで、物体領域（図５Ｃに示すグレーの領域）５０３が抽出可能である。 Next, the region extraction unit 305 extracts an object region by image processing from the image acquired by the image acquisition unit 304 (step ST2). Here, it is assumed that the region extraction unit 305 extracts the object region from the image by threshold processing. Assume that the image acquisition unit 304 acquires an image as shown in FIG. 4, for example. This image includes the object 11, the transport path 12 and other backgrounds. Since the ease determination device 3 according to the first embodiment does not prepare a template, it is not easy to directly extract an object region from an image. Therefore, as shown in FIG. 5A, for example, the area extracting unit 305 preferably extracts an area (gray area shown in FIG. 5A) 501 indicating the transport path 12 from the image by threshold processing. Then, the area extracting unit 305 obtains the difference between the area 501 indicating the transport path 12 and the area (gray area shown in FIG. 5B) 502 that is filled by the closing process or the like. , an object region (gray region shown in FIG. 5C) 503 can be extracted.

次いで、方向推定部３０６は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定することで、物体１１の接触面内方向を推定する（ステップＳＴ３）。ここでは、方向推定部３０６は、上記領域の図心を用い、上記接触面内方向として上記領域の長軸方向を推定する。 Next, the direction estimating unit 306 estimates the orientation of the object 11 based on a reproducible unique direction from the area based on the object area extracted by the area extracting unit 305, thereby estimating the in-plane contact direction of the object 11. Estimate (step ST3). Here, the direction estimating unit 306 uses the centroid of the area to estimate the major axis direction of the area as the in-contact-plane direction.

具体的には、方向推定部３０６は、まず、領域抽出部３０５により抽出された物体領域に基づく領域の図心を導出する。ここで、上記領域を構成する点の座標が（ｕｉ，ｖｉ）（ｉ，ｊ＝１，・・・，Ｎ）で表される場合、方向推定部３０６は、当該領域の０次モーメント及び１次モーメントを用いて、下式（１）～（４）から、当該領域の図心を導出する。なお、Ｎは上記領域を構成する点の個数である。また、式（１）～（４）において、ｍ００は上記領域の０次モーメントを表し、（ｍ１０，ｍ０１）は当該領域の１次モーメントを表し、（ｕ（バー），ｖ（バー））は当該領域の図心を表す。

Figure 0007296719000001
Specifically, the direction estimation unit 306 first derives the centroid of the area based on the object area extracted by the area extraction unit 305 . Here, when the coordinates of the points forming the above region are represented by (u i , v i ) (i, j=1, . and the first moment, the centroid of the region is derived from the following equations (1) to (4). Note that N is the number of points forming the region. In the formulas (1) to (4), m 00 represents the 0th order moment of the above region, (m 10 , m 01 ) represents the 1st order moment of the region, (u (bar), v (bar )) represents the centroid of the region.

Figure 0007296719000001

そして、基準方向が画像上の水平方向である場合、方向推定部３０６は、上記領域の２次モーメント及び当該領域の図心に基づいて、下式（６）～（９）から、水平方向からの回転角度を導出することで物体１１の長軸方向を推定する。式（６）～（９）において、（ｍ２０，ｍ０２，ｍ１１）は上記領域の２次モーメントを表し、θは回転角度を表す。

Figure 0007296719000002
Then, when the reference direction is the horizontal direction on the image, the direction estimating unit 306 calculates from the following equations (6) to (9) based on the second moment of the region and the centroid of the region, from the horizontal direction The long axis direction of the object 11 is estimated by deriving the rotation angle of . In equations (6) to (9), (m 20 , m 02 , m 11 ) represent the secondary moment of the above region, and θ represents the rotation angle.

Figure 0007296719000002

例えば、領域抽出部３０５が図５Ｃに示すような物体領域５０３を抽出したとする。また、方向推定部３０６が用いる領域が、図６Ａに示すように物体領域５０３を包含する最小の矩形領域６０１であるとする。この場合、方向推定部３０６により導出される図心６０２及び長軸方向６０３は図６Ｂに示すようになる。 For example, assume that the region extraction unit 305 has extracted an object region 503 as shown in FIG. 5C. It is also assumed that the area used by the direction estimation unit 306 is the smallest rectangular area 601 that includes the object area 503 as shown in FIG. 6A. In this case, the centroid 602 and longitudinal direction 603 derived by the direction estimator 306 are as shown in FIG. 6B.

また、方向推定部３０６は、例えば図５Ｃに示す物体領域５０３及び図６Ａに示す矩形領域６０１等のように複数の領域を用いてそれぞれに対して物体１１の長軸方向の推定を行い、それらの推定結果に基づいて物体１１の長軸方向を推定してもよい。これにより、方向推定部３０６は、方向推定の精度の向上を図ることができる。 The direction estimating unit 306 also estimates the longitudinal direction of the object 11 using a plurality of regions such as the object region 503 shown in FIG. 5C and the rectangular region 601 shown in FIG. The longitudinal direction of the object 11 may be estimated based on the estimation result of . As a result, direction estimation section 306 can improve the accuracy of direction estimation.

次いで、総距離算出部３０７は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、総距離を算出する（ステップＳＴ４）。すなわち、総距離算出部３０７は、図７に示すように、上記物体領域そのものにおける長軸方向に平行な両辺（図７で符号７０３，７０４に示す辺）の合計の距離を、総距離として算出する。また図７において、符号７０１は図心を示し、符号７０２は長軸方向を示している。 Next, the total distance calculation unit 307 calculates the total distance from the area based on the object area extracted by the area extraction unit 305 and the contact plane direction estimated by the direction estimation unit 306 (step ST4). That is, as shown in FIG. 7, the total distance calculation unit 307 calculates the total distance of both sides (sides indicated by reference numerals 703 and 704 in FIG. 7) parallel to the longitudinal direction of the object area itself as the total distance. do. In FIG. 7, reference numeral 701 indicates the centroid, and reference numeral 702 indicates the longitudinal direction.

物体領域に基づく領域において接触面内方向に平行な両辺が長い程、平行グリッパ１０１が物体１１を把持する際に物体１１との接触距離が長くなると考えられる。この接触距離が長いということは、平行グリッパ１０１が物体１１を広範囲で把持できることを意味する。そして、平行グリッパ１０１は、把持する範囲が広い程、物体１１の回転モーメントに対して頑健となり、また、静止摩擦力が働くための接触面も広くなる。よって、総距離算出部３０７により算出される総距離は、物体１１の把持が安定し易く容易であることを評価するための因子として技術的な意義がある。 It is considered that the longer both sides parallel to the in-contact plane direction in the area based on the object area, the longer the contact distance with the object 11 when the parallel gripper 101 grips the object 11 . This long contact distance means that the parallel gripper 101 can grip the object 11 over a wide range. The wider the gripping range of the parallel gripper 101, the more robust it is against the rotational moment of the object 11, and the wider the contact surface on which the static frictional force acts. Therefore, the total distance calculated by the total distance calculation unit 307 has technical significance as a factor for evaluating whether the object 11 is stably and easily grasped.

また、最大距離算出部３０８は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、最大距離を算出する（ステップＳＴ５）。すなわち、最大距離算出部３０８は、図７に示すように、上記物体領域そのものにおける長軸方向に平行な両辺を当該長軸方向に投影した際に重複する部分の距離（図７で符号７０５に示す距離）を、最大距離として算出する。 Further, the maximum distance calculation unit 308 calculates the maximum distance from the area based on the object area extracted by the area extraction unit 305 and the contact plane direction estimated by the direction estimation unit 306 (step ST5). That is, as shown in FIG. 7, the maximum distance calculation unit 308 calculates the distance of the overlapping portion when both sides parallel to the long axis direction of the object region itself are projected in the long axis direction (reference numeral 705 in FIG. distance shown) is calculated as the maximum distance.

一般的に、平行グリッパ１０１が物体１１を安定的に把持するためには少なくとも３点以上で把持することが望ましい。これに対し、最大距離が長い程、３点以上で把持可能な範囲が広くなるため、把持が安定し易く容易であると評価できる。仮に、平行グリッパ１０１が物体１１に接する部分が間欠的になることで総距離が短い場合でも、最大距離が長い場合には、平行グリッパ１０１は物体１１を広範囲で把持可能であり、把持が容易になると評価できる。よって、最大距離算出部３０８により算出される最大距離は、物体１１の把持が安定し易く容易であることを評価するための因子として技術的な意義がある。 In general, in order for the parallel gripper 101 to stably grip the object 11, it is desirable to grip at least three points. On the other hand, the longer the maximum distance, the wider the range that can be gripped by three or more points. Even if the total distance is short due to intermittent contact of the parallel gripper 101 with the object 11, if the maximum distance is long, the parallel gripper 101 can grip the object 11 over a wide range, which facilitates gripping. can be evaluated. Therefore, the maximum distance calculated by the maximum distance calculation unit 308 has technical significance as a factor for evaluating whether the object 11 is stably and easily grasped.

また、実距離算出部３０９は、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、実距離を算出する（ステップＳＴ６）。すなわち、実距離算出部３０９は、図７に示すように、物体領域に基づく領域における短軸方向の距離（図７で符号７０６に示す距離）を、実距離として算出する。 Further, the actual distance calculation unit 309 calculates the actual distance from the region based on the object region extracted by the region extraction unit 305 and the direction within the contact plane estimated by the direction estimation unit 306 (step ST6). That is, as shown in FIG. 7, the actual distance calculation unit 309 calculates the distance in the minor axis direction (the distance indicated by reference numeral 706 in FIG. 7) in the area based on the object area as the actual distance.

平行グリッパ１０１は、最大ストロークを超えた大きさの物体１１は把持できない。よって、実距離算出部３０９により算出された実距離は、物体１１の把持が容易であることを評価するための因子としての技術的な意義がある。 The parallel gripper 101 cannot grip an object 11 whose size exceeds the maximum stroke. Therefore, the actual distance calculated by the actual distance calculation unit 309 has technical significance as a factor for evaluating whether the object 11 is easily gripped.

次いで、容易度算出部３０２は、指標取得部３０１により取得された指標から、搬送路１２により供給された物体１１の把持の容易度を算出する（ステップＳＴ７）。 Next, the easiness calculation unit 302 calculates the easiness of gripping the object 11 supplied by the transport path 12 from the index acquired by the index acquisition unit 301 (step ST7).

容易度は、基本的に、総距離、最大距離及び実距離のうちの何れか１つを用いれば成り立ち、また、これらと等価な技術的な意義を有する指標を用いてもよい。なお、実用性を考慮すれば、これらの指標は、指標の算出に用いた物体領域に基づく領域の総面積で正規化することで、汎用性が向上し、好適である。 The ease is basically established by using any one of the total distance, the maximum distance, and the actual distance, and an index having technical significance equivalent to these may be used. In terms of practicality, it is preferable to normalize these indices by the total area of the object region used to calculate the indices, because this improves versatility.

なお、総距離及び最大距離は、数値が大きい程（長い程）、容易度が高くなる。また、実距離は、数値が小さい程（短い程）、容易度が高くなる。そこで、容易度算出部３０２は、例えば下式（１０）、下式（１１）、下式（１２）又は下式（１３）のような多項式を用いて容易度を算出してもよい。なお、式（１０）～（１３）において、Ｘは総距離を示し、Ｙは最大距離を示し、Ｚは実距離を示し、Ｓは上記総面積を示している。また、Ａ，Ｂ，Ｃは係数であり、Ａ≧０．０であり、Ｂ≧０．０であり、Ｃ≧０．０である。また、Ａ，Ｂ，Ｃは、オペレータの経験又は実験データに基づく統計処理（回帰分析）等により決定される。
Ｆ＝ＡＸ＋ＢＹ－ＣＺ （１０）
Ｆ＝ＡＸ２＋ＢＹ２－ＣＺ２（１１）
Ｆ＝ＡＸ／Ｓ＋ＢＹ／Ｓ－ＣＺ／Ｓ （１２）
Ｆ＝ＡＸ２／Ｓ＋ＢＹ２／Ｓ－ＣＺ２／Ｓ （１３） It should be noted that the greater the total distance and the maximum distance, the higher the degree of ease. Also, the smaller the numerical value (shorter) the actual distance, the higher the degree of ease. Therefore, the easiness calculation unit 302 may calculate the easiness using a polynomial such as the following formula (10), the following formula (11), the following formula (12), or the following formula (13). In equations (10) to (13), X represents the total distance, Y represents the maximum distance, Z represents the actual distance, and S represents the total area. A, B, and C are coefficients, and A≧0.0, B≧0.0, and C≧0.0. A, B, and C are determined by statistical processing (regression analysis) or the like based on the operator's experience or experimental data.
F=AX+BY-CZ (10)
F=AX 2 +BY 2 -CZ 2 (11)
F=AX/S+BY/S-CZ/S (12)
F=AX 2 /S+BY 2 /S-CZ 2 /S (13)

また、容易度としては、総距離、最大距離、実距離以外にも、物体１１の把持の容易度の評価因子として技術的な意義のある指標を取り込むことが可能である。この場合、回帰分析等で得られる多項式では不十分になるくらいに、容易度との関係が複雑になる可能性がある。よって、容易度算出部３０２は、ディープラーニング等のＡＩ（人工知能）によって機械学習を行った学習済みの学習器を用いて容易度を算出してもよい。 In addition to the total distance, the maximum distance, and the actual distance, it is also possible to incorporate a technically meaningful index as an evaluation factor for the ease of gripping the object 11 as the ease. In this case, the relationship with the easiness may become so complicated that a polynomial obtained by regression analysis or the like is insufficient. Therefore, the easiness calculation unit 302 may calculate the easiness using a trained learner that has performed machine learning by AI (artificial intelligence) such as deep learning.

次いで、容易度提示部３０３は、容易度算出部３０２により算出された容易度を示す情報をモニタに提示する（ステップＳＴ８）。 Next, the easiness presentation unit 303 presents information indicating the easiness calculated by the easiness calculation unit 302 on the monitor (step ST8).

ここで、上述したように、複数のロボット１が多品種少量の生産ラインで稼動している場合、把持のミスが起こった際には作業員がリカバリー作業を行う必要がある。そこで、実施の形態１に係る容易度判定装置３で物体１１の把持の容易度を判定する。これにより、生産ラインの作業員又は監督者は、把持の容易度に応じて把持ミスが生じ易いと思われるロボット１に対して優先的に作業員を配置できる。その結果、生産ラインにおいて協働する作業員を効率よく配置可能となり、また、リカバリー作業のための作業員の移動時間を合理的に削減可能となる。 Here, as described above, when a plurality of robots 1 are operating in a high-mix, low-volume production line, workers need to perform recovery work when a gripping error occurs. Therefore, the ease of gripping the object 11 is determined by the ease determination device 3 according to the first embodiment. Thereby, the worker or supervisor of the production line can preferentially allocate workers to the robot 1 which is likely to make a wrong gripping according to the ease of gripping. As a result, cooperating workers can be efficiently arranged in the production line, and the travel time of the workers for recovery work can be reasonably reduced.

以上のように、この実施の形態１によれば、容易度判定装置３は、画像から物体１１のうちの平行グリッパ１０１が接触する面の面内方向である接触面内方向を推定し、推定結果から物体１１の把持の容易度を評価するための指標を取得する指標取得部３０１と、指標取得部３０１により取得された指標から、物体１１の把持の容易度を算出する容易度算出部３０２と、容易度算出部３０２により算出された容易度を示す情報を提示する容易度提示部３０３とを備えた。これにより、実施の形態１に係る容易度判定装置３は、物体１１の把持の容易度を判定可能である。 As described above, according to the first embodiment, the easiness determination device 3 estimates the in-plane contact direction, which is the in-plane direction of the plane of the object 11 that the parallel gripper 101 is in contact with, from the image. An index acquisition unit 301 that acquires an index for evaluating the easiness of gripping the object 11 from the result, and an easiness calculation unit 302 that calculates the easiness of gripping the object 11 from the index acquired by the index acquisition unit 301. and an easiness presentation unit 303 that presents information indicating the easiness calculated by the easiness calculation unit 302 . Thereby, the easiness determination device 3 according to the first embodiment can determine the easiness of gripping the object 11 .

また、実施の形態１における指標取得部３０１は、画像を取得する画像取得部３０４と、画像取得部３０４により取得された画像から、物体１１を示す領域である物体領域を抽出する領域抽出部３０５と、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定することで、当該物体１１の接触面内方向を推定する方向推定部３０６と、領域抽出部３０５により抽出された物体領域に基づく領域及び方向推定部３０６により推定された接触面内方向から、物体１１の把持の容易度を評価するための指標を算出する指標算出部とを有する。これにより、実施の形態１における指標取得部３０１は、テンプレートを用いずに多様な物体１１に対して画像上での接触面内方向が検出可能となり、その接触面内方向から上記指標を算出可能となる。 Further, the index acquisition unit 301 in Embodiment 1 includes an image acquisition unit 304 that acquires an image, and an area extraction unit 305 that extracts an object area, which is an area indicating the object 11, from the image acquired by the image acquisition unit 304. and a direction estimating unit that estimates the contact plane direction of the object 11 by estimating the orientation of the object 11 based on a reproducible unique direction from the area based on the object area extracted by the area extracting unit 305. 306, and an index calculation unit that calculates an index for evaluating the ease of gripping the object 11 from the area based on the object area extracted by the area extraction unit 305 and the contact plane direction estimated by the direction estimation unit 306. and As a result, the index acquisition unit 301 according to Embodiment 1 can detect the in-plane contact direction on the image of various objects 11 without using a template, and can calculate the index from the in-contact plane direction. becomes.

なお上記では、指標取得部３０１は、テンプレートを用いずに物体１１の接触面内方向を検出する場合を示した。しかしながら、これに限らず、指標取得部３０１は、テンプレートを用いて物体１１の接触面内方向を検出してもよい。 In the above description, the index acquisition unit 301 detects the contact plane direction of the object 11 without using a template. However, without being limited to this, the index acquisition unit 301 may detect the in-contact plane direction of the object 11 using a template.

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、若しくは実施の形態の任意の構成要素の省略が可能である。 It should be noted that, within the scope of the present invention, any component of the embodiment can be modified or any component of the embodiment can be omitted.

１ ロボット
２ カメラ（撮像装置）
３ 容易度判定装置
１１ 物体
１２ 搬送路
１０１ 平行グリッパ
３０１ 指標取得部
３０２ 容易度算出部
３０３ 容易度提示部
３０４ 画像取得部
３０５ 領域抽出部
３０６ 方向推定部
３０７ 総距離算出部
３０８ 最大距離算出部
３０９ 実距離算出部 1 robot 2 camera (imaging device)
3 Ease determination device 11 Object 12 Conveying path 101 Parallel gripper 301 Index acquisition unit 302 Ease calculation unit 303 Ease presentation unit 304 Image acquisition unit 305 Region extraction unit 306 Direction estimation unit 307 Total distance calculation unit 308 Maximum distance calculation unit 309 Actual distance calculator

Claims (5)

搬送路により供給された物体のピッキングを行うロボットピッキングシステムに設けられる容易度判定装置であって、
画像から物体のうちの平行グリッパが接触する面の面内方向である接触面内方向を推定し、推定結果から物体の把持の容易度を評価するための指標を取得する指標取得部と、
前記指標取得部により取得された指標から、物体の把持の容易度を算出する容易度算出部と、
前記容易度算出部により算出された容易度を示す情報を提示する容易度提示部とを備え、
前記指標取得部は、
画像を取得する画像取得部と、
前記画像取得部により取得された画像から、物体を示す領域である物体領域を抽出する領域抽出部と、
前記領域抽出部により抽出された物体領域に基づく領域から、物体における長軸方向を推定し、当該長軸方向を接触面内方向として推定する方向推定部と、
前記領域抽出部により抽出された物体領域に基づく領域及び前記方向推定部により推定された接触面内方向から、物体の把持の容易度を評価するための指標を算出する指標算出部とを有し、
前記領域抽出部は、閾値処理によって画像から前記搬送路を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする容易度判定装置。 An easiness determination device provided in a robot picking system for picking an object supplied by a transport path,
an index acquisition unit for estimating, from an image, an in-plane direction of a contact plane, which is an in-plane direction of a plane in contact with a parallel gripper of an object, and acquiring an index for evaluating ease of gripping the object from the estimation result;
an easiness calculation unit that calculates the easiness of gripping an object from the indices acquired by the index acquisition unit;
an easiness presentation unit that presents information indicating the easiness calculated by the easiness calculation unit;
The index acquisition unit
an image acquisition unit that acquires an image;
a region extraction unit that extracts an object region, which is a region representing an object, from the image acquired by the image acquisition unit;
a direction estimator for estimating a major axis direction of an object from the area based on the object area extracted by the area extractor and estimating the major axis direction as a contact plane direction;
an index calculation unit that calculates an index for evaluating the degree of ease of gripping an object from the region based on the object region extracted by the region extraction unit and the direction within the contact plane estimated by the direction estimation unit. ,
The region extraction unit extracts a region indicating the transport path from the image by threshold processing, extracts a region obtained by filling holes in the region, and extracts an object region by taking a difference between the two regions. An ease determination device characterized by: 前記指標算出部は、物体の把持の容易度を評価するための指標として、物体領域における接触面内方向に平行な両辺の合計の距離である総距離、当該両辺を当該接触面内方向に投影した際に重複する部分の距離である最大距離、及び、当該物体領域に基づく領域における当該接触面内方向に垂直な方向の距離である実距離のうちの少なくとも１つを算出する
ことを特徴とする請求項１記載の容易度判定装置。 The index calculation unit uses, as an index for evaluating the degree of ease of gripping an object, a total distance that is the total distance of both sides parallel to the contact plane direction in the object region, and projecting the both sides in the contact plane direction. calculating at least one of the maximum distance, which is the distance of the overlapping portion when the The ease determination device according to claim 1. 前記容易度算出部は、前記指標取得部により取得された指標に係数を乗じた多項式によって容易度を算出する
ことを特徴とする請求項１又は請求項２記載の容易度判定装置。 3. The easiness degree determination device according to claim 1, wherein the easiness degree calculation unit calculates the easiness degree using a polynomial expression in which the index acquired by the index acquisition unit is multiplied by a coefficient. 前記容易度算出部は、機械学習を行った学習済みの学習器を用いて容易度を算出する
ことを特徴とする請求項１又は請求項２記載の容易度判定装置。 3. The easiness degree determination device according to claim 1, wherein the easiness degree calculation unit calculates the easiness degree by using a machine learning-completed learning device. 搬送路により供給された物体のピッキングを行うロボットピッキングシステムに設けられる容易度判定装置による容易度判定方法であって、
指標取得部が、画像から物体のうちの平行グリッパが接触する面の面内方向である接触面内方向を推定し、推定結果から物体の把持の容易度を評価するための指標を取得するステップと、
容易度算出部が、前記指標取得部により取得された指標から、物体の把持の容易度を算出するステップと、
容易度提示部が、前記容易度算出部により算出された容易度を示す情報を提示するステップとを有し、
前記指標取得部は、
画像を取得する画像取得部と、
前記画像取得部により取得された画像から、物体を示す領域である物体領域を抽出する領域抽出部と、
前記領域抽出部により抽出された物体領域に基づく領域から、物体における長軸方向を推定し、当該長軸方向を接触面内方向として推定する方向推定部と、
前記領域抽出部により抽出された物体領域に基づく領域及び前記方向推定部により推定された接触面内方向から、物体の把持の容易度を評価するための指標を算出する指標算出部とを有し、
前記領域抽出部は、閾値処理によって画像から前記搬送路を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする容易度判定方法。 An easiness determination method by an easiness determination device provided in a robot picking system for picking an object supplied by a transport path,
A step in which the index acquisition unit estimates, from the image, the in-plane direction of the contact plane, which is the in-plane direction of the plane in contact with the parallel gripper of the object, and acquires an index for evaluating the ease of gripping the object from the estimation result. and,
a step in which an easiness degree calculation unit calculates an easiness degree of gripping an object from the index acquired by the index acquisition unit;
an easiness presentation unit presenting information indicating the easiness calculated by the easiness calculation unit;
The index acquisition unit
an image acquisition unit that acquires an image;
a region extraction unit that extracts an object region, which is a region representing an object, from the image acquired by the image acquisition unit;
a direction estimator for estimating a major axis direction of an object from the area based on the object area extracted by the area extractor and estimating the major axis direction as a contact plane direction;
an index calculation unit that calculates an index for evaluating the degree of ease of gripping an object from the region based on the object region extracted by the region extraction unit and the direction within the contact plane estimated by the direction estimation unit. ,
The region extraction unit extracts a region indicating the transport path from the image by threshold processing, extracts a region obtained by filling holes in the region, and extracts an object region by taking a difference between the two regions. An ease determination method characterized by:
JP2018232608A 2018-12-12 2018-12-12 Ease determination device and ease determination method Active JP7296719B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018232608A JP7296719B2 (en) 2018-12-12 2018-12-12 Ease determination device and ease determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018232608A JP7296719B2 (en) 2018-12-12 2018-12-12 Ease determination device and ease determination method

Publications (2)

Publication Number Publication Date
JP2020093341A JP2020093341A (en) 2020-06-18
JP7296719B2 true JP7296719B2 (en) 2023-06-23

Family

ID=71085881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018232608A Active JP7296719B2 (en) 2018-12-12 2018-12-12 Ease determination device and ease determination method

Country Status (1)

Country Link
JP (1) JP7296719B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013108933A (en) 2011-11-24 2013-06-06 Kddi Corp Information terminal device
JP2015145055A (en) 2014-02-04 2015-08-13 セイコーエプソン株式会社 Robot, robot system, control device, and control method
JP2016203293A (en) 2015-04-21 2016-12-08 株式会社豊田自動織機 Picking device and picking method
JP2018051704A (en) 2016-09-29 2018-04-05 セイコーエプソン株式会社 Robot control device, robot, and robot system
JP2018144167A (en) 2017-03-03 2018-09-20 株式会社キーエンス Image processing device, image processing method, image processing program and recording medium readable by computer as well as equipment with the same recorded

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0639773A (en) * 1992-07-28 1994-02-15 Fujitsu Ltd Grasping device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013108933A (en) 2011-11-24 2013-06-06 Kddi Corp Information terminal device
JP2015145055A (en) 2014-02-04 2015-08-13 セイコーエプソン株式会社 Robot, robot system, control device, and control method
JP2016203293A (en) 2015-04-21 2016-12-08 株式会社豊田自動織機 Picking device and picking method
JP2018051704A (en) 2016-09-29 2018-04-05 セイコーエプソン株式会社 Robot control device, robot, and robot system
JP2018144167A (en) 2017-03-03 2018-09-20 株式会社キーエンス Image processing device, image processing method, image processing program and recording medium readable by computer as well as equipment with the same recorded

Also Published As

Publication number Publication date
JP2020093341A (en) 2020-06-18

Similar Documents

Publication Publication Date Title
JP6180087B2 (en) Information processing apparatus and information processing method
JP6180086B2 (en) Information processing apparatus and information processing method
JP2019063984A (en) Information processor, method, and robot system
JP6415026B2 (en) Interference determination apparatus, interference determination method, and computer program
WO2012066769A1 (en) Information processing apparatus and information processing method
WO2020190166A1 (en) Method and system for grasping an object by means of a robotic device
JP2016196077A (en) Information processor, information processing method, and program
JP7377627B2 (en) Object detection device, object grasping system, object detection method, and object detection program
CN114029243B (en) Soft object grabbing and identifying method for sorting robot
JP6632656B2 (en) Interference determination device, interference determination method, and computer program
CN111483750A (en) Control method and control device for robot system
CN114952809A (en) Workpiece identification and pose detection method and system and grabbing control method of mechanical arm
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
CN111745640A (en) Object detection method, object detection device, and robot system
JP6626338B2 (en) Information processing apparatus, control method for information processing apparatus, and program
WO2017170761A1 (en) Three-dimensional video data generation device, three-dimensional video data generation program, and three-dimensional video data generation method
JP7296719B2 (en) Ease determination device and ease determination method
CN114495273A (en) Robot gesture teleoperation method and related device
EP4261636A1 (en) Processing device, processing system, head mounted display, processing method, program, and storage medium
JP7178889B2 (en) STABILITY DETERMINATION DEVICE AND STABILITY DETERMINATION METHOD
JP6836628B2 (en) Object recognition device for picking or devanning, object recognition method for picking or devanning, and program
CN117794704A (en) Robot control device, robot control system, and robot control method
JP7178802B2 (en) 2D Position and Posture Estimation Apparatus and 2D Position and Posture Estimation Method
JP6644846B1 (en) Work position and orientation recognition device and picking system
WO2019093299A1 (en) Position information acquisition device and robot control device provided with same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7296719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150