JP2021020266A

JP2021020266A - Device and method for determining action of robot, and program

Info

Publication number: JP2021020266A
Application number: JP2019137588A
Authority: JP
Inventors: 豊男飯田; Toyoo Iida
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2019-07-26
Filing date: 2019-07-26
Publication date: 2021-02-18
Anticipated expiration: 2039-07-26
Also published as: JP7331527B2

Abstract

To determine an action of a robot picking objects stored in a container, while suppressing an increase in calculation costs.SOLUTION: An image processing device sets a plurality of regions with mutually exclusive relationships, in a space in a container, and further, sets definition information for defining a translational action of an end effector, in association with the plurality of regions respectively. The image processing device detects a position of an object, on the basis of an image obtained by imaging the container. The image processing device determines a picking action of the end effector from holding an object until the object is transported to the outside of the container. The image processing device determines, as a translational element of the picking action, a translational action defined by the definition information associated with a region containing the detected position among the plurality of regions.SELECTED DRAWING: Figure 1

Description

本技術は、ロボットの動作を決定する装置、方法およびプログラムに関する。 The present technology relates to devices, methods and programs that determine the movement of a robot.

従来、視覚センサを用いて、容器の中に収容された対象物を把持して取り出すピッキング動作を行なうロボットが知られている。容器の壁面近傍に位置する対象物に対するピッキング動作の際に、対象物が容器に接触し、対象物がロボットから落下する可能性がある。 Conventionally, there is known a robot that uses a visual sensor to perform a picking operation of grasping and taking out an object contained in a container. During the picking operation for an object located near the wall surface of the container, the object may come into contact with the container and the object may fall from the robot.

特開２０１２−１０６３３５（特許文献１）には、ロボットアームと、ロボットアームの移動の障害となる障害物との間の干渉チェックを行ない、干渉を免れた有効な移動経路のみを抽出した有効移動経路網を作成する技術が開示されている。当該技術を用いることにより、対象物と容器との接触を防止できる。 According to Japanese Patent Application Laid-Open No. 2012-106335 (Patent Document 1), an interference check is performed between a robot arm and an obstacle that hinders the movement of the robot arm, and only an effective movement path that avoids interference is extracted. A technique for creating a route network is disclosed. By using this technology, it is possible to prevent contact between the object and the container.

特開２０１２−１０６３３５号公報Japanese Unexamined Patent Publication No. 2012-106335

しかしながら、特許文献１に記載の技術では、ロボットアームと障害物との干渉チェックのために複雑な演算が実行される。そのため、移動経路を生成するための計算コストが増加する。 However, in the technique described in Patent Document 1, a complicated calculation is executed for checking the interference between the robot arm and an obstacle. Therefore, the calculation cost for generating the movement route increases.

本発明は、上記の問題に鑑みてなされたものであり、その目的は、計算コストの増加を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる装置、方法およびプログラムを提供することである。 The present invention has been made in view of the above problems, and an object of the present invention is a device, method and program capable of determining the operation of a robot that picks an object contained in a container while suppressing an increase in calculation cost. Is to provide.

本開示の一例によれば、容器に収容された対象物をピッキングするロボットの動作を決定する装置は、領域設定部と、情報設定部と、検出部と、決定部とを備える。領域設定部は、容器内の空間において、互いに排他的な関係にある複数の領域を設定する。情報設定部は、複数の領域の各々と対応付けて、ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定する。検出部は、容器を撮像することにより得られた画像に基づいて、対象物の位置を検出する。決定部は、対象物を保持してから対象物を容器外に搬送するまでのエンドエフェクタのピッキング動作を決定する。決定部は、複数の領域のうち検出部によって検出された位置を含む領域に対応付けられた定義情報によって定義される並進動作をピッキング動作の並進成分として決定する。 According to an example of the present disclosure, a device that determines the operation of a robot that picks an object housed in a container includes an area setting unit, an information setting unit, a detection unit, and a determination unit. The area setting unit sets a plurality of areas having an exclusive relationship with each other in the space inside the container. The information setting unit sets definition information that defines the translational operation of the end effector possessed by the robot in association with each of the plurality of areas. The detection unit detects the position of the object based on the image obtained by imaging the container. The determination unit determines the picking operation of the end effector from holding the object to transporting the object out of the container. The determination unit determines the translation operation defined by the definition information associated with the area including the position detected by the detection unit among the plurality of areas as the translation component of the picking operation.

この開示によれば、装置は、複雑な計算を行なうことなく、予め設定した定義情報を用いて、対象物に対するピッキング動作の並進成分を容易に決定できる。その結果、計算コストの増大を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる。 According to this disclosure, the apparatus can easily determine the translational component of the picking operation with respect to the object by using the preset definition information without performing complicated calculation. As a result, it is possible to determine the operation of the robot that picks the object contained in the container while suppressing the increase in the calculation cost.

上述の開示において、複数の領域は、容器内における第１対象壁面に隣接する第１領域と、第１領域よりも第１対象壁面から離れた位置の第２領域とを含む。 In the above disclosure, the plurality of regions include a first region adjacent to the first target wall surface in the container and a second region located farther from the first target wall surface than the first region.

この開示によれば、第１領域と第２領域とのそれぞれについて、ピッキング動作の並進成分を決定するための定義情報を別個に設定できる。すなわち、第１領域および第２領域の各々について、当該領域に適した並進動作を定義する定義情報を設定することができる。 According to this disclosure, definition information for determining the translational component of the picking operation can be set separately for each of the first region and the second region. That is, for each of the first region and the second region, definition information that defines the translational motion suitable for the region can be set.

上述の開示において、領域設定部は、第１対象壁面からの距離情報を用いて第１領域および第２領域を設定する。この開示によれば、第１領域および第２領域を容易に設定できる。 In the above disclosure, the area setting unit sets the first area and the second area by using the distance information from the first target wall surface. According to this disclosure, the first region and the second region can be easily set.

例えば、第１領域に対応付けられた第１定義情報は、第１対象壁面から遠ざかる第１方向を示す。第１定義情報によって定義される並進動作は、起点に対する終点の方向が第１方向に一致する動作である。 For example, the first definition information associated with the first region indicates a first direction away from the first target wall surface. The translational motion defined by the first definition information is an motion in which the direction of the end point with respect to the start point coincides with the first direction.

あるいは、第１領域に対応付けられた第１定義情報は、対象物が通過すべき指定位置を指定するための情報であってもよい。第１定義情報によって定義される並進動作は、検出された位置と指定位置とを通る直線または曲線に沿った動作である。 Alternatively, the first definition information associated with the first region may be information for designating a designated position through which the object should pass. The translational motion defined by the first definition information is an motion along a straight line or a curve passing through the detected position and the designated position.

これらの開示によれば、第１定義情報で示される方向または指定位置に従って、ピッキング動作の並進成分が決定される。 According to these disclosures, the translational component of the picking operation is determined according to the direction or the designated position indicated by the first definition information.

上述の開示において、指定位置は、検出された位置に応じて指定される。この開示によれば、検出された位置に適した指定位置を指定することができる。 In the above disclosure, the designated position is designated according to the detected position. According to this disclosure, a designated position suitable for the detected position can be specified.

上述の開示において、第１領域は、第１対象壁面から第１距離以内である。指定位置は、第１対象壁面の上端から第１対象壁面の法線方向に沿って第２距離だけ離れた位置であってもよい。第２距離は第１距離以上である。 In the above disclosure, the first region is within a first distance from the first target wall surface. The designated position may be a position separated by a second distance from the upper end of the first target wall surface along the normal direction of the first target wall surface. The second distance is greater than or equal to the first distance.

上述の開示において、第２領域に対応付けられた第２定義情報は、例えば、第１対象壁面および容器の底面に直交する平面上において第１対象壁面に平行な上向きの方向、底面の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して第１対象壁面から離れるように傾斜した方向、のいずれかである第２方向を示す。第２定義情報によって定義される並進動作は、第２方向に沿った動作である。 In the above disclosure, the second definition information associated with the second region is, for example, an upward direction parallel to the first target wall surface and a normal bottom surface on a plane orthogonal to the first target wall surface and the bottom surface of the container. A second direction is indicated, which is one of a direction, a vertical direction upward, and a direction inclined away from the first target wall surface with respect to any of these directions. The translational motion defined by the second definition information is an motion along the second direction.

第２領域は、第１対象壁面から離れた位置にある。そのため、上記の第２方向に沿ったピッキング動作を行なっても、第１対象壁面と対象物との接触リスクが低い。 The second region is located away from the first target wall surface. Therefore, even if the picking operation is performed along the second direction, the risk of contact between the first target wall surface and the target object is low.

上述の開示において、容器は、水平面に対して傾斜している。領域設定部は、容器の水平面に対する傾斜方向および傾斜角度に応じて複数の領域の少なくとも１つのサイズを調整する。この開示によれば、傾斜に応じて領域のサイズが適宜自動的に調整される。これにより、ユーザの手間を削減できる。 In the above disclosure, the container is tilted with respect to the horizontal plane. The region setting unit adjusts the size of at least one of the plurality of regions according to the tilt direction and tilt angle of the container with respect to the horizontal plane. According to this disclosure, the size of the region is automatically adjusted as appropriate according to the inclination. As a result, the time and effort of the user can be reduced.

上述の開示において、領域設定部は、エンドエフェクタによる対象物の保持位置と対象物の表面上の点との最大距離以上の第１距離を設定し、第１対象壁面から第１距離以内の領域を第１領域として設定する。 In the above disclosure, the area setting unit sets a first distance equal to or greater than the maximum distance between the holding position of the object by the end effector and the point on the surface of the object, and the area within the first distance from the first object wall surface. Is set as the first area.

あるいは、エンドエフェクタは、複数の爪を有する。なお、「爪」は、対象物を保持（把持）する際に、対象物に接触する部位であり、「指」とも称される。領域設定部は、複数の爪による対象物の保持位置の中心点と、対象物に外接する直方体または対象物および対象物を保持する複数の爪に外接する直方体の表面上の点との最大距離以上の第１距離を設定し、第１対象壁面から第１距離以内の領域を第１領域として設定してもよい。 Alternatively, the end effector has multiple claws. The "claw" is a portion that comes into contact with the object when holding (grasping) the object, and is also referred to as a "finger". The area setting unit is the maximum distance between the center point of the holding position of the object by the plurality of claws and the point on the surface of the rectangular parallelepiped circumscribing the object or the rectangular parallelepiped circumscribing the object and the plurality of claws holding the object. The above first distance may be set, and a region within the first distance from the first target wall surface may be set as the first region.

これらの開示によれば、第１領域の範囲が自動的に設定される。その結果、ユーザの手間を削減できる。 According to these disclosures, the range of the first region is automatically set. As a result, the user's labor can be reduced.

上述の開示において、検出部は、対象物の姿勢をさらに検出する。決定部は、検出部によって検出された姿勢に基づいて、対象物と容器内における第２対象壁面との最短距離が長くなるようにピッキング動作の回転成分をさらに決定する。 In the above disclosure, the detection unit further detects the posture of the object. Based on the posture detected by the detection unit, the determination unit further determines the rotation component of the picking operation so that the shortest distance between the object and the second target wall surface in the container becomes long.

この開示によれば、ピッキング動作における回転動作によって、第２対象壁面と対象物との接触リスクを低減できる。 According to this disclosure, the risk of contact between the second target wall surface and the object can be reduced by the rotational operation in the picking operation.

上述の開示において、複数の領域の各々の優先度を設定するための優先度設定部をさらに備える。容器には複数の物体が収容されている。検出部は、複数の物体の各々の位置を検出し、複数の物体のうち、優先度の最も高い領域に属する物体を対象物として決定する。 In the above disclosure, a priority setting unit for setting the priority of each of the plurality of regions is further provided. The container contains multiple objects. The detection unit detects the position of each of the plurality of objects, and determines the object belonging to the region having the highest priority among the plurality of objects as the object.

この開示によれば、優先度設定部は、例えば、壁面との接触リスクの低い領域の優先度を高く設定できる。その結果、ロボットは、壁面との接触リスクの低い対象物から順にピッキングできる。 According to this disclosure, the priority setting unit can set a high priority in a region having a low risk of contact with a wall surface, for example. As a result, the robot can pick objects in ascending order of contact risk with the wall surface.

本開示の一例によれば、容器に収容された対象物をピッキングするロボットの動作を決定する方法は、第１〜第４のステップを備える。第１のステップは、容器内の空間において、互いに排他的な関係にある複数の領域を設定するステップである。第２のステップは、複数の領域の各々と対応付けて、ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するステップである。第３のステップは、容器を撮像することにより得られた画像に基づいて、対象物の位置を検出するステップである。第４のステップは、対象物を保持してから対象物を容器外に搬送するまでのエンドエフェクのピッキング動作を決定するステップとを備える。第４のステップは、複数の領域のうち検出された位置を含む領域に対応付けられた定義情報によって定義される並進動作をピッキング動作の並進成分として決定するステップを含む。 According to an example of the present disclosure, a method of determining the action of a robot picking an object contained in a container comprises first to fourth steps. The first step is to set a plurality of regions having an exclusive relationship with each other in the space inside the container. The second step is a step of setting definition information that defines the translational motion of the end effector possessed by the robot in association with each of the plurality of regions. The third step is a step of detecting the position of the object based on the image obtained by imaging the container. The fourth step includes a step of determining the picking operation of the end effect from holding the object to transporting the object out of the container. The fourth step includes a step of determining the translational motion defined by the definition information associated with the region including the detected position among the plurality of regions as the translational component of the picking motion.

本開示の一例によれば、プログラムは、上記の方法をコンピュータに実行させる。これらの開示によっても、計算コストの増大を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる。 According to an example of the present disclosure, the program causes a computer to perform the above method. These disclosures also make it possible to determine the operation of the robot that picks the object contained in the container while suppressing the increase in the calculation cost.

本開示によれば、計算コストの増大を抑制しながら、容器に収容された対象物をピッキングするロボットの動作を決定できる。 According to the present disclosure, it is possible to determine the operation of a robot that picks an object contained in a container while suppressing an increase in calculation cost.

実施の形態に係る制御システムの全体構成を示す概略図である。It is the schematic which shows the whole structure of the control system which concerns on embodiment. 実施の形態に係る画像処理装置におけるピッキング動作を決定する方法を説明する図である。It is a figure explaining the method of determining the picking operation in the image processing apparatus which concerns on embodiment. 図１に示す画像処理装置のハードウェア構成の一例を示す概略図である。It is the schematic which shows an example of the hardware configuration of the image processing apparatus shown in FIG. 図１に示す画像処理装置の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the image processing apparatus shown in FIG. コンテナの形状を登録するための画面例を示す図である。It is a figure which shows the screen example for registering the shape of a container. ワークの形状を登録するための画面例を示す図である。It is a figure which shows the screen example for registering the shape of a work. マージン幅の設定方法の一例を示す図である。It is a figure which shows an example of the setting method of a margin width. 複数の領域を設定するための画面の一例を示す図である。It is a figure which shows an example of the screen for setting a plurality of areas. 定義情報を設定するための画面例を示す図である。It is a figure which shows the screen example for setting the definition information. 領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。It is a figure which shows the translation operation defined by the 1st definition information associated with the region 4a. 水平面に対して傾斜角度θだけ傾斜して設置されたコンテナを示す断面図である。It is sectional drawing which shows the container which was installed with the inclination angle θ with respect to the horizontal plane. コンテナが水平面に対して傾斜して設置され、かつ、鉛直方向上向きを示す第２定義情報が設定されたときの領域の設定方法の一例を示す図である。It is a figure which shows an example of the setting method of the area when the container is installed inclined with respect to the horizontal plane, and the 2nd definition information which shows the vertical direction upward is set. コンテナが水平面に対して傾斜して設置されているときの、領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。It is a figure which shows the translation operation defined by the 1st definition information associated with the region 4a when a container is installed at an inclination with respect to a horizontal plane. コンテナの位置姿勢を検出する方法の一例を説明する図である。It is a figure explaining an example of the method of detecting the position and orientation of a container. コンテナの位置姿勢を検出する方法の別の例を説明する図である。It is a figure explaining another example of the method of detecting the position and orientation of a container. コンテナの位置姿勢を検出する方法のさらに別の例を説明する図である。It is a figure explaining still another example of the method of detecting the position and orientation of a container. 画像処理装置における設定処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of setting processing in an image processing apparatus. 画像処理装置におけるロボット動作の制御処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of control processing of a robot operation in an image processing apparatus. ワークが収容される容器の別の例を示す平面図である。It is a top view which shows another example of the container which holds a work. 図１９のＶ−Ｖ線に沿った矢視断面図である。It is a cross-sectional view taken along the line VV of FIG. 図１９に示す凹部９ａ付近を示す拡大平面図である。It is an enlarged plan view which shows the vicinity of the recess 9a shown in FIG. 変形例２に係る設定部の内部構成を示す図である。It is a figure which shows the internal structure of the setting part which concerns on modification 2. 変形例２において生成された領域情報の一例を示す図である。It is a figure which shows an example of the area information generated in the modification 2. ワークを収容するコンテナのさらに別の例を示す平面図である。FIG. 5 is a plan view showing still another example of a container for accommodating a work. 図２４に示すコンテナを示す縦断面図である。It is a vertical sectional view which shows the container shown in FIG.

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals and the description thereof will not be repeated.

§１適用例
まず、図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係る制御システムの全体構成を示す概略図である。図１に例示される制御システムＳＹＳは、生産ラインなどに組み込まれ、容器であるコンテナ２に収容されたワーク１に対するピックアンドプレースの制御を行なう。図１に例示されるコンテナ２は、内底面が平坦であり、内壁面が内底面に対して垂直である直方体状の箱である。ワーク１は、コンテナ２内にばら積みされる。そのため、コンテナ２内でのワーク１の位置姿勢はランダムである。 §1 Application example First, an example of a situation in which the present invention is applied will be described with reference to FIG. FIG. 1 is a schematic view showing an overall configuration of a control system according to an embodiment. The control system SYS illustrated in FIG. 1 is incorporated in a production line or the like and controls pick-and-place with respect to the work 1 housed in the container 2 which is a container. The container 2 illustrated in FIG. 1 is a rectangular parallelepiped box having a flat inner bottom surface and an inner wall surface perpendicular to the inner bottom surface. The work 1 is bulked in the container 2. Therefore, the position and orientation of the work 1 in the container 2 are random.

図１に例示される制御システムＳＹＳは、画像処理装置１００と、ロボットコントローラ２００と、ロボット３００と、計測ヘッド４００とを備える。画像処理装置１００には、ディスプレイ１５０および入力装置１６０が接続されている。入力装置１６０は、例えばキーボードおよびマウスを含む。 The control system SYS illustrated in FIG. 1 includes an image processing device 100, a robot controller 200, a robot 300, and a measurement head 400. A display 150 and an input device 160 are connected to the image processing device 100. The input device 160 includes, for example, a keyboard and a mouse.

ロボット３００は、ワーク１に対するピックアンドプレースを行なう。ロボット３００は、ワーク１を保持するエンドエフェクタ３０と、エンドエフェクタの位置姿勢を変更するための多関節アーム３１と、多関節アーム３１を支持するベース３２とを含む。ロボット３００の動作は、ロボットコントローラ２００によって制御される。 The robot 300 picks and places the work 1. The robot 300 includes an end effector 30 for holding the work 1, an articulated arm 31 for changing the position and orientation of the end effector, and a base 32 for supporting the articulated arm 31. The operation of the robot 300 is controlled by the robot controller 200.

図１に例示されるエンドエフェクタ３０は、２つの爪３３を有し、２つの爪３３を用いてワーク１を把持する。なお、爪３３は、ワーク１を保持（把持）する際に、ワーク１に接触する部位であり、「指」とも称される。なお、ワーク１の保持方法は、２つの爪を用いた把持に限定されない。例えば、エンドエフェクタ３０は、３つの爪を用いてワークを把持してもよいし、吸着パッドを用いてワーク１を吸着してもよい。 The end effector 30 illustrated in FIG. 1 has two claws 33, and the work 1 is gripped by using the two claws 33. The claw 33 is a portion that comes into contact with the work 1 when holding (grasping) the work 1, and is also referred to as a “finger”. The method of holding the work 1 is not limited to gripping with two claws. For example, the end effector 30 may grip the work using three claws, or may suck the work 1 using a suction pad.

ロボットコントローラ２００は、画像処理装置１００からの動作指令を受けて、ロボット３００の多関節アーム３１を制御する。具体的には、ロボットコントローラ２００は、エンドエフェクタ３０がアプローチ動作、ピッキング動作およびプレース動作を行なうように多関節アーム３１を制御する。「アプローチ動作」は、コンテナ２の外側の待機位置からワーク１の把持位置までのエンドエフェクタ３０の動作である。「ピッキング動作」は、ワーク１を把持してからワーク１をコンテナ２の外側の退避位置に搬送するまでのエンドエフェクタ３０の動作である。「プレース動作」は、ワーク１を退避位置から目標位置に搬送するまでのエンドエフェクタ３０の動作である。 The robot controller 200 controls the articulated arm 31 of the robot 300 in response to an operation command from the image processing device 100. Specifically, the robot controller 200 controls the articulated arm 31 so that the end effector 30 performs an approach operation, a picking operation, and a place operation. The “approach operation” is the operation of the end effector 30 from the standby position outside the container 2 to the gripping position of the work 1. The “picking operation” is an operation of the end effector 30 from gripping the work 1 to transporting the work 1 to the retracted position outside the container 2. The “place operation” is an operation of the end effector 30 from the retracted position to the target position of the work 1.

計測ヘッド４００は、コンテナ２およびコンテナ２に収容されたワーク１が被写体となるように設置され、当該被写体を撮像する。計測ヘッド４００は、投影部４０１と撮像部４０２とを備える。投影部４０１は、画像処理装置１００からの指示に従って任意の投影パターン光を被写体に投影する。投影パターンは、例えば照射面内の所定方向に沿って明るさが周期的に変化するパターンである。撮像部４０２は、投影パターン光が投影された状態の被写体を撮像する。 The measurement head 400 is installed so that the container 2 and the work 1 housed in the container 2 are the subjects, and images the subject. The measuring head 400 includes a projection unit 401 and an imaging unit 402. The projection unit 401 projects an arbitrary projection pattern light onto the subject according to an instruction from the image processing device 100. The projection pattern is, for example, a pattern in which the brightness periodically changes along a predetermined direction in the irradiation surface. The imaging unit 402 images a subject in a state where the projection pattern light is projected.

投影部４０１は、主要なコンポーネントとして、例えば、ＬＥＤ（Light Emitting Diode）やハロゲンランプなどの光源と、投影部４０１の照射面の側に配置されたフィルタとを含む。フィルタは、後述するような三次元形状の計測に必要な投影パターン光を発生させるものであり、画像処理装置１００からの指令に従って、面内の透光率を任意に変化させることができる。投影部４０１は、液晶またはＤＭＤ（Digital Mirror Device）と光源（ＬＥＤまたはレーザ光源など）とを用いた構成であってもよい。 The projection unit 401 includes, as main components, a light source such as an LED (Light Emitting Diode) or a halogen lamp, and a filter arranged on the irradiation surface side of the projection unit 401. The filter generates projection pattern light necessary for measuring a three-dimensional shape as described later, and can arbitrarily change the in-plane light transmittance in accordance with a command from the image processing device 100. The projection unit 401 may have a configuration using a liquid crystal or DMD (Digital Mirror Device) and a light source (LED, laser light source, etc.).

撮像部４０２は、主要なコンポーネントとして、例えば、レンズなどの光学系と、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった撮像素子とを含む。 The image pickup unit 402 includes, for example, an optical system such as a lens and an image pickup element such as a CCD (Coupled Charged Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor as main components.

画像処理装置１００は、計測ヘッド４００から受けた画像に基づいて、コンテナ２に収容されたワーク１の位置姿勢を検出する。画像処理装置１００は、検出したワーク１の位置姿勢に基づいて、エンドエフェクタ３０のアプローチ動作、ピッキング動作およびプレース動作を決定する。画像処理装置１００は、決定した動作に対応する動作指令を生成し、生成した動作指令をロボットコントローラ２００に出力する。ロボットコントローラ２００は、動作指令に従って、画像処理装置１００によって決定されたアプローチ動作、ピッキング動作およびプレース動作をロボット３００に実行させる。 The image processing device 100 detects the position and orientation of the work 1 housed in the container 2 based on the image received from the measurement head 400. The image processing device 100 determines the approach operation, the picking operation, and the place operation of the end effector 30 based on the detected position and orientation of the work 1. The image processing device 100 generates an operation command corresponding to the determined operation, and outputs the generated operation command to the robot controller 200. The robot controller 200 causes the robot 300 to execute the approach operation, the picking operation, and the place operation determined by the image processing device 100 according to the operation command.

ワーク１を把持した後のピッキング動作は、ワーク１とコンテナ２との干渉を考慮して決定される必要がある。特許文献１に開示の技術を用いて、ワーク１とコンテナ２との干渉チェックを行なうことによりピッキング動作を決定することが考えられる。しかしながら、上述したように、干渉チェックのための計算コストが増加するという問題が生じる。そのため、本実施の形態に係る画像処理装置１００は、以下のような処理に従ってピッキング動作を決定する。 The picking operation after gripping the work 1 needs to be determined in consideration of the interference between the work 1 and the container 2. It is conceivable to determine the picking operation by checking the interference between the work 1 and the container 2 by using the technique disclosed in Patent Document 1. However, as described above, there arises a problem that the calculation cost for interference check increases. Therefore, the image processing device 100 according to the present embodiment determines the picking operation according to the following processing.

図２は、実施の形態に係る画像処理装置におけるピッキング動作を決定する方法を説明する図である。図２の上方にはコンテナ２の平面図が示され、図２の下方にはコンテナ２の縦断面図が示される。 FIG. 2 is a diagram illustrating a method of determining a picking operation in the image processing apparatus according to the embodiment. A plan view of the container 2 is shown in the upper part of FIG. 2, and a vertical sectional view of the container 2 is shown in the lower part of FIG.

図２に示されるように、画像処理装置１００は、コンテナ２内の空間において、互いに排他的な関係にある複数の領域４ａ〜４ｈ，５を設定する。図２に示す例では、画像処理装置１００は、コンテナ２の壁面３ａ〜３ｄにそれぞれ隣接する領域４ａ〜４ｄと、壁面３ａ，３ｂの両方に隣接する領域４ｅと、壁面３ｂ，３ｃの両方に隣接する領域４ｆと、壁面３ｃ，３ｄの両方に隣接する領域４ｇと、壁面３ｄ，３ａの両方に隣接する領域４ｈと、中央に位置する領域５とを設定している。領域５は、領域４ａ〜４ｄよりも壁面３ａ〜３ｄからそれぞれ離れている。 As shown in FIG. 2, the image processing apparatus 100 sets a plurality of regions 4a to 4h, 5 having an exclusive relationship with each other in the space inside the container 2. In the example shown in FIG. 2, the image processing apparatus 100 covers both the regions 4a to 4d adjacent to the wall surfaces 3a to 3d of the container 2, the regions 4e adjacent to both the wall surfaces 3a and 3b, and the wall surfaces 3b and 3c, respectively. An adjacent region 4f, a region 4g adjacent to both the wall surfaces 3c and 3d, a region 4h adjacent to both the wall surfaces 3d and 3a, and a region 5 located at the center are set. The region 5 is farther from the wall surfaces 3a to 3d than the regions 4a to 4d, respectively.

画像処理装置１００は、複数の領域４ａ〜４ｈ，５の各々と対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報をさらに設定する。コンテナ２のいずれかの壁面に隣接する領域４ａ〜４ｈについては、隣接する壁面から遠ざかる並進動作を定義する定義情報が設定される。例えば、画像処理装置１００は、領域４ｂに対応付けて、壁面３ｂから遠ざかる並進動作４０ｂを定義する定義情報を設定する。同様に、画像処理装置１００は、領域４ｄに対応付けて、壁面３ｄから遠ざかる並進動作４０ｄを定義する定義情報を設定する。さらに、画像処理装置１００は、壁面３ａ〜３ｄから離れた位置の領域５に対応付けて、コンテナ２の底面３ｚの法線方向（鉛直方向上向き）に沿った並進動作５０を定義する定義情報を設定する。 The image processing device 100 further sets definition information that defines the translational operation of the end effector 30 in association with each of the plurality of regions 4a to 4h and 5. For the regions 4a to 4h adjacent to any of the wall surfaces of the container 2, definition information for defining the translational motion away from the adjacent wall surface is set. For example, the image processing device 100 sets definition information that defines the translational motion 40b away from the wall surface 3b in association with the area 4b. Similarly, the image processing device 100 sets definition information that defines the translational motion 40d away from the wall surface 3d in association with the area 4d. Further, the image processing apparatus 100 provides definition information for defining the translational motion 50 along the normal direction (vertically upward) of the bottom surface 3z of the container 2 in association with the region 5 at a position away from the wall surfaces 3a to 3d. Set.

画像処理装置１００は、複数の領域４ａ〜４ｈ，５のうち、ピッキング対象のワーク１について検出された位置を含む領域に対応付けられた定義情報によって定義される並進動作を、ピッキング動作の並進成分として決定する。例えば、ワーク１の位置が領域４ｂに含まれる場合、画像処理装置１００は、領域４ｂに対応付けられた定義情報によって定義される並進動作４０ｂをピッキング動作の並進成分として決定する。 The image processing apparatus 100 sets a translational component of the picking operation as a translational operation defined by the definition information associated with the area including the position detected for the work 1 to be picked among the plurality of areas 4a to 4h, 5. To determine as. For example, when the position of the work 1 is included in the area 4b, the image processing apparatus 100 determines the translation operation 40b defined by the definition information associated with the area 4b as the translation component of the picking operation.

上記の処理によれば、画像処理装置１００は、複雑な計算を行なうことなく、予め設定した定義情報を用いて、ワーク１に対するピッキング動作の並進成分を容易に決定できる。その結果、計算コストの増大を抑制しながら、コンテナ２に収容されたワーク１をピッキングするロボットの動作を決定できる。 According to the above processing, the image processing apparatus 100 can easily determine the translational component of the picking operation with respect to the work 1 by using the preset definition information without performing complicated calculation. As a result, it is possible to determine the operation of the robot that picks the work 1 housed in the container 2 while suppressing the increase in the calculation cost.

§２具体例
次に、本実施の形態に係る制御システムの具体例について説明する。 §2 Specific example Next, a specific example of the control system according to the present embodiment will be described.

＜Ａ．画像処理装置のハードウェア構成例＞
画像処理装置１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る画像処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して画像処理装置１００にインストールされる。 <A. Image processing device hardware configuration example>
The image processing device 100 is typically a computer having a general-purpose architecture, and executes image processing according to the present embodiment by executing a pre-installed program (instruction code). .. Such a program is typically distributed in a state of being stored in various recording media or the like, or installed in the image processing apparatus 100 via a network or the like.

このような汎用的なコンピュータを利用する場合には、本実施の形態に係る画像処理を実行するためのアプリケーションに加えて、コンピュータの基本的な処理を実行するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。 When using such a general-purpose computer, an OS (Operating System) for executing the basic processing of the computer is installed in addition to the application for executing the image processing according to the present embodiment. It may have been done. In this case, the program according to the present embodiment may call the necessary modules in a predetermined array at a predetermined timing among the program modules provided as a part of the OS to execute the process. Good. That is, the program itself according to the present embodiment does not include the module as described above, and the process may be executed in cooperation with the OS. The program according to the present embodiment may not include such a part of the modules.

さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。 Further, the program according to the present embodiment may be provided by being incorporated into a part of another program. Even in that case, the program itself does not include the modules included in the other programs to be combined as described above, and the processing is executed in cooperation with the other programs. That is, the program according to the present embodiment may be a form incorporated in such another program. Note that some or all of the functions provided by executing the program may be implemented as a dedicated hardware circuit.

図３は、図１に示す画像処理装置のハードウェア構成の一例を示す概略図である。図３に示されるように、画像処理装置１００は、演算処理部であるＣＰＵ（Central Processing Unit）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、計測ヘッドインターフェース１１６と、入力インターフェース１１８と、表示コントローラ１２０と、通信インターフェース１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。 FIG. 3 is a schematic view showing an example of the hardware configuration of the image processing apparatus shown in FIG. As shown in FIG. 3, the image processing device 100 includes a CPU (Central Processing Unit) 110 as an arithmetic processing unit, a main memory 112 and a hard disk 114 as storage units, a measurement head interface 116, and an input interface 118. , A display controller 120, a communication interface 124, and a data reader / writer 126. Each of these parts is connected to each other via a bus 128 so as to be capable of data communication.

ＣＰＵ１１０は、ハードディスク１１４にインストールされたプログラム（コード）をメインメモリ１１２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１１４から読み出されたプログラムに加えて、計測ヘッド４００によって取得された画像などを保持する。さらに、ハードディスク１１４には、後述するような各種データなどが格納される。なお、ハードディスク１１４に加えて、あるいは、ハードディスク１１４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。 The CPU 110 expands the programs (codes) installed on the hard disk 114 into the main memory 112 and executes them in a predetermined order to perform various operations. The main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory), and holds an image acquired by the measurement head 400 in addition to a program read from the hard disk 114. To do. Further, the hard disk 114 stores various data and the like as will be described later. In addition to the hard disk 114, or instead of the hard disk 114, a semiconductor storage device such as a flash memory may be adopted.

計測ヘッドインターフェース１１６は、ＣＰＵ１１０と計測ヘッド４００との間のデータ伝送を仲介する。すなわち、計測ヘッドインターフェース１１６は、計測ヘッド４００と接続される。計測ヘッドインターフェース１１６は、ＣＰＵ１１０が発生した内部コマンドに従って、計測ヘッド４００に対して投影コマンドおよび撮像コマンドを与える。計測ヘッドインターフェース１１６は、計測ヘッド４００からの画像を一時的に蓄積するための画像バッファ１１６ａを含む。計測ヘッドインターフェース１１６は、画像バッファ１１６ａに所定コマ数の画像が蓄積されると、その蓄積された画像をメインメモリ１１２へ転送する。 The measurement head interface 116 mediates data transmission between the CPU 110 and the measurement head 400. That is, the measurement head interface 116 is connected to the measurement head 400. The measurement head interface 116 gives a projection command and an imaging command to the measurement head 400 according to an internal command generated by the CPU 110. The measurement head interface 116 includes an image buffer 116a for temporarily storing an image from the measurement head 400. When a predetermined number of frames of images are accumulated in the image buffer 116a, the measurement head interface 116 transfers the accumulated images to the main memory 112.

入力インターフェース１１８は、ＣＰＵ１１０と入力装置１６０との間のデータ伝送を仲介する。すなわち、入力インターフェース１１８は、ユーザが入力装置１６０に入力した入力情報を受付ける。 The input interface 118 mediates data transmission between the CPU 110 and the input device 160. That is, the input interface 118 receives the input information input by the user to the input device 160.

表示コントローラ１２０は、ディスプレイ１５０と接続され、ＣＰＵ１１０における処理結果などをユーザに通知するようにディスプレイ１５０の表示を制御する。 The display controller 120 is connected to the display 150 and controls the display of the display 150 so as to notify the user of the processing result of the CPU 110 and the like.

通信インターフェース１２４は、ＣＰＵ１１０とロボットコントローラ２００などの外部装置との間のデータ伝送を仲介する。通信インターフェース１２４は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。 The communication interface 124 mediates data transmission between the CPU 110 and an external device such as the robot controller 200. The communication interface 124 typically comprises Ethernet (registered trademark), USB (Universal Serial Bus), or the like.

データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１０６との間のデータ伝送を仲介する。すなわち、メモリカード１０６には、画像処理装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１２６は、このメモリカード１０６からプログラムを読出す。また、データリーダ／ライタ１２６は、ＣＰＵ１１０の内部指令に応答して、計測ヘッド４００によって撮像された画像および／または画像処理装置１００における処理結果などをメモリカード１０６へ書込む。なお、メモリカード１０６は、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。 The data reader / writer 126 mediates data transmission between the CPU 110 and the memory card 106, which is a recording medium. That is, the memory card 106 is distributed in a state in which a program or the like executed by the image processing device 100 is stored, and the data reader / writer 126 reads the program from the memory card 106. Further, the data reader / writer 126 writes the image captured by the measurement head 400 and / or the processing result in the image processing device 100 to the memory card 106 in response to the internal command of the CPU 110. The memory card 106 is a general-purpose semiconductor storage device such as SD (Secure Digital), a magnetic storage medium such as a flexible disk, or an optical storage medium such as a CD-ROM (Compact Disk Read Only Memory). Etc.

＜Ｂ．画像処理装置の機能構成例＞
図４は、図１に示す画像処理装置の機能構成の一例を示すブロック図である。図４に示されるように、画像処理装置１００は、記憶部１０と、ヘッド制御部１１と、設定部１２と、画像処理部１３とを備える。記憶部１０は、図３に示すメインメモリ１１２およびハードディスク１１４によって実現される。ヘッド制御部１１は、図３に示すＣＰＵ１１０および計測ヘッドインターフェース１１６によって実現される。設定部１２は、図３に示すＣＰＵ１１０、入力インターフェース１１８および表示コントローラ１２０によって実現される。画像処理部１３は、図３に示すＣＰＵ１１０および通信インターフェース１２４によって実現される。 <B. Function configuration example of image processing device>
FIG. 4 is a block diagram showing an example of the functional configuration of the image processing apparatus shown in FIG. As shown in FIG. 4, the image processing device 100 includes a storage unit 10, a head control unit 11, a setting unit 12, and an image processing unit 13. The storage unit 10 is realized by the main memory 112 and the hard disk 114 shown in FIG. The head control unit 11 is realized by the CPU 110 and the measurement head interface 116 shown in FIG. The setting unit 12 is realized by the CPU 110, the input interface 118, and the display controller 120 shown in FIG. The image processing unit 13 is realized by the CPU 110 and the communication interface 124 shown in FIG.

記憶部１０には、ワーク１の三次元形状を示すＣＡＤ（Computer Aided Design）データ１０１ａと、コンテナ２の三次元形状を示すＣＡＤデータ１０１ｂとが予め格納される。記憶部１０には、ワーク１を様々な視点から見たときの姿勢ごとの画像を示す複数のテンプレートデータ１０２が格納される。テンプレートデータ１０２は、例えばＣＡＤデータ１０１ａに基づいて予め生成される。記憶部１０には、計測ヘッド４００の撮像により得られた画像データ１０３が格納される。さらに、記憶部１０には、設定部１２によって設定された領域情報１０４および定義情報１０５が格納される。領域情報１０４および定義情報１０５の詳細については後述する。 The storage unit 10 stores in advance CAD (Computer Aided Design) data 101a indicating the three-dimensional shape of the work 1 and CAD data 101b indicating the three-dimensional shape of the container 2. The storage unit 10 stores a plurality of template data 102 showing images for each posture when the work 1 is viewed from various viewpoints. The template data 102 is generated in advance based on, for example, CAD data 101a. The storage unit 10 stores the image data 103 obtained by imaging the measurement head 400. Further, the storage unit 10 stores the area information 104 and the definition information 105 set by the setting unit 12. Details of the area information 104 and the definition information 105 will be described later.

ヘッド制御部１１は、計測ヘッド４００の動作を制御する。ヘッド制御部１１は、予め定められた投影パターン光の投影を指示する投影コマンドを計測ヘッド４００に出力する。ヘッド制御部１１は、投影パターン光が投影されている状態で撮像コマンドを計測ヘッド４００に出力する。ヘッド制御部１１は、計測ヘッド４００から取得した画像データ１０３を記憶部１０に格納する。 The head control unit 11 controls the operation of the measurement head 400. The head control unit 11 outputs a projection command instructing the projection of a predetermined projection pattern light to the measurement head 400. The head control unit 11 outputs an imaging command to the measurement head 400 in a state where the projection pattern light is projected. The head control unit 11 stores the image data 103 acquired from the measurement head 400 in the storage unit 10.

設定部１２は、領域設定部１２ａと情報設定部１２ｂとを有する。領域設定部１２ａは、コンテナ２内の空間において、互いに排他的な関係にある複数の領域を設定する。領域設定部１２ａは、複数の領域を設定するための設定画面をディスプレイ１５０に表示し、入力装置１６０への入力に従って複数の領域を設定する。領域設定部１２ａは、設定した複数の領域それぞれを示す領域情報１０４を生成し、生成した領域情報１０４を記憶部１０に格納する。領域情報１０４は、例えば、コンテナ２の特徴点（例えば左上角）を原点とする座標系における、複数の領域それぞれのｘ座標、ｙ座標およびｚ座標の範囲を示す。 The setting unit 12 has an area setting unit 12a and an information setting unit 12b. The area setting unit 12a sets a plurality of areas having an exclusive relationship with each other in the space inside the container 2. The area setting unit 12a displays a setting screen for setting a plurality of areas on the display 150, and sets a plurality of areas according to the input to the input device 160. The area setting unit 12a generates the area information 104 indicating each of the set plurality of areas, and stores the generated area information 104 in the storage unit 10. The area information 104 indicates, for example, the range of the x-coordinate, y-coordinate, and z-coordinate of each of the plurality of areas in the coordinate system with the feature point (for example, the upper left corner) of the container 2 as the origin.

情報設定部１２ｂは、複数の領域の各々と対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報１０５を設定する。情報設定部１２ｂは、定義情報１０５を設定するための設定画面をディスプレイ１５０に表示し、入力装置１６０への入力に従って定義情報１０５を設定する。情報設定部１２ｂは、複数の領域の各々について設定した定義情報１０５を記憶部１０に格納する。 The information setting unit 12b sets the definition information 105 that defines the translational operation of the end effector 30 in association with each of the plurality of regions. The information setting unit 12b displays a setting screen for setting the definition information 105 on the display 150, and sets the definition information 105 according to the input to the input device 160. The information setting unit 12b stores the definition information 105 set for each of the plurality of areas in the storage unit 10.

画像処理部１３は、計測ヘッド４００の撮像により得られた画像データ１０３に対する処理を行なう。図４に示されるように、画像処理部１３は、３Ｄ画像生成部１４と、検出部１５と、動作指令決定部１６と、通信部１７とを含む。 The image processing unit 13 processes the image data 103 obtained by imaging the measurement head 400. As shown in FIG. 4, the image processing unit 13 includes a 3D image generation unit 14, a detection unit 15, an operation command determination unit 16, and a communication unit 17.

３Ｄ画像生成部１４は、画像データ１０３に基づいて、計測ヘッド４００の視野領域における三次元計測を行ない、三次元点群データを生成する。三次元点群データは、計測ヘッド４００の視野領域に存在する物体表面上の各点の三次元座標を示す。 The 3D image generation unit 14 performs three-dimensional measurement in the visual field region of the measurement head 400 based on the image data 103, and generates three-dimensional point cloud data. The three-dimensional point cloud data indicates the three-dimensional coordinates of each point on the surface of the object existing in the visual field region of the measurement head 400.

三次元計測処理として、例えば三角測距方式、同軸方式が採用され得る。三角測距方式は、撮像と投光との光軸を基線長分だけ離間させ、視差を距離に変換する方式である。三角測距方式には、アクティブ法とパッシブ法とが含まれる。アクティブ法には、構造化照明法、位相シフト法、空間コード法が含まれる。同軸方式は、撮像と測距手段との光軸を同一に設定する方式である。測距手段として、ＴＯＦ（Time of Flight）方式、焦点方式が含まれる。３Ｄ画像生成部１４は、これらの方式のいずれかを用いて三次元計測処理を実行すればよい。例えば位相シフト法を用いて三次元計測処理が行なわれる。 As the three-dimensional measurement process, for example, a triangular ranging method or a coaxial method can be adopted. The triangular distance measurement method is a method in which the optical axes of imaging and projection are separated by the length of the baseline, and the parallax is converted into a distance. The triangular ranging method includes an active method and a passive method. Active methods include structured illumination methods, phase shift methods, and spatial coding methods. The coaxial method is a method in which the optical axes of the imaging and the distance measuring means are set to be the same. The distance measuring means includes a TOF (Time of Flight) method and a focusing method. The 3D image generation unit 14 may execute the three-dimensional measurement process by using any of these methods. For example, a three-dimensional measurement process is performed using a phase shift method.

位相シフト法は、正弦波状に濃淡を変化させた投影パターン光を被写体に投影した状態で撮像された画像（正弦波投影画像）を用いる方法である。濃淡の変化周期や位相を異ならせた投影パターンが複数用意され、計測ヘッド４００の投影部４０１は、撮像部４０２の視野領域に対して、複数の投影パターン光を順次照射する。３Ｄ画像生成部１４は、複数の投影パターンが投影されたときにそれぞれ撮像される画像データ１０３の群（正弦波投影画像群）を記憶部１０から読み出す。そして、３Ｄ画像生成部１４は、これらの画像データ１０３間における対応する部分の明るさ（輝度や明度）の変化に基づいて、三次元座標を算出する。 The phase shift method is a method using an image (sinusoidal projection image) captured in a state where a projection pattern light whose shading is changed in a sinusoidal shape is projected onto a subject. A plurality of projection patterns having different shade change periods and phases are prepared, and the projection unit 401 of the measurement head 400 sequentially irradiates the visual field region of the imaging unit 402 with the plurality of projection pattern lights. The 3D image generation unit 14 reads out a group of image data 103 (sine wave projection image group) imaged when a plurality of projection patterns are projected from the storage unit 10. Then, the 3D image generation unit 14 calculates the three-dimensional coordinates based on the change in the brightness (brightness and brightness) of the corresponding portion between the image data 103.

検出部１５は、記憶部１０に格納された各テンプレートデータ１０２と三次元点群データとを照合し、三次元点群データの中からテンプレートと類似するデータを抽出する。検出部１５は、抽出したデータに基づいて、ワーク１の位置姿勢を検出する。検出部１５によって検出されるワーク１の位置姿勢は、計測ヘッド４００の撮像部４０２の座標系（カメラ座標系）で示される。 The detection unit 15 collates each template data 102 stored in the storage unit 10 with the three-dimensional point cloud data, and extracts data similar to the template from the three-dimensional point cloud data. The detection unit 15 detects the position and orientation of the work 1 based on the extracted data. The position and orientation of the work 1 detected by the detection unit 15 are indicated by the coordinate system (camera coordinate system) of the image pickup unit 402 of the measurement head 400.

さらに、コンテナ２の位置が一定ではない場合、検出部１５は、画像データ１０３または三次元点群データに基づいて、コンテナ２の位置姿勢を検出してもよい。コンテナ２の位置姿勢の検出方法の詳細については後述する。 Further, when the position of the container 2 is not constant, the detection unit 15 may detect the position and orientation of the container 2 based on the image data 103 or the three-dimensional point cloud data. Details of the method for detecting the position and orientation of the container 2 will be described later.

なお、検出部１５は、複数のワーク１の位置姿勢を検出した場合、予め定められた選択基準に従って、当該複数のワーク１のうちの１つをピッキング対象として選択する。 When the detection unit 15 detects the position and orientation of the plurality of works 1, one of the plurality of works 1 is selected as a picking target according to a predetermined selection criterion.

動作指令決定部１６は、ピッキング対象のワーク１の位置姿勢に応じて、エンドエフェクタ３０の動作を決定する。動作指令決定部１６は、決定した動作に対応する動作指令を生成する。 The operation command determination unit 16 determines the operation of the end effector 30 according to the position and orientation of the work 1 to be picked. The operation command determination unit 16 generates an operation command corresponding to the determined operation.

まず、動作指令決定部１６はアプローチ動作を決定する。動作指令決定部１６は、エンドエフェクタ３０の待機位置がコンテナ２の開口部の上方である場合、例えば、待機位置からピッキング対象となるワーク１の把持位置まで移動する並進動作をアプローチ動作の並進成分として決定すればよい。さらに、動作指令決定部１６は、ワーク１の姿勢に応じた回転動作をアプローチ動作の回転成分として決定すればよい。エンドエフェクタ３０がワーク１を把持するときのワーク１に対するエンドエフェクタ３０の相対位置姿勢は、把持点登録情報として予め登録されている。動作指令決定部１６は、検出されたワーク１の位置姿勢と把持点登録情報とに基づいて、当該ワーク１を把持するときのエンドエフェクタ３０の位置姿勢を計算すればよい。 First, the operation command determination unit 16 determines the approach operation. When the standby position of the end effector 30 is above the opening of the container 2, the operation command determining unit 16 approaches, for example, a translational operation of moving from the standby position to the gripping position of the work 1 to be picked. It should be decided as. Further, the motion command determination unit 16 may determine the rotation motion according to the posture of the work 1 as the rotation component of the approach motion. The relative position and orientation of the end effector 30 with respect to the work 1 when the end effector 30 grips the work 1 is registered in advance as gripping point registration information. The operation command determination unit 16 may calculate the position / orientation of the end effector 30 when gripping the work 1 based on the detected position / orientation of the work 1 and the gripping point registration information.

次に、動作指令決定部１６はピッキング動作を決定する。動作指令決定部１６は、ピッキング対象のワーク１の位置姿勢とコンテナ２の位置姿勢とに基づいて、コンテナ２に対するワーク１の相対位置を計算する。コンテナ２に対するワーク１の相対位置は、例えばコンテナ２の特徴点（例えば左上角）を原点とする座標系で示される。動作指令決定部１６は、コンテナ２に対するワーク１の相対位置と領域情報１０４とに基づいて、ワーク１の位置を含む領域を特定する。動作指令決定部１６は、特定した領域に定義付けられた定義情報１０５によって定義される並進動作をピッキング動作の並進成分として決定する。 Next, the operation command determination unit 16 determines the picking operation. The operation command determination unit 16 calculates the relative position of the work 1 with respect to the container 2 based on the position and orientation of the work 1 to be picked and the position and orientation of the container 2. The relative position of the work 1 with respect to the container 2 is indicated by, for example, a coordinate system with the feature point (for example, the upper left corner) of the container 2 as the origin. The operation command determination unit 16 specifies an area including the position of the work 1 based on the relative position of the work 1 with respect to the container 2 and the area information 104. The operation command determination unit 16 determines the translational motion defined by the definition information 105 defined in the specified region as the translation component of the picking motion.

なお、動作指令決定部１６は、ピッキング動作の回転成分について、０に決定してもよいし、後のプレース動作にスムーズに移行するような値に決定してもよい。 The operation command determination unit 16 may determine the rotation component of the picking operation to 0, or may determine a value that smoothly shifts to the later place operation.

次に、動作指令決定部１６はプレース動作を決定する。動作指令決定部１６は、ピッキング動作後のワーク１の退避位置と目標位置とを結ぶ線に沿った並進動作をプレース動作の並進成分として決定すればよい。 Next, the operation command determination unit 16 determines the place operation. The operation command determining unit 16 may determine the translational motion along the line connecting the retracted position and the target position of the work 1 after the picking motion as the translation component of the place motion.

通信部１７は、ロボットコントローラ２００と通信可能であり、動作指令決定部１６によって生成された動作指令をロボットコントローラ２００に送信する。 The communication unit 17 can communicate with the robot controller 200, and transmits the operation command generated by the operation command determination unit 16 to the robot controller 200.

ロボットコントローラ２００は、動作指令に従ってロボット３００を制御する。これにより、ロボット３００のエンドエフェクタ３０は、動作指令決定部１６によって決定されたアプローチ動作、ピッキング動作およびプレース動作を順に行なう。ただし、ロボット３００の機構（並進機構および回転機構）における動作精度には誤差がある。そのため、ロボット３００のエンドエフェクタ３０の実際の動作と動作指令決定部１６によって決定された動作との間に誤差が生じ得る。 The robot controller 200 controls the robot 300 according to an operation command. As a result, the end effector 30 of the robot 300 sequentially performs the approach operation, the picking operation, and the place operation determined by the operation command determination unit 16. However, there is an error in the operation accuracy of the robot 300 mechanism (translation mechanism and rotation mechanism). Therefore, an error may occur between the actual operation of the end effector 30 of the robot 300 and the operation determined by the operation command determining unit 16.

＜Ｃ．領域の設定＞
図５〜図８を参照して、領域設定部１２ａによる領域の設定方法の一例について説明する。図５は、コンテナの形状を登録するための画面例を示す図である。図５に例示される画面６０は、自動登録ボタン６１と手動登録ボタン６２とを有する。自動登録ボタン６１が操作されると、領域設定部１２ａは、入力欄６３に入力されたファイル名で示されるコンテナ２のＣＡＤデータに基づいて、コンテナ２の形状を登録する。手動登録ボタン６２が操作されると、領域設定部１２ａは、入力欄６４に入力された値に従って、コンテナ２の形状を登録する。 <C. Area settings>
An example of a region setting method by the region setting unit 12a will be described with reference to FIGS. 5 to 8. FIG. 5 is a diagram showing a screen example for registering the shape of the container. The screen 60 illustrated in FIG. 5 has an automatic registration button 61 and a manual registration button 62. When the automatic registration button 61 is operated, the area setting unit 12a registers the shape of the container 2 based on the CAD data of the container 2 indicated by the file name input in the input field 63. When the manual registration button 62 is operated, the area setting unit 12a registers the shape of the container 2 according to the value input in the input field 64.

コンテナ２の形状は、コンテナ２の幅（外寸）Ｗ、奥行き（外寸）Ｄ、外寸高さＨ１、内寸高さＨ２、コンテナ２の側壁の幅方向の最大厚みＢ１、コンテナ２の側壁の奥行き方向の最大厚みＢ２、傾斜方向および傾斜角度で示される。傾斜方向および傾斜角度は、コンテナ２が設置される台の傾斜に応じて登録される。 The shapes of the container 2 are the width (outer dimension) W of the container 2, the depth (outer dimension) D, the outer dimension height H1, the inner dimension height H2, the maximum thickness B1 in the width direction of the side wall of the container 2, and the container 2. It is indicated by the maximum thickness B2 in the depth direction of the side wall, the inclination direction, and the inclination angle. The tilt direction and tilt angle are registered according to the tilt of the table on which the container 2 is installed.

画像処理装置１００の記憶部１０には、生産ラインで使用され得る複数種類のコンテナ２にそれぞれ対応する複数のＣＡＤデータ１０１ｂが格納されていてもよい。ユーザは、使用するコンテナ２の種類変更のタイミングにおいて、変更後の種類のコンテナ２に対応するＣＡＤデータ１０１ｂを入力欄６３に入力すればよい。もしくは、生産ラインで使用され得る複数種類のコンテナ２ごとのＷ、Ｄ、Ｈ１、Ｈ２、Ｂ１およびＢ２を示す形状データが記憶部１０に予め格納されていてもよい。ユーザは、使用するコンテナ２の種類変更のタイミングにおいて、変更後の種類のコンテナ２に対応する形状データを入力欄６４に入力すればよい。 The storage unit 10 of the image processing device 100 may store a plurality of CAD data 101b corresponding to each of a plurality of types of containers 2 that can be used in the production line. At the timing of changing the type of the container 2 to be used, the user may input the CAD data 101b corresponding to the changed type of container 2 in the input field 63. Alternatively, shape data indicating W, D, H1, H2, B1 and B2 for each of a plurality of types of containers 2 that can be used in the production line may be stored in advance in the storage unit 10. At the timing of changing the type of the container 2 to be used, the user may input the shape data corresponding to the changed type of container 2 in the input field 64.

画像処理装置１００は、使用するコンテナ２の種類変更のタイミングにおいて、変更後のコンテナ２の種類を示す情報を図示しない上位制御装置から取得してもよい。上位制御装置は、生産ラインの運用を管理する装置である。画像処理装置１００は、上位制御装置からコンテナ２の種類を示す情報を取得すると、変更後の種類のコンテナ２に対応するＣＡＤデータ１０１ｂを入力欄６３に自動的に入力してもよい。もしくは、画像処理装置１００は、上位制御装置からコンテナ２の種類を示す情報を取得すると、変更後の種類のコンテナ２に対応する形状データを入力欄６４に自動的に入力してもよい。 The image processing device 100 may acquire information indicating the type of the container 2 after the change from a higher-level control device (not shown) at the timing of changing the type of the container 2 to be used. The upper control device is a device that manages the operation of the production line. When the image processing device 100 acquires the information indicating the type of the container 2 from the host control device, the CAD data 101b corresponding to the changed type of container 2 may be automatically input to the input field 63. Alternatively, when the image processing device 100 acquires the information indicating the type of the container 2 from the host control device, the image processing device 100 may automatically input the shape data corresponding to the changed type of container 2 into the input field 64.

図６は、ワークの形状を登録するための画面例を示す図である。図６に例示される画面６５は、自動登録ボタン６６と手動登録ボタン６７とを有する。自動登録ボタン６６が操作されると、領域設定部１２ａは、入力欄６８に入力されたファイル名で示されるワーク１のＣＡＤデータに基づいて、ワーク１の形状を登録する。手動登録ボタン６７が操作されると、領域設定部１２ａは、入力欄６９に入力された値に従って、ワーク１の形状を登録する。ワーク１の形状は、例えばワーク１の外接直方体の幅Ｗ、奥行きＤ、高さＨで示される。 FIG. 6 is a diagram showing a screen example for registering the shape of the work. The screen 65 illustrated in FIG. 6 has an automatic registration button 66 and a manual registration button 67. When the automatic registration button 66 is operated, the area setting unit 12a registers the shape of the work 1 based on the CAD data of the work 1 indicated by the file name input in the input field 68. When the manual registration button 67 is operated, the area setting unit 12a registers the shape of the work 1 according to the value input in the input field 69. The shape of the work 1 is represented by, for example, the width W, the depth D, and the height H of the circumscribed rectangular parallelepiped of the work 1.

画面６５は、エンドエフェクタ３０の２つの爪３３による概略把持位置を入力するための入力欄７０を含む。２つの爪３３でワーク１を把持する場合、２つの爪３３は、通常、ワーク１の外接直方体の幅方向または奥行き方向に沿って配置される。そのため、概略把持位置は、ワーク１の外接直方体の幅方向に直交する側面からの距離Ｃ１、および、奥行き方向に直交する側面からの距離Ｃ２のいずれかによって示される。すなわち、ワーク１を把持するときに２つの爪３３が外接直方体の幅方向に沿って配置される場合には、距離Ｃ１が入力される。ワーク１を把持するときに２つの爪３３が外接直方体の奥行き方向に沿って配置される場合には、距離Ｃ２が入力される。距離Ｃ１または距離Ｃ２は、予め登録されている把持点登録情報に基づいて自動的に入力されてもよい。 The screen 65 includes an input field 70 for inputting an approximate gripping position by the two claws 33 of the end effector 30. When the work 1 is gripped by the two claws 33, the two claws 33 are usually arranged along the width direction or the depth direction of the circumscribed rectangular parallelepiped of the work 1. Therefore, the approximate gripping position is indicated by either the distance C1 from the side surface orthogonal to the width direction of the circumscribed rectangular parallelepiped of the work 1 or the distance C2 from the side surface orthogonal to the depth direction. That is, when the two claws 33 are arranged along the width direction of the circumscribed rectangular parallelepiped when gripping the work 1, the distance C1 is input. If the two claws 33 are arranged along the depth direction of the circumscribed rectangular parallelepiped when gripping the work 1, the distance C2 is input. The distance C1 or the distance C2 may be automatically input based on the gripping point registration information registered in advance.

領域設定部１２ａは、２つの爪３３による概略把持位置の中心点と、ワーク１の外接直方体の表面上の点との最大距離をマージン幅Ｍとして計算する。計算されたマージン幅Ｍは、画面６５の表示欄７１に表示される。 The area setting unit 12a calculates the maximum distance between the center point of the approximate gripping position by the two claws 33 and the point on the surface of the circumscribed rectangular parallelepiped of the work 1 as the margin width M. The calculated margin width M is displayed in the display field 71 of the screen 65.

図７は、マージン幅の設定方法の一例を示す図である。領域設定部１２ａは、距離Ｃ１が入力された場合、ワーク１の外接直方体ＲＰの対角線ＤＬと、外接直方体ＲＰの奥行き方向に直交する側面に平行であり、かつ、当該側面から距離Ｃ１だけ内側の平面との交点を概略把持位置の中心点Ｐとして決定する。領域設定部１２ａは、距離Ｃ２が入力された場合、ワーク１の外接直方体ＲＰの対角線ＤＬと、外接直方体ＲＰの幅方向に直交する側面に平行であり、かつ、当該側面から距離Ｃ２だけ内側の平面との交点を概略把持位置の中心点Ｐとして決定する。領域設定部１２ａは、対角線ＤＬを中心点Ｐで分割したときの一方の長さＭ１と他方の長さＭ２とのうちの長い方をマージン幅Ｍ（＝ｍａｘ（Ｍ１，Ｍ２））として計算する。 FIG. 7 is a diagram showing an example of a method of setting the margin width. When the distance C1 is input, the area setting unit 12a is parallel to the diagonal DL of the circumscribed rectangular parallelepiped RP of the work 1 and the side surface orthogonal to the depth direction of the circumscribed rectangular parallelepiped RP, and is inside by the distance C1 from the side surface. The intersection with the plane is determined as the center point P of the roughly gripping position. When the distance C2 is input, the area setting unit 12a is parallel to the diagonal DL of the circumscribed rectangular parallelepiped RP of the work 1 and the side surface orthogonal to the width direction of the circumscribed rectangular parallelepiped RP, and is inside the side surface by the distance C2. The intersection with the plane is determined as the center point P of the roughly gripping position. The area setting unit 12a calculates the longer of the one length M1 and the other length M2 when the diagonal line DL is divided by the center point P as the margin width M (= max (M1, M2)). ..

図８は、複数の領域を設定するための画面の一例を示す図である。図２を参照して上述したように、箱状のコンテナ２内の空間に対して、互いに排他的な関係にある複数の領域４ａ〜４ｈ，５が設定される。 FIG. 8 is a diagram showing an example of a screen for setting a plurality of areas. As described above with reference to FIG. 2, a plurality of regions 4a to 4h, 5 having an exclusive relationship with each other are set with respect to the space in the box-shaped container 2.

領域設定部１２ａは、コンテナ２の壁面３ａから距離ＤＭ１以内の領域（ただし、領域４ｅ，４ｈを除く）を領域４ａとして設定する。領域設定部１２ａは、コンテナ２の壁面３ｂから距離ＷＭ１以内の領域（ただし、領域４ｅ，４ｆを除く）を領域４ｂとして設定する。領域設定部１２ａは、コンテナ２の壁面３ｃから距離ＤＭ２以内の領域（ただし、領域４ｆ，４ｇを除く）を領域４ｃとして設定する。領域設定部１２ａは、コンテナ２の壁面３ｄから距離ＷＭ２以内の領域（ただし、領域４ｇ，４ｈを除く）を領域４ｄとして設定する。領域設定部１２ａは、壁面３ａから距離ＤＭ１以内であり、かつ、壁面３ｂから距離ＷＭ１以内の領域を領域４ｅとして設定する。領域設定部１２ａは、壁面３ｂから距離ＷＭ１以内であり、かつ、壁面３ｃから距離ＤＭ２以内の領域を領域４ｆとして設定する。領域設定部１２ａは、壁面３ｃから距離ＤＭ２以内であり、かつ、壁面３ｄから距離ＷＭ２以内の領域を領域４ｇとして設定する。領域設定部１２ａは、壁面３ｄから距離ＷＭ２以内であり、かつ、壁面３ａから距離ＤＭ１以内の領域を領域４ｈとして設定する。 The area setting unit 12a sets the area within the distance DM1 from the wall surface 3a of the container 2 (however, excluding the areas 4e and 4h) as the area 4a. The area setting unit 12a sets the area within the distance WM1 from the wall surface 3b of the container 2 (however, excluding the areas 4e and 4f) as the area 4b. The area setting unit 12a sets the area within the distance DM2 from the wall surface 3c of the container 2 (however, excluding the areas 4f and 4g) as the area 4c. The area setting unit 12a sets the area within the distance WM2 from the wall surface 3d of the container 2 (however, excluding the areas 4g and 4h) as the area 4d. The area setting unit 12a sets the area within the distance DM1 from the wall surface 3a and within the distance WM1 from the wall surface 3b as the area 4e. The area setting unit 12a sets the area within the distance WM1 from the wall surface 3b and within the distance DM2 from the wall surface 3c as the area 4f. The area setting unit 12a sets the area within the distance DM2 from the wall surface 3c and within the distance WM2 from the wall surface 3d as the area 4g. The area setting unit 12a sets the area within the distance WM2 from the wall surface 3d and within the distance DM1 from the wall surface 3a as the area 4h.

図８に例示される画面７２は、自動設定ボタン７３と手動設定ボタン７４とを有する。自動設定ボタン７３が操作されると、領域設定部１２ａは、距離ＤＭ１，ＤＭ２，ＷＭ１．ＷＭ２の全てをマージン幅Ｍに設定する。 The screen 72 illustrated in FIG. 8 has an automatic setting button 73 and a manual setting button 74. When the automatic setting button 73 is operated, the area setting unit 12a moves the distances DM1, DM2, WM1. All of WM2 are set to the margin width M.

手動設定ボタン７４が操作されると、領域設定部１２ａは、距離ＤＭ１，ＤＭ２，ＷＭ１．ＷＭ２を設定するための入力欄７５への入力を受け付ける。領域設定部１２ａは、入力欄７５に入力された値に従って、距離ＤＭ１，ＤＭ２，ＷＭ１，ＷＭ２を設定する。 When the manual setting button 74 is operated, the area setting unit 12a sets the distances DM1, DM2, WM1. Accepts input to the input field 75 for setting WM2. The area setting unit 12a sets the distances DM1, DM2, WM1, and WM2 according to the values input in the input field 75.

また、画面７２は、コンテナ２を模式的に示す画像７６を含む。手動設定ボタン７４が操作されると、領域設定部１２ａは、画像７６において、距離ＤＭ１，ＤＭ２，ＷＭ１，ＷＭ２を定義付ける矩形状の枠線７７を表示する。さらに、領域設定部１２ａは、枠線７７の位置およびサイズを変更するためのカーソル７８を表示し、カーソル７８に対する操作に従って枠線７７の位置およびサイズを変更する。領域設定部１２ａは、変更後の枠線７７の位置およびサイズに従って、距離ＤＭ１，ＤＭ２，ＷＭ１，ＷＭ２を設定してもよい。 Further, the screen 72 includes an image 76 schematically showing the container 2. When the manual setting button 74 is operated, the area setting unit 12a displays a rectangular frame line 77 that defines the distances DM1, DM2, WM1, and WM2 in the image 76. Further, the area setting unit 12a displays the cursor 78 for changing the position and size of the frame line 77, and changes the position and size of the frame line 77 according to the operation with respect to the cursor 78. The area setting unit 12a may set the distances DM1, DM2, WM1, WM2 according to the position and size of the changed frame line 77.

＜Ｄ．定義情報の設定＞
図９および図１０を参照して、情報設定部１２ｂによる定義情報の設定方法の一例について説明する。 <D. Definition information settings>
An example of a method of setting definition information by the information setting unit 12b will be described with reference to FIGS. 9 and 10.

図９は、定義情報を設定するための画面例を示す図である。図９に例示される画面７９は、ボタン群８０と入力欄８１とを含む。入力欄８１は、壁面に隣接する領域４ａ〜４ｈにそれぞれ対応付けられた定義情報１０５（以下、「第１定義情報」とも称する。）を設定するために使用される。ボタン群８０は、壁面から離れた位置の領域５に対応付けられる定義情報１０５（以下、「第２定義情報」とも称する。）を設定するために使用される。 FIG. 9 is a diagram showing a screen example for setting definition information. The screen 79 illustrated in FIG. 9 includes a button group 80 and an input field 81. The input field 81 is used to set the definition information 105 (hereinafter, also referred to as “first definition information”) associated with the areas 4a to 4h adjacent to the wall surface. The button group 80 is used to set the definition information 105 (hereinafter, also referred to as “second definition information”) associated with the area 5 at a position away from the wall surface.

ボタン群８０は、鉛直方向上向きを選択するラジオボタン８０ａと、壁面平行を選択するラジオボタン８０ｂとを含む。ラジオボタン８０ａが操作された場合、情報設定部１２ｂは、領域５に対応付けて、鉛直方向上向きを示す第２定義情報を設定する。ラジオボタン８０ｂが操作された場合、情報設定部１２ｂは、領域５に対応付けて、壁面およびコンテナ２の底面に直交する平面上において壁面に平行な上向きの方向を示す第２定義情報を設定する。第２定義情報によって定義される並進動作は、第２定義情報で示される方向に沿った動作である。 The button group 80 includes a radio button 80a for selecting upward in the vertical direction and a radio button 80b for selecting parallel to the wall surface. When the radio button 80a is operated, the information setting unit 12b sets the second definition information indicating the upward direction in the vertical direction in association with the area 5. When the radio button 80b is operated, the information setting unit 12b sets the second definition information indicating the upward direction parallel to the wall surface on the plane orthogonal to the wall surface and the bottom surface of the container 2 in association with the area 5. .. The translational motion defined by the second definition information is an motion along the direction indicated by the second definition information.

なお、コンテナ２が水平に設置され、かつ、コンテナ２の壁面が底面に垂直である場合、ラジオボタン８０ａ，８０ｂのいずれを操作しても、同一の第２定義情報が設定される。 When the container 2 is installed horizontally and the wall surface of the container 2 is perpendicular to the bottom surface, the same second definition information is set regardless of which of the radio buttons 80a and 80b is operated.

コンテナ２の壁面３ａ〜３ｄが底面３ｚに対して傾斜している場合には、壁面およびコンテナの底面に直交する平面上において壁面に平行な上向きの方向と、底面の法線方向とは一致しない。さらに、コンテナ２が水平面に対して傾斜している場合、鉛直方向上向きと、底面の法線方向とも一致しない。そのため、ボタン群８０は、ラジオボタン８０ａ，８０ｂの他に、底面の法線方向を選択するラジオボタンを含んでもよい。当該ラジオボタンが操作された場合、情報設定部１２ｂは、領域５に対応付けて、底面の法線方向を示す第２定義情報を設定する。 When the wall surfaces 3a to 3d of the container 2 are inclined with respect to the bottom surface 3z, the upward direction parallel to the wall surface on the plane orthogonal to the wall surface and the bottom surface of the container does not match the normal direction of the bottom surface. .. Further, when the container 2 is inclined with respect to the horizontal plane, the vertical direction upward and the bottom surface normal direction do not match. Therefore, the button group 80 may include a radio button for selecting the normal direction of the bottom surface in addition to the radio buttons 80a and 80b. When the radio button is operated, the information setting unit 12b sets the second definition information indicating the normal direction of the bottom surface in association with the area 5.

入力欄８１には、ワーク１が通過すべき指定位置を指定するための逃げ幅が入力される。情報設定部１２ｂは、入力欄８１に入力された逃げ幅を第１定義情報として設定する。第１定義情報によって定義される並進動作は、検出部１５によって検出されたワーク１の位置と第１定義情報によって指定される指定位置とを通る直線に沿った動作である。 In the input field 81, a relief width for designating a designated position through which the work 1 should pass is input. The information setting unit 12b sets the relief width input in the input field 81 as the first definition information. The translational motion defined by the first definition information is an motion along a straight line passing through the position of the work 1 detected by the detection unit 15 and the designated position designated by the first definition information.

図１０は、領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。図１０において、エンドエフェクタ３０の待機位置Ｐａとワーク１の検出位置Ｐｂとを結ぶ線は、アプローチ動作の軌跡を示す。検出位置Ｐｂと退避位置Ｐｃとを結ぶ線は、ピッキング動作の軌跡を示す。退避位置Ｐｃと目標位置Ｐｄとを結ぶ線は、プレース動作の軌跡を示す。 FIG. 10 is a diagram showing a translational operation defined by the first definition information associated with the region 4a. In FIG. 10, the line connecting the standby position Pa of the end effector 30 and the detection position Pb of the work 1 indicates the trajectory of the approach operation. The line connecting the detection position Pb and the retracted position Pc indicates the locus of the picking operation. The line connecting the retracted position Pc and the target position Pd indicates the locus of the place operation.

検出位置Ｐｂと検出位置Ｐｂの鉛直方向上向きの退避位置Ｐｃ１とを結ぶ線に沿ってピッキング動作をさせた場合、ワーク１と壁面３ａとが接触する可能性がある。そのため、ワーク１を壁面３ａから遠ざかるように、退避位置を修正することが好ましい。従って、壁面３ａから遠ざかるような並進動作が第１定義情報によって定義されるように、指定位置Ｐｃ２が指定される。図１０に示す例では、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑから逃げ幅Ｆ１だけ壁面３ａから離れた位置が指定位置Ｐｃ２として指定される。検出位置Ｐｂと指定位置Ｐｃ２とを通る直線上に修正後の退避位置Ｐｃが設定される。第１定義情報で定義される並進動作は、検出位置Ｐｂと退避位置Ｐｃとを結ぶ直線に沿った動作である。 When the picking operation is performed along the line connecting the detection position Pb and the vertically upward withdrawal position Pc1 of the detection position Pb, the work 1 and the wall surface 3a may come into contact with each other. Therefore, it is preferable to correct the retracted position so that the work 1 is moved away from the wall surface 3a. Therefore, the designated position Pc2 is designated so that the translational motion of moving away from the wall surface 3a is defined by the first definition information. In the example shown in FIG. 10, in the plane 7 passing through the upper end of the container 2, a position separated from the wall surface 3a by the escape width F1 from the point Q which is the foot of the perpendicular line drawn from the detection position Pb is designated as the designated position Pc2. The corrected retract position Pc is set on a straight line passing through the detection position Pb and the designated position Pc2. The translational motion defined in the first definition information is an motion along a straight line connecting the detection position Pb and the retracted position Pc.

なお、第１定義情報で定義される並進動作は、わずかにカーブする動作であってもよい。すなわち、第１定義情報によって定義される並進動作は、検出位置Ｐｂと指定位置Ｐｃ２とを通る曲線に沿った動作であってもよい。この場合、当該曲線上に退避位置Ｐｃが設定される。 The translational motion defined in the first definition information may be a slightly curved motion. That is, the translational motion defined by the first definition information may be an motion along a curve passing through the detection position Pb and the designated position Pc2. In this case, the retracted position Pc is set on the curve.

＜Ｅ．コンテナが傾斜して設置されているときの処理例＞
次に、コンテナ２が水平面に対して傾斜して設置されているときの処理例について説明する。ロボット３００の多関節アーム３１の可動範囲に応じて、コンテナ２が水平面に対して傾斜して設置され得る。 <E. Processing example when the container is installed at an angle>
Next, a processing example when the container 2 is installed at an angle with respect to a horizontal plane will be described. Depending on the movable range of the articulated arm 31 of the robot 300, the container 2 may be installed at an angle with respect to a horizontal plane.

図１１は、水平面に対して傾斜角度θだけ傾斜して設置されたコンテナを示す断面図である。図１１に示す例では、壁面３ａが上側に位置し、壁面３ｃが下側に位置するように、コンテナ２が水平面に対して傾斜して設置されている。 FIG. 11 is a cross-sectional view showing a container installed at an inclination angle θ with respect to the horizontal plane. In the example shown in FIG. 11, the container 2 is installed at an angle with respect to the horizontal plane so that the wall surface 3a is located on the upper side and the wall surface 3c is located on the lower side.

コンテナ２が傾斜して設置されている場合、上側に位置する壁面３ａとピッキング動作中のエンドエフェクタ３０に把持されたワーク１との接触リスクが高まる。一方、下側に位置する壁面３ｃとピッキング動作中のエンドエフェクタ３０に把持されたワーク１との接触リスクは低くなる。そのため、領域設定部１２ａは、壁面３ａに隣接する領域４ａ，４ｅ、４ｈのサイズを定める距離ＤＭ１（図８参照）と、壁面３ｃに隣接する領域４ｃ，４ｆ、４ｇのサイズを定める距離ＤＭ２（図８参照）とを傾斜角度θに応じて調整してもよい。 When the container 2 is installed at an angle, the risk of contact between the wall surface 3a located on the upper side and the work 1 gripped by the end effector 30 during the picking operation increases. On the other hand, the risk of contact between the wall surface 3c located on the lower side and the work 1 gripped by the end effector 30 during the picking operation is low. Therefore, the area setting unit 12a has a distance DM1 (see FIG. 8) that determines the size of the regions 4a, 4e, and 4h adjacent to the wall surface 3a, and a distance DM2 (see FIG. 8) that determines the size of the regions 4c, 4f, and 4g adjacent to the wall surface 3c. (See FIG. 8) may be adjusted according to the inclination angle θ.

図１１に示す例では、領域設定部１２ａは、マージン幅Ｍ／cosθを距離ＤＭ１に設定し、マージン幅Ｍ×cosθを距離ＤＭ２に設定している。なお、領域設定部１２ａは、コンテナ２の内寸高さＨ２×tanθを距離ＤＭ２に設定してもよい。 In the example shown in FIG. 11, the area setting unit 12a sets the margin width M / cos θ to the distance DM1 and the margin width M × cos θ to the distance DM2. The area setting unit 12a may set the inner dimension height H2 × tanθ of the container 2 to the distance DM2.

図１２は、コンテナが水平面に対して傾斜して設置され、かつ、鉛直方向上向きを示す第２定義情報が設定されたときの領域の設定方法の一例を示す図である。第２定義情報が鉛直方向上向きを示す場合、領域５の範囲を図１１に示す領域４ｃの範囲まで広げたとしても、下側に位置する壁面３ｃとピッキング動作中のエンドエフェクタ３０に把持されたワーク１との接触リスクは低い。そのため、図１２に示されるように、領域設定部１２ａは、壁面３ｃに隣接するように領域５を設定してもよい。 FIG. 12 is a diagram showing an example of a method of setting an area when the container is installed at an angle with respect to the horizontal plane and the second definition information indicating upward in the vertical direction is set. When the second definition information indicates upward in the vertical direction, even if the range of the area 5 is expanded to the range of the area 4c shown in FIG. 11, it is gripped by the wall surface 3c located on the lower side and the end effector 30 during the picking operation. The risk of contact with work 1 is low. Therefore, as shown in FIG. 12, the area setting unit 12a may set the area 5 so as to be adjacent to the wall surface 3c.

コンテナ２が水平面に対して傾斜している場合であっても、情報設定部１２ｂは、＜Ｄ．定義情報の設定＞で説明した方法と同じ方法に従って定義情報を設定すればよい。 Even when the container 2 is tilted with respect to the horizontal plane, the information setting unit 12b can be set to <D. Definition information may be set according to the same method as described in> Setting definition information.

図１３は、コンテナが水平面に対して傾斜して設置されているときの、領域４ａに対応付けられた第１定義情報によって定義される並進動作を示す図である。図１３に示されるように、ピッキング動作時のワーク１と壁面３ａとの接触を回避するために、壁面３ａから遠ざかるような並進動作が第１定義情報によって定義されるように、指定位置Ｐｃ２が指定される。図１３に示す例では、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑから逃げ幅Ｆ１だけ壁面３ａから離れた位置が指定位置Ｐｃ２として指定される。そして、検出位置Ｐｂと指定位置Ｐｃ２とを通る直線上に修正後の退避位置Ｐｃが設定される。第１定義情報によって定義される並進動作は、検出位置Ｐｂと退避位置Ｐｃとを結ぶ直線に沿った動作である。 FIG. 13 is a diagram showing a translational operation defined by the first definition information associated with the region 4a when the container is installed at an angle with respect to the horizontal plane. As shown in FIG. 13, in order to avoid contact between the work 1 and the wall surface 3a during the picking operation, the designated position Pc2 is set so that the translational operation away from the wall surface 3a is defined by the first definition information. It is specified. In the example shown in FIG. 13, on the plane 7 passing through the upper end of the container 2, a position separated from the wall surface 3a by the escape width F1 from the point Q which is the foot of the perpendicular line drawn from the detection position Pb is designated as the designated position Pc2. Then, the corrected evacuation position Pc is set on a straight line passing through the detection position Pb and the designated position Pc2. The translational motion defined by the first definition information is an motion along a straight line connecting the detection position Pb and the retracted position Pc.

ロボット３００の並進機構における動作精度には誤差がある。そのため、領域５に対応付けられた第２定義情報が鉛直方向上向き（Ｚ軸正方向）に沿った並進動作を定義する場合、領域５に位置するワーク１に対するピッキング動作において、ワーク１と上側に位置する壁面３ａとの接触リスクが高まる。そこで、図９において例えばラジオボタン８０ａが操作された場合に、鉛直方向上向き（Ｚ軸正方向）よりも壁面３ａから離れるように傾斜した方向に沿った並進動作を定義する第２定義情報が領域５に対応付けて設定されてもよい。このとき、並進動作の方向と鉛直方向上向き（Ｚ軸正方向）とのなす角度は、ロボット３００の並進機構における動作精度の誤差以上に設定される。 There is an error in the operation accuracy of the translation mechanism of the robot 300. Therefore, when the second definition information associated with the region 5 defines a translational motion along the vertical upward direction (Z-axis positive direction), in the picking motion for the work 1 located in the region 5, the work 1 and the upper side The risk of contact with the located wall surface 3a increases. Therefore, in FIG. 9, for example, when the radio button 80a is operated, the second definition information that defines the translational operation along the direction inclined so as to be away from the wall surface 3a rather than the vertical upward direction (Z-axis positive direction) is the region. It may be set in association with 5. At this time, the angle formed by the translational movement direction and the vertical upward direction (Z-axis positive direction) is set to be equal to or greater than the error in the movement accuracy of the translation mechanism of the robot 300.

＜Ｆ．コンテナの位置姿勢の検出方法＞
コンテナ２が固定位置に設置されない場合、検出部１５は、コンテナ２に対するワーク１の相対位置姿勢を特定するために、コンテナ２の位置姿勢を検出する。 <F. How to detect the position and orientation of the container>
When the container 2 is not installed at a fixed position, the detection unit 15 detects the position / orientation of the container 2 in order to specify the relative position / orientation of the work 1 with respect to the container 2.

図１４は、コンテナの位置姿勢を検出する方法の一例を説明する図である。コンテナ２内にはワーク１が収容されるため、計測ヘッド４００の撮像部４０２によって撮像される画像には、コンテナ２の上端面８が含まれる。コンテナ２が設置される台の高さが固定である場合、上端面８の高さ（Ｚ座標）は一定である。ただし、コンテナ２の設置位置に応じて、上端面８のＸ座標およびＹ座標は変化しうる。そこで、検出部１５は、二次元サーチの手法を用いてコンテナ２の位置姿勢を検出できる。すなわち、検出部１５は、撮像部４０２から見たときのコンテナ２の上端面８の二次元形状を示すテンプレートデータを予め記憶しておき、当該テンプレートデータと画像データ１０３とを照合することにより、コンテナ２の位置姿勢を検出する。 FIG. 14 is a diagram illustrating an example of a method of detecting the position and orientation of the container. Since the work 1 is housed in the container 2, the image captured by the imaging unit 402 of the measuring head 400 includes the upper end surface 8 of the container 2. When the height of the table on which the container 2 is installed is fixed, the height (Z coordinate) of the upper end surface 8 is constant. However, the X coordinate and the Y coordinate of the upper end surface 8 may change depending on the installation position of the container 2. Therefore, the detection unit 15 can detect the position and orientation of the container 2 by using the two-dimensional search method. That is, the detection unit 15 stores in advance template data indicating the two-dimensional shape of the upper end surface 8 of the container 2 when viewed from the imaging unit 402, and collates the template data with the image data 103. The position and orientation of the container 2 are detected.

図１５は、コンテナの位置姿勢を検出する方法の別の例を説明する図である。図１５に示す例では、コンテナ２の上端面８上に４つの検出マーク８ａ〜８ｄが描かれている。検出部１５は、画像データ１０３の中から検出マーク８ａ〜８ｄの位置を特定することにより、コンテナ２の位置姿勢を検出してもよい。 FIG. 15 is a diagram illustrating another example of a method of detecting the position and orientation of the container. In the example shown in FIG. 15, four detection marks 8a to 8d are drawn on the upper end surface 8 of the container 2. The detection unit 15 may detect the position and orientation of the container 2 by specifying the positions of the detection marks 8a to 8d from the image data 103.

図１６は、コンテナの位置姿勢を検出する方法のさらに別の例を説明する図である。図１６に示す例では、コンテナ２は、水平面に対して傾斜した台に設置される。コンテナ２が水平面に対して傾斜して設置される場合、上端面８上に描かれた４つの検出マーク８ａ〜８ｄを頂点とする四角形が歪む。検出部１５は、４つの検出マーク８ａ〜８ｄを頂点とする四角形の歪み度合いに基づいて、コンテナ２の水平面に対する傾斜角度θを検出できる。例えば、検出部１５は、傾斜角度θと４つの検出マーク８ａ〜８ｄ間の距離との関係式を予め記憶しておき、当該関係式を用いて傾斜角度θを計算すればよい。 FIG. 16 is a diagram illustrating still another example of the method of detecting the position and orientation of the container. In the example shown in FIG. 16, the container 2 is installed on a table inclined with respect to a horizontal plane. When the container 2 is installed at an angle with respect to the horizontal plane, the quadrangle having the four detection marks 8a to 8d drawn on the upper end surface 8 as vertices is distorted. The detection unit 15 can detect the inclination angle θ of the container 2 with respect to the horizontal plane based on the degree of distortion of the quadrangle having the four detection marks 8a to 8d as vertices. For example, the detection unit 15 may store the relational expression between the inclination angle θ and the distances between the four detection marks 8a to 8d in advance, and calculate the inclination angle θ using the relational expression.

検出部１５は、ワーク１と同様に三次元サーチの手法を用いてコンテナ２の位置姿勢を検出してもよい。すなわち、コンテナ２を様々な方向から見たときの三次元形状を示すテンプレートデータが予め記憶部１０に格納される。検出部１５は、３Ｄ画像生成部１４によって生成された三次元点群データとテンプレートデータとを照合することにより、コンテナ２の位置姿勢を検出する。 The detection unit 15 may detect the position and orientation of the container 2 by using the three-dimensional search method as in the work 1. That is, template data showing the three-dimensional shape when the container 2 is viewed from various directions is stored in the storage unit 10 in advance. The detection unit 15 detects the position and orientation of the container 2 by collating the three-dimensional point cloud data generated by the 3D image generation unit 14 with the template data.

＜Ｇ．設定処理の流れ＞
図１７は、画像処理装置における設定処理の流れの一例を示すフローチャートである。まず、画像処理装置１００のＣＰＵ１１０は、コンテナ２内の空間において、互いに排他的な関係にある複数の領域（例えば図２に示す領域４ａ〜４ｈ，５）を設定する（ステップＳ１）。ＣＰＵ１１０は、例えば図８に示す画面７２をディスプレイ１５０に表示し、入力装置１６０への入力に従って複数の領域を設定する。ＣＰＵ１１０は、設定した複数の領域のそれぞれの範囲を示す領域情報１０４を生成する。 <G. Flow of setting process>
FIG. 17 is a flowchart showing an example of the flow of setting processing in the image processing apparatus. First, the CPU 110 of the image processing apparatus 100 sets a plurality of regions (for example, regions 4a to 4h, 5 shown in FIG. 2) having an exclusive relationship with each other in the space inside the container 2 (step S1). For example, the CPU 110 displays the screen 72 shown in FIG. 8 on the display 150, and sets a plurality of areas according to the input to the input device 160. The CPU 110 generates area information 104 indicating the respective ranges of the set plurality of areas.

次に、ＣＰＵ１１０は、ステップＳ１で設定した複数の領域の各々に対応付けて、エンドエフェクタの並進動作を定義する定義情報１０５を設定する。ＣＰＵ１１０は、例えば図９に示す画面７９をディスプレイ１５０に表示し、入力装置１６０への入力に従って定義情報１０５を設定する。 Next, the CPU 110 sets the definition information 105 that defines the translational operation of the end effector in association with each of the plurality of areas set in step S1. For example, the CPU 110 displays the screen 79 shown in FIG. 9 on the display 150, and sets the definition information 105 according to the input to the input device 160.

＜Ｈ．ロボット動作の制御処理の流れ＞
図１８は、画像処理装置におけるロボット動作の制御処理の流れの一例を示すフローチャートである。まず、ＣＰＵ１１０は、計測ヘッド４００によって撮像された複数の画像データ１０３に基づいて、計測ヘッド４００の視野領域の三次元計測を行なう（ステップＳ１１）。ステップＳ１１において、ＣＰＵ１１０は、三次元点群データを生成する。 <H. Flow of robot operation control process>
FIG. 18 is a flowchart showing an example of a flow of control processing of robot operation in an image processing device. First, the CPU 110 performs three-dimensional measurement of the visual field region of the measurement head 400 based on the plurality of image data 103 captured by the measurement head 400 (step S11). In step S11, the CPU 110 generates three-dimensional point cloud data.

次に、ＣＰＵ１１０は、ワーク１を様々に方向から見たときの三次元形状を示す複数のテンプレートデータ１０２と三次元点群データとを照合することにより、ワーク１の位置姿勢を検出する（ステップＳ１２）。コンテナ２の位置姿勢が固定されていない場合、ステップＳ１２において、検出部１５は、コンテナ２の位置姿勢を検出してもよい。 Next, the CPU 110 detects the position and orientation of the work 1 by collating the plurality of template data 102 showing the three-dimensional shape when the work 1 is viewed from various directions with the three-dimensional point cloud data (step). S12). When the position / orientation of the container 2 is not fixed, the detection unit 15 may detect the position / orientation of the container 2 in step S12.

次に、ＣＰＵ１１０は、ピッキング対象のワーク１の位置姿勢に応じてロボット３００の動作を決定する（ステップＳ１３）。ロボット３００の動作には、上述したように、アプローチ動作とピッキング動作とプレース動作とが含まれる。具体的には、ＣＰＵ１１０は、ステップＳ１において生成された領域情報１０４に基づいて、複数の領域のうちワーク１の位置を含む領域を特定する。ＣＰＵ１１０は、特定した領域に対応付けられた定義情報１０５によって定義される並進動作をピッキング動作の並進成分として決定する。 Next, the CPU 110 determines the operation of the robot 300 according to the position and orientation of the work 1 to be picked (step S13). As described above, the operation of the robot 300 includes an approach operation, a picking operation, and a place operation. Specifically, the CPU 110 specifies an area including the position of the work 1 among the plurality of areas based on the area information 104 generated in step S1. The CPU 110 determines the translation operation defined by the definition information 105 associated with the specified area as the translation component of the picking operation.

次に、ＣＰＵ１１０は、決定した動作を実行させるための動作指令を生成し、生成した動作指令をロボットコントローラ２００に出力する（ステップＳ１４）。 Next, the CPU 110 generates an operation command for executing the determined operation, and outputs the generated operation command to the robot controller 200 (step S14).

＜Ｉ．作用・効果＞
以上のように、本実施の形態に係る画像処理装置１００は、コンテナ２に収容されたワークをピッキングするロボット３００の動作を決定する。画像処理装置１００は、領域設定部１２ａと、情報設定部１２ｂと、検出部１５と、動作指令決定部１６とを備える。領域設定部１２ａは、コンテナ２内の空間において、互いに排他的な関係にある複数の領域を設定する。情報設定部１２ｂは、複数の領域の各々と対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報１０５を設定する。検出部１５は、コンテナ２を撮像することにより得られた画像に基づいて、ワーク１の位置を検出する。動作指令決定部１６は、ワーク１を把持してからワーク１をコンテナ２外に搬送するまでのエンドエフェクタ３０のピッキング動作を決定する。動作指令決定部１６は、複数の領域のうち検出部１５によって検出されたワーク１の位置を含む領域に対応付けられた定義情報１０５によって定義される並進動作を、ピッキング動作の並進成分として決定する。 <I. Action / effect>
As described above, the image processing device 100 according to the present embodiment determines the operation of the robot 300 that picks the work housed in the container 2. The image processing device 100 includes an area setting unit 12a, an information setting unit 12b, a detection unit 15, and an operation command determination unit 16. The area setting unit 12a sets a plurality of areas having an exclusive relationship with each other in the space inside the container 2. The information setting unit 12b sets the definition information 105 that defines the translational operation of the end effector 30 in association with each of the plurality of regions. The detection unit 15 detects the position of the work 1 based on the image obtained by imaging the container 2. The operation command determining unit 16 determines the picking operation of the end effector 30 from gripping the work 1 to transporting the work 1 out of the container 2. The operation command determination unit 16 determines the translational operation defined by the definition information 105 associated with the area including the position of the work 1 detected by the detection unit 15 among the plurality of areas as the translation component of the picking operation. ..

これにより、画像処理装置１００は、複雑な計算を行なうことなく、予め設定した定義情報１０５を用いて、ワーク１に対するピッキング動作の並進成分を容易に決定できる。その結果、計算コストの増大を抑制しながら、コンテナ２に収容されたワーク１をピッキングするロボットの動作を決定できる。 As a result, the image processing apparatus 100 can easily determine the translational component of the picking operation with respect to the work 1 by using the preset definition information 105 without performing complicated calculations. As a result, the operation of the robot that picks the work 1 housed in the container 2 can be determined while suppressing the increase in the calculation cost.

複数の領域は、コンテナ２内における壁面３ａ〜３ｄにそれぞれ隣接する領域４ａ〜４ｄと、領域４ａ〜４ｄよりも壁面３ａ〜３ｄからそれぞれ離れた位置の領域５とを含む。これにより、コンテナ２の壁面３ａ〜３ｄにそれぞれ隣接する領域４ａ〜４ｄと、壁面３ａ〜３ｄから離れた領域５とのそれぞれについて、ピッキング動作の並進成分を決定するための定義情報１０５を別個に設定できる。すなわち、複数の領域の各々について、当該領域に適した並進動作を定義する定義情報を設定することができる。 The plurality of regions include regions 4a to 4d adjacent to the wall surfaces 3a to 3d in the container 2, and regions 5 located at positions farther from the wall surfaces 3a to 3d than the regions 4a to 4d. As a result, the definition information 105 for determining the translational component of the picking operation is separately provided for each of the regions 4a to 4d adjacent to the wall surfaces 3a to 3d of the container 2 and the regions 5 distant from the wall surfaces 3a to 3d. Can be set. That is, for each of the plurality of regions, definition information that defines the translational motion suitable for the region can be set.

領域設定部１２ａは、壁面３ａ〜３ｄからの距離情報を用いて領域４ａ〜４ｄ，５を設定すればよい。これにより、領域４ａ〜４ｄ，５を容易に設定できる。 The area setting unit 12a may set the areas 4a to 4d and 5 by using the distance information from the wall surfaces 3a to 3d. As a result, the regions 4a to 4d and 5 can be easily set.

例えば、壁面３ａに隣接する領域４ａに対応付けられた定義情報１０５は、ワーク１が通過すべき指定位置を指定するための情報である。そして、当該定義情報１０５によって定義される並進動作は、ワーク１の検出位置と指定位置とを通る直線または曲線に沿った動作である。これにより、領域ごとに指定位置を設定することにより、ピッキング動作の並進成分が決定される。 For example, the definition information 105 associated with the area 4a adjacent to the wall surface 3a is information for designating a designated position through which the work 1 should pass. The translational motion defined by the definition information 105 is an motion along a straight line or a curved line passing through the detection position and the designated position of the work 1. As a result, the translational component of the picking operation is determined by setting the designated position for each area.

指定位置は、検出位置に応じて指定されてもよい。例えば、図１０に示す例では、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑから逃げ幅Ｆ１だけ壁面３ａから離れた位置が指定位置Ｐｃ２として指定される。これにより、検出位置Ｐｂに適した指定位置が指定される。 The designated position may be designated according to the detection position. For example, in the example shown in FIG. 10, on the plane 7 passing through the upper end of the container 2, a position separated from the wall surface 3a by the escape width F1 from the point Q which is the foot of the perpendicular line drawn from the detection position Pb is designated as the designated position Pc2. To. As a result, a designated position suitable for the detection position Pb is designated.

領域５に対応付けられた定義情報１０５は、例えば、壁面３ａおよび容器の底面３ｚに直交する平面上において壁面３ａに平行な上向きの方向、底面３ｚの法線方向、鉛直方向上向き、およびこれらの方向よりも壁面３ａから離れるように傾斜した方向、のいずれかを示す。領域５に対応付けられた定義情報１０５によって定義される並進動作は、これらの方向に沿った動作である。領域５は、壁面から離れた位置にある。そのため、これらの方向に沿ったピッキング動作を行なっても、壁面とワーク１との接触リスクが低い。 The definition information 105 associated with the region 5 is, for example, an upward direction parallel to the wall surface 3a on a plane orthogonal to the wall surface 3a and the bottom surface 3z of the container, a normal direction of the bottom surface 3z, a vertical direction upward direction, and these. It indicates one of the directions inclined so as to be away from the wall surface 3a rather than the direction. The translational motion defined by the definition information 105 associated with the region 5 is an motion along these directions. Region 5 is located away from the wall surface. Therefore, even if the picking operation is performed along these directions, the risk of contact between the wall surface and the work 1 is low.

領域設定部１２ａは、コンテナ２が水平面に対して傾斜して設置される場合、コンテナ２の水平面に対する傾斜方向および傾斜角度に応じて、複数の領域の少なくとも１つ（図１１に示す例では領域４ａ、４ｃ）のサイズを調整する。これにより、傾斜に応じて領域のサイズが適宜自動的に調整される。これにより、ユーザの手間を削減できる。 When the container 2 is installed at an angle with respect to the horizontal plane, the area setting unit 12a is at least one of a plurality of areas (in the example shown in FIG. 11, the area) according to the inclination direction and the inclination angle of the container 2 with respect to the horizontal plane. Adjust the size of 4a, 4c). As a result, the size of the area is automatically adjusted according to the inclination. As a result, the time and effort of the user can be reduced.

領域設定部１２ａは、２つの爪３３によるワーク１の把持位置の中心点（図７の点Ｐ）と、ワーク１の外接直方体ＲＰの表面上の点との最大距離をマージン幅Ｍとして設定する。そして、領域設定部１２ａは、壁面３ａ〜３ｄからそれぞれマージン幅Ｍ以内の領域を領域４ａ〜４ｄとして自動的に設定してもよい。これにより、領域の設定に要するユーザの手間を削減できる。なお、２つの爪３３によるワーク１の把持位置の中心点（図７の点Ｐ）と、ワーク１の外接直方体ＲＰの表面上の点との最大距離以上の距離がマージン幅Ｍとして設定されてもよい。 The area setting unit 12a sets the maximum distance between the center point of the gripping position of the work 1 by the two claws 33 (point P in FIG. 7) and the point on the surface of the circumscribed rectangular parallelepiped RP of the work 1 as the margin width M. .. Then, the area setting unit 12a may automatically set the areas within the margin width M from the wall surfaces 3a to 3d as the areas 4a to 4d. As a result, the user's labor required for setting the area can be reduced. A distance equal to or greater than the maximum distance between the center point of the gripping position of the work 1 by the two claws 33 (point P in FIG. 7) and the point on the surface of the circumscribed rectangular parallelepiped RP of the work 1 is set as the margin width M. May be good.

＜Ｊ．変形例＞
（Ｊ−１．変形例１）
上記の実施の形態では、内底面が平坦であり、内壁面が内側面に対して垂直である直方体状の箱であるコンテナ２を、ワーク１が収容される容器の一例として説明した。しかしながら、ワーク１が収容される容器は、コンテナ２の形状に限定されず、複雑な形状を有していてもよい。 <J. Modification example>
(J-1. Modification 1)
In the above embodiment, the container 2 which is a rectangular parallelepiped box having a flat inner bottom surface and an inner wall surface perpendicular to the inner side surface has been described as an example of a container in which the work 1 is housed. However, the container in which the work 1 is housed is not limited to the shape of the container 2, and may have a complicated shape.

図１９は、ワークが収容される容器の別の例を示す平面図である。図２０は、図１９のＶ−Ｖ線に沿った矢視断面図である。図１９および図２０に例示されるコンテナ２ａは、４つの凹部９ａ〜９ｄを有する。ワークは、凹部９ａ〜９ｄ内に収容されるか、もしくは、凹部９ａ〜９ｄ内に収容されたワークの上に載せられる。図１９および図２０に示す例では、ワーク１ｂは凹部９ａ内に収容されており、ワーク１ｃは凹部９ｄ内に収容されている。ワーク１ａは、凹部９ａ内に収容されているワーク１ｂの上に載せられ、凹部９ａの上方に位置している。 FIG. 19 is a plan view showing another example of the container in which the work is housed. FIG. 20 is a cross-sectional view taken along the line VV of FIG. The container 2a illustrated in FIGS. 19 and 20 has four recesses 9a-9d. The work is housed in the recesses 9a to 9d, or is placed on the work housed in the recesses 9a-9d. In the examples shown in FIGS. 19 and 20, the work 1b is housed in the recess 9a, and the work 1c is housed in the recess 9d. The work 1a is placed on the work 1b housed in the recess 9a and is located above the recess 9a.

図２１は、図１９に示す凹部９ａ付近を示す拡大平面図である。図２１に示されるように、凹部９ａは、４つの壁面３ｅ〜３ｈによって囲まれている。壁面３ｅ，３ｆは、凹部９ａの底面に垂直である。壁面３ｇ，３ｈは、凹部９ａが上方に向かって広がるように、底面の法線方向に対して傾斜している。 FIG. 21 is an enlarged plan view showing the vicinity of the recess 9a shown in FIG. As shown in FIG. 21, the recess 9a is surrounded by four wall surfaces 3e to 3h. The wall surfaces 3e and 3f are perpendicular to the bottom surface of the recess 9a. The wall surfaces 3g and 3h are inclined with respect to the normal direction of the bottom surface so that the recesses 9a spread upward.

領域設定部１２ａは、凹部９ａ〜９ｄの各々について、互いに排他的な関係にある複数の領域を設定すればよい。図２１に示す例では、領域設定部１２ａは、凹部９ａ内の空間について領域４ｉ〜４ｐ，５ａを設定している。領域４ｉは壁面３ｅ，３ｆに隣接する。領域４ｊは壁面３ｅに隣接する。領域４ｋは壁面３ｅ，３ｈに隣接する。領域４ｌは壁面３ｆに隣接する。領域４ｍは壁面３ｈに隣接する。領域４ｎは壁面３ｆ，３ｇに隣接する。領域４ｏは壁面３ｇに隣接する。領域４ｐは壁面３ｇ，３ｈに隣接する。領域５ａは、領域４ｅ，４ｌ，４ｏ，４ｍよりも壁面３ｅ〜３ｈからそれぞれ離れている。 The area setting unit 12a may set a plurality of areas having an exclusive relationship with each other for each of the recesses 9a to 9d. In the example shown in FIG. 21, the area setting unit 12a sets the areas 4i to 4p, 5a for the space in the recess 9a. The region 4i is adjacent to the wall surfaces 3e and 3f. The region 4j is adjacent to the wall surface 3e. The region 4k is adjacent to the wall surfaces 3e and 3h. The region 4l is adjacent to the wall surface 3f. The area 4m is adjacent to the wall surface 3h. The region 4n is adjacent to the wall surfaces 3f and 3g. The region 4o is adjacent to the wall surface 3g. The region 4p is adjacent to the wall surfaces 3g and 3h. The region 5a is farther from the wall surfaces 3e to 3h than the regions 4e, 4l, 4o, and 4m, respectively.

情報設定部１２ｂは、各領域に対応付けて、エンドエフェクタ３０の並進動作を定義する定義情報１０５を設定する。図２１に示す例では、情報設定部１２ｂは、領域４ｉ〜４ｐ，５ａに対応付けて、並進動作４０ｉ〜４０ｐ，５０ａを定義する定義情報１０５をそれぞれ設定する。 The information setting unit 12b sets the definition information 105 that defines the translational operation of the end effector 30 in association with each area. In the example shown in FIG. 21, the information setting unit 12b sets the definition information 105 that defines the translational motions 40i to 40p and 50a in association with the areas 4i to 4p and 5a, respectively.

並進動作４０ｉは、領域４ｉに隣接する壁面３ｅ，３ｆから離れる方向に移動する動作である。並進動作４０ｊは、領域４ｊに隣接する壁面３ｅから離れる方向に移動する動作である。並進動作４０ｌは、領域４ｌに隣接する壁面３ｆから離れる方向に移動する動作である。並進動作４０ｍは、領域４ｍに隣接する壁面３ｈから離れる方向に移動する動作である。並進動作４０ｏは、領域４ｏに隣接する壁面３ｇから離れる方向に移動する動作である。並進動作４０ｐは、領域４ｐに隣接する壁面３ｇ，３ｈから離れる方向に移動する動作である。 The translation operation 40i is an operation of moving in a direction away from the wall surfaces 3e and 3f adjacent to the area 4i. The translation operation 40j is an operation of moving in a direction away from the wall surface 3e adjacent to the region 4j. The translation operation 40l is an operation of moving away from the wall surface 3f adjacent to the region 4l. The translational motion 40m is an motion of moving away from the wall surface 3h adjacent to the region 4m. The translational motion 40o is an motion of moving away from the wall surface 3g adjacent to the region 4o. The translation operation 40p is an operation of moving in a direction away from the wall surfaces 3g and 3h adjacent to the region 4p.

なお、凹部９ａの底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈへのワークの接触リスクは低い。そのため、領域４ｍ，４ｏ，４ｐにそれぞれ対応する並進動作４０ｍ，４０ｏ，４０ｐは、鉛直方向上向き（Ｚ軸正方向）に沿った直線移動であってもよい。 The risk of contact of the work with the wall surfaces 3g and 3h that are inclined so that the angle formed by the recess 9a with the bottom surface is obtuse is low. Therefore, the translational movements 40m, 40o, and 40p corresponding to the regions 4m, 4o, and 4p, respectively, may be linear movements along the vertical upward direction (Z-axis positive direction).

領域４ｋでは、凹部９ａの底面とのなす角度が鈍角となるように傾斜している壁面３ｈよりも底面に垂直な壁面３ｅへのワークの接触リスクが高い。そのため、領域４ｋに対応する並進動作４０ｋは、壁面３ｅから離れる方向に移動する動作である。同様に、領域４ｎでは、凹部９ａの底面に対して傾斜している壁面３ｇよりも底面に垂直な壁面３ｆへのワークの接触リスクが高い。そのため、領域４ｎに対応する並進動作４０ｎは、壁面３ｆから離れる方向に移動する動作である。 In the region 4k, the risk of contact of the work with the wall surface 3e perpendicular to the bottom surface is higher than that of the wall surface 3h which is inclined so that the angle formed by the recess 9a with the bottom surface is obtuse. Therefore, the translational motion 40k corresponding to the region 4k is an motion of moving in a direction away from the wall surface 3e. Similarly, in the region 4n, the risk of contact of the work with the wall surface 3f perpendicular to the bottom surface is higher than that of the wall surface 3g inclined with respect to the bottom surface of the recess 9a. Therefore, the translational operation 40n corresponding to the region 4n is an operation of moving in a direction away from the wall surface 3f.

図２１に例示される並進動作５０ａは、鉛直方向上向き（Ｚ軸正方向）に沿った直線移動である。ただし、ロボット３００の並進機構における動作精度には誤差がある。そのため、ある方向に直線移動させようとしても、当該方向から誤差分だけ傾斜した方向に移動する可能性がある。凹部９ａは、底面に垂直な壁面３ｅ，３ｆと、底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈとに囲まれている。そのため、壁面３ｇ，３ｈよりも壁面３ｅ，３ｆへのワークの接触リスクが高い。そこで、図９において例えばラジオボタン８０ａが操作された場合に、鉛直方向上向き（Ｚ軸正方向）よりも壁面３ｅ，３ｆから離れるように傾斜した方向に沿った直進動作が並進動作５０ａとして設定されてもよい。このとき、並進動作５０ａの方向と鉛直方向上向き（Ｚ軸正方向）とのなす角度は、ロボット３００の並進機構における動作精度の誤差以上に設定される。 The translational motion 50a exemplified in FIG. 21 is a linear movement along the vertical direction upward (Z-axis positive direction). However, there is an error in the operation accuracy of the translation mechanism of the robot 300. Therefore, even if it is attempted to move linearly in a certain direction, it may move in a direction inclined by an error from that direction. The recess 9a is surrounded by wall surfaces 3e and 3f that are perpendicular to the bottom surface and wall surfaces 3g and 3h that are inclined so that the angle formed by the bottom surface is obtuse. Therefore, the risk of contact of the work with the wall surfaces 3e and 3f is higher than that of the wall surfaces 3g and 3h. Therefore, in FIG. 9, for example, when the radio button 80a is operated, the translational motion 50a is set as the translational motion along the direction inclined so as to be away from the wall surfaces 3e and 3f rather than the vertical direction upward (Z-axis positive direction). You may. At this time, the angle formed by the direction of the translation operation 50a and the vertical upward direction (Z-axis positive direction) is set to be equal to or greater than the error in the operation accuracy of the translation mechanism of the robot 300.

（Ｊ−２．変形例２）
コンテナ２，２ａに収容された複数のワークを１つずつ順にピッキングする場合、壁面との接触リスクの低いワークからピッキングすることが好ましい。そこで、設定部１２は、ピッキング対象となるワークを選択する基準となる優先度を領域ごとに設定してもよい。 (J-2. Modification 2)
When a plurality of workpieces housed in the containers 2 and 2a are picked one by one, it is preferable to pick the workpieces having the lowest risk of contact with the wall surface first. Therefore, the setting unit 12 may set a priority as a reference for selecting the work to be picked for each area.

図２２は、変形例２に係る設定部の内部構成を示す図である。図２２に例示される設定部１２は、領域設定部１２ａおよび情報設定部１２ｂの他に、優先度設定部１２ｃを含む。 FIG. 22 is a diagram showing an internal configuration of a setting unit according to the second modification. The setting unit 12 illustrated in FIG. 22 includes a priority setting unit 12c in addition to the area setting unit 12a and the information setting unit 12b.

優先度設定部１２ｃは、入力装置１６０への入力に従って、領域設定部１２ａによって設定された複数の領域の各々について優先度を設定する。優先度設定部１２ｃは、領域ごとに設定した優先度を領域情報１０４に含める。 The priority setting unit 12c sets the priority for each of the plurality of areas set by the area setting unit 12a according to the input to the input device 160. The priority setting unit 12c includes the priority set for each area in the area information 104.

例えば、図２に示すコンテナ２の場合、領域５に位置するワーク１は、領域４ａ〜４ｈに位置するワーク１よりも壁面３ａ〜３ｄのいずれかへ接触するリスクが低い。そのため、ユーザは、領域５について、領域４ａ〜４ｈの優先度よりも高い優先度を入力装置１６０に入力すればよい。これにより、優先度設定部１２ｃは、領域５の優先度を領域４ａ〜４ｈの優先度よりも高く設定する。 For example, in the case of the container 2 shown in FIG. 2, the work 1 located in the area 5 has a lower risk of contacting any of the wall surfaces 3a to 3d than the work 1 located in the areas 4a to 4h. Therefore, the user may input a priority higher than the priority of the areas 4a to 4h to the input device 160 for the area 5. As a result, the priority setting unit 12c sets the priority of the area 5 higher than the priority of the areas 4a to 4h.

図２１に示すコンテナ２ａの場合、底面に垂直な壁面３ｅ，３ｆ近傍のワークは、底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈ近傍のワークよりも、壁面へ接触するリスクが低い。そのため、ユーザは、壁面３ｅ，３ｆに隣接する領域について、相対的に低い優先度を入力装置１６０に入力すればよい。 In the case of the container 2a shown in FIG. 21, the workpieces near the wall surfaces 3e and 3f perpendicular to the bottom surface are in contact with the wall surface more than the workpieces near the wall surfaces 3g and 3h which are inclined so that the angle formed with the bottom surface is obtuse. The risk of doing it is low. Therefore, the user may input a relatively low priority to the input device 160 for the regions adjacent to the wall surfaces 3e and 3f.

図２３は、変形例２において生成された領域情報の一例を示す図である。図２３には、図２１に示すコンテナ２ａに対して生成された領域情報１０４が示される。図２３に示されるように、壁面から最も離れた領域５ａの優先度が最も高い「１」に設定されている。底面とのなす角度が鈍角となるように傾斜している壁面３ｇ，３ｈの一方にのみ隣接している領域４ｍ，４ｏの優先度が次に高い「２」に設定されている。壁面３ｇ，３ｈの両方に隣接している領域４ｐの優先度が次に高い「３」に設定されている。底面に垂直な壁面３ｅ，３ｆの一方にのみ隣接している領域４ｊ，４ｌの優先度が次に高い「４」に設定されている。壁面３ｅ，３ｆの一方と壁面３ｇ，３ｈの一方とに隣接している領域４ｋ，４ｎの優先度が次に高い「５」に設定されている。壁面３ｅ，３ｆの両方に隣接している領域４ｉの優先度が最も低い「６」に設定されている。 FIG. 23 is a diagram showing an example of the area information generated in the modified example 2. FIG. 23 shows the area information 104 generated for the container 2a shown in FIG. As shown in FIG. 23, the region 5a farthest from the wall surface is set to the highest priority "1". Areas 4m and 4o adjacent to only one of the wall surfaces 3g and 3h, which are inclined so that the angle formed with the bottom surface is obtuse, are set to "2", which has the next highest priority. The area 4p adjacent to both the wall surfaces 3g and 3h has the next highest priority of "3". The regions 4j and 4l adjacent to only one of the wall surfaces 3e and 3f perpendicular to the bottom surface are set to "4" having the next highest priority. The regions 4k and 4n adjacent to one of the wall surfaces 3e and 3f and one of the wall surfaces 3g and 3h are set to "5", which has the next highest priority. The area 4i adjacent to both the wall surfaces 3e and 3f is set to "6", which has the lowest priority.

検出部１５は、複数のワークを検出した場合、領域情報１０４を参照して、当該複数のワークの中から優先度の最も高い領域に位置するワークをピッキング対象として選択すればよい。これにより、ロボット３００は、壁面との接触リスクの低いワークから順にピッキングすることができる。 When the detection unit 15 detects a plurality of works, the detection unit 15 may refer to the area information 104 and select the work located in the region having the highest priority from the plurality of works as the picking target. As a result, the robot 300 can pick the workpieces having the lowest risk of contact with the wall surface in order.

例えば、図１９に示す例では、まず、凹部９ａの上方に位置しているワーク１ａがピッキングされる。次に、底面とのなす角度が鈍角となるように傾斜している壁面近傍に位置するワーク１ｃがピッキングされる。最後に、底面に垂直な壁面近傍に位置するワーク１ｂがピッキングされる。 For example, in the example shown in FIG. 19, first, the work 1a located above the recess 9a is picked. Next, the work 1c located near the wall surface that is inclined so that the angle formed by the bottom surface is obtuse is picked. Finally, the work 1b located near the wall surface perpendicular to the bottom surface is picked.

（Ｊ−３．変形例３）
図６に示す例では、ワーク１の形状として、ワーク１の外接直方体の幅Ｗ、奥行きＤ、高さＨが登録され、当該外接直方体に基づいてマージン幅Ｍが計算される。しかしながら、ピッキング動作では、ワーク１とエンドエフェクタ３０とが一体となって移動する。そのため、ワーク１とワーク１を把持するエンドエフェクタ３０の爪３３との外接直方体の幅、奥行き、高さが登録され、当該外接直方体に基づいてマージン幅Ｍが計算されてもよい。これにより、エンドエフェクタ３０の爪３３と壁面との接触リスクを低減できる。 (J-3. Modification 3)
In the example shown in FIG. 6, the width W, depth D, and height H of the circumscribed rectangular parallelepiped of the work 1 are registered as the shape of the work 1, and the margin width M is calculated based on the circumscribed rectangular parallelepiped. However, in the picking operation, the work 1 and the end effector 30 move together. Therefore, the width, depth, and height of the circumscribed rectangular parallelepiped between the work 1 and the claw 33 of the end effector 30 that grips the work 1 may be registered, and the margin width M may be calculated based on the circumscribed rectangular parallelepiped. As a result, the risk of contact between the claw 33 of the end effector 30 and the wall surface can be reduced.

（Ｊ−４．変形例４）
上記の説明では、２つの爪３３によるワーク１の把持位置の中心点（図７の点Ｐ）と対象物の表面上の点との最大距離がマージン幅Ｍとして設定されるものとした。しかしながら、例えば、エンドエフェクタ３０が１つの吸着パッドを用いてワーク１を吸着する場合、ワーク１に対する当該吸着パッドの吸着位置（保持位置）とワーク１の表面上の点との最大距離以上がマージン幅Ｍとして設定される。 (J-4. Modification 4)
In the above description, it is assumed that the maximum distance between the center point of the gripping position of the work 1 by the two claws 33 (point P in FIG. 7) and the point on the surface of the object is set as the margin width M. However, for example, when the end effector 30 sucks the work 1 using one suction pad, the margin is equal to or larger than the maximum distance between the suction position (holding position) of the suction pad with respect to the work 1 and the point on the surface of the work 1. It is set as the width M.

（Ｊ−５．変形例５）
上記の説明では、領域４ａ〜４ｈに対応付けられた定義情報１０５は、コンテナ２の上端を通る平面７において、検出位置Ｐｂから下した垂線の足である点Ｑと指定位置Ｐｃ２とから逃げ幅Ｆ１を示す（図１０参照）。これにより、定義情報１０５によって指定位置Ｐｃ２が指定され、当該指定位置Ｐｃ２を通るように並進動作が定義される。 (J-5. Modification 5)
In the above description, the definition information 105 associated with the regions 4a to 4h has a relief width from the point Q and the designated position Pc2, which are the legs of the perpendicular line drawn from the detection position Pb, on the plane 7 passing through the upper end of the container 2. F1 is shown (see FIG. 10). As a result, the designated position Pc2 is designated by the definition information 105, and the translation operation is defined so as to pass through the designated position Pc2.

しかしながら、領域４ａ〜４ｈに対応付けられた定義情報１０５は、壁面の上端から壁面の法線方向に沿った距離である逃げ幅Ｆ２（図１０および図１３参照）を示してもよい。この場合、平面７において、壁面の上端から壁面の法線方向に逃げ幅Ｆ２だけ離れた位置が指定位置Ｐｃ３として指定される。そして、定義情報１０５によって定義される並進動作は、検出位置Ｐｂと指定位置Ｐｃ３とを通る直線または曲線に沿った動作となる。なお、逃げ幅Ｆ２は、距離ＤＭ１，Ｄｍ２，ＷＭ１，ＷＭ２（図８参照）以上に設定される。 However, the definition information 105 associated with the regions 4a to 4h may indicate a clearance width F2 (see FIGS. 10 and 13) which is a distance from the upper end of the wall surface along the normal direction of the wall surface. In this case, on the plane 7, a position separated from the upper end of the wall surface by the clearance width F2 in the normal direction of the wall surface is designated as the designated position Pc3. Then, the translational motion defined by the definition information 105 is an motion along a straight line or a curve passing through the detection position Pb and the designated position Pc3. The clearance width F2 is set to the distances DM1, Dm2, WM1, WM2 (see FIG. 8) or more.

（Ｊ−６．変形例６）
上記の説明では、領域４ａ〜４ｈに対応付けられた定義情報１０５は、ワーク１が通過すべき指定位置を示すものとした。しかしながら、領域４ａ〜４ｈの各々に対応付けられた定義情報１０５は、当該領域に隣接する壁面から遠ざかる方向を示してもよい。例えば、壁面３ａに隣接する領域４ａに対応付けられた定義情報１０５は、壁面３ａおよび底面３ｚに直交する平面上において、壁面３ａから遠ざかる上向きの方向を示してもよい。この場合、当該定義情報１０５によって定義される並進動作は、起点に対する終点の方向が定義情報１０５で示される方向に一致する動作である。なお、定義情報１０５によって定義される並進動作は、定義情報１０５で示される方向に沿った直線動作であってもよいし、ピッキング動作の起点から終点に向かってわずかにカーブする動作であってもよい。 (J-6. Modification 6)
In the above description, the definition information 105 associated with the regions 4a to 4h indicates a designated position through which the work 1 should pass. However, the definition information 105 associated with each of the regions 4a to 4h may indicate a direction away from the wall surface adjacent to the region. For example, the definition information 105 associated with the region 4a adjacent to the wall surface 3a may indicate an upward direction away from the wall surface 3a on a plane orthogonal to the wall surface 3a and the bottom surface 3z. In this case, the translational motion defined by the definition information 105 is an motion in which the direction of the end point with respect to the start point coincides with the direction indicated by the definition information 105. The translational motion defined by the definition information 105 may be a linear motion along the direction indicated by the definition information 105, or may be a motion that slightly curves from the start point to the end point of the picking motion. Good.

（Ｊ−７．変形例７）
上記の実施の形態では、対象となる壁面に隣接する領域に対して、当該壁面から離れる方向に移動する並進動作を定義する定義情報１０５が設定される。これにより、ピッキング動作において、対象となる壁面へのワークの接触リスクを低減できる。ただし、ワークを収容する容器の形状によっては、対象となる壁面へのワークの接触リスクを低減できたとしても、当該壁面とは異なる壁面へのワークの接触リスクが依然として高い場合がある。このような場合、当該異なる壁面への接触リスクを低減するために、ピッキング動作の回転成分が決定されてもよい。 (J-7. Modification 7)
In the above embodiment, definition information 105 that defines a translational motion of moving in a direction away from the wall surface is set for a region adjacent to the target wall surface. As a result, in the picking operation, the risk of contact of the work with the target wall surface can be reduced. However, depending on the shape of the container that houses the work, even if the risk of contact of the work with the target wall surface can be reduced, the risk of contact of the work with a wall surface different from the wall surface may still be high. In such a case, the rotational component of the picking operation may be determined in order to reduce the risk of contact with the different wall surface.

図２４は、ワークを収容するコンテナのさらに別の例を示す平面図である。図２５は、図２４に示すコンテナを示す縦断面図である。 FIG. 24 is a plan view showing still another example of the container for accommodating the work. FIG. 25 is a vertical cross-sectional view showing the container shown in FIG. 24.

図２４に例示されるコンテナ２ｂは、壁面３ｉ，３ｊ，３ｋを有する。コンテナ２ｂ内の空間において壁面３ｉの法線方向に沿った長さは、直方体状のワーク１の対角線の長さよりも十分に長い。そのため、壁面３ｉに隣接する領域に対して、壁面３ｉから離れる方向の並進動作４０を定義する定義情報１０５を設定することにより、ピッキング動作において壁面３ｉへのワークの接触リスクを低減できる。 The container 2b illustrated in FIG. 24 has wall surfaces 3i, 3j, 3k. The length of the wall surface 3i along the normal direction in the space inside the container 2b is sufficiently longer than the diagonal length of the rectangular parallelepiped work 1. Therefore, by setting the definition information 105 that defines the translational operation 40 in the direction away from the wall surface 3i with respect to the region adjacent to the wall surface 3i, the risk of the work contacting the wall surface 3i in the picking operation can be reduced.

壁面３ｊ，３ｋは壁面３ｉに隣り合う。壁面３ｊ，３ｋは互いに対向している。壁面３ｊと壁面３ｋとの距離は、直方体状のワーク１の対角線の長さと同程度である。そのため、壁面３ｊから離れる方向にワーク１を並進動作させた場合、壁面３ｋにワーク１が接触する可能性が高まる。そこで、動作指令決定部１６は、検出部１５によって検出されたワーク１の姿勢に基づいて、ワーク１と壁面３ｊ，３ｋとの最短距離が長くなるようにピッキング動作の回転成分を決定する。 The wall surfaces 3j and 3k are adjacent to the wall surface 3i. The walls 3j and 3k face each other. The distance between the wall surface 3j and the wall surface 3k is about the same as the diagonal length of the rectangular parallelepiped work 1. Therefore, when the work 1 is translated in the direction away from the wall surface 3j, the possibility that the work 1 comes into contact with the wall surface 3k increases. Therefore, the operation command determination unit 16 determines the rotation component of the picking operation based on the posture of the work 1 detected by the detection unit 15 so that the shortest distance between the work 1 and the wall surfaces 3j and 3k becomes long.

例えば、動作指令決定部１６は、検出部１５によって検出された位置姿勢のワーク１をコンテナ２ｂの底面に平行な平面に投影し、投影部分の外接矩形を特定する。次に、動作指令決定部１６は、特定した外接矩形の４つの頂点に内接する円９０の中心Ｏを通り、かつ、コンテナ２ｂの底面の法線方向に平行な軸を回転軸として決定する。 For example, the operation command determination unit 16 projects the work 1 in the position and orientation detected by the detection unit 15 onto a plane parallel to the bottom surface of the container 2b, and specifies the circumscribed rectangle of the projected portion. Next, the operation command determination unit 16 determines as a rotation axis an axis that passes through the center O of the circle 90 inscribed in the four vertices of the specified extrinsic rectangle and is parallel to the normal direction of the bottom surface of the container 2b.

なお、動作指令決定部１６は、ワーク１を把持するときの爪３３が外接矩形の４つの頂点に内接する円の内部に位置するか否かを判定してもよい。動作指令決定部１６は、判定結果が否を示す場合、ワーク１を把持するときの爪３３が内部に含まれるように円９０の位置およびサイズを補正し、補正後の円９０の中心Ｏを通り、かつ、コンテナ２ｂの底面の法線方向に平行な軸を回転軸として決定してもよい。 The operation command determination unit 16 may determine whether or not the claw 33 when gripping the work 1 is located inside a circle inscribed in the four vertices of the circumscribed rectangle. When the determination result indicates no, the operation command determination unit 16 corrects the position and size of the circle 90 so that the claw 33 when gripping the work 1 is included inside, and corrects the center O of the corrected circle 90. The axis that passes through and is parallel to the normal direction of the bottom surface of the container 2b may be determined as the rotation axis.

次に、動作指令決定部１６は、特定した外接矩形の長辺と壁面３ｊ，３ｋとのなす角度を回転角度として計算するとともに、外接矩形の長辺を壁面３ｊ，３ｋと平行にするための回転方向（図２４に示す例では時計回りの方向）を決定する。動作指令決定部１６は、決定した回転方向に回転角度だけ回転させる回転動作４５をピッキング動作の回転成分として決定する。これにより、並進動作４０により壁面３ｉとワーク１との接触リスクを低減するとともに、回転動作４５により壁面３ｊ，３ｋとワーク１との接触リスクを低減できる。 Next, the operation command determining unit 16 calculates the angle formed by the long side of the specified circumscribing rectangle and the wall surfaces 3j, 3k as the rotation angle, and makes the long side of the circumscribing rectangle parallel to the wall surfaces 3j, 3k. The rotation direction (clockwise in the example shown in FIG. 24) is determined. The operation command determination unit 16 determines the rotation operation 45, which rotates by the rotation angle in the determined rotation direction, as the rotation component of the picking operation. As a result, the translational operation 40 can reduce the risk of contact between the wall surface 3i and the work 1, and the rotation operation 45 can reduce the risk of contact between the wall surfaces 3j and 3k and the work 1.

＜Ｋ．付記＞
以上のように、本実施の形態および変形例は以下のような開示を含む。 <K. Addendum>
As described above, the present embodiment and the modified examples include the following disclosures.

（構成１）
容器（２，２ａ，２ｂ）に収容された対象物（１）をピッキングするロボット（３００）の動作を決定する装置（１００）であって、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ〜４ｐ，５，５ａ）を設定するための領域設定部（１２ａ）と、
前記複数の領域（４ａ〜４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するための情報設定部（１２ｂ）と、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するための検出部（１５）と、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するための決定部（１６）とを備え、
前記決定部（１６）は、前記複数の領域（４ａ〜４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）によって定義される並進動作を前記ピッキング動作の並進成分として決定する、装置（１００）。 (Structure 1)
A device (100) that determines the operation of a robot (300) that picks an object (1) housed in a container (2, 2a, 2b).
In the space inside the container (2,2a, 2b), a region setting unit (12a) for setting a plurality of regions (4a to 4p, 5, 5a) having an exclusive relationship with each other, and
Information setting for setting definition information (105) that defines the translational motion of the end effector (30) possessed by the robot (300) in association with each of the plurality of regions (4a to 4p, 5, 5a). Part (12b) and
A detection unit (15) for detecting the position of the object (1) based on an image obtained by imaging the container (2, 2a, 2b), and a detection unit (15).
A determination unit (30) for determining the picking operation of the end effector (30) from holding the object (1) to transporting the object (1) out of the container (2, 2a, 2b). 16) and
The determination unit (16) is defined by the definition information (105) associated with the region including the position detected by the detection unit (15) among the plurality of regions (4a to 4p, 5, 5a). The device (100) that determines the translational motion to be performed as the translational component of the picking motion.

（構成２）
前記複数の領域（４ａ〜４ｐ，５，５ａ）は、前記容器（２，２ａ，２ｂ）内における第１対象壁面（３ａ〜３ｉ）に隣接する第１領域（４ａ〜４ｐ）と、前記第１領域よりも前記第１対象壁面（３ａ〜３ｉ）から離れた位置の第２領域（５，５ａ）とを含む、構成１に記載の装置（１００）。 (Structure 2)
The plurality of regions (4a to 4p, 5, 5a) are the first region (4a to 4p) adjacent to the first target wall surface (3a to 3i) in the container (2, 2a, 2b) and the first region (4a to 4p). The apparatus (100) according to configuration 1, which includes a second region (5, 5a) located farther from the first target wall surface (3a to 3i) than one region.

（構成３）
前記領域設定部（１２ａ）は、前記第１対象壁面（３ａ〜３ｉ）からの距離情報を用いて前記第１領域（４ａ〜４ｐ）および前記第２領域（５，５ａ）を設定する、構成２に記載の装置（１００）。 (Structure 3)
The area setting unit (12a) sets the first area (4a to 4p) and the second area (5, 5a) using the distance information from the first target wall surface (3a to 3i). 2. The device (100) according to 2.

（構成４）
前記第１領域（４ａ〜４ｐ）に対応付けられた第１定義情報は、前記第１対象壁面（３０ａ〜３０ｉ）から遠ざかる第１方向を示し、
前記第１定義情報によって定義される並進動作は、起点に対する終点の方向が前記第１方向に一致する動作である、構成２または３に記載の装置（１００）。 (Structure 4)
The first definition information associated with the first region (4a to 4p) indicates a first direction away from the first target wall surface (30a to 30i).
The device (100) according to configuration 2 or 3, wherein the translational operation defined by the first definition information is an operation in which the direction of the end point with respect to the start point coincides with the first direction.

（構成５）
前記第１領域（４ａ〜４ｐ）に対応付けられた第１定義情報は、前記対象物（１）が通過すべき指定位置を指定するための情報であり、
前記第１定義情報によって定義される並進動作は、前記検出された位置と前記指定位置とを通る直線または曲線に沿った動作である、構成２または３に記載の装置（１００）。 (Structure 5)
The first definition information associated with the first region (4a to 4p) is information for designating a designated position through which the object (1) should pass.
The device (100) according to configuration 2 or 3, wherein the translational motion defined by the first definition information is an motion along a straight line or a curve passing through the detected position and the designated position.

（構成６）
前記指定位置は、前記検出された位置に応じて指定される、構成５に記載の装置（１００）。 (Structure 6)
The device (100) according to configuration 5, wherein the designated position is designated according to the detected position.

（構成７）
前記第１領域（４ａ〜４ｐ）は、前記第１対象壁面（３ａ〜３ｉ）から第１距離以内であり、
前記指定位置は、前記第１対象壁面（３ａ〜３ｉ）の上端から前記第１対象壁面の法線方向に沿って第２距離だけ離れた位置であり、
前記第２距離は前記第１距離以上である、構成５に記載の装置（１００）。 (Structure 7)
The first region (4a to 4p) is within the first distance from the first target wall surface (3a to 3i).
The designated position is a position separated by a second distance from the upper end of the first target wall surface (3a to 3i) along the normal direction of the first target wall surface.
The device (100) according to configuration 5, wherein the second distance is equal to or greater than the first distance.

（構成８）
前記第２領域（５，５ａ）に対応付けられた第２定義情報は、前記第１対象壁面（３ａ〜３ｉ）および前記容器（２，２ａ，２ｂ）の底面（３ｚ）に直交する平面上において前記第１対象壁面（３ａ〜３ｉ）に平行な上向きの方向、前記底面（３ｚ）の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して前記第１対象壁面（３ａ〜３ｉ）から離れるように傾斜した方向、のいずれかである第２方向を示し、
前記第２定義情報によって定義される並進動作は、前記第２方向に沿った動作である、構成２から７のいずれかに記載の装置（１００）。 (Structure 8)
The second definition information associated with the second region (5, 5a) is on a plane orthogonal to the first target wall surface (3a to 3i) and the bottom surface (3z) of the container (2, 2a, 2b). In the upward direction parallel to the first target wall surface (3a to 3i), the normal direction of the bottom surface (3z), the vertical upward direction, and the first target wall surface (3a) in any of these directions. Indicates a second direction, which is one of the directions inclined away from ~ 3i).
The device (100) according to any one of configurations 2 to 7, wherein the translational operation defined by the second definition information is an operation along the second direction.

（構成９）
前記容器（２，２ａ，２ｂ）は、水平面に対して傾斜しており、
前記領域設定部（１２ａ）は、前記容器（２，２ａ，２ｂ）の水平面に対する傾斜方向および傾斜角度に応じて前記複数の領域の少なくとも１つのサイズを調整する、構成１から８のいずれかに記載の装置（１００）。 (Structure 9)
The container (2,2a, 2b) is inclined with respect to the horizontal plane.
The region setting unit (12a) has one of configurations 1 to 8 that adjusts the size of at least one of the plurality of regions according to the tilt direction and tilt angle of the container (2, 2a, 2b) with respect to the horizontal plane. The device (100) described.

（構成１０）
前記領域設定部（１２ａ）は、
前記エンドエフェクタ（３０）による前記対象物（１）の保持位置と前記対象物（１）の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面（３ａ〜３ｉ）から前記第１距離以内の領域を前記第１領域（４ａ〜４ｐ）として設定する、構成３に記載の装置（１００）。 (Structure 10)
The area setting unit (12a) is
A first distance equal to or greater than the maximum distance between the holding position of the object (1) by the end effector (30) and a point on the surface of the object (1) is set.
The device (100) according to configuration 3, wherein a region within the first distance from the first target wall surface (3a to 3i) is set as the first region (4a to 4p).

（構成１１）
前記エンドエフェクタ（３０）は、複数の爪（３３）を有し、
前記領域設定部（１２ａ）は、
前記複数の爪（３３）による前記対象物（１）の保持位置の中心点と、前記対象物（１）に外接する直方体、または前記対象物（１）および前記対象物を保持する前記複数の爪に外接する直方体の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面（３ａ〜３ｉ）から前記第１距離以内の領域を前記第１領域として設定する、構成３に記載の装置（１００）。 (Structure 11)
The end effector (30) has a plurality of claws (33).
The area setting unit (12a) is
The center point of the holding position of the object (1) by the plurality of claws (33), a rectangular parallelepiped circumscribing the object (1), or the plurality of objects holding the object (1) and the object. Set a first distance that is greater than or equal to the maximum distance to a point on the surface of a rectangular parallelepiped that circumscribes the nail.
The device (100) according to configuration 3, wherein a region within the first distance from the first target wall surface (3a to 3i) is set as the first region.

（構成１２）
前記検出部（１５）は、前記対象物（１）の姿勢をさらに検出し、
前記決定部（１６）は、前記検出部（１５）によって検出された姿勢に基づいて、前記対象物（１）と前記容器（２ｂ）内における第２対象壁面（３ｊ，３ｋ）との最短距離が長くなるように前記ピッキング動作の回転成分をさらに決定する、構成１から１１のいずれかに記載の装置（１００）。 (Structure 12)
The detection unit (15) further detects the posture of the object (1) and further detects it.
The determination unit (16) is the shortest distance between the object (1) and the second target wall surface (3j, 3k) in the container (2b) based on the posture detected by the detection unit (15). The apparatus (100) according to any one of configurations 1 to 11, further determining the rotational component of the picking operation so that

（構成１３）
前記複数の領域（４ａ〜４ｐ，５，５ａ）の各々の優先度を設定するための優先度設定部（１２ｃ）をさらに備え、
前記容器（２，２ａ，２ｂ）には複数の物体（１）が収容されており、
前記検出部（１５）は、
前記複数の物体（１）の各々の位置を検出し、
前記複数の物体（１）のうち、前記優先度の最も高い領域に属する物体を前記対象物（１）として決定する、構成１から１２のいずれかに記載の装置（１００）。 (Structure 13)
A priority setting unit (12c) for setting the priority of each of the plurality of regions (4a to 4p, 5, 5a) is further provided.
A plurality of objects (1) are housed in the container (2, 2a, 2b).
The detection unit (15)
Detecting the position of each of the plurality of objects (1),
The device (100) according to any one of configurations 1 to 12, wherein an object belonging to the region having the highest priority among the plurality of objects (1) is determined as the object (1).

（構成１４）
容器（２，２ａ，２ｂ）に収容された対象物（１）をピッキングするロボット（３００）の動作を決定する方法であって、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ〜４ｐ，５，５ａ）を設定するステップと、
前記複数の領域（４ａ〜４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するステップと、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するステップと、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域（４ａ〜４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）によって定義される並進動作を前記ピッキング動作の並進成分として決定するステップを含む、方法。 (Structure 14)
A method of determining the operation of a robot (300) that picks an object (1) housed in a container (2, 2a, 2b).
In the space inside the container (2,2a, 2b), a step of setting a plurality of regions (4a to 4p, 5, 5a) having an exclusive relationship with each other, and
A step of setting definition information (105) that defines a translational motion of the end effector (30) possessed by the robot (300) in association with each of the plurality of regions (4a to 4p, 5, 5a).
A step of detecting the position of the object (1) based on the image obtained by imaging the container (2, 2a, 2b), and
A step of determining the picking operation of the end effector (30) from holding the object (1) to transporting the object (1) out of the container (2, 2a, 2b) is provided.
The step of determining the picking operation is
The picking operation is a translation operation defined by the definition information (105) associated with the region including the position detected by the detection unit (15) among the plurality of regions (4a to 4p, 5, 5a). A method comprising the step of determining as a translational component of.

（構成１５）
容器に収容された対象物をピッキングするロボットの動作を決定する方法をコンピュータに実行させるプログラムであって、
前記方法は、
前記容器（２，２ａ，２ｂ）内の空間において、互いに排他的な関係にある複数の領域（４ａ〜４ｐ，５，５ａ）を設定するステップと、
前記複数の領域（４ａ〜４ｐ，５，５ａ）の各々と対応付けて、前記ロボット（３００）が有するエンドエフェクタ（３０）の並進動作を定義する定義情報（１０５）を設定するステップと、
前記容器（２，２ａ，２ｂ）を撮像することにより得られた画像に基づいて、前記対象物（１）の位置を検出するステップと、
前記対象物（１）を保持してから前記対象物（１）を前記容器（２，２ａ，２ｂ）外に搬送するまでの前記エンドエフェクタ（３０）のピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域（４ａ〜４ｐ，５，５ａ）のうち前記検出部（１５）によって検出された位置を含む領域に対応付けられた前記定義情報（１０５）を前記ピッキング動作の並進成分として決定するステップとを含む、プログラム。 (Structure 15)
A program that causes a computer to execute a method of determining the movement of a robot that picks an object contained in a container.
The method is
In the space inside the container (2, 2a, 2b), a step of setting a plurality of regions (4a to 4p, 5, 5a) having an exclusive relationship with each other, and
A step of setting definition information (105) that defines a translational motion of the end effector (30) possessed by the robot (300) in association with each of the plurality of regions (4a to 4p, 5, 5a).
A step of detecting the position of the object (1) based on an image obtained by imaging the container (2, 2a, 2b), and
A step of determining the picking operation of the end effector (30) from holding the object (1) to transporting the object (1) out of the container (2, 2a, 2b) is provided.
The step of determining the picking operation is
The definition information (105) associated with the region including the position detected by the detection unit (15) among the plurality of regions (4a to 4p, 5, 5a) is determined as the translation component of the picking operation. A program that includes steps.

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 Although embodiments of the present invention have been described, it should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is indicated by the scope of claims, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.

１，１ａ〜１ｃワーク、２，２ａ，２ｂコンテナ、３ａ〜３ｋ壁面、３ｚ底面、４ａ〜４ｐ，５，５ａ領域、７平面、８上端面、８ａ〜８ｄ検出マーク、９ａ〜９ｄ凹部、１０記憶部、１１ヘッド制御部、１２設定部、１２ａ領域設定部、１２ｂ情報設定部、１２ｃ優先度設定部、１３画像処理部、１４３Ｄ画像生成部、１５検出部、１６動作指令決定部、１７通信部、３０エンドエフェクタ、３１多関節アーム、３２ベース、３３爪、６０，６５，６９，７２，７９画面、６１，６６自動登録ボタン、６２，６７手動登録ボタン、６３，６４，６８〜７０，７５，８１入力欄、７１表示欄、７３自動設定ボタン、７４手動設定ボタン、７６画像、７７枠線、７８カーソル、８０ボタン群、８０ａ，８０ｂラジオボタン、１００画像処理装置、１０１ａ，１０１ｂＣＡＤデータ、１０２テンプレートデータ、１０３画像データ、１０４領域情報、１０５定義情報、１０６メモリカード、１１０ＣＰＵ、１１２メインメモリ、１１４ハードディスク、１１６計測ヘッドインターフェース、１１６ａ画像バッファ、１１８入力インターフェース、１２０表示コントローラ、１２４通信インターフェース、１２６データリーダ／ライタ、１２８バス、１５０ディスプレイ、１６０入力装置、２００ロボットコントローラ、３００ロボット、４００計測ヘッド、４０１投影部、４０２撮像部、ＲＰ外接直方体、ＳＹＳ制御システム。 1,1a to 1c workpiece, 2,2a, 2b container, 3a to 3k wall surface, 3z bottom surface, 4a to 4p, 5,5a area, 7 flat surface, 8 top surface, 8a to 8d detection mark, 9a to 9d recess, 10 Storage unit, 11 head control unit, 12 setting unit, 12a area setting unit, 12b information setting unit, 12c priority setting unit, 13 image processing unit, 14 3D image generation unit, 15 detection unit, 16 operation command determination unit, 17 Communication unit, 30 end effector, 31 articulated arm, 32 base, 33 claws, 60, 65, 69, 72, 79 screen, 61, 66 automatic registration button, 62, 67 manual registration button, 63, 64, 68 to 70 , 75, 81 Input field, 71 Display field, 73 Automatic setting button, 74 Manual setting button, 76 image, 77 border, 78 cursor, 80 button group, 80a, 80b radio button, 100 image processing device, 101a, 101b CAD Data, 102 template data, 103 image data, 104 area information, 105 definition information, 106 memory card, 110 CPU, 112 main memory, 114 hard disk, 116 measurement head interface, 116a image buffer, 118 input interface, 120 display controller, 124 Communication interface, 126 data reader / writer, 128 bus, 150 display, 160 input device, 200 robot controller, 300 robot, 400 measuring head, 401 projection unit, 402 imaging unit, RP external rectangular body, SYS control system.

Claims

容器に収容された対象物をピッキングするロボットの動作を決定する装置であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するための領域設定部と、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するための情報設定部と、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するための検出部と、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するための決定部とを備え、
前記決定部は、前記複数の領域のうち前記検出部によって検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定する、装置。 A device that determines the movement of a robot that picks an object contained in a container.
In the space inside the container, an area setting unit for setting a plurality of areas having an exclusive relationship with each other, and an area setting unit.
An information setting unit for setting definition information for defining the translational motion of the end effector possessed by the robot in association with each of the plurality of regions.
A detection unit for detecting the position of the object based on the image obtained by imaging the container, and
A determination unit for determining the picking operation of the end effector from holding the object to transporting the object out of the container is provided.
The determination unit is an apparatus that determines as a translation component of the picking operation a translational motion defined by the definition information associated with a region including a position detected by the detection unit among the plurality of regions.

前記複数の領域は、前記容器内における第１対象壁面に隣接する第１領域と、前記第１領域よりも前記第１対象壁面から離れた位置の第２領域とを含む、請求項１に記載の装置。 The first aspect of the present invention, wherein the plurality of regions include a first region adjacent to the first target wall surface in the container and a second region located at a position farther from the first target wall surface than the first target wall surface. Equipment.

前記領域設定部は、前記第１対象壁面からの距離情報を用いて前記第１領域および前記第２領域を設定する、請求項２に記載の装置。 The device according to claim 2, wherein the area setting unit sets the first area and the second area by using the distance information from the first target wall surface.

前記第１領域に対応付けられた第１定義情報は、前記第１対象壁面から遠ざかる第１方向を示し、
前記第１定義情報によって定義される並進動作は、起点に対する終点の方向が前記第１方向に一致する動作である、請求項２または３に記載の装置。 The first definition information associated with the first region indicates a first direction away from the first target wall surface.
The device according to claim 2 or 3, wherein the translational operation defined by the first definition information is an operation in which the direction of the end point with respect to the start point coincides with the first direction.

前記第１領域に対応付けられた第１定義情報は、前記対象物が通過すべき指定位置を指定するための情報であり、
前記第１定義情報によって定義される並進動作は、前記検出された位置と前記指定位置とを通る直線または曲線に沿った動作である、請求項２または３に記載の装置。 The first definition information associated with the first region is information for designating a designated position through which the object should pass.
The device according to claim 2 or 3, wherein the translational motion defined by the first definition information is an motion along a straight line or a curve passing through the detected position and the designated position.

前記指定位置は、前記検出された位置に応じて指定される、請求項５に記載の装置。 The device according to claim 5, wherein the designated position is designated according to the detected position.

前記第１領域は、前記第１対象壁面から第１距離以内であり、
前記指定位置は、前記第１対象壁面の上端から前記第１対象壁面の法線方向に沿って第２距離だけ離れた位置であり、
前記第２距離は前記第１距離以上である、請求項５に記載の装置。 The first region is within a first distance from the first target wall surface.
The designated position is a position separated from the upper end of the first target wall surface by a second distance along the normal direction of the first target wall surface.
The device according to claim 5, wherein the second distance is equal to or greater than the first distance.

前記第２領域に対応付けられた第２定義情報は、前記第１対象壁面および前記容器の底面に直交する平面上において前記第１対象壁面に平行な上向きの方向、前記底面の法線方向、鉛直方向上向き、および、これらの方向のいずれかに対して前記第１対象壁面から離れるように傾斜した方向、のいずれかである第２方向を示し、
前記第２定義情報によって定義される並進動作は、前記第２方向に沿った動作である、請求項２から７のいずれか１項に記載の装置。 The second definition information associated with the second region includes an upward direction parallel to the first target wall surface on a plane orthogonal to the first target wall surface and the bottom surface of the container, and a normal direction of the bottom surface. Indicates a second direction, which is either an upward direction in the vertical direction or a direction inclined so as to be away from the first target wall surface with respect to any of these directions.
The device according to any one of claims 2 to 7, wherein the translational operation defined by the second definition information is an operation along the second direction.

前記容器は、水平面に対して傾斜しており、
前記領域設定部は、前記容器の水平面に対する傾斜方向および傾斜角度に応じて前記複数の領域の少なくとも１つのサイズを調整する、請求項１から８のいずれか１項に記載の装置。 The container is tilted with respect to the horizontal plane
The device according to any one of claims 1 to 8, wherein the region setting unit adjusts the size of at least one of the plurality of regions according to the tilt direction and tilt angle of the container with respect to the horizontal plane.

前記領域設定部は、
前記エンドエフェクタによる前記対象物の保持位置と前記対象物の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面から前記第１距離以内の領域を前記第１領域として設定する、請求項３に記載の装置。 The area setting unit
A first distance equal to or greater than the maximum distance between the holding position of the object by the end effector and a point on the surface of the object is set.
The device according to claim 3, wherein a region within the first distance from the first target wall surface is set as the first region.

前記エンドエフェクタは、複数の爪を有し、
前記領域設定部は、
前記複数の爪による前記対象物の保持位置の中心点と、前記対象物に外接する直方体、または前記対象物および前記対象物を保持する前記複数の爪に外接する直方体の表面上の点との最大距離以上の第１距離を設定し、
前記第１対象壁面から前記第１距離以内の領域を前記第１領域として設定する、請求項３に記載の装置。 The end effector has a plurality of claws and
The area setting unit
A center point of a holding position of the object by the plurality of claws and a point on the surface of the rectangular parallelepiped circumscribing the object or the rectangular parallelepiped circumscribing the object and the plurality of claws holding the object. Set the first distance above the maximum distance,
The device according to claim 3, wherein a region within the first distance from the first target wall surface is set as the first region.

前記検出部は、前記対象物の姿勢をさらに検出し、
前記決定部は、前記検出部によって検出された姿勢に基づいて、前記対象物と前記容器内における第２対象壁面との最短距離が長くなるように前記ピッキング動作の回転成分をさらに決定する、請求項１から１１のいずれか１項に記載の装置。 The detection unit further detects the posture of the object and
Based on the posture detected by the detection unit, the determination unit further determines the rotation component of the picking operation so that the shortest distance between the object and the second target wall surface in the container becomes long. Item 2. The apparatus according to any one of Items 1 to 11.

前記複数の領域の各々の優先度を設定するための優先度設定部をさらに備え、
前記容器には複数の物体が収容されており、
前記検出部は、
前記複数の物体の各々の位置を検出し、
前記複数の物体のうち、前記優先度の最も高い領域に属する物体を前記対象物として決定する、請求項１から１２のいずれか１項に記載の装置。 A priority setting unit for setting the priority of each of the plurality of regions is further provided.
A plurality of objects are contained in the container.
The detection unit
Detecting the position of each of the plurality of objects,
The device according to any one of claims 1 to 12, wherein an object belonging to the region having the highest priority among the plurality of objects is determined as the object.

容器に収容された対象物をピッキングするロボットの動作を決定する方法であって、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するステップと、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するステップと、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するステップと、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域のうち検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定するステップを含む、方法。 A method of determining the behavior of a robot that picks an object contained in a container.
In the space inside the container, a step of setting a plurality of regions having an exclusive relationship with each other, and
A step of setting definition information that defines the translational motion of the end effector possessed by the robot in association with each of the plurality of regions.
A step of detecting the position of the object based on the image obtained by imaging the container, and
A step of determining a picking operation of the end effector from holding the object to transporting the object out of the container is provided.
The step of determining the picking operation is
A method comprising the step of determining a translational motion defined by the definition information associated with a region including a detected position among the plurality of regions as a translational component of the picking motion.

容器に収容された対象物をピッキングするロボットの動作を決定する方法をコンピュータに実行させるプログラムであって、
前記方法は、
前記容器内の空間において、互いに排他的な関係にある複数の領域を設定するステップと、
前記複数の領域の各々と対応付けて、前記ロボットが有するエンドエフェクタの並進動作を定義する定義情報を設定するステップと、
前記容器を撮像することにより得られた画像に基づいて、前記対象物の位置を検出するステップと、
前記対象物を保持してから前記対象物を前記容器外に搬送するまでの前記エンドエフェクタのピッキング動作を決定するステップとを備え、
前記ピッキング動作を決定するステップは、
前記複数の領域のうち検出された位置を含む領域に対応付けられた前記定義情報によって定義される並進動作を前記ピッキング動作の並進成分として決定するステップとを含む、プログラム。 A program that causes a computer to execute a method of determining the movement of a robot that picks an object contained in a container.
The method is
In the space inside the container, a step of setting a plurality of regions having an exclusive relationship with each other, and
A step of setting definition information that defines the translational motion of the end effector possessed by the robot in association with each of the plurality of regions.
A step of detecting the position of the object based on the image obtained by imaging the container, and
A step of determining a picking operation of the end effector from holding the object to transporting the object out of the container is provided.
The step of determining the picking operation is
A program including a step of determining a translational motion defined by the definition information associated with a region including a detected position among the plurality of regions as a translational component of the picking motion.