JP2021073099A - Control system and method in control system - Google Patents

Control system and method in control system Download PDF

Info

Publication number
JP2021073099A
JP2021073099A JP2018042506A JP2018042506A JP2021073099A JP 2021073099 A JP2021073099 A JP 2021073099A JP 2018042506 A JP2018042506 A JP 2018042506A JP 2018042506 A JP2018042506 A JP 2018042506A JP 2021073099 A JP2021073099 A JP 2021073099A
Authority
JP
Japan
Prior art keywords
end effector
gripping
control system
unit
actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018042506A
Other languages
Japanese (ja)
Inventor
佳和 古山
Yoshikazu Furuyama
佳和 古山
亘 小久保
Wataru Kokubo
亘 小久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018042506A priority Critical patent/JP2021073099A/en
Priority to PCT/JP2019/002728 priority patent/WO2019171822A1/en
Publication of JP2021073099A publication Critical patent/JP2021073099A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

To make it possible to reliably recognize an object when acting on the object such as grasping the object.SOLUTION: A control system comprises: an action part which acts on an object; a situation recognition sensor which recognizes peripheral situation including the object; and an actuator which controls a posture of the situation recognition sensor relatively to the action part. By this configuration, when acting on the object such as grasping the object, the system can be reliably recognize the object, and perform a desired control.SELECTED DRAWING: Figure 1

Description

本開示は、制御システム及び制御システムにおける方法に関する。 The present disclosure relates to control systems and methods in control systems.

従来、下記の特許文献１には、複数の指駆動手段と、指駆動手段間をそれぞれ連結するリンクから成る指部を備えたロボットハンドにおいて、指部の最先端のリンクの先端の作業対象物との接触点近傍に、作業対象物を非接触で認識可能なセンサを設けることが記載されている。また、下記の特許文献２には、ロボットアームのアーム先端部に設けられたハンド支持部に電子カメラを設けることが記載されている。 Conventionally, in Patent Document 1 below, in a robot hand including a finger portion including a plurality of finger driving means and a link connecting the finger driving means, a work object at the tip of the most advanced link of the finger portion is provided. It is described that a sensor capable of recognizing a work object in a non-contact manner is provided in the vicinity of the contact point with the work object. Further, Patent Document 2 below describes that an electronic camera is provided on a hand support portion provided at the arm tip portion of the robot arm.

特開２００９−０６６６７８号公報Japanese Unexamined Patent Publication No. 2009-066678 特開２００５−２０５５１９号公報Japanese Unexamined Patent Publication No. 2005-205519

しかしながら、上記特許文献に記載された技術では、把持部（指部またはハンド部）で把持対象物を把持すると、センサで作業対象物を認識できなくなる問題がある。このため、把持部で把持対象物を把持するまでの間は、センサの情報を利用することができるが、把持部で把持対象物を把持した後は、センサの情報を利用することができない。従って、把持部で把持対象物を把持した状態で、把持対象物を搬送したり、他の場所に載置等する際に、センサの情報を利用して最適な制御を行うことは困難である。したがって、運搬時や把持物の配置時に、環境に衝突する可能性がある。また、把持対象物の配置位置の計測をセンサで行うことは困難である。 However, in the technique described in the above patent document, when the gripping object is gripped by the gripping portion (finger portion or hand portion), there is a problem that the working object cannot be recognized by the sensor. Therefore, the sensor information can be used until the gripping object is gripped by the gripping portion, but the sensor information cannot be used after the gripping object is gripped by the gripping portion. Therefore, it is difficult to perform optimum control using the information of the sensor when the gripping object is transported or placed in another place while the gripping object is gripped by the gripping portion. .. Therefore, there is a possibility of collision with the environment during transportation and placement of the gripped object. In addition, it is difficult to measure the arrangement position of the gripping object with a sensor.

また、上記特許文献に記載された技術では、把持対象物へ把持部をアプローチさせる際に、センサの計測範囲が把持部の移動方向に依存してしまうため、センサの計測方向以外の方向から把持対象物を掴もうとする際には、把持対象物の検出ができない問題がある。また、物体の裏に把持対象物があるケースや棚の上に把持対象物があるケースなど、物体が遮蔽されている環境においては、把持対象物を探索するためにセンサが設けられた把持部の位置・姿勢を制御する必要があり、計算時間が増加する問題がある。 Further, in the technique described in the above patent document, when the gripping portion is approached to the gripping object, the measurement range of the sensor depends on the moving direction of the gripping portion, so that the gripping portion is gripped from a direction other than the measurement direction of the sensor. When trying to grab an object, there is a problem that the grabbed object cannot be detected. Further, in an environment where the object is shielded, such as a case where the gripping object is on the back of the object or a case where the gripping object is on the shelf, the gripping portion provided with a sensor for searching for the gripping object. It is necessary to control the position and posture of the object, and there is a problem that the calculation time increases.

更に、上記特許文献に記載された技術では、把持対象物を指部で把持した状態で操り動作をすることを想定した場合に、センサの観測範囲外で操作すると、誤った位置に把持部が接触してしまい、把持対象物を落としてしまう可能性がある。また、把持対象物を、別の物体や環境に接触させて使用する際に、センサの計測範囲が限られるため、把持対象物の接触面と環境の被接触面の計測ができず、接触を行うことができない可能性がある。 Further, in the technique described in the above patent document, when it is assumed that the gripping object is operated while being gripped by the finger portion, if the gripping portion is operated outside the observation range of the sensor, the grip portion is moved to an erroneous position. There is a possibility that they will come into contact with each other and drop the object to be gripped. In addition, when the gripping object is used in contact with another object or environment, the measurement range of the sensor is limited, so that the contact surface of the gripping object and the contact surface of the environment cannot be measured, resulting in contact. You may not be able to do it.

そこで、対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにすることが求められていた。 Therefore, it has been required to be able to recognize the object reliably when acting on the object such as grasping the object.

本開示によれば、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、を備える、制御システムが提供される。 According to the present disclosure, an action unit acting on an object, a situation recognition sensor that recognizes the surrounding situation including the object, and an actuator that controls the posture of the situation recognition sensor relative to the action part. And, a control system is provided.

また、本開示によれば、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を制御するアクチュエータと、を備える、制御システムにおける方法であって、前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、前記対象物情報に基づいて前記アクチュエータを制御することと、を備える、方法が提供される。 Further, according to the present disclosure, a control system including an action unit acting on an object, a situation recognition sensor that recognizes the surrounding situation including the object, and an actuator that controls the posture of the situation recognition sensor. According to the above method, the object information including the position of the object is acquired based on the recognition result by the situation recognition sensor, and the actuator is controlled based on the object information. , The method is provided.

以上説明したように本開示によれば、対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにすることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。 As described above, according to the present disclosure, it is possible to reliably recognize an object when it acts on the object, such as by gripping the object.
It should be noted that the above effects are not necessarily limited, and either in combination with or in place of the above effects, any of the effects shown herein, or any other effect that can be grasped from this specification. May be played.

本開示に係るエンドエフェクタの構成を示す模式図である。It is a schematic diagram which shows the structure of the end effector which concerns on this disclosure. エンドエフェクタを把持対象物に接近させる動作例を示す模式図である。It is a schematic diagram which shows the operation example which brings an end effector close to a gripping object. エンドエフェクタを把持対象物に接近させる制御の処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure of the control which brings an end effector close to a gripping object. 視覚センサによる撮像画像に対してエッジ画像を抽出する様子を示す模式図である。It is a schematic diagram which shows how the edge image is extracted with respect to the image captured by a visual sensor. ２つの把持部を備える場合に、２つの把持部で把持対象物を掴む例を示す模式図である。It is a schematic diagram which shows the example which grips the gripping object by two gripping portions when two gripping portions are provided. エンドエフェクタの把持部が把持対象物を把持する様子を示す模式図である。It is a schematic diagram which shows how the gripping part of an end effector grips an object to be gripped. エンドエフェクタの把持部が把持対象物を把持する様子を示す模式図である。It is a schematic diagram which shows how the gripping part of an end effector grips an object to be gripped. 把持対象物を把持する際の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process at the time of gripping the gripping object. 図７のステップＳ４０において、接触を判定する方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of determining a contact in step S40 of FIG. 把持対象物を把持部が把持した状態でエンドエフェクタが矢印Ａ３方向に移動し、把持対象物２００を運搬している様子を示す模式図である。It is a schematic diagram which shows the state that the end effector moves in the direction of arrow A3 while the gripping part holds the gripping object, and carries the gripping object 200. エンドエフェクタが把持対象物を運搬して、所望の位置に配置する際の動作を示す模式図である。It is a schematic diagram which shows the operation when an end effector carries an object to be grasped and arranges it at a desired position. 把持対象物を配置する際の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process at the time of arranging the gripping object. 配置目標位置を計算する方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of calculating the arrangement target position. 視覚センサによる撮像画像に基づいて、把持対象物の底面と配置面が接触したかどうかを計算する様子を示す模式図である。It is a schematic diagram which shows how to calculate whether or not the bottom surface of the gripping object and the arrangement surface are in contact with each other based on the image captured by the visual sensor. 把持対象物を、別の物体に作用させる道具とした例を示す模式図である。It is a schematic diagram which shows an example which used the gripping object as a tool to act on another object. 図１３に示す例において、視覚センサで包丁と果物を撮像して得られる画像を示す模式図である。In the example shown in FIG. 13, it is a schematic diagram which shows the image obtained by photographing the kitchen knife and the fruit with a visual sensor. 他のセンサから把持対象物が遮蔽されている環境を示す模式図である。It is a schematic diagram which shows the environment which the gripping object is shielded from other sensors. 本実施形態に係るエンドエフェクタと、エンドエフェクタを制御する制御装置とからなるシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the system which consists of the end effector which concerns on this embodiment, and the control device which controls an end effector.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

なお、説明は以下の順序で行うものとする。
１．エンドエフェクタの構成例
２．エンドエフェクタの動作の例
２．１．エンドエフェクタを把持対象物に接近させる動作
２．２．把持対象物を把持する動作
２．３．把持対象物を運搬する動作
２．４．把持対象物を配置する動作
２．５．その他の動作の例
３．エンドエフェクタを含むシステムの構成例 The explanations will be given in the following order.
1. 1. Configuration example of end effector 2. Example of end effector operation 2.1. Operation to bring the end effector closer to the gripping object 2.2. Operation of gripping the object to be gripped 2.3. Operation of transporting the object to be gripped 2.4. Operation of arranging the object to be gripped 2.5. Examples of other operations 3. System configuration example including end effector

１．エンドエフェクタの構成例
本開示は、作業対象としている物体や環境までの距離・姿勢を計測する視覚センサと、視覚センサの位置や向きを変えられる機構を有するエンドエフェクタに関する。物体の把持、運搬、配置といった作業内容に応じて視覚センサの計測方向を変えることで、作業の失敗を防止し、高精度な作業を実現する。 1. 1. Configuration Example of End Effector This disclosure relates to a visual sensor that measures the distance and posture to an object or environment to be worked on, and an end effector that has a mechanism that can change the position and orientation of the visual sensor. By changing the measurement direction of the visual sensor according to the work content such as grasping, transporting, and arranging the object, failure of the work is prevented and high-precision work is realized.

図１は、本開示に係るエンドエフェクタ１００の構成を示す模式図である。図１に示すように、エンドエフェクタ１００は、３つの把持部１０２、視覚センサ１０４、視覚センサ１０４の姿勢を変えるアクチュエータ１０６、本体１０８を有して構成されている。 FIG. 1 is a schematic view showing the configuration of the end effector 100 according to the present disclosure. As shown in FIG. 1, the end effector 100 includes three grip portions 102, a visual sensor 104, an actuator 106 that changes the posture of the visual sensor 104, and a main body 108.

エンドエフェクタ１００は、６自由度を有する、複数の関節と複数のリンクを備える一般的な可動アームの先端に装着されている。エンドエフェクタ１００の動きは、例えば、アームの根元（ベース）を基準とするベース座標系で表すことができ、Ｘ軸、Ｙ軸、Ｚ軸の方向の並進と、Ｘ軸、Ｙ軸、Ｚ軸を回転軸とする回転で表すことができる。このアームの関節に設けられたアクチュエータの制御によって、エンドエフェクタ１００の６自由度の動きが実現される。 The end effector 100 is attached to the tip of a general movable arm having a plurality of joints and a plurality of links having 6 degrees of freedom. The movement of the end effector 100 can be represented by, for example, a base coordinate system based on the base of the arm, which translates in the X-axis, Y-axis, and Z-axis directions, and the X-axis, Y-axis, and Z-axis. Can be expressed by rotation about the axis of rotation. By controlling the actuator provided on the joint of this arm, the end effector 100 can be moved with 6 degrees of freedom.

３つの把持部１０２のそれぞれは、その一端が本体１０８に装着されている。３つの把持部１０２のそれぞれは、複数の関節部を備え、各関節部には把持部１０２を駆動するアクチュエータが内蔵されている。各把持部１０２は、関節部に設けられたアクチュエータの駆動により、本体１０８に向けて折れ曲がることで、物体を把持することができる。 One end of each of the three grip portions 102 is attached to the main body 108. Each of the three grip portions 102 includes a plurality of joint portions, and each joint portion has a built-in actuator for driving the grip portion 102. Each grip portion 102 can grip an object by bending toward the main body 108 by driving an actuator provided at the joint portion.

視覚センサ１０４は、視覚的にエンドエフェクタ１００の周辺の環境を認識するセンサである。視覚センサ１０４は、例えばステレオカメラなどのカメラから構成され、エンドエフェクタ１００の周囲の物体、環境を撮像する。視覚センサ１０４をステレオカメラから構成することにより、左右の撮像画像の視差から距離情報を得ることができる。これにより、エンドエフェクタ１００は、撮像画像から周囲の物体、環境を認識することができる。また、視覚センサ１０４は、例えばＴＯＦセンサ、またはＴＯＦセンサを搭載した測距装置により構成され、エンドエフェクタ１００の周囲の物体、環境を認識するものであっても良い。 The visual sensor 104 is a sensor that visually recognizes the environment around the end effector 100. The visual sensor 104 is composed of a camera such as a stereo camera, and images an object and an environment around the end effector 100. By configuring the visual sensor 104 from a stereo camera, distance information can be obtained from the parallax of the left and right captured images. As a result, the end effector 100 can recognize surrounding objects and the environment from the captured image. Further, the visual sensor 104 may be composed of, for example, a TOF sensor or a distance measuring device equipped with the TOF sensor, and may recognize an object and the environment around the end effector 100.

図１では、エンドエフェクタ１００に１つの視覚センサ１０４を搭載した例を示しているが、視覚センサ１０４の搭載個数は特に限定されるものではない。また、視覚センサ１０４の搭載位置は、エンドエフェクタ１００上であれば特に限定されるものではない。例えば、把持部１０２の先端に視覚センサ１０４を搭載することで、把持対象物２００の側面を計測することも可能になる。 FIG. 1 shows an example in which one visual sensor 104 is mounted on the end effector 100, but the number of the visual sensors 104 mounted is not particularly limited. Further, the mounting position of the visual sensor 104 is not particularly limited as long as it is on the end effector 100. For example, by mounting the visual sensor 104 on the tip of the grip portion 102, it is possible to measure the side surface of the grip target object 200.

アクチュエータ１０６は、本体１０８に装着されている。アクチュエータ１０６は、その駆動により、視覚センサ１０４のパン・チルトの方向を可変することができる。アクチュエータ１０６は、複数のモータ、リニアアクチュエータ等から構成される。アクチュエータ１０６がリニアアクチュエータから構成される場合、アクチュエータ１０６の駆動により視覚センサ１０４が並進移動する。このように、アクチュエータ１０６の駆動により、把持部１０２（または本体１０８）に対する視覚センサ１０４の姿勢が相対的に変化する。そして、視覚センサ１０４の把持部１０２に対する相対的な「姿勢」とは、視覚センサ１０４の把持部１０２に対する方向または位置を含むものである。図１に示す領域Ａ１は、視覚センサ１０４が所定の方向を向いた場合に、周辺の環境を認識可能な領域を示している。アクチュエータ１０６の駆動により、領域Ａ１の方向を制御することが可能である。 The actuator 106 is attached to the main body 108. The actuator 106 can change the pan / tilt direction of the visual sensor 104 by driving the actuator 106. The actuator 106 is composed of a plurality of motors, a linear actuator, and the like. When the actuator 106 is composed of a linear actuator, the visual sensor 104 is translated by driving the actuator 106. In this way, the posture of the visual sensor 104 with respect to the grip portion 102 (or the main body 108) is relatively changed by driving the actuator 106. The "posture" of the visual sensor 104 with respect to the grip portion 102 includes the direction or position of the visual sensor 104 with respect to the grip portion 102. The area A1 shown in FIG. 1 indicates an area in which the surrounding environment can be recognized when the visual sensor 104 faces a predetermined direction. By driving the actuator 106, it is possible to control the direction of the region A1.

なお、図１では、３つの把持部１０２による３指ハンドのエンドエフェクタ１００を示しているが、これに限定されるものではない。また、アクチュエータ１０６は、２自由度のものに限定されるものではない。また、図１では、把持部１０２が把持対象物２００を把持するものとしたが、把持部１０２の代わりに、対象物に接触する、対象物を押す、対象物を吸引する、非接触の状態で対象物に作用する（対象物を計測したり対象物から所定の情報を取得する）など、対象物に何らかの作用を及ぼす作用部が設けられていても良い。 Note that FIG. 1 shows an end effector 100 of a three-finger hand with three grip portions 102, but the present invention is not limited to this. Further, the actuator 106 is not limited to the one having two degrees of freedom. Further, in FIG. 1, the gripping portion 102 grips the gripping object 200, but instead of the gripping portion 102, the gripping portion 102 is in contact with the object, pushes the object, sucks the object, and is in a non-contact state. There may be an action unit that exerts some action on the object, such as acting on the object (measuring the object or acquiring predetermined information from the object).

２．エンドエフェクタの動作の例
次に、エンドエフェクタ１００の動作の例について説明する。ここでは、把持対象物（物体）２００に対してエンドエフェクタ１００を接近させ、把持部１０２を把持対象物２００に接触させて把持対象物２００を掴み、把持した把持対象物２００を目的地へ運び、把持対象物２００を目的地に置く、という一連の流れを例に挙げて説明する。 2. Example of operation of the end effector Next, an example of the operation of the end effector 100 will be described. Here, the end effector 100 is brought close to the gripping object (object) 200, the gripping portion 102 is brought into contact with the gripping object 200 to grab the gripping object 200, and the gripped object 200 is carried to the destination. A series of steps of placing the gripping object 200 at the destination will be described as an example.

２．１．エンドエフェクタを把持対象物に接近させる動作
図２は、エンドエフェクタ１００を把持対象物２００に接近させる動作例を示す模式図である。なお、把持対象物２００としては、コップを例示する。視覚センサ１０４の方向を接近方向に合わせることで、図２中に矢印Ａ２で示すような接近方向であっても、物体を観測できる。このように、視覚センサ１０４による計測方向を制御することで、把持対象物２００の近くで距離情報を含む高解像度の撮像画像を得ることができ、目標把持位置を高精度に計算することが可能となる。 2.1. Operation of bringing the end effector closer to the gripping object FIG. 2 is a schematic view showing an example of an operation of bringing the end effector 100 closer to the gripping object 200. As the gripping object 200, a cup is exemplified. By aligning the direction of the visual sensor 104 with the approaching direction, the object can be observed even in the approaching direction as shown by the arrow A2 in FIG. By controlling the measurement direction by the visual sensor 104 in this way, it is possible to obtain a high-resolution captured image including distance information near the gripping object 200, and it is possible to calculate the target gripping position with high accuracy. It becomes.

図３は、エンドエフェクタ１００を把持対象物２００に接近させる制御の処理手順を示すフローチャートである。なお、図３の処理のうち既存の処理については、前述した特許文献２に記載されているような、一般的な把持の動作フローを用いることができる。図７、図１１においても同様である。また、視覚センサ１０４による周辺環境の認識は常に行っていて良い。先ず、ステップＳ１０では、事前に把持対象物２００の位置を取得し、これに基づいてエンドエフェクタ１００の目標位置、目標姿勢を取得し、エンドエフェクタ１００の移動経路を計算する。把持対象物２００の位置を取得する方法として、別センサによる物***置計測による方法、ユーザが与える方法、エンドエフェクタ１００上の視覚センサ１０４の計測方向を制御(走査)して把持対象物２００を探索する方法などを用いることができる。 FIG. 3 is a flowchart showing a processing procedure for controlling the end effector 100 to approach the gripping object 200. For the existing process among the processes of FIG. 3, a general gripping operation flow as described in the above-mentioned Patent Document 2 can be used. The same applies to FIGS. 7 and 11. Further, the visual sensor 104 may always recognize the surrounding environment. First, in step S10, the position of the gripping object 200 is acquired in advance, the target position and target posture of the end effector 100 are acquired based on this, and the movement path of the end effector 100 is calculated. As a method of acquiring the position of the gripping object 200, a method of measuring the object position by another sensor, a method given by the user, and a method of controlling (scanning) the measurement direction of the visual sensor 104 on the end effector 100 to search for the gripping object 200. It is possible to use a method such as

次に、ステップＳ１２では、把持対象物２００の方向、すなわちエンドエフェクタ１００の進行方向へ視覚センサ１０４による計測方向（図１中に示す領域Ａ１の方向）を制御する。次のステップＳ１４では、視覚センサ１０４による周囲の物体、環境の計測を行う。 Next, in step S12, the measurement direction by the visual sensor 104 (the direction of the region A1 shown in FIG. 1) is controlled in the direction of the gripping object 200, that is, the traveling direction of the end effector 100. In the next step S14, the visual sensor 104 measures the surrounding objects and the environment.

次のステップＳ１６では、視覚センサ１０４により把持対象物２００を計測したか否かを判定し、把持対象物２００を計測した場合は、ステップＳ１８へ進む。ステップＳ１６において、把持対象物２００を計測したか否かは、例えば、予めエンドエフェクタ１００側で保持している把持対象物２００の画像と、視覚センサ１０４により得られる把持対象物２００の画像とが一致するか否かによって判定できる。 In the next step S16, it is determined whether or not the gripping object 200 has been measured by the visual sensor 104, and if the gripping object 200 has been measured, the process proceeds to step S18. Whether or not the gripping object 200 is measured in step S16 is determined by, for example, the image of the gripping object 200 held in advance on the end effector 100 side and the image of the gripping object 200 obtained by the visual sensor 104. It can be determined by whether or not they match.

ステップＳ１８では、視覚センサ１０４により計測した把持対象物２００の情報に基づいて、エンドエフェクタ１００の目標位置、目標姿勢、経路を計算する。また、ステップＳ１８では、把持部１０２の目標座標を計算する。具体的には、図４に示すように、視覚センサ１０４による撮像画像に対してエッジ画像２１０を抽出する。そして、このエッジ画像の情報に基づいて、エンドエフェクタ１００の目標座標ＨＰｇと把持部１０２の目標座標を決定する。把持部１０２の目標座標は、エンドエフェクタ１００の目標座標ＰｇＮから算出できる。エッジの抽出の際には、例えばＳｏｂｅｌフィルタを用いるなど、様々な手法を用いることができる。 In step S18, the target position, target posture, and path of the end effector 100 are calculated based on the information of the gripping object 200 measured by the visual sensor 104. Further, in step S18, the target coordinates of the grip portion 102 are calculated. Specifically, as shown in FIG. 4, the edge image 210 is extracted from the image captured by the visual sensor 104. Then, based on the information of this edge image, the target coordinates HP g of the end effector 100 and the target coordinates of the grip portion 102 are determined. The target coordinates of the grip portion 102 can be calculated from the target coordinates Pg N of the end effector 100. Various methods can be used for edge extraction, for example, using a Sobel filter.

例えば、エンドエフェクタ１００の目標座標ＨＰｇは、抽出したエッジ画像２１０の分布の重心位置から求めることができる。エッジ画像２１０は、把持対象物２００の輪郭を表していると推定できるため、エッジ画像２１０の分布の重心位置を把持対象物２００の中心として、エンドエフェクタ１００の移動の目標座標とする。 For example, the target coordinates HP g of the end effector 100 can be obtained from the position of the center of gravity of the distribution of the extracted edge image 210. Since it can be estimated that the edge image 210 represents the contour of the gripping object 200, the position of the center of gravity of the distribution of the edge image 210 is set as the center of the gripping object 200 and the target coordinates of the movement of the end effector 100.

また、把持部１０２の目標座標（把持位置候補２２０（把持部の接触目標位置））は、図４に示すように、エッジ画像２１０の閉曲線の重心を中心として、周方向に１２０°ずつ３等分して決定する。図１に示すように、本体１０８に対して３つの把持部１０２が円周方向に３等分した角度毎に設けられている場合、エッジ画像２１０の閉曲線の重心を中心とする円を設定し、中心から円周方向に３等分した方向に伸びる直線を設定することで、エッジ画像２１０の閉曲線と直線との交点を把持部１０２の目標座標とする。 Further, as shown in FIG. 4, the target coordinates of the grip portion 102 (grip position candidate 220 (contact target position of the grip portion)) are set to 3 mag by 120 ° in the circumferential direction with the center of gravity of the closed curve of the edge image 210 as the center. Divide and decide. As shown in FIG. 1, when three grip portions 102 are provided at each angle divided into three equal parts in the circumferential direction with respect to the main body 108, a circle centered on the center of gravity of the closed curve of the edge image 210 is set. By setting a straight line extending from the center in the circumferential direction divided into three equal parts, the intersection of the closed curve and the straight line of the edge image 210 is set as the target coordinate of the grip portion 102.

また、図５は、２つの把持部１０２を備える場合に、２つの把持部１０２で把持対象物２００を掴む例を示している。この例では、視覚センサ１０４により得られた撮像画像に基づいて、勾配画像を計算し、ｄｚ／ｄｘ（画像のＸ軸方向の微分値）が閾値δより大きい座標ｐを抽出し、図５の右図に示す座標群ｐの密度が高い領域を把持部１０２の目標座標ＨＰｇとして算出する。 Further, FIG. 5 shows an example in which the gripping object 200 is gripped by the two gripping portions 102 when the two gripping portions 102 are provided. In this example, the gradient image is calculated based on the captured image obtained by the visual sensor 104, and the coordinates p whose dz / dx (differential value in the X-axis direction of the image) is larger than the threshold value δ are extracted, and the coordinate p of FIG. The region where the density of the coordinate group p shown in the right figure is high is calculated as the target coordinate HP g of the grip portion 102.

以上のようにして得られた目標座標ＨＰｇは、視覚センサ１０４を基準とした座標系ΣＨであるため、エンドエフェクタ１００を目標座標に制御するためには、ベース座標系ΣＢに変換する必要がある。現在のアームの関節角度θ１〜θｎと関節間のリンク長Ｌ１〜Ｌｎを用いて、ΣＢからΣＨへの同次変換行列ＢＴＨを計算し、目標座標ＨＰｇに乗算することでベース座標系における目標座標ＢＰｇを求める。そして、ＢＰｇに対して逆運動学を解くことで、エンドエフェクタ１００を目標座標ＢＰｇに移動するための各関節の目標角度ｑ１〜ｑｎを得る。 Since the target coordinate HP g obtained as described above is the coordinate system Σ H with reference to the visual sensor 104, it is converted to the base coordinate system Σ B in order to control the end effector 100 to the target coordinates. There is a need to. Using the link length L 1 ~L n between the current arms of the joint angle θ 1 ~θn and joint, and calculate the homogeneous transformation matrix B T H to sigma H from sigma B, multiplies the target coordinates H P g obtaining the target coordinates B P g in the base coordinate system by. Then, by solving the inverse kinematics against B P g, obtained a target angle q 1 to q n of each joint for moving the end effector 100 to the target coordinates B P g.

ステップＳ１８の後はステップＳ２０へ進む。また、ステップＳ１６で把持対象物２００を計測していない場合もステップＳ２０へ進む。ステップＳ２０では、視覚センサ１０４の計測に基づき、エンドエフェクタ１００の進行方向に障害物を検出したか否かを判定し、進行方向に障害物を検出した場合は、ステップＳ２２へ進む。ステップＳ２２では、障害物を回避するようにエンドエフェクタ１００の経路を修正する。 After step S18, the process proceeds to step S20. Further, even if the gripping object 200 is not measured in step S16, the process proceeds to step S20. In step S20, it is determined whether or not an obstacle is detected in the traveling direction of the end effector 100 based on the measurement of the visual sensor 104, and if an obstacle is detected in the traveling direction, the process proceeds to step S22. In step S22, the path of the end effector 100 is modified so as to avoid obstacles.

ステップＳ２０の処理では、エンドエフェクタ１００の経路はステップＳ１８で事前に計算済であるため、視覚センサ１０４で取得した画像上において、エンドエフェクタ１００の進行方向に、エンドエフェクタ１００が衝突し得る大きさの物体があるか否かによって、障害物の有無を判定する。 In the process of step S20, since the path of the end effector 100 has been calculated in advance in step S18, the size at which the end effector 100 can collide with the traveling direction of the end effector 100 on the image acquired by the visual sensor 104. The presence or absence of an obstacle is determined by the presence or absence of the object.

ステップＳ２２の後はステップＳ２４へ進む。また、ステップＳ２０で進行方向に障害物を検出していない場合もステップＳ２４へ進む。ステップＳ２４では、計算した経路に沿ってエンドエフェクタ１００を移動する。この際、ステップＳ２０で進行方向に障害物を検出した場合は、ステップＳ２２で修正した経路に沿ってエンドエフェクタ１００を移動する。また、ステップＳ２０で進行方向に障害物を検出していない場合は、ステップＳ１８で計算した経路に沿ってエンドエフェクタ１００を移動する。 After step S22, the process proceeds to step S24. Further, even if no obstacle is detected in the traveling direction in step S20, the process proceeds to step S24. In step S24, the end effector 100 is moved along the calculated path. At this time, if an obstacle is detected in the traveling direction in step S20, the end effector 100 is moved along the path corrected in step S22. If no obstacle is detected in the traveling direction in step S20, the end effector 100 is moved along the path calculated in step S18.

ステップＳ２４の後はステップＳ２６へ進む。ステップＳ２６では、エンドエフェクタ１００が目標位置（目標座標ＢＰｇ）に到達したか否かを判定し、エンドエフェクタ１００が目標位置に到達した場合は処理を終了する（ＥＮＤ）。一方、ステップＳ２６でエンドエフェクタ１００が目標位置に到達していない場合は、ステップＳ１２へ戻り、以降の処理を再度行う。 After step S24, the process proceeds to step S26. In step S26, the end effector 100 it is determined whether the target position has been reached (target coordinates B P g), the end effector 100 when it reaches the target position and ends the process (END). On the other hand, if the end effector 100 has not reached the target position in step S26, the process returns to step S12, and the subsequent processing is performed again.

図３の処理によれば、把持対象物２００の位置が判明すると、その方向へ視覚センサ１０４の姿勢を制御し、エンドエフェクタ１００の目標位置を計算してエンドエフェクタ１００を目標把持部２００に接近させる。接近中においても、視覚センサ１０４による計測と目標位置の計算を繰り返すことで、把持対象物２００に近づくにつれて、撮像画像中で把持対象物２００が占める割合が増えるため、把持対象物２００の位置、姿勢の計測精度が向上していく。また、接近中に障害物がある場合は、障害物を回避するようにエンドエフェクタ１００を動かすことも可能である。 According to the process of FIG. 3, when the position of the gripping object 200 is found, the posture of the visual sensor 104 is controlled in that direction, the target position of the end effector 100 is calculated, and the end effector 100 approaches the target gripping portion 200. Let me. By repeating the measurement by the visual sensor 104 and the calculation of the target position even during approaching, the ratio of the gripping object 200 in the captured image increases as the gripping object 200 approaches, so that the position of the gripping object 200, Posture measurement accuracy will improve. It is also possible to move the end effector 100 to avoid the obstacle if there is an obstacle during the approach.

２．２．把持対象物を把持する動作
図６Ａ及び図６Ｂは、エンドエフェクタ１００の把持部１０２が把持対象物２００を把持する様子を示す模式図である。図６Ａは、エンドエフェクタ１００が把持対象物２００に接近する方向に対して直交する方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図である。また、図６Ｂは、エンドエフェクタ１００が把持対象物２００に接近する方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図であって、図６Ａ中の矢印Ａ２方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図である。 2.2. Operation of gripping the object to be gripped FIGS. 6A and 6B are schematic views showing how the gripping portion 102 of the end effector 100 grips the object to be gripped 200. FIG. 6A is a schematic view showing a state in which the end effector 100 and the gripping object 200 are viewed from a direction orthogonal to the direction in which the end effector 100 approaches the gripping object 200. Further, FIG. 6B is a schematic view showing a state in which the end effector 100 is viewed from the direction in which the end effector 100 approaches the gripping object 200, and the end effector 100 and the gripping object 200 are viewed from the direction of arrow A2 in FIG. 6A. It is a schematic diagram which shows the state which looked at the gripping object 200.

図６Ａ及び図６Ｂに示すように、エンドエフェクタ１００が把持対象物２００を把持する際には、視覚センサ１０４の方向が把持対象物２００を向くようにアクチュエータ１０６が制御される。これにより、エンドエフェクタ１００に対する把持対象物２００の位置が正確に取得される。また、把持部１０２と把持対象物２００との接触を精度良く判定することができる。 As shown in FIGS. 6A and 6B, when the end effector 100 grips the gripping object 200, the actuator 106 is controlled so that the direction of the visual sensor 104 faces the gripping object 200. As a result, the position of the gripping object 200 with respect to the end effector 100 is accurately acquired. Further, the contact between the grip portion 102 and the gripping object 200 can be accurately determined.

図７は、把持対象物２００を把持する際の処理の流れを示すフローチャートである。先ず、ステップＳ３０では、把持部１０２の目標座標を取得する。なお、把持部１０２の目標座標としては、上述した手法により既に計算されている値を使用する。次のステップＳ３２では、把持部１０２の目標座標に向けて視覚センサ１０４の計測方向を制御する。次のステップＳ３４では、視覚センサ１０４による計測を行う。 FIG. 7 is a flowchart showing a flow of processing when gripping the gripping object 200. First, in step S30, the target coordinates of the grip portion 102 are acquired. As the target coordinates of the grip portion 102, the values already calculated by the above-mentioned method are used. In the next step S32, the measurement direction of the visual sensor 104 is controlled toward the target coordinates of the grip portion 102. In the next step S34, measurement is performed by the visual sensor 104.

次のステップＳ３６では、視覚センサ１０４による計測に基づいて、把持部１０２の目標座標、姿勢を再計算する。次のステップＳ３８では、目標座標へ把持部１０２を移動する。次のステップＳ４０では、把持部１０２が把持目標物２００に接触したか否かを判定し、把持部１０２が把持対象物２００に接触した場合はステップＳ４２へ進み、把持部１０２で把持対象物２００を把持した状態で把持対象物２００を持ち上げる。一方、ステップＳ４０で把持部１０２が把持対象物２００を接触していない場合はステップＳ３２へ戻り、以降の処理を再度行う。 In the next step S36, the target coordinates and the posture of the grip portion 102 are recalculated based on the measurement by the visual sensor 104. In the next step S38, the grip portion 102 is moved to the target coordinates. In the next step S40, it is determined whether or not the gripping portion 102 has come into contact with the gripping target object 200, and if the gripping portion 102 comes into contact with the gripping object 200, the process proceeds to step S42, and the gripping object 200 The gripping object 200 is lifted while the gripping object 200 is gripped. On the other hand, if the gripping portion 102 is not in contact with the gripping object 200 in step S40, the process returns to step S32, and the subsequent processing is performed again.

以上のように、把持部１０２が図３のフローに従って目標位置に到達した時点で、把持部１０２の把持対象物２００に対する接触面と、把持対象物２００の被接触面を観測できるように、視覚センサ１０４の姿勢を制御する。これにより、把持部１０４の接触位置の計測精度が向上し、更に把持部１０４が把持対象物２００に接触したか否かの検出も精度良く行うことが可能となる。 As described above, when the gripping portion 102 reaches the target position according to the flow of FIG. 3, the contact surface of the gripping portion 102 with respect to the gripping object 200 and the contacted surface of the gripping object 200 can be visually observed. The posture of the sensor 104 is controlled. As a result, the measurement accuracy of the contact position of the grip portion 104 is improved, and it is possible to accurately detect whether or not the grip portion 104 has come into contact with the gripping object 200.

なお、把持対象物２００を把持した後に、エンドエフェクタ１００内で把持対象物２００を持ち直す「操り操作」をする際も、図７と同様のフローで行うことができる。視覚センサ１０４の計測方向を把持部１０４の目標座標へ制御することで、把持対象物２００の掴み損ねや接触位置の誤差が低減し、操り操作の成功確率が向上する。 When the gripping object 200 is gripped and then the “manipulation operation” of picking up the gripping object 200 in the end effector 100 is performed, the same flow as in FIG. 7 can be performed. By controlling the measurement direction of the visual sensor 104 to the target coordinates of the gripping portion 104, the failure to grip the gripping object 200 and the error of the contact position are reduced, and the success probability of the maneuvering operation is improved.

図８は、図７のステップＳ４０において、接触を判定する方法を説明するための模式図である。図８では、視覚センサ１０４が撮像した画像を示しており、把持対象物２００を上から把持する場合を示している。図７のステップＳ４０では、視覚センサ１０４が撮像した画像中の把持部１０２の三次元位置が把持対象物２００のエッジの座標と一致するか否かに応じて、把持部１０２が把持対象物２００と接触したか否かを判定する。操り操作時に把持部１０２を別の位置へ接触させる際も同様である。なお、接触検出は、例えば把持部１０４の先端に接触力センサを設けるなどして、他のセンサを用いて行ってもよい。 FIG. 8 is a schematic diagram for explaining a method of determining contact in step S40 of FIG. 7. FIG. 8 shows an image captured by the visual sensor 104, and shows a case where the gripping object 200 is gripped from above. In step S40 of FIG. 7, the gripping portion 102 determines the gripping object 200 depending on whether or not the three-dimensional position of the gripping portion 102 in the image captured by the visual sensor 104 matches the coordinates of the edge of the gripping object 200. It is determined whether or not it has come into contact with. The same applies when the grip portion 102 is brought into contact with another position during the operation. The contact detection may be performed by using another sensor, for example, by providing a contact force sensor at the tip of the grip portion 104.

２．３．把持対象物を運搬する動作
図９は、把持対象物２００を把持部１０２が把持した状態でエンドエフェクタ１００が矢印Ａ３方向に移動し、把持対象物２００を運搬している様子を示す模式図である。図９に示すように、把持対象物２００を運搬している際には、視覚センサ１０４がエンドエフェクタ１００の移動方向（矢印Ａ３方向）に向けられる。これにより、エンドエフェクタ１００による把持対象物２００の運搬中に、エンドエフェクタ２００の移動経路の環境を確実に認識することができ、移動経路に障害物が存在する場合は、障害物を確実に検出することが可能である。 2.3. Operation of transporting the gripping object FIG. 9 is a schematic view showing a state in which the end effector 100 moves in the direction of arrow A3 while the gripping object 102 is gripped by the gripping portion 102 to transport the gripping object 200. is there. As shown in FIG. 9, when the gripping object 200 is being transported, the visual sensor 104 is directed in the moving direction (arrow A3 direction) of the end effector 100. As a result, the environment of the movement path of the end effector 200 can be reliably recognized during the transportation of the gripping object 200 by the end effector 100, and if an obstacle exists in the movement path, the obstacle is reliably detected. It is possible to do.

図９に示すように、把持対象物２００を把持した後においても、視覚センサ１０４の計測方向を制御することで、周辺環境を計測することができ、周辺環境中に存在する障害物との衝突を回避することが可能である。把持対象物２００を運搬する処理は、例えばエンドエフェクタ１００の目標座標を所望の目標位置に設定することで、図３と同様に行うことができる。 As shown in FIG. 9, even after gripping the gripping object 200, the surrounding environment can be measured by controlling the measurement direction of the visual sensor 104, and a collision with an obstacle existing in the surrounding environment can be performed. Can be avoided. The process of transporting the gripping object 200 can be performed in the same manner as in FIG. 3, for example, by setting the target coordinates of the end effector 100 at a desired target position.

２．４．把持対象物を配置する動作
図１０は、エンドエフェクタ１００が把持対象物２００を運搬して、所望の位置に配置する際の動作を示す模式図である。図１０に示すように、把持対象物２００を所望の位置に配置する際に、把持対象物２００を把持した状態で、視覚センサ１０４が配置場所の周辺の状況、環境を計測する。視覚センサ１０４の計測方向を制御することで、把持対象物２００を把持した状態で配置目標位置を探索できる。これにより、最適な場所に把持対象物２００を置くことが可能である。 2.4. Operation of arranging the gripping object FIG. 10 is a schematic view showing an operation when the end effector 100 carries the gripping object 200 and arranges it at a desired position. As shown in FIG. 10, when arranging the gripping object 200 at a desired position, the visual sensor 104 measures the situation and environment around the arranging place while the gripping object 200 is gripped. By controlling the measurement direction of the visual sensor 104, the placement target position can be searched while the gripping object 200 is gripped. This makes it possible to place the gripping object 200 in the optimum location.

図１１は、把持対象物２００を配置する際の処理の流れを示すフローチャートである。先ず、ステップＳ５０では、把持対象物２００を配置する際の目標地点である配置目標面の位置を取得する。次のステップＳ５２では、視覚センサ１０４による計測の方向が配置目標面に向かうようにアクチュエータ１０６を制御する。 FIG. 11 is a flowchart showing a processing flow when arranging the gripping object 200. First, in step S50, the position of the placement target surface, which is the target point when the gripping object 200 is placed, is acquired. In the next step S52, the actuator 106 is controlled so that the direction of measurement by the visual sensor 104 is toward the placement target surface.

次のステップＳ５４では、視覚センサ１０４から得られる画像情報に基づいて、エンドエフェクタ１００の目標位置、姿勢を計算する。次のステップＳ５６では、ステップＳ５４で計算した目標位置、姿勢となるようにエンドエフェクタ１００を移動する。 In the next step S54, the target position and posture of the end effector 100 are calculated based on the image information obtained from the visual sensor 104. In the next step S56, the end effector 100 is moved so as to have the target position and posture calculated in step S54.

次のステップＳ５８では、把持対象物２００と目標配置面とが接触したか否かを判定し、把持対象物２００と目標配置面とが接触したことが判定された場合は、ステップＳ６０へ進む。ステップＳ６０では、把持部１０２を把持対象物２００から離し、把持対象物２００の把持を解除する。ステップＳ６０の後は処理を終了する（ＥＮＤ）。 In the next step S58, it is determined whether or not the gripping object 200 and the target placement surface are in contact with each other, and if it is determined that the gripping object 200 and the target placement surface are in contact with each other, the process proceeds to step S60. In step S60, the gripping portion 102 is separated from the gripping object 200, and the gripping object 200 is released from gripping. After step S60, the process ends (END).

一方、ステップＳ５２で把持対象物２００と目標配置面とが接触していないことが判定された場合は、ステップＳ５２へ戻り、以降の処理を再度行う。 On the other hand, if it is determined in step S52 that the gripping object 200 and the target placement surface are not in contact with each other, the process returns to step S52 and the subsequent processes are performed again.

以上のように、把持対象物２００を所望の位置に配置する際には、把持対象物２０を把持する場合と同様な方法で、事前に配置する目標位置を取得する。そして、目標位置に向けて視覚センサ１０４の計測方向を制御することで、把持対象物２００を配置するための目標位置・姿勢の計算に、視覚センサ１０４の撮像画像を利用することができる。 As described above, when arranging the gripping object 200 at a desired position, the target position to be arranged in advance is acquired by the same method as in the case of gripping the gripping object 20. Then, by controlling the measurement direction of the visual sensor 104 toward the target position, the captured image of the visual sensor 104 can be used for calculating the target position / posture for arranging the gripping object 200.

図１２は、配置目標位置を計算する方法を説明するための模式図である。図１２に示すように、視覚センサ１０４が撮像した画像中で、平面であり且つ把持対象物２００と把持部１０２を共に配置可能な広さの領域２５０が配置可能位置の候補となる。視覚センサ１０４で撮像した画像の距離情報から、平面の領域を認識できる。また、平面の検出は様々な画像処理ライブラリで用意されている公知の手法を利用できる。把持対象物２００の大きさは、把持する際の把持対象物２００の輪郭の大きさで推定できる。この条件を満たす領域の内、現在位置から最短経路となるエリアを図１２に示す配置可能領域２６０とする。配置可能領域は、ステップＳ５０の配置目標面に対応する。 FIG. 12 is a schematic diagram for explaining a method of calculating the placement target position. As shown in FIG. 12, in the image captured by the visual sensor 104, a region 250 that is flat and has a size that allows both the gripping object 200 and the gripping portion 102 to be placed is a candidate for the placement position. A plane region can be recognized from the distance information of the image captured by the visual sensor 104. Further, for the detection of the plane, a known method prepared in various image processing libraries can be used. The size of the gripping object 200 can be estimated from the size of the contour of the gripping object 200 when gripping. Among the areas satisfying this condition, the area that is the shortest path from the current position is defined as the displaceable area 260 shown in FIG. The distributable area corresponds to the disposition target surface in step S50.

また、図１３に示すように、視覚センサ１０４による撮像画像に基づいて、把持対象物２００の底面と配置面２０４が接触したかどうかを計算することで、配置の成功判定も可能になる。把持対象物２００の底面２０２と配置面２０４との接触は、図１３に示す通り、把持対象物２００の底面２０２のエッジが配置面２０４と接触したか否かにより判定することができる。 Further, as shown in FIG. 13, it is possible to determine the success of the arrangement by calculating whether or not the bottom surface of the gripping object 200 and the arrangement surface 204 are in contact with each other based on the image captured by the visual sensor 104. As shown in FIG. 13, the contact between the bottom surface 202 of the gripping object 200 and the arrangement surface 204 can be determined by whether or not the edge of the bottom surface 202 of the gripping object 200 comes into contact with the arrangement surface 204.

２．５．その他の動作の例
図１４は、把持対象物２００を、別の物体に作用させる道具（作用具）とした例を示す模式図である。図１４に示す例では、把持対象物２００をコップの代わりに包丁３００とした例を示している。図１４に示す例では、エンドエフェクタ１００で包丁３００を把持し、エンドエフェクタ１００が包丁３００を下（矢印Ａ４方向）に移動して果物３１０を切る様子を示している。このように、エンドエフェクタ１００で把持した道具（包丁３００）を、別の物体（果物３１０）や環境に接触させて使用する場合も、上述した手法と同様に道具の接触面と対象物体の被接触面を視覚センサ１０４で計測することで、接触位置、姿勢の誤差を低減できる。 2.5. Examples of Other Operations FIG. 14 is a schematic view showing an example in which the gripping object 200 is used as a tool (acting tool) for acting on another object. In the example shown in FIG. 14, an example is shown in which the gripping object 200 is a kitchen knife 300 instead of a cup. In the example shown in FIG. 14, the end effector 100 grips the kitchen knife 300, and the end effector 100 moves the kitchen knife 300 downward (in the direction of arrow A4) to cut the fruit 310. In this way, when the tool (kitchen knife 300) gripped by the end effector 100 is used in contact with another object (fruit 310) or the environment, the contact surface of the tool and the cover of the target object are similar to the above method. By measuring the contact surface with the visual sensor 104, it is possible to reduce errors in the contact position and posture.

図１５は、図１３に示す例において、視覚センサ１０４で包丁３００と果物３１０を撮像して得られる画像を示す模式図である。図１５において、包丁３００と果物３１０が接触するエッジ３０２の位置は、ユーザが撮像画像に基づいて指定するなどして既知であるものとする。エッジ３０２の位置が既知であれば、エッジ３０２の目標座標を求めることができ、図８と同様に、包丁３００の接触位置（エッジ３０２）の距離分布（三次元位置の分布）と、被接触物体である果物３１０の距離分布から、包丁３００と果物３０２が接触したか否かを判定することができる。なお、エッジ３０２の位置は、包丁３００の形状、寸法と、把持部１０２が包丁３００を掴む位置とから予め求めることができる。 FIG. 15 is a schematic view showing an image obtained by photographing a kitchen knife 300 and a fruit 310 with a visual sensor 104 in the example shown in FIG. In FIG. 15, it is assumed that the position of the edge 302 where the kitchen knife 300 and the fruit 310 come into contact with each other is known by the user, for example, by designating the edge 302 based on the captured image. If the position of the edge 302 is known, the target coordinates of the edge 302 can be obtained, and the distance distribution (three-dimensional position distribution) of the contact position (edge 302) of the kitchen knife 300 and the contacted position are the same as in FIG. From the distance distribution of the fruit 310, which is an object, it can be determined whether or not the kitchen knife 300 and the fruit 302 have come into contact with each other. The position of the edge 302 can be determined in advance from the shape and dimensions of the kitchen knife 300 and the position where the grip portion 102 grips the kitchen knife 300.

図１６は、エンドエフェクタ１００の周囲に設けられる他のセンサから把持対象物２００が遮蔽されている環境を示す模式図である。図１６に示す例では、棚３２０の上に把持対象物２００が置かれている。このような場合、他のセンサでは把持対象物２００を認識することはできないが、視覚センサ１０４により把持対象物２００を認識できる。このため、把持対象物２００にエンドエフェクタ１００を接近させる際に、視覚センサ１０４の方向を制御させることで、エンドエフェクタの移動とは独立して遮蔽環境を探索することができる。 FIG. 16 is a schematic view showing an environment in which the gripping object 200 is shielded from other sensors provided around the end effector 100. In the example shown in FIG. 16, the gripping object 200 is placed on the shelf 320. In such a case, the gripping object 200 cannot be recognized by other sensors, but the gripping object 200 can be recognized by the visual sensor 104. Therefore, by controlling the direction of the visual sensor 104 when the end effector 100 is brought close to the gripping object 200, the shielding environment can be searched independently of the movement of the end effector.

３．エンドエフェクタを含むシステムの構成例
図１７は、本実施形態に係るエンドエフェクタ１００と、エンドエフェクタ１００を制御する制御装置４００とからなるシステム１０００の構成を示すブロック図である。図１７に示すように、エンドエフェクタ１００は、視覚センサ１０４、アクチュエータ１０６、把持部１０２を有して構成される。 3. 3. Configuration Example of System Containing End Effector FIG. 17 is a block diagram showing a configuration of a system 1000 including an end effector 100 according to the present embodiment and a control device 400 for controlling the end effector 100. As shown in FIG. 17, the end effector 100 includes a visual sensor 104, an actuator 106, and a grip portion 102.

また、制御装置４００は、視覚センサ１０４が検出した把持対象物２００の位置を含む情報を取得する対象物情報取得部４０５と、エンドエフェクタ１００の目標位置、把持部１０２の目標位置、エンドエフェクタ１００の移動経路を計算する計算部４１０と、計算部４１０の計算結果に基づいてアクチュエータ１０６を制御するアクチュエータ制御部４２０と、計算部４１０の計算結果に基づいてエンドエフェクタ１００の動きを制御するエンドエフェクタ制御部４３０、把持対象物２００と把持部１０２との接触、または把持対象物２００と配置面２０４との接触を判定する接触判定部４４０と、を有して構成されている。 Further, the control device 400 includes an object information acquisition unit 405 that acquires information including the position of the gripping object 200 detected by the visual sensor 104, a target position of the end effector 100, a target position of the gripping unit 102, and an end effector 100. The calculation unit 410 that calculates the movement path of the robot, the actuator control unit 420 that controls the actuator 106 based on the calculation result of the calculation unit 410, and the end effector that controls the movement of the end effector 100 based on the calculation result of the calculation unit 410. It is configured to include a control unit 430, a contact determination unit 440 that determines contact between the gripping object 200 and the gripping unit 102, or contact between the gripping object 200 and the arrangement surface 204.

計算部４１０は、上述した手法により、エンドエフェクタ１００の目標座標、把持部１０２の目標座標を計算する。また、計算部４１０は、視覚センサ１０４を基準とした把持対象物２００の目標座標をベース座標系に行列変換して、ベース座標系による把持対象物２００の目標座標を計算する。 The calculation unit 410 calculates the target coordinates of the end effector 100 and the target coordinates of the grip unit 102 by the method described above. Further, the calculation unit 410 calculates the target coordinates of the gripping object 200 by the base coordinate system by matrix-converting the target coordinates of the gripping object 200 based on the visual sensor 104 into the base coordinate system.

アクチュエータ制御部４２０は、計算部４１０の計算結果に基づいて、視覚センサ１０４の方向が把持対象物２００も目標座標に向くようにアクチュエータ１０６を制御する。エンドエフェクタ制御部４３０は、計算部４１０の計算結果に基づいて、把持部１０２の先端が目標座標と一致するように把持部１０２の関節のアクチュエータを制御する。また、エンドエフェクタ制御部４３０は、計算部４１０の計算結果に基づいて、エンドエフェクタ１００の位置が目標座標と一致するようにエンドエフェクタ１００を支持するアームを制御する。 The actuator control unit 420 controls the actuator 106 so that the direction of the visual sensor 104 also points to the target coordinates of the gripping object 200 based on the calculation result of the calculation unit 410. The end effector control unit 430 controls the actuator of the joint of the grip unit 102 so that the tip of the grip unit 102 matches the target coordinates based on the calculation result of the calculation unit 410. Further, the end effector control unit 430 controls an arm that supports the end effector 100 so that the position of the end effector 100 matches the target coordinates based on the calculation result of the calculation unit 410.

また、接触判定部４４０は、上述した手法により、視覚センサ１０４により認識した把持部１０２の三次元位置が把持対象物２００のエッジの三次元位置と一致するか否かに応じて、把持部１０２と把持対象物２００との接触を判定する。また、接触判定部４４０は、把持対象物２００の底面２０２のエッジの三次元位置が配置面２４０のエッジの三次元位置と接触したか否かにより、把持対象物２００と配置面２０４との接触を判定する。 Further, the contact determination unit 440 uses the above-mentioned method to determine whether or not the three-dimensional position of the grip portion 102 recognized by the visual sensor 104 coincides with the three-dimensional position of the edge of the grip target object 200. And the contact with the gripping object 200 are determined. Further, the contact determination unit 440 makes contact between the gripping object 200 and the placement surface 204 depending on whether or not the three-dimensional position of the edge of the bottom surface 202 of the gripping object 200 comes into contact with the three-dimensional position of the edge of the placement surface 240. To judge.

以上説明したように本実施形態によれば、把持対象物２００にエンドエフェクタ１００を接近させる際(物体を把持する、物体を押す、など)に、視覚センサ１０４の計測範囲を制御することで、様々な接近方向に対して視覚センサ１０４による計測が可能になり、視覚センサ１０４から得られる情報からエンドエフェクタ１００の目標位置・姿勢を計算することが可能となる。 As described above, according to the present embodiment, when the end effector 100 is brought close to the gripping object 200 (grasping an object, pushing an object, etc.), the measurement range of the visual sensor 104 is controlled. The visual sensor 104 can measure various approaches, and the target position and orientation of the end effector 100 can be calculated from the information obtained from the visual sensor 104.

また、棚の上に把持対象物がある場合など、他のセンサから把持対象物２００が遮蔽されている環境において、把持対象物２００にエンドエフェクタ１００を接近させる際に、視覚センサ１０４の方向のみを変化させることで、エンドエフェクタ１００の移動とは独立して遮蔽された領域を探索することができる。 Further, in an environment where the gripping object 200 is shielded from other sensors, such as when there is a gripping object on the shelf, when the end effector 100 is brought close to the gripping object 200, only the direction of the visual sensor 104 is used. By changing, it is possible to search the shielded area independently of the movement of the end effector 100.

また、把持対象物２００にエンドエフェクタ１００を接触させる際(物体を把持する、物体を押す、把持物の持ち直しなどの操り操作、など)に、視覚センサ１０４の計測範囲を制御することで、エンドエフェクタの接触位置の計測範囲が拡大し、エンドエフェクタの接触面と物体の被接触面を計測することで、接触検出が可能になる。 Further, when the end effector 100 is brought into contact with the gripping object 200 (manipulation operations such as gripping the object, pushing the object, picking up the gripped object, etc.), the end is controlled by controlling the measurement range of the visual sensor 104. The measurement range of the contact position of the effector is expanded, and contact detection becomes possible by measuring the contact surface of the end effector and the contact surface of the object.

また、把持対象物２００を運搬する際に、把持対象物２００を把持したままエンドエフェクタ１００の周囲を視覚センサ１０４で計測できるため、障害物の回避や最短ルートの計算が可能になる。 Further, when the gripping object 200 is transported, the circumference of the end effector 100 can be measured by the visual sensor 104 while gripping the gripping object 200, so that obstacles can be avoided and the shortest route can be calculated.

また、把持対象物２００を環境に接触させる際(把持した道具を別の物体に作用させる、把持物を配置する、など)に、視覚センサ１０４の計測方向を制御することで、把持対象物２００を把持したまま目標接触位置の探索ができ、接触位置・姿勢の誤差を低減することができる。 Further, when the gripping object 200 is brought into contact with the environment (such as causing the gripped tool to act on another object, arranging the gripping object, etc.), the measurement direction of the visual sensor 104 is controlled to control the gripping object 200. The target contact position can be searched while holding the sensor, and the error of the contact position / posture can be reduced.

また、把持対象物２００を環境に接触させる際に、視覚センサ１０４の計測範囲を制御し、把持対象物２００の接触面と環境の被接触面を観測することで、把持対象物２００と配置面２０４との接触判定が可能になる。 Further, when the gripping object 200 is brought into contact with the environment, the measurement range of the visual sensor 104 is controlled, and the contact surface of the gripping object 200 and the contact surface of the environment are observed to allow the gripping object 200 and the arrangement surface. Contact determination with 204 becomes possible.

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 Although the preferred embodiments of the present disclosure have been described in detail with reference to the accompanying drawings, the technical scope of the present disclosure is not limited to such examples. It is clear that a person having ordinary knowledge in the technical field of the present disclosure can come up with various modifications or modifications within the scope of the technical ideas described in the claims. Of course, it is understood that the above also belongs to the technical scope of the present disclosure.
In addition, the effects described herein are merely explanatory or exemplary and are not limited. That is, the techniques according to the present disclosure may exhibit other effects apparent to those skilled in the art from the description herein, in addition to or in place of the above effects.

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 対象物に作用する作用部と、
前記対象物を含む周辺の状況を認識する状況認識センサと、
前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、
を備える、制御システム。
（２） 前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得する対象物情報取得部を備える、前記（１）に記載の制御システム。
（３） 前記対象物情報に基づいて前記アクチュエータを制御するアクチュエータ制御部を備える、前記（２）に記載の制御システム。
（４） 前記アクチュエータ制御部は、前記状況認識センサが前記対象物の方向に向くように前記アクチュエータを制御する、前記（３）に記載の制御システム。
（５） 前記対象物情報に基づいて前記作用部、前記状況認識センサ及び前記アクチュエータを有するエンドエフェクタの動きを制御するエンドエフェクタ制御部を備える、前記（２）に記載の制御システム。
（６） 前記エンドエフェクタの座標系に基づく前記対象物情報を前記エンドエフェクタが装着された可動アームのベース座標系に基づく情報に変換する計算部を備え、
前記エンドエフェクタ制御部は、前記ベース座標系に基づく前記情報に基づいて前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（７） 前記エンドエフェクタ制御部は、前記状況認識センサにより障害物が認識された場合は、前記障害物を避けるように前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（８） 前記対象物情報に基づいて、前記作用部を前記対象物に作用させる作用位置を計算する計算部を備え、
前記アクチュエータ制御部は、前記作用位置に基づいて前記作用部を前記対象物に作用させる、前記（５）に記載の制御システム。
（９） 前記対象物情報に基づいて、前記対象物と前記作用部との接触、又は前記対象物と他の物体との接触を判定する接触判定部を備え、
前記エンドエフェクタ制御部は、前記接触判定部による判定結果に基づいて前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（１０） 前記作用部は、前記対象物を把持する、前記（１）〜（９）のいずれかに記載の制御システム。
（１１） 前記作用部は、前記対象物を把持する機構を有し、前記対象物と前記対象物が載置される載置面とが接触したことが判定されると、把持していた前記対象物を離す、前記（９）に記載の制御システム。
（１２） 前記作用部は、前記対象物を把持する機構を有し、前記対象物を別の物体に作用させる、前記（１）に記載の制御システム。
（１３） 対象物に作用する作用部と、
前記対象物を含む周辺の状況を認識する状況認識センサと、
前記状況認識センサの姿勢を制御するアクチュエータと、
を備える、制御システムにおける方法であって、
前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、
前記対象物情報に基づいて前記アクチュエータを制御することと、
を備える、方法。 The following configurations also belong to the technical scope of the present disclosure.
(1) The action part that acts on the object and
A situational awareness sensor that recognizes the surrounding conditions including the object,
An actuator that controls the posture of the situational awareness sensor relative to the action unit,
A control system.
(2) The control system according to (1) above, comprising an object information acquisition unit that acquires object information including the position of the object based on the recognition result by the situation recognition sensor.
(3) The control system according to (2) above, comprising an actuator control unit that controls the actuator based on the object information.
(4) The control system according to (3), wherein the actuator control unit controls the actuator so that the situational awareness sensor faces the object.
(5) The control system according to (2) above, further comprising an end effector control unit that controls the movement of the action unit, the situational awareness sensor, and the end effector having the actuator based on the object information.
(6) A calculation unit for converting the object information based on the coordinate system of the end effector into information based on the base coordinate system of the movable arm to which the end effector is mounted is provided.
The control system according to (5), wherein the end effector control unit controls the movement of the end effector based on the information based on the base coordinate system.
(7) The control system according to (5), wherein the end effector control unit controls the movement of the end effector so as to avoid the obstacle when an obstacle is recognized by the situational awareness sensor.
(8) A calculation unit for calculating the action position at which the action unit acts on the object based on the object information is provided.
The control system according to (5) above, wherein the actuator control unit causes the action unit to act on the object based on the action position.
(9) A contact determination unit for determining contact between the object and the acting unit or contact between the object and another object based on the object information is provided.
The control system according to (5) above, wherein the end effector control unit controls the movement of the end effector based on a determination result by the contact determination unit.
(10) The control system according to any one of (1) to (9) above, wherein the acting unit grips the object.
(11) The action unit has a mechanism for gripping the object, and when it is determined that the object and the mounting surface on which the object is placed are in contact with each other, the working portion grips the object. The control system according to (9) above, which releases an object.
(12) The control system according to (1) above, wherein the acting unit has a mechanism for gripping the object and causes the object to act on another object.
(13) The action part that acts on the object and
A situational awareness sensor that recognizes the surrounding conditions including the object,
An actuator that controls the posture of the situational awareness sensor and
A method in a control system that comprises
Acquiring object information including the position of the object based on the recognition result by the situational awareness sensor, and
Controlling the actuator based on the object information
A method.

１００ エンドエフェクタ
１０２ 把持部
１０４ 視覚センサ
１０６ アクチュエータ
４１０ 計算部
４２０ アクチュエータ制御部
４３０ エンドエフェクタ制御部
４４０ 接触判定部
100 End effector 102 Grip part 104 Visual sensor 106 Actuator 410 Calculation part 420 Actuator control part 430 End effector control part 440 Contact judgment part

Claims (13)

対象物に作用する作用部と、
前記対象物を含む周辺の状況を認識する状況認識センサと、
前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、
を備える、制御システム。 The action part that acts on the object and
A situational awareness sensor that recognizes the surrounding conditions including the object,
An actuator that controls the posture of the situational awareness sensor relative to the action unit,
A control system. 前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得する対象物情報取得部を備える、請求項１に記載の制御システム。 The control system according to claim 1, further comprising an object information acquisition unit that acquires object information including the position of the object based on the recognition result by the situation recognition sensor. 前記対象物情報に基づいて前記アクチュエータを制御するアクチュエータ制御部を備える、請求項２に記載の制御システム。 The control system according to claim 2, further comprising an actuator control unit that controls the actuator based on the object information. 前記アクチュエータ制御部は、前記状況認識センサが前記対象物の方向に向くように前記アクチュエータを制御する、請求項３に記載の制御システム。 The control system according to claim 3, wherein the actuator control unit controls the actuator so that the situational awareness sensor faces the object. 前記対象物情報に基づいて前記作用部、前記状況認識センサ及び前記アクチュエータを有するエンドエフェクタの動きを制御するエンドエフェクタ制御部を備える、請求項２に記載の制御システム。 The control system according to claim 2, further comprising an end effector control unit that controls the movement of the action unit, the situational awareness sensor, and the end effector having the actuator based on the object information. 前記エンドエフェクタの座標系に基づく前記対象物情報を前記エンドエフェクタが装着された可動アームのベース座標系に基づく情報に変換する計算部を備え、
前記エンドエフェクタ制御部は、前記ベース座標系に基づく前記情報に基づいて前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。 It is provided with a calculation unit that converts the object information based on the coordinate system of the end effector into information based on the base coordinate system of the movable arm to which the end effector is mounted.
The control system according to claim 5, wherein the end effector control unit controls the movement of the end effector based on the information based on the base coordinate system. 前記エンドエフェクタ制御部は、前記状況認識センサにより障害物が認識された場合は、前記障害物を避けるように前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。 The control system according to claim 5, wherein the end effector control unit controls the movement of the end effector so as to avoid the obstacle when an obstacle is recognized by the situation recognition sensor. 前記対象物情報に基づいて、前記作用部を前記対象物に作用させる作用位置を計算する計算部を備え、
前記エンドエフェクタ制御部は、前記作用位置に基づいて前記作用部を前記対象物に作用させる、請求項５に記載の制御システム。 A calculation unit that calculates an action position that causes the action unit to act on the object based on the object information is provided.
The control system according to claim 5, wherein the end effector control unit causes the action unit to act on the object based on the action position. 前記対象物情報に基づいて、前記対象物と前記作用部との接触、又は前記対象物と他の物体との接触を判定する接触判定部を備え、
前記エンドエフェクタ制御部は、前記接触判定部による判定結果に基づいて前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。 A contact determination unit for determining contact between the object and the action unit or contact between the object and another object based on the object information is provided.
The control system according to claim 5, wherein the end effector control unit controls the movement of the end effector based on a determination result by the contact determination unit. 前記作用部は、前記対象物を把持する、請求項１に記載の制御システム。 The control system according to claim 1, wherein the acting unit grips the object. 前記作用部は、前記対象物を把持する機構を有し、前記対象物と前記対象物が載置される載置面とが接触したことが判定されると、把持していた前記対象物を離す、請求項９に記載の制御システム。 The acting unit has a mechanism for gripping the object, and when it is determined that the object and the mounting surface on which the object is placed are in contact with each other, the gripping object is gripped. The control system according to claim 9, which is released. 前記作用部は、前記対象物を把持する機構を有し、前記対象物を別の物体に作用させる、請求項１に記載の制御システム。 The control system according to claim 1, wherein the acting unit has a mechanism for gripping the object and causes the object to act on another object. 対象物に作用する作用部と、
前記対象物を含む周辺の状況を認識する状況認識センサと、
前記状況認識センサの姿勢を制御するアクチュエータと、
を備える、制御システムにおける方法であって、
前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、
前記対象物情報に基づいて前記アクチュエータを制御することと、
を備える、方法。 The action part that acts on the object and
A situational awareness sensor that recognizes the surrounding conditions including the object,
An actuator that controls the posture of the situational awareness sensor and
A method in a control system that comprises
Acquiring object information including the position of the object based on the recognition result by the situational awareness sensor, and
Controlling the actuator based on the object information
A method.
JP2018042506A 2018-03-09 2018-03-09 Control system and method in control system Pending JP2021073099A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018042506A JP2021073099A (en) 2018-03-09 2018-03-09 Control system and method in control system
PCT/JP2019/002728 WO2019171822A1 (en) 2018-03-09 2019-01-28 Control system, and method in control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018042506A JP2021073099A (en) 2018-03-09 2018-03-09 Control system and method in control system

Publications (1)

Publication Number Publication Date
JP2021073099A true JP2021073099A (en) 2021-05-13

Family

ID=67847012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018042506A Pending JP2021073099A (en) 2018-03-09 2018-03-09 Control system and method in control system

Country Status (2)

Country Link
JP (1) JP2021073099A (en)
WO (1) WO2019171822A1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6352990A (en) * 1986-08-22 1988-03-07 三菱電機株式会社 Manipulator visual device
DE102004005574B3 (en) * 2004-02-05 2005-07-14 Daimlerchrysler Ag Robot system with tool, camera and light source for manipulating tool for processing workpiece has light source and camera independently movable in order to illuminate field of view from different directions
JP2010131685A (en) * 2008-12-03 2010-06-17 Seiko Epson Corp Robot system and imaging method
JP2011000703A (en) * 2009-05-19 2011-01-06 Canon Inc Manipulator with camera
JP2011093015A (en) * 2009-10-27 2011-05-12 Ihi Corp Control device of hand-eye bin picking robot
JP6021533B2 (en) * 2012-09-03 2016-11-09 キヤノン株式会社 Information processing system, apparatus, method, and program

Also Published As

Publication number Publication date
WO2019171822A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
KR102650492B1 (en) A robotic system with automated package registration mechanism and methods of operating the same
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US20180085923A1 (en) Robot control device, robot, and robot system
US9844882B2 (en) Conveyor robot system provided with three-dimensional sensor
US9878446B2 (en) Determination of object-related gripping regions using a robot
JP5620445B2 (en) Article takeout device for determining holding position and posture of robot based on selection condition
JP6855492B2 (en) Robot system, robot system control device, and robot system control method
JP2018176334A5 (en)
JP6359756B2 (en) Manipulator, manipulator operation planning method, and manipulator control system
US20170266815A1 (en) Control device, robot, and robot system
JP6000029B2 (en) Handling system, handling method and program
US10675759B2 (en) Interference region setting apparatus for mobile robot
JP2019126866A (en) Motion trajectory generation apparatus
JP2014176923A (en) Robot system and method for manufacturing workpiece
JP2018533006A (en) Sensor device and robot system provided with the sensor device
WO2020022302A1 (en) Grasping device
EP2947533A2 (en) Robot
JPH0493191A (en) Robot controlling device
CN107848117B (en) Robot system and control method
WO2009110842A1 (en) A robot for seizing obj ects
CN113858188A (en) Industrial robot gripping method and apparatus, computer storage medium, and industrial robot
JP2020163502A (en) Object detection method, object detection device, and robot system
JP2008168372A (en) Robot device and shape recognition method
JP2006026875A (en) Gripping control device for robot hand
JP3239277B2 (en) Intelligent robot