JP7421076B2 - robot control device - Google Patents

robot control device Download PDF

Info

Publication number
JP7421076B2
JP7421076B2 JP2019236046A JP2019236046A JP7421076B2 JP 7421076 B2 JP7421076 B2 JP 7421076B2 JP 2019236046 A JP2019236046 A JP 2019236046A JP 2019236046 A JP2019236046 A JP 2019236046A JP 7421076 B2 JP7421076 B2 JP 7421076B2
Authority
JP
Japan
Prior art keywords
area
robot
control
posture
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019236046A
Other languages
Japanese (ja)
Other versions
JP2021104550A (en
Inventor
啓司 奥原
喜浩 宮越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2019236046A priority Critical patent/JP7421076B2/en
Publication of JP2021104550A publication Critical patent/JP2021104550A/en
Application granted granted Critical
Publication of JP7421076B2 publication Critical patent/JP7421076B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、ロボットを制御して動作可能領域を判定する制御装置に関する。 The present invention relates to a control device that controls a robot and determines a movable area.

従来、ロボットの動作空間を単位空間の集合として捉え、ロボットの手先部分を覆うボックス領域を設定し、ロボットが動作することでボックス領域の内部に全体が含まれた単位空間を安全と評価する制御装置がある(特許文献1参照)。 Conventionally, a robot's operating space is regarded as a set of unit spaces, a box area is set to cover the robot's hand, and as the robot moves, the unit space that is entirely contained within the box area is evaluated as safe. There is a device (see Patent Document 1).

特開2012-56026号公報Japanese Patent Application Publication No. 2012-56026

ところで、特許文献1に記載の制御装置では、動作空間内の各部分が安全(動作可能領域)か否か評価するために、動作空間内の隅々までロボットを動作させる必要がある。このため、ロボットの動作可能領域を判定するまでに長時間を要するおそれがある。 By the way, in the control device described in Patent Document 1, in order to evaluate whether each part in the operating space is safe (operable area), it is necessary to move the robot to every corner of the operating space. Therefore, it may take a long time to determine the operable area of the robot.

本発明は、こうした課題を解決するためになされたものであり、その主たる目的は、ロボットの動作可能領域を効率的に判定することのできるロボットの制御装置を提供することにある。 The present invention has been made to solve these problems, and its main purpose is to provide a robot control device that can efficiently determine the operable area of the robot.

上記課題を解決するための第1の手段は、
姿勢を変更可能なロボットと、前記ロボットに取り付けられ、前記姿勢の変更に応じて物体の検出範囲が変更される物体検出装置とを制御する制御装置であって、
前記ロボットの姿勢を複数の所定姿勢に変更し、それぞれの前記所定姿勢において前記物体検出装置により物体を検出させる第1制御を行う第1制御部と、
前記ロボットの姿勢を前記複数の所定姿勢に変更した際に、前記ロボットが通過した領域である第1領域を取得する第1取得部と、
前記第1制御部により前記第1制御を行った際に、前記物体検出装置から前記検出された前記物体までの領域である第2領域を取得する第2取得部と、
前記第1取得部により取得された前記第1領域と前記第2取得部により取得された前記第2領域とを加えた第3領域を、前記ロボットが動作可能な動作可能領域であると判定する判定部と、
を備える。
The first means to solve the above problem is
A control device that controls a robot whose posture can be changed, and an object detection device that is attached to the robot and whose detection range of an object is changed according to the change of the posture, the control device comprising:
a first control unit that performs first control to change the posture of the robot to a plurality of predetermined postures and cause the object detection device to detect an object in each of the predetermined postures;
a first acquisition unit that acquires a first area that is an area through which the robot passes when changing the posture of the robot to the plurality of predetermined postures;
a second acquisition unit that acquires a second area that is an area from the object detection device to the detected object when the first control is performed by the first control unit;
A third area obtained by adding the first area acquired by the first acquisition unit and the second area acquired by the second acquisition unit is determined to be an operable area in which the robot can operate. A determination section;
Equipped with.

上記構成によれば、制御装置は、姿勢を変更可能なロボットと物体検出装置とを制御する。物体検出装置は、ロボットに取り付けられ、ロボットの姿勢の変更に応じて物体の検出範囲が変更される。このため、ロボットの姿勢を変更して、物体検出装置により物体を検出させることで、ロボットの周囲の任意の方向の物体を検出することができる。さらに、物体検出装置が柱等に固定されて物体の検出範囲を変更できない構成と比較して、物体検出装置がロボットに取り付けられているため、ロボットの設置位置が変更された場合も物体検出装置により物体を検出することができる。 According to the above configuration, the control device controls the robot whose posture can be changed and the object detection device. The object detection device is attached to a robot, and the detection range of the object is changed according to a change in the posture of the robot. Therefore, by changing the posture of the robot and having the object detection device detect the object, it is possible to detect objects in any direction around the robot. Furthermore, compared to a configuration in which the object detection device is fixed to a pillar or the like and the object detection range cannot be changed, since the object detection device is attached to the robot, even if the installation position of the robot is changed, the object detection device cannot be changed. Objects can be detected by

ここで、第1制御部は、ロボットの姿勢を複数の所定姿勢に変更し、それぞれの所定姿勢において物体検出装置により物体を検出させる。このため、ロボットのそれぞれの所定姿勢に応じた検出範囲について、物体を検出することができる。第1取得部は、ロボットの姿勢を複数の所定姿勢に変更した際に、ロボットが通過した領域である第1領域を取得する。ロボットが通過した第1領域は、ロボットが動作可能な動作可能領域である。第2取得部は、第1制御部により第1制御を行った際に、物体検出装置から検出された物体までの領域である第2領域を取得する。物体検出装置から検出された物体までの領域は、物体が存在しなかった領域であり、ロボットが動作可能な動作可能領域である。 Here, the first control unit changes the posture of the robot to a plurality of predetermined postures, and causes the object detection device to detect an object in each of the predetermined postures. Therefore, objects can be detected in a detection range corresponding to each predetermined posture of the robot. The first acquisition unit acquires a first area that is an area through which the robot passes when the posture of the robot is changed to a plurality of predetermined postures. The first area through which the robot has passed is an operable area in which the robot can operate. The second acquisition unit acquires a second area that is an area from the object detection device to the detected object when the first control unit performs the first control. The area from the object detection device to the detected object is an area where no object exists, and is an operable area in which the robot can operate.

そして、判定部は、第1取得部により取得された第1領域と第2取得部により取得された第2領域とを加えた第3領域を、ロボットが動作可能な動作可能領域であると判定する。このため、ロボットが通過した第1領域だけでなく、物体検出装置から検出された物体まで物体が存在しなかった第2領域も、動作可能領域であると判定することができる。したがって、ロボットの制御装置は、ロボットの動作可能領域を効率的に判定することができる。 Then, the determination unit determines that a third area obtained by adding the first area acquired by the first acquisition unit and the second area acquired by the second acquisition unit is an operable area in which the robot can operate. do. Therefore, it is possible to determine that not only the first area through which the robot has passed, but also the second area in which no object is present until the object detected by the object detection device is an operable area. Therefore, the robot control device can efficiently determine the robot's operable area.

第2の手段では、前記第3領域に前記ロボットが収まり、且つ前記動作可能領域であるか否か判定されていない領域である未判定領域を前記検出範囲が含むように前記ロボットの姿勢を変更し、前記物体検出装置により物体を検出させる第2制御を行う第2制御部を備え、前記第1取得部は、前記第2制御部により前記第2制御を行った際に、前記第1領域を取得し、前記第2取得部は、前記第2制御部により前記第2制御を行った際に、前記第2領域を取得する。 In the second means, the posture of the robot is changed so that the robot fits in the third area and the detection range includes an undetermined area that is an area where it has not been determined whether or not it is the operable area. and a second control unit that performs a second control to cause the object detection device to detect an object, and the first acquisition unit is configured to detect the first area when the second control unit performs the second control. and the second acquisition unit acquires the second area when the second control unit performs the second control.

上記構成によれば、第2制御部は、第3領域にロボットが収まり、且つ動作可能領域であるか否か判定されていない領域である未判定領域を物体検出装置の検出範囲が含むようにロボットの姿勢を変更し、物体検出装置により物体を検出させる。このため、動作可能領域の中からロボットが出ない安全な状態で、未判定領域について物体を検出することができる。第1取得部は、第2制御部により第2制御を行った際に、動作可能領域である上記第1領域を取得する。第2取得部は、第2制御部により第2制御を行った際に、動作可能領域である上記第2領域を取得する。そして、判定部は、第1領域と第2領域とを加えた第3領域を、ロボットが動作可能な動作可能領域であると判定する。このため、動作可能領域であると判定された領域内でロボットを安全に動作させつつ、動作可能領域を拡張することができる。 According to the above configuration, the second control unit causes the detection range of the object detection device to include an undetermined region in which the robot fits in the third region and in which it has not been determined whether or not it is an operable region. Change the robot's posture and have the object detection device detect the object. Therefore, objects can be detected in the undetermined area in a safe state in which the robot does not come out of the operable area. The first acquisition unit acquires the first area that is the operable area when the second control unit performs the second control. The second acquisition unit acquires the second area that is the operable area when the second control unit performs the second control. Then, the determination unit determines that the third area, which is the sum of the first area and the second area, is an operable area in which the robot can operate. Therefore, it is possible to expand the operable area while safely operating the robot within the area determined to be the operable area.

第2制御部が第2制御を繰り返し行うことで、動作可能領域が拡張し、未判定領域が縮小する。しかし、いずれは、動作可能領域の中からロボットが出ない状態では、未判定領域を検出範囲が含むようにロボットの姿勢を変更することができなくなる。 As the second control unit repeatedly performs the second control, the operable area is expanded and the undetermined area is reduced. However, if the robot does not come out of the operable area, it will eventually become impossible to change the robot's posture so that the detection range includes the undetermined area.

この点、第3の手段では、前記第2制御部は、前記第2制御を繰り返し行い、前記第3領域に前記ロボットが収まり、且つ前記未判定領域を前記検出範囲が含むように前記ロボットの姿勢を変更することができなくなった場合に、前記第2制御を終了する。こうした構成によれば、第2制御部が第2制御を繰り返し行うことで、動作可能領域を拡張し、未判定領域を縮小させることができる。そして、動作可能領域を拡張することができなくなった場合に、第2制御を終了することができる。 In this regard, in the third means, the second control unit repeatedly performs the second control and controls the robot so that the robot fits in the third area and the detection range includes the undetermined area. When the posture cannot be changed, the second control is ended. According to such a configuration, the second control section repeatedly performs the second control, thereby expanding the operable area and reducing the undetermined area. Then, when it becomes impossible to expand the operable area, the second control can be ended.

第2制御を終了しても、ロボットが到達可能な空間に対する未判定領域の比率が第1比率よりも大きいことがある。この場合は、第1制御を行った際に動作可能領域であると判定した領域の大きさが不十分であったため、第3領域にロボットが収まり且つ未判定領域を検出範囲が含むようにロボットの姿勢を変更することが困難となったおそれがある。 Even after the second control is completed, the ratio of the undetermined area to the space reachable by the robot may be larger than the first ratio. In this case, the size of the area determined to be the operable area when performing the first control was insufficient, so the robot was moved so that it would fit in the third area and the detection range would include the undetermined area. It may have become difficult to change the posture of the patient.

この点、第4の手段では、前記判定部は、前記第2制御部が前記第2制御を終了した時に、前記ロボットが到達可能な空間に対する前記未判定領域の比率が第1比率よりも大きい場合に、前記複数の所定姿勢を前回の複数の所定姿勢から変更して、第1制御部により前記第1制御を行わせる。こうした構成によれば、第1制御部により第1制御を再度行わせることにより、第3領域を拡張することができる。したがって、第2制御において、第3領域にロボットが収まり且つ未判定領域を検出範囲が含むように、ロボットの姿勢を変更し易くなる。 In this regard, in the fourth means, the determination unit determines that when the second control unit finishes the second control, the ratio of the undetermined area to the space reachable by the robot is greater than a first ratio. In this case, the plurality of predetermined postures are changed from the plurality of previous predetermined postures, and the first control section is caused to perform the first control. According to such a configuration, the third area can be expanded by causing the first control unit to perform the first control again. Therefore, in the second control, it becomes easy to change the posture of the robot so that the robot fits in the third area and the detection range includes the undetermined area.

第5の手段は、
姿勢を変更可能なロボットと、前記ロボットに取り付けられ、前記姿勢の変更に応じて物体の検出範囲が変更される物体検出装置とを制御する制御装置であって、
前記ロボットの姿勢を複数の所定姿勢に変更し、それぞれの前記所定姿勢において前記物体検出装置により物体を検出させる第1制御を行う第1制御部と、
前記第1制御部により前記第1制御を行った際に、前記物体検出装置から前記検出された前記物体までの領域を取得する取得部と、
前記取得部により取得された前記領域を、前記ロボットが動作可能な動作可能領域であると判定する判定部と、
を備える。
The fifth means is
A control device that controls a robot whose posture can be changed, and an object detection device that is attached to the robot and whose detection range of an object is changed according to the change of the posture, the control device comprising:
a first control unit that performs first control to change the posture of the robot to a plurality of predetermined postures and cause the object detection device to detect an object in each of the predetermined postures;
an acquisition unit that acquires an area from the object detection device to the detected object when the first control is performed by the first control unit;
a determination unit that determines the area acquired by the acquisition unit to be an operable area in which the robot can operate;
Equipped with.

上記構成によれば、ロボットが通過した領域である第1領域を第1取得部が取得し、動作可能領域に第1領域を加える点を除いて、第1の手段と同様の作用効果を奏することができる。こうした構成によっても、第1制御部により第1制御を行った際に、物体検出装置から検出された物体までの領域を、動作可能領域であると判定することができる。したがって、ロボットが通過した領域だけを動作可能領域であると判定する構成と比較して、ロボットの制御装置は、ロボットの動作可能領域を効率的に判定することができる。 According to the above configuration, the same effects as the first means are achieved, except that the first acquisition unit acquires the first area, which is the area through which the robot has passed, and adds the first area to the operable area. be able to. With this configuration as well, when the first control unit performs the first control, the area from the object detection device to the detected object can be determined to be the operable area. Therefore, compared to a configuration in which only the area through which the robot passes is determined to be the operable area, the robot control device can efficiently determine the robot's operable area.

ロボットが到達可能な空間に対して、動作可能領域であるか否か判定されていない領域である未判定領域が小さくなれば、動作可能領域を拡張する余地が小さくなる。 If the undetermined region, which is an area that has not been determined to be a movable region, becomes smaller with respect to the space that the robot can reach, the room for expanding the movable region becomes smaller.

この点、第6の手段では、前記判定部は、前記ロボットが到達可能な空間に対する、前記動作可能領域であるか否か判定されていない領域である未判定領域の比率が、第2比率よりも小さい場合に前記動作可能領域の判定を終了する。こうした構成によれば、動作可能領域を拡張する余地が小さくなった場合に動作可能領域の判定を終了することができ、動作可能領域の判定終了までの時間が長くなることを抑制することができる。 In this regard, in the sixth means, the determining unit determines that the ratio of the undetermined area, which is the area where it has not been determined whether or not it is the movable area, to the space reachable by the robot is lower than the second ratio. is also small, the determination of the operable area is terminated. According to such a configuration, it is possible to end the determination of the operable area when there is less room to expand the operable area, and it is possible to suppress an increase in the time required to complete the determination of the operable area. .

物体検出装置により物体が検出された場合、その物体が障害となってロボットはその物体よりも奧側の領域へ移動できないことが多い。 When an object is detected by an object detection device, the object often becomes an obstacle that prevents the robot from moving to an area beyond the object.

この点、第7の手段では、前記第1制御部により前記第1制御を行った際に、前記物体検出装置から前記検出された前記物体よりも奧側に存在した領域である第4領域を取得する第3取得部を備え、前記判定部は、前記第3取得部により取得された前記第4領域を、前記ロボットが動作不能な動作不能領域であると判定する。こうした構成によれば、物体検出装置から、検出された物体よりも奧側に存在する領域を、動作不能領域であると容易に判定することができ、未判定領域を効率的に縮小することができる。 In this regard, in the seventh means, when the first control unit performs the first control, the object detection device detects a fourth region that is a region that is located on the back side of the detected object. The robot is provided with a third acquisition unit that acquires the robot, and the determination unit determines that the fourth area acquired by the third acquisition unit is an inoperable area in which the robot is unable to operate. According to this configuration, the object detection device can easily determine that an area that exists behind the detected object is an inoperable area, and it is possible to efficiently reduce the undetermined area. can.

物体検出装置により物体が検出され、1方向からは物体が奥まで続いているか否か分からない場合に、例えばその物体が板状であってロボットがその物体よりも奧側の領域へ移動できることがある。 When an object is detected by an object detection device and it is not known from one direction whether or not the object continues to the depths, for example, the object may be plate-shaped and the robot can move to an area beyond the object. be.

この点、第8の手段では、前記第3取得部は、前記第1制御部により前記第1制御を行った際に、複数の前記所定姿勢において、前記物体検出装置から前記検出された共通の物体よりも奧側に存在した領域であることを条件として前記第4領域を取得する。こうした構成によれば、複数の所定姿勢に応じた検出範囲で検出された共通の物体よりも奧側に存在した領域であることを条件として第4領域が取得される。すなわち、1つの所定姿勢に応じた検出範囲でのみ検出された物体よりも奧側に存在した領域は、第4領域として取得されない。したがって、ロボットが物体よりも奧側の領域へ移動できる場合に、物体の奧側の領域を動作不能領域であると判定することを抑制することができる。 In this regard, in the eighth means, when the first control unit performs the first control, the third acquisition unit is configured to collect the detected common information from the object detection device in the plurality of predetermined postures. The fourth region is acquired on the condition that the fourth region exists on the back side of the object. According to such a configuration, the fourth region is acquired on the condition that the fourth region exists on the back side of a common object detected in a detection range corresponding to a plurality of predetermined postures. In other words, a region existing further than an object detected only in a detection range corresponding to one predetermined posture is not acquired as the fourth region. Therefore, when the robot can move to a region beyond the object, it is possible to prevent the region behind the object from being determined to be an inoperable region.

第9の手段では、前記複数の所定姿勢は、前記物体検出装置から前記検出範囲の中心線が延びる方向が第1方向である第1姿勢と、前記物体検出装置から前記検出範囲の中心線が延びる方向が前記第1方向と逆方向の第2方向である第2姿勢とを含む。 In the ninth means, the plurality of predetermined postures include a first posture in which the direction in which the center line of the detection range extends from the object detection device is a first direction, and a first posture in which the center line of the detection range extends from the object detection device. and a second posture in which the extending direction is a second direction opposite to the first direction.

上記構成によれば、複数の所定姿勢は、物体検出装置から検出範囲の中心線が延びる方向が第1方向である第1姿勢を含んでいる。このため、第1姿勢では、物体検出装置から検出範囲の中心線が第1方向に延びる状態で、物体を検出することができる。また、複数の所定姿勢は、物体検出装置から検出範囲の中心線が延びる方向が第1方向と逆方向の第2方向である第2姿勢を含んでいる。このため、第2姿勢では、物体検出装置から検出範囲の中心線が第1方向と逆方向の第2方向に延びる状態で、物体を検出することができる。したがって、第1姿勢と第2姿勢とで、ロボットの周囲において互いに逆方向の動作可能領域を判定することができ、ロボットの動作可能領域を効率的に判定することができる。 According to the above configuration, the plurality of predetermined postures include the first posture in which the first direction is the direction in which the center line of the detection range extends from the object detection device. Therefore, in the first attitude, the object can be detected in a state where the center line of the detection range from the object detection device extends in the first direction. Further, the plurality of predetermined postures include a second posture in which the direction in which the center line of the detection range extends from the object detection device is a second direction opposite to the first direction. Therefore, in the second attitude, the object can be detected in a state where the center line of the detection range from the object detection device extends in the second direction, which is opposite to the first direction. Therefore, it is possible to determine movable regions in mutually opposite directions around the robot based on the first posture and the second posture, and it is possible to efficiently determine the movable region of the robot.

第10の手段では、前記複数の所定姿勢は、前記第1姿勢から前記中心線を水平方向及び垂直方向に回転させた姿勢と、前記第2姿勢から前記中心線を水平方向及び垂直方向に回転させた姿勢とを含む。こうした構成によれば、第1姿勢及び第2姿勢における物体の検出範囲を中心として、検出範囲を水平方向及び垂直方向に回転させることができる。したがって、ロボットの周囲において検出範囲の重複を抑制しつつ多くの方向で物体を検出することができ、ロボットの動作可能領域を効率的に判定することができる。 In the tenth means, the plurality of predetermined postures include a posture in which the center line is rotated in the horizontal and vertical directions from the first posture, and a posture in which the center line is rotated in the horizontal and vertical directions from the second posture. This includes the posture. According to such a configuration, the detection range can be rotated in the horizontal direction and the vertical direction around the detection range of the object in the first attitude and the second attitude. Therefore, objects can be detected in many directions around the robot while suppressing overlapping detection ranges, and the operable area of the robot can be efficiently determined.

ロボット及びカメラの斜視図Perspective view of robot and camera 動作可能領域設定の手順を示すフローチャートFlowchart showing the procedure for setting the operable area ロボットの第2姿勢を示す斜視図Perspective view showing the second posture of the robot ロボットの複数の所定姿勢の変更例を示す斜視図A perspective view showing an example of changing a plurality of predetermined postures of the robot.

以下、ユーザ(人)と協働して作業を行う協働ロボットに具現化した一実施形態について、図面を参照しつつ説明する。協働ロボットでは、作業空間が流動的に変化し、周囲の障害物に関するCAD情報が存在しないことから、周囲の動作可能な領域を取得する必要がある。 An embodiment of a collaborative robot that performs work in cooperation with a user (person) will be described below with reference to the drawings. In collaborative robots, the work space changes fluidly and there is no CAD information regarding surrounding obstacles, so it is necessary to obtain the surrounding movable area.

図1に示すように、ロボット10は、例えば6軸の垂直多関節型ロボットであり、基台(ベース)11とアーム10Aとを備えている。アーム10Aの隣り合うリンクは、順に関節を介して相対回転可能に連結されている。各関節は、各関節に対応する各モータにより駆動される。 As shown in FIG. 1, the robot 10 is, for example, a six-axis vertically articulated robot, and includes a base 11 and an arm 10A. Adjacent links of the arm 10A are connected in order through joints so that they can rotate relative to each other. Each joint is driven by each motor corresponding to each joint.

リンク16には、カメラ20が取り付けられている。リンク16は、アーム10Aの先端近くのリンク、詳しくは先端から2番目のリンクである。カメラ20は、ステレオカメラであり、所定の撮影範囲を撮影する。すなわち、カメラ20(物体検出装置)は、所定の検出範囲の物体を検出する。カメラ20の撮影範囲(検出範囲)は、ロボット10の姿勢の変更に応じて変更される。なお、カメラ20が広角レンズを採用すれば撮影範囲が広くなるが、物体の検出精度が低下する。このため、カメラ20は広角レンズを採用しておらず、カメラ20の撮影範囲は限られている。 A camera 20 is attached to the link 16. The link 16 is a link near the tip of the arm 10A, specifically the second link from the tip. The camera 20 is a stereo camera and photographs a predetermined photographing range. That is, the camera 20 (object detection device) detects objects within a predetermined detection range. The photographing range (detection range) of the camera 20 is changed according to the change in the posture of the robot 10. Note that if the camera 20 adopts a wide-angle lens, the photographing range will be widened, but the object detection accuracy will be reduced. For this reason, the camera 20 does not employ a wide-angle lens, and the photographing range of the camera 20 is limited.

基台11の内部には、ロボット10及びカメラ20を制御する制御装置30が設けられている。制御装置30(ロボットの制御装置)は、CPU、ROM、RAM、駆動回路、及び入出力インターフェース等を備えるコンピュータとして構成されている。ロボット10の各関節には、各関節の回転角度を検出するエンコーダがそれぞれ設けられている。すなわち、エンコーダは、アーム10Aの制御点の位置及び姿勢(以下、「アーム10Aの位置及び姿勢」という)を検出する。制御点は、アーム10Aの先端の中央に設定されている。 A control device 30 that controls the robot 10 and the camera 20 is provided inside the base 11 . The control device 30 (robot control device) is configured as a computer including a CPU, ROM, RAM, a drive circuit, an input/output interface, and the like. Each joint of the robot 10 is provided with an encoder that detects the rotation angle of each joint. That is, the encoder detects the position and orientation of the control point of arm 10A (hereinafter referred to as "position and orientation of arm 10A"). The control point is set at the center of the tip of arm 10A.

制御装置30は、キャリブレーションにより、アーム10Aとカメラ20との位置関係、例えば制御点の位置及び姿勢とカメラ20の軸方向との関係等を予め取得している。 Through calibration, the control device 30 has previously acquired the positional relationship between the arm 10A and the camera 20, such as the relationship between the position and orientation of the control point and the axial direction of the camera 20.

制御装置30は、アーム10Aに作用する外力に従って、アーム10Aの位置及び姿勢を制御する。そして、制御装置30は、アーム10Aに作用する外力がなくなった時のアーム10Aの位置及び姿勢を保持する。すなわち、ロボット10は、ユーザによりアーム10Aの位置及び姿勢を変更して保持可能である。本実施形態では、ユーザは、ダイレクトティーチによりアーム10Aを直接掴んで移動させることができ、そしてアーム10Aの位置及び姿勢を教示することができる。制御装置30は、教示されたアーム10Aの位置及び姿勢を再現するように、アーム10Aの動作を制御する。なお、制御装置30は、第1制御部、第2制御部、第1取得部、第2取得部(取得部)、第3取得部、及び判定部の機能を実現する。 The control device 30 controls the position and attitude of the arm 10A according to external forces acting on the arm 10A. Then, the control device 30 maintains the position and posture of the arm 10A when the external force acting on the arm 10A is removed. That is, the robot 10 can be held while changing the position and posture of the arm 10A by the user. In this embodiment, the user can directly grasp and move the arm 10A by direct teaching, and can teach the position and posture of the arm 10A. The control device 30 controls the operation of the arm 10A so as to reproduce the taught position and posture of the arm 10A. Note that the control device 30 realizes the functions of a first control section, a second control section, a first acquisition section, a second acquisition section (acquisition section), a third acquisition section, and a determination section.

図2は、動作可能領域設定の手順を示すフローチャートである。この一連の処理は、S10の処理を除いて制御装置30により実行される。 FIG. 2 is a flowchart showing the procedure for setting an operable area. This series of processing is executed by the control device 30 except for the processing in S10.

まず、ユーザはカメラ20により撮影を行わせるアーム10Aの複数の所定姿勢を教示し、制御装置30はアーム10Aの姿勢を複数の所定姿勢に変更した際に、アーム10Aが通過した通過領域Rm(第1領域)を取得する(S10)。複数の所定姿勢は、図1に示すように、カメラ20から撮影範囲の中心線Cが延びる方向が水平の所定方向D1(第1方向)である第1姿勢を含む。また、複数の所定姿勢は、図3に示すように、カメラ20から撮影範囲の中心線Cが延びる方向が所定方向D1と逆方向の水平の所定方向D2(第2方向)である第2姿勢を含む。さらに、複数の所定姿勢は、第1姿勢から中心線Cを水平方向及び垂直方向に回転させた姿勢と、第2姿勢から中心線Cを水平方向及び垂直方向に回転させた姿勢とを含む。詳しくは、第1姿勢から、中心線Cを水平方向に±90°の範囲、垂直方向に±90°の範囲で回転させる。同様に、第2姿勢から、中心線Cを水平方向に±90°の範囲、垂直方向に±90°の範囲で回転させる。そして、アーム10Aの姿勢を複数の所定姿勢に変更した際に、アーム10Aの寸法、姿勢、及び動作軌道に基づいて、アーム10Aが通過した通過領域Rmを取得する。 First, the user instructs a plurality of predetermined postures of the arm 10A to be photographed using the camera 20, and the control device 30 changes the posture of the arm 10A to the plurality of predetermined postures, and the control device 30 changes the posture of the arm 10A to a plurality of predetermined postures. (first area) (S10). As shown in FIG. 1, the plurality of predetermined postures include a first posture in which the direction in which the center line C of the imaging range extends from the camera 20 is a horizontal predetermined direction D1 (first direction). Further, as shown in FIG. 3, the plurality of predetermined postures include a second posture in which the direction in which the center line C of the imaging range extends from the camera 20 is a horizontal predetermined direction D2 (second direction) opposite to the predetermined direction D1; including. Further, the plurality of predetermined postures include a posture in which the center line C is rotated in the horizontal and vertical directions from the first posture, and a posture in which the center line C is rotated in the horizontal and vertical directions from the second posture. Specifically, from the first attitude, the center line C is rotated within a range of ±90° in the horizontal direction and within a range of ±90° in the vertical direction. Similarly, from the second attitude, the center line C is rotated within a range of ±90° in the horizontal direction and within a range of ±90° in the vertical direction. Then, when the posture of the arm 10A is changed to a plurality of predetermined postures, a passage region Rm through which the arm 10A passes is acquired based on the dimensions, posture, and motion trajectory of the arm 10A.

続いて、カメラ20により撮影を行わせるアーム10Aの姿勢を設定する(S11)。具体的には、上記複数の所定姿勢及び複数の所定姿勢の間の姿勢が順に実現されるように、アーム10Aの水平に回転する所定関節及び垂直に回転する所定関節を回転させて、アーム10Aの今回の姿勢を設定する。このとき、カメラ20により毎回撮影する際に撮影範囲に隙間ができないように、アーム10Aの姿勢を毎回所定量ずつ変えて設定する。 Subsequently, the attitude of the arm 10A that is to be photographed by the camera 20 is set (S11). Specifically, the horizontally rotating predetermined joint and the vertically rotating predetermined joint of the arm 10A are rotated so that the plurality of predetermined postures and the postures between the plurality of predetermined postures are sequentially realized. Set the current posture of . At this time, the posture of the arm 10A is set to change by a predetermined amount each time so that there is no gap in the photographing range each time the camera 20 photographs.

続いて、カメラ20により撮影を行わせる(S12)。すなわち、今回のアーム10Aの姿勢に応じた撮影範囲の物体を、カメラ20により撮影させる。 Subsequently, the camera 20 is caused to take a picture (S12). That is, the camera 20 is caused to photograph an object within the photographing range according to the current posture of the arm 10A.

続いて、撮影範囲において物体が存在しなかった領域である非存在領域Re(第2領域)を取得する(S13)。詳しくは、カメラ20による撮影画像に基づいて、撮影範囲においてカメラ20から撮影された物体までの領域、すなわち物体が存在しなかった領域である非存在領域Reを取得する。すなわち、撮影範囲においてカメラ20から物体までの領域には物体が存在していないため、その領域を非存在領域Reとして取得する。 Next, a non-existence area Re (second area), which is an area where no object exists in the photographing range, is acquired (S13). Specifically, based on the image taken by the camera 20, a non-existence region Re, which is a region from the camera 20 to the photographed object in the photographing range, that is, a region where no object exists, is acquired. That is, since no object exists in the area from the camera 20 to the object in the photographing range, that area is acquired as the non-existing area Re.

続いて、今回取得した非存在領域Reを、前回までに取得した非存在領域Reの全体に追加する(S14)。 Subsequently, the non-existence area Re acquired this time is added to the entire non-existence area Re acquired up to the previous time (S14).

続いて、教示した複数の所定姿勢及び複数の所定姿勢の間の全姿勢において、姿勢設定(S11)及びカメラ20による撮影(S12)が終了したか否か判定する(S15)。この判定において、全姿勢において姿勢設定及び撮影が終了していないと判定した場合(S15:NO)、S11の処理から再度実行する。 Next, it is determined whether posture setting (S11) and photographing by the camera 20 (S12) have been completed for the plurality of taught predetermined postures and all postures among the plurality of predetermined postures (S15). In this determination, if it is determined that posture setting and photographing have not been completed for all postures (S15: NO), the process is executed again from S11.

一方、S15の処理において、全姿勢において姿勢設定及び撮影が終了したと判定した場合(S15:YES)、動作可能領域Rs及び動作不能領域Rxを設定する(S16)。具体的には、初期設定において、アーム10Aが到達可能な空間(以下、「到達可能空間Sa」という)は、全て未判定領域Ruに設定されている。未判定領域Ruは、到達可能空間Sa(動作空間)において、アーム10Aが動作可能な動作可能領域Rsであるか否か判定されていない領域である。撮影範囲において、撮影された物体よりも奧側に存在した領域である奧側領域Rd(第4領域)を取得する。そして、取得した上記通過領域Rmと取得した上記非存在領域Reの全体とを、動作可能領域Rs(第3領域)に設定する、すなわち動作可能領域Rsであると判定する。また、撮影された物体が存在した領域と取得した奧側領域Rdとを、動作不能領域Rxに設定する、すなわち動作不能領域Rxであると判定する。なお、到達可能空間Saにおいて、動作可能領域Rs及び動作不能領域Rxのいずれにも設定されていない領域は、未判定領域Ruのままである。 On the other hand, in the process of S15, if it is determined that posture setting and imaging have been completed for all postures (S15: YES), an operable region Rs and an inoperable region Rx are set (S16). Specifically, in the initial settings, the space reachable by the arm 10A (hereinafter referred to as "reachable space Sa") is all set to the undetermined area Ru. The undetermined region Ru is an area in the reachable space Sa (motion space) in which it has not been determined whether or not the arm 10A is a movable region Rs in which the arm 10A can move. In the photographing range, a deep region Rd (fourth region), which is a region existing on the back side of the photographed object, is acquired. Then, the acquired passing region Rm and the entire acquired non-existence region Re are set as the operable region Rs (third region), that is, it is determined that they are the operable region Rs. Further, the region where the photographed object was present and the acquired back region Rd are set as the inoperable region Rx, that is, determined to be the inoperable region Rx. Note that in the reachable space Sa, an area that is not set as either the operable area Rs or the inoperable area Rx remains the undetermined area Ru.

続いて、動作可能領域設定の終了条件が成立したか否か判定する(S17)。具体的には、到達可能空間Saに対する未判定領域Ruの比率(Ru/Sa)が、所定比率Rr(第1比率、第2比率)よりも小さい場合(Ru/Sa<Rr)に終了条件が成立したと判定し、比率(Ru/Sa)が所定比率Rrよりも大きい場合(Ru/Sa>Rr)に終了条件が成立していないと判定する。所定比率Rrは、到達可能空間Saに対して未判定領域Ruが十分に小さくなったことを判定する比率であり、例えば「0.1」に設定されている。この判定において、動作可能領域設定の終了条件が成立したと判定した場合(S17:YES)、この一連の処理を終了する(END)、すなわち動作可能領域Rsの設定(判定)を終了する。 Subsequently, it is determined whether the end condition for setting the operable area is satisfied (S17). Specifically, when the ratio (Ru/Sa) of the undetermined area Ru to the reachable space Sa is smaller than a predetermined ratio Rr (first ratio, second ratio) (Ru/Sa<Rr), the termination condition is set. If the ratio (Ru/Sa) is larger than the predetermined ratio Rr (Ru/Sa>Rr), it is determined that the termination condition is not satisfied. The predetermined ratio Rr is a ratio for determining that the undetermined area Ru has become sufficiently small with respect to the reachable space Sa, and is set to "0.1", for example. In this determination, if it is determined that the end condition for setting the operable region is satisfied (S17: YES), this series of processing is ended (END), that is, the setting (determination) of the operable region Rs is ended.

一方、S17の判定において、動作可能領域設定の終了条件が成立していないと判定した場合(S17:NO)、動作可能領域Rsの拡張に用いる複数の所定姿勢を教示する(S18)。具体的には、制御装置30は、動作可能領域Rsにアーム10Aが収まり、且つ未判定領域Ruをカメラ20の撮影範囲が含むようにアーム10Aの複数の所定姿勢を教示する。詳しくは、制御装置30は、既に設定した動作可能領域Rs内でアーム10Aの姿勢を変更してカメラ20により未判定領域Ruの一部を撮影できるように、複数の所定姿勢を教示する。そして、アーム10Aの姿勢を複数の所定姿勢に変更する際に、アーム10Aの寸法、姿勢、及び動作軌道に基づいて、アーム10Aが通過する通過領域Rmを取得する。 On the other hand, in the determination in S17, if it is determined that the end condition for setting the movable region is not satisfied (S17: NO), a plurality of predetermined postures to be used for expanding the movable region Rs are taught (S18). Specifically, the control device 30 teaches a plurality of predetermined postures of the arm 10A so that the arm 10A fits within the operable region Rs and the photographing range of the camera 20 includes the undetermined region Ru. Specifically, the control device 30 teaches a plurality of predetermined postures so that the posture of the arm 10A can be changed within the already set operable region Rs so that the camera 20 can photograph a part of the undetermined region Ru. Then, when changing the posture of the arm 10A to a plurality of predetermined postures, a passage region Rm through which the arm 10A passes is acquired based on the dimensions, posture, and motion trajectory of the arm 10A.

続いて、非存在領域追加ルーチンを実行する(S19)。非存在領域追加ルーチンは、S11~S15の処理と同一の処理である。 Next, a non-existing area addition routine is executed (S19). The non-existing area addition routine is the same process as that of S11 to S15.

続いて、動作可能領域Rsを拡張することが可能であるか否か判定する(S20)。具体的には、動作可能領域Rsにアーム10Aが収まり、且つ未判定領域Ruをカメラ20の撮影範囲が含むようにアーム10Aの複数の所定姿勢を教示することができなくなったか否か判定する。この判定において、動作可能領域Rsを拡張することが可能であると判定した場合(S20:YES)、S18の処理から再度実行する。 Subsequently, it is determined whether the operable region Rs can be expanded (S20). Specifically, it is determined whether it is no longer possible to teach a plurality of predetermined postures of the arm 10A so that the arm 10A falls within the operable region Rs and the photographing range of the camera 20 includes the undetermined region Ru. In this determination, if it is determined that it is possible to expand the operable region Rs (S20: YES), the process is executed again from S18.

一方、S20の処理において、動作可能領域Rsを拡張することが可能でないと判定した場合(S20:NO)、動作可能領域Rs及び動作不能領域Rxを設定する(S21)。S21の処理は、S16の処理と同一である。 On the other hand, in the process of S20, if it is determined that it is not possible to expand the operable area Rs (S20: NO), an operable area Rs and an inoperable area Rx are set (S21). The process in S21 is the same as the process in S16.

続いて、動作可能領域設定の終了条件が成立したか否か判定する(S22)。S22の処理は、S17の処理と同一である。この判定において、動作可能領域設定の終了条件が成立していないと判定した場合(S22:NO)、S10の処理から再度実行する。 Subsequently, it is determined whether the end condition for setting the operable region is satisfied (S22). The process in S22 is the same as the process in S17. In this determination, if it is determined that the end condition for setting the operable region is not satisfied (S22: NO), the process is executed again from S10.

一方、動作可能領域設定の終了条件が成立したと判定した場合(S22:YES)、この一連の処理を終了する(END)、すなわち動作可能領域Rsの設定(判定)を終了する。 On the other hand, if it is determined that the end condition for setting the operable region is satisfied (S22: YES), this series of processing is ended (END), that is, the setting (determination) of the operable region Rs is ended.

なお、S10,S18の処理が第1取得部としての処理に相当し、S11、S12、及びS15の処理が第1制御部としての処理に相当し、S13,S14の処理が第2取得部としての処理に相当し、S16,S21の処理が判定部及び第3取得部としての処理に相当し、S17,S22の処理が判定部としての処理に相当し、S18~S20の処理が第2制御部としての処理に相当する。 Note that the processing in S10 and S18 corresponds to the processing as the first acquisition section, the processing in S11, S12, and S15 corresponds to the processing in the first control section, and the processing in S13 and S14 corresponds to the processing as the second acquisition section. The processing in S16 and S21 corresponds to the processing as the determination unit and the third acquisition unit, the processing in S17 and S22 corresponds to the processing in the determination unit, and the processing in S18 to S20 corresponds to the processing in the second control. This corresponds to processing as a part.

上記S16の処理では、カメラ20により撮影された物体が存在する場合、その物体が障害となってアーム10Aはその物体よりも奧側の領域へ移動できないことが多い。そこで、撮影範囲において、撮影された物体よりも奧側に存在した奧側領域Rdを、動作不能領域Rxに設定している。 In the process of S16, if there is an object photographed by the camera 20, the object often becomes an obstacle and the arm 10A cannot move to a region beyond the object. Therefore, in the photographing range, a back region Rd that exists on the back side of the photographed object is set as the inoperable region Rx.

上記S17の処理では、到達可能空間Saに対して未判定領域Ruが小さくなれば、動作可能領域Rsを拡張する余地が小さくなる。そこで、到達可能空間Saに対する未判定領域Ruの比率(Ru/Sa)が、所定比率Rrよりも小さい場合(Ru/Sa<Rr)に終了条件が成立したと判定し、比率(Ru/Sa)が所定比率Rrよりも大きい場合(Ru/Sa>Rr)に終了条件が成立していないと判定している。 In the process of S17, if the undetermined area Ru becomes smaller with respect to the reachable space Sa, the room for expanding the operable area Rs becomes smaller. Therefore, when the ratio (Ru/Sa) of the undetermined area Ru to the reachable space Sa is smaller than a predetermined ratio Rr (Ru/Sa<Rr), it is determined that the termination condition is satisfied, and the ratio (Ru/Sa) is larger than the predetermined ratio Rr (Ru/Sa>Rr), it is determined that the end condition is not satisfied.

上記S20の処理では、S18,S19の処理を繰り返し行うことで、動作可能領域Rsが拡張し、未判定領域Ruが縮小する。しかし、いずれは、動作可能領域Rsの中からアーム10Aが出ない状態では、未判定領域Ruをカメラ20の撮影範囲が含むようにアーム10Aの姿勢を変更することができなくなる。そこで、S18,S19の処理を繰り返し行い、動作可能領域Rsにアーム10Aが収まり、且つ未判定領域Ruをカメラ20の撮影範囲が含むようにアーム10Aの複数の所定姿勢を教示することができなくなった場合に、S18,S19の処理を終了している。 In the process of S20, the operable area Rs is expanded and the undetermined area Ru is reduced by repeatedly performing the processes of S18 and S19. However, in a state where the arm 10A does not come out of the operable region Rs, it becomes impossible to change the attitude of the arm 10A so that the photographing range of the camera 20 includes the undetermined region Ru. Therefore, by repeating the processes of S18 and S19, it is no longer possible to teach a plurality of predetermined postures of the arm 10A so that the arm 10A fits within the movable region Rs and the photographing range of the camera 20 includes the undetermined region Ru. In this case, the processing in S18 and S19 is completed.

上記S22の処理では、S18,S19の処理を繰り返し行っても、到達可能空間Saに対する未判定領域Ruの比率が所定比率Rrよりも大きいことがある。この場合は、S10~S16の処理を行った際に動作可能領域Rsであると判定した領域の大きさが不十分であったため、動作可能領域Rsにアーム10Aが収まり且つ未判定領域Ruをカメラ20の撮影範囲が含むようにアーム10Aの姿勢を変更することが困難となったおそれがある。そこで、S18~S21の処理を終了した時に、到達可能空間Saに対する未判定領域Ruの比率が所定比率Rrよりも大きい場合に、複数の所定姿勢を前回の複数の所定姿勢から変更して(S10)、S11~S16の処理を再度行わせている。 In the process of S22, even if the processes of S18 and S19 are repeated, the ratio of the undetermined area Ru to the reachable space Sa may be larger than the predetermined ratio Rr. In this case, since the size of the region determined to be the movable region Rs when performing the processing in S10 to S16 was insufficient, the arm 10A fits within the movable region Rs and the undetermined region Ru is It may have become difficult to change the attitude of the arm 10A so that the photographing range of 20 is included. Therefore, when the process of S18 to S21 is finished, if the ratio of the undetermined area Ru to the reachable space Sa is larger than the predetermined ratio Rr, the plurality of predetermined postures are changed from the previous plurality of predetermined postures (S10 ), the processes of S11 to S16 are performed again.

以上詳述した本実施形態は、以下の利点を有する。 The present embodiment described in detail above has the following advantages.

・カメラ20は、ロボット10のアーム10Aに取り付けられ、アーム10Aの姿勢の変更に応じて物体の撮影範囲が変更される。このため、アーム10Aの姿勢を変更して、カメラ20により物体を撮影させることで、ロボット10の周囲の任意の方向の物体を撮影することができる。さらに、カメラ20が柱等に固定されて物体の撮影範囲を変更できない構成と比較して、カメラ20がアーム10Aに取り付けられているため、ロボット10の設置位置が変更された場合もカメラ20により物体を撮影することができる。 - The camera 20 is attached to the arm 10A of the robot 10, and the photographing range of the object is changed according to a change in the attitude of the arm 10A. Therefore, by changing the posture of the arm 10A and photographing the object with the camera 20, it is possible to photograph the object in any direction around the robot 10. Furthermore, compared to a configuration in which the camera 20 is fixed to a pillar or the like and the photographing range of the object cannot be changed, since the camera 20 is attached to the arm 10A, even if the installation position of the robot 10 is changed, the camera 20 is Objects can be photographed.

・制御装置30(第1制御部)は、アーム10Aの姿勢を複数の所定姿勢に変更し、それぞれの所定姿勢においてカメラ20により物体を撮影させる。このため、アーム10Aのそれぞれの所定姿勢に応じた撮影範囲について、物体を撮影することができる。 - The control device 30 (first control unit) changes the posture of the arm 10A to a plurality of predetermined postures, and causes the camera 20 to photograph the object in each of the predetermined postures. Therefore, the object can be photographed in a photographing range corresponding to each predetermined posture of the arm 10A.

・制御装置30(判定部)は、取得された通過領域Rmと取得された非存在領域Reとを加えた領域を、動作可能領域Rsであると判定する。このため、アーム10Aが通過した通過領域Rmだけでなく、カメラ20から撮影された物体まで物体が存在しなかった非存在領域Reも、動作可能領域Rsであると判定することができる。したがって、ロボット10の制御装置30は、アーム10Aの動作可能領域Rsを効率的に判定することができる。 - The control device 30 (determination unit) determines that the area obtained by adding the acquired passing area Rm and the acquired non-existence area Re is the operable area Rs. Therefore, it is possible to determine that not only the passing region Rm through which the arm 10A has passed, but also the non-existence region Re in which no object exists, including the object photographed by the camera 20, is the operable region Rs. Therefore, the control device 30 of the robot 10 can efficiently determine the movable region Rs of the arm 10A.

・制御装置30(第2制御部)は、動作可能領域Rsにアーム10Aが収まり、且つ未判定領域Ruをカメラ20の撮影範囲が含むようにアーム10Aの姿勢を変更し、カメラ20により物体を撮影させる。このため、動作可能領域Rsの中からアーム10Aが出ない安全な状態で、未判定領域Ruについて物体を撮影することができる。そして、制御装置30、通過領域Rmと非存在領域Reとを加えた領域を、動作可能領域Rsであると判定する。このため、動作可能領域Rsであると判定された領域内でアーム10Aを安全に動作させつつ、動作可能領域Rsを拡張することができる。 - The control device 30 (second control unit) changes the attitude of the arm 10A so that the arm 10A fits within the operable region Rs and the photographing range of the camera 20 includes the undetermined region Ru, and captures the object with the camera 20. Let them take pictures. Therefore, the object can be photographed in the undetermined region Ru in a safe state in which the arm 10A does not come out of the operable region Rs. Then, the control device 30 determines that the area including the passing area Rm and the non-existing area Re is the operable area Rs. Therefore, the movable region Rs can be expanded while the arm 10A is safely operated within the region determined to be the movable region Rs.

・制御装置30は、S18,S19の処理(第2制御)を繰り返し行い、動作可能領域Rsにアーム10Aが収まり、且つ未判定領域Ruを撮影範囲が含むようにアーム10Aの姿勢を変更することができなくなった場合に、S18,S19の処理を終了する。こうした構成によれば、制御装置30がS18,S19の処理を繰り返し行うことで、動作可能領域Rsを拡張し、未判定領域Ruを縮小させることができる。そして、動作可能領域Rsを拡張することができなくなった場合に、S18,S19の処理を終了することができる。 - The control device 30 repeats the processing of S18 and S19 (second control) and changes the attitude of the arm 10A so that the arm 10A fits within the operable region Rs and the photographing range includes the undetermined region Ru. If it becomes impossible to do so, the processing in S18 and S19 is ended. According to such a configuration, the control device 30 can expand the operable region Rs and reduce the undetermined region Ru by repeatedly performing the processing of S18 and S19. Then, when it becomes impossible to expand the operable region Rs, the processing in S18 and S19 can be ended.

・制御装置30は、S18,S19の処理を終了した時に、アーム10Aが到達可能な空間に対する未判定領域Ruの比率が所定比率Rr(第1比率)よりも大きい場合に、複数の所定姿勢を前回の複数の所定姿勢から変更して、S11~S16の処理を行わせる。こうした構成によれば、S11~S16の処理を再度行わせることにより、動作可能領域Rsを拡張することができる。したがって、S18,S19の処理において、動作可能領域Rsにアーム10Aが収まり且つ未判定領域Ruを撮影範囲が含むように、アーム10Aの姿勢を変更し易くなる。 - When the control device 30 finishes the processing of S18 and S19, if the ratio of the undetermined area Ru to the space reachable by the arm 10A is larger than the predetermined ratio Rr (first ratio), the control device 30 sets a plurality of predetermined postures. The process of S11 to S16 is performed by changing from the plurality of previous predetermined postures. According to this configuration, the operable region Rs can be expanded by performing the processes of S11 to S16 again. Therefore, in the processes of S18 and S19, it becomes easy to change the attitude of the arm 10A so that the arm 10A fits within the operable region Rs and the photographing range includes the undetermined region Ru.

・制御装置30は、到達可能空間Saに対する未判定領域Ruの比率が、所定比率Rr(第2比率)よりも小さい場合に動作可能領域Rsの判定を終了する。こうした構成によれば、動作可能領域Rsを拡張する余地が小さくなった場合に動作可能領域Rsの判定を終了することができ、動作可能領域Rsの判定終了までの時間が長くなることを抑制することができる。 - The control device 30 ends the determination of the operable region Rs when the ratio of the undetermined region Ru to the reachable space Sa is smaller than the predetermined ratio Rr (second ratio). According to such a configuration, the determination of the operable region Rs can be ended when the room for expanding the operable region Rs becomes small, and the time required to complete the determination of the operable region Rs is suppressed from increasing. be able to.

・制御装置30は、S11,S12の処理を行った際に、カメラ20から撮影された物体よりも奧側に存在した奧側領域Rdを取得し、取得された奧側領域Rdを動作不能領域Rxであると判定する。こうした構成によれば、カメラ20から、撮影された物体よりも奧側に存在する領域を、動作不能領域Rxであると容易に判定することができ、未判定領域Ruを効率的に縮小することができる。 - When the control device 30 performs the processing in S11 and S12, the control device 30 acquires a back region Rd that exists behind the object photographed by the camera 20, and sets the obtained back region Rd as an inoperable region. It is determined that it is Rx. According to this configuration, it is possible to easily determine from the camera 20 that an area existing behind the photographed object is the inoperable area Rx, and to efficiently reduce the undetermined area Ru. Can be done.

・複数の所定姿勢は、カメラ20から撮影範囲の中心線Cが延びる方向が所定方向D1である第1姿勢を含んでいる。このため、第1姿勢では、カメラ20から撮影範囲の中心線Cが所定方向D1に延びる状態で、物体を撮影することができる。また、複数の所定姿勢は、カメラ20から撮影範囲の中心線Cが延びる方向が所定方向D1と逆方向の所定方向D2である第2姿勢を含んでいる。このため、第2姿勢では、カメラ20から撮影範囲の中心線Cが所定方向D1と逆方向の所定方向D2に延びる状態で、物体を撮影することができる。したがって、第1姿勢と第2姿勢とで、ロボット10の周囲において互いに逆方向の動作可能領域Rsを判定することができ、アーム10Aの動作可能領域Rsを効率的に判定することができる。 - The plurality of predetermined postures include a first posture in which the direction in which the center line C of the photographing range extends from the camera 20 is the predetermined direction D1. Therefore, in the first attitude, the object can be photographed with the center line C of the photographing range extending from the camera 20 in the predetermined direction D1. Further, the plurality of predetermined postures include a second posture in which the direction in which the center line C of the imaging range extends from the camera 20 is a predetermined direction D2 opposite to the predetermined direction D1. Therefore, in the second attitude, the object can be photographed with the center line C of the photographing range extending from the camera 20 in a predetermined direction D2 opposite to the predetermined direction D1. Therefore, it is possible to determine the movable region Rs in opposite directions around the robot 10 between the first posture and the second posture, and it is possible to efficiently determine the movable region Rs of the arm 10A.

・複数の所定姿勢は、第1姿勢から中心線Cを水平方向及び垂直方向に回転させた姿勢と、第2姿勢から中心線Cを水平方向及び垂直方向に回転させた姿勢とを含む。こうした構成によれば、第1姿勢及び第2姿勢における物体の撮影範囲を中心として、撮影範囲を水平方向及び垂直方向に回転させることができる。したがって、ロボット10の周囲において撮影範囲の重複を抑制しつつ多くの方向で物体を撮影することができ、アーム10Aの動作可能領域Rsを効率的に判定することができる。 - The plurality of predetermined postures include a posture in which the center line C is rotated in the horizontal and vertical directions from the first posture, and a posture in which the center line C is rotated in the horizontal and vertical directions from the second posture. According to this configuration, the photographing range can be rotated in the horizontal direction and the vertical direction around the photographing range of the object in the first and second postures. Therefore, objects can be photographed in many directions around the robot 10 while suppressing overlapping photographing ranges, and the movable region Rs of the arm 10A can be efficiently determined.

なお、上記実施形態を、以下のように変更して実施することもできる。上記実施形態と同一の部分については、同一の符号を付すことにより説明を省略する。 Note that the above embodiment can be modified and implemented as follows. The same parts as those in the above embodiment are given the same reference numerals and the description thereof will be omitted.

・制御装置30は、到達可能空間Saに対する動作可能領域Rsの比率が、所定比率Rr2よりも大きい場合に動作可能領域Rsの判定を終了してもよい。所定比率Rr2は、到達可能空間Saに対して動作可能領域Rsが十分に大きくなったことを判定する比率であり、例えば「0.8」に設定されている。 - The control device 30 may end the determination of the operable region Rs when the ratio of the operable region Rs to the reachable space Sa is larger than a predetermined ratio Rr2. The predetermined ratio Rr2 is a ratio for determining that the operable region Rs has become sufficiently large with respect to the reachable space Sa, and is set to "0.8", for example.

・図4は、アーム10Aの複数の所定姿勢の変更例を示す斜視図である。図4に示す姿勢からリンク12を水平に回転させた各姿勢を、アーム10Aの複数の所定姿勢として教示することもできる。こうした構成によっても、ロボット10の周囲をカメラ20により効率的に撮影することができ、ひいては動作可能領域Rsを効率的に判定することができる。 - FIG. 4 is a perspective view showing examples of changes in a plurality of predetermined postures of the arm 10A. Each posture obtained by horizontally rotating the link 12 from the posture shown in FIG. 4 can also be taught as a plurality of predetermined postures of the arm 10A. With this configuration as well, the surroundings of the robot 10 can be efficiently photographed by the camera 20, and the operable region Rs can be efficiently determined.

・図2のS10の処理において、ダイレクトティーチに代えて、ユーザがティーチングペンダント(操作器)を操作して、アーム10Aの複数の所定姿勢を教示することもできる。また、S10の処理において、ユーザが複数の所定姿勢を教示するのではなく、制御装置30は予め設定された複数の所定姿勢を用いてもよい。 - In the process of S10 of FIG. 2, instead of direct teaching, the user can operate a teaching pendant (operator) to teach a plurality of predetermined postures of the arm 10A. Furthermore, in the process of S10, instead of the user teaching a plurality of predetermined postures, the control device 30 may use a plurality of predetermined postures set in advance.

・制御装置30は、図2のS10の処理の実行中にアーム10Aが通過した通過領域Rm(第1領域)を取得することに代えて、S11~15の処理の実行中に通過領域Rmを取得してもよい。 - Instead of acquiring the passage area Rm (first area) through which the arm 10A passed during the execution of the process of S10 in FIG. You may obtain it.

・制御装置30は、図2において、S20の処理に代えて、S18,S19の処理が所定回数行われたか否か判定し、S18,S19の処理が所定回数行われた時点でS18,S19の処理を終了することもできる。 - In FIG. 2, instead of the process of S20, the control device 30 determines whether the processes of S18 and S19 have been performed a predetermined number of times, and when the processes of S18 and S19 have been performed a predetermined number of times, the control device 30 performs the processes of S18 and S19. You can also terminate the process.

・制御装置30は、図2において、S22の処理を省略し、S21の処理が終了した時点で動作可能領域Rsの設定を終了することもできる。 - In FIG. 2, the control device 30 can also omit the process of S22 and finish setting the operable region Rs when the process of S21 is finished.

・カメラ20により物体が撮影され、1方向からは物体が奥まで続いているか否か分からない場合に、例えばその物体が板状であってアーム10Aがその物体よりも奧側の領域へ移動できることがある。そこで、制御装置30(第3取得部)は、S11~S15の処理を行った際に、複数の所定姿勢において、カメラ20から撮影された共通の物体よりも奧側に存在した領域であることを条件として奧側領域Rdを取得してもよい。こうした構成によれば、複数の所定姿勢に応じた撮影範囲で撮影された共通の物体よりも奧側に存在した領域であることを条件として奧側領域Rdが取得される。すなわち、1つの所定姿勢に応じた撮影範囲でのみ撮影された物体よりも奧側に存在した領域は、奧側領域Rdとして取得されない。したがって、アーム10Aが物体よりも奧側の領域へ移動できる場合に、物体の奧側の領域を動作不能領域Rxであると判定することを抑制することができる。 - When an object is photographed by the camera 20 and it is not known from one direction whether or not the object continues to the back, for example, the object is plate-shaped and the arm 10A can move to an area beyond the object. There is. Therefore, when the control device 30 (third acquisition unit) performs the processing in S11 to S15, the control device 30 (third acquisition unit) determines that the area exists on the back side of the common object photographed by the camera 20 in a plurality of predetermined postures. The inner region Rd may be acquired under the condition that: According to such a configuration, the deep region Rd is acquired on the condition that it is a region existing on the back side of a common object photographed in a photographing range corresponding to a plurality of predetermined postures. In other words, a region that exists on the back side of an object photographed only in a photographing range corresponding to one predetermined posture is not acquired as the deep side region Rd. Therefore, when the arm 10A can move to a region beyond the object, it is possible to prevent the region behind the object from being determined to be the inoperable region Rx.

・制御装置30は、アーム10Aの通過領域Rmを取得すること、及び動作可能領域Rsに通過領域Rmを加えることを省略することもできる。こうした構成によっても、S11~S16の処理を行った際に、カメラ20から撮影された物体までの領域を、動作可能領域Rsであると判定することができる。したがって、アーム10Aが通過した領域だけを動作可能領域Rsであると判定する構成と比較して、制御装置30は、アーム10Aの動作可能領域Rsを効率的に判定することができる。 - The control device 30 can also omit acquiring the passage area Rm of the arm 10A and adding the passage area Rm to the operable area Rs. With this configuration as well, when performing the processing in S11 to S16, it is possible to determine that the area from the camera 20 to the object photographed is the operable area Rs. Therefore, compared to a configuration in which only the area through which the arm 10A passes is determined to be the operable area Rs, the control device 30 can efficiently determine the operable area Rs of the arm 10A.

・上記実施形態では、ロボット10の制御装置30により、動作可能領域Rsを判定する装置を実現した。これに対して、制御装置30に接続されたティーチングペンダントや、制御装置30に接続されたPC(パーソナルコンピュータ)により、動作可能領域Rsを判定する装置を実現することもできる。 - In the above embodiment, the control device 30 of the robot 10 realizes a device that determines the operable region Rs. On the other hand, a teaching pendant connected to the control device 30 or a PC (personal computer) connected to the control device 30 can also realize a device that determines the operable region Rs.

・物体を検出する物体検出装置は、ステレオカメラに限らず、ターゲットにレーザ光等を照射してターゲットまでの距離を測定するLIDAR(Light Detection and Ranging)や、単眼カメラと画像処理との組み合わせ等を採用することもできる。 ・Object detection devices that detect objects are not limited to stereo cameras, but include LIDAR (Light Detection and Ranging), which measures the distance to a target by irradiating a laser beam, etc., and a combination of a monocular camera and image processing. can also be adopted.

・ロボット10は、垂直多関節型ロボットに限らず、水平多関節型ロボット等であってもよい。 - The robot 10 is not limited to a vertically articulated robot, but may be a horizontally articulated robot or the like.

10…ロボット、10A…アーム、20…カメラ(物体検出装置)、30…制御装置(ロボットの制御装置)。 10...Robot, 10A...Arm, 20...Camera (object detection device), 30...Control device (robot control device).

Claims (9)

姿勢を変更可能なロボットと、前記ロボットに取り付けられ、前記姿勢の変更に応じて物体の検出範囲が変更される物体検出装置とを制御する制御装置であって、
前記ロボットの姿勢を複数の所定姿勢に変更し、それぞれの前記所定姿勢において前記物体検出装置により物体を検出させる第1制御を行う第1制御部と、
前記ロボットの姿勢を前記複数の所定姿勢に変更した際に、前記ロボットが通過した領域である第1領域を取得する第1取得部と、
前記第1制御部により前記第1制御を行った際に、前記物体検出装置から前記検出された前記物体までの領域である第2領域を取得する第2取得部と、
前記第1取得部により取得された前記第1領域と前記第2取得部により取得された前記第2領域とを加えた第3領域を、前記ロボットが動作可能な動作可能領域であると判定する判定部と、
を備えるロボットの制御装置。
A control device that controls a robot whose posture can be changed, and an object detection device that is attached to the robot and whose detection range of an object is changed according to the change of the posture, the control device comprising:
a first control unit that performs first control to change the posture of the robot to a plurality of predetermined postures and cause the object detection device to detect an object in each of the predetermined postures;
a first acquisition unit that acquires a first area that is an area through which the robot passes when changing the posture of the robot to the plurality of predetermined postures;
a second acquisition unit that acquires a second area that is an area from the object detection device to the detected object when the first control is performed by the first control unit;
A third area obtained by adding the first area acquired by the first acquisition unit and the second area acquired by the second acquisition unit is determined to be an operable area in which the robot can operate. A determination section;
A robot control device equipped with.
前記第3領域に前記ロボットが収まり、且つ前記動作可能領域であるか否か判定されていない領域である未判定領域を前記検出範囲が含むように前記ロボットの姿勢を変更し、前記物体検出装置により物体を検出させる第2制御を行う第2制御部を備え、
前記第1取得部は、前記第2制御部により前記第2制御を行った際に、前記第1領域を取得し、
前記第2取得部は、前記第2制御部により前記第2制御を行った際に、前記第2領域を取得する、請求項1に記載のロボットの制御装置。
changing the posture of the robot so that the robot fits in the third area and the detection range includes an undetermined area that is an area where it has not been determined whether or not it is the operable area; a second control unit that performs second control to detect an object,
The first acquisition unit acquires the first area when the second control unit performs the second control,
The robot control device according to claim 1, wherein the second acquisition unit acquires the second area when the second control unit performs the second control.
前記第2制御部は、前記第2制御を繰り返し行い、前記第3領域に前記ロボットが収まり、且つ前記未判定領域を前記検出範囲が含むように前記ロボットの姿勢を変更することができなくなった場合に、前記第2制御を終了する、請求項2に記載のロボットの制御装置。 The second control unit repeatedly performs the second control and becomes unable to change the posture of the robot such that the robot fits in the third area and the detection range includes the undetermined area. The robot control device according to claim 2, wherein the robot control device terminates the second control in the case where the second control is performed. 前記判定部は、前記第2制御部が前記第2制御を終了した時に、前記ロボットが到達可能な空間に対する前記未判定領域の比率が第1比率よりも大きい場合に、前記複数の所定姿勢を前回の複数の所定姿勢から変更して、第1制御部により前記第1制御を行わせる、請求項3に記載のロボットの制御装置。 The determination unit determines the plurality of predetermined postures if, when the second control unit finishes the second control, the ratio of the undetermined area to the space reachable by the robot is larger than a first ratio. The robot control device according to claim 3, wherein the first control unit performs the first control by changing from a plurality of previous predetermined postures. 前記判定部は、前記ロボットが到達可能な空間に対する、前記動作可能領域であるか否か判定されていない領域である未判定領域の比率が、第2比率よりも小さい場合に前記動作可能領域の判定を終了する、請求項1~のいずれか1項に記載のロボットの制御装置。 The determination unit determines whether the robot can move in the movable area if a ratio of an undetermined area, which is an area where it has not been determined whether or not it is the movable area, to a space that the robot can reach is smaller than a second ratio. The robot control device according to any one of claims 1 to 4 , which terminates the determination. 前記第1制御部により前記第1制御を行った際に、前記物体検出装置から前記検出された前記物体よりも奧側に存在した領域である第4領域を取得する第3取得部を備え、
前記判定部は、前記第3取得部により取得された前記第4領域を、前記ロボットが動作不能な動作不能領域であると判定する、請求項1~のいずれか1項に記載のロボットの制御装置。
comprising a third acquisition unit that acquires a fourth area that is an area that exists behind the detected object from the object detection device when the first control is performed by the first control unit;
The robot according to any one of claims 1 to 5 , wherein the determination unit determines that the fourth area acquired by the third acquisition unit is an inoperable area in which the robot is unable to operate. Control device.
前記第3取得部は、前記第1制御部により前記第1制御を行った際に、複数の前記所定姿勢において、前記物体検出装置から前記検出された共通の物体よりも奧側に存在した領域であることを条件として前記第4領域を取得する、請求項に記載のロボットの制御装置。 The third acquisition unit is configured to detect an area existing behind the common object detected by the object detection device in the plurality of predetermined postures when the first control unit performs the first control. 7. The robot control device according to claim 6 , wherein the fourth area is acquired on the condition that the fourth area is satisfied. 前記複数の所定姿勢は、前記物体検出装置から前記検出範囲の中心線が延びる方向が第1方向である第1姿勢と、前記物体検出装置から前記検出範囲の中心線が延びる方向が前記第1方向と逆方向の第2方向である第2姿勢とを含む、請求項1~のいずれか1項に記載のロボットの制御装置。 The plurality of predetermined postures include a first posture in which the direction in which the center line of the detection range extends from the object detection device is a first direction, and a first posture in which the direction in which the center line of the detection range extends from the object detection device is the first direction. The robot control device according to any one of claims 1 to 7 , comprising a second posture that is a second direction opposite to the first direction. 前記複数の所定姿勢は、前記第1姿勢から前記中心線を水平方向及び垂直方向に回転させた姿勢と、前記第2姿勢から前記中心線を水平方向及び垂直方向に回転させた姿勢とを含む、請求項に記載のロボットの制御装置。 The plurality of predetermined postures include a posture in which the center line is rotated in the horizontal and vertical directions from the first posture, and a posture in which the center line is rotated in the horizontal and vertical directions from the second posture. 9. The robot control device according to claim 8 .
JP2019236046A 2019-12-26 2019-12-26 robot control device Active JP7421076B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019236046A JP7421076B2 (en) 2019-12-26 2019-12-26 robot control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019236046A JP7421076B2 (en) 2019-12-26 2019-12-26 robot control device

Publications (2)

Publication Number Publication Date
JP2021104550A JP2021104550A (en) 2021-07-26
JP7421076B2 true JP7421076B2 (en) 2024-01-24

Family

ID=76919159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019236046A Active JP7421076B2 (en) 2019-12-26 2019-12-26 robot control device

Country Status (1)

Country Link
JP (1) JP7421076B2 (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012056026A (en) 2010-09-09 2012-03-22 Denso Wave Inc Evaluation and control method of robot, and control device of robot
JP2012120756A (en) 2010-12-09 2012-06-28 Canon Inc Image processing apparatus, photographing system, method for processing image, and program
JP2013094921A (en) 2011-11-02 2013-05-20 Toyota Motor Corp Mobile robot
JP2014213399A (en) 2013-04-24 2014-11-17 国立大学法人横浜国立大学 Robot teaching method and teaching system
JP2015047649A (en) 2013-08-30 2015-03-16 トヨタ自動車株式会社 Robot and control method of the same
JP2015085488A (en) 2013-11-01 2015-05-07 トヨタ自動車株式会社 Robot
JP2015138489A (en) 2014-01-24 2015-07-30 トヨタ自動車株式会社 Robot and control method therefor
US20170368686A1 (en) 2016-06-28 2017-12-28 Qihan Technology Co., Ltd. Method and device for automatic obstacle avoidance of robot
JP2018001348A (en) 2016-07-01 2018-01-11 日本電気株式会社 Information processor, information processing method, and program
WO2018142937A1 (en) 2017-01-31 2018-08-09 オリンパス株式会社 Ultrasound observation apparatus, method for operating ultrasound observation apparatus, and program for operating ultrasound observation apparatus
JP2018167333A (en) 2017-03-29 2018-11-01 セイコーエプソン株式会社 Robot control device, robot, and robot system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012056026A (en) 2010-09-09 2012-03-22 Denso Wave Inc Evaluation and control method of robot, and control device of robot
JP2012120756A (en) 2010-12-09 2012-06-28 Canon Inc Image processing apparatus, photographing system, method for processing image, and program
JP2013094921A (en) 2011-11-02 2013-05-20 Toyota Motor Corp Mobile robot
JP2014213399A (en) 2013-04-24 2014-11-17 国立大学法人横浜国立大学 Robot teaching method and teaching system
JP2015047649A (en) 2013-08-30 2015-03-16 トヨタ自動車株式会社 Robot and control method of the same
JP2015085488A (en) 2013-11-01 2015-05-07 トヨタ自動車株式会社 Robot
JP2015138489A (en) 2014-01-24 2015-07-30 トヨタ自動車株式会社 Robot and control method therefor
US20170368686A1 (en) 2016-06-28 2017-12-28 Qihan Technology Co., Ltd. Method and device for automatic obstacle avoidance of robot
JP2018001348A (en) 2016-07-01 2018-01-11 日本電気株式会社 Information processor, information processing method, and program
WO2018142937A1 (en) 2017-01-31 2018-08-09 オリンパス株式会社 Ultrasound observation apparatus, method for operating ultrasound observation apparatus, and program for operating ultrasound observation apparatus
JP2018167333A (en) 2017-03-29 2018-11-01 セイコーエプソン株式会社 Robot control device, robot, and robot system

Also Published As

Publication number Publication date
JP2021104550A (en) 2021-07-26

Similar Documents

Publication Publication Date Title
JP4844453B2 (en) Robot teaching apparatus and teaching method
JP4167954B2 (en) Robot and robot moving method
JP6504274B2 (en) Three-dimensional shape data and texture information generation system, imaging control program, three-dimensional shape data and texture information generation method, and information recording medium
KR20190027584A (en) Method and apparatus for calibration of a robot hand and a camera
WO2020024178A1 (en) Hand-eye calibration method and system, and computer storage medium
JP7035657B2 (en) Robot control device, robot, robot system, and camera calibration method
JP7111114B2 (en) Information processing device, information processing method, and information processing system
JP6399832B2 (en) Pattern matching method and pattern matching apparatus
JP2010112859A (en) Robot system, robot control device, and method for controlling robot
JP6716015B2 (en) Imaging control device, imaging system, and imaging control method
JP6876130B2 (en) Designated device and designated program
JP2014188617A (en) Robot control system, robot, robot control method, and program
KR20230021719A (en) System and Method for Controlling Radiation Scanner Positioning
JP2010112731A (en) Joining method of coordinate of robot
JP7421076B2 (en) robot control device
JP2006224291A (en) Robot system
JP2010131751A (en) Mobile robot
JP2014144516A (en) Robot control device, robot system, robot, control method and program
US20210291377A1 (en) Calibration Method
JP7224559B2 (en) Remote control manipulator system and remote control support system
JP2005205519A (en) Robot hand device
KR20200030932A (en) Position tracking apparatus and method for position tracking using the same
KR20180041364A (en) Robot system for drawing portrait
CN111699077B (en) Vision-based operation for robots
JP7364882B2 (en) inspection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R150 Certificate of patent or registration of utility model

Ref document number: 7421076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150