JP2019114057A - Control device, robot and robot system - Google Patents

Abstract

To provide a control device, a robot and a robot system capable of appropriately controlling a robot.SOLUTION: A control device controls, on the basis of a picked-up image obtained by an imaging unit that picks up an image of an object, a robot that processes the object. This control device includes: a region setting unit that sets a search region where the object is searched in the picked-up image; and an image processing unit that blurs the picked-up image along the contour of the search region. Moreover, the image processing unit cuts out a part of the picked-up image in such a way that the search region is involved prior to blurring on the picked-up image along the contour of the search region.SELECTED DRAWING: Figure 2

Description

本発明は、制御装置、ロボットおよびロボットシステムに関するものである。   The present invention relates to a control device, a robot and a robot system.

例えば、カメラによって撮像した画像によって対象物を認識して作業を行うロボットにおいて、対象物の特徴点（エッジ）を抽出するために、マスク画像を撮像画像に合成することにより、対象物が含まれていない領域を排除し、対象物の特徴点のみを抽出させることにより認識精度を向上させる技術が知られている（例えば、特許文献１）。   For example, in a robot that recognizes an object by an image captured by a camera and performs work, the object is included by combining a mask image with the captured image in order to extract feature points (edges) of the object. There is known a technique for improving recognition accuracy by excluding an area not extracted and extracting only feature points of an object (for example, Patent Document 1).

特開平９−１３８８５４号公報JP-A-9-138854

しかしながら、特許文献１に記載れているような方法では、マスク画像を形成するために容量の大きいメモリー（例えば、特許文献１の判定済画素記憶バッファ、マスク画像メモリー等）が必要となる。   However, in the method described in Patent Document 1, a memory with a large capacity (for example, a determined pixel storage buffer of Patent Document 1, a mask image memory, etc.) is required to form a mask image.

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。   The present invention has been made to solve at least a part of the above-described problems, and can be realized as the following modes or application examples.

本発明の制御装置は、撮像部が対象物を撮像した撮像画像に基づいて前記対象物を処理するロボットを制御する制御装置であって、
前記撮像画像において前記対象物を探索する探索領域を設定する領域設定部と、
前記探索領域の輪郭に沿って前記撮像画像をぼかす画像処理部と、を備えることを特徴とする。 The control device according to the present invention is a control device that controls a robot that processes the object based on a captured image obtained by capturing an object by an imaging unit.
An area setting unit configured to set a search area for searching for the object in the captured image;
And an image processing unit that blurs the captured image along an outline of the search area.

このような制御装置によれば、対象物のエッジ（輪郭）以外のエッジが対象物のエッジとして検出されてしまうことを抑制でき、撮像画像のみから、すなわち、撮像画像の他に従来のようなマスク画像を用いなくても、精度よく、対象物を検出することができる。そのため、従来のようなマスク画像を形成するためメモリーが不要となり、前述した従来構成と比較してメモリーの容量を小さく抑えることができる。そのため、的確に、ロボットを制御することができる。   According to such a control device, it is possible to suppress that an edge other than the edge (contour) of the object is detected as an edge of the object, and it is possible from the captured image only, that is, the conventional image Even without using a mask image, an object can be detected with high accuracy. Therefore, since a conventional mask image is formed, a memory is not required, and the memory capacity can be reduced as compared with the above-described conventional configuration. Therefore, it is possible to control the robot accurately.

本発明の制御装置では、前記画像処理部は、前記探索領域の輪郭に沿って前記撮像画像をぼかす前に、前記探索領域を含むように前記撮像画像の一部を切り出すことが好ましい。
これにより、撮像画面に含まれる画素数が減り、処理の負担を低減することができる。 In the control device of the present invention, it is preferable that the image processing unit cuts out a part of the captured image so as to include the search region before blurring the captured image along the contour of the search region.
As a result, the number of pixels included in the imaging screen can be reduced, and the processing load can be reduced.

本発明の制御装置では、前記画像処理部は、輝度値を前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかすことが好ましい。   In the control device according to the present invention, it is preferable that the image processing unit blurs the captured image by gradually changing a luminance value in a direction away from the contour.

これにより、比較的簡単な処理で、撮像画像をぼかすことができる。このような処理は、特に、撮像画像が白黒画像の場合に有効である。   This makes it possible to blur the captured image with relatively simple processing. Such processing is particularly effective when the captured image is a black and white image.

本発明の制御装置では、前記画像処理部は、前記輪郭から離間するほど前記輝度値を小さくすることが好ましい。
これにより、比較的簡単に探索領域の輪郭に沿って撮像画像をぼかすことができる。 In the control device according to the aspect of the invention, it is preferable that the image processing unit decreases the luminance value as it is separated from the contour.
This makes it possible to blur the captured image along the contour of the search area relatively easily.

本発明の制御装置では、前記画像処理部は、前記輪郭に沿って輝度値を平滑化フィルターを用いて平滑化することにより、前記撮像画像をぼかすことが好ましい。
これにより、比較的簡単に撮像画像をぼかすことができる。 In the control device of the present invention, it is preferable that the image processing unit blurs the captured image by smoothing a luminance value using a smoothing filter along the contour.
This makes it possible to blur the captured image relatively easily.

本発明の制御装置では、前記画像処理部は、彩度、色相、明度の少なくとも１つを前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかすことが好ましい。   In the control device according to the aspect of the invention, it is preferable that the image processing unit blurs the captured image by gradually changing at least one of saturation, hue, and lightness in a direction away from the contour.

これにより、比較的簡単に撮像画像をぼかすことができる。このような処理は、特に、撮像画像がカラー画像の場合に有効である。   This makes it possible to blur the captured image relatively easily. Such processing is particularly effective when the captured image is a color image.

本発明の制御装置では、前記画像処理部は、前記輪郭の外側をぼかすことが好ましい。
これにより、探索領域内に位置する対象物のエッジが不本意にぼけてしまうことを確実に防止することができる。したがって、より精度よく対象物を検出することができる。 In the control device of the present invention, it is preferable that the image processing unit blurs the outside of the contour.
Thereby, it is possible to reliably prevent the edge of the object located in the search area from being unintentionally blurred. Therefore, the object can be detected more accurately.

本発明のロボットは、ロボットアームを有し、
請求項１ないし７のいずれか１項に記載の制御装置の処理結果に基づいて制御されることを特徴とする。 The robot of the present invention has a robot arm,
It is characterized by being controlled based on the processing result of the control device according to any one of claims 1 to 7.

このようなロボットによれば、ロボット制御装置の制御により、適切な動作を行うことができる。   According to such a robot, an appropriate operation can be performed by control of the robot control device.

本発明のロボットシステムは、ロボットアームを有するロボットと、
対象物を撮像する撮像部と、
請求項１ないし７のいずれか１項に記載の制御装置と、
前記制御装置の処理結果に基づいて、前記ロボットを制御するロボット制御装置と、を備えることを特徴とする。
このようなロボットシステムによれば、適確にロボットを制御することができる。 A robot system according to the present invention is a robot having a robot arm,
An imaging unit for imaging an object;
The control device according to any one of claims 1 to 7.
And a robot control device for controlling the robot based on the processing result of the control device.
According to such a robot system, it is possible to control the robot appropriately.

本発明のロボットシステムの実施形態を示す図である。1 shows an embodiment of a robot system of the present invention. 図１に示すロボットシステムのブロック図である。It is a block diagram of a robot system shown in FIG. 図１に示すロボットシステムの作業を説明するための平面図である。It is a top view for demonstrating the operation | work of the robot system shown in FIG. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 画像処理装置が行う処理の一例を示す図である。It is a figure which shows an example of the process which an image processing apparatus performs. 実施形態についてハードウェア（プロセッサー）を中心として説明するためのブロック図である。It is a block diagram for describing an embodiment centering on hardware (processor). 本発明のロボットシステムの他の例１（変形例１）を示すブロック図である。It is a block diagram showing other example 1 (modification 1) of the robot system of the present invention. 本発明のロボットシステムの他の例２（変形例２）を示すブロック図である。It is a block diagram showing other example 2 (modification 2) of a robot system of the present invention.

以下、本発明の制御装置、ロボットおよびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。   Hereinafter, a control device, a robot and a robot system of the present invention will be described in detail based on embodiments shown in the attached drawings.

＜実施形態＞
≪ロボットシステム≫
図１は、本発明のロボットシステムの実施形態を示す図である。図２は、図１に示すロボットシステムのブロック図である。図３は、図１に示すロボットシステムの作業を説明するための平面図である。図４ないし図１１は、それぞれ、画像処理装置が行う処理の一例を示す図である。図１２は、実施形態についてハードウェア（プロセッサー）を中心として説明するためのブロック図である。図１３は、本発明のロボットシステムの他の例１（変形例１）を示すブロック図である。図１４は、本発明のロボットシステムの他の例２（変形例２）を示すブロック図である。 Embodiment
«Robot system»
FIG. 1 is a view showing an embodiment of a robot system of the present invention. FIG. 2 is a block diagram of the robot system shown in FIG. FIG. 3 is a plan view for explaining the operation of the robot system shown in FIG. 4 to 11 are diagrams showing an example of processing performed by the image processing apparatus. FIG. 12 is a block diagram for describing the embodiment centering on hardware (processor). FIG. 13 is a block diagram showing another example 1 (modified example 1) of the robot system of the present invention. FIG. 14 is a block diagram showing another example 2 (modified example 2) of the robot system of the present invention.

また、図１には、互いに直交する３つの軸としてｘｒ軸、ｙｒ軸およびｚｒ軸が図示されており、各軸を示す矢印の先端側を「＋（正）」、基端側を「−（負）」とする。また、図１中のｚｒ軸方向を「鉛直方向」とし、ｘｒ−ｙｒ平面に沿った方向を「水平方向」とする。また、＋ｚｒ軸側を「上方」とし、−ｚｒ軸側を「下方」とする。また、ｘｒ軸の方向を「ｘｒ方向」、ｙｒ軸の方向を「ｙｒ方向」、ｚｒ軸の方向を「ｚｒ方向」と言う。また、以下では、説明の都合上、図１中の基台側を「基端」または「上流」、その反対側を「先端」または「下流」と言う。   Further, in FIG. 1, xr axis, yr axis and zr axis are illustrated as three axes orthogonal to each other, and “+ (positive)” of the tip end of the arrow indicating each axis is “− (Negative) Further, the zr axis direction in FIG. 1 is referred to as “vertical direction”, and the direction along the xr-yr plane is referred to as “horizontal direction”. Also, the + zr axis side is referred to as “upper”, and the −zr axis side is referred to as “lower”. Also, the direction of the xr axis is referred to as "xr direction", the direction of the yr axis as "yr direction", and the direction of the zr axis as "zr direction". Also, in the following, for convenience of description, the base side in FIG. 1 is referred to as “proximal” or “upstream”, and the opposite side is referred to as “distal” or “downstream”.

また、本明細書において、「水平」とは、完全に水平な場合のみならず、水平に対して±５°以内で傾斜している場合も含む。同様に、本明細書において、「鉛直」とは、完全に鉛直な場合のみならず、鉛直に対して±５°以内で傾斜している場合も含む。また、本明細書において、「平行」とは、２つの線（軸を含む）または面が、互いに完全な平行である場合のみならず、±５°以内で傾斜している場合も含む。また、本明細書において、「直交」とは、２つの線（軸を含む）または面が、互いに完全な直交である場合のみならず、±５°以内で傾斜している場合も含む。   In addition, in the present specification, “horizontal” includes not only the case of being completely horizontal but also the case of being inclined within ± 5 ° with respect to the horizontal. Similarly, in the present specification, “vertical” includes not only the case of being completely vertical but also the case of being inclined within ± 5 ° with respect to the vertical. Also, as used herein, "parallel" includes not only two lines (including an axis) or planes that are perfectly parallel to one another, but also inclined within ± 5 °. Also, as used herein, "orthogonal" includes not only when two lines (including axes) or planes are perfectly orthogonal to one another, but also when they are tilted within ± 5 °.

図１に示すロボットシステム１００は、ロボット１と、エンドエフェクター１９と、撮像部４１と、画像処理装置４２（制御装置）と、ロボット１等の動作（駆動）を制御するロボット制御装置２と、ロボット制御装置２および画像処理装置４２と通信可能なコンピューター５と、を有する。以下、これら各部について順次説明する。   A robot system 100 shown in FIG. 1 includes a robot 1, an end effector 19, an imaging unit 41, an image processing device 42 (control device), and a robot control device 2 for controlling the operation (drive) of the robot 1 or the like. And a computer 5 capable of communicating with the robot control device 2 and the image processing device. Each of these units will be sequentially described below.

〈ロボット〉
ロボット１は、いわゆる６軸の垂直多関節ロボットであり、例えば、精密機器等を製造する製造工程等で用いられ、精密機器や部品等の対象物（図示せず）の保持や搬送等の種々の作業を行う。ロボット１は、基台１１０と、基台１１０に接続されたロボットアーム１０（可動部）とを有する。なお、対象物としては、ロボット１が行う作業で用いられるものであればよく、特に限定されない。 <robot>
The robot 1 is a so-called six-axis vertical articulated robot, and is used, for example, in a manufacturing process for manufacturing a precision device etc., and various methods such as holding or transporting an object (not shown) such as a precision device or part Do the work of The robot 1 has a base 110 and a robot arm 10 (movable part) connected to the base 110. The object is not particularly limited as long as it is used in the work performed by the robot 1.

基台１１０は、ロボット１を例えば床等の任意の設置箇所７０に取り付ける部分である。ロボットアーム１０は、アーム１１（第１アーム）、アーム１２（第２アーム）、アーム１３（第３アーム）、アーム１４（第４アーム）、アーム１５（第５アーム）およびアーム１６（第６アーム）を有する。また、アーム１５およびアーム１６によりリストが構成されている。また、アーム１６は、円盤状をなしており、そのアーム１６には、エンドエフェクター１９（ツール）を着脱可能に設ける（取り付ける）ことが可能になっている。これらアーム１１〜１６は、基台１１０側からエンドエフェクター１９側に向かってこの順に連結されている。また、各アーム１１〜１６は、隣り合うアームまたは基台１１０に対して図示しない所定の回動軸（第１回動軸〜第６回動軸）周りに回動可能になっている。すなわち、基台１１０とアーム１１とは、関節１７１（ジョイント）を介して連結されている。また、アーム１１とアーム１２とは、関節１７２（ジョイント）を介して連結されている。また、アーム１２とアーム１３とは、関節１７３（ジョイント）を介して連結されている。また、アーム１３とアーム１４とは、関節１７４（ジョイント）を介して連結されている。また、アーム１４とアーム１５とは、関節１７５（ジョイント）を介して連結されている。また、アーム１５とアーム１６とは、関節１７６（ジョイント）を介して連結されている。   The base 110 is a portion for attaching the robot 1 to an arbitrary installation point 70 such as a floor. The robot arm 10 includes an arm 11 (first arm), an arm 12 (second arm), an arm 13 (third arm), an arm 14 (fourth arm), an arm 15 (fifth arm), and an arm 16 (sixth) Arm). Further, the arm 15 and the arm 16 constitute a wrist. Further, the arm 16 has a disk shape, and the arm 16 can be provided (attached) with the end effector 19 (tool) in a removable manner. The arms 11 to 16 are connected in this order from the base 110 side to the end effector 19 side. Further, the arms 11 to 16 are rotatable around predetermined pivots (first to sixth pivots) (not shown) with respect to the adjacent arms or bases 110. That is, the base 110 and the arm 11 are connected via the joint 171 (joint). The arm 11 and the arm 12 are connected via a joint 172 (joint). The arm 12 and the arm 13 are connected via a joint 173 (joint). The arm 13 and the arm 14 are connected via a joint 174 (joint). The arm 14 and the arm 15 are connected via a joint 175 (joint). The arm 15 and the arm 16 are connected via a joint 176 (joint).

エンドエフェクター１９としては、特に限定されないが、本実施形態では、対象物を把持（保持）、解放することが可能なロボットハンドが用いられている。また、エンドエフェクター１９の他の構成例としては、例えば、対象物を把持（保持）、解放することが可能な吸着ヘッド等が挙げられる。なお、対象物を保持するとは、対象物を移動または対象物の姿勢を変更させることが可能なように、対象物を持つことであり、例えば、把持（掴む）、吸着、載置等が含まれる。また、エンドエフェクター１９、ロボット１の構成要素ではないものとして捉えてもよく、また、ロボット１の構成要素として捉えてもよい。   The end effector 19 is not particularly limited, but in the present embodiment, a robot hand capable of gripping (holding) and releasing an object is used. Further, as another configuration example of the end effector 19, for example, an adsorption head capable of gripping (holding) and releasing an object can be mentioned. Note that holding an object means holding the object so that the object can be moved or the attitude of the object can be changed, and includes, for example, gripping (gripping), adsorption, placement, etc. Be Also, the end effector 19 may not be a component of the robot 1, or may be a component of the robot 1.

また、図２に示すように、ロボット１は、一方のアームを他方のアーム（または基台１１０）に対して回動させるモーターおよび減速機等を備える駆動部１３０を有する。モーターとしては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。なお、減速機は省略されていてもよい。また、ロボット１は、モーターまたは減速機の回転軸の回転角度を検出する角度センサー１４０を有する。角度センサー１４０としては、例えば、ロータリーエンコーダー等を用いることができる。また、駆動部１３０および角度センサー１４０は、各アーム１１〜１６に対応して設けられており、本実施形態では、ロボット１は、６つの駆動部１３０および６つの角度センサー１４０を有する。   Further, as shown in FIG. 2, the robot 1 has a drive unit 130 provided with a motor, a reduction gear, and the like for rotating one arm with respect to the other arm (or the base 110). As the motor, for example, a servomotor such as an AC servomotor or a DC servomotor can be used. As the reduction gear, for example, a planetary gear type reduction gear, a wave gear device, or the like can be used. The reduction gear may be omitted. Also, the robot 1 has an angle sensor 140 that detects the rotation angle of the rotation shaft of the motor or the reduction gear. As the angle sensor 140, for example, a rotary encoder or the like can be used. Also, the drive unit 130 and the angle sensor 140 are provided corresponding to each of the arms 11 to 16, and in the present embodiment, the robot 1 has six drive units 130 and six angle sensors 140.

また、各駆動部１３０は、図示はしないが、例えば図１に示す基台１１０に内蔵されたモータードライバーと電気的に接続（以下、単に「接続」とも言う）されている。各駆動部１３０は、対応するモータードライバーを介してロボット制御装置２により制御される。また、各角度センサー１４０は、ロボット制御装置２に電気的に接続されている。また、エンドエフェクター１９を駆動する駆動部（図示せず）は、ロボット制御装置２により制御される。   Further, although not shown, each drive unit 130 is electrically connected (hereinafter, also simply referred to as “connected”) to, for example, a motor driver incorporated in the base 110 shown in FIG. 1. Each drive unit 130 is controlled by the robot control device 2 via a corresponding motor driver. Further, each angle sensor 140 is electrically connected to the robot control device 2. Further, a drive unit (not shown) for driving the end effector 19 is controlled by the robot control device 2.

以上、ロボット１の構成について簡単に説明した。このようなロボット１は、後述するロボット制御装置２によって制御される。これにより、ロボット１は、適切な動作を行うことができる。   The configuration of the robot 1 has been briefly described above. Such a robot 1 is controlled by a robot control device 2 described later. Thereby, the robot 1 can perform appropriate operation.

なお、ロボット１は、図示はしないが、例えばエンドエフェクター１９に加わる力（モーメントを含む）を検出する６軸力覚センサー等で構成された力検出装置（力検出部）を備えていてもよい。力検出装置は、例えば、アーム１６とエンドエフェクター１９との間に配置され、ロボット制御装置２に電気的に接続される。力検出装置を設けることにより、例えば、インピーダンス制御等の力制御を行うことが可能になる。   Although not shown, the robot 1 may be provided with a force detection device (force detection unit) including, for example, a six-axis force sensor that detects a force (including a moment) applied to the end effector 19. . The force detection device is, for example, disposed between the arm 16 and the end effector 19 and electrically connected to the robot control device 2. By providing the force detection device, for example, it is possible to perform force control such as impedance control.

〈ロボット制御装置〉
ロボット制御装置２は、ロボット１の動作を制御する。このロボット制御装置２は、ロボット１が有する各部の機能をつかさどるロボットコントローラーで構成されており、ロボット１、コンピューター５および画像処理装置４２に対して通信可能に接続されている。 <Robot controller>
The robot control device 2 controls the operation of the robot 1. The robot control device 2 is configured by a robot controller that controls the functions of the units included in the robot 1, and is communicably connected to the robot 1, the computer 5, and the image processing device 42.

ロボット制御装置２とロボット１とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、ロボット制御装置２は、ロボット１と別体であってもよく、また、ロボット１（例えば、基台１１０等）にその一部または全部が内蔵されていてもよい。また、ロボット制御装置２とコンピューター５とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、ロボット制御装置２と画像処理装置４２とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。   The robot control device 2 and the robot 1 may be communicably connected in a wired manner by using, for example, a cable or the like, or may be communicably connected in a wireless manner. Also, the robot control device 2 may be separate from the robot 1, or part or all of the robot control device 2 may be incorporated in the robot 1 (for example, the base 110 or the like). Further, the robot control device 2 and the computer 5 may be communicably connected in a wired manner by using, for example, a cable or the like, or may be communicably connected in a wireless manner. Further, the robot control device 2 and the image processing device 42 may be communicably connected in a wired manner using, for example, a cable or the like, or may be communicably connected in a wireless manner.

図２に示すように、ロボット制御装置２は、プロセッサーを備える制御部２１と、制御部２１に通信可能に接続されたメモリー等を備える記憶部２２と、外部インターフェース（Ｉ／Ｆ）を備える外部入出力部２３（受付部）と、を含む。外部入出力部２３は、ロボット制御装置２の受付部の一例である。ロボット制御装置２の各構成要素は、種々のバスを介して相互通信可能に接続されている。   As shown in FIG. 2, the robot control device 2 includes a control unit 21 including a processor, a storage unit 22 including a memory and the like communicably connected to the control unit 21, and an external including an external interface (I / F). And an input / output unit 23 (reception unit). The external input / output unit 23 is an example of a reception unit of the robot control device 2. The components of the robot controller 2 are communicably connected to one another via various buses.

制御部２１は、記憶部２２に記憶された各種プログラム等を実行する。これにより、ロボット１の動作の制御や各種演算および判断等の処理を実現できる。記憶部２２には、制御部２１により実行可能な各種プログラムが保存（記憶）されている。また、記憶部２２には、外部入出力部２３で受け付けた各種データの保存が可能である。記憶部２２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部２２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。   The control unit 21 executes various programs and the like stored in the storage unit 22. As a result, control of the operation of the robot 1 and processing such as various calculations and judgments can be realized. The storage unit 22 stores (stores) various programs that can be executed by the control unit 21. In addition, the storage unit 22 can store various data accepted by the external input / output unit 23. The storage unit 22 includes, for example, a volatile memory such as a random access memory (RAM) or a non-volatile memory such as a read only memory (ROM). The storage unit 22 is not limited to the non-removable type, and may have a removable external storage device (not shown).

なお、上述の各種プログラムとしては、コンピューター５から出力された動作プログラムや、動作プログラムの修正や変更をするプログラム等が挙げられる。各種データとしては、例えば、エンドエフェクター１９の位置姿勢、各アーム１１〜１６の回動角度等に関するデータ等が挙げられる。   The above-mentioned various programs include an operation program output from the computer 5 and a program for correcting or changing the operation program. Examples of the various data include data on the position and orientation of the end effector 19, the rotation angle of each of the arms 11 to 16, and the like.

外部入出力部２３は、外部インターフェース（Ｉ／Ｆ）を備え、ロボット１、コンピューター５および画像処理装置４２の各接続のために用いられる。   The external input / output unit 23 includes an external interface (I / F), and is used for each connection of the robot 1, the computer 5, and the image processing apparatus 42.

このようなロボット制御装置２は、例えばコンピューター５で作成した動作プログラムに基づいて（を用いて）ロボット１を制御する。これにより、コンピューター５で作成した動作プログラムを用いて、ロボット１に適切な動作を行わせることができる。   Such a robot control device 2 controls the robot 1 based on, for example, an operation program created by the computer 5. As a result, using the operation program created by the computer 5, the robot 1 can be made to perform an appropriate operation.

なお、ロボット制御装置２は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、ロボット制御装置２には、ディスプレイ等を有する表示装置や、例えばマウスやキーボード等の入力装置が接続されていてもよい。また、記憶部２２に保存されている各種プログラムやデータ等は、予め記憶部２２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。   In addition to the configuration described above, the robot control device 2 may further have another configuration. Further, a display device having a display or the like, or an input device such as a mouse or a keyboard may be connected to the robot control device 2. In addition, various programs, data, etc. stored in the storage unit 22 may be stored in advance in the storage unit 22 or, for example, stored in a recording medium (not shown) such as a CD-ROM. It may be provided from this recording medium, or may be provided via a network or the like.

〈コンピューター〉
図２に示すコンピューター５としては、例えばＰＣ（Personal Computer）等の種々のコンピューターを用いることが可能であり、ロボット制御装置２および画像処理装置４２に対して通信可能に接続されている。コンピューター５は、プロセッサーを備える制御部５１と、制御部５１に通信可能に接続されたメモリー等を備える記憶部５２と、外部Ｉ／Ｆ（インターフェース）を備える外部入出力部５３（受付部）と、を含む。外部入出力部５３は、コンピューター５の受付部の１例である。コンピューター５の各構成要素は、種々のバスを介して相互通信可能に接続されている。また、コンピューター５と画像処理装置４２とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。 <computer>
As the computer 5 shown in FIG. 2, for example, various computers such as a PC (Personal Computer) can be used, and they are communicably connected to the robot control device 2 and the image processing device 42. The computer 5 includes a control unit 51 including a processor, a storage unit 52 including a memory and the like communicably connected to the control unit 51, and an external input / output unit 53 (reception unit) including an external I / F (interface). ,including. The external input / output unit 53 is an example of a reception unit of the computer 5. The components of the computer 5 are communicably connected to one another via various buses. Further, the computer 5 and the image processing apparatus 42 may be communicably connected by a wired method using, for example, a cable or the like, or may be communicably connected by a wireless method.

制御部５１は、記憶部５２に記憶された各種プログラム等を実行する。これにより、画像処理装置４２等の制御や各種演算および判断等の処理を実現できる。また、記憶部５２には、制御部５１により実行可能な各種プログラムが保存されている。また、記憶部５２には、外部入出力部５３で受け付けた各種データの保存が可能である。記憶部５２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部５２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。   The control unit 51 executes various programs and the like stored in the storage unit 52. As a result, control of the image processing apparatus 42 and the like and processing such as various calculations and judgments can be realized. In addition, various programs that can be executed by the control unit 51 are stored in the storage unit 52. The storage unit 52 can also store various data accepted by the external input / output unit 53. The storage unit 52 is configured to include, for example, a volatile memory such as a random access memory (RAM) or a non-volatile memory such as a read only memory (ROM). The storage unit 52 is not limited to the non-removable type, and may have a removable external storage device (not shown).

外部入出力部５３は、外部Ｉ／Ｆ（インターフェース）を備え、ロボット制御装置２、画像処理装置４２、表示装置３１および入力装置３２との各接続のために用いられる。したがって、外部入出力部５３は、作業者（ユーザー）による入力装置３２の操作（指令）を受け付ける受付部としての機能を有する。また、外部入出力部５３は、複数のモードのうち所定のモードの選択を受け付けるモード受付部としての機能を有する。また、外部入出力部５３は、表示装置３１のモニターに各種画面に関する信号を出力する出力部としての機能を有する。   The external input / output unit 53 includes an external I / F (interface), and is used for each connection with the robot control device 2, the image processing device 42, the display device 31, and the input device 32. Therefore, the external input / output unit 53 has a function as a reception unit that receives an operation (instruction) of the input device 32 by the worker (user). Further, the external input / output unit 53 has a function as a mode receiving unit that receives selection of a predetermined mode among a plurality of modes. The external input / output unit 53 also has a function as an output unit that outputs signals regarding various screens to the monitor of the display device 31.

また、コンピューター５は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部５２に保存されている各種プログラムやデータ等は、予め記憶部５２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。   In addition to the above-described configuration, the computer 5 may further have another configuration. Further, various programs and data stored in the storage unit 52 may be stored in advance in the storage unit 52, or may be stored in a recording medium (not shown) such as a CD-ROM, for example. It may be provided from this recording medium, or may be provided via a network or the like.

〈撮像部〉
撮像部４１は、撮像素子（図示せず）およびレンズ群（図示せず）等を有している。また、撮像部４１は、ロボット１以外の（ロボット１とは異なる）任意の設置個所、例えば、天井等の任意の設置箇所に取り付けられており（固定されており）、下方を撮像可能になっている（下方を向いている）。ただし、撮像部４１は、床に取り付けられており、上方を撮像可能になっていてもよい。また、撮像部４１は、ロボット１に設けられていてもよい（言い換えると、ロボット１が有するカメラを撮像部４１として用いてもよい）。なお、撮像素子としては、特に限定されず、例えば、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー等が挙げられる。また、撮像部４１は、２つの撮像素子を用いた３Ｄカメラであってもよい。この撮像部４１は、撮像を行って、画像（画像データ）を生成する。 <Imaging unit>
The imaging unit 41 includes an imaging element (not shown), a lens group (not shown), and the like. Further, the imaging unit 41 is attached (fixed) to an arbitrary installation place other than the robot 1 (different from the robot 1), for example, an arbitrary installation place such as a ceiling, and can capture an image below. Yes (looking down). However, the imaging unit 41 may be attached to the floor and may be capable of imaging the upper side. Further, the imaging unit 41 may be provided in the robot 1 (in other words, the camera of the robot 1 may be used as the imaging unit 41). The imaging element is not particularly limited, and examples thereof include a CCD image sensor, a CMOS image sensor, and the like. In addition, the imaging unit 41 may be a 3D camera using two imaging elements. The imaging unit 41 performs imaging to generate an image (image data).

〈画像処理装置（制御装置）〉
画像処理装置４２（制御装置）は、撮像部４１が撮像した画像（画像データ）に対して各種の画像処理を行い、対象物の位置および姿勢を特定（認識）する。この画像処理装置４２は、撮像部４１に対して通信可能に接続されている。 <Image processing device (control device)>
The image processing device 42 (control device) performs various types of image processing on the image (image data) captured by the imaging unit 41, and identifies (recognizes) the position and orientation of the target. The image processing device 42 is communicably connected to the imaging unit 41.

また、画像処理装置４２は、プロセッサーを備える領域設定部４２１および画像処理部４２４と、これらに通信可能に接続されたメモリー等を備える記憶部４２２と、外部Ｉ／Ｆ（インターフェース）を備える外部入出力部４２３（受付部）と、を含む。外部入出力部４２３は、画像処理装置４２の受付部の一例である。画像処理装置４２の各構成要素は、種々のバスを介して相互通信可能に接続されている。また、画像処理装置４２と撮像部４１とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。   Further, the image processing apparatus 42 includes an area setting unit 421 including a processor, an image processing unit 424, a storage unit 422 including a memory and the like communicably connected to these, and an external interface including an external I / F (interface). And an output unit 423 (reception unit). The external input / output unit 423 is an example of a reception unit of the image processing apparatus 42. The components of the image processing apparatus 42 are communicably connected to one another via various buses. Further, the image processing apparatus 42 and the imaging unit 41 may be communicably connected in a wired manner by using, for example, a cable or the like, or may be communicably connected in a wireless manner.

領域設定部４２１および画像処理部４２４は、それぞれ、記憶部４２２に記憶された各種プログラム等を実行する。これにより、対象物の画像認識を実現できる。すなわち、領域設定部４２１および画像処理部４２４は、それぞれ、撮像部４１により対象物を撮像して得られた画像に含まれる対象物を認識（検出）する機能を有する。なお、領域設定部４２１および画像処理部４２４の機能については、後に詳細に説明する。   The area setting unit 421 and the image processing unit 424 each execute various programs and the like stored in the storage unit 422. Thereby, image recognition of an object can be realized. That is, the area setting unit 421 and the image processing unit 424 each have a function of recognizing (detecting) a target included in an image obtained by imaging the target by the imaging unit 41. The functions of the area setting unit 421 and the image processing unit 424 will be described in detail later.

記憶部４２２には、領域設定部４２１および画像処理部４２４により実行可能な各種プログラムが保存されている。また、記憶部４２２には、外部入出力部４２３で受け付けた各種データの保存が可能である。記憶部４２２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部４２２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。   The storage unit 422 stores various programs that can be executed by the area setting unit 421 and the image processing unit 424. The storage unit 422 can also store various data accepted by the external input / output unit 423. The storage unit 422 is configured to include, for example, a volatile memory such as a random access memory (RAM) or a non-volatile memory such as a read only memory (ROM). The storage unit 422 is not limited to the non-removable type, and may have a removable external storage device (not shown).

外部入出力部４２３は、外部Ｉ／Ｆ（インターフェース）を備え、撮像部４１、ロボット制御装置２およびコンピューター５との各接続のために用いられる。この外部入出力部４２３は、撮像部４１により対象物を撮像して得られた画像（画像データ）を受け付ける画像受付部としての機能を有する。   The external input / output unit 423 includes an external I / F (interface), and is used for each connection with the imaging unit 41, the robot control device 2 and the computer 5. The external input / output unit 423 has a function as an image receiving unit that receives an image (image data) obtained by imaging an object by the imaging unit 41.

また、画像処理装置４２は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部４２２に保存されている各種プログラムやデータ等は、予め記憶部４２２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。   In addition to the above-described configuration, the image processing apparatus 42 may further include another configuration. In addition, various programs, data, etc. stored in the storage unit 422 may be stored in advance in the storage unit 422 or, for example, stored in a recording medium (not shown) such as a CD-ROM. It may be provided from this recording medium, or may be provided via a network or the like.

〈表示装置および入力装置〉
図２に示す表示装置３１は、ディスプレイを備えており、例えば各種画面を表示する機能を有する。また、表示装置３１としては、特に限定されず、例えば、液晶表示装置、有機ＥＬ表示装置等の直視型の表示装置、プロジェクター等の投射型表示装置等が挙げられる。この表示装置３１は、コンピューター５に接続されているが、ロボット制御装置２に接続することもできる。また、２つの表示装置３１を用意し、その表示装置３１をコンピューター５およびロボット制御装置２に接続することもできる。ここでは、表示装置３１がコンピューター５に接続されている場合を例に挙げて説明する。 <Display device and input device>
The display device 31 illustrated in FIG. 2 includes a display, and has, for example, a function of displaying various screens. The display device 31 is not particularly limited, and examples thereof include a direct-view display device such as a liquid crystal display device and an organic EL display device, and a projection display device such as a projector. The display device 31 is connected to the computer 5, but can be connected to the robot control device 2. In addition, two display devices 31 can be prepared, and the display devices 31 can be connected to the computer 5 and the robot control device 2. Here, the case where the display device 31 is connected to the computer 5 will be described as an example.

入力装置３２は、例えばマウスやキーボード等を含んで構成されている。この入力装置３２は、コンピューター５に接続されているが、ロボット制御装置２に接続することもできる。また、２つの入力装置３２を用意し、その入力装置３２をコンピューター５およびロボット制御装置２に接続することもできる。ここでは、入力装置３２がコンピューター５に接続されている場合を例に挙げて説明する。作業者は、入力装置３２を操作することで、コンピューター５に対して各種の処理等の指示（入力）を行うことができる。   The input device 32 includes, for example, a mouse and a keyboard. Although this input device 32 is connected to the computer 5, it can also be connected to the robot control device 2. In addition, two input devices 32 can be prepared, and the input devices 32 can be connected to the computer 5 and the robot control device 2. Here, the case where the input device 32 is connected to the computer 5 will be described as an example. By operating the input device 32, the worker can instruct (input) various processes and the like to the computer 5.

具体的には、作業者は、表示装置３１に表示される各種画面（ウィンドウ等）に対して入力装置３２のマウスでクリックする操作や、入力装置３２のキーボードで文字や数字等を入力する操作により、コンピューター５に対する指示を行うことができる。以下、この作業者による入力装置３２を用いた指示（入力装置３２による入力）を「操作指示」とも言う。この操作指示は、入力装置３２により、表示装置３１に表示された内容から所望の内容を選択する選択操作や、入力装置３２により、文字や数字等を入力する入力指示等を含む。また、入力には、選択も含まれる。   Specifically, the operator clicks on the various screens (windows etc.) displayed on the display device 31 with the mouse of the input device 32, and inputs characters and numbers with the keyboard of the input device 32. Can instruct the computer 5. Hereinafter, the instruction (input by the input device 32) by the operator using the input device 32 is also referred to as "operation instruction". The operation instruction includes a selection operation of selecting desired content from the content displayed on the display device 31 by the input device 32, and an input instruction of inputting characters, numbers, and the like by the input device 32. The inputs also include selections.

なお、コンピューター５には、表示装置３１および入力装置３２がそれぞれ１つ接続されていてもよいし、それぞれ複数接続されていてもよい。また、表示装置３１および入力装置３２の代わりに、表示装置３１および入力装置３２の機能を兼ね備えた表示入力装置（図示せず）を用いてもよい。表示入力装置としては、例えばタッチパネル等を用いることができる。
以上、ロボットシステム１００の基本的な構成について簡単に説明した。 Note that one display device 31 and one input device 32 may be connected to the computer 5, or a plurality of each may be connected. Further, instead of the display device 31 and the input device 32, a display input device (not shown) having the functions of the display device 31 and the input device 32 may be used. For example, a touch panel or the like can be used as the display input device.
The basic configuration of the robot system 100 has been briefly described above.

≪ロボットシステムの動作≫
以下、ロボットシステム１００の作業として、図３に示すように、テーブルＴ１に載置された対象物７１を、別のテーブルＴ２に搬送する作業について代表して説明する。この場合、ロボット１は、エンドエフェクター１９により対象物７１を把持し、アームを動かして、把持した対象物７１をテーブルＴ２まで搬送し、対象物７１を開放することにより、テーブルＴ１からテーブルＴ２への対象物７１の搬送を実現する。このような作業において、ロボット１は、対象物７１を正しく把持できるように、対象物７１の状態（位置よおび姿勢）を知る必要がある。 << Operation of robot system >>
Hereinafter, as an operation of the robot system 100, as shown in FIG. 3, an operation of transporting the target 71 placed on the table T1 to another table T2 will be representatively described. In this case, the robot 1 grips the target 71 with the end effector 19 and moves the arm to transport the griped target 71 to the table T2 and open the target 71 to move the table T1 to the table T2. The transport of the target object 71 is realized. In such an operation, the robot 1 needs to know the state (position and posture) of the object 71 so that the object 71 can be gripped correctly.

以下、対象物７１の状態を特定する処理について詳細に説明する。なお、テーブルＴ１としては、特に限定されないが、説明の便宜上、テーブルＴ１は、白色の領域Ｔ１ｗと黒色の領域Ｔ１ｂとが格子状に配置された模様を有しているものとし、白色の領域Ｔ１ｗ上に対象物７１が載置されている例について説明する。   Hereinafter, the process of specifying the state of the object 71 will be described in detail. The table T1 is not particularly limited, but for convenience of description, the table T1 has a pattern in which a white area T1w and a black area T1b are arranged in a lattice, and the white area T1w An example in which the object 71 is placed on top will be described.

まず、撮像部４１により、テーブルＴ１上の対象物７１を含む画像Ｐ１（撮像画像）が撮像される。この画像Ｐ１は、例えば、図４に示すような画像となる。画像Ｐ１は、撮像部４１から画像処理装置４２に送信され、画像処理装置４２の領域設定部４２１は、受信した画像Ｐ１に基づいて、探索領域Ａｓ（関心領域：ＲＯＩ）を設定する。   First, the imaging unit 41 captures an image P1 (captured image) including the target 71 on the table T1. This image P1 is, for example, an image as shown in FIG. The image P1 is transmitted from the imaging unit 41 to the image processing device 42, and the region setting unit 421 of the image processing device 42 sets a search region As (region of interest: ROI) based on the received image P1.

探索領域Ａｓは、対象物７１の全域を含むように設定され、本実施形態では、図５に示すように、斜めに傾いた台形の領域となっている。ただし、探索領域Ａｓの形状や大きさは、特に限定されない。また、探索領域Ａｓは、作業者から指定（教授）を受けてもよいし、領域設定部４２１が検出してもよい。領域設定部４２１が探索領域Ａｓを検出する方法としては、例えば、画像Ｐ１の全体を画像としたテンプレートマッチング処理によって対象物７１に設けられたマーカー（図示せず）を検出し、このマーカーの周囲であって、対象物７１の全体が含まれるのに十分な領域を探索領域Ａｓとして設定することができる。   The search area As is set to include the entire area of the object 71, and in the present embodiment, as shown in FIG. 5, it is a trapezoidal area obliquely inclined. However, the shape and size of the search area As are not particularly limited. Further, the search area As may be designated (teaching) from the worker, or the area setting unit 421 may detect it. As a method of detecting the search area As by the area setting unit 421, for example, a marker (not shown) provided on the object 71 is detected by template matching processing using the entire image P1 as an image, and the periphery of this marker That is, an area sufficient to include the entire object 71 can be set as the search area As.

画像処理装置４２は、領域設定部４２１によって探索領域Ａｓを設定した後、図６に示すように、画像処理部４２４によって画像Ｐ１から探索領域Ａｓの全域を含む画像Ｐ２を切り出す。以下では、画像Ｐ２を「切り出し画像Ｐ２」と言う。そして、画像処理部４２４は、切り出し画像Ｐ２を用いて画像処理を行う。具体的には、画像処理部４２４は、切り出し画像Ｐ２の全域を新たな探索領域Ａｓ’とし、画像Ｐ２の全域を探索することにより、図７に示すように、対象物７１のエッジＥ（輪郭）を検出する。ここで、切り出し画像Ｐ２は、探索領域Ａｓの全域を含みつつ、より小さい範囲とすることが好ましく、本実施形態では、探索領域Ａｓに外接する矩形となっている。これにより、探索領域Ａｓ’をより小さくすることができ、すなわち、探索領域Ａｓ’に含まれる画素数を少なくすることができ、探索の負担を低減することができる。   After setting the search area As by the area setting unit 421, the image processing device 42 cuts out an image P2 including the entire area of the search area As from the image P1 as shown in FIG. Hereinafter, the image P2 will be referred to as "the cutout image P2". Then, the image processing unit 424 performs image processing using the cutout image P2. Specifically, the image processing unit 424 sets the entire area of the cut-out image P2 as a new search area As ′ and searches the entire area of the image P2, as shown in FIG. ) To detect. Here, it is preferable to set the cutout image P2 to a smaller range while including the entire area of the search area As, and in the present embodiment, it is a rectangle circumscribing the search area As. Thus, the search area As 'can be made smaller, that is, the number of pixels included in the search area As' can be reduced, and the load of the search can be reduced.

対象物７１のエッジＥを検出する方法としては、特に限定されず、例えば、切り出し画像Ｐ２に含まれる全ての画素について、画素の特徴を検出し、検出した各画素の特徴に基づいて対象物７１のエッジＥを検出することができる。より具体的には、例えば、切り出し画像Ｐ２が白黒画像（グレースケール）の場合には、各画素の輝度を検出し、各画素の輝度に基づいて対象物７１のエッジＥを検出することができる。例えば、図８に示すように、横に並ぶ３つの画素Ｐｘ１、Ｐｘ２、Ｐｘ３について、互いの輝度を比較し、画素Ｐｘ１と画素Ｐｘ３との輝度の急峻な差から、これらの間にある画素Ｐｘ２をエッジＥとして特定することができる。また、例えば、切り出し画像Ｐ２がカラー画像の場合には、各画素の色度を検出し、各画素の色度に基づいて対象物７１のエッジＥを検出することができる。   The method of detecting the edge E of the object 71 is not particularly limited. For example, the feature of each pixel is detected for all the pixels included in the cutout image P2, and the object 71 is detected based on the detected feature of each pixel. Edge E can be detected. More specifically, for example, when the cutout image P2 is a black and white image (gray scale), the luminance of each pixel can be detected, and the edge E of the object 71 can be detected based on the luminance of each pixel. . For example, as shown in FIG. 8, the luminances of three pixels Px1, Px2 and Px3 arranged in a row are compared with each other, and the pixel Px2 between them is obtained from the sharp difference in luminance between the pixels Px1 and Px3 Can be identified as edge E. Also, for example, when the cutout image P2 is a color image, the chromaticity of each pixel can be detected, and the edge E of the object 71 can be detected based on the chromaticity of each pixel.

ここで、図９に示すように、切り出し画像Ｐ２にはテーブルＴ１の白色の領域Ｔ１ｗと黒色の領域Ｔ１ｂとの境界Ｑが存在しているため、画像処理部４２４が、この境界Ｑを対象物７１のエッジＥとして誤認してしまう場合がある。このように、画像処理部４２４が、境界Ｑを対象物７１のエッジＥとして誤認してしまうと、対象物７１の状態を正しく検出することができなくなる。そこで、画像処理部４２４は、境界ＱをエッジＥと誤認しないように、次のような処理を行う。   Here, as shown in FIG. 9, since the boundary Q between the white area T1w of the table T1 and the black area T1b is present in the cut-out image P2, the image processing unit 424 uses the boundary Q as an object. It may be misidentified as an edge E of 71. As described above, when the image processing unit 424 mistakenly recognizes the boundary Q as the edge E of the object 71, the state of the object 71 can not be detected correctly. Therefore, the image processing unit 424 performs the following process so as not to misidentify the boundary Q as the edge E.

画像処理部４２４は、図１０に示すように、領域設定部４２１によって設定された探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかす処理を行う。これにより、境界Ｑがぼやけ、境界ＱがエッジＥとして認識され難くなる。そのため、画像処理部４２４が、境界ＱをエッジＥと誤認してしまうことを抑制することができ、精度よく、対象物７１のエッジＥを検出することができる。なお、図１０では、境界Ｑの一部がぼやけているが、これに限定されず、境界Ｑの全部がぼやけていてもよく、ぼやける範囲が広い程、上述の効果をより顕著に発揮することができる。   As illustrated in FIG. 10, the image processing unit 424 performs processing to blur the cutout image P2 along the contour of the search area As set by the area setting unit 421. This makes the boundary Q blur and makes it difficult to recognize the boundary Q as an edge E. Therefore, the image processing unit 424 can suppress false recognition of the boundary Q as the edge E, and can detect the edge E of the object 71 with high accuracy. Although part of the boundary Q is blurred in FIG. 10, the present invention is not limited to this, and the whole of the boundary Q may be blurred. Can.

このような方法によれば、対象物７１のエッジＥ以外のエッジがエッジＥとして検出さされてしまうことを抑制でき、切り出し画像Ｐ２のみから、すなわち、切り出し画像Ｐ２の他に従来のようなマスク画像を用いなくても、精度よく、対象物７１のエッジＥを検出することができる。そのため、従来のようなマスク画像を形成するためメモリーが不要となり、前述した従来構成と比較してメモリーの容量を小さく抑えることができる。   According to such a method, it can be suppressed that an edge other than the edge E of the object 71 is detected as the edge E, and from the cutout image P2 alone, that is, a mask like the conventional one in addition to the cutout image P2. Even without using an image, the edge E of the object 71 can be detected accurately. Therefore, since a conventional mask image is formed, a memory is not required, and the memory capacity can be reduced as compared with the above-described conventional configuration.

探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかす処理方法については、特に限定されない。例えば、切り出し画像Ｐ２が白黒画像（グレースケール）である場合には、探索領域Ａｓの輪郭付近の輝度値を輪郭から離間する方向に徐々に変化させる方法が挙げられる。例えば、本実施形態では、探索領域Ａｓの輪郭から離間する方向に沿って白色から黒色に徐々（段階的）に変化するように、輝度を徐々（段階的）に小さくしている。このような処理によれば、比較的簡単にかつ確実に探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかすことができる。このような処理は、平滑化フィルターを用いて、探索領域Ａｓの輪郭付近の輝度を平滑化することにより実行することができる。これにより、比較的簡単に、切り出し画像Ｐ２をぼかすことができる。なお、平滑化フィルターとしては、特に限定されないが、例えば、ガウシアンフィルターを用いることができる。   The processing method for blurring the cutout image P2 along the contour of the search area As is not particularly limited. For example, when the cutout image P2 is a black and white image (gray scale), there is a method of gradually changing the luminance value in the vicinity of the contour of the search area As in the direction away from the contour. For example, in the present embodiment, the luminance is gradually (stepwise) reduced so as to gradually (stepwise) change from white to black along a direction away from the contour of the search area As. According to such processing, the cutout image P2 can be blurred relatively easily and reliably along the contour of the search area As. Such processing can be performed by smoothing the luminance in the vicinity of the contour of the search area As using a smoothing filter. Thereby, the cutout image P2 can be blurred relatively easily. The smoothing filter is not particularly limited, and for example, a Gaussian filter can be used.

また、切り出し画像Ｐ２がカラー画像である場合には、彩度、色相、明度の少なくとも１つを探索領域Ａｓの輪郭から離間する方向に徐々に変化させることにより切り出し画像Ｐ２をぼかすことができる。これにより、比較的簡単に、切り出し画像Ｐ２をぼかすことができる。なお、彩度を徐々に変化させる場合は、例えば、探索領域Ａｓの輪郭から離間する方向に沿って彩度を徐々に低下させて、無彩色に近づけていくことにより、切り出し画像Ｐ２をぼかすことができる。また、色相を徐々に変化させる場合は、例えば、探索領域Ａｓの輪郭から離間する方向に沿って色相を徐々に変化させて、所定の色相（または輪郭の色相）から補色となる色相に向けて変化させることにより、切り出し画像Ｐ２をぼかすことができる。また、明度を徐々に変化させる場合は、例えば、探索領域Ａｓの輪郭から離間する方向に沿って明度を徐々に低下させて、暗い色に近づけていくことにより、切り出し画像Ｐ２をぼかすことができる。   When the cutout image P2 is a color image, the cutout image P2 can be blurred by gradually changing at least one of saturation, hue, and lightness in a direction away from the outline of the search area As. Thereby, the cutout image P2 can be blurred relatively easily. In the case of gradually changing the saturation, for example, the cut-out image P2 is blurred by gradually decreasing the saturation along a direction away from the contour of the search area As and approaching an achromatic color. Can. When the hue is to be gradually changed, for example, the hue is gradually changed along a direction away from the outline of the search area As to shift from a predetermined hue (or the hue of the outline) to a complementary hue. By changing it, the cutout image P2 can be blurred. Further, in the case of gradually changing the lightness, for example, the cut-out image P2 can be blurred by gradually decreasing the lightness along a direction away from the contour of the search area As to approach a dark color. .

図１０に示すように、切り出し画像Ｐ２の現画像に対してぼかす領域は、探索領域Ａｓの外側の領域である。すなわち、探索領域Ａｓの輪郭からその外側に離間する方向に切り出し画像Ｐ２をぼかしている。前述したように、探索領域Ａｓのどこかに対象物７１が存在しているため、例えば、探索領域Ａｓの内側の領域をぼかしてしまうと、対象物７１のエッジＥも一緒にぼけてしまうおそれがある。そのため、探索領域Ａｓの外側の領域だけをぼかすことにより、対象物７１のエッジＥがぼけてしまうことを確実に防止することができる。したがって、より精度よくエッジＥを検出することができる。ただし、ぼかす領域は、これに限定されず、例えば、図１１に示すように、探索領域Ａｓの外側の領域と共に、内側の領域についてもぼかしてもよい。   As shown in FIG. 10, the area blurred with respect to the current image of the cutout image P2 is an area outside the search area As. That is, the cutout image P2 is blurred in a direction away from the contour of the search area As. As described above, since the object 71 exists somewhere in the search area As, for example, if the area inside the search area As is blurred, the edge E of the object 71 may be blurred together. There is. Therefore, by blurring only the area outside the search area As, it is possible to reliably prevent the edge E of the object 71 from being blurred. Therefore, edge E can be detected more accurately. However, the region to be blurred is not limited to this, and for example, as shown in FIG. 11, the region outside the search region As may be blurred with respect to the region inside.

画像処理装置４２は、上述した方法によって対象物７１のエッジＥを検出し、対象物７１の輪郭形状を取得する。次に、画像処理装置４２は、輪郭形状を画像としたテンプレートマッチング処理によって、対象物７１の姿勢を検出する。すなわち、輪郭形状の画像をテンプレート画像で走査して両画像の類似度を求め、この類似度にしたがって、対象物７１の姿勢および位置を検出する。画像処理装置４２は、検出した対象物７１の状態（位置および姿勢）をロボット制御装置２に送信し、ロボット制御装置２は、受信した対象物７１の状態に基づいて、ロボット１の各部の駆動を制御する。これにより、ロボット１によって、対象物７１を適切に把持、搬送することができる。   The image processing device 42 detects the edge E of the object 71 by the above-described method, and acquires the contour shape of the object 71. Next, the image processing device 42 detects the posture of the object 71 by template matching processing in which the contour shape is an image. That is, the image of the contour shape is scanned with the template image to determine the similarity between both images, and the posture and position of the object 71 are detected according to the similarity. The image processing device 42 transmits the detected state (position and posture) of the target object 71 to the robot control device 2. The robot control device 2 drives each part of the robot 1 based on the received state of the target object 71. Control. Thereby, the object 71 can be appropriately gripped and transported by the robot 1.

以上説明したように、画像処理装置４２（制御装置）は、撮像部４１が対象物７１を撮像した画像Ｐ１（撮像画像）に基づいて対象物７１を処理するロボットを制御する装置である。そして、画像処理装置４２は、画像Ｐ１において対象物７１を探索する探索領域Ａｓを設定する領域設定部４２１と、探索領域Ａｓの輪郭に沿って画像Ｐ１をぼかす画像処理部４２４と、を備える。このような画像処理装置４２によれば、対象物７１のエッジＥ以外のエッジがエッジＥとして検出されてしまうことを抑制でき、切り出し画像Ｐ２のみから、すなわち、切り出し画像Ｐ２の他に従来のようなマスク画像を用いなくても、精度よく、対象物７１を検出することができる。そのため、従来のようなマスク画像を形成するためメモリーが不要となり、前述した従来構成と比較してメモリーの容量を小さく抑えることができる。そのため、的確に、ロボット１を制御することができる。   As described above, the image processing device 42 (control device) is a device that controls the robot that processes the object 71 based on the image P1 (captured image) in which the imaging unit 41 captures the object 71. The image processing apparatus 42 includes an area setting unit 421 that sets a search area As for searching the object 71 in the image P1, and an image processing unit 424 that blurs the image P1 along the outline of the search area As. According to such an image processing device 42, it is possible to suppress that an edge other than the edge E of the object 71 is detected as the edge E, and it is possible from the cutout image P2 alone, that is, in addition to the cutout image P2 as in the prior art. The object 71 can be detected with high accuracy without using any mask image. Therefore, since a conventional mask image is formed, a memory is not required, and the memory capacity can be reduced as compared with the above-described conventional configuration. Therefore, the robot 1 can be controlled accurately.

また、画像処理装置４２は、探索領域Ａｓの輪郭に沿って画像Ｐ１をぼかす前に、探索領域Ａｓを含むように画像Ｐ１の一部を切り出す。そして、探索領域Ａｓの輪郭に沿って、切り出した画像（切り出し画像Ｐ２）をぼかす。前述したように、切り出し画像Ｐ２の全域が新たな探索領域Ａｓ’となるため、画像Ｐ１から切り出し画像Ｐ２を切り出すことにより、探索領域Ａｓ’を小さくすることができ、処理の負担を低減することができる。なお、画像Ｐ１から切り出し画像Ｐ２を切り取らず、画像Ｐ１のままでぼかす処理を行ってもよい。   In addition, before blurring the image P1 along the contour of the search area As, the image processing device 42 cuts out a part of the image P1 so as to include the search area As. Then, the cut-out image (cut-out image P2) is blurred along the contour of the search area As. As described above, since the entire area of the cutout image P2 becomes a new search area As ′, the search area As ′ can be made smaller by cutting out the cutout image P2 from the image P1, and the processing load is reduced. Can. Note that the cutout image P2 may not be cut out from the image P1, and the image P1 may be blurred as it is.

また、画像処理装置４２は、輝度値を探索領域Ａｓの輪郭から離間する方向に徐々に変化させることにより切り出し画像Ｐ２をぼかす。これにより、比較的簡単な処理で、切り出し画像Ｐ２をぼかすことができる。   Further, the image processing device 42 blurs the cutout image P2 by gradually changing the luminance value in the direction away from the outline of the search area As. As a result, the cutout image P2 can be blurred by relatively easy processing.

また、画像処理装置４２は、探索領域Ａｓの輪郭から離間するほど輝度値を小さくする。これにより、比較的簡単に探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかすことができる。このような処理は、特に、切り出し画像Ｐ２が白黒画像の場合に有効である。   Further, the image processing device 42 reduces the luminance value as it gets farther from the contour of the search area As. As a result, the cutout image P2 can be blurred relatively easily along the contour of the search area As. Such processing is particularly effective when the cutout image P2 is a black and white image.

また、画像処理装置４２は、探索領域Ａｓの輪郭に沿って輝度値を平滑化フィルターを用いて平滑化することにより、切り出し画像Ｐ２をぼかす。これにより、比較的簡単に切り出し画像Ｐ２をぼかすことができる。   Further, the image processing device 42 blurs the cutout image P2 by smoothing the luminance value using a smoothing filter along the contour of the search area As. Thereby, the cutout image P2 can be blurred relatively easily.

また、画像処理装置４２は、彩度、色相、明度の少なくとも１つを探索領域Ａｓの輪郭から離間する方向に徐々に変化させることにより切り出し画像Ｐ２をぼかす。これにより、比較的簡単に探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかすことができる。このような処理は、特に、切り出し画像Ｐ２がカラー画像の場合に有効である。   Further, the image processing device 42 blurs the cutout image P2 by gradually changing at least one of saturation, hue, and lightness in a direction away from the outline of the search area As. As a result, the cutout image P2 can be blurred relatively easily along the contour of the search area As. Such processing is particularly effective when the cutout image P2 is a color image.

また、画像処理装置４２は、探索領域Ａｓの輪郭の外側をぼかす。これにより、探索領域Ａｓ内に位置する対象物７１のエッジＥが不本意にぼけてしまうことを確実に防止することができる。したがって、より精度よく対象物７１を検出することができる。   Further, the image processing device 42 blurs the outside of the outline of the search area As. As a result, it is possible to reliably prevent the edge E of the object 71 located in the search area As from being unintentionally blurred. Therefore, the object 71 can be detected more accurately.

また、ロボット１は、ロボットアームを有し、画像処理装置４２（制御装置）の処理結果に基づいて制御される。このようなロボット１によれば、画像処理装置４２により検出された対象物７１の状態に基づいて制御されるため、適切な動作を行うことができる。   The robot 1 has a robot arm, and is controlled based on the processing result of the image processing device 42 (control device). According to such a robot 1, since the control is performed based on the state of the target object 71 detected by the image processing device 42, an appropriate operation can be performed.

また、ロボットシステム１００は、ロボットアームを有するロボット１と、対象物７１を撮像する撮像部４１と、画像処理装置４２（制御装置）と、画像処理装置４２の処理結果に基づいて、ロボット１を制御するロボット制御装置２と、を備える。このようなロボットシステム１００によれば、画像処理装置４２により検出された対象物７１の状態に基づいてロボット１を制御できるため、ロボット１に適切な動作をさせることができる。   The robot system 100 further includes the robot 1 based on processing results of the robot 1 having a robot arm, an imaging unit 41 for imaging the object 71, an image processing device 42 (control device), and the image processing device 42. And a robot control device 2 to control. According to such a robot system 100, since the robot 1 can be controlled based on the state of the target object 71 detected by the image processing device 42, the robot 1 can be made to operate appropriately.

図１２は、実施形態についてハードウェア（プロセッサー）を中心として説明するためのブロック図である。図１２には、ロボット１とコントローラー６１とコンピューター６２が接続されたロボットシステム１００Ａの全体構成が示されている。ロボット１の制御はコントローラー６１にあるプロセッサーによりメモリーにある指令を読みだして実行されてもよいし、コンピューター６２に存在するプロセッサーによりメモリーにある指令を読みだしてコントローラー６１を介して実行されてもよい。   FIG. 12 is a block diagram for describing the embodiment centering on hardware (processor). FIG. 12 shows the overall configuration of a robot system 100A in which the robot 1, the controller 61, and the computer 62 are connected. Control of the robot 1 may be executed by reading a command in the memory by a processor in the controller 61 or may be executed by reading a command in the memory by a processor present in the computer 62 and executed through the controller 61. Good.

＜変形例１＞
図１３は、本発明のロボットシステムの他の例１（変形例１）を示すブロック図である。図１３には、ロボット１に直接コンピューター６３が接続されたロボットシステム１００Ｂの全体構成が示されている。ロボット１の制御はコンピューター６３に存在するプロセッサーによりメモリーにある指令を読みだして直接実行される。 <Modification 1>
FIG. 13 is a block diagram showing another example 1 (modified example 1) of the robot system of the present invention. FIG. 13 shows the entire configuration of a robot system 100B in which a computer 63 is directly connected to the robot 1. The control of the robot 1 is directly executed by reading a command in the memory by a processor present in the computer 63.

＜変形例２＞
図１４は、本発明のロボットシステムの他の例２（変形例２）を示すブロック図である。図１４には、コントローラー６１が内蔵されたロボット１とコンピューター６６が接続され、コンピューター６６がＬＡＮ等のネットワーク６５を介してクラウド６４に接続されているロボットシステム１００Ｃの全体構成が示されている。ロボット１の制御はコンピューター６６に存在するプロセッサーによりメモリーにある指令を読みだして実行されてもよいし、クラウド６４上に存在するプロセッサーによりコンピューター６６を介してメモリーにある指令を読みだして実行されてもよい。 <Modification 2>
FIG. 14 is a block diagram showing another example 2 (modified example 2) of the robot system of the present invention. FIG. 14 shows the entire configuration of a robot system 100C in which a robot 1 having a controller 61 incorporated therein and a computer 66 are connected, and the computer 66 is connected to a cloud 64 via a network 65 such as a LAN. The control of the robot 1 may be executed by reading a command in the memory by a processor present in the computer 66, or may be executed by reading a command in the memory via the computer 66 by a processor present in the cloud 64. May be

また、ロボットシステム１００Ａ、１００Ｂ、１００Ｃでは、各プロセッサーは、それぞれ、１つの装置で構成されていてもよく、また、複数の装置で構成されていてもよい、すなわち、複数の単位プロセッサーに分かれていてもよい。   Further, in the robot systems 100A, 100B, and 100C, each processor may be configured by one device or may be configured by a plurality of devices, that is, divided into a plurality of unit processors. May be

以上、本発明の制御装置、ロボットおよびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の構成物が付加されていてもよい。   As mentioned above, although the control device, the robot, and the robot system of the present invention have been described based on the illustrated embodiment, the present invention is not limited to this, and the configuration of each part is an arbitrary configuration having the same function. Can be replaced by Also, any other component may be added.

また、前述した実施形態では、ロボットとして、６軸の垂直多関節ロボットを例示したが、当該ロボットは、これに限らず、例えば、スカラーロボット等の水平多関節ロボット、脚部を有する脚式歩行（走行）ロボット等の他の形態のロボットであってもよい。また、当該ロボットは、単腕ロボットに限定されず、例えば、双腕ロボット等の他のロボットであってもよい。したがって、ロボットアーム（可動部）の数は、１つに限定されず、２つ以上であってもよい。また、ロボットアーム（可動部）が有するアームの数は、前述した実施形態では、６つであるが、１つ〜５つまたは７つ以上であってもよい。   In the embodiment described above, a six-axis vertical articulated robot is exemplified as the robot, but the robot is not limited to this, and, for example, a horizontal articulated robot such as a scalar robot, a leg type walking robot It may be a robot of another form such as a (traveling) robot. Moreover, the said robot is not limited to a single arm robot, For example, other robots, such as a double arm robot, may be used. Therefore, the number of robot arms (movable parts) is not limited to one, and may be two or more. Further, the number of arms included in the robot arm (movable part) is six in the above-described embodiment, but may be one to five or seven or more.

１…ロボット、２…ロボット制御装置、５…コンピューター、１０…ロボットアーム、１１、１２、１３、１４、１５、１６…アーム、１９…エンドエフェクター、２１…制御部、２２…記憶部、２３…外部入出力部、３１…表示装置、３２…入力装置、４１…撮像部、４２…画像処理装置、５１…制御部、５２…記憶部、５３…外部入出力部、６１…コントローラー、６２、６３…コンピューター、６４…クラウド、６５…ネットワーク、６６…コンピューター、７０…設置箇所、７１…対象物、１００、１００Ａ、１００Ｂ、１００Ｃ…ロボットシステム、１１０…基台、１３０…駆動部、１４０…角度センサー、１７１、１７２、１７３、１７４、１７５、１７６…関節、４２１…領域設定部、４２２…記憶部、４２３…外部入出力部、４２４…画像処理部、Ａｓ、Ａｓ’…探索領域、Ｅ…エッジ、Ｐ１…画像、Ｐ２…切り出し画像、Ｐｘ１、Ｐｘ２、Ｐｘ３…画素、Ｑ…境界、Ｔ１…テーブル、Ｔ１ｂ…領域、Ｔ１ｗ…領域、Ｔ２…テーブル   DESCRIPTION OF SYMBOLS 1 ... Robot, 2 ... Robot control apparatus, 5 ... Computer, 10 ... Robot arm, 11, 12, 13, 14, 15, 16 ... Arm, 19 ... End effector, 21 ... Control part, 22 ... Storage part, 23 ... External input / output unit, 31: display device, 32: input device, 41: imaging unit, 42: image processing device, 51: control unit, 52: storage unit, 53: external input / output unit, 61: controller, 62, 63 ... computer 64 64 cloud 65 network 66 computer 70 installation location 71 object 100 100A 100B 100C robot system 110 base 130 drive unit 140 angle sensor , 171, 172, 173, 174, 175, 176 ... joints, 421 ... area setting sections, 422 ... storage sections, 423 ... external input / output sections 424: image processing unit, As, As': search area, E: edge, P1: image, cut image, Px1, Px2, Px3: pixel, Q: border, T1: table, T1b: area, T1w: area , T2 ... table

Claims (9)

撮像部が対象物を撮像した撮像画像に基づいて前記対象物を処理するロボットを制御する制御装置であって、
前記撮像画像において前記対象物を探索する探索領域を設定する領域設定部と、
前記探索領域の輪郭に沿って前記撮像画像をぼかす画像処理部と、を備えることを特徴とする制御装置。 A control device that controls a robot that processes an object based on a captured image obtained by capturing an object by an imaging unit.
An area setting unit configured to set a search area for searching for the object in the captured image;
An image processing unit that blurs the captured image along the contour of the search area. 前記画像処理部は、前記探索領域の輪郭に沿って前記撮像画像をぼかす前に、前記探索領域を含むように前記撮像画像の一部を切り出す請求項１に記載の制御装置。   The control device according to claim 1, wherein the image processing unit cuts out a part of the captured image so as to include the search region before blurring the captured image along an outline of the search region. 前記画像処理部は、輝度値を前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかす請求項１または２に記載の制御装置。   The control device according to claim 1, wherein the image processing unit blurs the captured image by gradually changing a luminance value in a direction away from the contour. 前記画像処理部は、前記輪郭から離間するほど前記輝度値を小さくする請求項３に記載の制御装置。   The control device according to claim 3, wherein the image processing unit reduces the luminance value as being separated from the contour. 前記画像処理部は、前記輪郭に沿って輝度値を平滑化フィルターを用いて平滑化することにより、前記撮像画像をぼかす請求項１または２に記載の制御装置。   The control device according to claim 1, wherein the image processing unit blurs the captured image by smoothing a luminance value using a smoothing filter along the contour. 前記画像処理部は、彩度、色相、明度の少なくとも１つを前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかす請求項１または２に記載の制御装置。   The control device according to claim 1, wherein the image processing unit blurs the captured image by gradually changing at least one of saturation, hue, and lightness in a direction away from the contour. 前記画像処理部は、前記輪郭の外側をぼかす請求項１ないし６のいずれか１項に記載の制御装置。   The control device according to any one of claims 1 to 6, wherein the image processing unit blurs the outside of the contour. ロボットアームを有し、
請求項１ないし７のいずれか１項に記載の制御装置の処理結果に基づいて制御されることを特徴とするロボット。 Has a robot arm,
A robot controlled based on the processing result of the control device according to any one of claims 1 to 7. ロボットアームを有するロボットと、
対象物を撮像する撮像部と、
請求項１ないし７のいずれか１項に記載の制御装置と、
前記制御装置の処理結果に基づいて、前記ロボットを制御するロボット制御装置と、を備えることを特徴とするロボットシステム。 A robot having a robot arm,
An imaging unit for imaging an object;
The control device according to any one of claims 1 to 7.
A robot control device that controls the robot based on a processing result of the control device.

Images