JP2007033328A - Image processing method and picking operation correcting method using the same - Google Patents
Image processing method and picking operation correcting method using the same Download PDFInfo
- Publication number
- JP2007033328A JP2007033328A JP2005219205A JP2005219205A JP2007033328A JP 2007033328 A JP2007033328 A JP 2007033328A JP 2005219205 A JP2005219205 A JP 2005219205A JP 2005219205 A JP2005219205 A JP 2005219205A JP 2007033328 A JP2007033328 A JP 2007033328A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- transport
- shift amount
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
Description
本発明は、視覚センサを用いて画像を取得し処理する技術に関し、特に、コンベア等の搬送手段上の搬送対象物を認識するための画像処理方法、および該画像処理方法を用いて搬送対象物に対して行われるピッキング動作を補正する方法に関する。 The present invention relates to a technique for acquiring and processing an image using a visual sensor, and in particular, an image processing method for recognizing a transport target on a transport means such as a conveyor, and a transport target using the image processing method. The present invention relates to a method for correcting a picking operation performed on a computer.
従来、工場における生産ラインにおいてはコンベア等の搬送手段を用いた搬送システムが多く採用されている。それらの搬送システムの中には、少人化や自動化のために、コンベア上を流れる搬送対象物としてのワークを、多関節ロボットを用いてピッキングし、これを次の工程に供給するシステムがある。従来、このシステムでは、コンベア上を流れるワークが所定の位置を通過したことを光電スイッチなどの非接触型センサにより検出し、この検出時からコンベアを駆動するモータに連結されたパルスジェネレータを用いてコンベアの移動に伴い発生するパルスをカウントし、このカウント値に基づいてコンベアの位置を検出し、この検出されたコンベアの位置を基にしてロボットをコンベアの移動に対して追従動作させつつ、ロボットによるコンベア上ワークに対するピッキング動作を行うようにしていた。 Conventionally, in a production line in a factory, a transportation system using a transportation means such as a conveyor is often used. Among these transfer systems, there is a system that picks a workpiece as a transfer object flowing on a conveyor using an articulated robot and supplies it to the next process for the purpose of reducing the number of people and automation. . Conventionally, in this system, a non-contact type sensor such as a photoelectric switch detects that a workpiece flowing on a conveyor has passed a predetermined position, and from this detection, a pulse generator connected to a motor that drives the conveyor is used. The pulse generated with the movement of the conveyor is counted, the position of the conveyor is detected based on the counted value, and the robot is made to follow the movement of the conveyor based on the detected position of the conveyor, and the robot The picking operation was performed on the workpiece on the conveyor.
この際、ロボットにはピッキング動作を行う位置が予め教示されているので、コンベアの搬送方向に関してはコンベアの移動量に従った補正をロボットに対して行うことにより、ロボットによるコンベア上ワークに対するピッキング動作が可能となる。しかし、これではコンベアの幅方向（コンベアの搬送方向に対して垂直な方向）に関しては補正を行うことができないので、コンベア上を流れるワークはコンベア上の幅方向に関して一定の位置にしておく必要があった。 At this time, since the robot is instructed in advance of the position to perform the picking operation, the robot performs a picking operation on the workpiece on the conveyor by correcting the robot according to the moving amount of the conveyor with respect to the conveying direction of the conveyor. Is possible. However, in this case, correction cannot be performed in the width direction of the conveyor (direction perpendicular to the conveyance direction of the conveyor), so it is necessary to keep the workpiece flowing on the conveyor at a fixed position in the width direction on the conveyor. there were.
これに対処するために、例えば特許文献１では、コンベア上を流れるワークのずれ量を補正するために、カメラおよび画像処理装置から構成される視覚センサを使用した方法が提案されている。係る方法においては、前述した従来技術のようにコンベア上を流れるワークが所定位置を通過したことを検出する非接触型センサを用いる代わりに、コンベアの搬送経路上にカメラを設置し、コンベアの一定移動量ごとにコンベア上をカメラが撮像し、この撮像結果を画像処理装置にて処理するようにしている。これによりワークのコンベア上でのずれ量を検出し、このずれ量を用いてロボットの位置を補正することで、ワークがコンベアの幅方向にずれることがあってもロボットによるピッキング動作を可能としている。
ところで、前述した特許文献１に係る方法では、効率よく画像認識を行うために、画像の取得間隔については、これが搬送経路に沿った視野の長さからワークの長さを差し引いた距離を下回らず、両者がほぼ等しくなるように定めることを提案している。しかしながら、例えば、図１（ａ）に示すように辺の長さが大きく異なる長方形のワークの場合であって、かつワークが回転する場合には、図１（ｂ）に示すようにワークＷの長辺の長さに基づいて画像の取得間隔を設定すると、搬送経路に沿ったワークの長さが短辺であるワークＷ′を２回認識してしまうという問題が生ずる。一方、図１（ｃ）に示すようにワークＷ′の短辺の長さに基づいて画像の取得間隔を設定すると、搬送経路に沿ったワークの長さが長辺であるワークＷを認識できなくなるという可能性が生ずる。 By the way, in the method according to Patent Document 1 described above, in order to perform image recognition efficiently, the image acquisition interval does not fall below the distance obtained by subtracting the length of the work from the length of the field of view along the conveyance path. , It is proposed that the two be almost equal. However, for example, in the case of a rectangular work having greatly different side lengths as shown in FIG. 1 (a) and the work rotates, the work W is moved as shown in FIG. 1 (b). When the image acquisition interval is set based on the length of the long side, there arises a problem that the workpiece W ′ having the short side of the workpiece along the conveyance path is recognized twice. On the other hand, when the image acquisition interval is set based on the length of the short side of the workpiece W ′ as shown in FIG. 1C, the workpiece W having the long side of the workpiece along the conveyance path can be recognized. The possibility of disappearing arises.
ここでワークを認識できなくなるということを考えると、これはロボットがピッキングできないワークが存在することになり、ピッキング装置として適当ではない。このため、同一ワークを２回認識してしまうという問題点の存在を考慮に入れてでも、図１（ｂ）に示したようにワークの長辺で画像の取得間隔を設定する必要があった。しかしながら、同一ワークを２回認識してしまうということはロボットがピッキング動作を同一ワークに対して２回行ってしまうこととなり、最初のピッキング処理でワークはすでにコンベア上から取り出されているにもかかわらず、２回目の処理では何もない位置に対してピッキング動作を行ってしまうという問題が発生する。 Considering that the workpiece cannot be recognized here, there is a workpiece that the robot cannot pick, which is not suitable as a picking device. For this reason, even if the existence of the problem of recognizing the same workpiece twice is taken into consideration, it is necessary to set the image acquisition interval on the long side of the workpiece as shown in FIG. . However, recognizing the same work twice means that the robot performs the picking operation twice on the same work, and the work has already been taken out of the conveyor in the first picking process. In the second processing, there is a problem that the picking operation is performed on an empty position.
本発明は、前述の従来技術の問題点を解決するためになされたものであり、搬送手段上を流れる搬送対象物を確実に認識することが可能な画像処理方法を提供することを目的とする。また、本発明は、同一の搬送対象物に対して二重にピッキング処理を行うことのない、画像処理方法を用いたピッキング動作補正方法を提供することを目的とする。 The present invention has been made to solve the above-described problems of the prior art, and an object thereof is to provide an image processing method capable of reliably recognizing a conveyance object flowing on a conveyance means. . It is another object of the present invention to provide a picking operation correction method using an image processing method that does not double-pick the same conveyance object.
請求項１に係る発明では、一定の方向に搬送対象物を搬送する搬送手段と、搬送対象物の搬送経路上に視野を有する撮像手段と、この撮像手段により撮像された画像を処理する画像処理手段と、搬送手段の移動量を検出する移動量検出手段と、を備え、移動量検出手段により検出された搬送手段の移動量が所定の一定量となる毎に撮像手段により撮像を行い、この撮像画像を画像処理手段により処理するようにされた画像処理システムにおいて、以下の画像処理方法を行うようにした。 In the invention according to claim 1, a transport unit that transports a transport target in a certain direction, an image capturing unit that has a field of view on a transport path of the transport target, and an image process that processes an image captured by the image capture unit And an amount of movement detecting means for detecting the amount of movement of the conveying means, and each time the amount of movement of the conveying means detected by the amount of movement detecting means reaches a predetermined amount, an image is taken by the imaging means. In an image processing system in which a captured image is processed by an image processing means, the following image processing method is performed.
すなわち、予め搬送手段における搬送経路上にあって撮像手段により撮像可能な任意の位置を基準位置として設定するとともに、この基準位置に搬送対象物が存在するときの画像を基準画像として設定し、予め撮像手段による搬送手段上の撮像間隔が搬送手段の搬送方向に沿った撮像手段の視野から搬送対象物の最大長を差し引いた距離を超えないように設定した。そして、搬送手段を流れる搬送対象物を検出する場合は、画像処理手段において前回および今回におけるそれぞれの撮像画像と前記基準画像とのマッチング処理を行うことにより、前記基準位置を基準としたときの搬送対象物に関する前回の撮像画像における実際のずれ量および今回の撮像画像における実際のずれ量をそれぞれ検出し、前記前回の撮像画像における実際のずれ量に対して前記撮像間隔を加算することにより今回の撮像画像における推定されるずれ量を算出し、この今回の撮像画像における推定されるずれ量と前記今回の撮像画像における実際のずれ量との差を求め、この差が所定の許容値以下となった場合は前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とは同一であるものと判定するようにした。 That is, an arbitrary position that is on the transport path in the transport unit and can be imaged by the image capturing unit is set as a reference position, and an image when a transport target exists at the reference position is set as a reference image. The imaging interval on the conveying means by the imaging means was set so as not to exceed the distance obtained by subtracting the maximum length of the object to be conveyed from the field of view of the imaging means along the conveying direction of the conveying means. When detecting a transport object flowing through the transport unit, the image processing unit performs matching processing between the captured image in the previous time and the current time and the reference image, so that the transport when the reference position is used as a reference is performed. The actual shift amount in the previous captured image and the actual shift amount in the current captured image with respect to the object are detected, and the current interval is added to the actual shift amount in the previous captured image. An estimated shift amount in the captured image is calculated, and a difference between the estimated shift amount in the current captured image and the actual shift amount in the current captured image is obtained, and the difference is equal to or less than a predetermined allowable value. In the case where the transport object in the previous captured image is the same as the transport object in the current captured image
さらに、請求項２に係る発明では、前述した判定により前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とが同一であるものと判定された場合には、前記前回の撮像画像における実際のずれ量または前記今回の撮像画像における実際のずれ量のいずれかに基づいて、搬送手段上を搬送される搬送対象物に対してピッキング動作を行うようにされた移動手段において、当該移動手段が行うピッキング動作を補正するようにした。 Furthermore, in the invention which concerns on Claim 2, when it determines with the conveyance target in the last captured image and the conveyance target in this captured image being the same by the determination mentioned above, the said previous captured image In the moving means adapted to perform the picking operation on the object to be conveyed conveyed on the conveying means based on either the actual deviation amount in the current image or the actual deviation amount in the current captured image. The picking operation performed by the means is corrected.
本発明によれば、搬送手段における搬送経路に沿った撮像手段の視野の長さから搬送対象物の最大長さを差し引いた距離を上回らない移動間隔で、搬送経路近傍に所定配置された撮像手段により搬送手段上の搬送対象物を撮像し、画像処理手段により撮像された画像の処理を行い、搬送対象物の位置を求め、さらには前回撮像した時点からの搬送手段の移動距離を考慮することで、前回の撮像画像をもとに検出された搬送対象物と同一か否かをチェックするようにしたので、撮像漏れがなく、さらには同一の搬送対象物に対して二重に処理を行うことはなくなった。 According to the present invention, the imaging means arranged in the vicinity of the conveyance path at a movement interval not exceeding the distance obtained by subtracting the maximum length of the conveyance object from the length of the field of view of the imaging means along the conveyance path in the conveyance means. To capture the object to be conveyed on the conveying means, process the image captured by the image processing means, determine the position of the object to be conveyed, and further consider the moving distance of the conveying means from the time of the previous imaging Therefore, since it is checked whether or not it is the same as the transport object detected based on the previous captured image, there is no imaging omission, and further, the same transport object is processed twice. That was gone.
さらに、搬送手段上を連続搬送される搬送対象物に対するロボット等の移動手段によるピッキング作業において本発明に係る画像処理方法を適用すれば、移動手段が同一の搬送対象物に対して２重にピッキング処理を行うことなく、さらには移動手段による正確なピッキング動作を実現できるものとなった。 Furthermore, if the image processing method according to the present invention is applied to a picking operation by a moving means such as a robot for a transport object continuously transported on the transport means, the moving means picks twice the same transport object. An accurate picking operation by the moving means can be realized without performing processing.
以下、本発明を実施するための最良の形態について、図面を参照して説明する。まず、図２を参照して、本発明の一実施形態が適用されるシステムの構成図について説明する。搬送手段として一定の方向に動作するコンベア１を使用し、このコンベア１上を搬送対象物としてのワーク２が図示した搬送方向へ向かってランダムかつ連続して搬送される。コンベア１にはこれを駆動するための図示しないモータが設けられており、その回転軸にベルト等の伝達機構で接続された移動量検出手段としてのパルスジェネレータ３が取り付けられている。このパルスジェネレータ３が発生するパルスをカウントすることにより、コンベア１の移動量が検出される。
The best mode for carrying out the present invention will be described below with reference to the drawings. First, a configuration diagram of a system to which an embodiment of the present invention is applied will be described with reference to FIG. A conveyor 1 that operates in a certain direction is used as a conveying means, and a workpiece 2 as an object to be conveyed is conveyed randomly and continuously on the conveyor 1 in the illustrated conveying direction. The conveyor 1 is provided with a motor (not shown) for driving the conveyor 1, and a
コンベア１の近傍にはワーク１の搬送経路上に視野を有する撮像手段としてのカメラ４が設置されており、このカメラ４はその撮像を処理するための画像処理手段としての画像処理装置５に接続されている。さらに、コンベア１の近傍には、コンベア１上を流れるワーク２をピッキングしこれを次工程に移動させるための移動手段として多関節ロボット６が設置されており、この多関節ロボット６はロボット制御装置７により動作制御されている。なお、パルスジェネレータ３が発生するパルスは、ロボット制御装置７および画像処理装置５へ入力されている。
In the vicinity of the conveyor 1, a camera 4 is installed as an imaging means having a field of view on the transport path of the workpiece 1, and this camera 4 is connected to an image processing device 5 as an image processing means for processing the imaging. Has been. Further, an articulated robot 6 is installed in the vicinity of the conveyor 1 as a moving means for picking the workpiece 2 flowing on the conveyor 1 and moving it to the next process. The articulated robot 6 is a robot controller. The operation is controlled by 7. The pulses generated by the
次に、図３を参照して、本発明の一実施形態に係る画像処理方法について説明する。本実施形態においては、パルスジェネレータ３により検出されたコンベア１の移動量が所定の一定量Ｌ（後述する「撮像間隔Ｌ」に該当）となる毎にカメラ４により撮像を行い、その撮像画像を画像処理装置５により処理するようにされている。
Next, an image processing method according to an embodiment of the present invention will be described with reference to FIG. In this embodiment, every time the amount of movement of the conveyor 1 detected by the
カメラ４により撮像されるワーク２の位置は、任意の基準位置Ｐ０を基準にしたときのワーク位置のずれ量を求めることにより検出される。このため、基準位置Ｐ０の位置情報、および図３（ａ）に示す基準位置Ｐ０にワークＷ０が存在するときの画像すなわち基準画像について、これを画像処理装置５に予め登録しておく。なお、当然のことであるが、設定される基準位置Ｐ０の位置は、コンベア１における搬送経路上にあってカメラ４により撮像可能な位置である。 The position of the work 2 imaged by the camera 4 is detected by obtaining the amount of deviation of the work position when an arbitrary reference position P 0 is used as a reference. Thus, the image or the reference image when the position information of the reference position P 0, and the workpiece W 0 to the reference position P 0 shown in FIG. 3 (a) is present, is registered in advance in the image processing device 5 which . As a matter of course, the set position of the reference position P 0 is a position on the transport path in the conveyor 1 and capable of being imaged by the camera 4.
実際のワーク位置の検出においては、コンベア１が所定の撮像間隔Ｌを移動する毎に、カメラ４が撮像を行う。なお、撮像間隔Ｌの設定においては、コンベア１上を流れるワーク２の認識もれを防止するために、コンベア１の搬送方向に沿ったカメラ４の視野からワーク２の最大長を差し引いた距離を超えない間隔に設定する必要がある。カメラ４により撮像された図３（ｂ）に示す画像（後述する「前回の撮像画像」に該当）は、画像処理装置５により前述した図３（ａ）に示した基準画像とのマッチング処理が行われ、画像内のワークＷ１の位置Ｐ１が求められる。この位置Ｐ１と基準位置Ｐ０とを比較することにより、前回の撮像画像におけるワークＷ１の搬送方向に関する実際のずれ量ΔＸおよび幅方向に関する実際のずれ量ΔＹが検出される。 In the actual detection of the work position, the camera 4 performs imaging every time the conveyor 1 moves a predetermined imaging interval L. In setting the imaging interval L, the distance obtained by subtracting the maximum length of the workpiece 2 from the field of view of the camera 4 along the conveying direction of the conveyor 1 to prevent the workpiece 2 flowing on the conveyor 1 from being recognized. The interval must not be exceeded. 3B (corresponding to a “previous captured image” to be described later) captured by the camera 4 is subjected to matching processing with the reference image illustrated in FIG. performed, the position P 1 of the workpiece W 1 in the image is determined. By comparing the position P 1 and the reference position P 0, the actual shift amount ΔY of the actual displacement amount ΔX and the width direction about the transport direction of the workpiece W 1 in the previous captured image is detected.
図３（ｃ）は前述した図３（ｂ）に対して前述した所定の撮像間隔Ｌだけコンベア１が移動した際に撮像された画像（後述する「今回の撮像画像」に該当）を示したものである。この図３（ｃ）においては、ワークは２個（Ｗ１′およびＷ２）検出されている。それぞれのワーク（Ｗ１′およびＷ２）に対して、位置（Ｐ１′およびＰ２）を求め、前述した基準位置Ｐ０の位置情報に基づいて、今回の撮像画像におけるそれぞれのワーク（Ｗ１′およびＷ２）に関する実際のずれ量を検出する。詳細には、撮像された図３（ｃ）に示す画像（今回の撮像画像）は、画像処理装置５により前述した図３（ａ）に示した基準画像とのマッチング処理が行われ、画像内のワークＷ１′の位置Ｐ１′が求められる。この位置Ｐ１′と基準位置Ｐ０とを比較することにより、今回の撮像画像におけるワークＷ１′の搬送方向に関する実際のずれ量ΔＸ′および幅方向に関する実際のずれ量ΔＹ′が検出される。同様に、マッチング処理により画像内のワークＷ２の位置Ｐ２が求められ、この位置Ｐ２と基準位置Ｐ０とを比較することにより、今回の撮像画像におけるワークＷ２の搬送方向に関する実際のずれ量ΔＸ′′および幅方向に関する実際のずれ量ΔＹ′′が検出される。 FIG. 3C shows an image (corresponding to a “currently captured image” to be described later) captured when the conveyor 1 moves by the predetermined imaging interval L described above with respect to FIG. 3B described above. Is. In FIG. 3C, two workpieces (W 1 ′ and W 2 ) are detected. For each workpiece (W 1 ′ and W 2 ), the position (P 1 ′ and P 2 ) is obtained, and based on the position information of the reference position P 0 described above, each workpiece (W 1 'and W 2) about detecting the actual deviation amount. More specifically, the captured image (current captured image) shown in FIG. 3C is subjected to matching processing with the reference image shown in FIG. The position P 1 ′ of the workpiece W 1 ′ is obtained. By comparing the position P 1 ′ with the reference position P 0 , the actual deviation amount ΔX ′ in the current picked-up image in the conveyance direction of the work W 1 ′ and the actual deviation amount ΔY ′ in the width direction are detected. . Similarly, the position P 2 of the workpiece W 2 in the image is obtained by the matching process, and the actual position related to the conveyance direction of the workpiece W 2 in the current captured image is compared by comparing the position P 2 with the reference position P 0 . The deviation amount ΔX ″ and the actual deviation amount ΔY ″ in the width direction are detected.
このとき、図３（ｂ）に示した前回の撮像画像から得られた検出結果に対して、撮像間隔であるコンベア１の移動量Ｌを加算することにより、図３（ｃ）に示した今回の撮像画像上のどの位置にワークが現れるかを計算により推定する。具体的には、図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１の搬送方向に関する実際のずれ量ΔＸおよびコンベア１の移動量Ｌから、今回の撮像画像上ではワークＷ１はＬ−ΔＸの位置に現れるものと推定されることになる。このＬ−ΔＸが今回の撮像画像における搬送方向に関する推定されるずれ量である。なお、このときの幅方向に関する推定されるずれ量は、図３（ｂ）に示した前回の撮像画像と図３（ｃ）に示した今回の撮像画像とでは変化しないので、図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１の幅方向に関する実際のずれ量ΔＹと同じになる。 At this time, by adding the movement amount L of the conveyor 1 that is the imaging interval to the detection result obtained from the previous captured image shown in FIG. 3B, the current time shown in FIG. The position at which the work appears on the captured image is estimated by calculation. Specifically, the actual displacement amount ΔX and the movement amount L of the conveyor 1 about the transport direction of the detected workpiece W 1 on the previous captured image shown in FIG. 3 (b), on this captured image work W 1 is estimated to appear at the position of L−ΔX. This L-ΔX is an estimated deviation amount regarding the transport direction in the current captured image. Note that the estimated deviation amount in the width direction at this time does not change between the previous captured image shown in FIG. 3B and the current captured image shown in FIG. ) the same as the actual shift amount ΔY about a detected width direction of the workpiece W 1 on the previous captured image shown.
この前回の撮像画像の検出結果に対して撮像間隔であるコンベア１の移動量Ｌを加算することにより得られた今回の撮像画像における推定されたずれ量と、今回の撮像画像から得られた検出結果に基づく実際のずれ量とから、これら双方のずれ量の差ｄを計算する。そして、そのずれ量の差ｄが所定の許容値Ｄを下回った場合には、図３（ｂ）に示した前回の撮像画像上において検出されたワークと、図３（ｃ）に示した今回の撮像画像上において検出されたワークとが同一であると判定する。係る判定処理について、以下に詳述する。 The estimated shift amount in the current captured image obtained by adding the movement amount L of the conveyor 1 that is the imaging interval to the detection result of the previous captured image, and the detection obtained from the current captured image From the actual deviation amount based on the result, the difference d between the deviation amounts of both of them is calculated. When the difference d in the deviation amount is below a predetermined allowable value D, the workpiece detected on the previous captured image shown in FIG. 3B and the current time shown in FIG. It is determined that the workpiece detected on the captured image is the same. This determination process will be described in detail below.
ここでは、図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１と、図３（ｃ）に示した今回の撮像画像上において検出されたワークＷ１′とが、同一ワークであるか否かについて、その判定処理について説明する。図３（ｃ）に示した今回の撮像画像上において検出されたワークＷ１′に関しては、ずれ量の差ｄ、すなわち前回の撮像画像から得られた検出結果に対して撮像間隔であるコンベア１の移動量Ｌを加算することにより推定されたずれ量と、今回の撮像画像から得られた検出結果に基づく実際のずれ量との差ｄは、式（１）により求まる。
ｄ＝ＳＱＲＴ（（ΔＸ′−（Ｌ−ΔＸ））２＋（ΔＹ′−ΔＹ）２） （１）
ただし、式（１）において、ＳＱＲＴは平方根を示す。また、前述したように、式（１）において、ΔＸ′は今回の撮像画像におけるワークＷ１′の搬送方向に関する実際のずれ量、Ｌ−ΔＸは今回の撮像画像におけるワークＷ１の搬送方向に関する推定されるずれ量、ΔＹ′は今回の撮像画像におけるワークＷ１′の幅方向に関する実際のずれ量、ΔＹは今回の撮像画像におけるワークＷ１の幅方向に関する推定されるずれ量である。この式（１）により求められたずれ量の差ｄと前述した所定の許容値Ｄとを比較し、ｄ≦Ｄとなった場合は図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１と、図３（ｃ）に示した今回の撮像画像上において検出されたワークＷ１′とが同一であると判定する。なお、前述した所定の許容値Ｄは、パラメータとして任意に選択できることが望ましい。以上の画像処理（同一ワークであるか否かの判定処理）を行うことにより、カメラ４が撮像したコンベア１上を流れるワーク２について、これを確実に認識することが可能となる。
Here, the workpiece W 1 detected on the previous captured image shown in FIG. 3B and the workpiece W 1 ′ detected on the current captured image shown in FIG. 3C are the same. The determination process regarding whether or not the workpiece is a workpiece will be described. With respect to the workpiece W 1 ′ detected on the current captured image shown in FIG. 3C, the difference 1 in the deviation amount, that is, the conveyor 1 which is the imaging interval with respect to the detection result obtained from the previous captured image. The difference d between the amount of deviation estimated by adding the movement amount L of this and the actual amount of deviation based on the detection result obtained from the current picked-up image can be obtained by Expression (1).
d = SQRT ((ΔX ′ − (L−ΔX)) 2 + (ΔY′−ΔY) 2 ) (1)
However, in Formula (1), SQRT shows a square root. Further, as described above, in Expression (1), ΔX ′ is an actual deviation amount regarding the conveyance direction of the work W 1 ′ in the current captured image, and L−ΔX is related to the conveyance direction of the work W 1 in the current captured image. The estimated shift amount, ΔY ′, is the actual shift amount in the width direction of the work W 1 ′ in the current captured image, and ΔY is the estimated shift amount in the width direction of the work W 1 in the current captured image. The difference d of the deviation amount obtained by the equation (1) is compared with the above-mentioned predetermined allowable value D, and when d ≦ D, it is detected on the previous captured image shown in FIG. It is determined that the workpiece W 1 that has been detected and the workpiece W 1 ′ detected on the current captured image shown in FIG. Note that it is desirable that the above-described predetermined tolerance D can be arbitrarily selected as a parameter. By performing the above image processing (determination processing for determining whether or not they are the same workpiece), it is possible to reliably recognize the workpiece 2 flowing on the conveyor 1 imaged by the camera 4.
次に、移動手段としてのロボット６によるコンベア１上を流れるワーク２に対するピッキング動作について説明する。ロボット６には図３（ａ）に示した基準位置Ｐ０を基準としてコンベア１の移動量Ｌを加味し、ピッキング位置を予め教示しておく。すなわち、基準位置Ｐ０の位置でワーク２が検出された場合はずれ量を加味しなくともワーク２をピッキングできることになる。さらに具体的に言えば、図２で示すようにコンベア１を移動量Ｌｐだけ動作させた位置にワーク２を移動させ、この位置を基準にピッキング動作の教示位置を作成する。この教示位置にはコンベア１の移動量Ｌｐも記憶される。 Next, the picking operation | movement with respect to the workpiece | work 2 which flows on the conveyor 1 by the robot 6 as a moving means is demonstrated. The picking position is taught in advance to the robot 6 in consideration of the movement amount L of the conveyor 1 with reference to the reference position P 0 shown in FIG. That is, when the workpiece 2 is detected at the position of the reference position P 0 , the workpiece 2 can be picked without taking the deviation amount into account. More specifically, as shown in FIG. 2, the work 2 is moved to a position where the conveyor 1 is moved by the movement amount Lp, and a teaching position for the picking operation is created based on this position. The teaching position also stores the amount of movement Lp of the conveyor 1.
実際のピッキング処理を行う場合、コンベア１が所定の撮像間隔Ｌ移動する毎に検出された前述の画像処理（同一ワークであるか否かの判定処理）が行われた後におけるすべてのワークのずれ量、および撮像時のパルスジェネレータ３からの発生パルスのカウント値をロボット制御装置７に送る。ロボット制御装置７は、この発生パルスのカウント値を基準にコンベア１への追従動作を行うようにロボット６を駆動し、さらに前述したずれ量を基にワーク２の搬送方向および幅方向へのシフト動作（補正動作）をロボット６に対して行わせる。なお、ここでいう前述したずれ量としては、前述した前回の撮像画像における実際のずれ量または今回の撮像画像における実際のずれ量のいずれを使用してもよい。その理由は、前述した画像処理（同一ワークであるか否かの判定処理）によりロボット６によるピッキング動作は同一のワーク２に対して１回のみ行われることになるが、この場合は前述した式（１）で求められたずれ量の差ｄは許容値Ｄ以下となっているので、撮像間隔Ｌを考慮した上での前回の撮像画像における実際のずれ量と今回の撮像画像における実際のずれ量とはほとんど同じであるからである。これより、前述したずれ量を補正した正確なピッキング動作をロボット６により行わせることができる。
When actual picking processing is performed, all the workpieces are displaced after the above-described image processing (determination processing for determining whether or not they are the same workpiece) detected every time the conveyor 1 moves by a predetermined imaging interval L. The amount and the count value of the generated pulse from the
以上、本発明の一実施形態について説明した、前述した実施形態では、画像処理装置５において前述した同一ワークの判定処理を行うようにしていたが、本発明はこれに限定されるものではない。例えば、前述した実施形態のようにロボット６を使用したシステムであった場合は、検出したずれ量をすべてロボット制御装置７に送り、ロボット制御装置７内で同一ワークの判定処理を行うようにしてもよい。なお、この場合は、画像処理装置５側にはパルスジェネレータ３の発生パルスを入力する必要はなく、代わりにロボット制御装置７から撮像タイミングを指令する信号が画像処理装置５に入力されることになる。
As described above, in the above-described embodiment that describes one embodiment of the present invention, the above-described determination processing for the same workpiece is performed in the image processing apparatus 5, but the present invention is not limited to this. For example, in the case of a system using the robot 6 as in the above-described embodiment, all the detected deviation amounts are sent to the robot control device 7 and the same workpiece determination process is performed in the robot control device 7. Also good. In this case, it is not necessary to input the pulse generated by the
１ コンベア（搬送手段）
２ ワーク（搬送対象物）
３ パルスジェネレータ（移動量検出手段）
４ カメラ（撮像手段）
５ 画像処理装置（画像処理手段）
６ ロボット（移動手段）
７ ロボット制御装置
ｄ ずれ量の差
Ｄ 許容値
Ｌ 撮像間隔
ΔＸ 前回の撮像画像における搬送方向に関する実際のずれ量
ΔＸ′ 今回の撮像画像における搬送方向に関する実際のずれ量
ΔＹ 前回の撮像画像における幅方向に関する実際のずれ量
ΔＹ′ 今回の撮像画像における幅方向に関する実際のずれ量
1 Conveyor (conveying means)
2 Workpiece (object to be transported)
3 Pulse generator (movement amount detection means)
4 Camera (imaging means)
5 Image processing device (image processing means)
6 Robot (moving means)
7 Robot control device d Difference in deviation D Allowable value L Imaging interval ΔX Actual deviation in the conveyance direction in the previous captured image ΔX ′ Actual deviation in the conveyance direction in the current captured image ΔY Width direction in the previous captured image Amount of actual deviation with respect to the width direction in the current captured image
Claims (2)
前記搬送対象物の搬送経路上に視野を有する撮像手段と、
該撮像手段により撮像された画像を処理する画像処理手段と、
前記搬送手段の移動量を検出する移動量検出手段と、
を備え、
前記移動量検出手段により検出された前記搬送手段の移動量が所定の一定量となる毎に前記撮像手段により撮像を行い、該撮像画像を前記画像処理手段により処理するようにされた画像処理方法において、
予め前記搬送手段における搬送経路上にあって前記撮像手段により撮像可能な任意の位置を基準位置として設定するとともに該基準位置に前記搬送対象物が存在するときの画像を基準画像として設定し、
予め前記撮像手段による前記搬送手段上の撮像間隔が前記搬送手段の搬送方向に沿った前記撮像手段の視野から前記搬送対象物の最大長を差し引いた距離を超えないように設定し、
前記搬送手段を流れる前記搬送対象物を検出する場合は、
前記画像処理手段において前回および今回におけるそれぞれの撮像画像と前記基準画像とのマッチング処理を行うことにより、前記基準位置を基準としたときの前記搬送対象物に関する前回の撮像画像における実際のずれ量および今回の撮像画像における実際のずれ量をそれぞれ検出し、
前記前回の撮像画像における実際のずれ量に対して前記撮像間隔を加算することにより今回の撮像画像における推定されるずれ量を算出し、
該今回の撮像画像における推定されるずれ量と前記今回の撮像画像における実際のずれ量との差を求め、
該差が所定の許容値以下となった場合は前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とは同一であるものと判定するようにしたことを特徴とする画像処理方法。 Conveying means for conveying the object to be conveyed in a certain direction;
Imaging means having a field of view on a transport path of the transport object;
Image processing means for processing an image picked up by the image pickup means;
A movement amount detecting means for detecting a movement amount of the conveying means;
With
An image processing method in which an image is picked up by the image pickup means each time a movement amount of the transport means detected by the movement amount detection means reaches a predetermined amount, and the picked-up image is processed by the image processing means. In
An arbitrary position that is on the transport path in the transport unit in advance and can be imaged by the imaging unit is set as a reference position, and an image when the transport object is present at the reference position is set as a reference image,
The imaging interval on the conveyance means by the imaging means is set in advance so as not to exceed the distance obtained by subtracting the maximum length of the conveyance object from the field of view of the imaging means along the conveyance direction of the conveyance means,
When detecting the transport object flowing through the transport means,
In the image processing means, by performing matching processing between the previous and current captured images and the reference image, an actual shift amount in the previous captured image with respect to the transport object when the reference position is used as a reference, and Detect the actual shift amount in the captured image this time,
Calculating the estimated shift amount in the current captured image by adding the imaging interval to the actual shift amount in the previous captured image;
Find the difference between the estimated shift amount in the current captured image and the actual shift amount in the current captured image;
An image processing method characterized in that, when the difference is less than or equal to a predetermined allowable value, it is determined that the transport object in the previous captured image is the same as the transport object in the current captured image. .
前記搬送対象物の搬送経路上に視野を有する撮像手段と、
該撮像手段により撮像された画像を処理する画像処理手段と、
前記搬送手段の移動量を検出する移動量検出手段と、
前記搬送手段上を搬送される前記搬送対象物に対してピッキング動作を行う移動手段と、
を備え、
前記画像処理手段による画像処理結果に基づいて前記移動手段によるピッキング動作を補正するピッキング動作補正方法において、
予め前記搬送手段における搬送経路上にあって前記撮像手段により撮像可能な任意の位置を基準位置として設定するとともに該基準位置に前記搬送対象物が存在するときの画像を基準画像として設定し、
予め前記撮像手段による前記搬送手段上の撮像間隔が前記搬送手段の搬送方向に沿った前記撮像手段の視野から前記搬送対象物の最大長を差し引いた距離を超えないように設定し、
前記搬送手段上を流れる前記搬送対象物に対して前記移動手段によるピッキング動作を行う場合は、
前記画像処理手段において前回および今回におけるそれぞれの撮像画像と前記基準画像とのマッチング処理を行うことにより、前記基準位置を基準としたときの前記搬送対象物に関する前回の撮像画像における実際のずれ量および今回の撮像画像における実際のずれ量をそれぞれ検出し、
前記前回の撮像画像における実際のずれ量に対して前記撮像間隔を加算することにより今回の撮像画像における推定されるずれ量を算出し、
該今回の撮像画像における推定されるずれ量と前記今回の撮像画像における実際のずれ量との差を求め、
該差が所定の許容値以下となった場合は前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とは同一であるものと判定し、
該判定により前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とが同一であるものと判定された場合には、前記前回の撮像画像における実際のずれ量または前記今回の撮像画像における実際のずれ量のいずれかに基づいて前記移動手段が行うピッキング動作を補正するようにしたことを特徴とするピッキング動作補正方法。 Conveying means for conveying the object to be conveyed in a certain direction;
Imaging means having a field of view on a transport path of the transport object;
Image processing means for processing an image picked up by the image pickup means;
A movement amount detecting means for detecting a movement amount of the conveying means;
Moving means for performing a picking operation on the object to be transported conveyed on the transport means;
With
In the picking operation correction method for correcting the picking operation by the moving unit based on the image processing result by the image processing unit,
An arbitrary position that is on the transport path in the transport unit in advance and can be imaged by the imaging unit is set as a reference position, and an image when the transport object is present at the reference position is set as a reference image,
The imaging interval on the conveyance means by the imaging means is set in advance so as not to exceed the distance obtained by subtracting the maximum length of the conveyance object from the field of view of the imaging means along the conveyance direction of the conveyance means,
When performing the picking operation by the moving means on the transport object that flows on the transport means,
In the image processing means, by performing matching processing between the previous and current captured images and the reference image, an actual shift amount in the previous captured image with respect to the transport object when the reference position is used as a reference, and Detect the actual shift amount in the captured image this time,
Calculating the estimated shift amount in the current captured image by adding the imaging interval to the actual shift amount in the previous captured image;
Find the difference between the estimated shift amount in the current captured image and the actual shift amount in the current captured image;
When the difference is equal to or less than a predetermined allowable value, it is determined that the transport object in the previous captured image is the same as the transport object in the current captured image,
When it is determined by the determination that the transport object in the previous captured image is the same as the transport object in the current captured image, the actual shift amount in the previous captured image or the current captured image A picking operation correction method characterized in that the picking operation performed by the moving means is corrected based on any of the actual deviation amounts.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005219205A JP2007033328A (en) | 2005-07-28 | 2005-07-28 | Image processing method and picking operation correcting method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005219205A JP2007033328A (en) | 2005-07-28 | 2005-07-28 | Image processing method and picking operation correcting method using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007033328A true JP2007033328A (en) | 2007-02-08 |
Family
ID=37792768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005219205A Withdrawn JP2007033328A (en) | 2005-07-28 | 2005-07-28 | Image processing method and picking operation correcting method using the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007033328A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103313921A (en) * | 2011-02-15 | 2013-09-18 | 欧姆龙株式会社 | Image processing apparatus and image processing system |
| JP2019025634A (en) * | 2017-08-03 | 2019-02-21 | ファナック株式会社 | Article conveyance device |
| CN110371632A (en) * | 2018-04-13 | 2019-10-25 | 三星显示有限公司 | Panel carrying device and panel delivery method |
| US10507990B2 (en) | 2017-07-26 | 2019-12-17 | Fanuc Corporation | Article transport system and transport system controller |
-
2005
- 2005-07-28 JP JP2005219205A patent/JP2007033328A/en not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103313921A (en) * | 2011-02-15 | 2013-09-18 | 欧姆龙株式会社 | Image processing apparatus and image processing system |
| US9741108B2 (en) | 2011-02-15 | 2017-08-22 | Omron Corporation | Image processing apparatus and image processing system for conveyor tracking |
| US10507990B2 (en) | 2017-07-26 | 2019-12-17 | Fanuc Corporation | Article transport system and transport system controller |
| DE102018117441B4 (en) * | 2017-07-26 | 2020-08-13 | Fanuc Corporation | ITEM TRANSPORT SYSTEM AND TRANSPORT SYSTEM CONTROL DEVICE |
| JP2019025634A (en) * | 2017-08-03 | 2019-02-21 | ファナック株式会社 | Article conveyance device |
| CN109384039A (en) * | 2017-08-03 | 2019-02-26 | 发那科株式会社 | Apparatus for handling goods |
| US10596707B2 (en) | 2017-08-03 | 2020-03-24 | Fanuc Corporation | Article transfer device |
| CN110371632A (en) * | 2018-04-13 | 2019-10-25 | 三星显示有限公司 | Panel carrying device and panel delivery method |
| CN110371632B (en) * | 2018-04-13 | 2023-10-13 | 三星显示有限公司 | Panel conveying device and panel conveying method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10442633B2 (en) | Robot system | |
| CN109108959B (en) | Robot system | |
| WO2009148089A1 (en) | Handling apparatus, control device, control method, and program | |
| JP5316563B2 (en) | Image processing apparatus and image processing system | |
| US10521871B2 (en) | Robot system | |
| JP5198155B2 (en) | HANDLING DEVICE, WORK HANDLING METHOD, AND SIGNAL PROCESSING DEVICE | |
| US10604357B2 (en) | Article transfer system and robot system | |
| CN109384039B (en) | Article carrying device | |
| JP6506356B2 (en) | Article conveyance system and conveyance system control device | |
| JP2016016915A (en) | Article alignment device for aligning articles on conveyer | |
| JP2009028818A (en) | Robot system | |
| CN110081816B (en) | Article carrying system | |
| JP2016147330A (en) | Control apparatus based on object recognition | |
| JP2007033328A (en) | Image processing method and picking operation correcting method using the same | |
| JP5198161B2 (en) | Handling apparatus and work handling method | |
| JP2021045835A (en) | Robot system | |
| CN111051014B (en) | Robot system and method for operating conveyed workpiece | |
| JP2010021417A (en) | Board appearance inspection device, and method for forming image for board appearance inspection | |
| JP2004355419A (en) | Physical distribution system | |
| JP7328017B2 (en) | Robot system and controller | |
| JP5962587B2 (en) | Detection apparatus and detection method | |
| JP2010125583A (en) | Robot arm device, and control method and control program of the robot arm device | |
| CN114800484A (en) | Robot system control method and robot system | |
| JP2000348174A (en) | Card examination device | |
| JP2023038780A (en) | Conveyor tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080617 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100507 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100729 |