JP2010064202A - Picking device and method - Google Patents

Picking device and method Download PDF

Info

Publication number
JP2010064202A
JP2010064202A JP2008233765A JP2008233765A JP2010064202A JP 2010064202 A JP2010064202 A JP 2010064202A JP 2008233765 A JP2008233765 A JP 2008233765A JP 2008233765 A JP2008233765 A JP 2008233765A JP 2010064202 A JP2010064202 A JP 2010064202A
Authority
JP
Japan
Prior art keywords
article
image
area
height
take
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008233765A
Other languages
Japanese (ja)
Other versions
JP5360369B2 (en
Inventor
Tomohiro Inoue
智洋 井之上
Toshihiro Hayashi
俊寛 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2008233765A priority Critical patent/JP5360369B2/en
Publication of JP2010064202A publication Critical patent/JP2010064202A/en
Application granted granted Critical
Publication of JP5360369B2 publication Critical patent/JP5360369B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent erroneously recognizing that an article exists at a position where the article is not supposed to exist, and reduce image processing time. <P>SOLUTION: A picking device 10 for gripping and taking out the article 1 at a take-out position includes an imaging device 3 to acquire image data of a region including the article 1 by imaging from above the article 1 at the take-out position; an image region extraction device 7 to extract from the image data an article existing image region where the article 1 should exist in the image data, based on the input height of the article 1; an image processing device 9 to acquire recognition data of the article 1 by performing image processing with respect to the article existing image region; and a take-out device 11 to grip and take out the article 1 based on the recognition data. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、取出位置にある物品を把持して取り出すピッキング装置と方法に関する。   The present invention relates to a picking apparatus and method for gripping and taking out an article at a take-out position.

従来、ピッキング装置により、所定の取出位置にある物品を取り出すことが行われている。この取り出しは、次のような手順で行われている。   Conventionally, an article at a predetermined take-out position has been taken out by a picking device. This extraction is performed in the following procedure.

まず、ＣＣＤカメラなどの撮像装置により、取出位置にあるパレットに積載された物品を上方から撮像することで、画像データを取得する。
次に、この画像データに対し画像処理を行うことで、物品を認識する。例えば、画像処理装置が、物品上面の角部に関するパターン情報を予め記憶しておく。その上で、取得した前記画像データから物品上面の角部を抽出し、抽出した角部と前記パターン情報とをマッチングさせることで、物品の位置や向きを物品の認識データとして取得する。
その後、認識データに基づいて、多関節ロボットなどの取出装置により認識した物品を把持して取り出す。 First, image data is acquired by picking up an image of an article loaded on a pallet at the take-out position from above with an imaging device such as a CCD camera.
Next, the article is recognized by performing image processing on the image data. For example, the image processing apparatus stores in advance pattern information related to corners on the upper surface of the article. Then, the corner of the upper surface of the article is extracted from the acquired image data, and the extracted corner and the pattern information are matched, thereby acquiring the position and orientation of the article as article recognition data.
Thereafter, based on the recognition data, the article recognized by the take-out device such as an articulated robot is grasped and taken out.

このようなピッキング装置は、例えば下記の特許文献１に記載されている。なお、本願の他の先行技術文献として下記の特許文献２がある。
特開２００２―１３９１３号公報 特開２００７−１４０７２９号公報 Such a picking apparatus is described, for example, in Patent Document 1 below. In addition, there exists the following patent document 2 as another prior art document of this application.
Japanese Patent Laid-Open No. 2002-13913 JP 2007-140729 A

しかし、従来においては、撮像装置により取得した画像データの全体に対して画像処理を行っていたため、物品が存在しないはずの位置において物品が存在すると誤認識してしまう場合があった。
また、取得した画像データの全体に対して画像処理を行っていたため、画像処理時間の短縮に限界があった。 However, conventionally, since image processing is performed on the entire image data acquired by the imaging apparatus, there is a case in which it is erroneously recognized that an article exists at a position where the article should not exist.
In addition, since image processing is performed on the entire acquired image data, there is a limit to shortening the image processing time.

そこで、本発明の目的は、物品が存在しないはずの位置において物品が存在すると誤認識することを防止するとともに、画像処理時間を短縮することができるピッキング装置と方法を提供することにある。   SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a picking apparatus and method capable of preventing erroneous recognition that an article exists at a position where the article should not exist, and reducing the image processing time.

上記目的を達成するため、本発明によると、取出位置にある物品を把持して取り出すピッキング装置であって、
取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得する撮像装置と、
前記画像データ内に前記物品が存在するべき物品存在画像領域を、入力された前記物品の高さに基づいて、前記画像データから抽出する画像領域抽出装置と、
前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得する画像処理装置と、
前記認識データに基づいて、前記物品を把持して取り出す取出装置と、を備える、ことを特徴とするピッキング装置が提供される。 In order to achieve the above object, according to the present invention, there is provided a picking apparatus for gripping and taking out an article at an extraction position,
An imaging device that obtains image data of an area including the article by imaging the article at the take-out position from above;
An image area extraction device that extracts an article presence image area where the article should be present in the image data based on the input height of the article;
An image processing device that acquires recognition data of the article by performing image processing on the article presence image area;
There is provided a picking device comprising: a take-out device that grasps and takes out the article based on the recognition data.

このピッキング装置では、画像領域抽出装置は、前記物品の高さに基づいて、前記画像データ内に前記物品が存在するべき物品存在画像領域を抽出し、画像処理装置は、前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得するので、次の効果（１）、（２）が得られる。
（１）物品存在画像領域以外において物品を誤認識することが無くなる。
（２）認識データを得るために行う画像処理の範囲が、物品存在画像領域に制限されるので、画像処理時間を短縮させることが可能になる。 In this picking apparatus, the image area extraction apparatus extracts an article presence image area where the article should be present in the image data based on the height of the article, and the image processing apparatus extracts the article existence image area. On the other hand, since the recognition data of the article is obtained by performing image processing, the following effects (1) and (2) are obtained.
(1) An article is not erroneously recognized outside the article presence image area.
(2) Since the range of image processing performed to obtain recognition data is limited to the article presence image area, it is possible to shorten the image processing time.

本発明の好ましい実施形態によると、前記画像領域抽出装置は、前記物品の高さと前記物品存在画像領域との予め定められた関係に基づいて、前記物品存在画像領域を抽出する。   According to a preferred embodiment of the present invention, the image area extraction device extracts the article presence image area based on a predetermined relationship between the height of the article and the article presence image area.

このように、前記物品の高さと物品存在画像領域との関係を予め作成しておき、この関係に物品の高さを適用して物品存在画像領域を抽出することができる。   In this way, a relationship between the height of the article and the article presence image region is created in advance, and the article presence image region can be extracted by applying the height of the article to this relationship.

また、本発明の好ましい実施形態によると、前記物品はパレットに積載されており、
前記物品存在画像領域は、前記パレットの存在領域から物品寸法の半分程度だけ外側に広げた領域である。 According to a preferred embodiment of the present invention, the article is loaded on a pallet,
The article presence image area is an area extended outward from the existence area of the pallet by about half of the article size.

このように、前記物品存在画像領域は、前記パレットの存在領域から物品寸法の半分程度だけ外側に広げた領域であるので、物品が前記パレットの存在領域からはみ出している場合、荷崩れが発生していることを前記画像処理で検知できる。なお、物品がその寸法の半分より大きくパレットからはみ出すと、物品はパレットから落下するので、前記物品存在画像領域は望ましい画像処理範囲である。   Thus, since the article presence image area is an area that extends outward from the existence area of the pallet by about half of the article size, if the article protrudes from the existence area of the pallet, cargo collapse occurs. It can be detected by the image processing. Note that when the article exceeds the half of its size and protrudes from the pallet, the article falls from the pallet, so the article presence image area is a desirable image processing range.

また、本発明の好ましい実施形態によると、水平方向の複数箇所において前記物品が上下複数段に積まれており、
これらすべての物品のうち最も高い位置にある物品の前記高さに基づいて、前記画像領域抽出装置は物品存在画像領域を抽出する。 In addition, according to a preferred embodiment of the present invention, the articles are stacked in a plurality of upper and lower stages at a plurality of locations in the horizontal direction,
Based on the height of the article at the highest position among all these articles, the image area extraction device extracts the article presence image area.

このように、水平方向の複数箇所において上下複数段に積まれた物品のうち、最も高い位置にある物品の高さに基づいて、前記画像領域抽出装置は物品存在画像領域を抽出するので、高い順に物品の認識データを取得して物品を取り出すことができる。   As described above, the image area extraction device extracts the article presence image area based on the height of the article at the highest position among the articles stacked in a plurality of levels in the upper and lower parts in the horizontal direction. The article recognition data can be acquired in order to take out the article.

また、上記目的を達成するため、本発明によると、上述のピッキング装置を用いて物品をピッキングするピッキング方法であって、
前記物品が上下複数段に積まれており、これら物品のうち最上段にある物品から順に、各段毎に物品取出処理を行い、
該物品取出処理は、
（Ａ）取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得するステップと、
（Ｂ）前記画像データ内に前記物品が存在するべき物品存在画像領域を、高さ検出装置により取得された物品の高さに基づいて、前記画像データから抽出するステップと、
（Ｃ）前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得し、
（Ｄ）前記認識データに基づいて、前記物品を把持して取り出すステップと、を有する、ことを特徴とするピッキング方法が提供される。 In order to achieve the above object, according to the present invention, there is provided a picking method for picking an article using the above picking device,
The articles are stacked in a plurality of stages above and below, and in order from the article at the top of these articles, the article removal processing is performed for each stage,
The article removal processing is
(A) acquiring an image data of a region including the article by imaging the article at the take-out position from above;
(B) extracting an article presence image region where the article should be present in the image data from the image data based on the height of the article acquired by a height detection device;
(C) By performing image processing on the article presence image area, the recognition data of the article is acquired,
And (D) a step of gripping and taking out the article based on the recognition data.

このピッキング方法では、前記物品が上下複数段に積まれており、これら物品のうち最上段にある物品から順に、各段毎に前記ステップ（Ａ）〜（Ｄ）を行い、ステップ（Ｂ）では，に前記物品が存在するべき物品存在画像領域を抽出し，ステップ（Ｃ）では、物品存在画像領域に対して画像処理を行うので、上述の効果（１）、（２）が得られ、 複数段の物品を取り出すのに要する時間が大幅に短縮される。   In this picking method, the articles are stacked in a plurality of stages, and the steps (A) to (D) are performed for each stage in order from the article at the top of the articles. , The article existence image area where the article should exist is extracted, and in step (C), the image processing is performed on the article existence image area, so that the above effects (1) and (2) are obtained. The time required to remove the stepped article is greatly reduced.

上述した本発明によると、物品が存在しないはずの位置において物品が存在すると誤認識することを防止するとともに、画像処理時間を短縮することができる。   According to the present invention described above, it is possible to prevent erroneous recognition that an article exists at a position where the article should not exist, and to shorten the image processing time.

本発明を実施するための最良の実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。   The best mode for carrying out the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.

図１は、本発明の実施形態によるピッキング装置１０の構成図である。ピッキング装置１０は、取出位置にある物品１を把持して取り出す装置であり、撮像装置３、高さ検出装置５、画像領域抽出装置７、画像処理装置９、および、取出装置１１を備える。   FIG. 1 is a configuration diagram of a picking apparatus 10 according to an embodiment of the present invention. The picking device 10 is a device that grips and takes out the article 1 at the take-out position, and includes an imaging device 3, a height detection device 5, an image region extraction device 7, an image processing device 9, and a take-out device 11.

撮像装置３は、取出位置にある物品１を上方から撮像することで、該物品１を含む領域の画像データを取得する。撮像装置３は、例えばＣＣＤカメラであってよい。物品１は、この例では直方体の箱である。   The imaging device 3 acquires the image data of the area including the article 1 by imaging the article 1 at the take-out position from above. The imaging device 3 may be a CCD camera, for example. The article 1 is a rectangular parallelepiped box in this example.

高さ検出装置５は、前記物品１の高さ、即ち、鉛直方向位置を検出し、検出した物品１の高さを画像領域抽出装置７へ入力する。高さ検出装置５は、例えば、前記物品１の上方から前記物品１の高さを計測するレーザ距離計であってもよいし、２つのＣＣＤカメラを用いて前記物品１の上方から２つの画像データを取得し、これら２つ画像データから視差により物品１の高さを検出するステレオ撮像装置であってもよい。
なお、取出位置において物品１が上下複数段に積まれている場合には、最上段の物品１の高さが、高さ検出装置５により検出されて画像領域抽出装置７へ入力される。さらに、図１の例のように、取出位置において、水平方向の複数箇所に前記物品１が上下複数段に積まれている場合には、これらすべての物品１のうち最も高い位置にある物品１の高さが、高さ検出装置５により検出されて画像領域抽出装置７へ入力される。 The height detection device 5 detects the height of the article 1, that is, the vertical position, and inputs the detected height of the article 1 to the image region extraction device 7. The height detection device 5 may be, for example, a laser distance meter that measures the height of the article 1 from above the article 1 or two images from above the article 1 using two CCD cameras. A stereo imaging device that acquires data and detects the height of the article 1 from the two image data by parallax may be used.
When the articles 1 are stacked in a plurality of levels at the take-out position, the height of the uppermost article 1 is detected by the height detection device 5 and input to the image region extraction device 7. Furthermore, as shown in the example of FIG. 1, when the articles 1 are stacked in a plurality of levels in the vertical direction at the take-out position, the article 1 at the highest position among all these articles 1. Is detected by the height detection device 5 and input to the image region extraction device 7.

画像領域抽出装置７は、入力された前記物品１の高さに基づいて、前記画像データ内に前記物品１が存在するべき物品存在画像領域を前記画像データから抽出する。本実施形態では、前記画像領域抽出装置７は、物品１の高さと物品存在画像領域との予め定められた関係に基づいて、前記物品存在画像領域を抽出する。
この例では、物品１は取出位置にあるパレット２に積載されているので、パレット２の矩形上面領域を前記物品存在画像領域としてもよい。代わりに、前記物品存在画像領域を、前記パレット２の存在領域（矩形上面領域）から物品寸法Ｌの半分Ｌ／２だけ外側に広げた矩形領域としてもよい。この広げた矩形領域は、図２の領域Ａである。図２は、図１のＩＩ−ＩＩ線矢視図であり、パレット２と物品１のみを示す。 The image area extraction device 7 extracts an article presence image area in which the article 1 should exist in the image data based on the input height of the article 1 from the image data. In the present embodiment, the image area extraction device 7 extracts the article presence image area based on a predetermined relationship between the height of the article 1 and the article presence image area.
In this example, since the article 1 is loaded on the pallet 2 in the take-out position, the rectangular upper surface area of the pallet 2 may be used as the article presence image area. Instead, the article presence image area may be a rectangular area that extends outward from the existence area (rectangular upper surface area) of the pallet 2 by half L / 2 of the article dimension L. This expanded rectangular area is area A in FIG. FIG. 2 is a view taken along the line II-II in FIG. 1 and shows only the pallet 2 and the article 1.

画像処理装置９は、前記物品存在画像領域に対して画像処理を行うことで、前記物品１の認識データを取得する。   The image processing device 9 acquires recognition data of the article 1 by performing image processing on the article presence image area.

取出装置１１は、前記認識データに基づいて、前記物品１を把持して取り出す。取出装置１１は、例えば、吸着により物品１を把持する把持部を有し、該把持部を３次元的に移動させる多関節ロボットであってよい。   The take-out device 11 grips and takes out the article 1 based on the recognition data. The take-out device 11 may be, for example, an articulated robot that has a grip portion that grips the article 1 by suction and moves the grip portion in a three-dimensional manner.

本実施形態についてより詳しく説明する。まず、前記関係の求め方について説明し、その後に、画像処理装置９による画像処理について説明する。   This embodiment will be described in more detail. First, how to obtain the relationship will be described, and then image processing by the image processing device 9 will be described.

（前記関係の求め方）
前記関係は、図３に示す手順で予め定められる。 (How to find the relationship)
The relationship is predetermined by the procedure shown in FIG.

ステップＳ１において、前記取出位置において第１の高さにパレット２を位置させ、このパレット２を上方から撮像装置３により撮像することで第１の画像データを取得する。例えば、図４（Ａ）のように、前記取出位置に１段だけパレット２を配置することで、このパレット２を第１の高さに位置させ、このパレット２について第１の画像データを取得する。   In step S1, the pallet 2 is positioned at the first height at the take-out position, and the pallet 2 is picked up by the image pickup device 3 from above to obtain first image data. For example, as shown in FIG. 4A, the pallet 2 is positioned at the first height by arranging the pallet 2 at the extraction position, and the first image data is acquired for the pallet 2. To do.

ステップＳ２において、第１の画像データに対し画像処理を行うことで、第１の画像データにおける前記パレット２の位置情報Ａを取得する。この位置情報Ａは、パレット２の上面における角（頂点）の座標Ａ（ｘａ，ｙａ，ｚａ）であってよい。ｘａは、水平方向であるｘ方向に関する位置座標であり、ｙａは、ｘ方向と直交する水平方向であるｙ方向に関する位置座標であり、ｚａは、鉛直方向に関する位置座標（即ち、前記第１の高さ）である。なお、第１の画像データは、ステレオ撮像装置３により得られた３次元画像データであってもよい。 In step S2, the position information A of the palette 2 in the first image data is acquired by performing image processing on the first image data. This position information A may be the coordinates A (x a , y a , z a ) of the corners (vertices) on the upper surface of the pallet 2. x a is a position coordinate related to the x direction that is the horizontal direction, y a is a position coordinate related to the y direction that is a horizontal direction orthogonal to the x direction, and z a is a position coordinate related to the vertical direction (ie, 1st height). Note that the first image data may be three-dimensional image data obtained by the stereo imaging device 3.

ステップＳ３において、同じ前記取出位置において、第１の高さと異なる第２の高さに前記パレット２を位置させ、このパレット２を上方から撮像装置３により撮像することで第２の画像データを取得する。例えば、図４（Ｂ）のように、前記取出位置に複数段だけパレット２を積み上げることで、これらパレット２のうち最上段のパレット２を第２の高さに位置させ、このパレット２について第２の画像データを取得する。なお、これらパレット２は、同じ寸法と形状を有する。   In step S3, at the same extraction position, the pallet 2 is positioned at a second height different from the first height, and the pallet 2 is captured by the imaging device 3 from above to obtain second image data. To do. For example, as shown in FIG. 4B, by stacking a plurality of pallets 2 at the take-out position, the uppermost pallet 2 of these pallets 2 is positioned at the second height. 2 image data is acquired. These pallets 2 have the same dimensions and shapes.

ステップＳ４において、第２の画像データに対し画像処理を行うことで、第２の画像データにおける前記パレット２の位置情報Ｂを取得する。この位置情報Ｂは、パレット２の上面における角（頂点）の座標Ｂ（ｘｂ，ｙｂ，ｚｂ）であってよい。ｘｂは、水平方向であるｘ方向に関する位置座標であり、ｙｂは、ｘ方向と直交する水平方向であるｙ方向に関する位置座標であり、ｚｂは、鉛直方向に関する位置座標（即ち、前記第２の高さ）である。なお、第２の画像データは、ステレオ撮像装置３により得られた３次元画像データであってもよい。
なお、同じ撮像装置３を同じ位置に配置して、ステップＳ１とステップＳ３とが行われる。また、互いに直交する水平２方向に関する、パレット２の中心位置（例えば、重心位置）と向きを同じにして、ステップＳ１とステップＳ３とが行われる。また、ステップＳ１とステップＳ３で使用する撮像装置３は、後述のステップＳ１１で使用する撮像装置３と同じであるのがよい。 In step S4, the position information B of the palette 2 in the second image data is acquired by performing image processing on the second image data. The position information B may be corner B (vertex) coordinates B (x b , y b , z b ) on the top surface of the pallet 2. x b is the position coordinate x direction is a horizontal direction, y b is a position coordinate in the y-direction is a horizontal direction orthogonal to the x direction, z b, the position coordinates for the vertical direction (i.e., the Second height). Note that the second image data may be three-dimensional image data obtained by the stereo imaging device 3.
Note that the same imaging device 3 is arranged at the same position, and step S1 and step S3 are performed. Further, Step S1 and Step S3 are performed with the same direction as the center position (for example, the center of gravity position) of the pallet 2 in the two horizontal directions orthogonal to each other. The imaging device 3 used in step S1 and step S3 is preferably the same as the imaging device 3 used in step S11 described later.

ステップＳ５において、前記関係を取得する。前記関係は、例えば、前記位置情報Ａ，Ｂを用いた次の［数１］であってよい。   In step S5, the relationship is acquired. The relationship may be, for example, the following [Equation 1] using the position information A and B.

Figure 2010064202
Figure 2010064202

前記［数１］において、ｚは、物品１の高さ（鉛直方向位置）を示し、４つの頂点から得られたそれぞれのｘ、ｙは、前記物品存在画像領域の角（頂点）を定める。なお、物品１が上下複数段に積載されている場合には、ｚは、これら物品１のうち最上段の物品１の高さであり、水平方向における複数箇所において前記物品１が上下複数段に積まれている場合には、ｚは、これらすべての物品１のうち最も高い位置にある物品１の高さである。
この例では、パレット２の上面が矩形であるので、パレット２の上面領域を前記物品存在画像領域とする場合には、パレット２の上面の各頂点についての前記［数１］により、前記物品存在画像領域（パレット２の矩形上面領域）が定められる。
一方、前記物品存在画像領域を、前記パレット２の存在領域（矩形上面領域）から物品１の水平方向寸法Ｌの半分Ｌ／２だけ外側に広げた矩形領域（図２の領域Ａ）である場合には、この矩形領域の各頂点についての前記［数１］により、前記物品存在画像領域（パレット２の上面領域）が定められる。なお、物品１の前記水平方向寸法は、撮像装置３により取得された画像データ内における当該物品１の寸法であり、物品１の上面が長方形である場合には、長辺の長さの半分であってよい。 In [Equation 1], z represents the height (vertical position) of the article 1, and x and y obtained from four vertices define the corner (vertex) of the article presence image area. When the articles 1 are stacked in a plurality of upper and lower stages, z is the height of the uppermost article 1 among these articles 1, and the articles 1 are arranged in a plurality of upper and lower stages at a plurality of positions in the horizontal direction. When stacked, z is the height of the article 1 at the highest position among all these articles 1.
In this example, since the upper surface of the pallet 2 is rectangular, when the upper surface area of the pallet 2 is the article presence image area, the presence of the article is calculated according to [Equation 1] for each vertex of the upper surface of the pallet 2. An image area (rectangular upper surface area of the palette 2) is defined.
On the other hand, when the article presence image area is a rectangular area (area A in FIG. 2) that extends outward from the existence area (rectangular upper surface area) of the pallet 2 by half L / 2 of the horizontal dimension L of the article 1. The article presence image area (the upper surface area of the pallet 2) is determined by the [Equation 1] for each vertex of the rectangular area. Note that the horizontal dimension of the article 1 is the dimension of the article 1 in the image data acquired by the imaging device 3. If the top surface of the article 1 is rectangular, it is half the length of the long side. It may be.

（画像処理装置９による画像処理）
上述のように求めた前記関係を用いた物品１のピッキング方法を図５に示す。 (Image processing by the image processing device 9)
FIG. 5 shows a picking method for the article 1 using the relationship obtained as described above.

ステップＳ１１において、撮像装置３により、取出位置にある物品１を上方から撮像することで、該物品１を含む領域の画像データを取得する。この例では、水平方向の複数箇所において物品１が上下複数段にパレット２に積まれているので、パレット２の範囲を含む画像データを取得する。なお、この画像データにおけるパレット２の背景を黒くして、パレット２上の物品１が、後述の画像処理で認識しやすくするのがよい。そのために、例えば、パレット２の周囲に黒い紙など配置しておき、この状態で前記撮像を行い画像データを取得する。   In step S <b> 11, the imaging device 3 captures an image of the article 1 at the take-out position from above, thereby acquiring image data of a region including the article 1. In this example, since the articles 1 are stacked on the pallet 2 at a plurality of levels in the horizontal direction, image data including the range of the pallet 2 is acquired. Note that the background of the pallet 2 in the image data is preferably black so that the article 1 on the pallet 2 can be easily recognized by image processing described later. For this purpose, for example, black paper or the like is placed around the pallet 2 and the image is taken in this state to obtain image data.

ステップＳ１２において、高さ検出装置５により、取出位置にある物品１の高さを検出する。この例では、パレット２上にある複数の物品１のうち最も高い位置にある物品１の高さを検出する。この高さは、高さ検出装置５から画像領域抽出装置７へ入力される。   In step S12, the height detection device 5 detects the height of the article 1 at the take-out position. In this example, the height of the article 1 at the highest position among the plurality of articles 1 on the pallet 2 is detected. This height is input from the height detection device 5 to the image region extraction device 7.

ステップＳ１３において、ステップＳ１２で入力された物品１の高さと前記関係とに基づいて、画像領域抽出装置７が、ステップＳ１１で取得した前記画像データ内に前記物品１が存在するべき物品存在画像領域を当該画像データから抽出する。即ち、ステップＳ１２で入力された物品１の高さを前記関係に適用することで、ステップＳ１１で取得した前記画像データにおける物品存在画像領域を特定して抽出する。
高さ検出装置５は、２つのＣＣＤカメラを用いたステレオ撮像装置であってもよい。このステレオ撮像装置は、２つのＣＣＤカメラで撮像した画像データからステレオマッチングにより、３次元画像データを取得する装置である。この場合には、ステップＳ１３において、物品存在画像領域の高精度化を行ってもよい。この高精度化を図６のフローチャートに基づいて説明する。まず、ステップＳ２１において、ステップＳ１２で取得された物品１の高さと前記関係とに基づいて、物品存在画像領域に相当する最上段領域を定める。ステップＳ２２において、ステップＳ２１で定めた最上段領域と、高さ検出装置５により取得された３次元画像データのうち最も高い位置にある物品１と同じ高さの最上段画像データとを重ね合わせることで、ノイズなどの不必要なデータを除いて、当該最上段画像データから物品存在画像領域を抽出する。これにより、物品存在画像領域の高精度化がなされる。ステップＳ２３において、このように高精度化された物品存在画像領域と、ステップＳ１１で取得した２次元処理用の２次元画像データとを重ね合わせる（照合する）ことで、当該２次元画像データから物品存在画像領域が抽出される。
図６の処理を行う場合、上述の撮像装置３と、高さ検出装置５であるステレオ撮像装置とは同じであってよいが、ステレオ撮像装置の２つのＣＣＤカメラのうち一方により、ステップＳ１１で２次元の前記画像データを取得する。なお、物品存在画像領域の高精度化（図６の処理）は行わなくてもよい。 In step S13, based on the height of the article 1 input in step S12 and the relationship, the image area extraction device 7 should have the article existence image area in which the article 1 should exist in the image data acquired in step S11. Are extracted from the image data. That is, by applying the height of the article 1 input in step S12 to the relationship, the article presence image area in the image data acquired in step S11 is specified and extracted.
The height detection device 5 may be a stereo imaging device using two CCD cameras. This stereo imaging device is a device that acquires three-dimensional image data by stereo matching from image data captured by two CCD cameras. In this case, the accuracy of the article presence image area may be increased in step S13. This high accuracy will be described based on the flowchart of FIG. First, in step S21, the uppermost area corresponding to the article presence image area is determined based on the height of the article 1 acquired in step S12 and the relationship. In step S22, the uppermost region determined in step S21 and the uppermost image data having the same height as the article 1 at the highest position among the three-dimensional image data acquired by the height detection device 5 are superimposed. Thus, the article presence image area is extracted from the uppermost image data except unnecessary data such as noise. Thereby, the accuracy of the article presence image region is increased. In step S23, the article presence image region thus improved in accuracy and the two-dimensional image data for two-dimensional processing acquired in step S11 are overlaid (matched), whereby the article is obtained from the two-dimensional image data. An existing image area is extracted.
In the case of performing the processing of FIG. 6, the above-described imaging device 3 and the stereo imaging device that is the height detection device 5 may be the same, but in one of the two CCD cameras of the stereo imaging device, in step S11. Two-dimensional image data is acquired. Note that the accuracy of the article presence image area (the process in FIG. 6) may not be performed.

ステップＳ１４において、画像処理装置９により、ステップＳ１３で抽出した前記物品存在画像領域に対して画像処理を行うことで、前記物品１の認識データを取得する。認識データは、物品１の位置（水平２方向に関する位置）および向き（姿勢）に関するデータである。この例では、パレット２に積載される複数の物品１は、同じ寸法と形状（例えば直方体）を有する。この場合、画像処理装置９は、前記画像処理により、前記画像データ内の最上段物品１の形状に関する形状データを抽出し、この形状データと照合用基準データとを照合することで、両者が一致すれば当該最上段物品１を認識し、その認識データを得る。前記形状データと照合用基準データとは、例えば物品上面の各角部の形状に関するデータであってよい。なお、認識データの取得は、特許文献１、特許文献２または他の公知技術に基づいて行ってよい。なお、パレット２上において、最も高い位置に複数の物品１がある場合には、これら物品毎に認識データを取得する。   In step S14, the image processing apparatus 9 performs image processing on the article presence image area extracted in step S13, thereby acquiring recognition data of the article 1. The recognition data is data relating to the position (position in two horizontal directions) and the direction (posture) of the article 1. In this example, the plurality of articles 1 loaded on the pallet 2 have the same size and shape (for example, a rectangular parallelepiped). In this case, the image processing device 9 extracts shape data relating to the shape of the uppermost article 1 in the image data by the image processing, and collates the shape data with the reference data for matching, thereby matching the two. Then, the uppermost article 1 is recognized and its recognition data is obtained. The shape data and the reference data for verification may be data relating to the shape of each corner on the upper surface of the article, for example. The recognition data may be acquired based on Patent Document 1, Patent Document 2, or other known techniques. When there are a plurality of articles 1 at the highest position on the pallet 2, recognition data is acquired for each of these articles.

ステップＳ１５において、前記認識データに基づいて、取出装置１１が、前記物品１を把持して取り出し、別の場所へ移載する。例えば、取出装置１１の制御装置が、前記認識データに基づいて、複数の関節を有する取出装置１１のロボットアームを駆動して、前記物品１を取り出す。複数の認識データがステップＳ１４で取得された場合には、認識データ毎に物品１を取り出す。なお、取出装置１１には、取り出す物品１の高さが（例えば高さ検出装置５から）予め入力されており、この高さにも基づいて、前記物品１を取出す。   In step S15, based on the recognition data, the take-out device 11 grips and takes out the article 1 and transfers it to another location. For example, the control device of the take-out device 11 drives the robot arm of the take-out device 11 having a plurality of joints based on the recognition data, and takes out the article 1. When a plurality of pieces of recognition data are acquired in step S14, the article 1 is taken out for each piece of recognition data. Note that the height of the article 1 to be taken out is input in advance to the take-out device 11 (for example, from the height detection device 5), and the article 1 is taken out based on this height.

複数の物品１が上下複数段に積載されている場合や、複数個所において複数の物品１が上下複数段に積載されている場合には、これら物品１のうち最上段（最も高い位置）にある物品１から順に、各段毎（各高さ毎）に、上述のステップＳ１１〜Ｓ１５を行う。   When a plurality of articles 1 are stacked in a plurality of upper and lower stages, or when a plurality of articles 1 are stacked in a plurality of upper and lower stages at a plurality of places, the article 1 is in the uppermost stage (the highest position). The above-described steps S11 to S15 are performed in order from the article 1 for each step (each height).

上述した本発明の実施形態によるピッキング装置と方法によると、画像領域抽出装置７は、前記物品１の高さに基づいて、前記画像データ内に前記物品１が存在するべき物品存在画像領域を抽出し、画像処理装置９は、前記物品存在画像領域に対して画像処理を行うことで、前記物品１の認識データを取得するので、次の効果（１）、（２）が得られる。
（１）物品存在画像領域以外において物品１を誤認識することが無くなる。
（２）認識データを得るために行う画像処理の範囲が、物品存在画像領域に制限されるので、画像処理時間を短縮させることが可能になる。 According to the picking apparatus and method according to the above-described embodiment of the present invention, the image area extracting apparatus 7 extracts an article presence image area where the article 1 should exist in the image data based on the height of the article 1. Then, the image processing device 9 obtains the recognition data of the article 1 by performing image processing on the article presence image area, so that the following effects (1) and (2) are obtained.
(1) The product 1 is not erroneously recognized outside the product presence image area.
(2) Since the range of image processing performed to obtain recognition data is limited to the article presence image area, it is possible to shorten the image processing time.

また、前記物品１の高さと物品存在画像領域との関係を予め作成しておき、この関係に物品１の高さを適用して物品存在画像領域を特定することができる。
さらに、前記物品存在画像領域は、前記パレット２の存在領域から物品寸法の半分だけ外側に広げた領域とすることで、物品１が前記パレット２の存在領域からはみ出している場合、荷崩れが発生していることを前記画像処理で検知できる。荷崩れを検知した場合には、画像処理装置９はその旨の信号（警告音など）を出力して、オペレータに知らせることができる。 Further, a relationship between the height of the article 1 and the article presence image area is created in advance, and the article existence image area can be specified by applying the height of the article 1 to this relationship.
Further, the article existence image area is an area that is extended outward from the existence area of the pallet 2 by half of the article size, so that when the article 1 protrudes from the existence area of the pallet 2, the load collapse occurs. This can be detected by the image processing. When the collapse of the load is detected, the image processing device 9 can output a signal to that effect (warning sound or the like) to notify the operator.

水平方向の複数箇所において上下複数段に物品１が積まれている場合には、これら物品１のうち最も高い位置にある物品１の高さに基づいて、前記画像領域抽出装置７は物品存在画像領域を抽出するので、高い順に物品１の認識データを取得して取り出すことができる。   When the articles 1 are stacked in a plurality of levels in a plurality of positions in the horizontal direction, the image region extracting device 7 determines the article presence image based on the height of the article 1 at the highest position among the articles 1. Since the area is extracted, the recognition data of the article 1 can be acquired and extracted in descending order.

本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。   The present invention is not limited to the above-described embodiment, and various changes can be made without departing from the scope of the present invention.

例えば、上述した実施形態では、物品存在画像領域は、パレット２の領域、または、パレット２の領域から物品１寸法の半分だけ外側に拡大した領域であったが、物品１が存在すると分かる他の領域を物品存在画像領域としてもよい。   For example, in the above-described embodiment, the article presence image area is an area of the pallet 2 or an area that is expanded outward from the area of the pallet 2 by a half of the size of the article 1. The region may be an article presence image region.

また、高さ検出装置５は、無くてもよい。即ち、高さ検出装置５を設けなくとも、物品１の高さが分かる場合には、操作装置を人が操作することで、物品１の高さを画像領域抽出装置７に入力してもよい。例えば、物品１の高さ方向の寸法と、上下に積み重ねられる物品１の数が分かっている場合には、これら寸法と数に基づいて人が最上段の物品１の高さを画像領域抽出装置７に入力してもよい。   Further, the height detection device 5 may be omitted. That is, even if the height detection device 5 is not provided, when the height of the article 1 is known, the height of the article 1 may be input to the image region extraction device 7 by operating the operation device by a person. . For example, when the dimension in the height direction of the article 1 and the number of articles 1 to be stacked up and down are known, an image region extraction device is used to determine the height of the uppermost article 1 based on these dimensions and number. 7 may be input.

本発明の実施形態によるピッキング装置の構成図である。It is a block diagram of the picking apparatus by embodiment of this invention. 図１のＩＩ−ＩＩ線矢視図である。It is the II-II arrow directional view of FIG. 物品高さと物品存在画像領域との関係の求め方を示すフローチャートである。It is a flowchart which shows how to obtain | require the relationship between an article height and an article presence image area | region. パレットを異なる高さにする場合の説明図である。It is explanatory drawing in the case of making a pallet into a different height. 図１のピッキング装置を用いたピッキング方法を示すフローチャートである。It is a flowchart which shows the picking method using the picking apparatus of FIG. 物品存在画像領域の高精度化を示すフローチャートである。It is a flowchart which shows improvement in the precision of an article presence image area.

符号の説明Explanation of symbols

１ 物品、２ パレット、３ 撮像装置、５ 高さ検出装置、７ 画像領域抽出装置、９ 画像処理装置、１０ ピッキング装置、１１ 取出装置 1 article, 2 pallet, 3 imaging device, 5 height detection device, 7 image area extraction device, 9 image processing device, 10 picking device, 11 take-out device

Claims (4)

取出位置にある物品を把持して取り出すピッキング装置であって、
取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得する撮像装置と、
前記画像データ内に前記物品が存在するべき物品存在画像領域を、入力された前記物品の高さに基づいて、前記画像データから抽出する画像領域抽出装置と、
前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得する画像処理装置と、
前記認識データに基づいて、前記物品を把持して取り出す取出装置と、を備える、ことを特徴とするピッキング装置。 A picking device for gripping and taking out an article at a take-out position,
An imaging device that obtains image data of an area including the article by imaging the article at the take-out position from above;
An image area extraction device that extracts an article presence image area where the article should be present in the image data based on the input height of the article;
An image processing device that acquires recognition data of the article by performing image processing on the article presence image area;
A picking device comprising: a take-out device that grips and takes out the article based on the recognition data. 前記画像領域抽出装置は、前記物品の高さと前記物品存在画像領域との予め定められた関係に基づいて、前記物品存在画像領域を抽出する、ことを特徴とする請求項１に記載のピッキング装置。   The picking apparatus according to claim 1, wherein the image area extraction device extracts the article presence image area based on a predetermined relationship between the height of the article and the article presence image area. . 前記物品はパレットに積載されており、
前記物品存在画像領域は、前記パレットの存在領域から物品寸法の半分程度だけ外側に広げた領域である、ことを特徴とする請求項１または２に記載のピッキング装置。 The article is loaded on a pallet;
The picking apparatus according to claim 1, wherein the article presence image area is an area that extends outward from the existence area of the pallet by about half of the article size. 請求項１〜３のいずれか一項に記載のピッキング装置を用いて物品をピッキングするピッキング方法であって、
前記物品が上下複数段に積まれており、これら物品のうち最上段にある物品から順に、各段毎に物品取出処理を行い、
該物品取出処理は、
（Ａ）取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得するステップと、
（Ｂ）前記画像データ内に前記物品が存在するべき物品存在画像領域を、高さ検出装置により取得された物品の高さに基づいて、前記画像データから抽出するステップと、
（Ｃ）前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得し、
（Ｄ）前記認識データに基づいて、前記物品を把持して取り出すステップと、を有する、ことを特徴とするピッキング方法。 A picking method for picking an article using the picking apparatus according to any one of claims 1 to 3,
The articles are stacked in a plurality of stages above and below, and in order from the article at the top of these articles, the article removal processing is performed for each stage,
The article removal processing is
(A) acquiring an image data of a region including the article by imaging the article at the take-out position from above;
(B) extracting an article presence image region where the article should be present in the image data from the image data based on the height of the article acquired by a height detection device;
(C) By performing image processing on the article presence image area, the recognition data of the article is acquired,
(D) gripping and taking out the article based on the recognition data. A picking method comprising:
JP2008233765A 2008-09-11 2008-09-11 Picking apparatus and method Active JP5360369B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008233765A JP5360369B2 (en) 2008-09-11 2008-09-11 Picking apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008233765A JP5360369B2 (en) 2008-09-11 2008-09-11 Picking apparatus and method

Publications (2)

Publication Number Publication Date
JP2010064202A true JP2010064202A (en) 2010-03-25
JP5360369B2 JP5360369B2 (en) 2013-12-04

Family

ID=42190236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008233765A Active JP5360369B2 (en) 2008-09-11 2008-09-11 Picking apparatus and method

Country Status (1)

Country Link
JP (1) JP5360369B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093104A (en) * 2010-10-25 2012-05-17 Yaskawa Electric Corp Shape measuring device, robot system, and shape measuring method
JP2015043175A (en) * 2013-08-26 2015-03-05 株式会社ダイフク Article recognition device and article recognition facility
JP2015114292A (en) * 2013-12-16 2015-06-22 川崎重工業株式会社 Workpiece position information identification apparatus and workpiece position information identification method
CN104876021A (en) * 2014-02-28 2015-09-02 发那科株式会社 Device And Method Of Arraying Articles By Using Robot, And Article Transfer System
JP2016136437A (en) * 2013-12-16 2016-07-28 株式会社寺岡精工 Product sales data processing device
JP2019189438A (en) * 2018-04-27 2019-10-31 株式会社ダイフク Picking facility
JP2020041862A (en) * 2018-09-07 2020-03-19 倉敷紡績株式会社 Band-like object three-dimensional measurement method and band-like object three-dimensional measurement device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11333770A (en) * 1998-03-20 1999-12-07 Kobe Steel Ltd Loading position and attitude recognizing device
WO2000057129A1 (en) * 1999-03-19 2000-09-28 Matsushita Electric Works, Ltd. Three-dimensional object recognition method and pin picking system using the method
JP2000304509A (en) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd Method and device for specifying object
JP2002013913A (en) * 2000-06-30 2002-01-18 Daifuku Co Ltd Article position recognizing device
JP2006224291A (en) * 2005-01-19 2006-08-31 Yaskawa Electric Corp Robot system
JP2007140729A (en) * 2005-11-16 2007-06-07 Ishikawajima Harima Heavy Ind Co Ltd Method and device detecting position and attitude of article
JP2007245283A (en) * 2006-03-15 2007-09-27 Nissan Motor Co Ltd Workpiece attitude detecting device, workpiece attitude detecting method, picking system, and picking method
JP2008062376A (en) * 2006-09-05 2008-03-21 Adept Technology Inc Bin-picking system for randomly positioned object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11333770A (en) * 1998-03-20 1999-12-07 Kobe Steel Ltd Loading position and attitude recognizing device
WO2000057129A1 (en) * 1999-03-19 2000-09-28 Matsushita Electric Works, Ltd. Three-dimensional object recognition method and pin picking system using the method
JP2000304509A (en) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd Method and device for specifying object
JP2002013913A (en) * 2000-06-30 2002-01-18 Daifuku Co Ltd Article position recognizing device
JP2006224291A (en) * 2005-01-19 2006-08-31 Yaskawa Electric Corp Robot system
JP2007140729A (en) * 2005-11-16 2007-06-07 Ishikawajima Harima Heavy Ind Co Ltd Method and device detecting position and attitude of article
JP2007245283A (en) * 2006-03-15 2007-09-27 Nissan Motor Co Ltd Workpiece attitude detecting device, workpiece attitude detecting method, picking system, and picking method
JP2008062376A (en) * 2006-09-05 2008-03-21 Adept Technology Inc Bin-picking system for randomly positioned object

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093104A (en) * 2010-10-25 2012-05-17 Yaskawa Electric Corp Shape measuring device, robot system, and shape measuring method
JP2015043175A (en) * 2013-08-26 2015-03-05 株式会社ダイフク Article recognition device and article recognition facility
JP2016136437A (en) * 2013-12-16 2016-07-28 株式会社寺岡精工 Product sales data processing device
JP2015114292A (en) * 2013-12-16 2015-06-22 川崎重工業株式会社 Workpiece position information identification apparatus and workpiece position information identification method
US9643796B2 (en) 2014-02-28 2017-05-09 Fanuc Corporation Device and method of arraying articles by using robot, and article transfer system
JP2015214012A (en) * 2014-02-28 2015-12-03 ファナック株式会社 Article alignment device and article alignment method for aligning article by using robot, and article transfer system with article alignment device
CN104876021A (en) * 2014-02-28 2015-09-02 发那科株式会社 Device And Method Of Arraying Articles By Using Robot, And Article Transfer System
JP2019189438A (en) * 2018-04-27 2019-10-31 株式会社ダイフク Picking facility
WO2019208292A1 (en) * 2018-04-27 2019-10-31 株式会社ダイフク Picking facility
CN111936404A (en) * 2018-04-27 2020-11-13 株式会社大福 Pickup apparatus
CN111936404B (en) * 2018-04-27 2022-08-09 株式会社大福 Pickup apparatus
TWI803624B (en) * 2018-04-27 2023-06-01 日商大福股份有限公司 Picking facility
JP2020041862A (en) * 2018-09-07 2020-03-19 倉敷紡績株式会社 Band-like object three-dimensional measurement method and band-like object three-dimensional measurement device
JP7177639B2 (en) 2018-09-07 2022-11-24 倉敷紡績株式会社 Three-dimensional measurement method for belt-shaped object and three-dimensional measurement device for belt-shaped object

Also Published As

Publication number Publication date
JP5360369B2 (en) 2013-12-04

Similar Documents

Publication Publication Date Title
KR102650494B1 (en) Automated package registration systems, devices, and methods
JP5360369B2 (en) Picking apparatus and method
US11780101B2 (en) Automated package registration systems, devices, and methods
JP5429614B2 (en) Box-shaped workpiece recognition apparatus and method
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
JP3768174B2 (en) Work take-out device
JP5201411B2 (en) Bulk picking device and control method thereof
JP2019509559A (en) Box location, separation, and picking using a sensor-guided robot
JP4866890B2 (en) Work shape estimation device
JP6052103B2 (en) Article recognition apparatus and article recognition equipment
JP5544464B2 (en) 3D position / posture recognition apparatus and method for an object
JP5263501B2 (en) Work position recognition apparatus and method for depalletizing
JP5476943B2 (en) Posture recognition method and three-dimensional visual sensor using this method
JP2020049558A (en) Article extraction system
JP7398763B2 (en) Robot system equipped with overlap processing mechanism and its operating method
JP7385424B2 (en) Transfer target workpiece orientation recognition system
JP7280655B2 (en) Transfer target workpiece height measurement system
WO2022264726A1 (en) Transport system, method executed by computer for controlling transport of articles, and program for causing computer to execute this method
JP6026365B2 (en) Image recognition method
WO2022264381A1 (en) Workpiece retrieval count calculation device, hand system, and display device
CN115884855A (en) Robot system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130820

R151 Written notification of patent or utility model registration

Ref document number: 5360369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250