JP6825454B2 - Item number counting device - Google Patents

Item number counting device Download PDF

Info

Publication number
JP6825454B2
JP6825454B2 JP2017067696A JP2017067696A JP6825454B2 JP 6825454 B2 JP6825454 B2 JP 6825454B2 JP 2017067696 A JP2017067696 A JP 2017067696A JP 2017067696 A JP2017067696 A JP 2017067696A JP 6825454 B2 JP6825454 B2 JP 6825454B2
Authority
JP
Japan
Prior art keywords
image
template
articles
article
conveyor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017067696A
Other languages
Japanese (ja)
Other versions
JP2018167974A (en
Inventor
一哉 藤澤
一哉 藤澤
真太郎 長瀬
真太郎 長瀬
尚揮 瀬川
尚揮 瀬川
渉 加藤
渉 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aichi Steel Corp
Original Assignee
Aichi Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aichi Steel Corp filed Critical Aichi Steel Corp
Priority to JP2017067696A priority Critical patent/JP6825454B2/en
Publication of JP2018167974A publication Critical patent/JP2018167974A/en
Application granted granted Critical
Publication of JP6825454B2 publication Critical patent/JP6825454B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Discharge Of Articles From Conveyors (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、コンベアで搬送される物品の個数を画像処理にてカウントする物品の個数カウント装置に関する。 The present invention relates to an article number counting device that counts the number of articles transported by a conveyor by image processing.

例えば、鍛造プレスで成形された鍛造品は、コンベアに搬送され、コンベア先に用意されたパレットに積み込まれる。
パレットには、決められた数量の鍛造品を積み込むため、コンベアで搬送される時に鍛造品の個数をコンベア側面部に設置された光電管でカウントする方法がある。
光電管で個数をカウントする場合は、２個以上の鍛造品が重なり合って搬送されると、１個とカウントして個数を正確に計ることができない。
光電管に替わる個数のカウント方法として、ＣＣＤカメラを用いた画像処理により、物品の個数をカウントする方法がある。（例えば特許文献１参照）
特許文献１には、ＣＣＤカメラを用いた画像処理により、２つ以上の物品が重なり合って搬送されるものは、２値化処理をした後、２値化画像の面積を求め、面積の閾値から物品の個数をカウントする方法がある。 For example, the forged product formed by the forging press is conveyed to a conveyor and loaded on a pallet prepared at the conveyor destination.
In order to load a fixed number of forged products on the pallet, there is a method of counting the number of forged products by a phototube installed on the side surface of the conveyor when the pallet is conveyed by the conveyor.
When counting the number with a phototube, if two or more forged products are transported in an overlapping manner, it cannot be counted as one and the number cannot be accurately measured.
As a method of counting the number of articles instead of the phototube, there is a method of counting the number of articles by image processing using a CCD camera. (See, for example, Patent Document 1)
According to Patent Document 1, in the case where two or more articles are overlapped and transported by image processing using a CCD camera, the area of the binarized image is obtained after the binarization processing, and the area is calculated from the threshold value of the area. There is a method of counting the number of articles.

特開平０９−１２４１４２号公報Japanese Unexamined Patent Publication No. 09-124142

面積の閾値から物品の個数をカウントする場合、単に上面、下面とも同じ形状の物品（単純形状の物品）であれば、コンベア上でどの向きに置かれても、ＣＣＤカメラから捉えた物品の画像から常に１個当たりの面積は同じ面積となる。これにより、２個以上の物品が重なりあっても面積の閾値から物品の個数を正確にカウントすることが出来る。
しかし、例えば図１の様な上面と下面で形状が異なる物品（ワークＷ）の場合、コンベア２上でいろいろな向きに置かれた状態であると、ＣＣＤカメラから捉えた部品の画像は、１個当たりの面積も、置かれた向きによって変化する。２個以上の物品がそれぞれ違った向きで重なり合った場合は、面積の閾値から個数をカウントすることが困難になる場合があり、個数のカウントを間違う虞が生じる。
また、物品とコンベアの色がほぼ同色である場合は、撮像装置から得られた画像からコンベアの部分（背景部分）を二値化処理してもコンベアの一部が画像に残ることがあり、物品と誤検知する虞がある。
本発明は、上記課題を鑑みて、上面と下面で形状が異なる物品が複数個重なり合った場合でも、画像処理により正確に個数をカウントすることが可能な物品の個数カウント装置を提供する。また、物品とコンベアの色がほぼ同色である場合でも、画像処理により正確に物品の個数をカウントすることが可能な物品の個数カウント装置を提供する。 When counting the number of articles from the area threshold, if the articles have the same shape on both the top and bottom surfaces (simple objects), the image of the articles captured by the CCD camera regardless of the orientation on the conveyor. Therefore, the area per piece is always the same. As a result, even if two or more articles overlap, the number of articles can be accurately counted from the area threshold value.
However, in the case of an article (work W) having different shapes on the upper surface and the lower surface as shown in FIG. 1, if the articles (work W) are placed in various directions on the conveyor 2, the image of the component captured by the CCD camera is 1. The area per piece also changes depending on the orientation in which it is placed. When two or more articles are overlapped in different directions, it may be difficult to count the number from the area threshold value, and there is a risk that the number count will be wrong.
In addition, when the color of the article and the conveyor are almost the same, a part of the conveyor may remain in the image even if the conveyor part (background part) is binarized from the image obtained from the image pickup device. There is a risk of false detection as an article.
In view of the above problems, the present invention provides a number counting device for articles capable of accurately counting the number of articles having different shapes on the upper surface and the lower surface even when a plurality of articles having different shapes are overlapped by image processing. Further, the present invention provides an article number counting device capable of accurately counting the number of articles by image processing even when the colors of the articles and the conveyor are substantially the same.

上記課題を解決するための本発明１（請求項１）は、コンベアで搬送される物品の個数をカウントする物品の個数カウント装置であって、
コンベアで搬送される物品の画像を撮像する撮像手段と、
撮像手段で得られた撮像画像からコンベア上の物品の個数をカウントする画像処理手段を備え、
画像処理手段は、３次元的にそれぞれ異なった角度の物品のテンプレートＴＰを複数記憶したテンプレートＴＰ記憶部と、
撮像手段から得られた撮像画像からノイズ除去を行い物品画像のみを得た後、テンプレートＴＰ記憶部が有する前記テンプレートＴＰと物品画像とをマッチングする演算部と、
演算部から得られた前記テンプレートＴＰのマッチング処理より物品の個数をカウントする判定部を有し、
前記演算部は、複数の物品が重なり合った状態の物品画像に、テンプレートＴＰ記憶部が有する前記テンプレートＴＰをマッチングさせることにより物品の個数をカウントすることを特徴とする。
また、本発明２（請求項２）は、本発明１に記載のコンベアには照明手段を備え、照明手段はプロジェクタから縞模様を有する照明をコンベア上に投影し、前記演算部において、縞模様を有する画像からノイズ除去を行った物品画像を得て、物品画像と前記テンプレートＴＰとをマッチングさせて物品の個数をカウントすることを特徴とする。
本発明３（請求項３）は、前記個数カウントの対象となる物品が加熱された状態の物品であり、撮像手段が熱感知するサーモカメラであることを特徴とする。 The present invention 1 (claim 1) for solving the above-mentioned problems is an article number counting device for counting the number of articles transported by a conveyor.
An imaging means that captures an image of an article transported by a conveyor,
An image processing means for counting the number of articles on the conveyor from the captured image obtained by the imaging means is provided.
The image processing means includes a template TP storage unit that stores a plurality of template TPs of articles having three-dimensionally different angles.
After removing noise from the captured image obtained from the imaging means to obtain only the article image, a calculation unit that matches the template TP and the article image possessed by the template TP storage unit,
It has a determination unit that counts the number of articles from the matching process of the template TP obtained from the calculation unit.
The calculation unit is characterized in that the number of articles is counted by matching the template TP of the template TP storage unit with the article image in which a plurality of articles are overlapped.
Further, in the second aspect of the present invention (claim 2), the conveyor according to the first aspect of the present invention is provided with a illuminating means, the illuminating means projects illumination having a striped pattern from a projector onto the conveyor, and the math unit has a striped pattern. An article image from which noise has been removed is obtained from the image having the above, and the article image is matched with the template TP to count the number of articles.
The third aspect of the present invention (claim 3) is characterized in that the article to be counted is a heated article, and the imaging means is a thermo camera that senses heat.

本発明１によれば、複数の物品があらゆる向きに重なり合った状態の物品画像に、予め記憶されたあらゆる角度の物品のテンプレートＴＰをマッチングさせることで、重なり合った状態の物品の個数を正確にカウントすることが可能である。
本発明２によれば、物品とコンベアとの段差で縞模様に歪みが発生することで、物品の領域とコンベアの領域とを分離することが可能となり、物品とコンベアの色がほぼ同色である場合でも、画像処理により正確に物品の個数をカウントすることができる。
本発明３によれば、個数カウントの対象となる物品が加熱された高温状態であれば、サーモカメラを使用することで、温度分布から容易に物品の領域とコンベアの領域とを分離することが可能となり、画像処理により正確に物品の個数をカウントすることができる。 According to the first invention, the number of overlapping articles is accurately counted by matching the template TP of the articles of all angles stored in advance with the article image in which a plurality of articles are overlapped in all directions. It is possible to do.
According to the second invention, the stripe pattern is distorted at the step between the article and the conveyor, so that the area of the article and the area of the conveyor can be separated, and the colors of the article and the conveyor are substantially the same. Even in this case, the number of articles can be accurately counted by image processing.
According to the third invention, if the article to be counted is in a heated high temperature state, the article region and the conveyor region can be easily separated from the temperature distribution by using a thermo camera. This makes it possible to accurately count the number of articles by image processing.

図1は、ワークＷの重なった状況を説明する図FIG. 1 is a diagram illustrating an overlapping situation of work W. 図２は、本発明の物品の個数カウント装置を使用した実施例の概略図FIG. 2 is a schematic view of an embodiment using the number counting device for articles of the present invention. 図３は、本発明の物品の個数カウント装置の構成図FIG. 3 is a block diagram of the number counting device for articles of the present invention. 図４は、個数カウント装置による個数カウント方法を示したフローチャートFIG. 4 is a flowchart showing a number counting method using the number counting device. 図５は、ＣＣＤカメラにより撮像されたワークＷの撮像画像FIG. 5 is an image of the work W captured by the CCD camera. 図６は、図５の撮像画像からノイズ除去された後の物品画像FIG. 6 shows an article image after noise is removed from the captured image of FIG. 図７は、ワークＷのテンプレートＴＰを示す図FIG. 7 is a diagram showing a template TP of the work W. 図８は、ワークＷとコンベア２に縞模様１０を投影した撮像画像FIG. 8 is an captured image in which the striped pattern 10 is projected onto the work W and the conveyor 2. 図９は、縞模様投影によるノイズ除去方法を示したフローチャートFIG. 9 is a flowchart showing a noise removal method by striped pattern projection. 図１０は、テンプレートマッチングによる個数カウント方法を示したフローチャートFIG. 10 is a flowchart showing a number counting method by template matching. 図１１は、ワークＷのテンプレートＴＰを使用したテンプレートマッチングの概略図FIG. 11 is a schematic diagram of template matching using the template TP of the work W. 図１２は、本発明の物品の個数カウント装置を使用した他の実施例の概略図FIG. 12 is a schematic view of another embodiment using the number counting device for articles of the present invention.

（本発明の物品の個数カウント装置の構成）
図２は、本発明の物品の個数カウント装置を使用した実施例の概略図を示す。
鍛造プレス１で成形されたワークＷは、図示しないシュートによりコンベア２上に搭載され、コンベア２により搬送された後、積込みロボット３によりパレット４に指定された数量のワークＷが積み込まれる。パレットは、指定数量のワークＷが積み込まれると、他のパレット４に交換される。
コンベア２付近には、コンベア２に搬送されるワークＷを撮像するＣＣＤカメラ（撮像装置）５、ＣＣＤカメラ５が撮像する領域に縞模様の照明を投影するプロジェクタ７がそれぞれ配置されている。
また、ＣＣＤカメラ５により撮像された画像を画像処理してワークＷの個数をカウントする画像処理装置（ＰＣ）６、画像処理装置６の個数カウントを表示するモニターやプリンター等の表示部８、画像処理装置６により得られた個数情報を基に積込みロボット３を制御するためのシーケンサ９がそれぞれ配置されている。
本発明の物品の個数カウント装置は、ＣＣＤカメラ５、画像処理装置６から構成され、画像処理装置（ＰＣ）６は、図３に示す様に、画像入力部（メモリ）６０、演算部（ＣＰＵ）６１、判定部（ＣＰＵ）６２、テンプレートＴＰ記憶部６３（メモリ）、画像記憶部（メモリ）６４、信号入出力部（Ｉ／Ｏボード）６５の機能を有するプログラムまたはデータがインストールされている。 (Structure of Counting Device for Number of Articles of the Present Invention)
FIG. 2 shows a schematic view of an embodiment using the number counting device for articles of the present invention.
The work W formed by the forging press 1 is mounted on the conveyor 2 by a chute (not shown), and after being conveyed by the conveyor 2, the loading robot 3 loads the work W in a specified quantity on the pallet 4. When a designated quantity of work W is loaded, the pallet is replaced with another pallet 4.
In the vicinity of the conveyor 2, a CCD camera (imaging device) 5 that images the work W conveyed to the conveyor 2 and a projector 7 that projects striped illumination in the area imaged by the CCD camera 5 are arranged.
Further, an image processing device (PC) 6 that processes an image captured by the CCD camera 5 and counts the number of work Ws, a display unit 8 such as a monitor or a printer that displays the number count of the image processing device 6, and an image. Sequencers 9 for controlling the loading robot 3 are arranged based on the number information obtained by the processing device 6.
The article counting device of the present invention is composed of a CCD camera 5 and an image processing device 6, and the image processing device (PC) 6 includes an image input unit (memory) 60 and an arithmetic unit (CPU) as shown in FIG. ) 61, a program or data having the functions of a determination unit (CPU) 62, a template TP storage unit 63 (memory), an image storage unit (memory) 64, and a signal input / output unit (I / O board) 65 is installed. ..

（本発明の個数カウント装置における個数カウント方法）
次に、本発明の個数カウント装置における個数カウント方法の手順を図４に示す。
まず、ＣＣＤカメラ５により撮像された撮像画像（図５）は、ＣＣＤカメラ５によりＡ／Ｄ変換された後、画像処理装置６に画像データとして送信される（ステップＳ１）。
画像処理装置６に送信された画像データ（図５）は、画像入力部６０に一時記憶され、演算部６１により画像データのノイズ除去（図６）が行われる（ステップＳ２）。
ノイズ除去された画像データ（図６）は、さらに演算部６１によりエッジ画像（ワークＷの輪郭のみの画像）に加工された後（ステップＳ３）、テンプレートＴＰ記憶部に記憶されたワークＷのテンプレートＴＰ（図７）を用いて演算部６１によりエッジ画像とテンプレートＴＰとのマッチングを行う（ステップＳ４）。演算部６１によるマッチング結果から判定部６１はワークＷの個数を判定し、個数情報を画像記録部６４に記録する（ステップＳ５）。画像記録部６４に記録された個数情報の信号は信号入出力部６５に入力され、信号入出力部６５よりシーケンサ９及び表示部８それぞれに個数情報の信号を出力する（ステップＳ６）。信号入出力部６５より個数情報の信号を受けたシーケンサ９は入力された個数情報を基に積込みロボット３を制御する。（ステップＳ７） (Number counting method in the number counting device of the present invention)
Next, the procedure of the number counting method in the number counting device of the present invention is shown in FIG.
First, the captured image (FIG. 5) captured by the CCD camera 5 is A / D converted by the CCD camera 5 and then transmitted as image data to the image processing device 6 (step S1).
The image data (FIG. 5) transmitted to the image processing device 6 is temporarily stored in the image input unit 60, and noise removal (FIG. 6) of the image data is performed by the calculation unit 61 (step S2).
The noise-removed image data (FIG. 6) is further processed into an edge image (an image of only the outline of the work W) by the calculation unit 61 (step S3), and then the template of the work W stored in the template TP storage unit. Using the TP (FIG. 7), the calculation unit 61 matches the edge image with the template TP (step S4). The determination unit 61 determines the number of work Ws from the matching result by the calculation unit 61, and records the number information in the image recording unit 64 (step S5). The number information signal recorded in the image recording unit 64 is input to the signal input / output unit 65, and the signal input / output unit 65 outputs the number information signal to each of the sequencer 9 and the display unit 8 (step S6). The sequencer 9 that receives the number information signal from the signal input / output unit 65 controls the loading robot 3 based on the input number information. (Step S7)

（縞模様投影によるノイズ除去方法）
本発明２における縞模様投影によるノイズ除去方法について以下に説明する。
図２の様に、プロジェクタ７から縞模様の照明をコンベア２上に投影した場合、ＣＣＤカメラ５から撮像された画像は、図５の様にワークＷとコンベア２に縞模様１０を帯びた画像が得られる。さらには、図８の様にワークＷとコンベア２との境で縞模様１０に歪１１（縞模様にずれ）が生じる。この歪１１を利用してワークＷとコンベア２との分離を行う。
図９には、この縞模様１０の歪１１を利用したノイズ除去の処理方法のフローチャートを示す。
まず、プロジェクタ７により縞模様１０を投影されたコンベア２のみの画像（ベース画像）、コンベア２で搬送されるワークＷの画像（ワーク画像）をそれぞれＣＣＤカメラ５により撮像し（ステップＳ２１）、ベース画像、ワーク画像それぞれのカラー画像から、演算部６１により縞模様有り画像、縞模様無し画像（共にモノクロ画像）を抽出する（ステップＳ２２）。
次に、ベース画像、ワーク画像それぞれの縞模様有り画像を演算部６１により２値化し（ステップＳ２３）、演算部６１によりベース画像、ワーク画像の２値化画像をＸＯＲ（排他的論理和）演算（ステップＳ２４）した後、ＸＯＲ演算後の画像から膨張・収縮処理を行い、ワーク領域を判定する（ステップＳ２５）。最後に、ワーク領域を判定したワーク領域画像と縞模様なし画像（モノクロ画像）をＡＮＤ（論理積）演算し、ワーク領域のみの画像（図６）を作成する。
この縞模様を投影したノイズ除去を行うことで、従来の様なコンベアとワークの色が同色の場合に２値化によるコンベアとワークの分離（背景分離）が困難であった課題を解決することができる。 (Noise removal method by striped pattern projection)
The noise removing method by the striped pattern projection in the present invention 2 will be described below.
When the striped illumination is projected onto the conveyor 2 from the projector 7 as shown in FIG. 2, the image captured by the CCD camera 5 is an image in which the work W and the conveyor 2 are tinged with the striped pattern 10 as shown in FIG. Is obtained. Further, as shown in FIG. 8, distortion 11 (deviation in the striped pattern) occurs in the striped pattern 10 at the boundary between the work W and the conveyor 2. The work W and the conveyor 2 are separated by using the strain 11.
FIG. 9 shows a flowchart of a noise removal processing method using the distortion 11 of the striped pattern 10.
First, an image of only the conveyor 2 on which the striped pattern 10 is projected by the projector 7 (base image) and an image of the work W conveyed by the conveyor 2 (work image) are imaged by the CCD camera 5 (step S21), and the base. From the color images of the image and the work image, the calculation unit 61 extracts an image with a striped pattern and an image without a striped pattern (both monochrome images) (step S22).
Next, the striped image of each of the base image and the work image is binarized by the calculation unit 61 (step S23), and the binarized image of the base image and the work image is subjected to XOR (exclusive OR) calculation by the calculation unit 61. After (step S24), expansion / contraction processing is performed from the image after the XOR calculation to determine the work area (step S25). Finally, the work area image in which the work area is determined and the image without stripe pattern (monochrome image) are ANDed (logically producted) to create an image (FIG. 6) of only the work area.
By removing noise by projecting this striped pattern, it is possible to solve the problem that it was difficult to separate the conveyor and the work (background separation) by binarization when the colors of the conveyor and the work are the same as in the past. Can be done.

(テンプレートマッチングによる個数カウント方法)
本発明１におけるテンプレートＴＰマッチングによる個数カウント方法について図
１０に示すフローチャートにより説明する。
まず、演算部６１は、テンプレートＴＰ記憶部６３から図７に示す複数のワークＷの
テンプレートＴＰ１からテンプレートＴＰｎの内から１つのテンプレートＴＰを選択する（ステップＳ４１）。例えば、最初はテンプレートＴＰ１から選択し（ステップＳ４２）、エッジ画像内のワーク領域ＡｎとテンプレートＴＰ１とのマッチング処理を行う（ステップＳ４３）。
マッチング処理時にテンプレートＴＰ１とワーク領域Ａｎの重複する画素数が任意の閾値以上である場合は、マッチングした個数をカウントアップする（ステップＳ４４）例えば、テンプレートＴＰ１がワーク領域Ａｎに１個ある場合は１個とカウントし、２個ある場合は２個とカウントする。
次に、ワーク領域ＡｎからテンプレートＴＰ１の領域を削除して重複カウントを防ぐ（ステップＳ４５）。この時にワーク領域Ａｎが任意の閾値以下と判定した場合、カウント処理を終了する（ステップＳ４６）。
ワーク領域Ａｎが閾値以上と判定した場合は、テンプレートＴＰｎをテンプレートＴＰ１からテンプレートＴＰ２に変更して、ワーク領域ＡｎとテンプレートＴＰ２とのマッチング（ステップＳ４３）からワーク領域Ａｎが閾値以下であるかどうかの判定（ステップＳ４６）を繰り返し行う。（ステップＳ４７）。
以上のテンプレートＴＰｎによるマッチング処理を繰り返し行い、ワーク領域Ａｎが閾値以下となった時点でテンプレートマッチング処理が終了する。 (Number counting method by template matching)
The number counting method by template TP matching in the present invention 1 will be described with reference to the flowchart shown in FIG.
First, the calculation unit 61 selects one template TP from the template TPn from the template TP1 of the plurality of work Ws shown in FIG. 7 from the template TP storage unit 63 (step S41). For example, first, the template TP1 is selected (step S42), and the work area An in the edge image and the template TP1 are matched (step S43).
When the number of overlapping pixels of the template TP1 and the work area An is equal to or greater than an arbitrary threshold value during the matching process, the number of matched pixels is counted up (step S44). For example, when there is one template TP1 in the work area An, 1 If there are two, count as two.
Next, the area of the template TP1 is deleted from the work area An to prevent duplicate counting (step S45). If it is determined that the work area An is equal to or less than an arbitrary threshold value at this time, the counting process is terminated (step S46).
When it is determined that the work area An is equal to or higher than the threshold value, the template TPn is changed from the template TP1 to the template TP2, and the matching between the work area An and the template TP2 (step S43) indicates whether or not the work area An is equal to or lower than the threshold value. The determination (step S46) is repeated. (Step S47).
The above matching process using the template TPn is repeated, and the template matching process ends when the work area An becomes equal to or less than the threshold value.

図１１は、重なり合う複数のワークＷのエッジ画像Ｐ１において複数の向きの異なるワークＷのテンプレートＴＰ１からＴＰｎを用いてテンプレートマッチングを行う場合の概略図を示す。
エッジ画像Ｐ１には、ワークＷ１からワークＷ３の３つのワークＷが重なり合っている状態で写っている。まず、ワークＷ１からワークＷ３を含むワーク領域Ａ１において、テンプレートＴＰ１から順番に選択して、マッチングを行っていく（ステップＳ４１、Ｓ４２）。その結果、エッジ画像Ｐ２のようにテンプレートＴＰ４がワークＷ１とマッチングする（ステップＳ４３）。
この時に、個数として１個をカウントする（ステップＳ４４）。ワーク領域Ａ１からテンプレートＴＰ４の領域を削除し、ワーク領域Ａ２とすることによって、同じワークを重複してカウントすることを防ぐ（ステップＳ４５）。この時、ワーク領域Ａ２が任意の閾値以上であるので（ステップＳ４６）、テンプレートＴＰ４からテンプレートＴＰ５以降に変更してワーク領域Ａ２とマッチングを行う（ステップＳ４７）。
同様にして、テンプレートＴＰ７がワークＷ２にマッチング（エッジ画像Ｐ３）し、テンプレートＴＰｎ−１がワークＷ３にマッチングして（エッジ画像Ｐ４）、それぞれワークＷの個数１個をカウントする。
その後、ワーク領域Ａ４のように領域が任意の閾値以下となった場合、カウント処理を終了し、判定部６２によりワークＷの個数を３個と判定する。
以上の本発明におけるテンプレートＴＰマッチングによる個数カウント方法により、複数のワークＷがあらゆる向きに重なり合った状態でも、予め記憶されたあらゆる角度のワークＷテンプレートＴＰを複数組合せてマッチングすることで、重なり合った状態のワークＷの個数を正確にカウントすることが可能となる。
FIG. 11 shows a schematic diagram in the case of performing template matching using templates TP1 to TPn of a plurality of work Ws having different orientations in edge images P1 of a plurality of overlapping work Ws.
The edge image P1 shows the three works W of the work W1 to the work W3 overlapping each other. First, in the work area A1 including the work W1 to the work W3, the template TP1 is sequentially selected and matching is performed (steps S41 and S42). As a result, the template TP4 matches the work W1 as in the edge image P2 (step S43).
At this time, one is counted as the number (step S44). By deleting the area of the template TP4 from the work area A1 and making it the work area A2, it is possible to prevent the same work from being counted twice (step S45). At this time, since the work area A2 is equal to or higher than an arbitrary threshold value (step S46), the template TP4 is changed to the template TP5 or later to match with the work area A2 (step S47).
Similarly, the template TP7 matches the work W2 (edge image P3), the template TPn-1 matches the work W3 (edge image P4), and the number of each work W is counted.
After that, when the area becomes equal to or less than an arbitrary threshold value as in the work area A4, the counting process is ended, and the determination unit 62 determines that the number of works W is three.
By the number counting method by the template TP matching in the above invention, even if a plurality of work Ws are overlapped in all directions, a plurality of work W template TPs of all angles stored in advance are combined and matched to match the overlapping states. It is possible to accurately count the number of work W's.

（サーモカメラによる物品の個数カウント装置の構成）
ワークＷが例えば熱間鍛造品の様な高温度な物品である場合の個数カウント装置の構成を図１２に示す。図１との構成の違いは、撮像手段が熱感知するサーモカメラ５０であることと、縞模様を投影するプロジェクタ７が無いことである。その他の構成については図１と同じである。ワークＷの温度が数１００℃から１０００℃程ある場合、ワークＷとコンベア２との温度差により、サーモカメラ５０による撮像画像にはワークＷとコンベア２に温度分布による識別が明確となる。そのため、ワークＷとコンベア２がほぼ同色であっても撮像画像からコンベア２の部分を除去（ノイズ除去）が容易となる。画像処理装置６によるワークＷの個数カウント方法については、縞模様によるノイズ除去を除いては、上記処理方法と同じである。 (Composition of a number counting device for articles using a thermo camera)
FIG. 12 shows the configuration of the number counting device when the work W is a high temperature article such as a hot forged product. The difference in configuration from FIG. 1 is that the imaging means is a thermo camera 50 that senses heat and that there is no projector 7 that projects a striped pattern. Other configurations are the same as in FIG. When the temperature of the work W is about several 100 ° C. to 1000 ° C., the temperature difference between the work W and the conveyor 2 makes it clear that the work W and the conveyor 2 are identified by the temperature distribution in the image captured by the thermo camera 50. Therefore, even if the work W and the conveyor 2 have substantially the same color, it is easy to remove the portion of the conveyor 2 (noise removal) from the captured image. The method for counting the number of work Ws by the image processing device 6 is the same as the above processing method except for noise removal due to the striped pattern.

１ 鍛造プレス
２ コンベア
３ 積込みロボット
４ パレット
５ ＣＣＤカメラ（撮像装置）
６ 画像処理装置
７ プロジェクタ
８ 表示部
９ シーケンサ
１０ 縞模様
１１ 歪
５０ サーモカメラ（撮像装置）
６０ 画像入力部
６１ 演算部
６２ 判定部
６３ テンプレートＴＰ記憶部
６４ 画像記憶部
６５ 信号入出力部
W ワーク（物品）
ＴＰ テンプレート 1 Forging press 2 Conveyor 3 Loading robot 4 Pallet 5 CCD camera (imaging device)
6 Image processing device 7 Projector 8 Display unit 9 Sequencer 10 Striped pattern 11 Distortion 50 Thermo camera (imaging device)
60 Image input unit 61 Calculation unit 62 Judgment unit 63 Template TP storage unit 64 Image storage unit 65 Signal input / output unit
W work (article)
TP template

Claims (3)

コンベアで搬送される物品の個数をカウントする物品の個数カウント装置であって、
コンベアで搬送される物品の画像を撮像する撮像手段と、
撮像手段で得られた画像からコンベア上の物品の個数をカウントする画像処理手段を備え、
画像処理手段は、３次元的にそれぞれ異なった角度の物品のテンプレートＴＰを複数記憶したテンプレートＴＰ記憶部と、
撮像手段から得られた撮像画像からノイズ除去を行い物品画像のみを得た後、テンプレートＴＰ記憶部が有する前記テンプレートＴＰと物品画像とをマッチングする演算部と、
演算部から得られた前記テンプレートＴＰのマッチング処理より物品の個数をカウントする判定部を有し、
前記演算部は、複数の物品が重なり合った状態の物品画像に、テンプレートＴＰ記憶部が有する前記テンプレートＴＰをマッチングさせることにより物品の個数をカウントすることを特徴とする物品の個数カウント装置。 It is a number counting device for articles that counts the number of articles transported by a conveyor.
An imaging means that captures an image of an article transported by a conveyor,
An image processing means for counting the number of articles on the conveyor from the image obtained by the imaging means is provided.
The image processing means includes a template TP storage unit that stores a plurality of template TPs of articles having three-dimensionally different angles.
After removing noise from the captured image obtained from the imaging means to obtain only the article image, a calculation unit that matches the template TP and the article image possessed by the template TP storage unit,
It has a determination unit that counts the number of articles from the matching process of the template TP obtained from the calculation unit.
The calculation unit is an article number counting device, characterized in that the number of articles is counted by matching the template TP of the template TP storage unit with an article image in which a plurality of articles are overlapped. 前記コンベアには照明手段を備え、照明手段はプロジェクタから縞模様を有する照明をコンベア上に投影し、演算部は縞模様を有する画像からノイズ除去を行い物品画像のみを得て、物品画像と前記テンプレートＴＰとをマッチングさせて物品の個数をカウントすることを特徴とする請求項１に記載の物品の個数カウント装置。 The conveyor is provided with a lighting means, the lighting means projects lighting having a striped pattern onto the conveyor from a projector, and a calculation unit removes noise from the striped image to obtain only an article image, and obtains only the article image and the article image and the above. The number of articles counting device according to claim 1, wherein the number of articles is counted by matching with a template TP. 前記個数カウントの対象となる物品が加熱された状態の物品であり、撮像手段が熱感知するサーモカメラであることを特徴とする請求項１に記載の物品の個数カウント装置。 The number counting device according to claim 1, wherein the article to be counted is a heated article, and the imaging means is a thermo camera that senses heat.
JP2017067696A 2017-03-30 2017-03-30 Item number counting device Active JP6825454B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017067696A JP6825454B2 (en) 2017-03-30 2017-03-30 Item number counting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017067696A JP6825454B2 (en) 2017-03-30 2017-03-30 Item number counting device

Publications (2)

Publication Number Publication Date
JP2018167974A JP2018167974A (en) 2018-11-01
JP6825454B2 true JP6825454B2 (en) 2021-02-03

Family

ID=64019118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017067696A Active JP6825454B2 (en) 2017-03-30 2017-03-30 Item number counting device

Country Status (1)

Country Link
JP (1) JP6825454B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814644B (en) * 2019-01-16 2021-08-31 日立楼宇技术（广州）有限公司 Control method, device and system for indoor environment state and storage medium
WO2023176405A1 (en) * 2022-03-17 2023-09-21 国立研究開発法人量子科学技術研究開発機構 Image recognition program, image recognition device using same, detection target number counting method, and model image creation device for image recognition training used therefor
JP7324923B1 (en) 2022-11-14 2023-08-10 株式会社 日立産業制御ソリューションズ Object recognition device and object recognition method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679843B2 (en) * 1995-10-31 2005-08-03 大和製衡株式会社 Article counting device by image processing
JP3377465B2 (en) * 1999-04-08 2003-02-17 ファナック株式会社 Image processing device
JP3849514B2 (en) * 2001-12-10 2006-11-22 株式会社ダイフク Article position recognition device
JP2011039872A (en) * 2009-08-13 2011-02-24 Komatsu Denshi Kk Device and method for counting article
US10019666B2 (en) * 2015-03-10 2018-07-10 Primetals Technologies Germany Gmbh Counting bar-shaped products based upon acquired images

Also Published As

Publication number Publication date
JP2018167974A (en) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6825454B2 (en) Item number counting device
CN107315011B (en) Image processing apparatus, image processing method, and storage medium
JP7151805B2 (en) LEARNING DATA GENERATION DEVICE, LEARNING DATA GENERATION METHOD, AND PROGRAM
JP6646854B2 (en) Projection instruction device, luggage sorting system and projection instruction method
JP7049983B2 (en) Object recognition device and object recognition method
CN102164718A (en) Method for taking out work
WO2017163710A1 (en) Instruction projecting device, package sorting system and instruction projecting method
WO2017163709A1 (en) Instruction projecting device, package sorting system and instruction projecting method
JP7017207B2 (en) Image inspection device and its image inspection method
WO2017163711A1 (en) Projection indicator, cargo assortment system, and projection indicating method
JP2010091429A (en) Workpiece shape estimation device
JP6728995B2 (en) Automated warehouse system and automated warehouse management method
JP2007241477A (en) Image processor
JP3659426B2 (en) Edge detection method and edge detection apparatus
JP2020003228A (en) Press component inspection device and press component inspection method
JP2011107083A (en) Posture recognition method and 3d vision sensor using the same
JP2010032258A (en) Apparatus and method for recognizing position of work for depalletizing
JP4513394B2 (en) Color image processing method and image processing apparatus
JP2017079326A (en) Identification device, traceability system, and identification method
JP2004008961A (en) Quality judging apparatus for agricultural products and quality judging method for agricultural products
JP2020114778A (en) Projection instruction device, goods assort system and projection instruction method
JP5441764B2 (en) Dot set detection apparatus and dot set detection method
JP2016108081A (en) Image processing device for parts feeder and parts feeder
CN106548954B (en) Method and device for detecting deviation of radiating fin
JP7157322B2 (en) Article inspection device and article inspection method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170331

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R150 Certificate of patent or registration of utility model

Ref document number: 6825454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150