JP2886251B2 - Product inspection equipment - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、製品ラインによって搬送されてくるセット
製品を撮影した画像信号の解析データに基ずいて、検査
結果としての判別データを得ることができる製品検査装
置に関するものである。DETAILED DESCRIPTION OF THE INVENTION [Industrial Application Field] The present invention is to obtain discrimination data as an inspection result based on analysis data of an image signal of a set product conveyed by a product line. The present invention relates to a product inspection device that can be used.

［従来の技術］ 例えば工場の製造ラインにおいては、搬入コンベアラ
イン（以下、ラインという）によって順次搬送されてく
る製品に対して、種別によって判別したり、又は不良品
を排除するために、各製品を撮影した画像によって各製
品を検査することが行なわれている。2. Description of the Related Art For example, in a manufacturing line of a factory, products that are sequentially conveyed by a carry-in conveyor line (hereinafter referred to as a line) are discriminated by type or in order to eliminate defective products. Each product is inspected by using an image obtained by photographing the product.

例えば第３図に示すように、ライン１で搬送されてく
る製品Ｐをフォトセンサ等で構成された検出器２で検出
すると、その検出信号が製品検査装置３に供給され、製
品検査装置３は例えばモノクロ画像センサ４及びストロ
ボ照明装置５に制御信号を送り、その製品を撮影させ
る。この撮影動作により、画像センサ４から得られた画
像データは製品検査装置３において解析される。例えば
特定レベルの明度データを抽出して２値化することによ
りその製品の全体、或は特定の一部分の面積が算出され
たり、また重心の算出などが実行される。For example, as shown in FIG. 3, when a product P conveyed on a line 1 is detected by a detector 2 composed of a photo sensor or the like, a detection signal is supplied to a product inspection device 3, and the product inspection device 3 For example, a control signal is sent to the monochrome image sensor 4 and the strobe lighting device 5, and the product is photographed. By this photographing operation, the image data obtained from the image sensor 4 is analyzed in the product inspection device 3. For example, by extracting brightness data of a specific level and binarizing the brightness data, the area of the entire product or a specific portion is calculated, or the center of gravity is calculated.

そして、このような解析によって得られたデータはあ
らかじめ設定されている基準値と比較されるなどにより
その被検査物品である製品の良否や種別を判定すること
ができる。The data obtained by such an analysis can be compared with a preset reference value to determine the quality or type of the product as the inspection object.

このような判定システム＃_０によって製品の良否や種
別を判別することができるため、この判定システム＃_０
によって得られたデータを制御信号としてライン１の下
流に設けられた選別装置６に供給すれば、例えば図示す
るように不良製品Ｐ′をライン１から排除することがで
きる。Since the quality or type of the product can be determined by such a determination system # ₀ , the determination system # ₀
By supplying the data obtained as a control signal to the sorting device 6 provided downstream of the line 1, for example, the defective product P 'can be eliminated from the line 1 as shown in the figure.

［発明が解決しようとする問題点］ ところで、製品検査は、単体のものばかりでなく、例
えば箱ずめにされた菓子等、製品配置容器（以下、トレ
イという）上に複数の製品をセットで配置したものに対
しても行なわれる。[Problems to be Solved by the Invention] By the way, the product inspection is not limited to a single product, and a plurality of products are set on a product placement container (hereinafter referred to as a tray) such as a boxed confectionery. This is also performed for the placed objects.

例えば第４図に示すように、トレイＴに９個の製品Ｐ
がセットとして配置され、１商品単位とされるものにつ
いては、製品Ｐが所定数あるか、異種製品、不良製品が
混ざっていないか、などのチェックが必要である。For example, as shown in FIG.
Are arranged as a set, and it is necessary to check whether there is a predetermined number of products P, whether there are different types of products, and whether or not defective products are mixed.

従来は、このような検査を行なう際に、上記したよう
なモノクロ画像処理による判定システム＃_０を利用した
り、総重量測定によるチェック等を行なっていた。Conventionally, when performing such an inspection, the above-described determination system # ₀ based on monochrome image processing has been used, and checks based on gross weight measurement have been performed.

しかしながら、モノクロ画像処理に基ずく判定では、
トレイＴと製品Ｐが同系色或は異系色でも明度の近いも
のであった場合には、画像データ上でトレイＴと製品Ｐ
の識別をすることができず、従って製品Ｐの部分の面積
等が算出できないため、製品数や良品／不良品のチェッ
クができないという問題があった。However, in the determination based on the monochrome image processing,
When the tray T and the product P have similar brightness even if they are similar colors or different colors, the tray T and the product P are displayed on the image data.
Cannot be identified, and the area of the product P cannot be calculated. Therefore, there is a problem that the number of products and non-defective / defective products cannot be checked.

また、重量により判定を行なうシステムによっても、
個々の製品に多少の重量のばらつきがあるものについて
は上記チェックは不能となってしまうという問題があ
る。Also, depending on the system that makes judgments based on weight,
There is a problem in that the above-mentioned check cannot be performed for products having a slight variation in weight among individual products.

［問題点を解決するための手段］ 本発明はこのような問題点にかんがみてなされたもの
で、カラー撮影手段によって撮影したカラー画像データ
に基ずいて解析動作を行ない、判別データを生成するこ
とができる製品検査装置を提供するものである。[Means for Solving the Problems] The present invention has been made in view of such problems, and it is an object of the present invention to perform an analysis operation based on color image data captured by a color capturing device and generate discrimination data. It is intended to provide a product inspection device capable of performing the above.

［作用］ カラー画像により、トレイとトレイ上の製品とを画像
データ上でほぼ確実に識別できることになる。[Operation] By the color image, the tray and the product on the tray can be almost certainly identified on the image data.

［実施例］ 本発明の製品検査装置の一実施例について、第１図に
その回路ブロックを示す。[Embodiment] FIG. 1 shows a circuit block diagram of an embodiment of the product inspection apparatus of the present invention.

図中、一点鎖線で囲った10が製品検査装置を示すもの
である。なお、この製品検査装置10と、カラー画像セン
サ（CCDカメラ）4A、照明装置５、及び検出器２によっ
て、前記した第３図の如き判定システム＃_０が構成され
ている。また、照明装置５は本実施例ではストロボ照明
として、カラー画像センサ4Aのシャッタタイミングと同
期して照明動作を行なうものとするが、例えば蛍光灯の
ように連続光を照射するものであってもよい。In the drawing, reference numeral 10 surrounded by a dashed line indicates a product inspection device. Note that the product inspection device 10, the color image sensor (CCD camera) 4A, the illumination device 5, and the detector 2 constitute a determination system # ₀ as shown in FIG. In the present embodiment, the illumination device 5 performs the illumination operation as strobe illumination in synchronization with the shutter timing of the color image sensor 4A. However, the illumination device 5 may emit continuous light such as a fluorescent lamp. Good.

このような判定システム＃_０における本実施例の製品
検査装置10は、前記第３図で説明した製品検査動作によ
って、ライン上で搬送されてきた製品をカラー画像セン
サ4Aで撮影して得たR,G,Bの画像信号が製品判定用のデ
ータとして入力される。The product inspection apparatus 10 according to the present embodiment in such a determination system # ₀ performs the product inspection operation described with reference to FIG. 3 to obtain an R obtained by photographing the product conveyed on the line with the color image sensor 4A. , G, B image signals are input as data for product determination.

11R,11G,11BはA/D変換器であり、供給されたR,G,B画
像信号をそれぞれデジタル信号に変換する。12R,12G,12
Bはデジタル信号に変換されたR,G,B信号をそれぞれ記憶
するフレームメモリである。A / D converters 11R, 11G, and 11B convert the supplied R, G, and B image signals into digital signals, respectively. 12R, 12G, 12
B is a frame memory that stores R, G, and B signals converted into digital signals.

フレームメモリ12R,12G,12Bに記憶された画像データ
は画像バス13aを介して点線で囲った画像処理部14に供
給され、各種演算処理が行なわれる。The image data stored in the frame memories 12R, 12G, and 12B is supplied to an image processing unit 14 surrounded by a dotted line via an image bus 13a, and various arithmetic processes are performed.

この画像処理部14には例えばハードロジック回路によ
って、２値化処理部14a、重心・傾き演算部14b、周囲長
演算部14c、濃度分散演算部14dなどが設けられており、
製品を撮影した画像データを解析し、その製品に関する
所定の内容のデータを算出することができるようになさ
れている。The image processing unit 14 includes, for example, a binarization processing unit 14a, a center of gravity / inclination calculation unit 14b, a perimeter calculation unit 14c, a density dispersion calculation unit 14d, and the like by a hard logic circuit.
It is designed to analyze image data obtained by photographing a product and calculate data having predetermined contents related to the product.

２値化処理部14aでは画像データから特定の色を抽出
することにより、例えばその製品（或はその製品の特定
部分）の面積を算出することができる。また、この２値
化データに基ずいて重心・傾き演算部14b、周囲長演算
部14cにおいて各演算が実行多され、その製品の重心、
傾き、周囲長等が算出され、また、その周囲長の２乗か
ら面積を除することにより、その製品の外形の複雑度等
を得ることができる。By extracting a specific color from the image data, the binarization processing unit 14a can calculate, for example, the area of the product (or a specific part of the product). Further, based on the binarized data, each calculation is executed in the center of gravity / inclination calculation unit 14b and the circumference length calculation unit 14c, and the center of gravity of the product is calculated.
The inclination, the perimeter and the like are calculated, and the complexity of the outer shape of the product can be obtained by dividing the area from the square of the perimeter.

また、濃度分散演算部14dでは、フレームメモリ12に
記憶されたR,G,Bの輝度データから、その濃度分布を算
出できるように為されている。The density variance calculation unit 14d is configured to calculate the density distribution from the R, G, and B luminance data stored in the frame memory 12.

15はシステムコントローラ（CPU）であり、画像処理
部14において得られた各種算出結果は制御バス13bを介
してCPU15に供給され、CPU15においては、この算出結果
に対して、予め設定された基準値と比較することによっ
て、当該製品がその設定条件に合致するか否かの判断等
を行なう。Reference numeral 15 denotes a system controller (CPU), and various calculation results obtained in the image processing unit 14 are supplied to the CPU 15 via the control bus 13b, and the CPU 15 sets a predetermined reference value for the calculation results. Then, it is determined whether or not the product satisfies the set conditions.

例えば、ライン上で順次搬送されてくる製品の中か
ら、所定の大きさの製品のみを判別したい場合は、その
商品の全体を撮影した画像信号をフレームメモリ12に取
り込み、このデータに対して２値化処理部14aで面積を
算出させる。そして、その算出データを制御バス13bを
介して取り込み、その値を予め設定されている上下基準
値（L_H,L_L）と比較し、その範囲内であれば、その製品
は該当製品である判別するものである。この判別結果は
判別データとして、例えば前記第３図に示した選別装置
６等に算出することができるように為されている。For example, when it is desired to discriminate only a product of a predetermined size from products sequentially conveyed on a line, an image signal obtained by photographing the entire product is taken into the frame memory 12, and the data is stored in the frame memory 12. The area is calculated by the valuation processing unit 14a. Then, the calculated data is fetched via the control bus 13b, and the value is compared with a preset upper and lower reference value (L _H , L _L ). It is to determine. The discrimination result is calculated as discrimination data, for example, in the sorting device 6 shown in FIG. 3 or the like.

なお、フレームメモリ12に取り込まれた画像データを
解析する際には、常に、その１画面分全部のデータを対
象にして解析する必要はなく、CPU15の制御機能によっ
て、撮影した１画面の画像信号内において１又は複数の
領域（以下、ウインドウという）を設定し、そのウイン
ドウ単位で演算処理部14における解析動作が行なわれる
ように制御することもできる。この場合において複数
（ｎ個）のウインドウを設定したときは、ウインドウ毎
の解析データに対して各々基準値K₁〜K_nと比較すること
により、ウインドウ単位の判別データを生成し、このｎ
個の判別データをさらに演算処理することにより、総合
的な判別データを得ることができる。When analyzing the image data captured in the frame memory 12, it is not always necessary to analyze the entire data of one screen, and the control function of the CPU 15 controls the image signal of one screen shot. It is also possible to set one or a plurality of regions (hereinafter, referred to as windows) within the system, and control so that the analysis operation in the arithmetic processing unit 14 is performed in units of windows. When this setting the window of a plurality of (n) in the case, by comparing with each reference value K ₁ ~K _n relative analysis data for each window, and generates the discrimination data of the window unit, the n
Comprehensive determination data can be obtained by further processing the individual determination data.

また、CPU15は、検出器２からの検出信号に基ずいて
タイミングを設定し、カラー画像センサ4A及び照明装置
５に対して動作制御信号を出力するものである。The CPU 15 sets timing based on a detection signal from the detector 2 and outputs an operation control signal to the color image sensor 4A and the illumination device 5.

15a,15bはCPU15内のメモリ部（ROM,RAM）を示し、各
種制御用データとともに上記した判定用の基準値が対象
品目、判定内容毎に分けられて、予め記憶されている。
なお、CPU15における情報の入出力はCPU内部のインター
フェース部を介在して行なわれているが、説明上インタ
ーフェース部については省略する。Reference numerals 15a and 15b denote memory units (ROM, RAM) in the CPU 15, and the above-described reference values for determination are stored in advance along with various control data for each target item and determination content.
Note that input and output of information in the CPU 15 are performed via an interface unit inside the CPU, but the interface unit is omitted from the description.

16はCPU15に対して使用者が各種操作を行なうための
操作パネル（キーボード）であり、例えばメモリ部に記
憶されている基準値や制御内容を選択するなどの操作が
行なわれる。Reference numeral 16 denotes an operation panel (keyboard) for the user to perform various operations on the CPU 15, and performs operations such as selecting reference values and control contents stored in a memory unit.

17はフレームメモリ12に保持されている画像及びCPU1
5から供給される制御用画像（操作メニュー，画像ウイ
ンド枠等）を表示するディスプレイを示す。なお、画像
等の表示は外部CRT等により行なうようにしてもよい。Reference numeral 17 denotes an image stored in the frame memory 12 and the CPU 1
5 shows a display for displaying control images (operation menu, image window frame, etc.) supplied from 5. The display of an image or the like may be performed by an external CRT or the like.

18はメモリカードドライブを示し、外部メモリカード
（例えば自己電源でバックアップを行なうRAMカード、
磁気記録媒体、光記録媒体等）とで情報をやりとりする
ことができるように為され、例えばメモリカードに記憶
された制御データをCPU15に入力したり、フレームメモ
リ12に保持された画像信号をメモリカードに記憶させ、
外部での使用に供すること等が可能とされている。Reference numeral 18 denotes a memory card drive, which is an external memory card (for example, a RAM card that performs backup with its own power supply,
(A magnetic recording medium, an optical recording medium, etc.), so that control data stored in a memory card can be input to the CPU 15 or an image signal held in the frame memory 12 can be stored in the memory. Memorize it on the card,
It can be used for external use.

19は外部機器との間で各種信号の入出力を行なうため
の入出力端子部を示す。例えば入出力端子部19を介し
て、ライン上で搬送される製品を検出する検出器２から
の検出信号が入力されてCPU15に供給され、また、上記
したようにCPU15から出力される各種外部機器の制御信
号がカラー画像センサ4A,照明装置5,及び図示しない選
別装置等へ出力されることになる。Reference numeral 19 denotes an input / output terminal for inputting / outputting various signals to / from an external device. For example, via the input / output terminal unit 19, a detection signal from the detector 2 for detecting a product conveyed on the line is input and supplied to the CPU 15, and various external devices output from the CPU 15 as described above. Is output to the color image sensor 4A, the lighting device 5, and a sorting device (not shown).

本実施例の製品検査装置はこのように全体が構成され
ており、カラー画像センサ4Aによって撮影した画像に基
ずいて各種解析を行ない、上記したように、その対象製
品の各種判別を行なうことができるように為されてい
る。The entire product inspection apparatus of the present embodiment is configured as described above, and performs various types of analysis based on images captured by the color image sensor 4A, and performs various types of discrimination of the target product as described above. It has been made possible.

特に本実施例においては、R,G,B信号により構成され
るカラー画像に基ずいて演算処理部14における解析がな
されるため、例えばトレー上に複数個の製品が配置され
たセット製品の検査にも好適である。Particularly, in the present embodiment, since the analysis in the arithmetic processing unit 14 is performed based on the color image composed of the R, G, B signals, for example, the inspection of a set product in which a plurality of products are arranged on a tray It is also suitable for.

すなわち、トレーの色と製品の色が、明度の近いもの
であっても異系色であれば確実に画像データ上で判別で
き、また同系色で明度差があまりない場合であっても、
R,G,Bすべてのデータが完全同一になることは殆どあり
得ないため、識別不能となることはないと考えてよい。
従って、製品部分を確実抽出できることになるため、２
値化処理によりその面積を算出でき、この製品の面積デ
ータに基ずいてCPU15で判別データを生成することがで
きる。また、外形の複雑度を基準に判定するなど、他の
解析方法による場合も同様である。In other words, even if the color of the tray and the color of the product are similar in brightness, if they are different colors, they can be reliably identified on the image data, and even if the similar colors have little difference in brightness,
Since it is almost impossible that all the data of R, G, and B are completely the same, it can be considered that the data cannot be indistinguishable.
Therefore, the product portion can be reliably extracted.
The area can be calculated by the binarization process, and the CPU 15 can generate the discrimination data based on the area data of the product. The same applies to other analysis methods, such as determination based on the complexity of the outer shape.

なお、その製品に対応して、解析及び判定に際してウ
インドウを設定すれば、いかなるセット製品にも対応し
て検査可能である。例えば第２図に示すように異種の製
品Paを含むセットであれば、点線で示すように各製品に
対してウインドウＷを設定し、製品毎に判別を行なうよ
うにすればよい。色違い、形状違いの製品を有するセッ
ト製品等についても同様である。また、画像データ上の
トレーの色を抽出してその面積を算出しても、製品の欠
品チェック等を行なうことができる。If a window is set at the time of analysis and judgment corresponding to the product, inspection can be performed for any set product. For example, in the case of a set including different types of products Pa as shown in FIG. 2, a window W may be set for each product as indicated by a dotted line, and the determination may be made for each product. The same applies to set products having products of different colors and different shapes. Further, even if the color of the tray on the image data is extracted and the area thereof is calculated, it is possible to perform a product shortage check or the like.

なお、カラー画像によるチェック及びウインドウより
利用することにより、例えばコネクタ部品製造における
結線チェック（例えば赤、青、黄色のリード線が所定の
端子に接続されているかの検査）などにも、本実施例を
応用することはできる。By using a color image check and a window, the present embodiment can be used for, for example, a connection check in the manufacture of connector parts (for example, an inspection of whether red, blue, and yellow lead wires are connected to predetermined terminals). Can be applied.

［発明の効果］ 以上説明したように、本発明の製品検査装置は、カラ
ー画像を解析して判別データを生成することができるよ
うに構成されているため、トレイ上に複数の製品が配置
されるセット製品の検査等においても、的確にその判別
データを生成することができるという効果がある。[Effects of the Invention] As described above, since the product inspection apparatus of the present invention is configured to analyze a color image and generate discrimination data, a plurality of products are arranged on a tray. In the inspection of a set product, the discrimination data can be accurately generated.

【図面の簡単な説明】[Brief description of the drawings]

第１図は本発明の製品検査装置の一実施例を示すブロッ
ク図、 第２図はセット製品の一例の説明図、 第３図は製品検査システムの説明図、 第４図はセット製品の一例の説明図である。 ２は検出器、4Aはカラー画像センサ、５は照明装置、６
は選別装置、10は製品検査装置、12R,12G,12Bはフレー
ムメモリ、14は画像処理部、15はCPUを示す。FIG. 1 is a block diagram showing an embodiment of a product inspection apparatus of the present invention, FIG. 2 is an explanatory diagram of an example of a set product, FIG. 3 is an explanatory diagram of a product inspection system, and FIG. FIG. 2 is a detector, 4A is a color image sensor, 5 is a lighting device, 6
Denotes a sorting device, 10 denotes a product inspection device, 12R, 12G, and 12B denote frame memories, 14 denotes an image processing unit, and 15 denotes a CPU.

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/00 G06T 7/00 G01N 21/84 - 21/91 Continuation of the front page (58) Field surveyed (Int.Cl. ⁶ , DB name) G06T 1/00 G06T 7/00 G01N 21/84-21/91

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】製品ラインで搬送されてくる、複数の製品
をセットとして製品配置容器に配置したセット製品に対
し、そのセット製品を撮影した画像信号を解析して、そ
の解析データがあらかじめ設定された基準条件に適合し
ているか否かを判別することにより、当該セット製品の
製品検査を行なうことができる製品検査装置において、 前記セット製品に対する撮像動作によって得られたカラ
ー画像信号を解析する手段を備えることにより、製品配
置容器と、該製品配置容器上の製品を色によって識別し
て解析データを生成することができるように構成されて
いることを特徴とする製品検査装置。An image signal obtained by photographing a set product, which is transported in a product line and placed in a product placement container as a set of a plurality of products, is analyzed, and the analysis data is set in advance. A product inspection apparatus capable of performing product inspection of the set product by determining whether or not the set product conforms to the reference condition, wherein a means for analyzing a color image signal obtained by an imaging operation on the set product is provided. A product inspection apparatus comprising: a product placement container; and a product on the product placement container, which can be identified by color to generate analysis data.