JP2012022518A - Device and method for reading mark - Google Patents
Device and method for reading mark Download PDFInfo
- Publication number
- JP2012022518A JP2012022518A JP2010159827A JP2010159827A JP2012022518A JP 2012022518 A JP2012022518 A JP 2012022518A JP 2010159827 A JP2010159827 A JP 2010159827A JP 2010159827 A JP2010159827 A JP 2010159827A JP 2012022518 A JP2012022518 A JP 2012022518A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition feature
- lightness gradient
- lightness
- mark reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、マーク読み取り装置、および方法に関する。さらに詳しくは、例えば、洗濯・乾燥済みの布片を次工程装置に投入する自動投入装置に取り付けられ、布片に付されたマーク（以下、「布マーク」という。）を読み取り、布片の種類や表裏を識別するマーク読み取り装置、およびその方法に関する。 The present invention relates to a mark reading apparatus and method. More specifically, for example, a cloth piece that has been washed and dried is attached to an automatic loading device that loads the cloth piece into the next process apparatus, and a mark (hereinafter referred to as “cloth mark”) attached to the cloth piece is read, The present invention relates to a mark reading device for identifying the type and the front and back, and a method thereof.
ホテルや病院等では大量にタオルやシーツ、衣類等の布片が使用され、その使用済みの布片はランドリー工場で洗濯・乾燥され、再度ホテルや病院等で使用されることが一般的である。
ランドリー工場では多種類の布片を処理するため、例えば回収した洗濯物の中に他のホテルのタオルが混じっている場合には取り除かなければならない等、布片を種類ごとに分別したり、種類ごとの数量等を管理したりする必要がある。また、例えばバスタオル等にホテルのマークが付けられている場合にはそのマークを表にして折畳まなければならない等、布片の表裏を認識する必要がある。そのため、布片の種類や表裏を識別し、その結果を基に布片のハンドリング方法を決定することが求められている。
A large amount of towels, sheets, clothing, etc. are used in hotels, hospitals, etc., and the used cloths are generally washed and dried in a laundry factory and used again in hotels, hospitals, etc. .
Laundry factories handle many types of cloth. For example, if you collect towels from other hotels in the collected laundry, you must separate the cloth pieces by type. It is necessary to manage the quantity of each. Further, for example, when a hotel mark is attached to a bath towel or the like, it is necessary to recognize the front and back of the piece of cloth, for example, it must be folded with the mark as a front. Therefore, it is required to identify the type and front / back of the cloth piece and to determine the cloth handling method based on the result.
非特許文献１に記載のとおり、洗濯・乾燥済みの布片を、アイロナーや折畳み機等の次工程装置に投入するために、布片をハンドリングする多軸ロボットシステムを備えた自動投入装置が考案されている。
しかし、この自動投入装置は、ロボットハンドの把持位置や把持姿勢を決定するために、布片の形や角部分の位置、方向を画像処理で認識するようにしているものの、布片の種類や表裏を識別するものではない。また、従来、布片に付されたマーク、中でも布片に織り込まれたマークを読み取って、布片の種類や表裏の識別を行おうとした例はなかった。
As described in Non-Patent Document 1, an automatic loading device equipped with a multi-axis robot system for handling a piece of cloth in order to put the washed and dried piece of cloth into a next process device such as an ironer or a folding machine has been devised. Has been.
However, this automatic loading device recognizes the shape of the cloth piece and the position and direction of the corner portion by image processing in order to determine the holding position and holding posture of the robot hand. It does not identify the front and back. Conventionally, there has been no example in which a mark attached to a piece of cloth, especially a mark woven into the piece of cloth, is read to identify the kind of cloth piece and the front and back.
この点、工業製品などでは画像処理を用いた文字認識が行われており（例えば非特許文献２）、この文字認識方法を布マークの読み取りに応用することも考えられる。
従来の文字認識方法は、正規化相関処理により、認識対象の画像と、あらかじめ登録されているテンプレート画像との相関値を演算し、認識対象を相関値の高いテンプレート画像の種類に分類する方法である。一般の工業製品の場合は、相関値は0.8〜1.0程度の高い値となるため、この文字認識方法により、十分な精度で識別することができる。
In this regard, character recognition using image processing is performed in industrial products and the like (for example, Non-Patent Document 2), and this character recognition method may be applied to cloth mark reading.
A conventional character recognition method is a method of calculating a correlation value between a recognition target image and a template image registered in advance by normalization correlation processing, and classifying the recognition target into a type of template image having a high correlation value. is there. In the case of a general industrial product, the correlation value is a high value of about 0.8 to 1.0, and therefore can be identified with sufficient accuracy by this character recognition method.
しかし、布片の織り目の上に書かれたマークや、布片に織り込まれたマークは、それを写した画像に、織り目により生じる細かい凹凸や、シワ等に起因するノイズが大量にあるため、従来の文字認識方法を応用しても、十分な精度で識別できないという問題がある。 However, the mark written on the fabric weave and the mark weaved on the fabric have a lot of noise due to fine irregularities caused by the weave, wrinkles, etc. There is a problem that even if a conventional character recognition method is applied, it cannot be identified with sufficient accuracy.
本発明は上記事情に鑑み、特に、布片に付されたマークを十分な精度で認識できるマーク読み取り装置、および方法を提供することを目的とする。 In view of the above circumstances, an object of the present invention is to provide a mark reading apparatus and method that can recognize a mark attached to a piece of cloth with sufficient accuracy.
第１発明のマーク読み取り装置は、種類ごとに異なるマークが付された対象物を撮影するカメラと、該カメラで撮影した対象物画像を処理する画像処理装置とを備えるマーク読み取り装置であって、前記画像処理装置は、前記対象物画像中の複数箇所における明度勾配方向を演算し、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の明度勾配方向の分布に一番近似する明度勾配方向の分布を有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものであることを特徴とする。
第２発明のマーク読み取り装置は、第１発明において、前記画像処理装置は、前記対象物画像中に複数の明度勾配演算ウィンドウを設定し、それぞれの前記明度勾配演算ウィンドウ内の明度勾配方向を演算し、該明度勾配方向の分布を認識特徴量とし、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴量と一番近似する認識特徴量を有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものであることを特徴とする。
第３発明のマーク読み取り装置は、第２発明において、前記画像処理装置は、前記明度勾配方向を、所定方向範囲ごとにコード化した明度勾配方向コードに割り当て、該明度勾配方向コードの分布を認識特徴量とするものであることを特徴とする。
第４発明のマーク読み取り装置は、第３発明において、前記画像処理装置は、それぞれの前記明度勾配演算ウィンドウ内の明度勾配強度を演算し、あらかじめ記憶された明度勾配強度閾値を超えない明度勾配強度を有する明度勾配演算ウィンドウ内の明度勾配方向を、前記明度勾配方向コードの一つである明度勾配無コードに割り当てるものであることを特徴とする。
第５発明のマーク読み取り装置は、第３または第４発明において、前記画像処理装置は、前記対象物画像中に複数の統計領域を設定し、該統計領域中に複数の明度勾配演算ウィンドウを設定し、前記統計領域ごとの前記明度勾配方向コードの出現頻度を認識特徴量とするものであることを特徴とする。
第６発明のマーク読み取り装置は、第５発明において、前記画像処理装置は、前記明度勾配無コードを除く、前記統計領域ごとの前記明度勾配方向コードの出現頻度を認識特徴量とするものであることを特徴とする。
第７発明のマーク読み取り装置は、第３，第４，第５または第６発明において、前記画像処理装置は、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴量との相関値が一番大きい認識特徴量を有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものであることを特徴とする。
第８発明のマーク読み取り装置は、第３，第４，第５または第６発明において、前記画像処理装置は、前記認識特徴量を特徴空間における認識特徴ベクトルとし、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴ベクトルとの距離が一番近い認識特徴ベクトルを有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものであることを特徴とする。
第９発明のマーク読み取り装置は、第８発明において、前記画像処理装置は、いずれの前記テンプレート画像の認識特徴ベクトルと前記対象物画像の認識特徴ベクトルとの距離も、あらかじめ記憶された距離閾値よりも遠い場合に、前記対象物を未登録の種類と判断するものであることを特徴とする。
第１０発明のマーク読み取り装置は、第９発明において、前記テンプレート画像の認識特徴ベクトルは、同一種類の複数の対象物画像の認識特徴ベクトルの平均値であり、前記距離閾値は、前記テンプレート画像の認識特徴ベクトルと、同一種類の複数の対象物画像の認識特徴ベクトルとの距離の標準偏差に所定の定数を掛けた値であることを特徴とする。
第１１発明のマーク読み取り装置は、第１，第２，第３，第４，第５，第６，第７，第８，第９または第１０発明において、前記画像処理装置は、前記カメラで撮影した対象物画像に平均化フィルタをかけるものであることを特徴とする。
第１２発明のマーク読み取り装置は、第１，第２，第３，第４，第５，第６，第７，第８，第９，第１０または第１１発明において、前記対象物を規則性のある明度分布で照らす照明を備えることを特徴とする。
第１３発明のマーク読み取り装置は、第１，第２，第３，第４，第５，第６，第７，第８，第９，第１０，第１１または第１２発明において、前記対象物を斜方から照らす照明を備えることを特徴とする。
第１４発明のマーク読み取り方法は、種類ごとに異なるマークが付された対象物をカメラで撮影して対象物画像を取得し、前記対象物画像中の複数箇所における明度勾配方向を演算し、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の明度勾配方向の分布に一番近似する明度勾配方向の分布を有するテンプレート画像に対応する種類を、前記対象物の種類と判断することを特徴とする。
第１５発明のマーク読み取り方法は、第１４発明において、前記対象物画像中に複数の明度勾配演算ウィンドウを設定し、それぞれの前記明度勾配演算ウィンドウ内の明度勾配方向を演算し、該明度勾配方向の分布を認識特徴量とし、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴量と一番近似する認識特徴量を有するテンプレート画像に対応する種類を、前記対象物の種類と判断することを特徴とする。
第１６発明のマーク読み取り方法は、第１５発明において、前記明度勾配方向を、所定方向範囲ごとにコード化した明度勾配方向コードに割り当て、該明度勾配方向コードの分布を認識特徴量とすることを特徴とする。
第１７発明のマーク読み取り方法は、第１６発明において、それぞれの前記明度勾配演算ウィンドウ内の明度勾配強度を演算し、あらかじめ記憶された明度勾配強度閾値を超えない明度勾配強度を有する明度勾配演算ウィンドウ内の明度勾配方向を、前記明度勾配方向コードの一つである明度勾配無コードに割り当てることを特徴とする。
第１８発明のマーク読み取り方法は、第１６または第１７発明において、前記対象物画像中に複数の統計領域を設定し、該統計領域中に複数の明度勾配演算ウィンドウを設定し、前記統計領域ごとの前記明度勾配方向コードの出現頻度を認識特徴量とすることを特徴とする。
第１９発明のマーク読み取り方法は、第１８発明において、前記明度勾配無コードを除く、前記統計領域ごとの前記明度勾配方向コードの出現頻度を認識特徴量とすることを特徴とする。
第２０発明のマーク読み取り方法は、第１６，第１７，第１８または第１９発明において、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴量との相関値が一番大きい認識特徴量を有するテンプレート画像に対応する種類を、前記対象物の種類と判断することを特徴とする。
第２１発明のマーク読み取り方法は、第１６，第１７，第１８または第１９発明において、前記認識特徴量を特徴空間における認識特徴ベクトルとし、あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴ベクトルとの距離が一番近い認識特徴ベクトルを有するテンプレート画像に対応する種類を、前記対象物の種類と判断することを特徴とする。
第２２発明のマーク読み取り方法は、第２１発明において、いずれの前記テンプレート画像の認識特徴ベクトルと前記対象物画像の認識特徴ベクトルとの距離も、あらかじめ記憶された距離閾値よりも遠い場合に、前記対象物を未登録の種類と判断することを特徴とする。
第２３発明のマーク読み取り方法は、第２２発明において、前記テンプレート画像の認識特徴ベクトルは、同一種類の複数の対象物画像の認識特徴ベクトルの平均値であり、前記距離閾値は、前記テンプレート画像の認識特徴ベクトルと、同一種類の複数の対象物画像の認識特徴ベクトルとの距離の標準偏差に所定の定数を掛けた値であることを特徴とする。
第２４発明のマーク読み取り方法は、第１４，第１５，第１６，第１７，第１８，第１９，第２０，第２１，第２２または第２３発明において、前記カメラで撮影して取得した対象物画像に平均化フィルタをかけることを特徴とする。
A mark reading device according to a first aspect of the present invention is a mark reading device including a camera that captures an object with a different mark for each type, and an image processing device that processes an object image captured by the camera. The image processing device calculates the lightness gradient direction at a plurality of locations in the object image, and the lightness closest to the distribution of the lightness gradient direction of the object image among a plurality of types of template images stored in advance. The type corresponding to the template image having the distribution in the gradient direction is determined as the type of the object.
In a mark reading device according to a second invention, in the first invention, the image processing device sets a plurality of lightness gradient calculation windows in the object image, and calculates a lightness gradient direction in each of the lightness gradient calculation windows. The type corresponding to the template image having the recognition feature value closest to the recognition feature value of the object image among a plurality of types of template images stored in advance, with the distribution in the lightness gradient direction as the recognition feature value. Is determined as the type of the object.
In a mark reading apparatus according to a third aspect, in the second aspect, the image processing apparatus assigns the lightness gradient direction to a lightness gradient direction code coded for each predetermined direction range, and recognizes the distribution of the lightness gradient direction code. It is a feature amount.
According to a fourth aspect of the present invention, in the third aspect, the image processing apparatus calculates a lightness gradient strength in each lightness gradient calculation window, and the lightness gradient strength not exceeding a prestored lightness gradient strength threshold value. The lightness gradient direction in the lightness gradient calculation window is assigned to a lightness gradient no code which is one of the lightness gradient direction codes.
According to a fifth aspect of the present invention, in the third or fourth aspect, the image processing apparatus sets a plurality of statistical areas in the object image, and sets a plurality of lightness gradient calculation windows in the statistical areas. The frequency of appearance of the brightness gradient direction code for each statistical area is used as a recognition feature amount.
According to a sixth aspect of the present invention, in the fifth aspect, the image processing apparatus uses the appearance frequency of the lightness gradient direction code for each statistical region as a recognition feature amount, excluding the lightness gradient no code. It is characterized by that.
According to a seventh aspect of the present invention, in the third, fourth, fifth, or sixth aspect, the image processing device includes a recognition feature amount of the object image among a plurality of types of template images stored in advance. The type corresponding to the template image having the recognition feature quantity having the largest correlation value is determined as the type of the object.
According to an eighth aspect of the present invention, in the third, fourth, fifth, or sixth aspect, the image processing apparatus uses a plurality of types of templates stored in advance, with the recognition feature quantity as a recognition feature vector in a feature space. Of the images, the type corresponding to the template image having the recognition feature vector having the closest distance from the recognition feature vector of the object image is determined as the type of the object.
According to a ninth aspect of the present invention, in the eighth aspect, the image processing apparatus is configured such that the distance between the recognition feature vector of any of the template images and the recognition feature vector of the object image is greater than a distance threshold value stored in advance. If the object is far away, the object is determined as an unregistered type.
The mark reading device according to a tenth aspect of the present invention is the mark reading device according to the ninth aspect, wherein the recognition feature vector of the template image is an average value of recognition feature vectors of a plurality of object images of the same type, and the distance threshold is the value of the template image. It is a value obtained by multiplying the standard deviation of the distance between the recognition feature vector and the recognition feature vector of a plurality of object images of the same type by a predetermined constant.
According to an eleventh aspect of the present invention, in the first, second, third, fourth, fifth, sixth, seventh, eighth, ninth or tenth invention, the image processing device is the camera. It is characterized by applying an averaging filter to the photographed object image.
A mark reading device according to a twelfth aspect of the present invention is the first, second, third, fourth, fifth, sixth, seventh, eighth, ninth, tenth or eleventh aspect, wherein the object is regular. It is characterized by having illumination that illuminates with a certain brightness distribution.
A mark reading device according to a thirteenth aspect of the present invention is the first, second, third, fourth, fifth, sixth, seventh, eighth, ninth, tenth, eleventh or twelfth aspect of the invention. It is characterized by having illumination that illuminates from an oblique direction.
The mark reading method according to the fourteenth aspect of the present invention is to acquire an object image by photographing an object with a different mark for each type with a camera, calculate lightness gradient directions at a plurality of locations in the object image, Of the plurality of types of stored template images, the type corresponding to the template image having the distribution in the lightness gradient direction that most closely approximates the distribution in the lightness gradient direction of the object image is determined as the type of the object. It is characterized by.
The mark reading method according to a fifteenth aspect of the present invention is the mark reading method according to the fourteenth aspect, wherein a plurality of lightness gradient calculation windows are set in the object image, lightness gradient directions in the lightness gradient calculation windows are calculated, and the lightness gradient directions are calculated. Among the plurality of types of template images stored in advance, the type corresponding to the template image having the recognition feature amount closest to the recognition feature amount of the object image is selected as the recognition feature amount. It is characterized by judging the type.
In a mark reading method according to a sixteenth aspect, in the fifteenth aspect, the lightness gradient direction is assigned to a lightness gradient direction code coded for each predetermined direction range, and the distribution of the lightness gradient direction code is used as a recognition feature amount. Features.
According to a seventeenth aspect of the present invention, there is provided the mark reading method according to the sixteenth aspect, wherein the lightness gradient calculation window calculates a lightness gradient strength in each of the lightness gradient calculation windows and has a lightness gradient strength that does not exceed a previously stored lightness gradient strength threshold. The lightness gradient direction is assigned to a lightness gradient no code which is one of the lightness gradient direction codes.
According to an eighteenth aspect of the present invention, in the sixteenth or seventeenth aspect, a plurality of statistical regions are set in the object image, a plurality of brightness gradient calculation windows are set in the statistical region, and each statistical region is set. The frequency of appearance of the brightness gradient direction code is used as a recognition feature amount.
According to a nineteenth aspect of the present invention, there is provided the mark reading method according to the eighteenth aspect, wherein the appearance frequency of the lightness gradient direction code for each statistical region excluding the lightness gradient no code is used as a recognition feature amount.
In the sixteenth, seventeenth, eighteenth, or nineteenth invention, the mark reading method of the twentieth invention has the highest correlation value with the recognition feature quantity of the object image among a plurality of types of template images stored in advance. The type corresponding to the template image having a large recognition feature amount is determined as the type of the object.
In a sixteenth, seventeenth, eighteenth, or nineteenth invention, the mark reading method of the twenty-first invention uses the recognition feature amount as a recognition feature vector in a feature space, and among the plurality of types of template images stored in advance, the target The type corresponding to the template image having the recognition feature vector that is closest to the recognition feature vector of the object image is determined as the type of the object.
In the twenty-first invention, when the distance between the recognition feature vector of any of the template images and the recognition feature vector of the object image is far from a distance threshold stored in advance, The object is judged as an unregistered type.
According to a mark reading method of a twenty-third invention, in the twenty-second invention, the recognition feature vector of the template image is an average value of recognition feature vectors of a plurality of object images of the same type, and the distance threshold is the value of the template image. It is a value obtained by multiplying the standard deviation of the distance between the recognition feature vector and the recognition feature vector of a plurality of object images of the same type by a predetermined constant.
According to a twenty-fourth aspect of the present invention, there is provided a mark reading method according to the fourteenth, fifteenth, sixteenth, seventeenth, eighteenth, nineteenth, twentieth, twenty-first, twenty-second, twenty-second or twenty-third invention It is characterized by applying an averaging filter to an object image.
第１発明によれば、明度勾配方向の分布を基にテンプレート画像との比較を行うので、特に、織り目により生じる細かい凹凸や、シワ等に起因するノイズが大量にある布片画像でも、そのノイズに惑わされることなく、精度の良い判断ができる。そのため、布マークを十分な精度で認識し、布片の種類や表裏を識別することで、その結果を基に布片のハンドリング方法を決定することができる。
第２発明によれば、明度勾配方向の分布である認識特徴量を基にテンプレート画像との比較を行うので、特に、織り目により生じる細かい凹凸や、シワ等に起因するノイズが大量にある布片画像でも、そのノイズに惑わされることなく、精度の良い判断ができる。
第３発明によれば、明度勾配方向をコード化することにより、テンプレート画像との比較を容易に行うことができる。
第４発明によれば、明度勾配強度閾値を超えない明度勾配強度を有する明度勾配演算ウィンドウ内の明度勾配方向を明度勾配無コードに割り当てるので、明度勾配演算ウィンドウ内にマークが付されていない場合に、ノイズの影響で明度勾配方向をいずれかの方向を示す明度勾配方向コードに割り当てることがなく、ノイズの影響を排除できるので、精度の良い判断ができる。
第５発明によれば、統計領域ごとの明度勾配方向コードの出現頻度を認識特徴量とするので、認識特徴量の要素数を少なくすることができ、広範囲にわたる対象物画像を用いたテンプレート画像との比較を、高速に行うことができる。
第６発明によれば、明度勾配無コードを除き、いずれかの方向を示す明度勾配方向コードのみでテンプレート画像との比較をすることにより、対象物の種類ごとの特徴が認識特徴量に顕著に表れるので、精度の良い判断ができる。
第７発明によれば、対象物画像とテンプレート画像との認識特徴量の相関値を用いることにより、対象物画像をテンプレート画像にマッチングすることができ、対象物の種類を判断することができる。
第８発明によれば、対象物画像とテンプレート画像との認識特徴ベクトルの距離を用いることにより、対象物画像をテンプレート画像にマッチングすることができ、対象物の種類を判断することができる。
第９発明によれば、距離閾値を用いて対象物を未登録の種類と判断することにより、未登録の対象物を登録済みの種類と誤って判断することを防止することができる。
第１０発明によれば、距離閾値を距離の標準偏差で定めるので、認識特徴量の揺らぎが大きい種類であっても、対象物が未登録の種類と判断されることを防ぐことができる。
第１１発明によれば、平均化フィルタによりカメラで撮影した対象物画像を圧縮することで、後の処理を高速に行うことができる。また、各画素の明度を平均化することで、微小ノイズの除去ができる。
第１２発明によれば、対象物を規則性のある明度分布で照らすことにより、対象物にマークが付されていない場合でも、明度勾配方向に規則性を持たせることができ、マークが無いことを判断することができる。
第１３発明によれば、対象物を斜方から照らすことにより、例えば、布片に織り込まれたマークの凹凸に影を付けてマークを浮き出させることができる。そのため、布片に織り込まれたマークの識別を精度よく行うことができる。
第１４発明によれば、明度勾配方向の分布を基にテンプレート画像との比較を行うので、特に、織り目により生じる細かい凹凸や、シワ等に起因するノイズが大量にある布片画像でも、そのノイズに惑わされることなく、精度の良い判断ができる。そのため、布マークを十分な精度で認識し、布片の種類や表裏を識別することで、その結果を基に布片のハンドリング方法を決定することができる。
第１５発明によれば、明度勾配方向の分布である認識特徴量を基にテンプレート画像との比較を行うので、特に、織り目により生じる細かい凹凸や、シワ等に起因するノイズが大量にある布片画像でも、そのノイズに惑わされることなく、精度の良い判断ができる。
第１６発明によれば、明度勾配方向をコード化することにより、テンプレート画像との比較を容易に行うことができる。
第１７発明によれば、明度勾配強度閾値を超えない明度勾配強度を有する明度勾配演算ウィンドウ内の明度勾配方向を明度勾配無コードに割り当てるので、明度勾配演算ウィンドウ内にマークが付されていない場合に、ノイズの影響で明度勾配方向をいずれかの方向を示す明度勾配方向コードに割り当てることがなく、ノイズの影響を排除できるので、精度の良い判断ができる。
第１８発明によれば、統計領域ごとの明度勾配方向コードの出現頻度を認識特徴量とするので、認識特徴量の要素数を少なくすることができ、広範囲にわたる対象物画像を用いたテンプレート画像との比較を、高速に行うことができる。
第１９発明によれば、明度勾配無コードを除き、いずれかの方向を示す明度勾配方向コードのみでテンプレート画像との比較をすることにより、対象物の種類ごとの特徴が認識特徴量に顕著に表れるので、精度の良い判断ができる。
第２０発明によれば、対象物画像とテンプレート画像との認識特徴量の相関値を用いることにより、対象物画像をテンプレート画像にマッチングすることができ、対象物の種類を判断することができる。
第２１発明によれば、対象物画像とテンプレート画像との認識特徴ベクトルの距離を用いることにより、対象物画像をテンプレート画像にマッチングすることができ、対象物の種類を判断することができる。
第２２発明によれば、距離閾値を用いて対象物を未登録の種類と判断することにより、未登録の対象物を登録済みの種類と誤って判断することを防止することができる。
第２３発明によれば、距離閾値を距離の標準偏差で定めるので、認識特徴量の揺らぎが大きい種類であっても、対象物が未登録の種類と判断されることを防ぐことができる。
第２４発明によれば、平均化フィルタによりカメラで撮影した対象物画像を圧縮することで、後の処理を高速に行うことができる。また、各画素の明度を平均化することで、微小ノイズの除去ができる。
According to the first invention, since the comparison with the template image is performed based on the distribution in the lightness gradient direction, even in the case of a cloth image having a large amount of noise due to fine unevenness or wrinkles caused by the texture, the noise Make accurate judgments without being confused by Therefore, by recognizing the cloth mark with sufficient accuracy and identifying the type and front and back of the cloth piece, the cloth piece handling method can be determined based on the result.
According to the second invention, since the comparison with the template image is performed based on the recognized feature amount that is the distribution in the lightness gradient direction, the cloth piece that has a large amount of noise due to fine unevenness caused by the texture, wrinkles, and the like in particular. Even with images, it is possible to make accurate judgments without being confused by the noise.
According to the third aspect of the present invention, it is possible to easily compare with the template image by encoding the lightness gradient direction.
According to the fourth aspect, since the lightness gradient direction in the lightness gradient calculation window having the lightness gradient intensity not exceeding the lightness gradient intensity threshold value is assigned to the lightness gradient non-code, the mark is not attached in the lightness gradient calculation window. In addition, since the influence of noise can be eliminated without assigning the lightness gradient direction to a lightness gradient direction code indicating any direction due to the influence of noise, a highly accurate determination can be made.
According to the fifth aspect, since the appearance frequency of the lightness gradient direction code for each statistical region is used as the recognition feature amount, the number of elements of the recognition feature amount can be reduced, and a template image using a wide range of object images and The comparison can be performed at high speed.
According to the sixth aspect of the invention, by comparing the template image with only the lightness gradient direction code indicating any direction except for the lightness gradient no code, the feature for each type of the object is conspicuous in the recognition feature amount. Since it appears, it can be judged with high accuracy.
According to the seventh invention, by using the correlation value of the recognition feature quantity between the object image and the template image, the object image can be matched with the template image, and the type of the object can be determined.
According to the eighth invention, by using the distance of the recognition feature vector between the object image and the template image, the object image can be matched with the template image, and the type of the object can be determined.
According to the ninth aspect of the present invention, it is possible to prevent an unregistered object from being erroneously determined as a registered type by determining the object as an unregistered type using the distance threshold.
According to the tenth aspect of the invention, since the distance threshold is determined by the standard deviation of the distance, it is possible to prevent the object from being determined as an unregistered type even if the recognition feature amount fluctuates greatly.
According to the eleventh aspect, the subsequent processing can be performed at high speed by compressing the object image captured by the camera using the averaging filter. In addition, it is possible to remove minute noise by averaging the brightness of each pixel.
According to the twelfth invention, by illuminating the object with a regular lightness distribution, even when the object is not marked, the lightness gradient direction can be regularized and there is no mark. Can be judged.
According to the thirteenth aspect, by illuminating the object from an oblique direction, for example, the mark can be raised by shadowing the unevenness of the mark woven into the cloth piece. Therefore, it is possible to accurately identify the marks woven into the cloth pieces.
According to the fourteenth aspect of the invention, since the comparison with the template image is performed based on the distribution in the lightness gradient direction, even in the case of a cloth image having a large amount of noise due to fine unevenness or wrinkles caused by the texture, the noise Make accurate judgments without being confused by Therefore, by recognizing the cloth mark with sufficient accuracy and identifying the type and front and back of the cloth piece, the cloth piece handling method can be determined based on the result.
According to the fifteenth aspect, since the comparison with the template image is performed based on the recognized feature amount that is the distribution in the lightness gradient direction, in particular, the cloth piece that has a large amount of noise due to fine unevenness caused by the texture, wrinkles, etc. Even with images, it is possible to make accurate judgments without being confused by the noise.
According to the sixteenth aspect, by encoding the lightness gradient direction, it is possible to easily compare with the template image.
According to the seventeenth aspect, since the lightness gradient direction in the lightness gradient calculation window having the lightness gradient strength that does not exceed the lightness gradient strength threshold is assigned to the lightness gradient non-code, the mark is not added in the lightness gradient calculation window. In addition, since the influence of noise can be eliminated without assigning the lightness gradient direction to a lightness gradient direction code indicating any direction due to the influence of noise, a highly accurate determination can be made.
According to the eighteenth aspect, since the appearance frequency of the lightness gradient direction code for each statistical region is used as the recognition feature amount, the number of elements of the recognition feature amount can be reduced, and a template image using a wide range of object images and The comparison can be performed at high speed.
According to the nineteenth aspect of the present invention, by comparing the template image with only the lightness gradient direction code indicating any direction except for the lightness gradient no code, the feature for each type of the object is conspicuous in the recognition feature amount. Since it appears, it can be judged with high accuracy.
According to the twentieth aspect, by using the correlation value of the recognition feature quantity between the object image and the template image, the object image can be matched with the template image, and the type of the object can be determined.
According to the twenty-first aspect, by using the distance of the recognition feature vector between the object image and the template image, the object image can be matched with the template image, and the type of the object can be determined.
According to the twenty-second invention, it is possible to prevent an unregistered object from being erroneously determined as a registered type by determining the object as an unregistered type using the distance threshold.
According to the twenty-third aspect, since the distance threshold value is determined by the standard deviation of the distance, it is possible to prevent the object from being determined as an unregistered type even if the recognition feature amount fluctuates greatly.
According to the twenty-fourth aspect, the subsequent processing can be performed at high speed by compressing the object image photographed by the camera using the averaging filter. In addition, it is possible to remove minute noise by averaging the brightness of each pixel.
つぎに、本発明の実施形態を図面に基づき説明する。
本発明の一実施形態に係るマーク読み取り装置は、例えば、図１０に示すような自動投入装置Ｘに取り付けられる。
図１０において、１は布片Ｔを取り込むための取上げロボット、２および３はコンベヤ、４は傾斜スライダ、５は布片Ｔを展開するための展開ロボット、６は排出コンベヤである。これら、取上げロボット１、傾斜スライダ４、展開ロボット５が協働し、コンベヤ２上に山積みされた布片Ｔを取り込み、これを１枚ずつ分離し、平たく展開をして、排出コンベヤ６でアイロナーや折畳み機等の次工程装置に投入する。
Next, an embodiment of the present invention will be described with reference to the drawings.
A mark reading device according to an embodiment of the present invention is attached to an automatic loading device X as shown in FIG. 10, for example.
In FIG. 10, 1 is a pick-up robot for taking in the cloth piece T, 2 and 3 are conveyors, 4 is an inclined slider, 5 is a developing robot for developing the cloth pieces T, and 6 is a discharge conveyor. The pick-up robot 1, the tilt slider 4 and the unfolding robot 5 cooperate to take in the pieces of cloth T stacked on the conveyor 2, separate them one by one, unfold them flatly, and unload them on the discharge conveyor 6. And put it into the next process equipment such as a folding machine.
マーク読み取り装置は、布片Ｔを撮影するカメラと、カメラに接続された画像処理装置と、布片Ｔを照らす照明とで構成されている。
図１１に示すように、排出コンベヤ６の上方には、排出コンベヤ６上に平たく展開されて搬送される布片Ｔを撮影するカメラ１１が設けられている。カメラ１１としては、エリアセンサや、ラインセンサを用いることができる。カメラ１１は図示しない画像処理装置に接続されており、カメラ１１で撮影した布片Ｔの画像（以下、「布片画像」という。）を画像処理することができるようになっている。
なお、「布片」は特許請求の範囲に記載の「対象物」に相当し、「布片画像」は特許請求の範囲に記載の「対象物画像」に相当する。
The mark reading device includes a camera that captures the cloth piece T, an image processing apparatus connected to the camera, and illumination that illuminates the cloth piece T.
As shown in FIG. 11, a camera 11 is provided above the discharge conveyor 6 to photograph a piece of cloth T that is flatly developed and conveyed on the discharge conveyor 6. As the camera 11, an area sensor or a line sensor can be used. The camera 11 is connected to an image processing apparatus (not shown) and can perform image processing on an image of a cloth piece T (hereinafter referred to as “cloth piece image”) photographed by the camera 11.
The “cloth piece” corresponds to the “object” described in the claims, and the “cloth piece image” corresponds to the “object image” described in the claims.
また、図１２に示すように、排出コンベヤ６の近傍には、カメラ１１の撮像位置を照らす蛍光灯等の照明１２が設けられている。
ところで、布片Ｔに付されるマークの多くは、インクなどを用いた印刷ではなく、ジャガード織り等で布地に織り込まれたマークであり、マークと布地との間に色の差がない。そのため、一般に行われるように布片Ｔを真上から照らすと、マークと布地との明度の差がほとんどなくなり、マークを読み取ることが困難になる。
そこで、図１２に示すように、照明１２を撮像位置の横の低い位置に設置し、布片Ｔを斜方から照らすようにする。このようにすれば、図１３に示すように、布片Ｔに織り込まれたマークの凹凸に影を付けてマークを浮き出させることができる。そのため、布片Ｔに織り込まれたマークの識別を精度よく行うことができる。
Further, as shown in FIG. 12, an illumination 12 such as a fluorescent lamp that illuminates the imaging position of the camera 11 is provided in the vicinity of the discharge conveyor 6.
By the way, many of the marks attached to the cloth piece T are marks woven into the cloth by jacquard weaving or the like instead of printing using ink or the like, and there is no color difference between the mark and the cloth. Therefore, when the cloth piece T is illuminated from directly above as is generally done, there is almost no difference in brightness between the mark and the cloth, making it difficult to read the mark.
Therefore, as shown in FIG. 12, the illumination 12 is installed at a low position next to the imaging position so that the cloth piece T is illuminated obliquely. In this way, as shown in FIG. 13, the mark can be raised by shadowing the unevenness of the mark woven into the cloth piece T. Therefore, the mark woven in the cloth piece T can be identified with high accuracy.
また、図１４に示すように、照明１２は、布片Ｔの一方（図１４における右側）が暗く、他方（図１４における左側）にいくに従って明るくなるような、規則性のある明度分布で布片Ｔを照らすようにする。これは、明るく照らされた方（図１４における左側）に照明１２を設置することで容易に実現できる。
この効果については、後述する。
Further, as shown in FIG. 14, the illumination 12 has a regular brightness distribution in which one of the pieces of cloth T (right side in FIG. 14) is dark and becomes brighter toward the other (left side in FIG. 14). The piece T is illuminated. This can be easily realized by installing the illumination 12 on the brightly illuminated side (left side in FIG. 14).
This effect will be described later.
なお、図１２では、照明１２をコンベヤ６の側方に設置したが、コンベヤ６の上方（図１２において、布片Ｔを中心に照明１２を水平面内で９０°回転した位置）に設置するなど、撮像位置において布片Ｔを斜方から照らすことができれば、その設置位置は限定されない。また、線光源に限らず、点光源としてもよい。
さらに、図１４に示すような一方向に明度が変化する明度分布に限らず、規則性さえあれば、どのような明度分布としてもよい。
In FIG. 12, the illumination 12 is installed on the side of the conveyor 6. However, the illumination 12 is installed above the conveyor 6 (in FIG. 12, the illumination 12 is rotated 90 ° in the horizontal plane around the cloth piece T). If the cloth piece T can be illuminated obliquely at the imaging position, the installation position is not limited. Moreover, not only a line light source but a point light source may be used.
Furthermore, the brightness distribution is not limited to the brightness distribution in which the brightness changes in one direction as shown in FIG.
さらになお、マーク読み取り装置は自動投入装置Ｘ以外の他の装置に設けてもよく、その取り付け場所は限定されない。特に、折畳み仕上機、あるいは作業員による折畳みの前段階に設置すれば、マークを読み取って布片Ｔを種類ごとに分別したり、マークを表にして折畳んだりできるので好ましい。 Furthermore, the mark reading device may be provided in a device other than the automatic loading device X, and its mounting location is not limited. In particular, it is preferable to install it in a folding finishing machine or in a stage prior to folding by an operator, since the mark T can be read and the piece of cloth T can be sorted by type, or the mark can be folded face up.
つぎに、上記マーク読み取り装置を用いた布マークの読み取り方法について説明する。
まず、自動投入装置Ｘの動作により、布片Ｔが排出コンベヤ６上に平たく展開されて搬送されると、カメラ１１でその布片Ｔを撮影して、布片画像を得る。
図１３に示すように、布片画像には布片Ｔの織り目により生じる細かい凹凸や、シワ等に起因するノイズが大量にあるので、そのノイズに惑わされることなく、布マークを読み取る必要がある。そこで、大きく次の２つのステップで布マークの読み取りを行う。
（１）平均化フィルタによる微小ノイズ成分の除去
（２）明度勾配方向を用いたテンプレート画像とのマッチング
ここで、テンプレート画像とは、あらかじめ画像処理装置に記憶された布片の種類、表裏のごとの標準的な布片画像のことである。カメラ１１で撮影した布片画像をいずれかのテンプレート画像にマッチングさせることで、布片Ｔの種類、表裏を判断するのである。なお、特許請求の範囲に記載の「種類」とは、布片の種類だけでなく、表裏も含む概念である。
ステップ（２）におけるマッチング方法には次の２種類がある。
（２．１）正規化相関処理を用いた方法
（２．２）ベクトル間距離を用いた方法
以下、それぞれについて詳説する。
Next, a cloth mark reading method using the mark reading apparatus will be described.
First, when the cloth T is unfolded and conveyed on the discharge conveyor 6 by the operation of the automatic loading device X, the cloth T is photographed by the camera 11 to obtain a cloth image.
As shown in FIG. 13, since the cloth image has a large amount of fine unevenness caused by the texture of the cloth piece T and wrinkles or the like, it is necessary to read the cloth mark without being confused by the noise. . Therefore, the cloth mark is read in the following two steps.
(1) Removal of minute noise component by averaging filter (2) Matching with template image using brightness gradient direction Here, the template image is the kind of cloth pieces stored in the image processing apparatus in advance and the front and back This is a standard cloth image. By matching the cloth image captured by the camera 11 with one of the template images, the type and front / back of the cloth T are determined. The “type” described in the claims is a concept that includes not only the type of cloth piece but also the front and back sides.
There are the following two types of matching methods in step (2).
(2.1) Method Using Normalized Correlation Processing (2.2) Method Using Vector Distance Each of these will be described in detail below.
（１）平均化フィルタによる微小ノイズ成分の除去
画像処理装置は、カメラ１１で撮影した布片画像に平均化フィルタをかけることによって、布片画像を圧縮し、微小ノイズを除去する。ここで、平均化フィルタとは、周知の画像処理方法であって、画素数が減少し、微小ノイズが除去されることが知られている。
具体的には、図１５に示すように、カメラ１１で撮影した撮像画像を２×２画素単位に分割し、その４画素の明度の平均値を１画素の明度とすることにより、全体で１／４の画素数となる布片画像を得る。同様の処理を２回行うことで、全体で１／１６の画素数である布片画像が得られる。
平均化フィルタにより布片画像を圧縮することで、後のステップ（２）の処理を高速に行うことができる。また、各画素の明度を平均化することで、微小ノイズの除去ができる。
(1) Removal of minute noise component by averaging filter The image processing apparatus applies an averaging filter to the cloth image captured by the camera 11 to compress the cloth image and remove minute noise. Here, the averaging filter is a known image processing method, and it is known that the number of pixels is reduced and minute noise is removed.
Specifically, as shown in FIG. 15, the captured image taken by the camera 11 is divided into 2 × 2 pixel units, and the average value of the brightness of the four pixels is set as the brightness of one pixel. A cloth image having a pixel number of / 4 is obtained. By performing the same process twice, a cloth image having a total number of 1/16 pixels can be obtained.
By compressing the cloth image with the averaging filter, the process of the subsequent step (2) can be performed at high speed. In addition, it is possible to remove minute noise by averaging the brightness of each pixel.
なお、上記では最終的に１６画素の平均としたが、どの程度の平均化フィルタをかけるか、すなわち、撮像画像における何画素分を平均するかは、ステップ（２）におけるテンプレート画像とのマッチング精度や、処理速度が最適となるように決定すればよい。もちろん、マッチング精度や、処理速度によっては、平均化フィルタをかけなくてもよい。
また、上記のように、処理を２回に分けて行う以外にも、１回で処理を完了するようにしてもよい。
In the above, the average of 16 pixels is finally used, but how much averaging filter is applied, that is, how many pixels in the captured image are averaged is the matching accuracy with the template image in step (2). Alternatively, the processing speed may be determined to be optimum. Of course, the averaging filter may not be applied depending on the matching accuracy and the processing speed.
Further, as described above, the processing may be completed once in addition to performing the processing in two steps.
（２）明度勾配方向を用いたテンプレート画像とのマッチング
つぎに、画像処理装置は、平均化フィルタ後の布片画像を用いて、テンプレート画像とのマッチングを行う。本発明では、布片画像のノイズの影響を排除するため、明度勾配方向をマッチングのために用いる。ここで、明度勾配方向とは、画像内において明度が明るく変化する方向を意味する。
まず、明度勾配方向の演算方法について説明する。
(2) Matching with Template Image Using Lightness Gradient Direction Next, the image processing apparatus performs matching with the template image using the cloth image after the averaging filter. In the present invention, the lightness gradient direction is used for matching in order to eliminate the influence of the noise of the cloth image. Here, the lightness gradient direction means a direction in which the lightness changes brightly in the image.
First, a method for calculating the lightness gradient direction will be described.
図１に示すように、布片画像中に明度勾配演算ウィンドウＷを設定し、その明度勾配演算ウィンドウＷ内の明度勾配方向を演算する。
明度勾配演算ウィンドウＷ内の中心座標を(u,v)とし、明度勾配演算ウィンドウＷの幅を定める画素数をnとすると、明度勾配演算ウィンドウＷは、座標(u−n,v−n)、(u＋n,v−n)、(u−n,v＋n)、(u＋n,v＋n)で囲まれた領域である。
ここで、明度勾配演算ウィンドウＷは１辺の画素数Nが２以上の正方形であり、nは、
なお、図２に示すように、Nが偶数の場合（Ａ）は、明度勾配演算ウィンドウＷの中心座標(u,v)は、画素の境界の交点に相当し、その交点に隣接する画素が(u−1,v−1)、(u＋1,v−1)、(u−1,v＋1)、(u＋1,v＋1)と定義される。一方、Nが奇数の場合（Ｂ）は、明度勾配演算ウィンドウＷの中心座標(u,v)は、一つの画素に相当し、その画素の四隅に隣接する画素が(u−1,v−1)、(u＋1,v−1)、(u−1,v＋1)、(u＋1,v＋1)と定義される。
As shown in FIG. 1, a lightness gradient calculation window W is set in the cloth image, and the lightness gradient direction in the lightness gradient calculation window W is calculated.
When the center coordinate in the lightness gradient calculation window W is (u, v) and the number of pixels that defines the width of the lightness gradient calculation window W is n, the lightness gradient calculation window W has coordinates (u−n, v−n). , (U + n, v−n), (u−n, v + n), (u + n, v + n).
Here, the lightness gradient calculation window W is a square in which the number N of pixels on one side is 2 or more, and n is
As shown in FIG. 2, when N is an even number (A), the central coordinates (u, v) of the lightness gradient calculation window W correspond to the intersection of pixel boundaries, and the pixels adjacent to the intersection are It is defined as (u−1, v−1), (u + 1, v−1), (u−1, v + 1), (u + 1, v + 1). On the other hand, when N is an odd number (B), the central coordinate (u, v) of the lightness gradient calculation window W corresponds to one pixel, and the pixels adjacent to the four corners of the pixel are (u−1, v−). 1), (u + 1, v−1), (u−1, v + 1), (u + 1, v + 1).
明度勾配演算ウィンドウＷ内の明度勾配方向θ(u,v)は、座標(u,v)の画素の明度をI(u,v)とすると、
このように、明度勾配方向は、明度勾配演算ウィンドウＷ内の画素の明度を用いた簡易な演算により定まるので、演算速度が速い。
The lightness gradient direction θ (u, v) in the lightness gradient calculation window W is defined as I (u, v) where the lightness of the pixel at coordinates (u, v) is
Thus, the lightness gradient direction is determined by a simple calculation using the lightness of the pixels in the lightness gradient calculation window W, so that the calculation speed is fast.
図１に示すように、本実施形態では明度勾配演算ウィンドウＷを５×５画素としている。したがって、数１によれば、n=2である。
ただし、明度勾配演算ウィンドウＷは任意の大きさとすることができる。しかし、小さすぎると明度勾配方向にノイズの影響が表れ、大きすぎると明度勾配方向に布マークによる明度変化を反映することができなくなる。そのため、テンプレート画像とのマッチング精度が最適となるように、明度勾配演算ウィンドウＷの大きさを決定すればよい。
As shown in FIG. 1, in this embodiment, the brightness gradient calculation window W is set to 5 × 5 pixels. Therefore, according to Equation 1, n = 2.
However, the lightness gradient calculation window W can be arbitrarily sized. However, if it is too small, the influence of noise appears in the lightness gradient direction, and if it is too large, it becomes impossible to reflect the lightness change due to the cloth mark in the lightness gradient direction. Therefore, the size of the lightness gradient calculation window W may be determined so that the matching accuracy with the template image is optimal.
数２で演算される明度勾配方向はラジアン角度であるため、このままでは後のマッチング処理が困難となる。そこで、明度勾配方向を所定方向範囲ごとにコード化する。
図３に示すように、明度勾配方向を８方向に分けて、それぞれ１〜８の明度勾配方向コードと定義する。したがって、π/4radごとの方向範囲に分けられている。明度勾配方向コード１は、−π/8〜＋π/8radの範囲であり、明度勾配方向コード２以降は、π/4radずつずれている。例えば、明度勾配方向がx軸正方向であれば明度勾配方向コード１、y軸正方向であれば明度勾配方向コード３、x軸負方向であれば明度勾配方向コード５、y軸負方向であれば明度勾配方向コード７にそれぞれ割り当てられる。
Since the lightness gradient direction calculated by Equation 2 is a radian angle, the subsequent matching process becomes difficult if it remains as it is. Therefore, the brightness gradient direction is coded for each predetermined direction range.
As shown in FIG. 3, the lightness gradient direction is divided into 8 directions and defined as lightness gradient direction codes 1 to 8, respectively. Therefore, the direction range is divided every π / 4 rad. The lightness gradient direction code 1 is in the range of −π / 8 to + π / 8 rad, and the lightness gradient direction code 2 and thereafter are shifted by π / 4 rad. For example, if the lightness gradient direction is the x-axis positive direction, the lightness gradient direction code 1; if the y-axis positive direction, the lightness gradient direction code 3; if the lightness gradient direction is the x-axis negative direction, the lightness gradient direction code 5; If there is, it is assigned to the lightness gradient direction code 7 respectively.
なお、上記では８方向に分けたが、より細かく分けてもよいし、より粗く分けてもよい。テンプレート画像とのマッチング精度が最適となるように、明度勾配方向コードの数を決定すればよい。 In addition, although it divided into 8 directions in the above, you may divide more finely and may divide coarsely. The number of brightness gradient direction codes may be determined so that the matching accuracy with the template image is optimal.
また、明度勾配演算ウィンドウＷ内の明度勾配強度が、あらかじめ画像処理装置に記憶された明度勾配強度閾値を超えない場合には、明度勾配無コード９に割り当てる。ここで、明度勾配強度とは、明度の変化の大きさを示す値である。
明度勾配演算ウィンドウＷ内の明度勾強度m(u,v)は、
このように、明度勾強度は、明度勾配演算ウィンドウ内の画素の明度を用いた簡易な演算により定まるので、演算速度が速い。
Further, when the lightness gradient strength in the lightness gradient calculation window W does not exceed the lightness gradient strength threshold stored in the image processing apparatus in advance, the lightness gradient no code 9 is assigned. Here, the brightness gradient strength is a value indicating the magnitude of change in brightness.
The lightness gradient strength m (u, v) in the lightness gradient calculation window W is
In this way, the lightness gradient strength is determined by a simple calculation using the lightness of the pixels in the lightness gradient calculation window, so that the calculation speed is fast.
明度勾配演算ウィンドウＷ内に布マークが付されていない場合には、明度の変化があまりないので明度勾配強度が小さくなる。このような場合に、ノイズの影響で生じる明度勾配方向をいずれかの明度勾配方向コード１〜８に割り当てることをせず、明度勾配無コード９に割り当てる。その結果、ノイズの影響を排除できるので、精度の良い判断ができる。
明度勾配強度閾値は、布マークが付されていない場合に明度勾配無コード９に割り当てるように、最適な値に設定すればよい。
When no cloth mark is added in the lightness gradient calculation window W, the lightness gradient strength is small because there is not much change in lightness. In such a case, the lightness gradient direction generated by the influence of noise is not assigned to any lightness gradient direction code 1 to 8 but assigned to the lightness gradient no code 9. As a result, the influence of noise can be eliminated, so that accurate determination can be made.
The lightness gradient intensity threshold value may be set to an optimum value so as to be assigned to the lightness gradient no code 9 when the cloth mark is not attached.
以上ように、ラジアン角度で演算された明度勾配方向を、明度勾配方向コード１〜９に割り当てることにより、以後の処理が容易となる。 As described above, by assigning the lightness gradient direction calculated by the radian angle to the lightness gradient direction codes 1 to 9, the subsequent processing becomes easy.
テンプレート画像とのマッチング処理においては、布片画像中に複数の明度勾配演算ウィンドウＷを設定し、それぞれの明度勾配演算ウィンドウＷ内の明度勾配方向コードを演算する。
具体的には、図４に示すように、布片画像中の布マークが付されていると予想される領域に７５×５０画素の比較領域Ｃを設定し、その比較領域Ｃを５×５の統計領域Ｓに分割する。このとき、統計領域Ｓは、１５×１０画素となる。
この統計領域Ｓ中に明度勾配演算ウィンドウＷを複数設定し、それぞれの明度勾配演算ウィンドウＷ内の明度勾配方向コードを演算する。具体的には、まず、統計領域Ｓ中の左上に明度勾配演算ウィンドウＷを設定し、この明度勾配演算ウィンドウＷ内の明度勾配方向と明度勾強度を演算し、明度勾配方向コードに割り当てる。その後、明度勾配演算ウィンドウＷを１画素単位、もしくは数画素単位にシフトさせながら、各位置で明度勾配方向コードを演算していく。したがって、１画素単位にシフトした場合では、１統計領域当たり、６６個の明度勾配方向コードが演算されることになる。
In the matching process with the template image, a plurality of lightness gradient calculation windows W are set in the cloth image, and the lightness gradient direction code in each lightness gradient calculation window W is calculated.
Specifically, as shown in FIG. 4, a comparison area C of 75 × 50 pixels is set in an area where a cloth mark is expected to be attached in the cloth image, and the comparison area C is set to 5 × 5. Are divided into statistical areas S. At this time, the statistical area S is 15 × 10 pixels.
A plurality of lightness gradient calculation windows W are set in the statistical region S, and the lightness gradient direction code in each lightness gradient calculation window W is calculated. Specifically, first, the lightness gradient calculation window W is set in the upper left of the statistical region S, the lightness gradient direction and the lightness gradient strength in the lightness gradient calculation window W are calculated, and assigned to the lightness gradient direction code. Thereafter, the lightness gradient direction code is calculated at each position while shifting the lightness gradient calculation window W in units of one pixel or several pixels. Therefore, when shifting in units of one pixel, 66 lightness gradient direction codes are calculated per statistical area.
図５に示すように、統計領域ごとの度勾配方向コードの出現頻度をヒストグラムにすると、１統計領域当たり９個の要素からなるヒストグラムが得られ、全２５個の統計領域を合わせると、９×２５＝２２５個の要素からなるヒストグラムが得られる。この２２５要素の出現頻度を認識特徴量と定義する。以後の処理において、この認識特徴量を用いてテンプレート画像とのマッチングを行う。
統計領域ごとの明度勾配方向コードの出現頻度を認識特徴量とするので、各明度勾配演算ウィンドウＷ内の明度勾配方向コードを取り扱う場合に比べて要素数を少なくすることができ、広範囲にわたる布片画像を用いたテンプレート画像とのマッチングを、高速に行うことができる。
As shown in FIG. 5, when the frequency of occurrence of the degree gradient direction code for each statistical area is a histogram, a histogram composed of 9 elements per statistical area is obtained. When all 25 statistical areas are combined, 9 × A histogram consisting of 25 = 225 elements is obtained. The appearance frequency of this 225 element is defined as a recognition feature amount. In subsequent processing, matching with the template image is performed using the recognized feature amount.
Since the appearance frequency of the lightness gradient direction code for each statistical region is used as the recognition feature amount, the number of elements can be reduced as compared with the case of handling the lightness gradient direction code in each lightness gradient calculation window W, and a wide range of cloth pieces. Matching with a template image using an image can be performed at high speed.
なお、上記では、比較領域Ｃを７５×５０画素としたが、これより広くてもよいし、狭くてもよい。対象となる布片の布マークが比較領域Ｃの中に含まれるように設定すればよい。
また、上記では比較領域Ｃを５×５の統計領域Ｓに分割したが、これよりも多く分割してもよいし、少なく分割してもよい。多く分割した場合には、認識特徴量の要素数が多くなり、少なく分割した場合には、認識特徴量の要素数が少なくなる。テンプレート画像とのマッチング精度が最適となるように、分割数を決定すればよい。
In the above description, the comparison area C is 75 × 50 pixels, but it may be wider or narrower. What is necessary is just to set so that the cloth mark of the target cloth piece is included in the comparison region C.
In the above description, the comparison area C is divided into 5 × 5 statistical areas S. However, the comparison area C may be divided more or less. When the number of divisions is large, the number of elements of the recognition feature amount increases. When the number of divisions is small, the number of elements of the recognition feature amount decreases. The number of divisions may be determined so that the matching accuracy with the template image is optimal.
ところで、布片Ｔの種類、表裏を判断するには、あらかじめテンプレート画像を画像処理装置に記憶しておく必要がある。
そのため、あらかじめ、自動投入装置Ｘで取り扱う布片Ｔの種類、表裏ごとに布片画像を撮影し、それをテンプレート画像として、そのテンプレート画像ごとの認識特徴量を演算し、画像処理装置に記憶しておく。
なお、テンプレート画像自体はマッチング処理に用いないので、認識特徴量と、その認識特徴量に対応する布片の種類、表裏を、画像処理装置に記憶しておけばよい。
By the way, in order to determine the type and front / back of the cloth piece T, it is necessary to store the template image in the image processing apparatus in advance.
Therefore, a cloth image is photographed for each kind of cloth T handled by the automatic loading device X and for each of the front and back, and the recognition feature value for each template image is calculated and stored in the image processing apparatus as a template image. Keep it.
Since the template image itself is not used for the matching process, the recognition feature amount, the type of cloth corresponding to the recognition feature amount, and the front and back may be stored in the image processing apparatus.
また、布片が無地である場合には、通常、織り目により生じる細かい凹凸や、シワ等に起因するノイズにより、明度勾配方向コードがランダムに変わる。しかしながら、図１４に示すように、照明１２は、規則性のある明度分布で布片Ｔを照らすようにしているから、布片が無地であっても、明度勾配方向コードに規則性を持たせることができる。
したがって、無地の布片であってもテンプレート画像として記憶しておくことができ、対象とする布片Ｔが無地であるか判断することができる。
When the cloth piece is plain, the lightness gradient direction code usually changes randomly due to fine unevenness caused by the weave or noise caused by wrinkles. However, as shown in FIG. 14, since the illumination 12 illuminates the cloth piece T with a regular lightness distribution, even if the cloth piece is plain, the lightness gradient direction code has regularity. be able to.
Accordingly, even a plain cloth piece can be stored as a template image, and it can be determined whether the target cloth piece T is plain.
（２．１）正規化相関処理を用いた方法
つぎに、布片画像とテンプレート画像とのマッチングを行う。まず、正規化相関処理を用いた方法について説明する。
布片画像から得られた認識特徴量と、各テンプレート画像の認識特徴量との相関値を順次演算していき、布片画像を相関値が一番大きいテンプレート画像にマッチングさせる。ここで、相関値の演算は、周知の正規化相関処理により演算することができる。
そして、布片Ｔが、マッチングしたテンプレート画像の種類、表裏であると判断する。
認識特徴量は、布片画像のノイズが排除されているので、相関値が高くなり、ノイズに惑わされることなく、精度の良い判断ができる。
(2.1) Method Using Normalized Correlation Processing Next, the cloth image and the template image are matched. First, a method using normalized correlation processing will be described.
The correlation value between the recognition feature value obtained from the cloth image and the recognition feature value of each template image is sequentially calculated, and the cloth image is matched with the template image having the largest correlation value. Here, the correlation value can be calculated by a well-known normalized correlation process.
Then, it is determined that the cloth piece T is the type and front and back of the matched template image.
Since the noise of the cloth piece image is excluded, the recognition feature amount has a high correlation value and can be judged with high accuracy without being confused by the noise.
なお、相関値を演算するために用いる認識特徴量は、上記で演算した全ての要素（２２５要素）を用いてもよいし、明度勾配無コード９の出現頻度を除いた要素（２００要素）を用いてもよい。
統計領域Ｓ内に布マークが付されていない場合、あるいは、統計領域Ｓ内の一部にのみ布マークが付されている場合は、他の明度勾配コード１〜８に比べて、明度勾配無コード９の出現頻度が高くなる。そこで、明度勾配無コード９の出現頻度を除き、明度勾配コード１〜８のみとすると、布片の種類、表裏ごとの特徴が認識特徴量に顕著に表れる。そのため、他種類のテンプレート画像との分離が容易となり、テンプレート画像とのマッチングを精度よく行うことができる。
Note that the recognition feature used for calculating the correlation value may use all the elements (225 elements) calculated above, or elements (200 elements) excluding the appearance frequency of the lightness gradient no code 9. It may be used.
When the cloth mark is not attached in the statistical area S, or when the cloth mark is attached only to a part of the statistical area S, the lightness gradient is not present as compared with the other lightness gradient codes 1 to 8. The appearance frequency of the code 9 increases. Therefore, if only the lightness gradient codes 1 to 8 are used except for the appearance frequency of the lightness gradient no code 9, the types of cloth pieces and the features of the front and back are remarkably displayed in the recognition feature amount. Therefore, separation from other types of template images is facilitated, and matching with template images can be performed with high accuracy.
（２．２）ベクトル間距離を用いた方法
つぎに、ベクトル間距離を用いた方法について説明する。
本方法では、認識特徴量をその要素数の次元（２２５次元）のベクトル（以下、「認識特徴ベクトル」という。）として扱う。
図６に示すように、２２５次元の特徴空間を定めると、布片画像から得られた認識特徴ベクトルV0、およびテンプレート画像の認識特徴ベクトルVn、Vm、・・・は、その特徴空間におけるベクトルとして表される。
画像処理装置は、布片画像から得られた認識特徴ベクトルV0と、各テンプレート画像の認識特徴ベクトルVn、Vm、・・・との距離dを順次演算していき、布片画像をベクトル間距離ｄが一番近いテンプレート画像にマッチングさせる。
そして、布片Ｔが、マッチングしたテンプレート画像の種類、表裏であると判断する。
ここで、認識特徴ベクトルV0と、認識特徴ベクトルVnとの距離dは、
認識特徴ベクトルは、布片画像のノイズが排除されているので、ノイズに惑わされることなく、精度の良い判断ができる。
(2.2) Method Using Distance Between Vectors Next, a method using the distance between vectors will be described.
In this method, the recognized feature quantity is treated as a vector (hereinafter referred to as “recognized feature vector”) of the number of elements (225 dimensions).
As shown in FIG. 6, when a 225-dimensional feature space is defined, the recognition feature vector V 0 obtained from the cloth image and the recognition feature vectors V n , V m ,. Expressed as a vector in
The image processing apparatus sequentially calculates the distance d between the recognition feature vector V 0 obtained from the cloth image and the recognition feature vectors V n , V m ,. Matching is made to the template image having the closest vector distance d.
Then, it is determined that the cloth piece T is the type and front and back of the matched template image.
Here, the distance d between the recognition feature vector V 0 and the recognition feature vector V n is
Since the recognition feature vector excludes the noise of the cloth image, it can be judged with high accuracy without being confused by the noise.
ところで、上記方法では、テンプレート画像として登録されていない未登録の布片Ｔの布片画像が供給されても、ベクトル間距離dが一番近いテンプレート画像にマッチングするため、誤った判断をしてしまう。
そこで図７に示すように、上記方法で認識特徴ベクトルV0と認識特徴ベクトルVnとの距離dを演算した後に、dが距離閾値lより大きければ、マッチングしないと判断する。最終的に、いずれのテンプレート画像にもマッチングしない場合に、布片Ｔを未登録の種類と判断するようにする。
このようにすれば、未登録の布片Ｔを登録済みの種類と誤って判断することを防止することができる。
By the way, in the above method, even if a cloth image of an unregistered cloth piece T that is not registered as a template image is supplied, it matches the template image with the shortest distance d between vectors, so an erroneous determination is made. End up.
Therefore, as shown in FIG. 7, after calculating the distance d between the recognition feature vector V 0 and the recognition feature vector V n by the above method, if d is larger than the distance threshold value l, it is determined that there is no matching. Finally, if no template image is matched, the cloth piece T is determined as an unregistered type.
In this way, it is possible to prevent an unregistered cloth piece T from being erroneously determined as a registered type.
距離閾値lは、任意の定数としてもよいが、テンプレート画像ごとに定める方が好ましい。
そのためには、あらかじめテンプレート画像を画像処理装置に記憶する際に、同一種類、表裏の布片画像を複数枚（１０枚程度）撮影しておき、それぞれの布片画像で得られる認識特徴量の要素ごとの平均値を、そのテンプレート画像の認識特徴量とする。そして、そのテンプレート画像の認識特徴量から得られる認識特徴ベクトルと、それぞれの布片画像の認識特徴量から得られる認識特徴ベクトルとの距離を演算し、その距離の標準偏差σを得ておく。この標準偏差σに定数kを掛けた値kσをそのテンプレート画像の距離閾値lとする。なお、定数kは未登録種類の判断が最適となるように決定すればよい。
布片の種類、表裏によっては、得られる認識特徴量の揺らぎが大きい場合があるが、このように、距離の標準偏差σで距離閾値lを定めれば、揺らぎの大きい種類、表裏であっても、布片Ｔが未登録の種類と判断されることを防ぐことができる。
The distance threshold l may be an arbitrary constant, but is preferably determined for each template image.
For this purpose, when the template image is stored in the image processing apparatus in advance, a plurality of pieces (about 10) of the same type and front and back cloth image are photographed, and the recognition feature amount obtained from each cloth image is determined. The average value for each element is set as the recognition feature amount of the template image. Then, the distance between the recognition feature vector obtained from the recognition feature quantity of the template image and the recognition feature vector obtained from the recognition feature quantity of each cloth image is calculated, and a standard deviation σ of the distance is obtained. A value kσ obtained by multiplying the standard deviation σ by a constant k is set as a distance threshold l of the template image. The constant k may be determined so that the determination of the unregistered type is optimal.
Depending on the type of cloth and the front and back, there may be large fluctuations in the recognition features that are obtained.In this way, if the distance threshold l is determined by the standard deviation σ of the distance, In addition, it is possible to prevent the cloth piece T from being determined as an unregistered type.
なお、認識特徴ベクトルは、上記で演算した全ての要素（２２５要素）を用いてもよいし、明度勾配無コード９の出現頻度を除いた要素（２００要素）を用いてもよい。
この場合、布片の種類、表裏ごとの特徴が認識特徴ベクトルに顕著に表れるため、他種類のテンプレート画像との分離が容易となり、テンプレート画像とのマッチングを精度よく行うことができる。
In addition, all the elements (225 elements) calculated above may be used for the recognition feature vector, or elements (200 elements) excluding the appearance frequency of the lightness gradient no code 9 may be used.
In this case, since the types of cloth pieces and the features of the front and back surfaces are remarkably displayed in the recognition feature vector, separation from other types of template images is facilitated, and matching with the template images can be performed with high accuracy.
以上により得られた、画像処理装置による布片Ｔの種類、表裏の判断結果を基に、自動投入装置Ｘもしくは次工程装置における布片Ｔのハンドリング方法を決定することができる。 The handling method of the cloth piece T in the automatic loading apparatus X or the next process apparatus can be determined based on the type of the cloth piece T and the determination result of the front and back sides obtained by the image processing apparatus.
（試験）
つぎに、本発明のマーク読み取り精度の試験について説明する。
（１）従来方法
まず、従来方法によるマーク読み取りの精度について説明する。従来方法は、正規化相関処理により、布片画像とテンプレート画像との相関値を演算し、布片を相関値の高いテンプレート画像の種類に分類する方法である。
試験は、あらかじめ、ある１種類のタオルの表面と裏面の布片画像をテンプレート画像として画像処理装置に記憶させておき、同一種類のタオルの表面を試験対象として、その試験対象の布片画像と各テンプレート画像との相関値を演算した。これを複数回試行した。
その結果、相関値の分布は図８に示すようになった。図８における実線で示すように、試験対象の布片画像（表面）と、同一種類の表面のテンプレート画像との相関値は、0.25〜0.5に分布した。すなわち、従来方法の場合、高い相関値が得られず十分な精度で識別することができないことが分かる。
また、図８における破線で示すように、試験対象の布片画像（表面）と、同一種類の裏面のテンプレート画像との相関値は、0.25〜0.45に分布した。すなわち、表面のテンプレート画像との相関値の分布との重なりが多いため、表裏の識別が不可能であることが分かる。
(test)
Next, the mark reading accuracy test of the present invention will be described.
(1) Conventional Method First, the accuracy of mark reading by the conventional method will be described. The conventional method is a method of calculating a correlation value between a cloth image and a template image by normalization correlation processing, and classifying the cloth into a template image type having a high correlation value.
In the test, the image processing device stores in advance an image processing apparatus as a template image with a cloth image on the front and back surfaces of a certain type of towel, and sets the surface of the same type of towel as the test object. The correlation value with each template image was calculated. This was tried several times.
As a result, the distribution of correlation values is as shown in FIG. As shown by the solid line in FIG. 8, the correlation value between the cloth image (surface) of the test object and the template image of the same type of surface was distributed between 0.25 and 0.5. That is, it can be seen that in the case of the conventional method, a high correlation value cannot be obtained and identification cannot be performed with sufficient accuracy.
Further, as indicated by the broken line in FIG. 8, the correlation value between the cloth image (front surface) to be tested and the template image on the back surface of the same type was distributed between 0.25 and 0.45. That is, it can be seen that the front and back cannot be distinguished because there is much overlap with the distribution of correlation values with the template image on the surface.
（２）本発明の正規化相関処理を用いた方法
つぎに、本発明のステップ（２）において正規化相関処理を用いた場合のマーク読み取りの精度について説明する。
試験は、あらかじめ、５種類のタオルＡ〜Ｅの表裏の布片画像を１０種類のテンプレート画像として画像処理装置に記憶させておき、同一の５種類のタオルＡ〜Ｅを順次試験対象として、その試験対象の布片画像と各テンプレート画像との相関値を演算した。すなわち、表裏あわせて１０種類の布片画像と、１０種類のテンプレート画像との１００通りの組合せの相関値を演算した。布片画像の撮影は、１種類ごとに５回行い、それぞれについて相関値を演算した。
その結果、図９に示す表が得られた。表は、試験対象ごとに、各テンプレート画像との相関値が表されており、その相関値は、１つの組合せ毎に５回試行して得られた平均値である。
これによれば、同じ種類同士である対角線上（図９における太枠内）の相関値は十分高い値を示しており、それ以外の組み合わせの相関値は低い値であるので、布片の種類の判断が可能であることが分かる。
(2) Method Using Normalized Correlation Processing of the Present Invention Next, the accuracy of mark reading when the normalized correlation processing is used in step (2) of the present invention will be described.
In the test, the cloth processing images of the front and back surfaces of the five types of towels A to E are stored in the image processing apparatus as ten types of template images, and the same five types of towels A to E are sequentially tested. The correlation value between the cloth image to be tested and each template image was calculated. That is, the correlation values of 100 combinations of 10 types of cloth image and 10 types of template images were calculated. The cloth image was photographed five times for each type, and the correlation value was calculated for each.
As a result, the table shown in FIG. 9 was obtained. The table shows the correlation value with each template image for each test object, and the correlation value is an average value obtained by trying five times for each combination.
According to this, since the correlation value on the diagonal line (inside the thick frame in FIG. 9) that is the same type shows a sufficiently high value and the correlation value of the other combinations is a low value, the type of the cloth piece It can be seen that this judgment is possible.
（他の実施形態）
本発明に係るマーク読み取り装置は、上述の布マークに限らず、あらゆる対象物に印刷されたマーク、おるいは凹凸で形成されたマークの読み取りに用いることができる。この場合にも、布マークの識別の場合と同様に、マーク読み取り精度を高める効果が得られる。
(Other embodiments)
The mark reading apparatus according to the present invention is not limited to the above-described cloth mark, and can be used for reading marks printed on any object, or marks formed with unevenness. Also in this case, the effect of improving the mark reading accuracy can be obtained as in the case of the cloth mark identification.
Ｘ 自動投入装置
Ｔ 布片
１ 取上げロボット
２、３ コンベヤ
４ 傾斜スライダ
５ 展開ロボット
６ 排出コンベヤ
１１ カメラ
１２ 照明
Ｗ 明度勾配演算ウィンドウ
Ｃ 比較領域
Ｓ 統計領域
X Automatic feeding device T Cloth piece 1 Picking robot 2, 3 Conveyor 4 Tilt slider 5 Unfolding robot 6 Discharge conveyor 11 Camera 12 Illumination W Lightness gradient calculation window C Comparison area S Statistics area
Claims (24)
前記画像処理装置は、
前記対象物画像中の複数箇所における明度勾配方向を演算し、
あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の明度勾配方向の分布に一番近似する明度勾配方向の分布を有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものである
ことを特徴とするマーク読み取り装置。 A mark reading device comprising: a camera that shoots an object with a different mark for each type; and an image processing device that processes an object image captured by the camera,
The image processing apparatus includes:
Calculating brightness gradient directions at a plurality of locations in the object image;
Of a plurality of types of template images stored in advance, a type corresponding to a template image having a distribution in the lightness gradient direction that is closest to the distribution in the lightness gradient direction of the object image is determined as the type of the object. A mark reading device characterized by being a thing.
前記対象物画像中に複数の明度勾配演算ウィンドウを設定し、
それぞれの前記明度勾配演算ウィンドウ内の明度勾配方向を演算し、
該明度勾配方向の分布を認識特徴量とし、
あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴量と一番近似する認識特徴量を有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものである
ことを特徴とする請求項１記載のマーク読み取り装置。 The image processing apparatus includes:
Setting a plurality of brightness gradient calculation windows in the object image;
Calculate the lightness gradient direction in each lightness gradient calculation window,
Using the distribution in the lightness gradient direction as a recognition feature amount,
Of a plurality of types of template images stored in advance, the type corresponding to the template image having the recognition feature value closest to the recognition feature value of the object image is determined as the type of the object. The mark reading device according to claim 1.
前記明度勾配方向を、所定方向範囲ごとにコード化した明度勾配方向コードに割り当て、
該明度勾配方向コードの分布を認識特徴量とするものである
ことを特徴とする請求項２記載のマーク読み取り装置。 The image processing apparatus includes:
Assigning the lightness gradient direction to a lightness gradient direction code coded for each predetermined direction range;
3. The mark reading apparatus according to claim 2, wherein the distribution of the brightness gradient direction code is used as a recognition feature amount.
それぞれの前記明度勾配演算ウィンドウ内の明度勾配強度を演算し、
あらかじめ記憶された明度勾配強度閾値を超えない明度勾配強度を有する明度勾配演算ウィンドウ内の明度勾配方向を、前記明度勾配方向コードの一つである明度勾配無コードに割り当てるものである
ことを特徴とする請求項３記載のマーク読み取り装置。 The image processing apparatus includes:
Calculate the lightness gradient strength in each lightness gradient calculation window,
A lightness gradient direction in a lightness gradient calculation window having a lightness gradient strength that does not exceed a previously stored lightness gradient strength threshold value is assigned to a lightness gradient no code, which is one of the lightness gradient direction codes. The mark reading device according to claim 3.
前記対象物画像中に複数の統計領域を設定し、該統計領域中に複数の明度勾配演算ウィンドウを設定し、
前記統計領域ごとの前記明度勾配方向コードの出現頻度を認識特徴量とするものである
ことを特徴とする請求項３または４記載のマーク読み取り装置。 The image processing apparatus includes:
Setting a plurality of statistical regions in the object image, setting a plurality of brightness gradient calculation windows in the statistical region,
The mark reading apparatus according to claim 3 or 4, wherein the appearance frequency of the lightness gradient direction code for each statistical region is used as a recognition feature amount.
前記明度勾配無コードを除く、前記統計領域ごとの前記明度勾配方向コードの出現頻度を認識特徴量とするものである
ことを特徴とする請求項５記載のマーク読み取り装置。 The image processing apparatus includes:
6. The mark reading apparatus according to claim 5, wherein a frequency of appearance of the lightness gradient direction code for each statistical region excluding the lightness gradient no code is used as a recognition feature amount.
あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴量との相関値が一番大きい認識特徴量を有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものである
ことを特徴とする請求項３，４，５または６記載のマーク読み取り装置。 The image processing apparatus includes:
Of the plurality of types of template images stored in advance, the type corresponding to the template image having the recognition feature amount having the largest correlation value with the recognition feature amount of the object image is determined as the type of the object. 7. The mark reading apparatus according to claim 3, 4, 5, or 6.
前記認識特徴量を特徴空間における認識特徴ベクトルとし、
あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴ベクトルとの距離が一番近い認識特徴ベクトルを有するテンプレート画像に対応する種類を、前記対象物の種類と判断するものである
ことを特徴とする請求項３，４，５または６記載のマーク読み取り装置。 The image processing apparatus includes:
The recognition feature amount as a recognition feature vector in a feature space,
Of the plurality of types of template images stored in advance, the type corresponding to the template image having the recognition feature vector closest to the recognition feature vector of the object image is determined as the type of the object. The mark reading device according to claim 3, wherein the mark reading device is provided.
いずれの前記テンプレート画像の認識特徴ベクトルと前記対象物画像の認識特徴ベクトルとの距離も、あらかじめ記憶された距離閾値よりも遠い場合に、前記対象物を未登録の種類と判断するものである
ことを特徴とする請求項８記載のマーク読み取り装置。 The image processing apparatus includes:
When the distance between the recognition feature vector of any of the template images and the recognition feature vector of the object image is further than a distance threshold stored in advance, the object is determined as an unregistered type. The mark reading device according to claim 8.
前記距離閾値は、前記テンプレート画像の認識特徴ベクトルと、同一種類の複数の対象物画像の認識特徴ベクトルとの距離の標準偏差に所定の定数を掛けた値である
ことを特徴とする請求項９記載のマーク読み取り装置。 The recognition feature vector of the template image is an average value of recognition feature vectors of a plurality of object images of the same type,
The distance threshold is a value obtained by multiplying a standard deviation of a distance between a recognition feature vector of the template image and recognition feature vectors of a plurality of object images of the same type by a predetermined constant. The mark reading device described.
前記カメラで撮影した対象物画像に平均化フィルタをかけるものである
ことを特徴とする請求項１，２，３，４，５，６，７，８，９または１０記載のマーク読み取り装置。 The image processing apparatus includes:
11. The mark reading device according to claim 1, wherein an averaging filter is applied to an object image photographed by the camera.
ことを特徴とする請求項１，２，３，４，５，６，７，８，９，１０または１１記載のマーク読み取り装置。 12. The mark reading device according to claim 1, further comprising illumination for illuminating the object with a regular brightness distribution.
ことを特徴とする請求項１，２，３，４，５，６，７，８，９，１０，１１または１２記載のマーク読み取り装置。 The mark reading device according to claim 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 or 12, further comprising illumination for illuminating the object from an oblique direction.
前記対象物画像中の複数箇所における明度勾配方向を演算し、
あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の明度勾配方向の分布に一番近似する明度勾配方向の分布を有するテンプレート画像に対応する種類を、前記対象物の種類と判断する
ことを特徴とするマーク読み取り方法。 Take a picture of a target with a different mark for each type with a camera,
Calculating brightness gradient directions at a plurality of locations in the object image;
Of a plurality of types of template images stored in advance, a type corresponding to a template image having a distribution in the lightness gradient direction that is closest to the distribution in the lightness gradient direction of the object image is determined as the type of the object. A mark reading method characterized by the above.
それぞれの前記明度勾配演算ウィンドウ内の明度勾配方向を演算し、
該明度勾配方向の分布を認識特徴量とし、
あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴量と一番近似する認識特徴量を有するテンプレート画像に対応する種類を、前記対象物の種類と判断する
ことを特徴とする請求項１４記載のマーク読み取り方法。 Setting a plurality of brightness gradient calculation windows in the object image;
Calculate the lightness gradient direction in each lightness gradient calculation window,
Using the distribution in the lightness gradient direction as a recognition feature amount,
Of the plurality of types of template images stored in advance, the type corresponding to the template image having the recognition feature value closest to the recognition feature value of the object image is determined as the type of the object. The mark reading method according to claim 14.
該明度勾配方向コードの分布を認識特徴量とする
ことを特徴とする請求項１５記載のマーク読み取り方法。 Assigning the lightness gradient direction to a lightness gradient direction code coded for each predetermined direction range;
16. The mark reading method according to claim 15, wherein the distribution of the brightness gradient direction code is used as a recognition feature amount.
あらかじめ記憶された明度勾配強度閾値を超えない明度勾配強度を有する明度勾配演算ウィンドウ内の明度勾配方向を、前記明度勾配方向コードの一つである明度勾配無コードに割り当てる
ことを特徴とする請求項１６記載のマーク読み取り方法。 Calculate the lightness gradient strength in each lightness gradient calculation window,
The lightness gradient direction in a lightness gradient calculation window having a lightness gradient strength that does not exceed a prestored lightness gradient strength threshold value is assigned to a lightness gradient no code that is one of the lightness gradient direction codes. 16. The mark reading method according to 16.
前記統計領域ごとの前記明度勾配方向コードの出現頻度を認識特徴量とする
ことを特徴とする請求項１６または１７記載のマーク読み取り方法。 Setting a plurality of statistical regions in the object image, setting a plurality of brightness gradient calculation windows in the statistical region,
18. The mark reading method according to claim 16, wherein the appearance frequency of the lightness gradient direction code for each statistical area is used as a recognition feature amount.
ことを特徴とする請求項１８記載のマーク読み取り方法。 The mark reading method according to claim 18, wherein an appearance frequency of the lightness gradient direction code for each statistical region excluding the lightness gradient no code is used as a recognition feature amount.
ことを特徴とする請求項１６，１７，１８または１９記載のマーク読み取り方法。 Of the plurality of types of template images stored in advance, the type corresponding to the template image having the recognition feature amount having the largest correlation value with the recognition feature amount of the object image is determined as the type of the object. The mark reading method according to claim 16, 17, 18, or 19.
あらかじめ記憶された複数種類のテンプレート画像のうち、前記対象物画像の認識特徴ベクトルとの距離が一番近い認識特徴ベクトルを有するテンプレート画像に対応する種類を、前記対象物の種類と判断する
ことを特徴とする請求項１６，１７，１８または１９記載のマーク読み取り方法。 The recognition feature amount as a recognition feature vector in a feature space,
Determining a type corresponding to a template image having a recognition feature vector closest to the recognition feature vector of the object image among a plurality of types of template images stored in advance as the type of the object. The mark reading method according to claim 16, 17, 18, or 19.
ことを特徴とする請求項２１記載のマーク読み取り方法。 When the distance between the recognition feature vector of any of the template images and the recognition feature vector of the object image is further than a distance threshold stored in advance, the object is determined to be an unregistered type. The mark reading method according to claim 21.
前記距離閾値は、前記テンプレート画像の認識特徴ベクトルと、同一種類の複数の対象物画像の認識特徴ベクトルとの距離の標準偏差に所定の定数を掛けた値である
ことを特徴とする請求項２２記載のマーク読み取り方法。 The recognition feature vector of the template image is an average value of recognition feature vectors of a plurality of object images of the same type,
The distance threshold is a value obtained by multiplying a standard deviation of a distance between a recognition feature vector of the template image and recognition feature vectors of a plurality of object images of the same type by a predetermined constant. The mark reading method described.
ことを特徴とする請求項１４，１５，１６，１７，１８，１９，２０，２１，２２または２３記載のマーク読み取り方法。 24. The mark reading method according to claim 14, 15, 16, 17, 18, 19, 20, 21, 22, or 23, wherein an averaging filter is applied to an object image obtained by photographing with the camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010159827A JP2012022518A (en) | 2010-07-14 | 2010-07-14 | Device and method for reading mark |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010159827A JP2012022518A (en) | 2010-07-14 | 2010-07-14 | Device and method for reading mark |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012022518A true JP2012022518A (en) | 2012-02-02 |
Family
ID=45776761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010159827A Pending JP2012022518A (en) | 2010-07-14 | 2010-07-14 | Device and method for reading mark |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012022518A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109371644A (en) * | 2018-09-28 | 2019-02-22 | 珠海格力电器股份有限公司 | A kind of method, system and washing machine reducing clothing fold |
| CN109477281A (en) * | 2016-07-15 | 2019-03-15 | 汉高股份有限及两合公司 | For determining the method and apparatus for especially cleaning strategy |
| CN111079802A (en) * | 2019-12-02 | 2020-04-28 | 易思维（杭州）科技有限公司 | Matching method based on gradient information |
| JP2020069204A (en) * | 2018-11-01 | 2020-05-07 | 株式会社プレックス | Posture determination device and posture determination method for cloth, and cloth |
| JP2021097857A (en) * | 2019-12-20 | 2021-07-01 | 株式会社プレックス | Cloth folding device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08161423A (en) * | 1994-12-06 | 1996-06-21 | Dainippon Printing Co Ltd | Illuminating device and character reader |
| JPH10171989A (en) * | 1996-12-09 | 1998-06-26 | Omron Corp | Pattern reader |
| JP2000134609A (en) * | 1998-10-22 | 2000-05-12 | Nec Corp | Image processing method and method for searching number plate while using the same |
| JP2004153405A (en) * | 2002-10-29 | 2004-05-27 | Fuji Xerox Co Ltd | Method and apparatus for confirming document |
| JP2008175587A (en) * | 2007-01-16 | 2008-07-31 | Keiji Iimura | Method and device for measuring surface characteristic of object using stress-luminescent material, apparatus for identifying authenticity and kind of security article, apparatus for measuring surface characteristic of human body, and stress-luminescent sensor |
| JP2008184177A (en) * | 2007-01-29 | 2008-08-14 | Dainippon Printing Co Ltd | Pouch |
| JP2008254747A (en) * | 2007-04-02 | 2008-10-23 | Dainippon Printing Co Ltd | Pouch |
| JP2009163682A (en) * | 2008-01-10 | 2009-07-23 | Toyota Central R&D Labs Inc | Image discrimination device and program |
| JP2010067102A (en) * | 2008-09-12 | 2010-03-25 | Sony Corp | Object detecting device, imaging apparatus, object detecting method, and program |
-
2010
- 2010-07-14 JP JP2010159827A patent/JP2012022518A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08161423A (en) * | 1994-12-06 | 1996-06-21 | Dainippon Printing Co Ltd | Illuminating device and character reader |
| JPH10171989A (en) * | 1996-12-09 | 1998-06-26 | Omron Corp | Pattern reader |
| JP2000134609A (en) * | 1998-10-22 | 2000-05-12 | Nec Corp | Image processing method and method for searching number plate while using the same |
| JP2004153405A (en) * | 2002-10-29 | 2004-05-27 | Fuji Xerox Co Ltd | Method and apparatus for confirming document |
| JP2008175587A (en) * | 2007-01-16 | 2008-07-31 | Keiji Iimura | Method and device for measuring surface characteristic of object using stress-luminescent material, apparatus for identifying authenticity and kind of security article, apparatus for measuring surface characteristic of human body, and stress-luminescent sensor |
| JP2008184177A (en) * | 2007-01-29 | 2008-08-14 | Dainippon Printing Co Ltd | Pouch |
| JP2008254747A (en) * | 2007-04-02 | 2008-10-23 | Dainippon Printing Co Ltd | Pouch |
| JP2009163682A (en) * | 2008-01-10 | 2009-07-23 | Toyota Central R&D Labs Inc | Image discrimination device and program |
| JP2010067102A (en) * | 2008-09-12 | 2010-03-25 | Sony Corp | Object detecting device, imaging apparatus, object detecting method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 長橋宏: "知的画像処理（３）", [ONLINE], JPN7014000789, 2009, pages 39 - 41, ISSN: 0002765357 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109477281A (en) * | 2016-07-15 | 2019-03-15 | 汉高股份有限及两合公司 | For determining the method and apparatus for especially cleaning strategy |
| CN109371644A (en) * | 2018-09-28 | 2019-02-22 | 珠海格力电器股份有限公司 | A kind of method, system and washing machine reducing clothing fold |
| JP2020069204A (en) * | 2018-11-01 | 2020-05-07 | 株式会社プレックス | Posture determination device and posture determination method for cloth, and cloth |
| JP7137438B2 (en) | 2018-11-01 | 2022-09-14 | 株式会社プレックス | Cloth posture determination device, posture determination method, and cloth |
| CN111079802A (en) * | 2019-12-02 | 2020-04-28 | 易思维（杭州）科技有限公司 | Matching method based on gradient information |
| CN111079802B (en) * | 2019-12-02 | 2023-04-07 | 易思维（杭州）科技有限公司 | Matching method based on gradient information |
| JP2021097857A (en) * | 2019-12-20 | 2021-07-01 | 株式会社プレックス | Cloth folding device |
| JP7348057B2 (en) | 2019-12-20 | 2023-09-20 | 株式会社プレックス | Cloth folding device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Çelik et al. | Development of a machine vision system: real-time fabric defect detection and classification with neural networks | |
| JP7049983B2 (en) | Object recognition device and object recognition method | |
| Sakhare et al. | Spectral and spatial domain approach for fabric defect detection and classification | |
| JP2012022518A (en) | Device and method for reading mark | |
| JP6864267B2 (en) | Matching system, matching device, matching method and program | |
| US10181202B2 (en) | Control apparatus, robot, and control method | |
| US8610770B2 (en) | Image sensing apparatus and method for sensing target that has defective portion region | |
| CN111062934A (en) | Real-time detection method for fabric image defects | |
| WO2017071406A1 (en) | Method and system for detecting pin of gold needle element | |
| CN111929327A (en) | Cloth defect detection method and device | |
| WO2009085173A1 (en) | System and method for performing multi-image training for pattern recognition and registration | |
| JP2020067308A (en) | Image processing method and image processing device | |
| JP2015232482A (en) | Inspection equipment, inspection method and program | |
| US9628659B2 (en) | Method and apparatus for inspecting an object employing machine vision | |
| CN110596118A (en) | Print pattern detection method and print pattern detection device | |
| CN106959301B (en) | Nonwoven fabric stain detection system and nonwoven fabric stain detection method | |
| CN105389818B (en) | The localization method and system of element | |
| CN116908185A (en) | Method and device for detecting appearance defects of article, electronic equipment and storage medium | |
| TW201504591A (en) | Hole inspection device | |
| JP4355479B2 (en) | DEFECT LEVEL INFORMATION SETTING METHOD IN DEFECTED CRACK DETECTOR | |
| Shreya et al. | Design of machine vision system for high speed manufacturing environments | |
| Das et al. | Defect detection of jute fabric using image processing | |
| JPH06500395A (en) | inspection of clothing | |
| KR102203441B1 (en) | Apparatus and Method for Classifying Electronic Components | |
| JP7185500B2 (en) | Sheet material image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140423 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140520 |