JP7445621B2 - X-ray inspection equipment and X-ray inspection method - Google Patents
X-ray inspection equipment and X-ray inspection method Download PDFInfo
- Publication number
- JP7445621B2 JP7445621B2 JP2021063917A JP2021063917A JP7445621B2 JP 7445621 B2 JP7445621 B2 JP 7445621B2 JP 2021063917 A JP2021063917 A JP 2021063917A JP 2021063917 A JP2021063917 A JP 2021063917A JP 7445621 B2 JP7445621 B2 JP 7445621B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- articles
- article
- ray inspection
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 226
- 238000000034 method Methods 0.000 title claims description 59
- 238000001514 detection method Methods 0.000 claims description 32
- 238000000926 separation method Methods 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 21
- 230000002950 deficient Effects 0.000 claims description 19
- 238000013500 data storage Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 9
- 238000002372 labelling Methods 0.000 description 9
- 238000004806 packaging method and process Methods 0.000 description 8
- 235000013580 sausages Nutrition 0.000 description 8
- 230000007547 defect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 235000021067 refined food Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Description
本発明は、Ｘ線検査装置およびＸ線検査方法に関し、特にＸ線画像の画像処理データを用いて検査対象物品の形状等を検査するのに好適な物品検査用のＸ線検査装置およびＸ線検査方法、ならびに同検査に用いる学習モデル作成方法に関する。 The present invention relates to an X-ray inspection device and an X-ray inspection method, and more particularly to an X-ray inspection device and an This paper relates to an inspection method and a learning model creation method used for the inspection.
Ｘ線により被検査物に要求される品質状態を検査するＸ線検査装置、特に搬送中の被検査物に照射したＸ線の所定期間毎の累積透過量を透過領域毎のＸ線検出器により検出し、Ｘ線画像を生成するようにしたＸ線検査装置が、従前より知られている。 An X-ray inspection device that uses X-rays to inspect the required quality state of an inspected object, in particular an X-ray detector that measures the cumulative amount of X-rays irradiated onto the inspected object during a predetermined period of time by an X-ray detector in each transmission area. X-ray inspection apparatuses for detecting and generating X-ray images have been known for some time.
また、このようなＸ線検査装置における検査方法として、Ｘ線検出器で取得したＸ線画像（原画像）に対し何らかの画像処理を施すことで、検査項目に係る検査対象の特徴を明確化したＸ線画像を生成し、Ｘ線検査の精度を高めるようにしたものが知られている。 In addition, as an inspection method for such an X-ray inspection device, the characteristics of the inspection object related to inspection items are clarified by performing some kind of image processing on the X-ray image (original image) acquired by the X-ray detector. There are known devices that generate X-ray images and improve the accuracy of X-ray examinations.
従来のこの種のＸ線検査装置およびＸ線検査方法としては、例えば同一の容器類に所定形状の複数物品を封入または収容した製品をＸ線検査する検査装置であって、複数物品が重なり合っている状態の製品検査画像を少なくとも教師画像として記憶し、記憶済み教師画像を用いる機械学習によって複数の物品が重なり合っている状態の製品に関する特徴を取得することで、複数物品が重なり合う製品における異物検出精度の低下を抑制するようにしたものがある（特許文献１参照）。 Conventional X-ray inspection apparatuses and X-ray inspection methods of this type include, for example, inspection apparatuses that X-ray inspect products in which multiple articles of a predetermined shape are sealed or housed in the same container; By storing at least a product inspection image in a state in which multiple products are overlapped as a teacher image, and acquiring features related to products in a state in which multiple products overlap through machine learning using the stored teacher image, foreign object detection accuracy in products in which multiple products overlap can be improved. There is a method that suppresses the decrease in the amount of water (see Patent Document 1).
しかしながら、上記従来のＸ線検査装置およびＸ線検査方法にあっては、複数物品が収容された被検査物の全体画像を基に多様な形態の重なり部の機械学習を行っていたため、被検査物の全体についての良否判定ができたとしても、検査対象となる製品中の物品の単品でのＸ線検査やその結果出力ができないという問題があった。 However, in the above-mentioned conventional X-ray inspection equipment and X-ray inspection method, machine learning of various types of overlapping parts is performed based on the entire image of the inspected object containing multiple items. Even if it is possible to determine the quality of the entire product, there is a problem in that it is not possible to perform an X-ray inspection on a single item in the product to be inspected or to output the results.
また、教師画像として膨大な検査画像が必要になるにもかかわらず、重なり合った複数物品のそれぞれの形状やサイズ等の特徴を精度よく検出できないという問題があった。 Furthermore, although a huge number of inspection images are required as teacher images, there is a problem in that the characteristics such as the shape and size of each of the overlapping articles cannot be detected with high accuracy.
本発明は、上述のような従来の課題を解決すべくなされたものであり、検査対象に収容される複数物品のそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行することのできるＸ線検査装置およびＸ線検査方法を提供することを目的とする。 The present invention has been made in order to solve the conventional problems as described above, and improves the accuracy of feature detection for each of a plurality of items contained in the inspection target, and provides an X-ray inspection that has the required inspection accuracy at a low cost. An object of the present invention is to provide an X-ray inspection apparatus and an X-ray inspection method that can perform the following.
（１）本発明に係るＸ線検査装置は、上記目的達成のため、所定品種の複数物品を含む検査対象に対して該検査対象を透過するＸ線を発生するＸ線発生器と、前記複数物品を透過したＸ線を検出してＸ線検出信号を出力するＸ線検出器と、前記Ｘ線検出器の出力に基づいて前記検査対象のＸ線検査画像を生成する画像処理部と、前記複数物品のＸ線検査画像を基に前記検査対象の品質状態を判定する判定部と、を備えるＸ線検査装置であって、前記所定品種の複数物品の単体の幾何学的特徴を記憶する記憶部と、前記複数物品の単体の幾何学的特徴および前記複数物品のＸ線検査画像を基に、前記複数物品のそれぞれに対応する物品単体画像を分離して生成する分離画像生成部と、をさらに備えており、前記判定部が、前記複数物品に対応するそれぞれの物品単体画像に基づいて前記検査対象の品質状態の判定を実行することを特徴とする。 (1) In order to achieve the above object, the X-ray inspection apparatus according to the present invention includes an X-ray generator that generates X-rays that pass through an inspection object including a plurality of articles of a predetermined type; an X-ray detector that detects X-rays that have passed through an article and outputs an X-ray detection signal; an image processing unit that generates an X-ray inspection image of the inspection target based on the output of the X-ray detector; An X-ray inspection apparatus comprising: a determination unit that determines the quality state of the inspection target based on X-ray inspection images of the plurality of articles, the memory storing the geometrical characteristics of each of the plurality of articles of the predetermined type; and a separated image generation unit that separates and generates single article images corresponding to each of the plurality of articles based on the single geometric characteristics of the plurality of articles and the X-ray inspection images of the plurality of articles. The method further includes: the determination unit executes determination of the quality state of the inspection target based on each single article image corresponding to the plurality of articles.
この発明装置では、分離画像生成部により、検査対象の複数物品のそれぞれに対応する物品単体画像が分離生成されることで、Ｘ線検査画像が複数物品の重なりの有無や重なり状態に応じた多様なものとならずに済み、画像判定のための画像処理が大幅に容易化されることになる。したがって、検査対象となる複数物品のそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行することができる。 In this inventive device, the separate image generation unit separately generates single article images corresponding to each of the plurality of articles to be inspected, so that X-ray inspection images can be generated in a variety of ways according to the presence or absence of overlapping of the plurality of articles and the overlapping state. This greatly simplifies image processing for image determination. Therefore, it is possible to improve the accuracy of feature detection for each of the plurality of articles to be inspected, and to perform an X-ray inspection with the required inspection accuracy at low cost.
（２）本発明の好ましい実施形態においては、前記記憶部に前記所定品種の複数物品のそれぞれに対応する単体の教師画像を記憶させるとともに、該教師画像を用いる機械学習によって前記所定品種の物品の形状に関する特徴を取得する学習部をさらに備える構成とすることができる。 (2) In a preferred embodiment of the present invention, the storage unit stores a single teacher image corresponding to each of the plurality of articles of the predetermined type, and machine learning using the teacher image The configuration may further include a learning unit that acquires features related to the shape.
このように構成すると、学習部での機械学習によって、所定品種の物品に対応する単体の教師画像を基に、所定品種の物品の形状に関する特徴（例えば形状やサイズ等）が情報幾何学的に分析され、多数の特徴パラメータで記述される学習アルゴリズムが構築されることになる。したがって、複数物品が重なり合うことの無いシンプルな教師画像を基に各物品の単体形状に関連付けた効果的な機械学習を行うことができ、画像判定精度を高めることができる。 With this configuration, the features (for example, shape and size, etc.) related to the shape of a predetermined type of article are information-geometrically determined by machine learning in the learning section based on a single teacher image corresponding to the predetermined type of article. A learning algorithm will be constructed that is analyzed and described by a large number of feature parameters. Therefore, it is possible to perform effective machine learning in association with the single shape of each article based on a simple teacher image in which multiple articles do not overlap, and it is possible to improve image determination accuracy.
（３）本発明の好ましい実施形態において、前記分離画像生成部は、前記学習部で取得した前記所定品種の物品の形状に関する特徴を基に、前記複数物品のそれぞれの形状および位置を特定して、前記複数物品のそれぞれに対応する物品単体画像を生成するようにしてもよい。このようにすると、各物品の形状や位置に応じて、各物品の物品単体画像を精度よく抽出したり加工したりすることができ、低コストで所要の検査精度を有するＸ線検査を実行することができる。 (3) In a preferred embodiment of the present invention, the separated image generation unit specifies the shape and position of each of the plurality of articles based on the characteristics regarding the shape of the predetermined type of articles acquired by the learning unit. , a single article image corresponding to each of the plurality of articles may be generated. In this way, a single image of each item can be extracted and processed with high accuracy according to the shape and position of each item, and X-ray inspection with the required inspection accuracy can be performed at low cost. be able to.
（４）本発明の好ましい実施形態においては、前記記憶部が、前記複数物品のＸ線検査画像から前記分離画像生成部で分離して生成された前記複数物品の少なくとも一部に対応する物品単体画像を、前記所定品種の物品の単体の教師画像として追加記憶するように構成されてもよい。このように構成すると、例えばシンプルな教師画像をより容易に多数取得可能となり、学習効率を高めることができる。また、複数物品の少なくとも一部を重なりの無い物品に限定すれば、簡単な処理で精度の良い教師画像を得ることができる。 (4) In a preferred embodiment of the present invention, the storage unit may store a single article corresponding to at least a part of the plurality of articles separated and generated by the separation image generation unit from the X-ray inspection images of the plurality of articles. The image may be additionally stored as a single teacher image of the article of the predetermined type. With this configuration, for example, a large number of simple teacher images can be acquired more easily, and learning efficiency can be improved. In addition, if at least some of the plurality of articles are limited to non-overlapping articles, highly accurate teacher images can be obtained with simple processing.
（５）本発明の好ましい実施形態においては、前記記憶部が、前記所定品種の物品のそれぞれに対応する単体の教師画像として、少なくとも不良品ラベル付きの教師画像を記憶しており、前記判定部が、少なくとも前記複数物品に対応するそれぞれの物品単体画像と前記不良品ラベル付きの教師画像とに基づいて、前記複数物品のそれぞれについて前記品質状態を判定するように構成することもできる。 (5) In a preferred embodiment of the present invention, the storage unit stores at least a teacher image with a defective product label as a single teacher image corresponding to each of the articles of the predetermined type, and the determination unit However, the quality state of each of the plurality of articles may be determined based on at least the individual article image corresponding to the plurality of articles and the teacher image with the defective product label.
このような構成にすると、不良品ラベル付きの教師画像を用いる機械学習を実行することで、検査対象の複数物品の品質状態を単品でそれぞれ的確に判定可能となり、それらの結果を踏まえた、総合判定も可能となる。また、所定品種の物品の様々な検査画像データに対して検査対象の画像判定に精通した人手によりラベル付けすることで、有効な事前学習モデルを作成可能となる。 With this configuration, by executing machine learning using teacher images with defective product labels, it is possible to accurately determine the quality status of multiple items to be inspected individually, and based on those results, comprehensive Judgment is also possible. Further, by manually labeling various inspection image data of articles of a predetermined type by a person skilled in image determination of the inspection target, it is possible to create an effective pre-learning model.
（６）本発明の好ましい実施形態においては、前記画像処理部が、前記所定品種の複数物品のそれぞれに対応する前記物品単体画像について、前記品質状態をそれぞれに判定するための所定の画像処理を実行するものとなっていてもよい。 (6) In a preferred embodiment of the present invention, the image processing unit performs predetermined image processing for determining the quality state of each of the single article images corresponding to each of the plurality of articles of the predetermined type. It may also be something that is executed.
この場合、元画像である複数物品のＸ線検査画像から分離した物品単体画像を原画像として、例えばエッジを強調する微分処理を実行することで、形状検査以外の検査項目についての検査を併せて実行する場合等に、品質状態の判定精度を高めることができる。 In this case, by using a single item image separated from the original X-ray inspection image of multiple items as the original image, and performing differential processing to emphasize edges, for example, inspection of inspection items other than shape inspection can be performed. It is possible to improve the accuracy of determining the quality state when executing the method.
（７）本発明の好ましい実施形態においては、前記分離画像生成部が、前記Ｘ線検査画像の特定階調濃度の画素群と前記所定品種の単体の物品形状に関する学習データとに基づいて、前記物品形状の少なくとも一部に対応する各物品の主要輪郭形状の特徴を抽出するとともに、前記複数物品の間の重なり部分がある場合に該重なり部分の形状を検出し、前記各物品の主要輪郭形状および前記重なり部分のうち少なくとも前記主要輪郭形状を含むよう、前記物品単体画像を生成するものであってもよい。 (7) In a preferred embodiment of the present invention, the separated image generation unit generates the The features of the main outline shape of each article corresponding to at least a part of the article shape are extracted, and if there is an overlapping part between the plurality of articles, the shape of the overlapping part is detected, and the main outline shape of each of the articles is extracted. The single article image may be generated so as to include at least the main contour shape of the overlapping portion.
この場合、複数物品の間の重なり部分が無い場合、ラベリング処理等によって各物品がその全体に及ぶ主要輪郭形状のみの物品単体画像として生成されるか、あるいは欠損や折損、包装不良によるかみ込み等が生じたときには、一部が欠けた主要輪郭形状のみの物品単体画像が生成されることになる。一方、複数物品の間の重なり部分がある場合には、それぞれの物品がその主要輪郭形状および重なり部分を含む物品単体画像で表示される。したがって、欠損や折損等の形状不良を容易に判定可能となる。 In this case, if there is no overlap between multiple items, each item will be generated as a single item image with only the main contour shape covering the entire item by labeling processing, etc., or it will be damaged, broken, or jammed due to poor packaging. When this occurs, a single image of the article with only the main contour shape with a portion missing is generated. On the other hand, if there is an overlapping portion between multiple articles, each article is displayed as a single article image including its main contour shape and the overlapping portion. Therefore, shape defects such as defects and breakage can be easily determined.
（８）本発明に係るＸ線検査方法は、所定品種の複数物品を含む検査対象に対してＸ線を透過させ、該透過したＸ線を検出して前記検査対象のＸ線検査画像を生成するとともに、前記Ｘ線検査画像を基に前記検査対象の品質状態を判定するＸ線検査方法であって、前記複数物品の単体の幾何学的特徴および前記複数物品のＸ線検査画像を基に、前記複数物品のそれぞれに対応する物品単体画像を分離して生成する分離画像生成ステップと、前記複数物品に対応するそれぞれの物品単体画像に基づいて前記検査対象の品質状態を判定する単体品質状態判定ステップと、を含むことを特徴とする。 (8) The X-ray inspection method according to the present invention transmits X-rays through an inspection object including a plurality of articles of a predetermined type, detects the transmitted X-rays, and generates an X-ray inspection image of the inspection object. and an X-ray inspection method for determining the quality state of the inspection target based on the X-ray inspection images, the method comprising , a separated image generation step of separating and generating single article images corresponding to each of the plurality of articles; and a single quality state of determining the quality state of the inspection target based on each single article image corresponding to the plurality of articles. The method is characterized by including a determining step.
この発明方法では、検査対象のＸ線検査画像から、複数物品のそれぞれに対応する物品単体画像が分離生成されることで、検査対象の画像において、複数物品の重なりの有無や重なり状態が多様に変化するようなことが無くなり、検査に要する画像判定処理が大幅に容易化されることになる。したがって、検査対象となる複数物品のそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行可能となる。 In this invention method, single article images corresponding to each of multiple articles are generated separately from the X-ray inspection image of the inspection target, so that the presence or absence of overlapping of multiple articles and the overlapping state of the multiple articles can be varied in the image of the inspection target. There will be no change in the image quality, and the image judgment processing required for inspection will be greatly facilitated. Therefore, it is possible to improve the accuracy of feature detection for each of the plurality of articles to be inspected, and to perform an X-ray inspection with the required inspection accuracy at low cost.
（９）本発明に係る学習モデル作成方法は、所定品種の複数物品を含む検査対象の品質状態を該検査対象のＸ線検査画像を基に判定するＸ線検査用の学習モデルを作成する方法であって、前記所定品種の物品の教師画像を基に、前記所定品種の物品単体の幾何学的特徴に関する教師データをメモリに記憶させる教師データ記憶段階と、前記検査対象のＸ線検査画像の入力データおよび前記教師データを基に、前記検査対象の入力データから前記複数物品のそれぞれに対応する物品単体画像を個別に生成するための複数の特徴パラメータを含む画像分離アルゴリズムを設定するアルゴリズム設定段階と、を含み、前記画像分離アルゴリズム設定段階が、前記検査対象のＸ線検査画像中の前記複数の物品について各物品の輪郭形状を含む単体の幾何学的特徴を抽出する特徴量抽出ステップと、前記特徴量抽出ステップで抽出した各物品の単体の幾何学的特徴を設定済みの画像分離アルゴリズムに適用した結果の出力データを、対応する教師データとの誤差に応じて評価し、該誤差を縮小するよう前記複数の特徴パラメータを調整するパラメータ調整段階と、を含んでいることを特徴とする。 (9) A learning model creation method according to the present invention is a method for creating a learning model for X-ray inspection that determines the quality state of an inspection target including multiple articles of a predetermined type based on an X-ray inspection image of the inspection target. a teacher data storage step of storing in a memory teacher data regarding the geometrical characteristics of a single article of the predetermined type based on the teacher image of the article of the predetermined type; an algorithm setting step of setting an image separation algorithm including a plurality of feature parameters for individually generating single article images corresponding to each of the plurality of articles from the input data of the inspection target, based on the input data and the teacher data; and a feature quantity extraction step in which the image separation algorithm setting step extracts a single geometric feature including a contour shape of each article for the plurality of articles in the X-ray inspection image of the inspection target; The output data resulting from applying the single geometric features of each item extracted in the feature amount extraction step to the set image separation algorithm is evaluated according to the error with the corresponding training data, and the error is reduced. and a parameter adjustment step of adjusting the plurality of feature parameters so as to make the feature parameters.
この発明方法では、検査対象の入力データから複数の物品の単体画像を個別に生成するための画像分離アルゴリズムを設定する際、検査対象のＸ線検査画像中の複数の物品について各物品の輪郭形状を含む単体の幾何学的特徴が抽出され、その特徴量を設定済みの画像分離アルゴリズムに適用した結果の出力データが対応する教師データとの誤差に応じて評価され、その誤差を縮小するよう複数の特徴パラメータが調整される。したがって、画像分離アルゴリズムの精度が有効に高められる。 In this invention method, when setting an image separation algorithm for individually generating single images of a plurality of articles from input data of the inspection object, the outline shape of each article is determined for the plurality of articles in the X-ray inspection image of the inspection object. A single geometric feature including The feature parameters of are adjusted. Therefore, the accuracy of the image separation algorithm is effectively increased.
（１０）本発明のＸ線検査方法は、前記学習モデル作成方法により作成された学習モデルを用いて、前記所定品種の複数の物品を含む検査対象の品質状態を該検査対象のＸ線検査画像を基に判定するＸ線検査方法であって、前記学習モデルを用いる画像処理を実行することで前記複数の物品のＸ線検査画像を基に前記複数の物品のそれぞれに対応する物品単体画像を分離して生成する分離画像生成ステップと、前記複数の物品に対応するそれぞれの物品単体画像に基づいて前記検査対象の品質状態を判定する単体品質状態判定ステップと、を含むことを特徴とする。 (10) The X-ray inspection method of the present invention uses the learning model created by the learning model creation method to evaluate the quality state of an inspection object including a plurality of articles of the predetermined type in an X-ray inspection image of the inspection object. An X-ray inspection method that performs judgment based on the learning model, wherein an image of a single article corresponding to each of the plurality of articles is generated based on the X-ray inspection images of the plurality of articles by executing image processing using the learning model. The method is characterized in that it includes a separate image generation step of separately generating the plurality of articles, and an individual quality state determination step of determining the quality state of the inspection target based on each individual article image corresponding to the plurality of articles.
この発明方法では、検査対象のＸ線検査画像から複数の物品の物品単体画像が学習モデルを用いる画像処理によって分離生成され、検査対象画像中に複数物品の多様な重なり状態が含まれずに済み、検査に要する画像判定のための処理が大幅に容易化される。したがって、検査対象に収容される複数物品のそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行することができる。 In this invention method, single article images of a plurality of articles are separated and generated from an X-ray inspection image of the inspection object by image processing using a learning model, and various overlapping states of the plurality of articles are not included in the inspection object image. Processing for image judgment required for inspection is greatly facilitated. Therefore, it is possible to improve the accuracy of feature detection for each of the plurality of articles contained in the inspection target, and to perform an X-ray inspection with the required inspection accuracy at low cost.
本発明によれば、検査対象に収容される複数物品のそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行することのできるＸ線検査装置およびＸ線検査方法を提供することができる。 Advantageous Effects of Invention According to the present invention, an X-ray inspection device and an X-ray inspection method are capable of increasing feature detection accuracy for each of a plurality of articles contained in an inspection target and performing an X-ray inspection with a required inspection accuracy at low cost. can be provided.
以下、本発明を実施するための形態について、図面を参照しつつ説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
（一実施形態）
図１ないし図４は、本発明を、搬送される被検査物（物品）の形状検査が可能な物品検査用のＸ線検査装置およびＸ線検査方法の一実施形態を示している。
(One embodiment)
1 to 4 show an embodiment of the present invention, an X-ray inspection apparatus and an X-ray inspection method for inspecting articles that are capable of inspecting the shape of an object to be inspected (article) being transported.
まず、本実施形態のＸ線検査装置の構成について説明する。 First, the configuration of the X-ray inspection apparatus of this embodiment will be explained.
図１および図２に示すように、Ｘ線検査装置１は、搬送部１０、Ｘ線検査部２０およびそれらの制御部３０を具備しており、搬送部１０によりコンベア搬送される複数の加工食品等を含む検査対象の製品Ｐに対しＸ線検査部２０でＸ線を照射し、その透過Ｘ線量分布画像データを基に製品Ｐの品質状態を検査、例えば図２に示す製品Ｐ中の複数の物品Ａ、Ｂ、Ｃ、Ｄのそれぞれの単体形状が正常であるか否かによって製品Ｐの品質状態の合否を総合判定するようになっている。
As shown in FIGS. 1 and 2, the X-ray inspection apparatus 1 includes a
なお、ここでの品質状態とは、複数の物品Ａ－Ｄ等の内容物が予め設定されたそれぞれの加工形状やサイズの許容範囲内に入るか否かをいうが、本発明にいう品質状態は、欠品の有無や容器内への異物混入等の他の品質状態を含み得る。 Note that the quality state here refers to whether or not the contents of the plurality of articles A to D etc. fall within the preset allowable range of each processed shape and size, but the quality state referred to in the present invention is This may include other quality conditions such as the presence or absence of missing items and the presence of foreign objects in the container.
製品Ｐは、搬送部１０によりコンベア搬送される際にはその上下面がコンベア上に広がる略扁平形状をなすように、パウチ、トレイ、パック、ピロー等の包装材や包装容器（以下、単に包装容器という）に収容されている。
When the product P is conveyed by the
また、製品Ｐ中の複数の物品Ａ－Ｄは、同じ包装容器中でそれぞれの単体形状をなすように予め成形された加工食品、例えばウィンナーソーセージ等のソーセージ類であり、その包装袋中に所定正味量となる質量または個数が収容され、コンベア搬送時には、全体として概ね製品Ｐの前述の上下面の方向に隣り合うよう広がる形態となっている。 In addition, the plurality of articles A to D in product P are processed foods, such as sausages such as Wiener sausages, which have been pre-formed in the same packaging container into their own individual shapes, and each of them has a predetermined shape in the packaging bag. The net amount or number of products is accommodated, and when conveyed by the conveyor, the product P as a whole is spread out so as to be adjacent to each other in the direction of the above-mentioned upper and lower surfaces of the product P.
ただし、製品Ｐ中の複数の物品Ａ－Ｄ（物品）は、同一包装容器内に投入され封止される際の状態によっては、概ね製品Ｐの前述の上下面の方向に隣り合うように広がりながらも上下方向に部分的に重なる形態をとる包装形態となり得るものである。 However, depending on the state in which the multiple articles A to D (articles) in the product P are placed and sealed in the same packaging container, they may spread out adjacently in the direction of the above-mentioned upper and lower surfaces of the product P. However, it can be a packaging form that partially overlaps in the vertical direction.
搬送部１０は、ループ状の搬送ベルト１１を複数の搬送ローラ１２、１３に巻回させ、搬送ベルト１１の上走区間１１ａにより製品Ｐを図１中の右方向に順次搬送することができるコンベアであり、図示しない筐体に支持されている。
The
Ｘ線検査部２０は、搬送部１０により搬送される製品Ｐを透過する所定エネルギ帯のＸ線を発生するＸ線発生器２１（Ｘ線源）を有しており、Ｘ線発生器２１は、公知のＸ線管２２でその管電流および管電圧に応じた波長および強度のＸ線を発生させるとともに、外囲器２３のＸ線窓部２３ａを通し、搬送ベルト１１上の所定検査区間の製品Ｐに対して、搬送部１０の物品搬送方向とは直交する方向に向かうファンビーム状のＸ線を照射できるようになっている。
The
Ｘ線検査部２０は、さらに、搬送ベルト１１の上走区間１１ａの直下に配置されたＸ線検出器２４を有している。
The
このＸ線検出器２４は、詳細を図示しないが、例えば蛍光体であるシンチレータとフォトダイオードもしくは電荷結合素子とからなる検出素子を、搬送部１０の搬送路の幅員方向にアレイ状に所定ピッチで配設し、所定解像度でのＸ線検出を行なうようにしたＸ線ラインセンサカメラで構成されており、Ｘ線発生器２１からのＸ線照射位置に対応する搬送方向所定位置に配置されている。
Although details are not shown, this
すなわち、Ｘ線検出器２４は、Ｘ線発生器２１から照射されて製品Ｐを透過したＸ線を前記検出素子に対応する所定透過領域毎に検出し、そのＸ線の透過量に応じた電気信号に変換して、Ｘ線透過画像を生成するためのＸ線検出信号を出力できるようになっている。
That is, the
制御部３０は、搬送部１０での搬送ベルト１１による製品Ｐの搬送速度や搬送間隔等を制御する搬送制御手段と、Ｘ線検査部２０におけるＸ線照射強度や照射期間を制御したり製品Ｐの搬送速度に応じたＸ線検出器２４のＸ線ラインセンサでのＸ線検出周期および各製品Ｐの検出期間等を制御したりする検査制御手段とを含んでいるが、詳細な図示は省略している。
The
制御部３０は、また、各製品Ｐの検査期間中にＸ線検出器２４からの所定周期毎のＸ線検出信号を取り込んで製品Ｐの全体を撮像したＸ線透過画像を記憶する検査画像記憶部３１と、検査画像記憶部３１に取り込まれた画像データを基に生成されるＸ線透過画像を検査画像として取り込んで所定のフィルタ処理等の画像処理を実行する画像処理部３２と、その画像処理部３２による処理後の画像データを基に所定の判定処理、例えば製品Ｐ中の物品Ａ－Ｄの単体形状がそれぞれ正常か否かを判定し、製品Ｐの品質状態の合否を判定する判定部３３と、判定部３３での判定結果を表示出力可能な操作表示部３４とを有している。
The
検査画像記憶部３１は、画像入力ユニットであり、例えばＸ線検出器２４の複数の検出素子からの複数透過領域分のＸ線検出信号をそれぞれＡ／Ｄ変換し、Ｘ線検出器２４における検出素子サイズに対応する所定の単位搬送時間毎に、その検出素子の数ｎ個（ｎは１より大きい整数で、例えば６４０個）すべての検出素子領域について、その単位時間内の累積の透過量のデータを、例えば０から１０２３までの階調を表す濃度レベルのデジタルデータ（以下、Ｘ線ライン検出データという）Ｌｘとして画像メモリに書き込むライン走査を実行するようになっている。
The inspection image storage unit 31 is an image input unit, and for example, converts each X-ray detection signal for a plurality of transmission areas from a plurality of detection elements of the
また、検査画像記憶部３１は、ライン走査が各製品Ｐの検査期間に応じた所定走査回数だけ繰り返されるとき、順次メモリに書き込まれた透過濃度データをＸ線画像データＤ１として生成し、画像処理部３２に出力する機能を発揮するデータ処理プログラムおよび作業メモリ（図示していない）を有している。これにより、検査画像記憶部３１は、単体形状に関する特徴その他の幾何学的特徴（輪郭形状、長さ、幅、面積、厚さ、密度分布、等）を含んだ元画像を読み出し可能となる。
In addition, when the line scan is repeated a predetermined number of times depending on the inspection period of each product P, the inspection image storage unit 31 generates the transmission density data sequentially written in the memory as X-ray image data D1, and performs image processing. It has a data processing program that performs the function of outputting to the
画像処理部３２および判定部３３は、例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭおよびＩ／Ｏインターフェースを有するマイクロコンピュータと、後述する複数の処理部の各機能を発揮するための制御プログラムをＲＯＭと協働して読み出し可能に記憶した補助記憶装置と、タイマー回路等を含んで構成されており、ＲＯＭ等に格納された制御プログラムに従って、ＣＰＵがＲＡＭ等との間でデータを授受しながら所定の演算処理を実行するとともに前記制御プログラムを実行するようになっている。
The
さらに、画像処理部３２は、製品Ｐ毎の複数の物品Ａ－Ｄの単体の幾何学的特徴および物品Ａ－Ｄを収容する製品ＰのＸ線検査画像を基に、複数の物品Ａ－Ｄのそれぞれに対応する物品単体画像を分離して生成することができる分離画像生成部４１を含んでいる。
Further, the
この分離画像生成部４１は、学習データ記憶部４２に接続されており、分離画像生成部４１に取り込まれる製品ＰのＸ線検査画像と、分離画像生成部４１で単体分離画像として抽出された製品Ｐ中の複数の物品Ａ－Ｄの単体画像とを、製品Ｐの品種情報等と関連付けた教師画像データとして学習データ記憶部４２に記憶・格納できるようになっている。
This separated
また、学習データ記憶部４２は、事前学習済みの学習モデル４３を含む学習部４５に接続されており、学習データ記憶部４２に記憶されている製品Ｐ毎の複数の物品Ａ－Ｄの単体画像は、それぞれ学習部４５に取り込まれるようになっている。
The learning
これら分離画像生成部４１、学習データ記憶部４２および学習部４５は、例えば制御部３０に実装されたコンピューター・ビジョン・ライブラリ（他のプログラムから呼出し可能に機能モジュール化した複数のプログラムを集めて１つのファイルに収納したもの）によって構成されているが、少なくとも一部が制御部３０と通信接続可能なクラウドまたはオンプレミス（構内）のサーバに実装されたものであってもよい。
These separated
具体的には、分離画像生成部４１を含む画像処理部３２は、製品Ｐ毎のＸ線検査画像であるＸ線画像データＤ１が検査画像記憶部３１から供給されるとき、これを元画像データとして、機械学習用の物体検出が容易なように画像データのノイズ除去や平滑化、各種フィルタ処理等に加え、学習部４５の学習モデル４３で想定する行列形式やカラーチャネル（ここではグレースケール）の画像データとして正規化し、スケーリングした所定ピクセルサイズの入力画像データを作成する前処理を実行する。
Specifically, when X-ray image data D1, which is an X-ray inspection image for each product P, is supplied from the inspection image storage unit 31, the
分離画像生成部４１は、学習モデル４３と共に、多層のニューラルネットワークに対応する画像生成用のニューラルネットワーク、例えば学習済みの特徴パラメータや重み付け係数等を用いる畳み込みオートエンコーダを構成している。
The separated
学習データ記憶部４２は、所定品種の検査済みの製品ＰのＸ線検査画像とその製品Ｐに含まれる物品Ａ－Ｄのそれぞれに対応する各物品の単体画像を、少なくとも不良品ラベル付きの教師画像データ、例えば形状不良品ラベルまたは形状良品ラベルが付された教師画像データとして、記憶している。
The learning
学習モデル４３は、予め準備された教師データを基に事前学習がなされた多層のニューラルネットワーク構成のモデルであり、入力画像データに対してその画像中の物品の画像領域を抽出するとともに、その抽出領域画像中の物品が検査対象物品であるか、および、その物品形状が良品か否かを、クラス分類することができるように構成されている。
The
学習部４５は、学習データ記憶部４２（記憶部）に記憶されている製品Ｐ中の複数の物品Ａ－Ｄと同品種の単品のＸ線画像を所定ピクセルサイズの教師画像として機械学習を実行することにより学習モデル４３を構築するものである。この学習部４５は、製品Ｐ中の物品Ａ－Ｄの単品（単体物品）での形状的な特徴（長さ、幅、湾曲形状、厚さの分布等）の幾何学的特徴を、教師画像データに内在する情報幾何学的な多数の特徴（例えば画像を構成する画素群の面積、連結長さ、連結方向、隣接画素間の画素値の変化および変化の方向等に関する特徴パラメータ）の多数組の結合について教師データに近い出力をなし得る結合の重み付けを強化する調整を行うことで、入力される製品ＰのＸ線検査画像から製品Ｐ中の各物品Ａ－Ｄの候補画像領域を個別に抽出しクラス識別し得るよう、学習モデル４３をトレーニングする機能を有している。
The
分離画像生成部４１は、例えば製品Ｐの検査用のＸ線検査画像を入力する検査時に、入力画像データを学習データ記憶部４２を介して学習部４５の学習モデル４３にかけることで、学習部４５と協働して所定ピクセルサイズの入力画像データを複数のセルに分割し、所定数のオブジェクト候補画像領域を、セル上のオブジェクトである製品Ｐ中の複数の物品Ａ－Ｄの単体画像領域に対応させるように設定することができる。
For example, during an inspection in which an X-ray inspection image for inspection of the product P is input, the separated
また、分離画像生成部４１は、各オブジェクト候補画像領域について、輪郭検出処理を実行することで、輪郭線で囲まれる複数の物品Ａ－Ｄを検出し、学習モデル４３を利用して、検査対象の各物品Ａ－Ｄの単体領域画像の範囲や位置を特定する物品検出処理を実行するとともに、各物品Ａ－Ｄに対応するクラス（例えば良品形状のソーセージ、折損による不良品形状あるいはかみ込み等の包装不良による不良品形状のソーセージ等）を認識することができるようになっている。
Furthermore, the separated
より具体的には、事前学習用の教師画像データは、例えば検査済みのＸ線画像を基に所定数のオブジェクト候補画像領域について、その領域内のセル上に製品Ｐ中の複数の物品Ａ－Ｄの単体画像のいずれかに対応するオブジェクトやその重心の存在する確率に応じて、各オブジェクト候補画像領域の信頼スコアが設定されたものとなっている。 More specifically, the teacher image data for pre-learning is based on a predetermined number of object candidate image regions based on an inspected X-ray image, and a plurality of articles A- in the product P are displayed on cells in the region. The confidence score of each object candidate image region is set according to the probability that an object corresponding to any of the single images of D or its center of gravity exists.
ここで、学習モデル４３を含む学習部４５は、教師画像数の水増し（データオーグメンテーション）のために画像のトリミング、回転、左右上下の反転、モザイク処理等により、ピクセル配置を変化させる処理が可能である。
Here, the
また、分離画像生成部４１を含む画像処理部３２は、マスク処理や複数画像の合成処理が可能となっており、検査対象の製品Ｐに含まれる複数の物品Ａ－Ｄの候補画像領域において、その候補画像領域中のセル上にオブジェクトが高確率に適合し、信頼スコアが所定値を超えた物品Ａ－Ｄの候補画像領域のいずれかについて、その画像を残し、他の画像領域を全てマスクしてしまう処理を、その処理回数が製品Ｐ中の物品Ａ－Ｄの収容数に達するまで繰り返し実行するようになっている。
In addition, the
このマスキングの処理に際しては、画像処理部３２は、例えば元画像を微分処理して同一厚さ領域の輪郭に対応して連続する複数の立体形状線を作成し、立体形状線で囲まれる画素領域のうち面積が最大となる立体形状線を各物品Ａ－Ｄの輪郭線として検出したり、元画像を所定画素値（例えば輝度値）の閾値で二値化し、複数の物品Ａ－Ｄに対応する複数の物品透過領域をそれぞれ連続する白画素の集まりに分離するラベリング処理を実行した上で、複数物品Ａ－Ｄのうち単体の透過領域毎の白画素の集まりに対する複数の輪郭線の追跡処理を実行することにより各物品Ａ－Ｄの輪郭線を検出したりすることができる。
In this masking process, the
このようにして、画像処理部３２は、複数の物品透過領域の輪郭線内領域から各物品Ａ－Ｄに対応する所定サイズの単体領域を特定した後、単体分離画像として抽出するための複数の形状の異なるマスクを作成し、得られた複数のマスクにより、例えばマスク内のオブジェクトサイズの大きい順にあるいは重心座標成分の小さい順に、それぞれ対応する物品透過領域以内の画像のみを単体分離画像として抽出する単体画像抽出処理を複数回実行するようになっている。
In this way, the
これにより、分離画像生成部４１は、製品ＰをＸ線撮影した所定ピクセルサイズの同一の入力画像データから、製品Ｐ中の物品Ａ－Ｄのうちいずれか一物品、例えば物品Ａ（Ｂ、ＣまたはＤでもよい）の単体画像のみを含み、他の物品Ｂ－Ｄ（Ａ－ＤのうちＢ、ＣまたはＤを除く他物品）の画像を含まない物品単体の検査画像を、製品Ｐ中の物品Ａ－Ｄの収容数に対応する複数枚に分離して作成する画像分離処理を実行することができるようになっている。
As a result, the separated
分離画像生成部４１で作成される製品Ｐ毎の複数枚の単品の検査画像には、事前学習済みの学習モデル４３によるクラス分類に応じて、良品や不良品等の仮判定のラベル付けが予めなされた上で、画像処理部３２から判定部３３に順次送信出力される。そして、判定部３３では、例えば複数枚の単品の検査画像による個々の物品Ａ－Ｄの仮判定結果に基づき、あるいは、更に他の画像処理判定手法に基づく仮判定結果を考慮しつつ、製品Ａの品質状態について総合判定がなされるようになっている。
A plurality of single-item inspection images for each product P created by the separated
したがって、複数枚の単品の検査画像による個々の物品Ａ－Ｄの仮判定結果に基づき、製品Ｐ中の個々の物品Ａ－Ｄについて少なくとも形状検査が可能となる。 Therefore, it is possible to at least inspect the shape of each of the articles A to D in the product P based on the provisional determination results of each of the articles A to D based on the inspection images of a plurality of single items.
また、分離画像生成部４１で分離処理された各物品Ａ－Ｄの検査画像データに対し、画像処理部３２で、いわゆる主成分分析を行う画像処理を実行して通常の異物検出処理を行うことにより、判定部３３にて、形状以外の検査項目に関する検査を併せて実行するようにしてもよい。
Further, the
さらに、製品Ｐ中で複数の物品Ａ－Ｄの重なり部分Ｌｐ（図２参照）が生じ、物品Ａ－Ｄのいずれかの検査画像中に自他複数の輪郭線で囲まれる高輝度部分と通常の輝度部分とが生じる場合に、各物品Ａ－Ｄの検査画像データに対し大小に異なる閾値処理を施したり更に単体画像中の重なり部の機械学習を行ったりするようにすれば、各検査項目に関する検査判定の精度をさらに高めることができる。 Furthermore, an overlapping portion Lp (see FIG. 2) of multiple articles A to D occurs in the product P, and a high brightness portion surrounded by multiple contour lines of the self and others in the inspection image of any of the articles A to D If a brightness portion of It is possible to further improve the accuracy of the inspection judgment regarding.
このような場合においても、判定部３３は、複数の検査項目について品質状態を総合判定可能となる。また、画像処理部３２は、所定品種の製品Ｐの複数の物品Ａ－Ｄのそれぞれに対応する物品単体画像について、少なくとも１つの検査項目における品質状態をそれぞれに判定するための所定の画像処理を実行することができる。
Even in such a case, the
検査済みのＸ線画像データとして、事前学習済みの分離画像生成部４１によってそれぞれ座標データおよび信頼スコアが設定された所定数のオブジェクト候補画像領域の画像データは、それぞれ領域毎に異なる複数のラベルのうちいずれかを手動設定することで、教師画像データとして利用することができる。すなわち、学習データ記憶部４２は、複数の物品Ａ－ＤのＸ線検査画像から分離画像生成部４１で分離して生成された複数の物品Ａ－Ｄのそれぞれに対応する物品単体画像に対し、手動で所定のラベル付けを行うことにより、所定品種の製品Ｐに含まれる複数の物品Ａ－Ｄの単体の教師画像として追加記憶することができる。
As inspected X-ray image data, image data of a predetermined number of object candidate image regions, each having coordinate data and confidence scores set by the pre-trained separated
このような本実施形態においては、分離画像生成部４１が、Ｘ線検査画像の特定階調濃度の画素群と所定品種の単体の物品形状に関する学習データとに基づいて、物品形状の少なくとも一部に対応する各物品Ａ－Ｄの主要輪郭形状Ｏａ－Ｏｄの特徴を抽出するとともに、複数の物品Ａ－Ｄの間の重なり部分Ｌｐ（図２参照）がある場合にその重なり部分Ｌｐの形状を検出し、各物品Ａ－Ｄの主要輪郭形状Ｏａ－Ｏｄおよび重なり部分Ｌｐのうち少なくとも主要輪郭形状Ｏａ－Ｏｄを含むよう、物品単体画像を生成することができる構成となっている。
In this embodiment, the separated
次に、上述のように構成された本実施形態の物品検査装置で実施可能なＸ線検査方法の一実施例について説明する。 Next, an example of an X-ray inspection method that can be carried out with the article inspection apparatus of this embodiment configured as described above will be described.
（学習段階）
まず、学習時には、図３に示すように、分離画像生成部４１からあるいは他の学習データの供給元から供給される教師データを取得して、学習データ記憶部４２に記憶させる（ステップＳ１１参照）。
(learning stage)
First, at the time of learning, as shown in FIG. 3, teacher data supplied from the separated
この段階で、教師データを分離画像生成部４１から取得する場合には、前述の通り、分離画像生成部４１で単体分離画像として抽出された製品Ｐ中の複数の物品Ａ－Ｄの単体画像に手動で所定のラベル付けを行う。
At this stage, when acquiring training data from the separated
あるいは、製品Ｐに類似する複数の物品のラベル付けされた単体画像データを、他の学習データの供給元から取得する場合には、画像サイズ等の必要な調整を行う。 Alternatively, if labeled single image data of a plurality of articles similar to product P is acquired from another learning data supplier, necessary adjustments such as image size are made.
次いで、学習部４５により、学習データ記憶部４２に記憶されている所定品種の製品Ｐに関する教師画像を用いる機械学習を実行する（ステップＳ１２）。
Next, the
この機械学習に際しては、製品Ｐ中の各物品Ａ－Ｄの形状その他の幾何学的な特徴量について、Ｘ線検査画像データに内在する情報幾何学的な特徴を多数の特徴パラメータとして抽出し、それらの特徴パラメータの複数組の結合や各結合の重み付けを調整することで、入力される製品ＰのＸ線検査画像から製品Ｐ中の各物品Ａ－Ｄの単品の候補画像領域を抽出するよう、学習モデル４３をトレーニングする。
In this machine learning, information geometric features inherent in the X-ray inspection image data are extracted as a large number of feature parameters regarding the shape and other geometric features of each article A to D in the product P, By adjusting the combinations of multiple sets of these feature parameters and the weighting of each combination, candidate image regions for each of the articles A to D in the product P can be extracted from the input X-ray inspection image of the product P. , trains the
（検査段階）
このような事前の機械学習が済むと、所定品種の複数の物品Ａ－Ｄを含む検査対象の製品Ｐに対して搬送ベルト１１による搬送中にＸ線検査部２０でＸ線を透過させる。また、透過したＸ線をＸ線検出器２４により検出し、Ｘ線ライン検出データＬｘを作成して、制御部３０の検査画像記憶部３１に順次書き込むことで、製品Ｐが検査区間を通過する所定検査期間中に検出された検出データを基に、複数の物品Ａ－Ｄを含む製品ＰのＸ線検査画像であるＸ線画像データＤ１を生成する。そして、そのＸ線画像データＤ１を基に、検査対象である製品Ｐの所定検査項目に関する品質状態を判定する。
(inspection stage)
After such preliminary machine learning is completed, the
このような方法で製品ＰのＸ線検査を行う際には、図４に示すように、制御部３０によって、まず、検査画像記憶部３１から画像処理部３２に製品ＰのＸ線検査画像であるＸ線画像データＤ１を元画像として取り込む（ステップＳ２１）。 When performing an X-ray inspection of the product P using such a method, as shown in FIG. Certain X-ray image data D1 is taken in as an original image (step S21).
次いで、学習モデル４３と協働する分離画像生成部４１により、複数物品Ａ－Ｄの単体の幾何学的特徴および複数の物品Ａ－ＤのＸ線検査画像を基に、複数の物品Ａ－Ｄのそれぞれに対応する物品単体画像を分離して生成する（ステップＳ２２）。
Next, the separated
次いで、複数の物品Ａ－Ｄに対応するそれぞれの物品単体画像（複数の分離画像）に基づいて、物品Ａ－Ｄ毎の単品での品質状態を判定するとともに、それら複数の物品Ａ－Ｄの単品毎の品質状態のを判定結果を基に、複数の物品Ａ－Ｄを含んだ製品Ｐの全体での品質状態を総合判定する（ステップＳ２３）。 Next, based on each single article image (multiple separated images) corresponding to the plurality of articles A to D, the quality status of each article A to D is determined, and the quality status of each of the plurality of articles A to D is determined. Based on the results of determining the quality status of each individual item, the overall quality status of the product P including the plurality of articles A to D is comprehensively determined (step S23).
（学習段階の手動ラベル付けの処理例）
具体的には、本実施形態における機械学習は、所定品種の複数の物品Ａ－Ｄを含む検査対象の製品Ｐの品質状態をその検査対象のＸ線画像データＤ１を基に物品Ａ－Ｄ毎に判定可能なＸ線検査用の学習モデル４３を作成するものであり、図３中のステップＳ１１のように学習データ記憶部４２に教師データを記憶させる際、具体的には、図５に示すように、学習データ記憶部４２に教師データとなり得る画像データを記憶させた後（同図中のステップＳ３１）、必要な手動でのラベル付け等がなされることで、学習用の教師データが取得されるものとなる（同図中のステップＳ３２）。勿論、そのような作業が済んだ学習用の教師データを供給元となるクラウドやオンプレミスのサーバから取り込むこともできる。
(Example of manual labeling process in learning stage)
Specifically, the machine learning in this embodiment determines the quality state of a product P to be inspected, including a plurality of articles A to D of a predetermined type, for each article A to D based on the X-ray image data D1 of the inspection object. The purpose is to create a
また、図３中のステップＳ１２のように学習モデル４３をトレーニングする機械学習に際しては、図５に示すように、所定のラベル付けがなされた状態で学習データ記憶部４２に記憶されている教師データを基に、学習部４５で、まず、検査対象の製品Ｐ中の複数の物品Ａ－Ｄについて各物品の輪郭形状を含む単体の幾何学的特徴を、各物品Ａ－Ｄの単体画像データ中に内在する情報幾何学的な特徴パラメータとして抽出し、抽出した特徴パラメータを基に分離画像生成部４１を作動させるための画像分離アルゴリズムを学習モデル４３に設定する特徴量抽出および画像分離アルゴリズム設定ステップ（同図中のステップＳ３３）を実行する。
In addition, when performing machine learning to train the
次いで、学習部４５で学習モデル４３に設定した画像分離アルゴリズムを用いて分離画像生成部４１を作動させ、同画像分離アルゴリズムに教師データを含む学習データを適用した結果の出力データを、対応する単体画像の教師データと比較し、対応する出力データおよび教師データ間の誤差に応じて学習効果を評価し、その誤差を縮小するよう複数の特徴パラメータを複数回調整するパラメータ調整ステップ（同図中のステップＳ３４）を実行するものとすることができる。
Next, the
（検査段階の処理例）
本実施形態のＸ線検査方法は、より具体的には、図６に示すように、製品Ｐの全体のＸ線画像データＤ１を分離画像生成部４１に入力すると（データ入力ステップＳ４１）、その入力画像データを基に複数の物品Ａ－Ｄに対応する物品単体画像Ｐｇ１－Ｐｇ４のいずれかを分離した分離画像を生成する（分離画像生成ステップＳ４２）。
(Example of processing at inspection stage)
More specifically, in the X-ray inspection method of this embodiment, as shown in FIG. A separated image is generated by separating any of the single article images Pg1 to Pg4 corresponding to the plurality of articles AD based on the input image data (separated image generation step S42).
次いで、判定部３３により、入力画像データＤ１から分離生成された分離画像、例えば分離画像Ｐｇ１を基に、物品Ａについて所定検査項目の品質状態を判定する（単品品質状態判定ステップＳ４３）。
Next, the
この判定ステップＳ４３およびその判定に用いる分離画像の生成ステップＳ４２は、製品Ｐ中の物品Ａ－Ｄの収容数に等しい所定数の分離画像Ｐｇ１－Ｐｇ４の作成が全て完了するまで（ステップＳ４４でＹＥＳとなるまで）、繰り返し実行される。 This determination step S43 and the separation image generation step S42 used for the determination are performed until the creation of a predetermined number of separated images Pg1 to Pg4 equal to the number of articles A to D contained in the product P is completed (YES in step S44). ), is executed repeatedly.
次いで、製品Ｐ中の物品Ａ－Ｄの収容数分に等しい複数の分離画像Ｐｇ１－Ｐｇ４の作成と、それを用いる単体画像での品質状態の検査判定とが終了すると（ステップＳ４４でＹＥＳとなると）、次いで、複数の分離画像Ｐｇ１－Ｐｇ４の単体画像での品質状態の検査判定結果を基に、製品Ｐについての総合判定がなされる（総合判定ステップＳ４５）。 Next, when the creation of a plurality of separated images Pg1 to Pg4 equal to the number of stored articles A to D in the product P and the inspection and determination of the quality state of the single images using them are completed (if YES in step S44), ), then a comprehensive judgment is made on the product P based on the quality state inspection and judgment results of the single images of the plurality of separated images Pg1 to Pg4 (comprehensive judgment step S45).
したがって、例えば分離画像Ｐｇ１－Ｐｇ４の単体画像での品質状態の検査結果が不良判定であれば、製品Ｐの品質状態も不良（ＮＧ）となる。もっとも、判定条件によっては、あるいは、併用する他の検査手段や検査方法に単体の品質状態の判定結果や全体の品質状態判定結果がある場合には、それらを含めた総合判定がなされる。 Therefore, for example, if the inspection result of the quality state of the single images of the separated images Pg1 to Pg4 is determined to be defective, the quality state of the product P is also determined to be defective (NG). However, depending on the judgment conditions, or if other inspection means or methods used in combination have individual quality status judgment results or overall quality status judgment results, a comprehensive judgment including these is made.
次に、作用について説明する。 Next, the effect will be explained.
以上のような本実施形態のＸ線検査装置１およびそれを用いるＸ線検査方法においては、製品Ｐに収容される複数物品Ａ－Ｄの単体の幾何学的特徴および製品ＰのＸ線検査画像を基に、複数物品Ａ－Ｄのそれぞれに対応する物品単体画像Ｐｇ１－Ｐｇ４が個別に分離生成され、複数物品Ａ－Ｄのそれぞれを物品単体画像Ｐｇ１－Ｐｇ４に基づいて検査対象の品質状態の判定が収容される複数物品Ａ－Ｄについて個別に実行される。 In the X-ray inspection apparatus 1 of the present embodiment and the X-ray inspection method using the same, as described above, the single geometrical characteristics of the plurality of articles A to D housed in the product P and the X-ray inspection image of the product P are Based on the above, single article images Pg1 to Pg4 corresponding to each of the plurality of articles A to D are separately generated, and the quality state of each of the plurality of articles A to D is determined based on the single article images Pg1 to Pg4. The determination is performed individually for the plurality of stored articles AD.
したがって、検査対象の製品ＰのＸ線検査画像が複数物品Ａ－Ｄの重なりの有無や重なり状態に応じた多様なものとならずに済み、画像判定のための画像処理が大幅に容易化されることになる。したがって、検査対象となる複数物品Ａ－Ｄのそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査が実行可能となる。 Therefore, the X-ray inspection image of the product P to be inspected does not vary depending on whether or not the multiple articles A to D overlap or the overlap state, and image processing for image judgment is greatly facilitated. That will happen. Therefore, the accuracy of feature detection is increased for each of the plurality of articles A to D to be inspected, and X-ray inspection with the required inspection accuracy can be performed at low cost.
また、本実施形態では、所定品種の複数物品Ａ－Ｄのそれぞれに対応する単体の教師画像を記憶させるとともに、それら教師画像データを用いる事前の更には追加の機械学習によって、所定品種の物品Ａ－Ｄの形状等に関する幾何学的特徴を多数の特徴パラメータで記述する情報幾何を用いて学習モデル４３を構築しおよび強化する。したがって、学習部４５で、所定品種の物品Ａ－Ｄに対応する単体の教師画像を基に、その教師画像データを用いる機械学習によって所定品種の物品Ａ－Ｄの形状に関する特徴パラメータが的確に取得されるので、複数物品が重なり合うことの無いシンプルな教師画像を容易に多数取得可能となり、画像判定のための処理および学習処理が共に大幅に容易化できることになる。
Further, in this embodiment, a single teacher image corresponding to each of the plurality of articles A to D of a predetermined type is stored, and the article A of the predetermined type is stored by additional machine learning in advance using the teacher image data. - A
さらに、本実施形態では、分離画像生成部４１が、学習部４５で取得した所定品種の物品Ａ－Ｄに関する幾何学的特徴を基に、複数物品Ａ－Ｄのそれぞれの形状および位置を特定して、複数物品Ａ－Ｄのそれぞれに対応する物品単体画像を生成するので、各物品Ａ－Ｄの形状や位置に応じて、各物品単体画像を精度よく抽出したり加工したりすることができ、低コストで所要の検査精度を有するＸ線検査を実行することが可能となる。
Furthermore, in the present embodiment, the separated
加えて、本実施形態では、製品ＰのＸ線検査画像から分離生成された複数物品Ａ－Ｄの少なくとも一部に対応する物品単体画像を、所定品種の物品Ａ－Ｄの単体の教師画像として追加記憶できるようにしているので、例えばシンプルな教師画像データをより容易に多数取得可能となり、機械学習の学習効率を高めることができる。また、輪郭検出データを基に、複数物品Ａ－Ｄのうち重なりの無い少なくとも一部の物品に対して、ラベリング等の簡単な処理で精度の良い教師画像を得ることができる。 In addition, in this embodiment, a single article image corresponding to at least a part of the plurality of articles A-D, which is generated separately from the X-ray inspection image of the product P, is used as a single teacher image of the articles A-D of a predetermined type. Since additional storage is possible, for example, a large amount of simple teacher image data can be acquired more easily, and the learning efficiency of machine learning can be improved. Further, based on the contour detection data, highly accurate teacher images can be obtained for at least some of the non-overlapping articles among the plurality of articles AD through simple processing such as labeling.
また、本実施形態では、所定品種の物品Ａ－Ｄのそれぞれに対応する単体の教師画像として、少なくとも不良品ラベル付きの教師画像を記憶しており、少なくとも複数物品Ａ－Ｄに対応するそれぞれの物品単体画像と不良品ラベル付きの教師画像とに基づいて、複数物品のそれぞれについて品質状態を判定することができる。したがって、不良品ラベル付きの教師画像を用いる機械学習を実行することで、検査対象の複数物品Ａ－Ｄの品質状態を単品でそれぞれ的確に判定可能となり、それらの結果を踏まえた、製品Ｐの品質状態の総合判定も可能となる。また、所定品種の物品Ａ－Ｄの様々な検査画像データに対して検査対象の画像判定に精通した人手によりラベル付けすることで、有効な事前学習モデルを作成可能となる。 Further, in this embodiment, at least a teacher image with a defective product label is stored as a single teacher image corresponding to each of the articles A to D of a predetermined type, and at least a teacher image with a defective product label is stored as a single teacher image corresponding to each of the articles A to D of a predetermined type. The quality state of each of the plurality of articles can be determined based on the single article image and the teacher image with the defective product label. Therefore, by executing machine learning using teacher images with defective product labels, it is possible to accurately determine the quality status of multiple items A to D to be inspected individually, and based on those results, Comprehensive judgment of quality status is also possible. Further, by manually labeling various inspection image data of articles A to D of a predetermined type by a person skilled in image determination of the inspection object, it is possible to create an effective pre-learning model.
本実施形態においては、画像処理部３２が、所定品種の複数物品Ａ－Ｄのそれぞれに対応する物品単体画像について、品質状態をそれぞれに判定するための所定の画像処理を実行するようにすれば、元画像である複数物品Ａ－ＤのＸ線検査画像から分離した物品単体画像を原画像として、例えば単体形状の輪郭（エッジ）の強調処理を施す特徴抽出フィルタによる微分処理を行ったり、単品での注目画素の近傍領域に所定の演算式に基づく微分処理等を施して異物のエッジを強調したりするようにすれば、形状検査以外の検査項目についての検査を併せて実行する場合等に、品質状態の判定精度を高めることができる。
In this embodiment, the
また、本実施形態では、分離画像生成部４１が、Ｘ線検査画像の特定階調濃度の画素群と所定品種の単体の物品形状に関する学習データとに基づいて、物品形状の少なくとも一部に対応する各物品Ａ－Ｄの主要輪郭形状Ｏａ－Ｏｄの特徴を抽出するとともに、複数物品Ａ－Ｄの間の重なり部分Ｌｐがある場合にその形状を検出し、各物品Ａ－Ｄの主要輪郭形状Ｏａ－Ｏｄおよび重なり部分Ｌｐのうち少なくとも主要輪郭形状Ｏａ－Ｏｄを含むよう、物品単体画像を生成する。
Further, in the present embodiment, the separated
したがって、複数物品Ａ－Ｄの間の重なり部分が無い場合、ラベリング処理等によって各物品Ａ－Ｄがその全体に及ぶ主要輪郭形状Ｏａ－Ｏｄのみの物品単体画像として生成される（図２中のＰｇ１、Ｐｇ４参照）か、あるいは欠損や折損、包装不良によるかみ込み等が生じたときには、一部が欠けた主要輪郭形状のみの物品単体画像（例えば、図２中のＰｇ１における物品Ａの折損部ａ１より左側部分の輪郭）が生成されることになる。 Therefore, if there is no overlap between the plurality of articles A to D, each article A to D is generated as a single article image with only the main outline shapes Oa to Od covering the entire article by labeling processing etc. (as shown in FIG. 2). (See Pg1 and Pg4), or if the item is damaged, broken, or jammed due to poor packaging, a single image of the article with only the main contour shape with a part missing (for example, the broken part of article A at Pg1 in Figure 2). A contour on the left side of a1) is generated.
一方、複数物品の間の重なり部分Ｌｐがある場合には、それぞれの物品Ａ－Ｄがその主要輪郭形状Ｏａ－Ｏｄおよび重なり部分Ｌｐを含む物品単体画像で表示される（図２中のＰｇ２、Ｐｇ３参照）。したがって、欠損や折損等の形状不良を容易に判定可能となる。このような場合、専ら、単品形状を示す輪郭線Ｏａ－Ｏｄの全体中で、形状不良部分を示す輪郭線（例えば図２中の折損部ａ１）が占める比率よりも、正常な輪郭形状を示す輪郭線（例えば図２中の輪郭線Ｏａのうち折損部ａ１より左側部分）の占める比率が高くなるからである。 On the other hand, if there is an overlapping portion Lp between multiple articles, each of the articles A-D is displayed as a single article image including its main contour shape Oa-Od and the overlapping portion Lp (Pg2 in FIG. 2, (See page 3). Therefore, shape defects such as defects and breakage can be easily determined. In such a case, the proportion of the contour line indicating a defective part (for example, the broken part a1 in FIG. 2) of the entire contour line Oa-Od indicating the shape of a single item is higher than that of the contour line indicating a normal contour shape. This is because the proportion occupied by the contour line (for example, the portion to the left of the broken portion a1 of the contour line Oa in FIG. 2) becomes high.
また、本実施形態のＸ線検査方法では、製品ＰのＸ線検査画像および収容される複数物品Ａ－Ｄの単体の幾何学的特徴を基に、複数物品Ａ－Ｄのそれぞれに対応する物品単体画像を分離生成する（分離画像生成ステップ）とともに、複数物品Ａ－Ｄに対応する物品単体画像に基づいてそれぞれの品質状態を判定して（単体品質状態判定ステップ）、製品Ｐの品質状態を判定する。 In addition, in the X-ray inspection method of the present embodiment, based on the X-ray inspection image of the product P and the geometrical characteristics of each of the plurality of stored articles A to D, the Separately generate single images (separated image generation step), and determine the quality status of each of the multiple articles A to D based on the single article images (single quality status determination step) to determine the quality status of product P. judge.
したがって、製品ＰのＸ線検査画像から、複数物品Ａ－Ｄのそれぞれに対応する物品単体画像Ｐｇ１－Ｐｇ４が分離生成されることで、検査対象画像が複数物品の重なりの有無や重なり状態に応じて多様に変化するようなことが無くなり、検査に要する画像判定処理や機械学習が大幅に容易化されることになる。その結果、検査対象となる複数物品Ａ－Ｄのそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行可能となる。 Therefore, by separately generating single article images Pg1 to Pg4 corresponding to each of the plurality of articles A to D from the X-ray inspection image of the product P, the image to be inspected can be adjusted depending on whether or not the plurality of articles overlap and the overlapping state. This eliminates the need for various changes in the image quality, and greatly facilitates image judgment processing and machine learning required for inspection. As a result, the accuracy of feature detection is increased for each of the plurality of articles A to D to be inspected, and X-ray inspection with the required inspection accuracy can be performed at low cost.
特に、本実施形態における学習モデル作成方法では、所定品種の物品Ａ－Ｄの教師画像を基に、所定品種の物品Ａ－Ｄの単体の幾何学的特徴に関する教師データを学習データ記憶部４２に記憶させる段階（教師データ記憶段階）と、検査対象の製品ＰのＸ線検査画像の入力データおよび教師データを基に、製品ＰのＸ線画像データＤ１から複数物品Ａ－Ｄのそれぞれに対応する物品単体画像を分離画像生成部４１により個別に生成するための複数の特徴パラメータを含む画像分離アルゴリズムを学習モデル４３に設定する段階（アルゴリズム設定段階）とを含み、その画像分離アルゴリズム設定段階が、製品ＰのＸ線画像データＤ１中の各物品Ａ－Ｄの輪郭形状を含む単体の幾何学的特徴を抽出し（特徴量抽出ステップ）、抽出した各物品Ａ－Ｄの単体の幾何学的特徴を設定済みの画像分離アルゴリズムに適用した結果の出力データを誤差逆伝播法等により対応する教師データとの誤差に応じて評価し、その誤差を縮小するよう複数の特徴パラメータを調整するパラメータ調整段階と、を含んでいる。
In particular, in the learning model creation method of this embodiment, training data regarding the individual geometric features of articles A to D of a predetermined variety are stored in the learning
したがって、このモデル作成方法では、検査対象の入力データから複数の物品Ａ－Ｄの単体画像を個別に生成するための画像分離アルゴリズムを設定する際、検査対象の線品ＰのＸ線検査画像中の複数の物品Ａ－Ｄについて各物品Ａ－Ｄの輪郭形状を含む単体の幾何学的特徴が情報幾何学的な特徴量（特徴パラメータの結合）として抽出され、その特徴量を設定済みの画像分離アルゴリズムに適用した結果の出力データが対応する教師データとの誤差に応じて評価され、その誤差を縮小するよう複数の特徴パラメータが調整されることになる。したがって、画像分離アルゴリズムの精度が有効に高められる。 Therefore, in this model creation method, when setting an image separation algorithm for individually generating single images of multiple articles A to D from input data to be inspected, A single geometric feature including the outline shape of each article A to D is extracted as an information geometric feature amount (combination of feature parameters) for a plurality of articles A to D, and an image with the feature amount set is extracted. The output data resulting from application of the separation algorithm is evaluated according to the error with the corresponding teacher data, and a plurality of feature parameters are adjusted to reduce the error. Therefore, the accuracy of the image separation algorithm is effectively increased.
また、このような学習モデルを用いる本実施形態のＸ線検査方法は、分離画像生成部４１および学習モデル４３を用いる画像処理が、複数の物品Ａ－ＤのＸ線検査画像を基に複数の物品Ａ－Ｄのそれぞれに対応する物品単体画像を分離して生成する分離画像生成ステップと、複数の物品Ａ－Ｄに対応するそれぞれの物品単体画像に基づいて検査対象の品質状態を判定する単体品質状態判定ステップと、を含むものとなる。
Furthermore, in the X-ray inspection method of the present embodiment using such a learning model, the image processing using the separated
したがって、検査対象の製品ＰのＸ線検査画像から複数物品Ａ－Ｄの単体画像が分離画像生成部４１および学習モデル４３を用いて分離生成され、検査対象画像中に複数の物品Ａ－Ｄの多様な相互姿勢や重なり状態が含まれずに済み、検査に要する画像判定のための処理が大幅に容易化される。したがって、製品Ｐに収容される複数物品Ａ－Ｄのそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行することができる。
Therefore, single images of the plurality of articles A to D are separated and generated from the X-ray inspection image of the product P to be inspected using the separated
このように、本実施形態においては、検査対象の製品Ｐに収容される複数物品Ａ－Ｄのそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行することのできるＸ線検査装置およびＸ線検査方法を提供することができる。 In this way, in this embodiment, it is possible to improve the feature detection accuracy for each of the plurality of articles A to D contained in the product P to be inspected, and to perform an X-ray inspection with the required inspection accuracy at a low cost. It is possible to provide an X-ray inspection apparatus and an X-ray inspection method.
なお、一実施形態の説明においては、検査対象の製品Ｐをソーセージ類とし、その製品中に複数、例えば４つのウィンナーソーセージ等の物品Ａ－Ｄが収容されているものとしたが、その物品Ａ－Ｄの品種はソーセージ類のような特定品種に限定されるものでなく、製品Ｐ中の物品収容数も４つに限定されるものでないことはいうまでもない。また、物品Ａ－Ｄは、特定形状を有する１品種として説明したが、同一品種物品の形状が概ね類似する所定形状範囲に入るのであれば、製品Ｐ中の物品Ａ－Ｄが例えば相互に類似形状または非類似形状となる２品種の多数物品であってもよく、収容物品数同様に品種数が1種類に限定されないことも勿論である。 In the description of one embodiment, it is assumed that the product P to be inspected is sausages, and that the product contains a plurality of products, for example, four Wiener sausages, etc., but the product A It goes without saying that the variety of -D is not limited to a specific variety such as sausages, and the number of items accommodated in product P is not limited to four. In addition, although articles A to D have been described as one type having a specific shape, if the shapes of articles of the same type fall within a predetermined range of generally similar shapes, then articles A to D in product P may be similar to each other, for example. A large number of articles of two types having different shapes or dissimilar shapes may be used, and it goes without saying that the number of types is not limited to one type, as is the case with the number of stored articles.
さらに、製品Ｐは、上下面がコンベア上に広がる略扁平形状をなす包装容器に収容されているものとしたが、整列されて収納されているものであっても、包装容器中への投入状態に応じて不規則な相互姿勢で収容されているものであってもよい。 Furthermore, it is assumed that the products P are housed in a packaging container having a substantially flat shape with the upper and lower surfaces extending over the conveyor. They may be accommodated in irregular mutual positions depending on the situation.
以上説明したように、本発明は、検査対象に収容される複数物品のそれぞれについて特徴検出精度を高め、低コストで所要の検査精度を有するＸ線検査を実行することのできるＸ線検査装置およびＸ線検査方法を提供することができるものであり、かかる本発明は、Ｘ線画像の画像処理データを用いて検査対象物品の形状等を検査するのに好適な物品検査用のＸ線検査装置およびＸ線検査方法、ならびに同検査に用いる学習モデル作成方法全般に有用である。 As described above, the present invention provides an X-ray inspection device and an X-ray inspection device that can improve feature detection accuracy for each of a plurality of articles contained in an inspection target and perform an X-ray inspection with a required inspection accuracy at a low cost. The present invention can provide an X-ray inspection method, and the present invention provides an X-ray inspection apparatus for article inspection suitable for inspecting the shape of an article to be inspected using image processing data of an X-ray image. The present invention is useful for general X-ray inspection methods and learning model creation methods used for the same inspection.
１ Ｘ線検査装置
１０ 搬送部
１１ 搬送ベルト
１１ａ 上走区間
１２、１３ 搬送ローラ
２０ Ｘ線検査部
２１ Ｘ線発生器
２２ Ｘ線管
２３ 外囲器
２３ａ Ｘ線窓部
２４ Ｘ線検出器
３０ 制御部
３１ 検査画像記憶部
３２ 画像処理部
３３ 判定部
３４ 操作表示部
４１ 分離画像生成部
４２ 学習データ記憶部
４３ 学習モデル
４５ 学習部
Ａ、Ｂ、Ｃ、Ｄ 物品（食品、ソーセージ、検査対象の収容物品）
ａ１ 折損部
Ｄ１ 入力画像データ（Ｘ線画像データ）
Ｌｐ 重なり部分
Ｏａ、Ｏｂ、Ｏｃ、Ｏｄ 主要輪郭形状
Ｐ 製品（検査対象）
Ｐｇ１、Ｐｇ２、Ｐｇ３、Ｐｇ４ 物品単体画像（分離画像）
1
a1 Broken part D1 Input image data (X-ray image data)
Lp Overlapping portion Oa, Ob, Oc, Od Main contour shape P Product (inspection target)
Pg1, Pg2, Pg3, Pg4 Single article image (separated image)
Claims (9)
前記所定品種の複数の物品の単体の幾何学的特徴を記憶する記憶部と、
前記複数の物品の単体の幾何学的特徴および前記複数の物品を含む前記検査対象製品のＸ線検査画像を基に、前記複数の物品のそれぞれに対応する物品単体画像を分離して生成する分離画像生成部と、をさらに備えており、
前記判定部が、前記複数の物品に対応するそれぞれの物品単体画像に基づいて前記検査対象製品に含まれる各物品の品質状態の判定を実行し、該判定の結果を基に前記検査対象製品の品質状態の総合判定を実行することを特徴とするＸ線検査装置。 an X-ray generator that generates X-rays that pass through the product to be inspected, including a plurality of articles of a predetermined type; and an X-ray generator that detects the X-rays that have passed through the plurality of articles and generates an X-ray detection signal. an image processing unit that generates an X-ray inspection image of the product to be inspected based on the output of the X-ray detector; An X-ray inspection device comprising: a determination unit that determines the quality state of a product ;
a storage unit that stores individual geometric characteristics of a plurality of articles of the predetermined type;
Separation of separating and generating single article images corresponding to each of the plurality of articles based on the single geometric characteristics of the plurality of articles and the X-ray inspection image of the product to be inspected that includes the plurality of articles. It further includes an image generation unit,
The determination unit executes a determination of the quality state of each article included in the product to be inspected based on each single article image corresponding to the plurality of articles, and determines the quality state of the product to be inspected based on the result of the determination. An X-ray inspection device characterized by performing comprehensive judgment of quality status.
前記判定部が、少なくとも前記複数の物品に対応するそれぞれの物品単体画像と前記不良品ラベル付きの教師画像とに基づいて、前記複数の物品のそれぞれについて前記品質状態を判定することを特徴とする請求項２ないし４のいずれか一項に記載のＸ線検査装置。 the storage unit stores at least a teacher image with a defective product label as a single teacher image corresponding to each of the articles of the predetermined type;
The determination unit is characterized in that the determination unit determines the quality state of each of the plurality of articles based on at least each single article image corresponding to the plurality of articles and the teacher image with the defective product label. The X-ray inspection apparatus according to any one of claims 2 to 4.
前記所定品種の複数の物品の単体の幾何学的特徴および前記複数の物品を含む前記検査対象製品のＸ線検査画像を基に、前記複数の物品のそれぞれに対応する物品単体画像を分離して生成する分離画像生成ステップと、
前記複数の物品に対応するそれぞれの物品単体画像に基づいて前記検査対象製品に含まれる各物品の品質状態を判定する単体品質状態判定ステップと、
前記各物品の品質状態の判定の結果を基に前記検査対象製品の品質状態を判定する総合判定ステップと、を含むことを特徴とするＸ線検査方法。 X-rays are transmitted through a product to be inspected that includes a plurality of articles of a predetermined type, and the transmitted X-rays are detected to generate an X-ray inspection image of the product to be inspected; An X-ray inspection method for determining the quality state of the product to be inspected based on an inspection image,
Separating single article images corresponding to each of the plurality of articles based on the geometric characteristics of the single article of the plurality of articles of the predetermined type and the X-ray inspection image of the product to be inspected including the plurality of articles. a step of generating a separated image;
an individual quality state determination step of determining the quality state of each article included in the product to be inspected based on each individual article image corresponding to the plurality of articles;
An X-ray inspection method comprising: a comprehensive determination step of determining the quality state of the product to be inspected based on the results of the determination of the quality state of each article .
所定品種の物品の教師画像を基に、前記所定品種の物品単体の幾何学的特徴に関する教師データをメモリに記憶させる教師データ記憶段階と、
前記所定品種の複数の物品を含む検査対象製品のＸ線検査画像の入力データおよび前記教師データを基に、前記検査対象製品の入力データから前記複数の物品のそれぞれに対応する物品単体画像を個別に生成するための複数の特徴パラメータを含む画像分離アルゴリズムを設定する画像分離アルゴリズム設定段階と、をさらに含み、
前記画像分離アルゴリズム設定段階が、
前記検査対象製品のＸ線検査画像中の前記複数の物品について各物品の輪郭形状を含む単体の幾何学的特徴を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出した各物品の単体の幾何学的特徴を設定済みの画像分離アルゴリズムに適用した結果の出力データを、対応する教師データとの誤差に応じて評価し、該誤差を縮小するよう前記複数の特徴パラメータを調整するパラメータ調整ステップと、
前記特徴量抽出ステップおよび前記パラメータ調整ステップを含む学習により前記画像分離アルゴリズムを設定した学習モデルを作成する学習モデル作成ステップと、を有し、
前記学習モデル作成ステップで作成された学習モデルにより、前記分離画像生成ステップで前記物品単体画像を分離して生成する、ことを特徴とするＸ線検査方法。 The X-ray inspection method according to claim 8 ,
a teacher data storage step of storing in a memory teacher data regarding the geometrical characteristics of a single article of a predetermined type based on a teacher image of the article of a predetermined type;
Based on the input data of the X-ray inspection image of the product to be inspected including a plurality of articles of the predetermined type and the teacher data, individual article images corresponding to each of the plurality of articles are individually generated from the input data of the product to be inspected. further comprising an image separation algorithm setting step of setting an image separation algorithm including a plurality of feature parameters for generating a
The image separation algorithm setting step includes:
a feature amount extraction step of extracting a single geometric feature including a contour shape of each article for the plurality of articles in the X-ray inspection image of the product to be inspected;
The output data resulting from applying the single geometric features of each item extracted in the feature amount extraction step to the set image separation algorithm is evaluated according to the error with the corresponding training data, and the error is reduced. a parameter adjustment step of adjusting the plurality of feature parameters so as to
a learning model creation step of creating a learning model in which the image separation algorithm is set through learning including the feature amount extraction step and the parameter adjustment step;
An X-ray inspection method, characterized in that the single article image is separated and generated in the separated image generation step using the learning model created in the learning model creation step .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021063917A JP7445621B2 (en) | 2021-04-05 | 2021-04-05 | X-ray inspection equipment and X-ray inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021063917A JP7445621B2 (en) | 2021-04-05 | 2021-04-05 | X-ray inspection equipment and X-ray inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022159623A JP2022159623A (en) | 2022-10-18 |
| JP7445621B2 true JP7445621B2 (en) | 2024-03-07 |
Family
ID=83641317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021063917A Active JP7445621B2 (en) | 2021-04-05 | 2021-04-05 | X-ray inspection equipment and X-ray inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7445621B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019164156A (en) | 2018-02-14 | 2019-09-26 | 株式会社イシダ | Inspection apparatus |
-
2021
- 2021-04-05 JP JP2021063917A patent/JP7445621B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019164156A (en) | 2018-02-14 | 2019-09-26 | 株式会社イシダ | Inspection apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022159623A (en) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6235684B1 (en) | Inspection device and PTP packaging machine | |
| JP2010145135A (en) | X-ray inspection apparatus | |
| JP6126230B2 (en) | Inspection device | |
| Tao | Spherical transform of fruit images for on-line defect extraction of mass objects | |
| JP6754155B1 (en) | Teacher data generator, inspection device and computer program | |
| US20230145715A1 (en) | Inspection device for tofu products, manufacturing system for tofu products, inspection method for tofu products, and program | |
| WO2009012095A1 (en) | Inspection apparatus and method using penetrating radiation | |
| JP2005024549A (en) | X-ray inspection device | |
| JP5864404B2 (en) | X-ray inspection equipment | |
| WO2021193733A1 (en) | Training data generation device, inspection device, and program | |
| JP2019128250A (en) | Inspection device, ptp packaging machine and calibration method of inspection device | |
| US8284895B1 (en) | One dimensional linescan X-ray detector | |
| JP7445621B2 (en) | X-ray inspection equipment and X-ray inspection method | |
| JP7248317B2 (en) | Tofu production system | |
| JP2015137858A (en) | Inspection device | |
| WO2022065110A1 (en) | X-ray inspection device and x-ray inspection method | |
| JP5452081B2 (en) | X-ray inspection equipment | |
| JP7248316B2 (en) | TOFU INSPECTION DEVICE, TOFU MANUFACTURING SYSTEM, TOFU INSPECTION METHOD, AND PROGRAM | |
| JP2023114827A (en) | Inspection device, learning model creation method, and inspection method | |
| JP7240780B1 (en) | inspection equipment | |
| US20230252620A1 (en) | Inspection device, learned model generation method, and inspection method | |
| JP2021012107A (en) | Inspection apparatus and learning apparatus | |
| JP2010112850A (en) | X-ray inspection device | |
| US20230022631A1 (en) | Method and apparatus for analyzing a product, training method, system, computer program, and computer-readable storage medium | |
| WO2020189087A1 (en) | X-ray inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221007 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20221012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7445621 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |