JP2022013217A - X-ray image processing system and x-ray image processing method - Google Patents
X-ray image processing system and x-ray image processing method Download PDFInfo
- Publication number
- JP2022013217A JP2022013217A JP2020115632A JP2020115632A JP2022013217A JP 2022013217 A JP2022013217 A JP 2022013217A JP 2020115632 A JP2020115632 A JP 2020115632A JP 2020115632 A JP2020115632 A JP 2020115632A JP 2022013217 A JP2022013217 A JP 2022013217A
- Authority
- JP
- Japan
- Prior art keywords
- article
- image processing
- ray
- ray image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000010354 integration Effects 0.000 claims abstract description 42
- 239000000126 substance Substances 0.000 claims description 7
- 238000007689 inspection Methods 0.000 abstract description 35
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 72
- 230000005540 biological transmission Effects 0.000 description 28
- 239000000463 material Substances 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000007723 transport mechanism Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002247 constant time method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
- G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
- G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- High Energy & Nuclear Physics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、Ｘ線画像処理装置およびＸ線画像処理方法に関する。 The present invention relates to an X-ray image processing apparatus and an X-ray image processing method.
空港や大規模イベント会場等において手荷物検査にＸ線手荷物検査装置が利用されている。Ｘ線手荷物検査装置は一般的に、Ｘ線の透過量を示すグレースケール画像や、さらに材質を判定して材質毎に色づけをしたカラー画像を生成する。そして、検査員が目視で画像をチェックして危険物の有無を確認し、検査員が危険物を発見すると、荷物を開被検査するのが一般的な運用である。 X-ray baggage inspection equipment is used for baggage inspection at airports and large-scale event venues. The X-ray baggage inspection device generally generates a grayscale image showing the amount of X-ray transmission, and a color image in which the material is determined and colored for each material. Then, the inspector visually checks the image to confirm the presence or absence of dangerous goods, and when the inspector finds the dangerous goods, it is a general operation to open and inspect the baggage.
Ｘ線画像に危険物が含まれているか否かを確認するためには、高度な訓練を受けた検査員が必要である。そのため、例えば大規模イベントに際して検査員を一時的に大量に確保することは、事前の訓練やコストの点から難しい。そこで、検査員の負荷を少しでも低減するために、危険物の発見を自動化しようという試みがなされている。 A highly trained inspector is required to confirm whether the X-ray image contains dangerous goods. Therefore, for example, it is difficult to temporarily secure a large number of inspectors at a large-scale event in terms of prior training and cost. Therefore, in order to reduce the load on the inspector as much as possible, attempts are being made to automate the discovery of dangerous substances.
画像認識を自動化する一方策として、ＡＩ（人工知能）による深層学習を活用した画像認識技術があげられる。深層学習は映像解析の用途などで広く用いられており、高い認識精度が得られるため、その普及が進んでいる。例えば、特許文献１には、材質の密度と形状認識結果を組みわせることで高い認識精度を得る方法が開示されている。
One way to automate image recognition is image recognition technology that utilizes deep learning by AI (artificial intelligence). Deep learning is widely used in applications such as video analysis, and its widespread use is due to its high recognition accuracy. For example,
特許文献１に記載の技術は、Ｘ線検査装置で１方向から撮影した画像を認識対象としている。すなわち、１つの撮影方向に対して１つの認識結果が得られるため、複数の撮影方向がある場合には、撮影方向の数だけ認識結果が得られる。そのため、検査員は複数の認識結果を確認しなければならず、検査員の確認時間が増えてしまうという課題がある。また、１方向から撮影した画像は情報量が少なく、物品を３Ｄ（三次元）で撮影可能なＣＴ方式と比較して認識精度が低下してしまうという課題がある。
The technique described in
一方、２方向から撮影可能なＸ線検査装置は、ＣＴ方式よりも安価であるため普及が進んでいる。２方向から撮影可能なＸ線検査装置は、例えばナイフのように厚さが薄い物品であっても、当該物品を２方向から撮影することにより、いずれかの方向から撮影した画像によって、ナイフの形状を明確に判別することが可能となる。そのため、物品を２方向から確認することにより、物品を１方向から確認する場合よりも見逃し防止が期待できる。ＡＩを用いた禁止物品の認識においても、２方向の認識結果を統合したうえで最終的な認識結果を提示することがよいと考えられる。 On the other hand, X-ray inspection devices capable of photographing from two directions are becoming more widespread because they are cheaper than the CT method. An X-ray inspection device capable of photographing from two directions is such that even if the article is thin, such as a knife, by photographing the article from two directions, the image taken from either direction can be obtained from the knife. It is possible to clearly distinguish the shape. Therefore, by checking the article from two directions, it can be expected to prevent overlooking as compared with the case where the article is checked from one direction. In the recognition of prohibited articles using AI, it is considered better to integrate the recognition results in two directions and then present the final recognition result.
本発明の目的は、複数の方向からの撮影が可能なＸ線検査装置において、禁止物品の認識精度を向上させることができるＸ線画像処理装置およびＸ線画像処理方法を提供することにある。 An object of the present invention is to provide an X-ray image processing apparatus and an X-ray image processing method capable of improving the recognition accuracy of prohibited articles in an X-ray inspection apparatus capable of photographing from a plurality of directions.
上記課題を解決するために、代表的な本発明のＸ線画像処理装置の一つは、物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得部と、複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、複数のＸ線画像に対する認識結果を統合する認識結果統合部と、統合された認識結果をもとに、画面情報を生成する画面生成部と、を有する。 In order to solve the above problems, one of the representative X-ray image processing devices of the present invention is an X-ray image acquisition unit that acquires a plurality of X-ray images obtained by photographing an article from a plurality of directions, and a plurality of X-rays. An article recognition unit that recognizes an article and a recognition result integration unit that integrates recognition results for a plurality of X-ray images are integrated using a learning model that learns the first surface of the article for a line image. It has a screen generation unit that generates screen information based on the recognition result.
本発明によれば、複数の方向からの撮影が可能なＸ線検査装置において、禁止物品の認識精度を向上させることができるＸ線画像処理装置およびＸ線画像処理方法を提供することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide an X-ray image processing apparatus and an X-ray image processing method capable of improving the recognition accuracy of prohibited articles in an X-ray inspection apparatus capable of photographing from a plurality of directions.
Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
以下、本発明のＸ線画像処理装置およびＸ線画像処理方法の好ましい実施形態について説明する。
本開示において、物品の「正面」とは、一般的な検査員が確認したときに物品を判別しやすい方向から見える面を意味し、物品の「側面」とは、正面が見える方向に対して垂直な方向から見える面を意味する。
Hereinafter, preferred embodiments of the X-ray image processing apparatus and the X-ray image processing method of the present invention will be described.
In the present disclosure, the "front" of an article means a surface that can be seen from a direction that makes it easy for a general inspector to identify the article, and the "side" of an article is a direction that allows the front to be seen. It means a surface that can be seen from a vertical direction.
図１は、Ｘ線画像処理装置を有するＸ線検査装置の構成図である。
Ｘ線検査装置１００は、例えば空港の保安検査において手荷物検査装置として広く用いられている装置であり、Ｘ線装置本体（以下、装置本体という）１０１と、Ｘ線画像処理装置１０２と、表示部１０３と、入力部１０４を有する。Ｘ線画像処理装置１０２は例えばパーソナルコンピュータ（ＰＣ）である。表示部１０３は、２方向から撮影した画像を表示する場合や、カラー画像とグレースケール画像を表示する場合などに、２つ以上のディスプレイで構成されることもある。
FIG. 1 is a block diagram of an X-ray inspection device having an X-ray image processing device.
The
装置本体１０１は、Ｘ線を照射する照射機構と、手荷物等の対象物を撮影してＸ線の透過量を計測するＸ線撮影機構を有し、Ｘ線透過量のデータ（以下、単に「透過量データ」または「透過量」ということがある。）を出力する。Ｘ線画像処理装置１０２は、装置本体１０１が撮影したＸ線画像の物品認識結果に基づき手荷物が安全であるか否かを判定する。本実施例のＸ線画像処理装置は、学習の機能を有しており、蓄積された物品情報を用いて画像認識用のモデルを学習することができる。表示部１０３はＸ線画像を表示する表示端末であり、画面に表示されるＸ線画像を検査員が目視で確認することができる。
The apparatus
装置本体１０１は、荷物を搬送するベルトコンベアを備えた搬送機構を有し、搬送機構は制御部により制御されて、ベルトコンベアを駆動、停止させることができる。Ｘ線画像処理装置１０２は、物品認識の結果、危険な手荷物（アラート対象物）と判定した場合、装置本体１０１または装置本体１０１付近に設置された表示ランプを点灯して、物品がアラート対象物である旨を検査員に通知する。なお、アラート対象物である旨の通知には、表示部１０３やＸ線画像処理装置１０２の音声出力部を用いてもよい。
The apparatus
本実施例の搬送機構には、Ｘ線の透過量を計測する２種類のＸ線センサ（以下単に「センサ」という。）が配置され、２種類のデータを取得する。すなわち、１つのセンサが低いエネルギーのデータを取得し、他の１つのセンサが高いエネルギーのデータを取得する。Ｘ線画像処理装置１０２は、２つのセンサにより取得される高エネルギーのデータと低エネルギーのデータの差分に基づき対象物の材質を判定する。Ｘ線センサは、材質が判断できるＸ線データが取得できればよく、Ｘ線センサの検知方式は問わない。例えば後方散乱式の材質判定センサ等を用いることができるし、その他のセンサでもよい。さらに、本実施例のＸ線検査装置には、荷物が通過するエリアの側面（垂直面）と天井面（水平面）など、複数個所にそれぞれ上記センサのセット（２種類のＸ線センサ）が取り付けられている。例えば２方向から撮影可能なＸ線検査装置では、上と横の二方向から同時に荷物を撮影することができる。通常、センサとしてはラインセンサが用いられている。このような場合、複数のＸ線の光源の干渉を避けるために、第一のセンサのセットと第二のセンサのセットは荷物進行方向に対する位置を若干ずらして設置されていることもある。
In the transport mechanism of this embodiment, two types of X-ray sensors (hereinafter, simply referred to as "sensors") for measuring the amount of X-ray transmission are arranged, and two types of data are acquired. That is, one sensor acquires low energy data and the other sensor acquires high energy data. The X-ray
図２は、Ｘ線画像処理装置１０２の機能構成図である。
Ｘ線画像処理装置１０２は、処理部（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、主メモリ２０２、表示部１０３を接続する表示インターフェース（Ｉ／Ｆ）部２０３、入力部１０４を接続する入力インターフェース（Ｉ／Ｆ）部２０４、通信部２０５、記憶部２１０を有する情報処理装置である。
FIG. 2 is a functional configuration diagram of the X-ray
The X-ray
処理部２０１はプログラムを実行して所定の機能や動作を実現する。記憶部２１０は、Ｘ線画像取得プログラム２１２、物品認識プログラム２１３、認識結果統合プログラム２１４、画面生成プログラム２１５、キャリブレーションプログラム２１６、物品学習プログラム２１７、Ｘ線画像データ２１８、学習モデル２１９を格納する。
The
ここで、Ｘ線画像取得プログラム２１２は、装置本体１０１が撮影したＸ線の透過量データを専用のインターフェースまたはＶＧＡ端子などの汎用の画面出力端子から取得する。なお、空港の保安検査場などで用いられているＸ線検査装置の場合、一般的に２方向から撮影した画像を独立した２画面に表示することが多い。その場合は、複数の入力端子からＸ線の透過量データを取得しても構わない。Ｘ線画像取得プログラム２１２による動作の詳細については後述する。
Here, the X-ray image acquisition program 212 acquires the X-ray transmission amount data captured by the apparatus
物品認識プログラム２１３は、装置本体１０１が撮影した２種類のＸ線センサの透過量データから生成した荷物の材質情報と物品の密度情報を可視化したカラー画像または２種類のＸ線センサのいずれかのセンサの透過量データを変換したグレースケール画像を対象として、深層学習のセグメンテーション技術を用いて画像内に含まれる物品を画素単位で認識する。物品認識プログラム２１３による動作の詳細については後述する。
The
認識結果統合プログラム２１４は、２方向から撮影した２つの画像の認識結果を統合して、物品を高精度に認識する。また、検査員に提示する画面を１つにする場合には、２方向から撮影した２つの画像から、検査員に提示する画像を選択する。認識結果統合プログラム２１４の動作の詳細については後述する。
The recognition
画面生成プログラム２１５は、認識結果統合プログラム２１４で統合された認識結果をもとに、検査員端末のモニタに表示する画面情報を生成し、表示部１０３に生成した画面情報を表示する。画面生成プログラム２１５の動作の詳細については後述する。
The screen generation program 215 generates screen information to be displayed on the monitor of the inspector terminal based on the recognition result integrated by the recognition
キャリブレーションプログラム２１６は、複数の方向から撮影された複数の画像の位置を対応付けられるように、画像の位置を調整する。キャリブレーションプログラム２１６の動作の詳細については後述する。
The
物品学習プログラム２１７は、入力されたカラー画像またはグレースケール画像を対象として深層学習のセグメンテーション処理などを用いて学習を実施し、学習モデル２１９を生成する。
The
Ｘ線画像データ２１８は、２種類のセンサにより計測されるＸ線透過量データから生成された、材質情報と密度情報を示すカラー画像またはグレースケールの画像が登録される。カラー画像については、２種類のセンサのＸ線透過量データの差分から物品の材質を判定し、例えば、材質情報が色、透過量が濃さ（密度が大きい部分は濃く、密度が小さい部分は薄い）となるカラー画像が登録される。なお、センサが２つの方向の撮影用に設置されている場合は、１回の撮影で異なる向きからの画像が２つ撮影されて、Ｘ線画像データ２１８に登録される。
In the
なお、記憶部２１０に記憶される、上記の、Ｘ線画像取得プログラム２１２、物品認識プログラム２１３、認識結果統合プログラム２１４、画面生成プログラム２１５、キャリブレーションプログラム２１６、物品学習プログラム２１７は、処理部２０１で実行されると、それぞれ、Ｘ線画像取得部２１２´、物品認識部２１３´、認識結果統合部２１４´、画面生成部２１５´、キャリブレーション部２１６´、物品学習部２１７´としての機能を実現する。
The above-mentioned X-ray image acquisition program 212,
Ｘ線画像データ２１８は、Ｘ線検査装置１００で撮影された荷物のカラー画像またはグレースケールの画像である。Ｘ線検査装置１００が例えば垂直方向と水平方向の２方向から撮影できる装置である場合、１つの荷物に対して、垂直方向と水平方向の２つの画像が荷物ＩＤと共にＸ線画像データ２１８の保存領域に記録される。
The
学習モデル２１９には、物品学習プログラム２１７で学習したモデルのパラメータ情報が記録されている。なお、学習モデルとしては、一つの物品に対して、正面や側面など、さまざまな方向で学習した学習モデルを用いてもよい。しかし、本実施例においては、物品が何であるかだけでなく、学習モデルを適用した物品の画像に対して、物品の正面と側面のいずれであるかも判別できるようにしているため、本実施例に用いる学習モデルとしては、例えば、スマートフォンについて、正面の画像と側面の画像を別の物品の画像として学習した学習モデルを用いてもよい。
このような学習モデルを用いることにより、スマートフォンのように、正面と側面の見た目が大きく異なる場合、正面と側面を別の物品として学習していることで、正面と側面の識別をより的確に反映させた学習モデルが構築できる。
In the
By using such a learning model, when the appearance of the front and the side is significantly different like a smartphone, the front and the side are learned as separate articles, and the distinction between the front and the side is reflected more accurately. You can build a learning model that you have made.
次に、図３を参照して、物品の認識と表示を行う処理動作について説明する。この処理動作は、Ｘ線検査装置１００を使用する検査業務の際の処理動作である。
Next, with reference to FIG. 3, a processing operation for recognizing and displaying an article will be described. This processing operation is a processing operation during an inspection operation using the
（Ｓ３０１）
まず、Ｘ線画像取得プログラム２１２が、Ｘ線のセンサで取得された透過量データであるＲＡＷデータまたは透過量データが画像化されたＸ線画像（ディスプレイに表示する画面信号）を取得する。ここで、入力が高低２種類のエネルギーのＲＡＷデータの場合は、高低２種類のエネルギーの透過量データの差分情報から画像の画素単位の材質を判定する。材質の判定は、例えばこの分野で広く知られている高低２種類のエネルギーの透過量の差分情報により、金属、無機物、有機物、その他の４種類に分類する方法を用いることができる。そして、材質情報と高低２種類のエネルギーのいずれかのＸ線透過量を用いて、材質情報が色、透過量が濃さ（密度が大きい部分は濃く、密度が小さい部分は薄い）となるカラー画像を生成する。
(S301)
First, the X-ray image acquisition program 212 acquires RAW data, which is transmission amount data acquired by the X-ray sensor, or an X-ray image (screen signal displayed on the display) in which the transmission amount data is imaged. Here, when the input is RAW data of two types of high and low energies, the material of each pixel of the image is determined from the difference information of the transmission amount data of the two types of high and low energies. For the determination of the material, for example, a method of classifying into four types of metal, inorganic substance, organic substance, and others can be used based on the difference information of the permeation amount of two types of high and low energies widely known in this field. Then, using the material information and the X-ray transmission amount of one of the two types of high and low energies, the material information is the color and the transmission amount is the density (the part with high density is dark and the part with low density is thin). Generate an image.
ここで、装置本体１０１から取得される画像データが撮影対象の荷物毎に分割されていない場合、つまり、一つの画像データに複数の荷物が写りこんでいる場合は、以下に示す第１の分割方法ないし第３の分割方法にて画像データを荷物単位に分割する。
Here, when the image data acquired from the apparatus
第１の分割方法は、装置本体１０１のＶＧＡ出力端子などからディスプレイに表示する画面信号を入力する場合の方法である。まず、画面信号を取得し、フレーム画像の変化の度合いを用いて荷物の表示内容が変化しているかどうかを判定する。荷物の撮影が終了すると画面上には荷物が静止して表示される。透過量が閾値以下の濃い部分を荷物エリアとすると、荷物エリアが変化するかどうかで荷物の撮影の終了および撮影終了時の荷物エリアを特定することができる。
The first division method is a method in which a screen signal to be displayed on a display is input from a VGA output terminal of the apparatus
第２の分割方法の例を図４に示す。画面信号またはＲＡＷデータを取得し、透過量の積分値を一定のライン数毎または一定時間毎に求める。透過量が小さい（＝濃い）部分は荷物があると判定し、透過量が大きい（＝薄い）部分は荷物がないと判定して、荷物単位に画像を分割する。１ラインで判定してしまうと、ノイズなどで誤判定してしまう可能性があるため、移動平均をとった透過量の積分値が閾値以下の場合は荷物あり、閾値以上の場合は荷物なしと判定することもできる。また、荷物の途中に薄い部分が含まれることがあるため、薄い部分は一定量連続した場合に荷物と荷物の間のスペースと判定してもよい。図４のグラフは、透過量が小さい（＝濃い）ほど上に、透過量が大きい（＝薄い）ほど下にプロットされ、数字は何番目のラインであるかを示す。 An example of the second division method is shown in FIG. The screen signal or RAW data is acquired, and the integrated value of the transmission amount is obtained every fixed number of lines or every fixed time. It is determined that there is luggage in the portion where the transmission amount is small (= dark), and it is determined that there is no luggage in the portion where the transmission amount is large (= light), and the image is divided into luggage units. If the judgment is made on one line, it may be erroneously judged due to noise, etc., so if the integrated value of the transmission amount obtained by moving average is below the threshold value, there is luggage, and if it is above the threshold value, there is no luggage. It can also be determined. Further, since a thin portion may be included in the middle of the luggage, the thin portion may be determined as a space between the luggages when a certain amount is continuous. In the graph of FIG. 4, the smaller the transmission amount (= darker), the higher the plot, and the larger the transmission amount (= lighter), the lower the plot, and the number indicates the number of the line.
第３の分割方法は、Ｘ線検査装置の荷物投入口に設置された荷物検知センサを用いる方法である。一般的なＸ線検査装置では、荷物で例えば、光線が遮蔽される位置に遮蔽を検知できるセンサが設置されている。センサが荷物を検知した時刻に、センサが荷物を検知した時点からラインセンサに荷物の先端が到着するまでの時間を加算することで荷物開始点の時刻（撮影開始時刻）が取得できる。また、センサが荷物を検知しなくなった時刻に、センサが荷物を検知しなくなった時点からラインセンサに荷物の終端が到着するまでの時間を加算することで荷物終了点の時刻（撮影終了時刻）が取得できる。荷物開始点の時刻と荷物終了点の時刻を取得することで、入力が画面信号であれば、荷物終了点の時刻の画面と、撮影時間の情報から荷物領域を特定することができる。入力がＲＡＷデータであれば、開始時刻から終了時刻までのＲＡＷデータを１つの荷物のＲＡＷデータとして荷物領域の画像を生成することができる。 The third division method is a method using a baggage detection sensor installed at the baggage inlet of the X-ray inspection device. In a general X-ray inspection device, for example, a sensor capable of detecting shielding is installed at a position where light rays are shielded by luggage. The time of the cargo start point (shooting start time) can be obtained by adding the time from the time when the sensor detects the cargo to the time when the tip of the cargo arrives at the line sensor to the time when the sensor detects the cargo. Also, by adding the time from the time when the sensor stops detecting the luggage to the time when the end of the luggage arrives at the line sensor, the time of the luggage end point (shooting end time) Can be obtained. By acquiring the time of the baggage start point and the time of the baggage end point, if the input is a screen signal, the baggage area can be specified from the screen of the time of the baggage end point and the information of the shooting time. If the input is RAW data, the image of the baggage area can be generated by using the RAW data from the start time to the end time as the RAW data of one baggage.
２方向から撮影できるＸ線検査装置では、上記の分割方法を例えば垂直方向から撮影した画像と水平方向から撮影した画像に適用する。 In an X-ray inspection apparatus capable of photographing from two directions, the above division method is applied to, for example, an image taken from a vertical direction and an image taken from a horizontal direction.
（Ｓ３０２）
次に、キャリブレーションプログラム２１６が、Ｘ線画像取得プログラム２１２で取得した２方向の撮影画像に対して荷物の進行方向に対する位置の対応付けを行う。例えば、Ｘ線画像取得プログラム２１２で２方向の２枚のＸ線画像を取得した場合、撮影方向によって物品の見え方が異なったり、ラインセンサの位置が異なるため、そのままでは、２枚の画像の画素単位の位置関係の対応が明確にならないことが多い。一般に検査員が検査装置の画像を目視して確認する場合や、１枚の画像毎にＡＩによる物品認識を適用する場合は、２枚の画像を画素単位で対応付ける必要はないため、検査員端末に表示される２方向２画面の画像はラインセンサの間隔分ずれて表示されていることもある。そこで、キャリブレーションプログラム２１６を用いて、以下に示す第１のキャリブレーション方法ないし第３のキャリブレーション方法にて２枚の画像の画素間の対応付けを実施する。
(S302)
Next, the
第１のキャリブレーション方法は、ラインセンサ間の時間間隔を用いる方法である。例えば、ＲＡＷデータを用いる方式の場合、２つのラインセンサから入力されるデータには、一定の時間のずれがある。そこで、データの入力時刻をラインセンサ間の時間間隔分調整して、ライン単位で時刻が同期するようにすることで、画素間の対応付けを行う。 The first calibration method is a method using a time interval between line sensors. For example, in the case of a method using RAW data, there is a certain time lag between the data input from the two line sensors. Therefore, the data input time is adjusted by the time interval between the line sensors so that the time is synchronized in line units, so that the pixels are associated with each other.
第２のキャリブレーション方法は、画面信号を入力とし、Ｘ線画像を取得するステップ（Ｓ３０１）において第１の画像分割方法または第２の画像分割方法を用いる場合のキャリブレーション方法である。透過量の大きさ（濃さ）に基づく画像分割方法を用いる場合、２つの方向から撮影した画像は、各々透過量の分布が異なるため、必ずしも同じ位置が開始点、終了点と判定されるとは限らない。また、荷物領域のみを切り出す画像分割方法の場合、荷物の進行方向だけでなく、進行方向と垂直方向に関しても余白すなわち透過量が大きい部分を削除する運用が想定されるため、２つの方向から撮影して荷物単位に切り出した画像は、解像度もアスペクト比も異なる。 The second calibration method is a calibration method when the first image segmentation method or the second image segmentation method is used in the step (S301) of acquiring an X-ray image by inputting a screen signal. When the image segmentation method based on the magnitude (darkness) of the transmission amount is used, the images taken from the two directions have different distributions of the transmission amount, so that the same position is not necessarily determined as the start point and the end point. Is not always. In addition, in the case of the image division method that cuts out only the luggage area, it is assumed that the margin, that is, the portion having a large transmission amount is deleted not only in the traveling direction of the luggage but also in the direction perpendicular to the traveling direction, so that the images are taken from two directions. The images cut out in units of luggage have different resolutions and aspect ratios.
そこで、荷物の進行方向について、２つのラインセンサの時間間隔および２つの画像の撮影開始時刻と撮影終了時刻を用いて対応付けを行う。撮影開始時刻が早いほうの画像に合わせて撮影開始時刻が遅いほうの画像に余白画像を追加し、撮影終了時刻が遅いほうの画像に合わせて撮影終了時刻が早いほうの画像に余白画像を追加する。なお、荷物の進行方向と垂直な方向については、垂直方向と水平方向では荷物のサイズも異なり、画素単位の対応付けが難しいため、画像のサイズが異なっていても構わない。すなわち、キャリブレーションにより調整された画像は、荷物の進行方向については、必ず同じ物品が同じ位置に撮影されていることが保証される。 Therefore, the traveling direction of the luggage is associated with each other by using the time interval of the two line sensors and the shooting start time and the shooting end time of the two images. A margin image is added to the image with the later shooting start time according to the image with the earlier shooting start time, and a margin image is added to the image with the earlier shooting end time according to the image with the later shooting end time. do. As for the direction perpendicular to the traveling direction of the luggage, the size of the luggage is different in the vertical direction and the horizontal direction, and it is difficult to associate the luggage in pixel units. Therefore, the size of the image may be different. That is, the image adjusted by the calibration is guaranteed that the same article is always taken at the same position in the traveling direction of the cargo.
第３のキャリブレーション方法は、第１のキャリブレーション方法または第２のキャリブレーション方法で使用するラインセンサ間の時間間隔を、装置利用開始時に特定のパターンを持つサンプル荷物を撮影することで計測する方法である。このサンプル荷物には、鉛インクなどで作られたＸ線画像で判別可能なパターンなど、撮影したときに位置が特定できるものが含まれている。先に撮影される画像のパターンの撮影時刻と、後から撮影される画像のパターンの撮影時刻との差分でラインセンサ間の時間間隔を計測できる。ラインセンサ間の距離は固定であっても、ベルトコンベアの進む速さに誤差が生じた場合、装置の初期導入時に設定した時間間隔では正確な位置の対応付けが行えない可能性がある。そのため、定期的に第３のキャリブレーション方法を用いて、誤差を修正することで、正確な対応付けが実現できる。 The third calibration method measures the time interval between the line sensors used in the first calibration method or the second calibration method by photographing a sample baggage having a specific pattern at the start of using the device. The method. This sample baggage includes a pattern that can be identified by an X-ray image made of lead ink or the like so that the position can be specified when the image is taken. The time interval between the line sensors can be measured by the difference between the shooting time of the pattern of the image shot earlier and the shooting time of the pattern of the image shot later. Even if the distance between the line sensors is fixed, if there is an error in the traveling speed of the belt conveyor, it may not be possible to accurately map the positions at the time interval set at the time of initial introduction of the device. Therefore, accurate correspondence can be realized by correcting the error by periodically using the third calibration method.
キャリブレーションを実施することによって、２つの方向から撮影した２枚の画像を荷物の進行方向について位置を合わせて表示することができる。また、２つの方向から撮影した２枚の画像をＡＩを用いて総合的に認識することができる。 By performing calibration, two images taken from two directions can be displayed in alignment with each other in the traveling direction of the luggage. In addition, two images taken from two directions can be comprehensively recognized using AI.
なお、取得したＸ線画像データは、次の物品認識をするステップＳ３０３や検査員が過去の画像データを参照する際に使われるため、Ｘ線画像データ２１８に登録される。
The acquired X-ray image data is registered in the
（Ｓ３０３）
次に、物品認識プログラム２１３が、ステップＳ３０２で取得した２方向の２枚の画像をＸ線画像データ２１８から取得し、学習モデル２１９および深層学習のセグメンテーション処理を用いて画素単位で物品を認識する。ここで、物品の認識には、ＯＳＳ（オープンソースソフトウェア）のライブラリとして広く知られている「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｉｎｓｔａｎｃｅ－ａｗａｒｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」や「Ｍａｓｋ Ｒ－ＣＮＮ」などのライブラリを用いることができる。なお、画素単位で物品が特定できれば、認識の方式は問わない。
(S303)
Next, the
ここで、２方向の２枚の画像があるため、物品の認識は、第１の方向から撮影した画像と、第２の方向から撮影した画像の２つの画像に対して行う。例えば、第１の方向でスマートフォンの正面が撮影された場合、第２の方向ではスマートフォンの側面が撮影されることとなる。スマートフォンの場合、正面が撮影された画像は、スマートフォンであることを判別しやすいが、側面が撮影された画像は、スマートフォンであることを判別しにくい。また、撮影した方向に物品の重なりがある場合も、物品を判別しにくい。このように、一方の画像にしか認識結果が得られないことがあるため、撮影した２枚の画像の認識結果は異なることが多い。 Here, since there are two images in two directions, the recognition of the article is performed on two images, an image taken from the first direction and an image taken from the second direction. For example, when the front surface of the smartphone is photographed in the first direction, the side surface of the smartphone is photographed in the second direction. In the case of a smartphone, it is easy to determine that the image taken from the front is a smartphone, but it is difficult to determine that the image taken from the side is a smartphone. In addition, it is difficult to distinguish the articles even if the articles overlap in the shooting direction. As described above, since the recognition result may be obtained only for one image, the recognition results of the two captured images are often different.
なお、物品の認識をするときに、正面のモデルと側面のモデルを別のモデルとして学習したモデルを用いることで、物品の正面に近いものか、側面に近いものかを認識時に同時に判別することができる。ここで、正面と側面の中間にあたる角度からの撮影である場合は、物品の正面と側面のうち、より近いほうを選ぶとよい。また、正面と側面を一緒にした学習モデルを用いて認識した結果に対して、物品の面積や事前に用意した正面と側面の見本画像とのテンプレートマッチングによる類似度合など、他の方法を用いて正面か側面かを判別しても構わない。すなわち、認識時にスマートフォン（正面）やスマートフォン（側面）といったように判別しても、正面と側面を一緒にした学習モデルを用いて認識した結果に対して、正面か側面かを判別しても構わない。 When recognizing an article, by using a model learned from the front model and the side model as separate models, it is possible to simultaneously determine whether the article is close to the front or the side. Can be done. Here, when shooting from an angle between the front and the side, it is better to select the closer one from the front and the side of the article. In addition, other methods such as the area of the article and the degree of similarity between the front and side sample images prepared in advance by template matching are used for the results recognized using the learning model that combines the front and side surfaces. You may distinguish between the front and the side. That is, it may be discriminated as a smartphone (front) or a smartphone (side) at the time of recognition, or it may be discriminated whether it is the front or the side with respect to the recognition result using the learning model in which the front and the side are combined. do not have.
なお、本実施例の説明では、説明をわかりやすくするため、２方向で説明をしているが、物品によっては、３方向以上からの撮影で各々異なる見え方をする物品もある。３方向以上で異なる見え方をする場合は、２方向以外の方向を追加してもよい。 In the explanation of this embodiment, the explanation is given in two directions in order to make the explanation easy to understand, but some articles have different appearances when photographed from three or more directions. If the appearance is different in three or more directions, directions other than the two directions may be added.
また、学習モデル２１９にカラー画像で学習した学習モデルと、グレースケール画像で学習した学習モデルを用意しておき、物品の重なりが大きい場合、すなわち画像の濃い部分の面積が閾値よりも大きい場合などには、グレースケール画像で学習した学習モデルを使って認識をすることもできる。これにより、物品の重なりによる材質の種類を示す色の変化の影響を避けることができる。
Further, a learning model learned with a color image and a learning model learned with a gray scale image are prepared in the
（Ｓ３０４）
次に、認識結果統合プログラム２１４が、物品を認識するステップＳ３０３で取得した２方向の認識結果に対して、認識結果をマージまたは選択する統合処理を以下に示す第１の統合方法ないし第３の統合方法にて行う。物品認識をするステップでは、物品の認識結果と一緒に認識結果の信頼度が得られる。すなわち、２つの方向の画像のそれぞれに対して、物品の正面の学習モデルと物品の側面の学習モデルを用いて認識を試みた場合の、それぞれの認識結果と認識結果の信頼度が得られる。得られた認識結果と認識結果の信頼度を用いて統合処理が行われる。
(S304)
Next, the first integration method or the third integration process is described below in which the recognition
第１の統合方法は、２つの方向の画像の進行方向に対して同じ位置に物品の正面と物品の側面を認識できる場合に、物品を特定する統合方法である。２つの方向の一方で物品の正面を認識でき、他方で物品の側面を認識できる場合にのみ、物品を認識することとすれば、過剰検知（禁止物品でないものを禁止物品と判定すること）を抑止することができる。また、検出漏れを抑止するためには、それぞれの方向の認識結果を採用する信頼度の閾値を低くすればよい。このようにしても、２つの方向での認識に基づいて判断しているため、過剰検知は抑止することができる。このため、検出漏れを抑止しつつ、過剰検知も抑止できるという効果がある。すなわち、２方向撮影のＸ線検査装置では、一般的に１方向毎に物品認識が行われるが、本統合方法を用いることにより、物品の３Ｄ形状を考慮した認識ができる。 The first integration method is an integration method for identifying an article when the front surface of the article and the side surface of the article can be recognized at the same position with respect to the traveling direction of the image in two directions. If the article is recognized only when the front of the article can be recognized in one of the two directions and the side surface of the article can be recognized in the other, over-detection (determining that a non-prohibited article is a prohibited article) is performed. It can be deterred. Further, in order to suppress detection omission, it is sufficient to lower the threshold value of the reliability of adopting the recognition result in each direction. Even in this way, since the judgment is made based on the recognition in two directions, over-detection can be suppressed. Therefore, there is an effect that over-detection can be suppressed while suppressing detection omission. That is, in an X-ray inspection device for two-way imaging, article recognition is generally performed in each direction, but by using this integrated method, recognition can be made in consideration of the 3D shape of the article.
なお、いずれかの方向の画像に、鉛などのＸ線遮蔽物など、透過量が小さい部分の割合が閾値以上ある場合は、その画像には物品が写っていないと判断する。そして、もう１つの方向の信頼度の閾値を高めて、もう１つの方向からの認識結果を採用する。したがって、２つの方向の両方で物品が写っている場合には、２つの方向の認識結果を統合し、どちらかの方向にＸ線を遮蔽する物品などで物品が写っていない場合には、もう１つの方向の認識結果を採用する。 If the ratio of a portion having a small transmission amount such as an X-ray shield such as lead is equal to or more than the threshold value in the image in either direction, it is determined that the image does not show the article. Then, the threshold value of the reliability in the other direction is increased, and the recognition result from the other direction is adopted. Therefore, if the article is shown in both directions, the recognition results in the two directions are integrated, and if the article is not shown in an article that shields X-rays in either direction, it is already. Adopt the recognition result in one direction.
第２の統合方法は、いずれかの方向の画像に物品の正面と物品の側面のいずれかが認識できる場合に、物品を特定する統合方法である。第１の統合方法のように、２つの方向の一方で物品の正面を認識でき、他方で物品の側面を認識できる場合にのみ、物品を認識するものではないため、第１の統合方法よりも過剰検知が多くなるが、禁止物品の検出漏れを防ぐことができる。例えば、図５に例を示すように、正面が写っている方向の画像ではスマートフォンと識別できるが、側面が写っている方向の画像ではスマートフォンと識別できない場合でも、スマートフォンとして認識する。そして、側面が写っている方向の画像にも、正面が写っている方向の画像と進行方向に対する同じ位置に、スマートフォンがあるという認識結果を追加する。荷物の進行方向と垂直な方向については、正確な対応付けが難しいことから、物品がある可能性がある範囲を示す。これにより、検査員が見たときに側面の画像に関しても見落としを抑止することができるという効果がある。 The second integration method is an integration method for identifying an article when either the front surface of the article or the side surface of the article can be recognized in the image in either direction. Compared to the first integration method, the article is not recognized only when the front of the article can be recognized in one of the two directions and the side surface of the article can be recognized in the other, as in the first integration method. Over-detection increases, but it is possible to prevent omission of detection of prohibited articles. For example, as shown in FIG. 5, an image in the direction in which the front is shown can be identified as a smartphone, but an image in the direction in which the side is shown cannot be identified as a smartphone, but is recognized as a smartphone. Then, the recognition result that the smartphone is at the same position as the image in the direction in which the front is shown and the traveling direction is added to the image in the direction in which the side surface is shown is added. As for the direction perpendicular to the traveling direction of the luggage, it is difficult to make an accurate correspondence, so the range in which the article may be present is shown. This has the effect of preventing the inspector from overlooking the side image when viewed.
第３の統合方法は、２つの方向の画像のうち、禁止物品が正面に近い状態で写っている方向の画像を選択する方法である。すなわち、２つの方向の画像のうち、物品の正面についての認識結果の信頼度が大きいほうの画像を選択する。検査員が確認するモニタが１台の場合には、表示する画像を選択しなければならない。その場合は、禁止物がより鮮明に写っている画像を提示することが好ましい。そのため、禁止物品がより多く写っている画像または禁止物品の正面が写っている画像を選択する。禁止物品の数と正面のどちらを優先して選択するかは、運用条件に依存するため、事前に設定できるようにする。これにより、検査員が確認するモニタが１台であっても、可能な限り禁止物品を確認できるという効果がある。なお、第２の統合方法と組み合わせ、選択しなかった画像のみで認識されている禁止物品がある場合、選択した画像に、禁止物品が含まれる可能性がある領域を図５の破線のように追加しても構わない。 The third integration method is a method of selecting an image in the direction in which the prohibited article is shown close to the front from the images in the two directions. That is, the image having the higher reliability of the recognition result for the front surface of the article is selected from the images in the two directions. If there is only one monitor to be checked by the inspector, the image to be displayed must be selected. In that case, it is preferable to present an image in which the prohibited object is clearly shown. Therefore, an image showing more prohibited articles or an image showing the front of the prohibited articles is selected. Whether to prioritize the selection of the number of prohibited items or the front depends on the operating conditions, so it will be possible to set in advance. This has the effect that even if the inspector confirms only one monitor, the prohibited items can be confirmed as much as possible. In addition, in combination with the second integration method, when there is a prohibited article recognized only in the image not selected, the area where the prohibited article may be included in the selected image is shown by the broken line in FIG. You may add it.
なお、第１の統合方法ないし第３の統合方法は、複数の統合方法を組み合わせて使用しても、単独で使用しても、第１の統合方法ないし第３の統合方法以外と組み合わせて使用しても構わない。 The first integration method or the third integration method may be used in combination with a plurality of integration methods or alone, or may be used in combination with other than the first integration method or the third integration method. It doesn't matter.
（Ｓ３０５）
次に、画面生成プログラム２１５が、ステップＳ３０４の認識結果統合の結果の中に禁止物品が含まれている場合は、該当の部分をハイライト表示した画像を表示部１０３に表示する。なお、禁止物品が含まれない場合には、撮影した画像をそのまま表示すればよい。
(S305)
Next, when the screen generation program 215 includes the prohibited article in the result of the recognition result integration in step S304, the screen generation program 215 displays an image in which the corresponding portion is highlighted on the
ステップＳ３０５では、ステップＳ３０４の認識結果統合の結果を用いて、以下に示す第１の画面生成方法ないし第３の画面生成方法にて画面の表示データを生成し、画面表示を行う。 In step S305, the screen display data is generated by the first screen generation method or the third screen generation method shown below using the result of the recognition result integration in step S304, and the screen is displayed.
第１の画面生成方法は、図６に例を示すように、禁止物品の正面が写っている方向の画像を選んで表示する画面生成方法である。複数の物品が含まれている場合には、禁止物品としての優先度、禁止物品が認識された数など、事前に決められた条件で優先すべき方向の画像を選択して表示する。一般的に、１つの画面でＡＩによる認識結果を確認する場合、複数の画像を表示するよりも１つの画像を表示するほうが検査員の目視負荷を低減できる。このことから、検査の観点で確認すべき画像を表示し、その画像で認識されていない物品に関しては、ステップＳ３０４の認識結果統合の第２の統合方法を用いて、確認する画像に禁止物品が含まれる可能性がある領域が確実に表示されるようにすればよい。 The first screen generation method is a screen generation method of selecting and displaying an image in the direction in which the front of the prohibited article is shown, as shown in FIG. 6 as an example. When a plurality of articles are included, an image in a direction to be prioritized is selected and displayed under predetermined conditions such as priority as prohibited articles and the number of recognized prohibited articles. Generally, when confirming the recognition result by AI on one screen, it is possible to reduce the visual load of the inspector by displaying one image rather than displaying a plurality of images. From this, the image to be confirmed from the viewpoint of inspection is displayed, and for the article not recognized by the image, the prohibited article is included in the image to be confirmed by using the second integration method of the recognition result integration in step S304. You just need to make sure that the areas that may be included are displayed.
第２の画面生成方法は、図７に示すように、２つの方向で撮影した画像を、１画面１方向となるように、２つの画面に表示する画面生成方法である。表示する２画面の２画像は、ステップＳ３０４の認識結果統合の第２の統合方法を用いて、一方の画面にのみアラートが表示される物品が生じないようにすることが望ましい。これにより、検査員が一方の画面のみを確認して、もう一方の画面の確認を失念することによる検査漏れを抑止することができる。 As shown in FIG. 7, the second screen generation method is a screen generation method in which images taken in two directions are displayed on two screens so as to be in one direction on one screen. For the two images on the two screens to be displayed, it is desirable to use the second integration method of recognition result integration in step S304 so that no article for which an alert is displayed is generated on only one screen. As a result, it is possible to prevent an inspector from checking only one screen and forgetting to check the other screen, thereby suppressing an inspection omission.
第３の画面生成方法は、図８に示すように、１つの画面の上下または左右に、ステップＳ３０２のキャリブレーションで位置合わせをした２枚の画像を認識結果と共に表示する方法である。荷物の進行方向に関しては位置が揃っている画像で検査員が禁止物品の有無を確認できるので、２つの方向の認識結果を総合して検査員が禁止物品を判断または特定することができる。 As shown in FIG. 8, the third screen generation method is a method of displaying two images aligned by the calibration in step S302 together with the recognition result on the top, bottom, left and right of one screen. As for the traveling direction of the luggage, the inspector can confirm the presence or absence of the prohibited article by the image in which the positions are aligned, so that the inspector can judge or specify the prohibited article by integrating the recognition results in the two directions.
なお、第１の画面表示方法ないし第３の画面生成方法による画面は、装置本体１０１が出力する標準画面とは別に提供されても、標準画面の代わりとして提供されても構わない。また、Ｘ線画像の表示方法は、標準的な画面で用いられている荷物の撮影と同期して画面がスクロールしていく方法でも、荷物毎に画像が切り替わる方法を用いても構わない。また、物品の正面と物品の側面の両方が認識できているので、禁止物の確度が高いと判断したり、物品の正面と物品の側面の一方しか認識できていないので、禁止物品でないかもしれないが、念のために確認したほうがよいと判断したりといった認識結果に応じて、アラートの仕方を色や音などで変更することもできる。
The screen by the first screen display method or the third screen generation method may be provided separately from the standard screen output by the apparatus
なお、別の表示方法として、禁止物品がはっきりと写っている方向は見せないことで、検査員の緊張感を高めておき、その画像を問題なしと誤って判断した場合にはアラートとともに禁止物品がはっきりと写っている画像を提示することで、検査員の訓練に用いることもできる。 As another display method, the direction in which the prohibited item is clearly shown is not shown to increase the tension of the inspector, and if the image is mistakenly judged to be no problem, the prohibited item is accompanied by an alert. It can also be used for inspector training by presenting an image that clearly shows.
また、１方向のみで禁止物品として判定された場合には、方向を変更して再撮影することを検査員に促す情報を画面または音声などで出力することができる。そして、再度撮影した２方向の画像を最初に撮影した２つの方向の画像に加えた４方向の画像で判別し、少なくとも２方向の画像で物品の異なる面が認識された場合に、禁止物品と特定することができる。 Further, when it is determined that the article is prohibited in only one direction, information prompting the inspector to change the direction and take a picture again can be output on the screen or by voice. Then, the image in two directions taken again is discriminated by the image in four directions added to the image in the two directions taken first, and when different surfaces of the article are recognized in the image in at least two directions, it is regarded as a prohibited article. Can be identified.
（Ｓ３０６）
次に、検査が終了すなわち撮影が終了した場合には、撮影したＸ線画像を認識して検査員に提示するステップＳ３０１ないしステップＳ３０５の処理を終了し、検査が継続している場合には、ステップＳ３０１ないしステップＳ３０５の処理を継続する。
(S306)
Next, when the inspection is completed, that is, when the imaging is completed, the processing of steps S301 to S305 which recognizes the captured X-ray image and presents it to the inspector is terminated, and when the inspection is continued, the inspection is continued. The process of step S301 to step S305 is continued.
（Ｓ３０７）
次に、運用中に蓄積されたＸ線画像を使用して、学習モデルを生成または更新するかどうかの指示を入力Ｉ／Ｆに接続されたマウスやキーボードなどから受け、生成や更新をしない場合には全体の処理を終了する。
(S307)
Next, when the X-ray image accumulated during operation is used to receive an instruction as to whether to generate or update the learning model from the mouse or keyboard connected to the input I / F, and the learning model is not generated or updated. Ends the entire process.
（Ｓ３０８）
次に、物品学習プログラム２１７で、Ｘ線画像データ２１８を読出し、物品の学習を行い生成した学習モデルを、学習モデル２１９に登録する。
(S308)
Next, the
物品の学習は、物品の認識をするステップと同様に、ＯＳＳ（オープンソースソフトウェア）のライブラリとして広く知られている「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｉｎｓｔａｎｃｅ－ａｗａｒｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」や「Ｍａｓｋ Ｒ－ＣＮＮ」などのライブラリを用いることができる。 Similar to the step of recognizing an article, the learning of an article uses a library such as "Full Convolutional Instance-aware Semantic Segmentation" or "Mask R-CNN" which is widely known as an OSS (open source software) library. be able to.
なお、物品の学習をする前には、物品の輪郭情報と物品を識別するための正解情報が必要となるが、本実施例では、正解付けの方法は限定しない。人手で物品の領域を囲み、物品名を選択するなど汎用の方法を用いればよい。 Before learning the article, contour information of the article and correct answer information for identifying the article are required, but in this embodiment, the method of correct answer is not limited. A general-purpose method such as manually enclosing the area of the article and selecting the article name may be used.
なお、ステップＳ３０３で認識された結果を物品の候補領域として提示し、人手による正解付けの作業を効率化することも可能である。例えば、１つの方向しか物品が判別できなかった場合に、もう一方の同じ物品が写っている可能性がある箇所を、正解付けをする作業者に提示することで、正解付けの漏れを防止することができる。学習した学習モデルは、学習モデル２１９に登録し、処理を終了する。
It is also possible to present the result recognized in step S303 as a candidate area for an article to improve the efficiency of manual correct answering work. For example, when an article can be identified in only one direction, the omission of the correct answer can be prevented by presenting to the worker who gives the correct answer the place where the same article in the other direction may be shown. be able to. The learned learning model is registered in the
本実施例によれば、２つの方向で撮影した画像の認識結果を統合することで、物品の認識精度を向上しつつ、検査員に表示する画像は物品が見やすい方向の画像を提示することができるので、検査漏れを抑止しつつ、検査効率を向上できるという効果がある。また、１画面の表示であっても、必要な情報を統合して表示できるので、表示部の設置スペースの削減や装置台数の削減といった効果がある。 According to this embodiment, by integrating the recognition results of the images taken in the two directions, the recognition accuracy of the article can be improved, and the image displayed to the inspector can be presented in the direction in which the article is easy to see. This has the effect of improving inspection efficiency while suppressing inspection omissions. Further, even if the display is on one screen, the necessary information can be integrated and displayed, which has the effects of reducing the installation space of the display unit and the number of devices.
なお、本実施例では、主に２つの方向で撮影する例を示したが、複数の方向で撮影するものであればよい。
また、本実施例では、Ｘ線を用いて物品を撮影する例を示したが、物品を透過して撮影できる電磁波であれば、例えば、テラヘルツ波など他の電磁波を用いても構わない。
例えば、Ｘ線を電磁波に変えた次のような構成でも、複数の方向からの撮影が可能な電磁波検査装置において、禁止物品の認識精度を向上させることができる電磁波画像処理装置および電磁波画像処理方法を提供することができるという同様の効果を奏する。
物品を複数の方向から撮影した複数の電磁波画像を取得する電磁波画像取得部と、複数の電磁波画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、複数の電磁波画像に対する認識結果を統合する認識結果統合部と、統合された認識結果をもとに、画面情報を生成する画面生成部と、有する電磁波画像処理装置。
電磁波画像処理装置における電磁波画像処理方法であって、物品を複数の方向から撮影した複数の電磁波画像を取得する電磁波画像取得ステップと、複数の電磁波画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識ステップと、複数の電磁波画像に対する認識結果を統合する認識結果統合ステップと、統合された認識結果をもとに、画面情報を生成する画面生成ステップと、を有する電磁波画像処理方法。
また、本実施例では、Ｘ線装置本体１０１と、Ｘ線画像処理装置１０２とが別体である例を示したが、Ｘ線画像処理装置は、Ｘ線装置本体に内蔵されてもよい。
In this embodiment, an example of shooting mainly in two directions is shown, but it may be shot in a plurality of directions.
Further, in this embodiment, an example in which an article is photographed using X-rays is shown, but other electromagnetic waves such as terahertz waves may be used as long as the electromagnetic waves can be photographed through the article.
For example, an electromagnetic wave image processing device and an electromagnetic wave image processing method that can improve the recognition accuracy of prohibited articles in an electromagnetic wave inspection device capable of taking pictures from a plurality of directions even with the following configuration in which X-rays are converted into electromagnetic waves. Has the same effect of being able to provide.
An article recognition that recognizes an article by using an electromagnetic wave image acquisition unit that acquires a plurality of electromagnetic wave images obtained by photographing an article from a plurality of directions and a learning model that learns the first surface of the article for a plurality of electromagnetic wave images. An electromagnetic wave image processing device having a unit, a recognition result integration unit that integrates recognition results for a plurality of electromagnetic wave images, a screen generation unit that generates screen information based on the integrated recognition results, and an electromagnetic wave image processing unit.
It is an electromagnetic wave image processing method in an electromagnetic wave image processing device, and learns an electromagnetic wave image acquisition step of acquiring a plurality of electromagnetic wave images obtained by photographing an article from a plurality of directions, and a first surface of the article for a plurality of electromagnetic wave images. An article recognition step that recognizes an article, a recognition result integration step that integrates recognition results for a plurality of electromagnetic wave images, and a screen generation step that generates screen information based on the integrated recognition results. And, an electromagnetic wave image processing method having.
Further, in this embodiment, an example in which the X-ray device
また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Further, the present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to add / delete / replace a part of the configuration of the embodiment with another configuration.
１００：Ｘ線検査装置
１０１：装置本体
１０２：Ｘ線画像処理装置
１０３：表示部
１０４：入力部
２０１：ＣＰＵ
２０２：主メモリ
２０５：通信部
２１０：記憶部
２１１：ＯＳ
２１２：Ｘ線画像取得プログラム
２１３：物品認識プログラム
２１４：認識結果統合プログラム
２１５：画面生成プログラム
２１６：キャリブレーションプログラム
２１７：物品学習プログラム
２１８：Ｘ線画像データ
２１９：学習モデル
100: X-ray inspection device 101: Device main body 102: X-ray image processing device 103: Display unit 104: Input unit 201: CPU
202: Main memory 205: Communication unit 210: Storage unit 211: OS
212: X-ray image acquisition program 213: Article recognition program 214: Recognition result integration program 215: Screen generation program 216: Calibration program 217: Article learning program 218: X-ray image data 219: Learning model
Claims (14)
前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、
前記複数のＸ線画像に対する認識結果を統合する認識結果統合部と、
統合された認識結果をもとに、画面情報を生成する画面生成部と、
を有するＸ線画像処理装置。 An X-ray image acquisition unit that acquires multiple X-ray images of an article taken from multiple directions,
An article recognition unit that recognizes an article by using a learning model that learns the first surface of the article for the plurality of X-ray images.
The recognition result integration unit that integrates the recognition results for the plurality of X-ray images,
A screen generator that generates screen information based on the integrated recognition results,
X-ray image processing apparatus.
前記物品認識部は、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識する、
Ｘ線画像処理装置。 The X-ray image processing apparatus according to claim 1.
The article recognition unit recognizes an article by using a learning model that learns the first surface of the article and a learning model that learns a second surface different from the first surface of the article.
X-ray image processing device.
前記認識結果統合部は、前記複数のＸ線画像から、前記物品の第１の面についての認識結果の信頼度が最も大きいＸ線画像を選択する、
Ｘ線画像処理装置。 The X-ray image processing apparatus according to claim 1 or 2.
The recognition result integration unit selects from the plurality of X-ray images the X-ray image having the highest reliability of the recognition result for the first surface of the article.
X-ray image processing device.
前記認識結果統合部は、前記複数のＸ線画像の１つに、前記物品の第１の面を認識でき、前記複数のＸ線画像の他の１つに、前記物品の第２の面を認識できる場合に、前記物品を認識する、
Ｘ線画像処理装置。 The X-ray image processing apparatus according to claim 1 or 2.
The recognition result integration unit can recognize the first surface of the article on one of the plurality of X-ray images, and the second surface of the article on the other one of the plurality of X-ray images. Recognize the article if it can be recognized,
X-ray image processing device.
前記認識結果統合部は、前記複数のＸ線画像の１つに、前記物品の第１の面または前記物品の第２の面を認識できる場合に、前記物品を認識する、
Ｘ線画像処理装置。 The X-ray image processing apparatus according to claim 1 or 2.
The recognition result integration unit recognizes the article when the first surface of the article or the second surface of the article can be recognized in one of the plurality of X-ray images.
X-ray image processing device.
前記画面生成部は、前記複数のＸ線画像のうち、一部のＸ線画像に対してのみ危険物が認識されている場合、残りのＸ線画像の前記危険物に対応する部分に、危険物が含まれる可能性がある領域を示す表示を追加する、
Ｘ線画像処理装置。 The X-ray image processing apparatus according to any one of claims 1 to 5.
When the dangerous substance is recognized only for a part of the X-ray images among the plurality of X-ray images, the screen generation unit may be dangerous to the portion of the remaining X-ray images corresponding to the dangerous substance. Add a display showing areas that may contain objects,
X-ray image processing device.
前記複数のＸ線画像のサイズまたは表示位置を調整するキャリブレーション部を有する、
Ｘ線画像処理装置。 The X-ray image processing apparatus according to any one of claims 1 to 6.
It has a calibration unit for adjusting the size or display position of the plurality of X-ray images.
X-ray image processing device.
物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得ステップと、
前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識ステップと、
前記複数のＸ線画像に対する認識結果を統合する認識結果統合ステップと、
統合された認識結果をもとに、画面情報を生成する画面生成ステップと、
を有するＸ線画像処理方法。 It is an X-ray image processing method in an X-ray image processing apparatus.
An X-ray image acquisition step to acquire multiple X-ray images of an article taken from multiple directions,
An article recognition step for recognizing an article by using a learning model in which the first surface of the article is learned for the plurality of X-ray images.
The recognition result integration step for integrating the recognition results for the plurality of X-ray images,
A screen generation step that generates screen information based on the integrated recognition result,
X-ray image processing method having.
前記物品認識ステップは、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識する、
Ｘ線画像処理方法。 The X-ray image processing method according to claim 8.
The article recognition step recognizes an article by using a learning model that learns a first surface of the article and a learning model that learns a second surface different from the first surface of the article.
X-ray image processing method.
前記認識結果統合ステップは、前記複数のＸ線画像から、前記物品の第１の面についての認識結果の信頼度が最も大きいＸ線画像を選択する、
Ｘ線画像処理方法。 The X-ray image processing method according to claim 8 or 9.
The recognition result integration step selects from the plurality of X-ray images the X-ray image having the highest reliability of the recognition result for the first surface of the article.
X-ray image processing method.
前記認識結果統合ステップは、前記複数のＸ線画像の１つに、前記物品の第１の面を認識でき、前記複数のＸ線画像の他の１つに、前記物品の第２の面を認識できる場合に、前記物品を認識する、
Ｘ線画像処理方法。 The X-ray image processing method according to claim 8 or 9.
In the recognition result integration step, the first surface of the article can be recognized in one of the plurality of X-ray images, and the second surface of the article can be recognized in the other one of the plurality of X-ray images. Recognize the article if it can be recognized,
X-ray image processing method.
前記認識結果統合ステップは、前記複数のＸ線画像の１つに、前記物品の第１の面または前記物品の第２の面を認識できる場合に、前記物品を認識する、
Ｘ線画像処理方法。 The X-ray image processing method according to claim 8 or 9.
The recognition result integration step recognizes the article if one of the plurality of X-ray images can recognize the first surface of the article or the second surface of the article.
X-ray image processing method.
前記画面生成ステップは、前記複数のＸ線画像のうち、一部のＸ線画像に対してのみ危険物が認識されている場合、残りのＸ線画像の前記危険物に対応する部分に、危険物が含まれる可能性がある領域を示す表示を追加する、
Ｘ線画像処理方法。 The X-ray image processing method according to any one of claims 8 to 12.
In the screen generation step, when a dangerous substance is recognized only for a part of the X-ray images among the plurality of X-ray images, the portion of the remaining X-ray images corresponding to the dangerous substance is dangerous. Add a display showing areas that may contain objects,
X-ray image processing method.
前記複数のＸ線画像のサイズまたは表示位置を調整するキャリブレーションステップを有する、
Ｘ線画像処理方法。 The X-ray image processing method according to any one of claims 8 to 13.
It has a calibration step for adjusting the size or display position of the plurality of X-ray images.
X-ray image processing method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020115632A JP7422023B2 (en) | 2020-07-03 | 2020-07-03 | X-ray image processing device and X-ray image processing method |
| CN202110137234.0A CN113960687A (en) | 2020-07-03 | 2021-02-01 | X-ray image processing device and X-ray image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020115632A JP7422023B2 (en) | 2020-07-03 | 2020-07-03 | X-ray image processing device and X-ray image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022013217A true JP2022013217A (en) | 2022-01-18 |
| JP7422023B2 JP7422023B2 (en) | 2024-01-25 |
Family
ID=79459397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020115632A Active JP7422023B2 (en) | 2020-07-03 | 2020-07-03 | X-ray image processing device and X-ray image processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7422023B2 (en) |
| CN (1) | CN113960687A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455956A (en) * | 2023-12-22 | 2024-01-26 | 天津众合智控科技有限公司 | AI technology-based man-package association tracking method and system |
| JP7517747B1 (en) | 2023-05-24 | 2024-07-17 | 株式会社桑原 | Foreign object detection device and foreign object detection system for clothing and miscellaneous goods |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05133909A (en) * | 1991-11-15 | 1993-05-28 | Toshiba Corp | Scattered radiation inspecting apparatus |
| EP0579848B1 (en) * | 1992-07-20 | 1995-10-04 | Heimann Systems GmbH | Testing system for objects |
| JP3435648B2 (en) * | 1997-03-25 | 2003-08-11 | 株式会社日立メディコ | X-ray inspection equipment |
| US20050058242A1 (en) | 2003-09-15 | 2005-03-17 | Peschmann Kristian R. | Methods and systems for the rapid detection of concealed objects |
| US8137976B2 (en) | 2006-07-12 | 2012-03-20 | Varian Medical Systems, Inc. | Dual angle radiation scanning of objects |
| CN101387610B (en) * | 2008-10-14 | 2011-02-09 | 重庆大学 | Safety inspection method utilizing double source double energy straight-line type safety inspection CT apparatus |
| CN101509880A (en) * | 2009-03-25 | 2009-08-19 | 公安部第一研究所 | Safety check system of manifold effect detection fusing technology applying X ray |
| CN104345350A (en) * | 2013-07-23 | 2015-02-11 | 清华大学 | Human body safety check method and human body safety check system |
| CN104165896B (en) * | 2014-08-18 | 2017-03-22 | 公安部第一研究所 | Liquid goods safety inspection method and device |
| CN110286414A (en) | 2014-12-17 | 2019-09-27 | 同方威视技术股份有限公司 | Pulling type multi-angle of view commodity inspection system and its application method |
| CN108303747B (en) * | 2017-01-12 | 2023-03-07 | 清华大学 | Inspection apparatus and method of detecting a gun |
| EP4372698A2 (en) | 2017-05-22 | 2024-05-22 | Leidos Security Detection & Automation, Inc. | Systems and methods for image processing |
| CN107871122A (en) * | 2017-11-14 | 2018-04-03 | 深圳码隆科技有限公司 | Safety check detection method, device, system and electronic equipment |
| CN108875805A (en) * | 2018-05-31 | 2018-11-23 | 北京迈格斯智能科技有限公司 | The method for improving detection accuracy using detection identification integration based on deep learning |
| CN108802840B (en) * | 2018-05-31 | 2020-01-24 | 北京迈格斯智能科技有限公司 | Method and device for automatically identifying object based on artificial intelligence deep learning |
| CN208902891U (en) * | 2018-11-02 | 2019-05-24 | 北京中集博源机电设备有限公司 | A kind of adaptive logistics delivery line double-visual angle intelligence safety check apparatus |
| CN110133739B (en) * | 2019-04-04 | 2021-07-27 | 南京全设智能科技有限公司 | X-ray security check equipment and automatic image recognizing method thereof |
| CN110133740A (en) * | 2019-04-29 | 2019-08-16 | 公安部第一研究所 | A kind of double-visual angle intelligence X-ray rays safety detection apparatus |
| CN110850493A (en) * | 2019-10-24 | 2020-02-28 | 武汉艾崴科技有限公司 | Linear array high-speed security inspection machine for visual image judgment of scanning imaging machine |
-
2020
- 2020-07-03 JP JP2020115632A patent/JP7422023B2/en active Active
-
2021
- 2021-02-01 CN CN202110137234.0A patent/CN113960687A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7517747B1 (en) | 2023-05-24 | 2024-07-17 | 株式会社桑原 | Foreign object detection device and foreign object detection system for clothing and miscellaneous goods |
| CN117455956A (en) * | 2023-12-22 | 2024-01-26 | 天津众合智控科技有限公司 | AI technology-based man-package association tracking method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7422023B2 (en) | 2024-01-25 |
| CN113960687A (en) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11287391B2 (en) | Systems and methods for detecting threats and contraband in cargo | |
| EP3349050B1 (en) | Inspection devices and methods for detecting a firearm | |
| Rogers et al. | Automated x-ray image analysis for cargo security: Critical review and future promise | |
| CN106485268B (en) | Image identification method and device | |
| US9552521B2 (en) | Human body security inspection method and system | |
| US20050199782A1 (en) | Cargo sensing system | |
| US10436932B2 (en) | Inspection systems for quarantine and methods thereof | |
| EP3772722B1 (en) | X-ray image processing system and method, and program therefor | |
| CN109978892B (en) | Intelligent security inspection method based on terahertz imaging | |
| US20170103513A1 (en) | Detection of items in an object | |
| US8204291B2 (en) | Method and system for identifying defects in a radiographic image of a scanned object | |
| JP2022013217A (en) | X-ray image processing system and x-ray image processing method | |
| CN113508388A (en) | Classifier using data generation | |
| JP7295568B2 (en) | Inspection device and program | |
| JP2020153975A (en) | Processing system | |
| JP6574402B2 (en) | Image inspection apparatus, image inspection method, and image inspection program | |
| CN114170318A (en) | Image processing method, apparatus, system, medium, and electronic device | |
| KR20210115695A (en) | Method for identifying cargo based on deep-learning and apparatus performing the same | |
| KR20200087331A (en) | Apparatus and method for inspecting steel products | |
| CN112730468B (en) | Article detection device and method for detecting article | |
| CN212180649U (en) | Paste appearance defect detection equipment | |
| US20230394779A1 (en) | Method and apparatus for detecting cargo in container image using container wall background removal | |
| WO2024043190A1 (en) | Inspection device, inspection system, and inspection method | |
| US20230016147A1 (en) | System and method for training an artificial intelligence (ai) classifier of scanned items | |
| KR100939600B1 (en) | Product-quality inspection system and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7422023 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |