JP2024008068A - X-ray image processing system and X-ray image processing method - Google Patents
X-ray image processing system and X-ray image processing method Download PDFInfo
- Publication number
- JP2024008068A JP2024008068A JP2022109600A JP2022109600A JP2024008068A JP 2024008068 A JP2024008068 A JP 2024008068A JP 2022109600 A JP2022109600 A JP 2022109600A JP 2022109600 A JP2022109600 A JP 2022109600A JP 2024008068 A JP2024008068 A JP 2024008068A
- Authority
- JP
- Japan
- Prior art keywords
- category
- article
- recognition
- ray image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 101
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000008859 change Effects 0.000 claims description 85
- 238000000034 method Methods 0.000 description 61
- 230000015654 memory Effects 0.000 description 47
- 230000008569 process Effects 0.000 description 47
- 238000007689 inspection Methods 0.000 description 25
- 238000013403 standard screening design Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000005416 organic matter Substances 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000118 hair dye Substances 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
Description
本発明は、Ｘ線画像処理システム等に関する。 The present invention relates to an X-ray image processing system and the like.
空港や大規模イベント会場での手荷物検査では、物品のＸ線画像を用いた手荷物検査が行われることが多い。Ｘ線画像に基づいて物品の種類等を自動的に判別する技術として、例えば、特許文献１，２に記載のものが知られている。
すなわち、特許文献１には、「Ｘ線画像の画素領域のうちＸ線透過量が透過量閾値を下回りかつ材質が連続している部分の面積が、面積閾値を超えているか否かに基づき、物品が安全であるか否かを判定する」ことが記載されている。
また、特許文献２には、「学習モデルを用いてカテゴリ毎のスコアを推定し、前記スコアの最も高いカテゴリに分類し、カテゴリ毎に、前記スコアの低い順に前記複数の教師候補画像をソートし、カテゴリ毎の分類結果を生成する」ことが記載されている。
In baggage inspections at airports and large-scale event venues, baggage inspections are often performed using X-ray images of items. 2. Description of the Related Art As a technique for automatically determining the type of article based on an X-ray image, for example, the techniques described in
In other words,
Furthermore,
Ｘ線検査装置が物品の種類を判別する際には、通常、物品の種類とＸ線画像との間の対応関係を予め学習し、その学習結果に基づいて物品（検査対象）の種類を判別する。しかしながら、検査対象となる物品の種類が多くなると、所定の物品のＸ線画像上の見た目が他の種類の物品に似通っているといったケースが生じやすくなる。このような紛らわしいケースでも物品の種類を適切に判別できるようにすることが望ましいが、そのような技術については特許文献１，２には記載されていない。
When an X-ray inspection device determines the type of item, it usually learns the correspondence between the type of item and the X-ray image in advance, and then determines the type of item (inspection target) based on the learning results. do. However, as the number of types of articles to be inspected increases, cases in which a given article looks similar to other types of articles on an X-ray image tend to occur. Although it is desirable to be able to appropriately determine the type of article even in such confusing cases, such techniques are not described in
そこで、本発明は、Ｘ線画像に基づいて物品を適切に判別するＸ線画像処理システム等を提供することを課題とする。 Therefore, an object of the present invention is to provide an X-ray image processing system and the like that appropriately discriminates articles based on X-ray images.
前記した課題を解決するために、本発明に係るＸ線画像処理システムは、物品のＸ線画像に基づいて、前記物品のカテゴリを判別する制御部を備え、前記制御部は、物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させることとした。 In order to solve the above problems, an X-ray image processing system according to the present invention includes a control section that determines the category of the article based on an X-ray image of the article, and the control section performs image recognition of the article. The recognition category of the article is changed to the predetermined candidate category based on a comparison between the recognition category based on the user's operation and a plurality of candidate categories based on the user's operation, and the candidate category is changed to the X-ray image of the article. It was decided to display them on the display device in association with each other.
本発明によれば、Ｘ線画像に基づいて物品を適切に判別するＸ線画像処理システム等を提供できる。 According to the present invention, it is possible to provide an X-ray image processing system and the like that appropriately discriminates articles based on X-ray images.
≪実施形態≫
図１は、実施形態に係るＸ線画像処理システム１００が適用されるＸ線画像処理装置１を含む斜視図である。
図１に示すＸ線画像処理システム１００は、物品のＸ線画像に基づいて、物品のカテゴリを判別するシステムである。なお、物品の「カテゴリ」とは、Ｘ線画像処理システム１００の処理の中で用いられる物品の種類である（ノートパソコン、タブレット、水筒、ナイフ等）。例えば、物品のＸ線画像に基づく判別が正しく行われた場合には、その判別結果である物品の「カテゴリ」が物品の本来の種類（ユーザの運用上の種類）に一致する。
≪Embodiment≫
FIG. 1 is a perspective view including an X-ray
The X-ray
＜Ｘ線検査装置の構成＞
図１に示すＸ線検査装置１００ａは、物品のＸ線検査を行う装置であり、Ｘ線画像処理システム１００に含まれている。Ｘ線検査装置１００ａは、例えば、空港や大規模イベント会場の他、データセンタや工場、研究機関、公的機関での手荷物検査に用いられる。図１に示すように、Ｘ線検査装置１００ａは、後記するＸ線画像処理装置１の他、装置本体２と、表示装置３と、入力装置４と、を含んで構成されている。
<Configuration of X-ray inspection device>
The
装置本体２は、図示はしないが、物品が入っている荷物をローラコンベアで搬送する搬送機構と、物品にＸ線を照射する照射機構と、Ｘ線の透過量を測定するＸ線撮影機構と、を備えている。装置本体２には、搬送機構で搬送される荷物を通過させるための矩形状の孔Ｈ１が設けられている。装置本体２のの搬送方向上流側には、荷物を孔Ｈ１に向けてスムーズに移動させるための複数のローラＲ１が設けられている。
Although not shown, the device
装置本体２は、前記したＸ線撮影機構（図示せず）として、例えば、Ｘ線透過量を測定する２種類のＸ線センサ（図示せず）を備えている。そして、一方のＸ線センサが他方のＸ線センサよりも高いエネルギのＸ線透過量を検出するようになっている。このようなＸ線センサとして、例えば、後方散乱式の材質判定センサが用いられるが、これに限定されるものではない。なお、装置本体２において物品が通過するエリアの複数箇所（側面や天井面）のそれぞれに、前記した２種類のＸ線センサが設置されるようにするとよい。これによって、異なる複数の方向からＸ線撮影を行うことができる。
The apparatus
図１に示すＸ線画像処理装置１は、物品のＸ線画像に基づいて、物品のカテゴリを判別する装置である。Ｘ線画像処理装置１は、配線（図示せず）を介して装置本体２に接続されるとともに、表示装置３や入力装置４にも接続されている。そして、装置本体２の撮影機構である２種類のＸ線センサ（図示せず）からＸ線画像処理装置１にＸ線透過量のデータ等が出力されるようになっている。
The X-ray
Ｘ線画像処理装置１は、２種類のＸ線センサ（図示せず）のうちの一方で取得される高エネルギのＸ線透過量のデータと、他方で取得される低エネルギのＸ線透過量のデータと、の間の差分に基づいて、物品の材質をＸ線画像の画素毎に判別する。そして、Ｘ線画像処理装置１は、物品の材質や密度を可視化したカラー画像又はグレースケール画像をＸ線画像として生成し、このＸ線画像に基づいて物品のカテゴリを判別する。
The X-ray
物品のカテゴリが所定の禁止物品（アラート対象物）に該当する場合には、禁止物品であることを示す所定の信号がＸ線画像処理装置１から装置本体２に出力される。この場合には、装置本体２（又は装置本体２の付近）の表示ランプが点灯したり、スピーカ（図示せず）から所定のアラート音が出力されたりする。これによって、検査対象の物品が所定の禁止物品であることをユーザ（検査員等）が把握できる。
If the category of the article falls under a predetermined prohibited article (alert target object), a predetermined signal indicating that the article is a prohibited article is output from the X-ray
図１に示す２つの表示装置３は、装置本体２の撮影結果であるＸ線画像等を表示させる。これによって、物品のＸ線画像の他、物品のカテゴリの判別結果をユーザ（検査員等）が目視で確認できる。これら２つの表示装置３には、異なる方向から撮影された画像が表示されるようにしてもよいし、また、異なる種類の画像（例えば、カラー画像とグレースケール画像）が表示されるようにしてもよい。
The two
図１に示す入力装置４は、例えば、キーボードやマウスであり、ユーザによって所定に操作される。なお、Ｘ線検査装置１００ａの構成は、図１の例に限定されるものではない。例えば、Ｘ線画像処理装置１が装置本体２に内蔵された構成であってもよい。
The
＜Ｘ線画像処理装置の構成＞
図２は、Ｘ線画像処理システム１００が適用されるＸ線画像処理装置１の機能ブロック図である。
図２に示すＸ線画像処理装置１は、制御部１１と、メモリ１２と、表示インターフェース１３と、入力インタフェース１４と、通信部１５と、補助記憶部１６と、を備えるコンピュータである。制御部１１は、例えば、プロセッサを含むＣＰＵ（Central Processing Unit）であり、メモリ１２にロードされたプログラムを所定に実行する。メモリ１２は、不揮発性の記憶素子であるＲＯＭ（Read Only Memory）と、揮発性の記憶素子であるＲＡＭ（Random Access Memory）と、を含んで構成されている。
<Configuration of X-ray image processing device>
FIG. 2 is a functional block diagram of the X-ray
The X-ray
表示インターフェース１３は、表示装置３（図１参照）に画像データを所定に出力する。入力インタフェース１４は、入力装置４（図１参照）から入力されるデータの他、装置本体２（図１参照）から入力されるＸ線透過量のデータを受け付ける。このような入力インタフェース１４として、例えば、Ｘ線画像処理装置１の専用のインターフェースが用いられてもよいし、また、ＶＧＡ端子といった汎用の画面入力端子が用いられてもよい。通信部１５は、所定のプロトコルに基づいて、他の装置との間の通信を制御するネットワークインターフェースある。このような通信部１５として、ＵＳＢ（Universal Serial Bus）等のシリアルインターフェースが用いられてもよい。
The
補助記憶部１６は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の不揮発性の大容量記憶装置である。補助記憶部１６には、ＯＳ（Operating System：図示せず）が格納されている他、制御部１１（ＣＰＵ）によって実行される各プログラムや、各プログラムの実行時に使用されるデータが格納されている。これらの各プログラムは、補助記憶部１６から読み出されてメモリ１２にロードされ、制御部１１によって実行される。
The
図２に示すように、補助記憶部１６には、Ｘ線画像取得部１６ａと、物品認識部１６ｂと、物品学習部１６ｃと、学習カテゴリ選定部１６ｄと、変更履歴管理部１６ｅと、重なり・正面判定部１６ｆと、画面表示部１６ｇと、認識カテゴリ判定部１６ｈと、優先カテゴリ判定部１６ｋと、が所定のプログラムとして格納されている。また、補助記憶部１６には、Ｘ線画像に基づく物品の認識に用いられるモデルとして、物品認識モデル１６ｍと、認識カテゴリ判定モデル１６ｎと、が格納されている。
As shown in FIG. 2, the
また、補助記憶部１６には、所定のデータテーブルとして、信頼度テーブル１６ｐと、変更履歴テーブル１６ｑと、優先カテゴリテーブル１６ｒと、重なり・正面判定用テーブル１６ｓと、が格納されている。さらに、補助記憶部１６には、物品認識の学習に用いられるデータとして、学習データ１６ｔと、カテゴリ判定用学習データ１６ｕと、追加学習データ１６ｖと、が格納されている。
Further, the
Ｘ線画像取得部１６ａは、装置本体２（図１参照）から入力インタフェース１４を介して、Ｘ線画像のデータを取得する。
物品認識部１６ｂは、例えば、ＡＩ（Artificial Intelligence）による深層学習のセグメンテーション技術に基づいて、Ｘ線画像上の物品を画素単位で認識するプログラムである。
物品学習部１６ｃは、例えば、ＡＩによる深層学習のセグメンテーション技術に基づいて、学習データ１６ｔを所定に学習することで、物品認識モデル１６ｍを生成する。また、物品学習部１６ｃは、カテゴリ判定用学習データ１６ｕを所定に学習することで、認識カテゴリ判定モデル１６ｎを生成する。
The X-ray
The
The
学習カテゴリ選定部１６ｄは、追加学習データ１６ｖの中から学習に用いるデータを選定する。変更履歴管理部１６ｅは、物品のカテゴリが変更された履歴を変更履歴テーブル１６ｑとして管理する。重なり・正面判定部１６ｆは、Ｘ線画像における物品の領域の面積や濃さに基づいて、所定の物品が他の物品と重なっていないか、また、所定の物品の姿勢が正面であるか否かを判定する。
The learning
画面表示部１６ｇは、Ｘ線画像の中に物品が認識された位置を示す矩形等の情報と、物品のカテゴリを示す所定の文字と、を含む画像データ（図８参照）を生成する。そして、画面表示部１６ｇは、この画像データをＸ線画像上の物品の位置に対応付けて、表示装置３（図１参照）に所定に表示させる。
認識カテゴリ判定部１６ｈは、物品認識モデル１６ｍによって認識された物品のカテゴリを変更するか否かを判定する。優先カテゴリ判定部１６ｋは、物品認識モデル１６ｍによって認識された物品のカテゴリを所定の優先カテゴリに変更するか否かを判定する。
なお、補助記憶部１６に格納されたデータのうち、残りの物品認識モデル１６ｍや認識カテゴリ判定モデル１６ｎの他、各テーブルや各データについては、次の図３Ａ、図３Ｂのフローチャートの中で適宜に説明する。
The
The recognition
In addition, among the data stored in the
Ｘ線画像処理装置１における処理は、事前学習と、物品認識と、追加学習と、に大別される。事前学習では、物品が写っているＸ線画像を学習データ１６ｔ（図２参照）として大量に用意し、Ｘ線画像上の物品の見た目を物品学習部１６ｃに学習させ、所定の物品認識モデル１６ｍを生成させる。
Processing in the X-ray
また、物品認識では、物品認識モデル１６ｍ等に基づいて、物品のカテゴリが判別される。そして、物品認識が所定期間行われた後、追加学習が行われ、さらに、追加学習の結果に基づいて物品認識を行うといったことが所定に繰り返される。追加学習では、所定の追加学習データ１６ｖに基づいて、物品認識モデル１６ｍ等が更新される。このような追加学習は、例えば、１日ごとに行われてもよいし、また、１週間ごとや１カ月ごとに行われてもよい。以下では、物品認識に関する処理（図３Ａ、図３Ｂ参照）について説明した後、追加学習に関する処理（図１０Ａ、図１０Ｂ参照）について説明する。
Furthermore, in the article recognition, the category of the article is determined based on the
＜物品認識に関する処理＞
図３Ａ、図３Ｂは、Ｘ線画像処理システムが適用されるＸ線画像処理装置の物品認識に関する処理のフローチャートである。
ステップＳ１０１において制御部１１は、Ｘ線画像取得部１６ａ（図２参照）によって、Ｘ線画像のデータを装置本体２（図１参照）から取得する。例えば、前記した２種類のＸ線センサ（図示せず）から所定のＲＡＷデータ（未加工のデータ）が入力される場合、Ｘ線画像取得部１６ａ（図２参照）は、次の処理を行う。すなわち、Ｘ線画像取得部１６ａは、高エネルギのＸ線透過量と、低エネルギのＸ線透過量と、の間の差分に基づいて、金属・無機物・有機物・その他の４種類のいずれかにＸ線画像の各画素を分類する。そして、Ｘ線画像取得部１６ａは、例えば、物品の材質を所定の色で示し、Ｘ線透過量（物品の密度）を色の濃さで示した所定のカラー画像を生成する。なお、表示装置３（図１参照）の表示画面をキャプチャしたデータをＸ線画像取得部１６ａが取得するようにしてもよい。
<Processing related to article recognition>
3A and 3B are flowcharts of processing related to article recognition by an X-ray image processing apparatus to which the X-ray image processing system is applied.
In step S101, the
また、Ｘ線画像のデータを撮影対象の荷物ごとに分割する際、Ｘ線画像取得部１６ａ（図２参照）は、次の３通りの分割方法のいずれかを行うようにしてもよい。第１の分割方法は、Ｘ線透過量が所定閾値以下である部分を荷物エリアとして、Ｘ線画像取得部１６ａが荷物エリアを特定する方法である。この第１の分割方法は、装置本体２（図１参照）のＶＧＡ出力端子等からＸ線画像処理装置１（図１参照）に所定のＲＡＷデータが入力される場合に用いられる。第２の分割方法は、Ｘ線画像取得部１６ａが、Ｘ線透過量の積分値（画像上の所定ライン又は所定時間での積分値）に基づいて、Ｘ線画像を荷物ごとに分割する方法である。第３の分割方法は、荷物検知センサ（図示せず）が荷物を検知した時刻と、荷物を検知しなくなった時刻とに基づいて、Ｘ線画像を荷物ごとに分割する方法である。
Further, when dividing the X-ray image data for each baggage to be photographed, the X-ray
次に、図３のステップＳ１０２において制御部１１は、物品認識部１６ｂ（図２参照）によって、物品のＸ線画像に基づいて、物品のカテゴリを判別する（判別処理）。すなわち、物品認識部１６ｂは、物品認識モデル１６ｍ（図２参照）に基づいて、Ｘ線画像上の物品のカテゴリを判別する他、その物品のＸ線画像上の位置（座標）を特定する。なお、物品認識モデル１６ｍとは、Ｘ線画像上の物品のカテゴリを画像認識に基づいて判別する際に用いられるモデルであり、深層学習等に基づく所定のパラメータを含んでいる。前記したように、物品認識モデル１６ｍは事前学習で生成され、さらに、追加学習で適宜に更新される。また、ステップＳ１０２の処理において、ＯＳＳ（オープンソースソフトウェア）のライブラリである「Fully Convolutional Instance-aware Semantic Segmentation」や「Ｍａｓｋ Ｒ－ＣＮＮ」が適宜に用いられてもよい。
Next, in step S102 of FIG. 3, the
また、ステップＳ１０２の処理において物品認識部１６ｂは、物品のカテゴリの判別結果における信頼度も算出する。「信頼度」とは、物品のカテゴリの判別結果をどの程度信頼してよいかを示す指標である。信頼度が高いほど、物品のカテゴリの判別結果が正しい可能性が高くなる。ステップＳ１０２の処理では、物品のカテゴリに関する複数の候補の中から信頼度が最も高いものが、物品のカテゴリとして選択される。
In addition, in the process of step S102, the
また、次に説明するように、信頼度の高さが２番目以下の順位（２番目、３番目、４番目、・・・）の候補に関するデータも信頼度テーブル１６ｐ（図２参照）に格納される。信頼度テーブル１６ｐとは、Ｘ線画像上の所定の物品のカテゴリを判別した場合の各候補のカテゴリの信頼度を示すデータテーブルである。 In addition, as described below, data regarding candidates with the second or lower reliability ranking (second, third, fourth, etc.) is also stored in the reliability table 16p (see Figure 2). be done. The reliability table 16p is a data table showing the reliability of each candidate category when determining the category of a predetermined article on an X-ray image.
図４は、信頼度テーブル１６ｐの例を示す説明図である。
図４の例では、信頼度が最も高い第１候補（物品のＸ線画像上の見た目が最も似ているカテゴリ）として「ノートパソコン」が挙げられている他、信頼度が２番目以下のものでは、「タブレット」、「スマートフォン」、「携帯用ゲーム機」が順に挙げられている。このような信頼度テーブル１６ｐは、補助記憶部１６（図２参照）に一時的に格納され、後記するステップＳ１０５の処理で用いられる。
FIG. 4 is an explanatory diagram showing an example of the reliability table 16p.
In the example in Figure 4, "laptop computer" is listed as the first candidate with the highest reliability (the category that is most similar in appearance on the X-ray image of the item), and other candidates with the second or lower reliability "Tablets,""smartphones," and "portable game consoles" are listed in that order. Such a reliability table 16p is temporarily stored in the auxiliary storage unit 16 (see FIG. 2) and used in the process of step S105, which will be described later.
次に、図３のステップＳ１０３において制御部１１は、物品のカテゴリの変更履歴があるか否かを判定する。すなわち、制御部１１は、変更履歴管理部１６ｅ（図２参照）によって変更履歴テーブル１６ｑ（図２参照）を参照し、物品のカテゴリの変更履歴があるか否かを判定する。ここで、変更履歴テーブル１６ｑとは、ユーザ（検査員等）の入力操作で付与された本来のカテゴリから、物品の見た目が似通っている別のカテゴリに変更された履歴を示すデータテーブルである。このような変更履歴テーブル１６ｑについて、図５を用いて説明する。
Next, in step S103 of FIG. 3, the
図５は、変更履歴テーブル１６ｑの例を示す説明図である。
図５に示す「変更前」の欄には、過去に誤認識や認識漏れがあった物品に対して、ユーザ（検査員等）が追加学習用に登録した物品の本来のカテゴリが格納されている。ユーザは、物品のＸ線画像を確認したり、物品そのものを目視で確認したりすることで、所定の運用（例えば、空港の手荷物検査での運用）に基づく物品の本来のカテゴリを「変更前」のカテゴリ（候補カテゴリ）として入力する。
FIG. 5 is an explanatory diagram showing an example of the change history table 16q.
The "Before change" column shown in Figure 5 stores the original category of the item that was registered for additional learning by the user (inspector, etc.) for items that were misrecognized or failed to be recognized in the past. There is. By checking the X-ray image of the item or visually checking the item itself, the user can change the original category of the item based on predetermined operations (for example, at airport baggage inspection) to the ``before change'' category. ” category (candidate category).
図５に示す「変更後」の欄には、学習カテゴリ選定部１６ｄ（図２参照）による変更後の物品のカテゴリ（認識カテゴリ）が格納されている。図５の例では、「変更前」の物品のカテゴリとして、「ＳＳＤ」（Solid State Drive）が格納され、これに対応する「変更後」の物品のカテゴリとして、「ＵＳＢメモリ」（Universal Serial Bus Memory）が格納されている。また、変更履歴テーブル１６ｑには、物品のカテゴリが変更された回数が「変更回数」として格納されている。
The "after change" column shown in FIG. 5 stores the article category (recognized category) after being changed by the learning
図６Ａは、カテゴリの変更前におけるＳＳＤとＵＳＢメモリとの関係を示す説明図である。
図６Ａに示すように、ＳＳＤにはさまざまな種類や形状のものがあり、その中には見た目がＵＳＢメモリに似通っているものがある。図６Ａの例では、ｓｓｄ３１～３３は、Ｘ線画像上の見た目がｕｓｂメモリとは異なっているが、残りのＳＳＤ３４，３５は、その見た目がＵＳＢメモリに似通っている。ＳＳＤ３１～３５は、本来は共通のカテゴリ（種類）に属しているが、物品認識モデル１６ｍ（図２参照）の学習時には、見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリをＵＳＢメモリに変更するようにしている。これによって、物品認識モデル１６ｍに基づく物品認識の精度が高められる。
FIG. 6A is an explanatory diagram showing the relationship between the SSD and the USB memory before the category is changed.
As shown in FIG. 6A, there are various types and shapes of SSDs, and some of them look similar to USB memory. In the example of FIG. 6A,
図６Ｂは、物品認識モデルの学習に用いられるＳＳＤとＵＳＢメモリを示す説明図である。
詳細については後記するが、ステップＳ１０２で用いられる物品認識モデル１６ｍの学習時には（図１０ｂのＳ２１２）、例えば、次のような処理が行われる。すなわち、Ｘ線画像上の見た目がＵＳＢメモリには似ていないＳＳＤ３１～３３のカテゴリの正解を「ＳＳＤ」とし、また、見た目がＵＳＢメモリに似ているＳＳＤ３４，３５の他、本来のＵＳＢメモリ４１～４５のカテゴリの正解を「ＵＳＢメモリ」として、物品認識モデル１６ｍの学習が行われる。物品認識部１６ｂ（図２参照）は、Ｘ線画像上の見た目で物品を判別するため、本来のカテゴリが間違っていたとしても、見た目が似通っているものをひとまとまりにして学習した方が物品認識モデル１６に基づく認識精度が高くなる。
FIG. 6B is an explanatory diagram showing the SSD and USB memory used for learning the article recognition model.
Although details will be described later, when learning the
図３ＡのステップＳ１０３において、物品のカテゴリの変更履歴がある場合（Ｓ１０３：Ｙｅｓ）、制御部１１の処理はステップＳ１０４に進む。すなわち、変更履歴テーブル１６ｑ（図５参照）における「変更後」のカテゴリとして、Ｘ線画像上の物品のカテゴリ（Ｓ１０２の判別結果）に一致するものが存在する場合、制御部１１の処理はステップＳ１０４に進む。
In step S103 of FIG. 3A, if there is a change history of the category of the article (S103: Yes), the process of the
ステップＳ１０４において制御部１１は、認識カテゴリ判定部１６ｈ（図２参照）によって、認識カテゴリ判定モデル１６ｎに基づいて、物品のカテゴリを再び判別する。認識カテゴリ判定モデル１６ｎ（図２参照）とは、認識カテゴリ判定モデル１６ｎとは、見た目が他のカテゴリの物品と似通っている所定の物品について、その本来のカテゴリを正しく判別するためのモデルである。例えば、図６Ｂに示すＳＳＤ３４，３５は、物品認識モデル１６ｍの学習時には「ＵＳＢメモリ」として扱われるが、最終的には、本来のカテゴリの「ＳＳＤ」として表示されることが望ましい。認識カテゴリ判定モデル１６ｎは、ＳＳＤ３４，３５のような、カテゴリが紛らわしい物品を正しく判別するためのモデルである。
In step S104, the
図６Ｃは、認識カテゴリ判定モデルの学習に用いられるＳＳＤとＵＳＢメモリを示す説明図である。
図６Ｃの例では、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリの正解を「ＳＳＤ」とし、また、ＵＳＢメモリ４１～４５のカテゴリの正解を「ＵＳＢメモリ」として、認識カテゴリ判定モデル１６ｎ（図２参照）が学習される。なお、ＳＳＤ３１～３５（図６Ａ参照）の中でも、Ｘ線画像上の見た目がＵＳＢメモリには似ていないもの（典型的な形状のＳＳＤ３１～３３：図６Ａ参照）は、認識カテゴリ判定モデル１６ｎの学習対象から外される。このようにして学習された認識カテゴリ判定モデル１６ｎを用いることで、Ｘ線画像上の見た目が他の物品に似通っている物品のカテゴリを高精度に判別できる。
FIG. 6C is an explanatory diagram showing the SSD and USB memory used for learning the recognition category determination model.
In the example of FIG. 6C, the correct answer for the category of
例えば、ステップＳ１０２では物品認識モデル１６ｍ（図２参照）が用いられるため、見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５は、「ＵＳＢメモリ」として判別される。この「ＵＳＢメモリ」は、変更履歴テーブル１６ｑ（図５参照）で「変更後」のカテゴリの一つとして登録されている（Ｓ１０３：Ｙｅｓ）。そして、次のステップＳ１０４では、認識カテゴリ判定モデル１６ｎ（図２参照）が用いられるため、ＳＳＤ３４，３５は、「ＳＳＤ」として正しく判別される。
For example, since the
ステップＳ１０５において制御部１１は、「変更前」のカテゴリの信頼度が、「変更後」のカテゴリの信頼度よりも高いものが存在するか否かを判定する。なお、ステップＳ１０５の処理では、変更履歴テーブル１６ｑ（図５参照）に含まれている「変更前」のカテゴリ（ユーザの運用に基づく候補カテゴリ）と、「変更後」のカテゴリ（見た目が似ている認識カテゴリ）とで、ステップＳ１０４の判別結果における信頼度が比較されている。ステップＳ１０５において、変更前のカテゴリの信頼度が、変更後のカテゴリの信頼度よりも高いものが存在する場合（Ｓ１０５：Ｙｅｓ）、制御部１１の処理はステップＳ１０６に進む。
In step S105, the
ステップＳ１０６において制御部１１は、物品のカテゴリを「変更前」のものにする。なお、「変更前」のカテゴリの信頼度が「変更後」のカテゴリの信頼度よりも高いペア（変更前・変更後のペア）が複数存在する場合には、、「変更前」のカテゴリの信頼度が最も高いものが選択される。
In step S106, the
例えば、図６Ｃに示すＳＳＤ３４，３５のカテゴリを認識カテゴリ判定モデル１６ｎで判別した場合において、そのカテゴリを「ＳＳＤ」としたときの信頼度が、「ＵＳＢメモリ」としたときの信頼度よりも高かったとする。なお、「ＳＳＤ」というカテゴリは、ＳＳＤ３４，３５の本来の種類を示す「変更前」のカテゴリである。この場合には、変更履歴テーブル１６ｑ（図５参照）における「変更前」のカテゴリの方が信頼度が高いため（Ｓ１０５：Ｙｅｓ）、ＳＳＤ３４，３５のカテゴリが、「ＵＳＢメモリ」から「ＳＳＤ」に変更される（Ｓ１０６）。
For example, when the categories of
また、図６Ｃに示すＵＳＢメモリ４１～４５のカテゴリを認識カテゴリ判定モデル１６ｎで判別した場合において、そのカテゴリを「ＳＳＤ」としたときの信頼度が、「ＵＳＢメモリ」としたときの信頼度よりも低かったとする。なお、「ＵＳＢメモリ」というカテゴリは、変更履歴テーブル１６ｑ（図５参照）における「変更後」のカテゴリである。この場合には、「変更後」のカテゴリの方が信頼度が高いため（Ｓ１０５：Ｎｏ）、ＵＳＢメモリ４１～４５については、そのままのカテゴリ（「ＵＳＢメモリ」）で扱われる。
Furthermore, when the categories of
ステップＳ１０６の処理を行った後、制御部１１の処理は、図３ＢのステップＳ１１０に進む。ステップＳ１１０において制御部１１は、カテゴリの判別結果を表示装置３（図１参照）に表示させる（表示処理）。例えば、図６Ａに示すＳＳＤ６４，３５は、そのＸ線画像に対応付けて、「ＳＳＤ」と正しく表示される。これによって、Ｘ線画像上の見た目で物品を高精度に分類しつつ、ユーザの運用に沿った物品の本来のカテゴリを正しく表示できる。
After performing the process of step S106, the process of the
このように、制御部１１は、物品の画像認識に基づく認識カテゴリ（変更履歴テーブル１６ｑにおける「変更後」のカテゴリ）と、ユーザの運用に基づく複数の候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）と、の比較に基づいて、この物品の認識カテゴリを所定の候補カテゴリに変更する（図３ＡのＳ１０６）。そして、制御部１１は、この候補カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させる（図３ＢのＳ１１０）。
In this way, the
より詳しく説明すると、制御部１１は、物品認識モデル１６ｍで物品の画像認識を行った結果が所定の認識カテゴリ（変更履歴テーブル１６ｑにおける「変更後」のカテゴリ）に該当する場合（Ｓ１０３：Ｙｅｓ）、次の処理を行う。すなわち、制御部１１は、物品認識モデル１６ｍとは異なる所定の認識カテゴリ判定モデル１６ｎで画像認識を行った結果（Ｓ１０４）、この物品のカテゴリを候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）とした場合の信頼度が認識カテゴリとした場合の信頼度よりも高いとき（Ｓ１０５：Ｙｅｓ）、この物品のカテゴリを認識カテゴリから候補カテゴリに変更する。そして、制御部１１は、この候補カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させる（Ｓ１１０）。
To explain in more detail, if the result of image recognition of the article using the
例えば、制御部１１は、図示はしないが、Ｘ線画像上のｓｓｄ３４，３５のそれぞれを矩形枠で囲み、物品の本来のカテゴリを示す「ｓｓｄ」の文字を表示させるとともに、「ｕｓｂメモリ」の文字をかっこ書きで表示させるようにしてもよい。これによって、ユーザ（検査員等）は、検査対象の物品がＵＳＢメモリである可能性も考慮した上で検査を行うことができる。
For example, although not shown, the
また、ステップＳ１０５において、変更前のカテゴリの信頼度が、変更後のカテゴリの信頼度よりも高いものが存在しない場合（Ｓ１０５：Ｎｏ）、制御部１１の処理は、図３ＢのステップＳ１０７に進む。また、ステップＳ１０３において物品のカテゴリの変更履歴がない場合にも（Ｓ１０３：Ｎｏ）、制御部１１の処理は、図３ＢのステップＳ１０７に進む。
Further, in step S105, if there is no category whose reliability before change is higher than the reliability of the category after change (S105: No), the process of the
ステップＳ１０７において制御部１１は、優先カテゴリ判定部１６ｋ（図２参照）によって、ステップＳ１０２で判別した物品のカテゴリの第２候補が所定の優先カテゴリとして登録されているか否かを判定する。このステップＳ１０７の処理で用いられる優先カテゴリテーブル１６ｒについて、図７を用いて説明する。
In step S107, the
図７は、優先カテゴリテーブル１６ｒの例を示す説明図である。
図７に示す優先カテゴリテーブル１６ｒは、所定の優先カテゴリ等が格納されたデータテーブルである。ここで、優先カテゴリとは、物品のカテゴリを表示装置３（図１参照）に表示する際の優先度が高いカテゴリであり、予め設定されている。Ｘ線荷物検査向けの物品認識は、主に所定の禁止物品を見つけることを目的として行われているが、物品のカテゴリによって禁止レベルが異なっていたり、荷物検査の運用ルールが異なっていたりする。また、物品の種類が多くなるほど、物品間の誤認識を生じやすくなる。
FIG. 7 is an explanatory diagram showing an example of the priority category table 16r.
The priority category table 16r shown in FIG. 7 is a data table in which predetermined priority categories and the like are stored. Here, the priority category is a category with a high priority when displaying the article category on the display device 3 (see FIG. 1), and is set in advance. Article recognition for X-ray baggage inspection is mainly performed for the purpose of finding certain prohibited items, but the level of prohibition differs depending on the category of the article, and the operational rules for baggage inspection differ. Furthermore, the more types of articles there are, the more likely it is that misrecognitions will occur between articles.
そこで、本実施形態では、物品の認識結果における第２候補のカテゴリが所定の優先カテゴリに該当し、その信頼度が所定値以上である場合には、その物品のカテゴリを優先カテゴリに変更した上で結果を出力するようにしている。これによって、Ｘ線手荷物検査における禁止物品の検査漏れ（見落とし）が生じることを抑制できる。なお、優先カテゴリには、所定の禁止物品が登録されることが多い。 Therefore, in this embodiment, if the second candidate category in the recognition result of an article corresponds to a predetermined priority category and its reliability is equal to or higher than a predetermined value, the category of the article is changed to the priority category and then I am trying to output the results with . As a result, it is possible to suppress the omission (oversight) of inspection of prohibited items in the X-ray baggage inspection. Note that predetermined prohibited items are often registered in the priority category.
図７に示す優先カテゴリテーブル１６ｒに含まれる「認識カテゴリ」は、ステップＳ１０２（図３Ａ参照）の認識結果であり、所定の「優先カテゴリ」や「条件」に対応付けられている。例えば、ステップ１０２の判別結果が「スマートフォン」であり、第２候補が「ルータ」である場合において、その信頼度が所定値以上であるときには、その物品のカテゴリを「スマートフォン」から「ルータ」（優先カテゴリ）に変更するようにしている。これによって、例えば、所定の禁止物品の一つとしてルータが指定されている場合、Ｘ線荷物検査でルータの検査漏れが生じることを抑制できる。 The "recognition category" included in the priority category table 16r shown in FIG. 7 is the recognition result of step S102 (see FIG. 3A), and is associated with a predetermined "priority category" and "condition". For example, if the determination result in step 102 is "smartphone" and the second candidate is "router", and the reliability is at least a predetermined value, the category of the item is changed from "smartphone" to "router" ( (priority category). As a result, for example, if a router is designated as one of the predetermined prohibited items, it is possible to prevent the router from being omitted during the X-ray baggage inspection.
図３ＢのステップＳ１０７において、物品のカテゴリの第２候補が優先カテゴリとして登録されている場合（Ｓ１０７：Ｙｅｓ）、制御部１１の処理はステップＳ１０８に進む。ステップＳ１０８において制御部１１は、優先カテゴリ判定部１６ｋ（図２参照）によって、物品のカテゴリの第２候補の信頼度が所定値以上であるか否かを判定する。なお、所定値は、物品のカテゴリを優先カテゴリに変更するか否かの判定基準となる信頼度の閾値であり、予め設定されている。ステップＳ１０８において、物品のカテゴリの第２候補の信頼度が所定値以上である場合（Ｓ１０８：Ｙｅｓ）、制御部１１の処理はステップＳ１０９に進む。
In step S107 of FIG. 3B, if the second candidate for the article category is registered as the priority category (S107: Yes), the process of the
ステップＳ１０９において制御部１１は、物品のカテゴリを所定の優先カテゴリに変更する。これによって、優先カテゴリとして登録されている禁止物品の見落としを抑制できる。なお、物品のカテゴリを第２候補のもの（優先カテゴリ）に変更しているため、場合によっては、物品のカテゴリが本来のものとは異なっている可能性もある。しかしながら、Ｘ線荷物検査は主に禁止物品を見つけるために行われるため、優先カテゴリへの変更でＸ線荷物検査の業務に支障が生じるおそれは特にない。
In step S109, the
ステップＳ１０９の処理を行った後、ステップＳ１１０において制御部１１は、物品のカテゴリの判別結果を表示させる。物品のカテゴリを優先カテゴリに変更した場合には、Ｘ線画像上の物品に対応付けて、優先カテゴリを示す所定の文字が表示される。なお、優先カテゴリを示す文字の他、第１候補のカテゴリを示す所定の文字がかっこ書き等で併せて表示されるようにしてもよい。これによって、ユーザ（検査員等）は、物品のカテゴリが第１候補のものである可能性も考慮して検査を進めることができる。
After performing the process in step S109, in step S110, the
なお、図３ＢのＳ１０８の処理（信頼度に関する判定処理）については、適宜に省略してもよい。また、物品のカテゴリを所定の優先カテゴリに変更する際の条件として、物品の認識結果における第２候補以下（第２候補、第３候補、第４候補、・・）のカテゴリが所定の優先カテゴリに該当しているという条件が用いられてもよい。すなわち、制御部１１は、認識カテゴリ判定モデル１６ｎで物品の画像認識を行った結果（Ｓ１０４）、この物品のカテゴリを候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）とした場合の信頼度が認識カテゴリ（「変更後」のカテゴリ）とした場合の信頼度以下であり（Ｓ１０５：Ｎｏ）、さらに、物品認識モデル１６ｍで物品の画像認識を行った結果における第２候補以下の順位のカテゴリが所定の優先カテゴリに該当する場合（Ｓ１０７：Ｙｅｓ）、この物品のカテゴリを優先カテゴリに変更する（Ｓ１０９）。そして、制御部１１は、この優先カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させる（Ｓ１１０）。
Note that the process of S108 in FIG. 3B (determination process regarding reliability) may be omitted as appropriate. In addition, as a condition when changing the category of an article to a predetermined priority category, the category of the second candidate or lower (second candidate, third candidate, fourth candidate, etc.) in the recognition result of the article must be a predetermined priority category. The condition that the following applies may be used. That is, as a result of image recognition of the article using the recognition
また、優先カテゴリテーブル１６ｒ（図７参照）に含まれる優先カテゴリ、及び、優先カテゴリへの変更前の所定のカテゴリはいずれも、変更履歴テーブル１６ｑ（図５参照）に含まれる認識カテゴリ（「変更後」のカテゴリ）とは重複していないことが好ましい。これによって、ステップＳ１０６の処理でカテゴリが変更された物品が所定の優先カテゴリに該当しているか否かを確認する必要がなくなるため、処理の簡素化を図ることができる。 In addition, the priority category included in the priority category table 16r (see FIG. 7) and the predetermined category before being changed to the priority category are all the same as the recognized category ("changed") included in the change history table 16q (see FIG. 5). It is preferable that there is no overlap with the "after" category). This eliminates the need to check whether the article whose category has been changed in the process of step S106 corresponds to a predetermined priority category, thereby simplifying the process.
また、ステップＳ１０７において物品のカテゴリの第２候補が優先カテゴリとして登録されていない場合や（Ｓ１０７：Ｎｏ）、ステップＳ１０８において第２候補の信頼度が所定値未満である場合にも（Ｓ１０８：Ｎｏ）、制御部１１の処理はステップＳ１１０に進む。この場合には、図３ＡのＳ１０２の処理結果である所定のカテゴリが、Ｘ線画像上の物品に対応付けて表示される。
Also, if the second candidate for the article category is not registered as a priority category in step S107 (S107: No), or if the reliability of the second candidate is less than the predetermined value in step S108 (S108: No). ), the process of the
次に、ステップＳ１１１において制御部１１は、ユーザによる入力操作に基づいて、誤認識又は認識漏れの入力があったか否かを判定する。ステップＳ１１１において誤認識も認識漏れもなかった場合（Ｓ１１１：Ｎｏ）、制御部１１は、一連の処理を終了する（ＥＮＤ）。また、ステップＳ１１１において、誤認識又は認識漏れの入力があった場合（Ｓ１１１：Ｙｅｓ）、制御部１１の処理はステップＳ１１２に進む。
Next, in step S111, the
ステップＳ１１２において制御部１１は、誤認識又は認識漏れがあった物品を追加学習データ１６ｖ（図２参照）として登録する。すなわち、ユーザによる入力操作に基づいて、物品のカテゴリの誤認識又は認識漏れを訂正するように、所定の候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）が物品に付与された場合、制御部１１は、この物品のＸ線画像を追加学習データとして登録する。これによって、誤認識等が生じやすい追加学習データ１６ｖを積極的に収集できる。誤認識や認識漏れついては、ユーザ（検査員等）によるディスプレイのタッチパネルやマウス等で対象の部分をクリック（例えば、誤認識の場合には２回クリック、認識漏れの場合には１回クリック）することで指定される。
In step S112, the
図８は、物品のカテゴリの判別結果を示す表示画面の一例である。
図８の例では、認識された物品の画面上の位置を示す破線の矩形枠Ｆ１，Ｆ２と、物品のカテゴリを示す所定の文字と、が表示される。また、物品のカテゴリが変更された場合（図３ＡのＳ１０６、図３ＢのＳ１０９）には、変更前のカテゴリと、変更後のカテゴリ名を併記するようにするとよい。すなわち、制御部１１が、物品の認識カテゴリを所定の候補カテゴリに変更した場合、この物品の候補カテゴリを示す所定の文字と、この物品の認識カテゴリを示す別の文字と、を物品のＸ線画像に対応付けて併記することが好ましい。なお、前記した候補カテゴリは、所定の優先カテゴリであってもよい。
FIG. 8 is an example of a display screen showing the classification result of the article category.
In the example of FIG. 8, broken rectangular frames F1 and F2 indicating the position of the recognized article on the screen and predetermined characters indicating the category of the article are displayed. Further, when the category of the article is changed (S106 in FIG. 3A, S109 in FIG. 3B), it is preferable to write the category name before the change and the category name after the change. That is, when the
図８の例では、物品の本来のカテゴリ（つまり、候補カテゴリ）を示す「！タブレット」という文字が物品のＸ線画像に対応付けて表示されるとともに、「！タブレット」に変更する前の「スマートフォン」（つまり、認識カテゴリ）という文字がかっこ書きで表示されている。これによって、ユーザ（検査員等）は、物品がスマートフォンである可能性も考慮して検査を進めることができる。なお、「タブレット」という文字の前の感嘆符「！」は、所定の禁止物品であることを示している。 In the example of FIG. 8, the characters "!Tablet" indicating the original category (that is, candidate category) of the article are displayed in association with the X-ray image of the article, and the characters "!Tablet" before changing to "!Tablet" are displayed in association with the X-ray image of the article. The words "smartphone" (that is, the recognition category) are displayed in parentheses. This allows the user (inspector, etc.) to proceed with the inspection while also considering the possibility that the article is a smartphone. Note that the exclamation mark "!" in front of the word "tablet" indicates that it is a prescribed prohibited item.
図９は、物品の正しいカテゴリの選択ボタンＢ１を含む表示画面の一例である。
例えば、図９に示すように、スプレー缶の付近にカテゴリが不明の物品を認識した場合、制御部１１は、候補となる複数のカテゴリの中からユーザが正しいカテゴリを選ぶための選択ボタンＢ１を表示させる。図９の例では、候補となる複数のカテゴリとして、「カッター」、「ナイフ」、「ハサミ」、「バッテリ」、「スプレー」、及び「毛染め」といった禁止物品の種類が表示されている。そして、ユーザ（検査員等）は、荷物を開けてスプレー缶の付近の物品を目視で確認するなどして、所定の選択ボタンＢ１をクリックする。これによって、Ｘ線画像上の物品の位置（座標）と、物品の正しいカテゴリと、が追加学習データ１６ｖ（図２参照）として登録される。
FIG. 9 is an example of a display screen including a button B1 for selecting the correct category of articles.
For example, as shown in FIG. 9, when an article of unknown category is recognized near a spray can, the
なお、制御部１１は、物品のカテゴリを認識カテゴリ（変更履歴テーブル１６ｑにおける「変更後」のカテゴリ）から候補カテゴリ（「変更前」のカテゴリ）に変更した場合において（図３ＡのＳ１０６）、この物品のＸ線画像を物品認識モデル１６ｍの次回の追加学習で用いるときには、この物品のＸ線画像に認識カテゴリを対応付けるようにするとよい。これによって、Ｘ線画像上の見た目が似ているものをひとまとまりで学習できるため、物品認識モデル１６ｍの精度を高めることができる。
Note that when changing the category of the article from the recognized category (the “after change” category in the change history table 16q) to the candidate category (the “before change” category) (S106 in FIG. 3A), the
また、制御部１１は、物品のカテゴリを認識カテゴリ（優先カテゴリテーブル１６ｒにおける「認識カテゴリ」）から優先カテゴリに変更した場合において（図３ＢのＳ１０９）、この物品のＸ線画像を物品認識モデル１６ｍの次回の追加学習で用いるときには、この物品のＸ線画像に認識カテゴリを対応付けるようにしてもよい。これによって、Ｘ線画像上の見た目が似ているものをひとまとまりで学習できるため、物品認識モデル１６ｍで物品を認識する際の精度が高められる。
Furthermore, when the category of the article is changed from the recognition category ("recognition category" in the priority category table 16r) to the priority category (S109 in FIG. 3B), the
また、制御部１１は、物品のＸ線画像に基づいて、この物品のカテゴリを判別した場合において（Ｓ１０２）、この物品のカテゴリの誤認識又は認識漏れがユーザによる入力操作で訂正されなかったときには（Ｓ１１１：Ｎｏ）、この物品のＸ線画像と物品のカテゴリとを対応付けて、追加学習データとして登録するようにしてもよい。これによって、物品に正しいカテゴリが対応付けられたデータを追加学習に用いることができる。図３ＢのステップＳ１１２の処理を行った後、制御部１１は、一連の処理を終了する（ＥＮＤ）。なお、図３Ａ、図３Ｂに示す一連の処理は、Ｘ線画像が取得されるたびに行われる。
Further, when the
＜追加学習に関する処理＞
図１０Ａは、Ｘ線画像処理システムが適用されるＸ線画像処理装置の追加学習に関する処理のフローチャートである。
図１０ＡのステップＳ２０１において制御部１１は、学習カテゴリ選定部１６ｄ（図２参照）によって、補助記憶部１６（図２参照）から追加学習データ１６ｖ（図２参照）を読み出す。前記したように、物品の誤認識や認識漏れに関するデータがユーザ（検査員等）の入力操作によって登録され（図３ＢのＳ１１１：Ｙｅｓ、Ｓ１１２）、追加学習データ１６ｖ（図２参照）として蓄積される。このように蓄積された追加学習データ１６ｖに基づいて、物品認識モデル１６ｍ等（図２参照）の追加学習が行われる。
<Processing related to additional learning>
FIG. 10A is a flowchart of processing related to additional learning of the X-ray image processing apparatus to which the X-ray image processing system is applied.
In step S201 of FIG. 10A, the
なお、追加学習データ１６ｖについては、ユーザの入力操作に基づいて、物品のカテゴリの正解付けが行われているものとする。このような正解付けのカテゴリを「ラベル」ともいう。追加学習データ１６ｖの正解付けでは、ユーザが入力操作でクリックした位置の座標に基づいて、物品の輪郭を推定する「Interactive Segmentation」という方法が適宜に用いられる。また、Ｘ線画像向けに事前学習を行った所定の輪郭推定用モデル（図示せず）と、ユーザの入力操作で指定された物品の位置（座標）と、に基づいて、制御部１１が物品の領域を推定するようにしてもよい。そして、制御部１１の推定結果が誤っているものについては、ユーザの入力操作で正解付けが行われるようにしてもよい。
As for the
次に、ステップＳ２０２において制御部１１は、物品認識部１６ｂ（図２参照）によって、追加学習データ１６ｖにおける物品のカテゴリを判別する。なお、ステップＳ２０２の処理では、物品のカテゴリの判別に用いられる信頼度の閾値が、図３ＡのステップＳ１０２で用いられる信頼度の閾値よりも低い値に設定される。これによって、物品認識（Ｓ１０２）の際には挙げられなかった所定のカテゴリが導出されやすくなる。
Next, in step S202, the
また、ステップＳ２０２の処理を行う際、制御部１１が、重なり・正面判定部１６ｆ（図２参照）によって、正解付けされた物品の領域に他の物品が写り込んでいないか、また、物品が正面から写っているか否かを判定し、物品認識の信頼性の判断材料に用いるようにしてもよい。重なり・正面判定部１６ｆの処理には、次に説明する重なり・正面判定用テーブル１６ｓが適宜に用いられる。
In addition, when performing the process of step S202, the
図１１は、重なり・正面判定用テーブル１６ｓの例を示す説明図である。
図１１に示す重なり・正面判定用テーブル１６ｓには、カテゴリ欄と、面積欄と、長辺最大値欄と、透過量平均値欄と、透過量下限値欄と、金属類比率欄と、有機物比率欄と、が含まれている。カテゴリ欄には、物品の本来の種類を示すカテゴリ（正解）のデータが格納されている。また、カテゴリ欄の物品がＸ線画像上で他の物品に重なっていないと判定される際の基準となる物品の面積（画素数）が面積欄に格納されている他、物品の長辺最大値（画素数）が長辺最大値欄に格納されている。
FIG. 11 is an explanatory diagram showing an example of the overlap/front view determination table 16s.
The overlap/frontal determination table 16s shown in FIG. 11 includes a category column, an area column, a long side maximum value column, a permeation amount average value column, a permeation amount lower limit value column, a metal ratio column, and an organic matter column. Contains a ratio column. The category column stores category (correct answer) data indicating the original type of the article. In addition, the area (number of pixels) of the item, which is the standard when determining that the item in the category column does not overlap with other items on the X-ray image, is stored in the area column, as well as the maximum The value (number of pixels) is stored in the long side maximum value column.
また、カテゴリ欄の物品がＸ線画像上で他の物品に重なっていないと判定される際の基準となるＸ線の透過量平均値が透過量平均値欄に格納されている他、Ｘ線の透過量下限値が透過量下限値欄に格納されている。さらに、カテゴリ欄の物品がＸ線画像上で他の物品に重なっていないと判定される際の基準となるＸ線画像上での金属類比率が金属類比率欄に格納されている他、Ｘ線画像上での有機物比率が有機物比率欄に格納されている。 In addition, the average amount of X-ray transmission, which is the standard when determining that the item in the category column does not overlap with other items on the X-ray image, is stored in the average amount of X-ray transmission. The transmission amount lower limit value of is stored in the transmission amount lower limit value column. Furthermore, the metal ratio on the X-ray image, which is the standard when determining that the item in the category column does not overlap with other items on the X-ray image, is stored in the metal ratio column. The organic matter ratio on the line image is stored in the organic matter ratio column.
次に、図１０ＡのステップＳ２０３において制御部１１は、ステップＳ２０２での物品認識における信頼度が所定値以上であるか否かを判定する。前記した所定値は、ユーザ（検査員等）への再確認を行うか否かの判定基準となる閾値であり、予め設定されている。ステップＳ２０３において信頼度が所定値以上である場合（Ｓ２０３：Ｙｅｓ）、制御部１１の処理はステップＳ２０４に進む。
Next, in step S203 of FIG. 10A, the
ステップＳ２０４において制御部１１は、学習カテゴリ選定部１６ｄによって、物品の画像認識に基づくカテゴリがラベルに一致しているか否かを判定する。前記したように、「ラベル」とは、物品に対してユーザが正解付けしたカテゴリ（本来のカテゴリ）である。物品のカテゴリがラベルに一致している場合（Ｓ２０４：Ｙｅｓ）、制御部１１の処理はステップＳ２０５に進む。
In step S204, the
ステップＳ２０５において制御部１１は、学習データ１６ｔ（図２参照）を更新する。つまり、制御部１１は、追加学習データ１６ｖである物品のＸ線画像に、その物品のカテゴリ（Ｓ２０２の判別結果）を対応付けたものを学習データ１６ｔとして追加登録する。
また、ステップＳ２０４において、物品の画像認識に基づくカテゴリがラベルに一致していない場合（Ｓ２０４：Ｎｏ）、制御部１１の処理はステップＳ２０６に進む。
In step S205, the
Further, in step S204, if the category based on image recognition of the article does not match the label (S204: No), the process of the
ステップＳ２０６において制御部１１は、物品のカテゴリを変更する。つまり、物品の画像認識に基づくカテゴリを、ラベル（ユーザの入力操作に基づく正解付け）で特定されたカテゴリから、ステップＳ２０２の認識結果に基づくカテゴリに変更する。物品認識モデル１６ｍの学習では、Ｘ線画像上での見た目が似通っているカテゴリをひとまとまりにした方が物品認識の高精度化につながるからである。
In step S206, the
なお、図１０Ａでは記載を省略しているが、物品のカテゴリを変更した場合、変更履歴管理部１６ｅ（図２参照）は、変更前・変更後のカテゴリを変更履歴テーブル１６ｑ（図５参照）に登録する。また、変更頻度（所定期間での変更回数）が所定値未満である場合には、制御部１１が変更のレアケースと判定して、後記するステップＳ２０９と同様、ユーザへの確認を行うようにしてもよい。
Although not shown in FIG. 10A, when the category of an article is changed, the change
このように、制御部１１は、物品の画像認識に用いる物品認識モデル１６ｍ（図２参照）の追加学習を行う際、Ｘ線画像上の物品のカテゴリを、所定の候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）から所定の認識カテゴリ（「変更後」のカテゴリ）に変更した履歴を示す変更履歴テーブル１６ｑ（図５参照）を生成する。このような変更履歴テーブル１６ｑを用いることで、物品のカテゴリの誤認識を抑制できる。
In this manner, when performing additional learning of the
次に、図１０ＡのステップＳ２０７において制御部１１は、学習データ１６ｔ（図２参照）を更新する。すなわち、制御部１１は、変更後の物品のカテゴリを物品認識モデル１６ｍ（図２参照）の学習データ１６ｔに追加登録する。図６Ｂの例（物品認識モデル１６ｍの学習に関する説明図）では、Ｘ線画像上の見た目がＵＳＢメモリに似ているＳＳＤ３４，３５のカテゴリの正解を「ＵＳＢメモリ」として、物品認識モデル１６ｍの追加学習が行われる。これによって、Ｘ線画像上の見た目で物品のカテゴリを判別する際の精度が高められる。
Next, in step S207 of FIG. 10A, the
次に、ステップＳ２０８において制御部１１は、カテゴリ判定用学習データ１６ｕ（図２参照）を更新する。図６Ｃの例では、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリの「ＳＳＤ」とした上で、カテゴリ判定用学習データ１６ｕが更新される。前記したように、カテゴリ判定用学習データ１６ｕは、認識カテゴリ判定モデル１６ｎの学習に用いられる（図１０ＢのＳ２１４）。
Next, in step S208, the
また、ステップＳ２０３において信頼度が所定値未満である場合（Ｓ２０３：Ｎｏ）、制御部１１の処理は、図１０ＢのステップＳ２０９に進む。ステップＳ２０９において制御部１１は、ユーザ（検査員等）への再確認を行う（１回目の確認は、図３ＢのＳ１１１）。すなわち、制御部１１は、画面表示部１６ｇ（図２参照）によって、ユーザへの確認画面を表示させる。物品のカテゴリが正しくない場合には、ユーザの入力操作基づいて、所定のラベル（カテゴリ）が適宜に入力される。
Further, if the reliability is less than the predetermined value in step S203 (S203: No), the process of the
ステップＳ２１０において制御部１１は、学習データ１６ｔ（図２参照）を更新する。例えば、ユーザへの再確認で所定のラベル（カテゴリ）が入力された場合には、このラベルを物品のカテゴリとして、学習データ１６ｔが更新される。
In step S210, the
なお、前記した重なり・正面判定部１６ｆ（図２参照）による判定（図１０ＡのＳ２０２に付随する処理）で、物品の撮影条件が悪いと判定された場合も、ステップＳ２０９と同様に、検査員への確認画面を表示させるようにしてもよい。例えば、物品が大きく傾いた状態で撮影されていたり、密度の大きい他の物品と重なっていたりした場合には、誤認識が生じる可能性があるからである。
また、図１０ＡのステップＳ２０２の判別結果が所定の優先カテゴリに該当する場合には、運用上のリスクを考慮して、ステップＳ２０９と同様にユーザへの再確認を行うようにしてもよい。
Note that even if it is determined that the photographing conditions of the article are poor in the determination by the overlap/
Furthermore, if the determination result in step S202 of FIG. 10A falls under a predetermined priority category, the user may be reconfirmed in the same manner as step S209, taking operational risks into consideration.
図１０ＡのステップＳ２０５、Ｓ２０８、又は図１０ＢのステップＳ２１０の処理を行った後、制御部１１の処理はステップＳ２１１に進む。ステップＳ２１１において制御部１１は、追加学習データ１６ｖの読み出しが終了したか否かを判定する。すなわち、制御部１１は、補助記憶部１６（図２参照）に蓄積されている新たな追加学習データ１６ｖの全てを読み出したか否かを判定する。ステップＳ２１１において追加学習データ１６ｖの読み出しが終了していない場合（Ｓ２１１：Ｎｏ）、制御部１１の処理は、図１０ＡのステップＳ２０１に戻る。また、ステップＳ２１１において追加学習データ１６ｖの読み出しが終了した場合（Ｓ２１１：Ｙｅｓ）、制御部１１の処理はステップＳ２１２に進む。
After performing steps S205 and S208 in FIG. 10A or step S210 in FIG. 10B, the process of the
ステップＳ２１２において制御部１１は、物品学習部１６ｃ（図２参照）によって、物品認識モデル１６ｍを学習する。すなわち、物品学習部１６ｃは、図１０ＡのステップＳ２０５やＳ２０７の他、図１０ＢのステップＳ２１０の更新後の学習データ１６ｔに基づいて、物品認識モデル１６ｍを学習する。より詳しく説明すると、制御部１１は、追加学習における物品の画像認識の信頼度が所定値以上である場合において（図１０ＡのＳ２０３：Ｙｅｓ）、この物品の認識カテゴリが所定の候補カテゴリ（ユーザの入力操作に基づくラベル）とは異なっているとき（Ｓ２０４：Ｎｏ）、次の処理を行う。すなわち、制御部１１は、この物品のカテゴリを候補カテゴリから認識カテゴリに変更した上で、物品の画像認識に用いる物品認識モデル１６ｍを生成する（図１０ＢのＳ２１２）。物品認識モデル１６ｍの学習には、例えば「Instance Segmentation」や「Object Detection」の学習方式が用いられる。
In step S212, the
次に、ステップＳ２１３において制御部１１は、学習カテゴリ選定部１６ｄ（図２参照）によって、カテゴリ判定用学習データ１６ｕ（図２参照）を再選定する。前記したように、カテゴリ判定用学習データ１６ｕとは、認識カテゴリ判定モデル１６ｎ（図２参照）の学習に用いられるデータである。図６Ｃの例では、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリを「ＳＳＤ」とし、本来のＵＳＢメモリ４１～４５のカテゴリを「ＵＳＢメモリ」とした上で、認識カテゴリ判定モデル１６ｎが学習される。これによって、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５と、ＵＳＢメモリ４１～４５とを判別する際の精度が高められる。
Next, in step S213, the
なお、カテゴリの変更が行われていない物品については、認識カテゴリ判定モデル１６ｎの学習対象にする必要は特にない。例えば、図６Ａに示す典型的な形状のＳＳＤ３１～３３といったものについては、認識カテゴリ判定モデル１６ｎの学習には特に用いられない。認識カテゴリ判定モデル１６ｎは、見た目が他の物品に似通っているような物品の判別に特化したモデルだからである。
Note that there is no particular need to make the recognition
次に、ステップＳ２１４において制御部１１は、物品学習部１６ｃ（図２参照）によって、認識カテゴリ判定モデル１６ｎ（図２参照）を学習する。すなわち、物品学習部１６ｃは、ステップＳ２１３で再選定したカテゴリ判定用学習データ１６ｕに基づいて、認識カテゴリ判定モデル１６ｎを生成する。なお、制御部１１は、追加学習において認識カテゴリ判定モデル１６ｕを生成する際、認識カテゴリと候補カテゴリ（ユーザの運用上のカテゴリ）とが異なる物品については、その物品のＸ線画像に候補カテゴリを対応つける（図６Ｃ参照）。認識カテゴリ判定モデル１６ｎは、物品のカテゴリを判別する際のステップＳ１０４（図３Ａ参照）の処理に用いられる。ステップＳ２１４の処理を行った後、制御部１１は、一連の処理を終了する（ＥＮＤ）。
Next, in step S214, the
＜効果＞
本実施形態によれば、制御部１１は、ユーザ（検査員等）の入力操作で付与された物品のカテゴリを、Ｘ線画像上で見た目が似通っている他の物品のカテゴリに変更した上で追加学習を行う。これによって、Ｘ線画像上の見た目に基づいて物品のカテゴリを判別する際の精度が高められる。具体的には、所定のカテゴリの物品（例えば、図６ＢのＳＳＤ３４，３５）が珍しい形状をしていたり、また、例外的な形状をしている場合、典型的な形状のもの（例えば、図６ＢのＳＳＤ３１～３３）とは区別した上で追加学習を行うことで、物品認識を行う際の精度が高められる。
<Effect>
According to the present embodiment, the
また、Ｘ線画像処理装置１の制御部１１は、ユーザ（検査員等）が付与したカテゴリでなく、Ｘ線画像の見た目に基づくカテゴリに変更した上で学習を行い、物品の認識結果を表示する際には、変更前のカテゴリに戻した上で表示する。これによって、制御部１１は物品認識を高精度に行いつつ、ユーザの運用に沿ったカテゴリを表示させることができる。また、制御部１１は、Ｘ線画像上の見た目が他のカテゴリの物品に似通っているものを対象に認識カテゴリ判定モデル１６ｎを学習する。これによって、ユーザの運用に沿ったカテゴリを物品のＸ線画像に対応付けて表示できる。
In addition, the
また、物品の認識結果の第２候補が所定の優先カテゴリに該当するる場合、物品のカテゴリが優先カテゴリに変更される。これによって、所定の禁止物品等の検査漏れが生じるリスクを低減できる。このように、本実施形態によれば、Ｘ線画像に基づいて物品を適切に判別するＸ線画像処理システム１００等を提供できる。
Further, when the second candidate of the recognition result of the article corresponds to a predetermined priority category, the category of the article is changed to the priority category. This can reduce the risk of omission of inspection of certain prohibited items. As described above, according to the present embodiment, it is possible to provide an X-ray
≪変形例≫
以上、本発明に係るＸ線画像処理システム１００等について各実施形態で説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、実施形態では、Ｘ線画像処理装置１の制御部１１が物品のカテゴリを判別する際、図３ＡのステップＳ１０３～Ｓ１０６の処理を行う場合について説明したが、これらの処理（Ｓ１０３～Ｓ１０６）を適宜に省略してもよい。すなわち、図３ＡのステップＳ１０２において制御部１１が物品のカテゴリを判別した後、図３ＢのステップＳ１０７の処理で物品のカテゴリの第２候補が優先カテゴリとして登録されているか否かを判定するようにしてもよい。つまり、制御部１１が、物品を画像認識を行った結果における第２候補以下の順位のカテゴリが所定の優先カテゴリ（候補カテゴリ）に該当する場合、この物品のカテゴリを優先カテゴリに変更し、この優先カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させるようにしてもよい。このような処理でも、物品のカテゴリが所定の優先カテゴリに変更されることで、ユーザの運用に沿った処理を行うことができる。
≪Modification example≫
Although the X-ray
For example, in the embodiment, a case has been described in which the
また、実施形態では、Ｘ線画像処理装置１の制御部１１が物品のカテゴリを判別する際、図３ＢのステップＳ１０７～Ｓ１０９の処理（優先カテゴリへの変更等）を行う場合について説明したが、これらの処理（Ｓ１０７～Ｓ１０９）を省略してもよい。このような場合でも、Ｘ線画像処理装置１がＸ線画像上の見た目に基づいて、物品のカテゴリを高精度で判別できる。
Furthermore, in the embodiment, a case has been described in which the
また、実施形態では、各機能部のプログラムや各テーブルといったデータが補助記憶部１６（図２参照）に格納される場合について説明したが、前記したデータの少なくとも一部がメモリ１２（図２参照）に格納されるようにしてもよい。
また、制御部１１（図２参照）が実行するプログラムの一部又は全てのデータが、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリ等）からネットワークを介して、又は外部計算機からネットワークを介して、Ｘ線画像処理装置１に提供され、そのデータが補助記憶部１６に格納されるようにしてもよい。この場合において、Ｘ線画像処理装置１がリムーバブルメディア等からデータを読み込むインターフェースを備えるようにしてもよい。
Further, in the embodiment, a case has been described in which data such as programs of each functional unit and each table are stored in the auxiliary storage unit 16 (see FIG. 2). ).
In addition, part or all of the data of the program executed by the control unit 11 (see FIG. 2) may be transferred from a removable medium (CD-ROM, flash memory, etc.) via the network or from an external computer via the The data may be provided to the line
また、図２の各機能部で実現される機能の少なくとも一部が、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されるようにしてもよい。
また、実施形態において、Ｘ線画像処理装置１で用いられる情報は、データ構造には特に依存しておらず、例えば、テーブル、リスト、データベース、及びキューから適宜に選択されたデータ構造が用いられてもよい。
Moreover, at least a part of the functions realized by each functional unit in FIG. 2 may be realized by hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
Furthermore, in the embodiment, the information used by the X-ray
また、実施形態で説明したＸ線画像処理装置１の機能を複数のコンピュータ（例えば、サーバ）に分散させるようにしてもよい。この場合において、複数のコンピュータで構築された仮想的なコンピュータ上で所定の処理が実行されるようにしてもよい。
また、実施形態では、Ｘ線を用いた撮影が行われる場合について説明したが、物品を透過して撮影できる電磁波であれば、例えば、テラヘルツ波といった他の電磁波が用いられるようにしてもよい。
Further, the functions of the X-ray
Further, in the embodiment, a case has been described in which imaging is performed using X-rays, but other electromagnetic waves such as terahertz waves may be used as long as they can penetrate the article and take images.
また、実施形態で説明したＸ線画像処理装置１の構成や機能（Ｘ線画像処理方法）を実現するプログラムの全部又は一部を集積回路で設計する等によりハードウェアで実現してもよい。前記したハードウェアには、サーバ（図示せず）等の一つ又は複数のコンピュータが含まれる。また、実施形態で説明した構成や機能は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報が、メモリやハードディスクの他、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＣＤ－ＲＯＭ、ＤＶＤ等の記録媒体に格納されるようにしてもよい。前記したプログラムは、通信回線を介して提供することも可能である。
Further, all or part of the program for realizing the configuration and functions (X-ray image processing method) of the X-ray
また、各実施形態は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。 Further, each embodiment is described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described. Furthermore, it is possible to add, delete, or replace some of the configurations of the embodiments with other configurations. Further, the mechanisms and configurations described above are those considered necessary for explanation, and not all mechanisms and configurations are necessarily shown in the product.
１ Ｘ線画像処理装置
２ 装置本体
３ 表示装置
４ 入力装置
１１ 制御部
１２ メモリ
１３ 表示インターフェース
１４ 入力インタフェース
１５ 通信部
１６ 補助記憶部
１６ａ Ｘ線画像取得部
１６ｂ 物品認識部
１６ｃ 物品学習部
１６ｄ 学習カテゴリ選定部
１６ｅ 変更履歴管理部
１６ｆ 重なり・正面判定部
１６ｇ 画面表示部
１６ｈ 認識カテゴリ判定部
１６ｋ 優先カテゴリ判定部
１６ｍ 物品認識モデル
１６ｎ 認識カテゴリ判定モデル
１６ｐ 信頼度テーブル
１６ｑ 変更履歴テーブル
１６ｒ 優先カテゴリテーブル
１６ｓ 重なり・正面判定用テーブル
１６ｔ 学習データ
１６ｕ カテゴリ判定用学習データ
１６ｖ 追加学習データ
１００ Ｘ線検査処理システム
１００ａ Ｘ線検査装置
1 X-ray
Claims (12)
前記制御部は、物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる、Ｘ線画像処理システム。 comprising a control unit that determines the category of the article based on an X-ray image of the article,
The control unit changes the recognition category of the article to the predetermined candidate category based on a comparison between a recognition category based on image recognition of the article and a plurality of candidate categories based on user operations, and changes the recognition category of the article to the predetermined candidate category. An X-ray image processing system that associates a category with an X-ray image of the article and displays it on a display device.
を特徴とする請求項１に記載のＸ線画像処理システム。 When the recognition category of an article is changed to the predetermined candidate category, the control unit changes a predetermined character indicating the candidate category of the article and another character indicating the recognition category of the article to the article. The X-ray image processing system according to claim 1, wherein the X-ray image processing system is written in association with the X-ray image.
前記制御部は、追加学習における当該物品の画像認識の信頼度が所定値以上である場合において、当該物品の前記認識カテゴリが前記候補カテゴリとは異なっているとき、当該物品のカテゴリを前記候補カテゴリから前記認識カテゴリに変更した上で、物品の画像認識に用いる物品認識モデルを生成すること
を特徴とする請求項１に記載のＸ線画像処理システム。 When the predetermined candidate category is assigned to an article based on an input operation by the user, the control unit additionally learns the X-ray image of the article so as to correct misrecognition or omission of recognition of the category of the article. Register as data,
When the reliability of image recognition of the article in additional learning is equal to or higher than a predetermined value and the recognition category of the article is different from the candidate category, the control unit changes the category of the article to the candidate category. The X-ray image processing system according to claim 1, wherein the X-ray image processing system generates an article recognition model to be used for image recognition of the article after changing the category of the article to the recognition category.
を特徴とする請求項３に記載のＸ線画像処理システム。 When the control unit determines the category of the article based on the X-ray image of the article, if the misrecognition or omission of the category of the article is not corrected by the user's input operation, the control unit determines the X-ray image of the article. The X-ray image processing system according to claim 3, wherein the line image and the category of the article are registered in association with each other as the additional learning data.
前記物品認識モデルで物品の画像認識を行った結果が所定の前記認識カテゴリに該当する場合において、前記物品認識モデルとは異なる所定の認識カテゴリ判定モデルで画像認識を行った結果、当該物品のカテゴリを前記候補カテゴリとした場合の信頼度が前記認識カテゴリとした場合の信頼度よりも高いとき、当該物品のカテゴリを前記認識カテゴリから前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて前記表示装置に表示させること
を特徴とする請求項１に記載のＸ線画像処理システム。 When performing additional learning of an article recognition model used for image recognition of articles, the control unit creates a change history table that indicates a history of changes in the category of articles on X-ray images from the predetermined candidate category to the recognition category. generate,
If the result of image recognition of an article using the article recognition model falls under the predetermined recognition category, the result of image recognition using a predetermined recognition category determination model different from the article recognition model determines the category of the article. When the reliability when set as the candidate category is higher than the reliability when set as the recognition category, the category of the article is changed from the recognition category to the candidate category, and the candidate category is changed to the X-ray of the article. The X-ray image processing system according to claim 1, wherein the X-ray image processing system is displayed on the display device in association with an image.
を特徴とする請求項５に記載のＸ線画像処理システム。 In the case where the category of the article is changed from the recognition category to the candidate category, when the X-ray image of the article is used in the next additional learning of the article recognition model, the control section adds the The X-ray image processing system according to claim 5, characterized in that recognition categories are associated with each other.
を特徴とする請求項５に記載のＸ線画像処理システム。 Claim characterized in that, when generating the recognition category determination model in additional learning, the control unit associates the candidate category with an X-ray image of the article for an article for which the recognition category and the candidate category are different. The X-ray image processing system according to item 5.
を特徴とする請求項５に記載のＸ線画像処理システム。 As a result of image recognition of the article using the recognition category determination model, the control unit determines that the reliability when the category of the article is set as the candidate category is equal to or lower than the reliability when the category is set as the recognition category, and further, If a category ranked lower than the second candidate in the result of image recognition of the article using the article recognition model corresponds to a predetermined priority category, the category of the article is changed from the recognition category to the priority category, and the category of the article is changed from the recognition category to the priority category. The X-ray image processing system according to claim 5, wherein the priority category is displayed on the display device in association with the X-ray image of the article.
を特徴とする請求項８に記載のＸ線画像処理システム。 In the case where the category of the article is changed from the recognition category to the priority category, when the X-ray image of the article is used in the next additional learning of the article recognition model, the control unit adds the X-ray image of the article to the priority category. The X-ray image processing system according to claim 8, characterized in that recognition categories are associated with each other.
を特徴とする請求項８に記載のＸ線画像処理システム。 The priority category included in the predetermined priority category table and the predetermined category before the change to the priority category do not overlap with the recognition category included in the change history table. The X-ray image processing system according to claim 8.
を特徴とする請求項１に記載のＸ線画像処理システム。 The control unit changes the category of the article to the priority category if a category ranked lower than the second candidate in the result of image recognition of the article corresponds to a predetermined priority category included in the candidate categories. The X-ray image processing system according to claim 1, wherein the priority category is displayed on the display device in association with the X-ray image of the article.
物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる表示処理と、を含むＸ線画像処理方法。
Discrimination processing that determines the category of the article based on the X-ray image of the article;
Based on a comparison between the recognition category based on image recognition of the item and a plurality of candidate categories based on the user's operations, the recognition category of the item is changed to the predetermined candidate category, and the candidate category is changed to the candidate category of the item. An X-ray image processing method including display processing for displaying on a display device in association with an X-ray image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022109600A JP2024008068A (en) | 2022-07-07 | 2022-07-07 | X-ray image processing system and X-ray image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022109600A JP2024008068A (en) | 2022-07-07 | 2022-07-07 | X-ray image processing system and X-ray image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024008068A true JP2024008068A (en) | 2024-01-19 |
Family
ID=89544453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022109600A Pending JP2024008068A (en) | 2022-07-07 | 2022-07-07 | X-ray image processing system and X-ray image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024008068A (en) |
-
2022
- 2022-07-07 JP JP2022109600A patent/JP2024008068A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11886799B2 (en) | Determining functional and descriptive elements of application images for intelligent screen automation | |
| US11113618B2 (en) | Detecting the bounds of borderless tables in fixed-format structured documents using machine learning | |
| Kuncheva et al. | PCA feature extraction for change detection in multidimensional unlabeled data | |
| JP4936753B2 (en) | Scratch-out gesture recognition based on word or character boundary | |
| CN108345587B (en) | Method and system for detecting authenticity of comments | |
| CN111488826A (en) | Text recognition method and device, electronic equipment and storage medium | |
| CN110059596B (en) | Image identification method, device, medium and electronic equipment | |
| KR20160132842A (en) | Detecting and extracting image document components to create flow document | |
| CN110751043A (en) | Face recognition method and device based on face visibility and storage medium | |
| JP4598466B2 (en) | System and method for detecting a list in ink input | |
| WO2022105521A1 (en) | Character recognition method and apparatus for curved text image, and computer device | |
| EP2370932B1 (en) | Method, apparatus and computer program product for providing face pose estimation | |
| US11600088B2 (en) | Utilizing machine learning and image filtering techniques to detect and analyze handwritten text | |
| CN114746859A (en) | Evaluation method, evaluation program, and information processing device | |
| US8010564B2 (en) | Logical structure analyzing apparatus, method, and computer product | |
| JP2019220014A (en) | Image analyzing apparatus, image analyzing method and program | |
| WO2023038722A1 (en) | Entry detection and recognition for custom forms | |
| CN111738252B (en) | Text line detection method, device and computer system in image | |
| CN110717407A (en) | Human face recognition method, device and storage medium based on lip language password | |
| Selvi et al. | Recognition of Arabic numerals with grouping and ungrouping using back propagation neural network | |
| RU2453919C1 (en) | Method of detecting spam in bitmap image | |
| US9104450B2 (en) | Graphical user interface component classification | |
| JP2024008068A (en) | X-ray image processing system and X-ray image processing method | |
| JP2019160240A (en) | Information processing device and information processing method | |
| CN114120305A (en) | Training method of text classification model, and recognition method and device of text content |