JP2018113038A - 検査機器および荷物における銃器を検出する方法 - Google Patents

検査機器および荷物における銃器を検出する方法 Download PDF

Info

Publication number
JP2018113038A
JP2018113038A JP2018003565A JP2018003565A JP2018113038A JP 2018113038 A JP2018113038 A JP 2018113038A JP 2018003565 A JP2018003565 A JP 2018003565A JP 2018003565 A JP2018003565 A JP 2018003565A JP 2018113038 A JP2018113038 A JP 2018113038A
Authority
JP
Japan
Prior art keywords
firearm
image
transmission image
candidate
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018003565A
Other languages
English (en)
Inventor
啓立 王
Qili Wang
啓立 王
詩語 戴
Shiyu Dai
詩語 戴
建平 顧
Jianping Gu
建平 顧
耀紅 劉
Yaohong Liu
耀紅 劉
自然 趙
Ziran Zhao
自然 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Qinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Qinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Qinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Publication of JP2018113038A publication Critical patent/JP2018113038A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

【課題】荷物に対してＸ線検査を行い、銃器が含まれているか否かをより正確に特定することができる方法を提供する。
【解決手段】荷物に対してＸ線検査を行い、透過画像を取得するステップと、訓練された銃器検出神経回路網に基づいて、透過画像における複数の候補領域を特定するステップと、銃器検出神経回路網に基づいて、複数の候補領域を分類することによって、透過画像に銃器が含まれているか否かを特定するステップと、を含む。銃器が検出されると、画像に標記することで、操作者に通知して、人工的に画像を判定する作業量を減少することができる。
【選択図】図６

Description

本開示は、放射線検査技術に関し、具体的には、検査機器と荷物における銃器を検出する方法に関する。
銃器は、直接の致死率と破壊力を持つため、銃器を不法に携帯する行為は、大きな潜在的危険性と社会的隠れた危険性をもたらし、社会の安定と国民の生活や財産を直接に影響することになる。民間航空や地下鉄、鉄道交通システムでは、毎日の交通量が大きいが、従来の人工的検出は速度が遅くてスタッフに対する依頼性高いため、銃器検出システムの自動化と検出速度の向上は、現在注目されている重要な課題である。
現在、銃器を検出する有効な手段は不十分である。研究によると、銃器は主に荷物によって搬送される。放射線イメージングは、貨物や荷物に対してイメージングすることによって、侵害なし検査を実現することができる。このような技術は、既に空港や駅、エクスプレスステーション等の場所で広く使用されており、禁制品の安全検査分野での最も重要な手段になっている。小物に対する検査処理で、荷物内部の画像は取得できるが、商品の種類がさまざまで且つ操作者の経験が不均一であり、危険品である銃器が出現する確率が比較的に低いため、人工的判定による効果は良くない。
従来技術における一つ又は複数の問題に鑑み、検査機器および荷物における銃器を検査する方法を提供する。
本開示の一つの形態の荷物における銃器を検出する方法は、荷物に対してＸ線検査を行い、透過画像を取得するステップと、訓練された銃器検出神経回路網に基づいて、前記透過画像における複数の候補領域を特定するステップと、前記銃器検出神経回路網に基づいて、前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するステップと、を含む。
本開示の実施例によれば、各候補領域に銃器が含まれる信頼度を算出すると共に、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断する。
本開示の実施例によれば、複数の候補領域のそれぞれに同じ銃器が含まれる場合、各候補領域における銃器の画像を標記するとともに、銃器の位置を取得するために、前記複数の候補領域における銃器の画像を統合する。
本開示の実施例によれば、前記銃器検出神経回路網は、銃器サンプルの透過画像を構築する操作と、ＲＰＮとＣＮＮの畳み込み層を統合して初期検出ネットワークを取得する操作と、サンプルの透過画像に基づいて初期検出ネットワークを訓練して、銃器検出神経回路網を取得する操作とによって訓練されて得たものである。
本開示の実施例によれば、初期検出ネットワークを訓練するステップは、ＲＰＮとＣＮＮとの間で畳み込み層のデータを共有しない場合、サンプルの透過画像から特定された複数のサンプル候補領域によって初期検出ネットワークを調整するステップと、ＲＰＮとＣＮＮとの間で畳み込み層のデータを共有する場合、ＲＰＮを訓練するステップと、ＲＰＮとＣＮＮとの間で共用する畳み込み層のデータを変えずに、前記初期検出ネットワークを収束するまで調整して、銃器検出神経回路網を取得するステップと、を含む。
本開示の実施例によれば、前記初期検出ネットワークを訓練するステップは、複数のサンプル候補領域から、人工的に標記された銃器の矩形枠との重なり面積が閾値より小さいものを削除するステップをさらに含む。
本開示の一つの形態の検査機器は、荷物に対してＸ線検査を行い、透過画像を取得するＸ線検査システムと、前記透過画像を格納するメモリと、訓練された銃器検出神経回路網に基づいて、前記透過画像における複数の候補領域を特定し、且つ前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するように構成されたプロセッサと、を備える。
本開示の実施例によれば、プロセッサは、各候補領域に銃器が含まれる信頼度を算出するとともに、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断するように配置されている。
本開示の実施例によれば、プロセッサは、複数の候補領域のそれぞれに同一の銃器が含まれる場合、各候補領域における銃器の画像を標記すると共に、銃器の位置を得るために、前記複数の候補領域における銃器の画像を統合するように配置されている。
本開示の実施例によれば、前記メモリには、銃器サンプルの透過画像が格納されており、 前記プロセッサは、ＲＰＮとＣＮＮの畳み込み層を統合して初期検出ネットワークを取得する操作と、サンプルの透過画像に基づいて初期検出ネットワークを訓練して、銃器検出神経回路網を取得する操作とによって訓練されて、前記銃器検出神経回路網を取得するように配置されている。
上記した技術案によると、荷物に銃器が含まれているか否かをより正確に特定することができる。他の実施例において、上記した方法によって銃器が検出されると、画像に標記することで、操作者を通知して、人工的に画像を判定する作業量を減少することができる。
本発明をよりよく理解させるために、以下図面を参照しながら本発明を詳細に説明する。
は、本開示の実施例による検査機器の構造を示す模式図である。 は、図１に示す検査機器における演算装置の構造を示す模式図である。 は、本開示の実施例による訓練用データベースを構築する過程を示す模式図である。 は、銃器検出ネットワークモデルを構築する過程を示す模式図である。 は、本開示の実施例による銃器検出ネットワークモデルの構築を詳細に示す概略フローチャートである。 は、本開示の実施例による銃器を検出する過程を示す概略フローチャートである。 は、本開示の実施例による荷物における銃器が検出された状況を示す模式図である。
以下、本開示のいくつかの実施例を詳細に説明する。ここで記載する実施例は、例示的に説明することに過ぎず、本発明を限定するものではない。以下の説明で、本発明に対する徹底的な理解のために、特定的な詳細をたくさん記載している。しかしながら、本発明を実施するためにこれらの特定的な詳細を必ず使用するには限定されないことを、当業者は理解できるだろう。他の実施例では、本発明を不明瞭にすることを避けるために、周知の構造や材料または方法を具体的に記載しない。
本明細書において、「一実施例」、「実施例」、「一例」または「例」などの説明は、該実施例または例の説明を組み合わせた特定の特徴、構造または特性が本発明の少なくとも一つの実施例に含まれることを意味する。したがって、本明細書において各々の箇所に出現する用語である「一実施例では」、「一例」または「例」は、必ずしも同一実施例または例を指すとは限らない。また、如何なる適切な組み合わせ及び／又はサブ組み合わせによって、特定の特徴、構造または特性を一つまたは複数の実施例や例に組み合わせることができる。また、当業者であれば、ここで使用される「及び／又は」という用語は、関連して列挙された項目のうちの何れ及びすべての組み合わせを含むことを理解できるだろう。
従来技術に存在する問題点に鑑みて、本発明の実施例は、荷物における銃器を検出する方法を提供する。訓練された銃器検出神経回路網に基づいて、前記透過画像における複数の候補領域を特定し、前記複数の候補領域を分類することで、前記透過画像に銃器が含まれているか否かを特定する。これによって、荷物に銃器が含まれているか否かをより正確に検出することができる。
本開示の実施例による銃器の自動検出は、（１）銃器検出データベースの構築、（２）自動検出モデルの構築、（３）銃器自動検出との三つの部分に分けられる。具体的に、銃器検出データベースの構築は、画像取得と、画像前処理と、注目領域抽出との三つの処理を含み、銃器自動検出は、主に、画像前処理と、判定と、疑わしい領域に対する標記との三つの処理を含む。
銃器検出モデルを構築する時、まず銃器検出データベースを構築して、画像取得と、画像前処理と、注目領域抽出との三つの処理を含む。画像取得は、画像データベースがさまざまな配置形態および異なる数での銃器の画像を含むように、例えば小型物品である銃器の画像をたくさん収集する。画像前処理は、例えば、具体的に正規化処理に関する。異なる走査装置は、放射線ソースのエネルギー・線量が異なり、検出器のサイズも異なるため、取得される画像が同一でないが、その差異を低減するために、画像を正規化することができる。また、注目領域抽出は、走査して得られた階調画像において、銃器を単位にして、手作業で銃器の位置を標記し、銃器位置の座標（ｘ,ｙ,ｗ,ｈ）を提供する。ただし、ｘとｙは、銃器に外接する矩形枠の左下頂点の座標であり、ｗは幅であり、ｈは高さである。
自動検出モデルは、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）の方法に基づいて構築される。例えば、本願では、主に深層学習の方法に基づいて、銃器の検出を行う。コンピュータビジョンの分野において、神経回路網は複数の種類があるが、畳み込み神経回路網（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｋｓ，以下ＣＮＮと略する）が最も広く用いられている深層学習のモデルである。本開示の実施例は、ＣＮＮを実施例として、候補領域の抽出とＣＮＮ分類を行う。候補領域の抽出は、領域提案ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ，以下ＲＰＮと略する）を採用して、エンドツーエンドのネットワークを実現して銃器を検出する。
銃器検出は、訓練されたＣＮＮに基づいて、直接に候補領域を生成し分類することで、当該領域に銃器が存在するか否かを判定することができる。また、当該領域に銃器が存在する場合、銃器の具体的な位置に対して回帰を行い、銃器位置の座標を特定することによって、矩形枠で表示される検出結果を提供することができる。
図１は、本開示の実施例による検査機器の構造を示す模式図である。図１に示すように、本開示の実施例による検査機器１００は、Ｘ線ソース１１０と、検知装置１３０と、データ収集装置１５０と、コントローラ１４０と、演算装置１６０とを備え、コンテナ付きトラック等のような被検体１２０に対して安全検査を行う。そして、例えば、その中に銃器が含まれているか否かを判断する。当該実施例において、検知装置１３０とデータ収集装置１５０を別途に説明するが、当業者であれば、これらを一体に構成してＸ線検知・データ収集装置と呼ぶこともできることを理解できるだろう。
いくつかの実施例によると、上記したＸ線ソース１１０は、同位体であってもよく、Ｘ線機または加速器であってもよい。Ｘ線ソース１１０は、単一エネルギーのソースであってもよく、二重エネルギーのソースであってもよい。このように、Ｘ線ソース１１０と検知装置１５０、および、コントローラ１４０と演算装置１６０によって、被検体１２０を透過走査して、検知データを取得する。例えば、被検体１２０の移動中に、操作者は、演算装置１６０によるＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を介して、コントローラ１４０によってＸ線ソース１１０が放射線を発生するように指令を送信する。被検体１２０を透過した放射線は、検知装置１３０とデータ収集装置１５０によって受信され、演算装置１６０によってそのデータを処理して、透過画像を取得してメモリに格納することができる。さらに、訓練された銃器検出神経回路網に基づいて、透過画像における複数の候補領域を特定すると共に、複数の候補領域を分類することによって、透過画像に銃器が含まれているか否かを特定する。
図２は、図１に示す演算装置の構造を示す模式図である。図２に示すように、検知装置１３０によって検知された信号は、データ収集装置に収集され、そのデータはインタフェース部１６７とバス１６３を介してメモリ１６１に格納される。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６２には、コンピュータデータプロセッサの情報およびプログラムが格納されている。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６３は、プロセッサ１６５の動作中に様々なデータを一時的に格納するために使用される。また、メモリ１６１には、データ処理をするための、画像処理プログラムや銃器認識畳み込みネットワークプログラム等のようなコンピュータプログラムも格納される。内部バス１６３は、上記したメモリ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、入力装置１６４と、プロセッサ１６５と、表示装置１６６と、インタフェース部１６７とを接続するものである。
ユーザがキーボードやマウス等の入力装置１６４を介して操作コマンドを入力すると、コンピュータプログラムの指令コードは、プロセッサ１６５に所定のデータ処理アルゴリズムを実行させ、データ処理の結果を、ＬＣＤディスプレイ等の表示装置１６７に表示させたり、印刷等のハードコピーの形態で直接に出力したりする。また、コンピュータのプロセッサ１６５は、ソフトウェアプログラムを実行することによって、各候補領域に銃器が含まれる信頼度を算出すると共に、前記信頼度が所定の閾値より大きい場合、前記候補領域に銃器が含まれていると判断するように配置されても良い。また、プロセッサ１６５は、ソフトウェアプログラムを実行することによって、複数の候補領域に同一の銃器が含まれる場合、各候補領域で銃器の画像を標記すると共に、前記複数の候補領域における銃器の画像を統合することによって、銃機の位置を取得するように配置されても良い。
本開示の実施例によると、本開示の銃器自動検出は、主として深層学習の方法に基づくものであり、ＣＮＮネットワークを用いて訓練を行うことで、検出モデルを取得する。例えば、畳み込み神経回路網に基づいて、放射線画像における銃器の領域が自動的に検出される。畳み込みネットワークを訓練する先に、銃器検出データベースを構築して、畳み込みネットワークを訓練する。
図３は、本開示の実施例による訓練用データベースを構築する過程を示す模式図である。図３に示すように、銃器検出データベースの構築は、主に、画像収集と、画像前処理と、注目領域抽出との三つの部分に分けられる。
ステップＳ３１０では、サンプルの画像を取得する。例えば、かなりの数量の小型物品である銃器の画像を収集し、画像データベースが色々な配置形態と異なる数量での銃器の画像を含むようにして、銃器の画像ライブラリである｛Ｘｂａｒ｝を取得する（「Ｘｂａｒ」とは、Ｘの文字の上にバーをつける符号を表す）。サンプルが多様であればこそ、本開示の銃器検出アルゴリズムが一般性を持つようになる。
ステップＳ３２０では、画像を前処理する。例えば、各種類の小型物品を走査する走査装置に適用するために、画像を取得するとき、画像を正規化することができる。具体的には、オリジナルの２次元画像信号をＸとし、走査装置の物理的パラメータに従って、Ｘの解像度を５ｍｍ／画素にスケーリングして、階調伸張処理を行うと、正規化された画像Ｘｂａｒを取得することができる。
ステップＳ３３０では、注目領域（ＲＯＩ、Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を抽出する。例えば、Ｘｂａｒにおける空気部分を検出して検出過程から除外する。すると、演算の速度を向上すると共に、空気によって誤判断が発生することを避けることができる。例えば、Ｘｂａｒのヒストグラムを統計し、ヒストグラムで最も明るいピークａを演算し、それを中心とする空気正規分布(ａ,σａ)をフィッティングした場合、閾値を ｔａ=ａ-３*σａに設定する。Ｘｂａｒにおいて、ｔａよりも大きい画素は空気であると判定され、それに対しては検出演算を行わない。このように、走査して得られた階調画像において、銃器を単位にして、手作業で銃器の位置を標記し、銃器位置の座標（ｘ,ｙ,ｗ,ｈ）を提供することができる。ただし、ｘとｙは、銃器に外接する矩形枠の左下頂点の座標であり、ｗは幅であり、ｈは高さである。
図４は、銃器検出ネットワークモデルを構築する過程を示す模式図である。図４に示すように、本開示の実施例において、領域提案（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ）の方法を採用し、ＲＰＮネットワークを用いて、候補領域の抽出とＣＮＮ分類を組み合わせることによって、エンドツーエンドの銃器検出ネットワークの構築を実現する。ステップＳ４１０では、銃器サンプルの透過画像を取得する。例えば、上記構築された銃器サンプルの画像データベースからサンプルの透過画像を取得する。ステップＳ４２０では、ＲＰＮとＣＮＮの畳み込み層を統合して、初期検出ネットワークを取得する。そして、ステップＳ４３０では、サンプルの透過画像に基づいて、初期検出ネットワークを訓練して、銃器検出神経回路網を取得する。
本開示の実施例で、アルゴリズムとしてＲＰＮモジュールとＣＮＮ検出モジュールが用いられる。訓練の形態には、交替訓練と統合訓練との２種類がある。統合訓練は交替訓練に比べて、逆回帰で二つのネットワークの共有層がＲＰＮネットワークの損失とＣＮＮネットワークの損失とを合わせることに異なっている。図５は、交替訓練の例を示しているが、具体的な訓練は以下の通りである。
ステップＳ５１０では、初期化する。まず、入力画像を、短辺が６００画素以内にあるサイズにスケーリングし、プレ訓練モデル（ｐｒｅ-ｔｒａｉｎｉｎｇ ｍｏｄｅｌ）によってＲＰＮネットワークとＣＮＮ検出ネットワークの重みを初期化する。ただし、可視層と隠れ層の初期バイアスをａ,ｂとし、初期の重み行列をＷとし、バイアス行列と重み行列の増量をΔａ,Δｂ,ΔＷとする。プリ訓練モデルによってネットワークを初期化すると、当該モデルがある程度で最適化されることができ、ランダム初期化よりも時間とリソースを節約することができる。
ステップＳ５２０では、候補領域を抽出する。ＣＮＮネットワークの最後の層から抽出された特徴マップで、ｎ＊ｎのスライドウィンドによって、長さがｍ次元のフル接続である特徴を生成し、各スライドウィンドで注目領域と組み合わせて、異なるスケールと画像のアスペクト比に基づいて候補領域Ｘ＝｛ｘ１ arrow,ｘ２ arrow,ｘ３ arrow,…,ｘｋ arrow｝を生成する（「ｘ１ arrow」…「ｘｋ arrow」とは、「ｘ１」…「ｘｋ」の文字の上にそれぞれ右向きの矢印をつける符号を表す）。ここで、ｋは、抽出される候補領域の数量である。そして、この層の特徴で、矩形枠分類層と矩形枠回帰層との二つの分岐されたフル接続層を生成するが、この二つの異なる層には、それぞれ２＊ｋと４＊ｋの候補領域が含まれる。
ステップＳ５３０では、正・負サンプルのラベリングを行う。候補領域を抽出した後、候補領域に対して正・負サンプルのラベリングを行う必要がある。ラベリングの規則として、候補領域の矩形枠と真値の重なる部分が０．７より大きい場合、正サンプルと判定し、候補領域の矩形枠と真値の重なる部分が０．３より小さい場合は、負サンプルと判定し、残りは除去して訓練で用いられない。
ステップＳ５４０では、得られた候補領域を得られたＣＮＮ検出ネットワークと組み合わせることで、検出ネットワークを微調整する。このステップで、二つのネットワークは、畳み込み層のデータを共有しない。
ステップＳ５５０では、訓練されたネットワークに基づいてＲＰＮを初期化し、ＲＰＮネットワークを訓練する。このステップで、畳み込み層のデータを一定にし、ＲＰＮに属する部分のネットワーク層のみを微調整する。なお、このステップで、二つのネットワークは、畳み込み層を共有する。
ステップＳ５６０では、畳み込み層を共有する状態をそのまま維持し、ＣＮＮ検出ネットワークを継続して微調整して、収束するまでバイアス行列と重み行列を以下数式１のように変更する。
Figure 2018113038
このようにして、最終の銃器検出ネットワークモデルを構築する。ただし、ｎｓは訓練サンプルの数量であり、可視層と隠れ層の初期バイアスはａ,ｂであり、初期重み行列はＷであり、バイアス行列と重み行列の増量はΔａ,Δｂ,ΔＷである。そして、ηはネットワークのバイアスと重みを更新する学習率であるが、（０，１）の範囲にある。
図６は、本開示の実施例による銃器を検出する過程の概略を示すフローチャートである。図６に示すように、銃器検出は、主に、画像前処理と銃器検出との二つの部分に分かられる。ステップＳ６１０では、図１に示す検査システムによって、被検体に対してＸ線検査を行い、透過画像を取得する。例えば、このステップでは、画像に前処理を行ってもよい。上記した画像前処理によって収集された銃器画像の情報に対して前処理を行う。例えば、各種類の小型物品の走査装置に適用するために、画像を取得するときに画像を正規化することができる。具体的には、オリジナルの２次元画像信号をＸとし、走査装置の物理的パラメータに従って、Ｘの解像度を５ｍｍ／画素にスケーリングして階調伸張処理を行うと、正規化された画像Ｘｂａｒを取得することができる。
ステップＳ６２０では、訓練された銃器検出神経回路網を用いて前記透過画像における複数の候補領域を特定する。例えば、得られた銃器の前処理された画像を、モデル構築ネットワークのサブセットである検出ネットワークに入力して、入力画像に複数の候補領域を生成する。一般的に、同一の銃器を含む複数の候補領域が検出されるが、候補領域のサイズは異なっている。また、荷物に複数の銃器が含まれる場合、銃器ごとに複数の候補領域を生成することができる。
ステップＳ６３０では、銃器検出神経回路網に基づいて、前記複数の候補領域を分類することで、前記透過画像に銃器が含まれているか否かを特定する。例えば、銃器検出神経回路網によって候補領域を分類し、当該領域の銃器の信頼度が所定の閾値、例えば０．９よりも大きい場合、当該領域に銃器が存在すると判定する。
図７は、本開示の実施例による荷物における銃器が検出された状況を示す模式図である。図７に示すように、矩形枠でラベリングを行うことで、最後に、銃器が存在する候補領域の全てを統合して最終的な銃器の位置を取得することができる。
上記した実施例の銃器自動検出は、小型物品の走査画像から銃器を検出することができ、従来検出におけるバグ及び人工判断の効果が悪い問題を回避することができ、銃器の不法な携帯行為と戦うのに重要な意義がある。
以上に示す詳細の記載は、模式図、フローチャット及び／又は例示によって、検査機器および荷物における銃器を検出する方法に係る複数の実施例を説明した。このような模式図、フローチャット及び／又は例示が、一つ又は複数の機能及び／又は操作を含む場合、当業者は、このような模式図、フローチャット又は例示における各機能及び／又は操作が、色々なハードウェア、ソフトウェア、ファームウェア又は実質上のこれらの任意の組み合わせによって、個別及び／又は共同で実現可能であることを理解できるだろう。一つの実施例において、本発明の実施例の前記主題のいくつかの部品は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、またはその他の集積フォーマットで実現できる。当業者は、ここで開示された実施例の一方が、全体または部分的に集積回路で等価的に実現されてもよいことを理解できるだろう。例えば、一つ又は複数のコンピュータで実行される一つ又は複数のコンピュータプログラム（例えば、一つ又は複数のコンピュータシステムによって実行される一つ又は複数のプログラム）によって実現されてもよく、一つ又は複数のプロセッサで実行される一つ又は複数のプログラム（例えば、一つ又は複数のマイクロプロセッサで実行される一つ又は複数のプログラム）によって実現されてもよく、ファームウェアによって実現されてもよく、又は、実質上に上記形態のいずれの組み合わせによって実現されてもよい。また、当業者は、本開示を元に、回路の設計及び／又はソフトウェアの書き込み及び／又はファームウェアのコーディングの能力を備えることになろう。また、当業者は、本開示のメカニズムは、複数の形態のプログラム製品として発行されてもよく、発行を支持する信号担体媒体の具体的な類型が何になっても、本開示の例示的な実施例は依然として適用可能であることを理解できるだろう。信号担体媒体の例示として、例えば、ソフトディスク、ハートディスクドライバ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ等の記録可能な記録媒体や、デジタル及び／又はアナログ通信媒体（例えば、光ファイバ、導波管、有線通信リング、無線通信リング等）の搬送媒体を含むが、これらに限定されない。
以上、本発明の典型的な実施例に基づいて本発明を説明したが、当業者は、使用された用語が、説明および例示のためであり、本発明を限定するものではないことを理解すべきである。また、本発明は、精神又は主旨を逸脱しない限り、色々な形態で具体的に実施できるため、上記した実施例は、前述の詳細に限らず、特許請求の範囲内で広く解釈すべきである。特許請求の範囲または等価範囲内での全ての変更や改進は、特許請求の範囲に含まれる。

Claims (10)

  1. 荷物に対してＸ線検査を行い、透過画像を取得するステップと、
    訓練された銃器検出神経回路網に基づいて、前記透過画像における複数の候補領域を特定するステップと、
    前記銃器検出神経回路網に基づいて、前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するステップと、を含む荷物における銃器を検出する方法。
  2. 各候補領域に銃器が含まれる信頼度を算出すると共に、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断する、請求項１に記載の荷物における銃器を検出する方法。
  3. 複数の候補領域のそれぞれに同じ銃器が含まれる場合、各候補領域における銃器の画像を標記するとともに、銃器の位置を取得するために、前記複数の候補領域における銃器の画像を統合する、請求項１に記載の荷物における銃器を検出する方法。
  4. 前記銃器検出神経回路網は、銃器サンプルの透過画像を構築する操作と、ＲＰＮとＣＮＮの畳み込み層を統合して初期検出ネットワークを取得する操作と、サンプルの透過画像に基づいて初期検出ネットワークを訓練して、銃器検出神経回路網を取得する操作とによって訓練されて得たものである、請求項１に記載の荷物における銃器を検出する方法。
  5. 初期検出ネットワークを訓練するステップは、
    ＲＰＮとＣＮＮとの間で畳み込み層のデータを共有しない場合、サンプルの透過画像から特定された複数のサンプル候補領域によって初期検出ネットワークを調整するステップと、
    ＲＰＮとＣＮＮとの間で畳み込み層のデータを共有する場合、ＲＰＮを訓練するステップと、
    ＲＰＮとＣＮＮとの間で共用する畳み込み層のデータを変えずに、前記初期検出ネットワークを収束するまで調整して、銃器検出神経回路網を取得するステップと、を含む、請求項４に記載の荷物における銃器を検出する方法。
  6. 前記初期検出ネットワークを訓練するステップは、複数のサンプル候補領域から、人工的に標記された銃器の矩形枠との重なり面積が閾値より小さいものを削除するステップをさらに含む、請求項５に記載の荷物における銃器を検出する方法。
  7. 荷物に対してＸ線検査を行い、透過画像を取得するＸ線検査システムと、
    前記透過画像を格納するメモリと、
    訓練された銃器検出神経回路網に基づいて、前記透過画像における複数の候補領域を特定し、且つ前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するように構成されたプロセッサと、を備える検査機器。
  8. 前記プロセッサは、各候補領域に銃器が含まれる信頼度を算出するとともに、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断するように配置されている、請求項７に記載の検査機器。
  9. 前記プロセッサは、複数の候補領域のそれぞれに同一の銃器が含まれる場合、各候補領域における銃器の画像を標記すると共に、銃器の位置を得るために、前記複数の候補領域における銃器の画像を統合するように配置されている、請求項７に記載の検査機器。
  10. 前記メモリには、銃器サンプルの透過画像が格納されており、
    前記プロセッサは、ＲＰＮとＣＮＮの畳み込み層を統合して初期検出ネットワークを取得する操作と、サンプルの透過画像に基づいて初期検出ネットワークを訓練して、銃器検出神経回路網を取得する操作とによって訓練されて、前記銃器検出神経回路網を取得するように配置されている、請求項７に記載の検査機器。
JP2018003565A 2017-01-12 2018-01-12 検査機器および荷物における銃器を検出する方法 Pending JP2018113038A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710021887.6 2017-01-12
CN201710021887.6A CN108303748A (zh) 2017-01-12 2017-01-12 检查设备和检测行李物品中的***的方法

Publications (1)

Publication Number Publication Date
JP2018113038A true JP2018113038A (ja) 2018-07-19

Family

ID=60997312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018003565A Pending JP2018113038A (ja) 2017-01-12 2018-01-12 検査機器および荷物における銃器を検出する方法

Country Status (4)

Country Link
US (1) US20180195977A1 (ja)
EP (1) EP3349048B1 (ja)
JP (1) JP2018113038A (ja)
CN (1) CN108303748A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152023B1 (ko) * 2019-12-23 2020-09-07 주식회사 인씨스 X-Ray 검색장비 영상 자동판독 보조프로그램을 구동하는 시스템 및 이를 이용한 방법
JPWO2021085019A1 (ja) * 2019-10-31 2021-05-06

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11335083B2 (en) * 2018-01-31 2022-05-17 Cyberdyne Inc. Object identification device and object identification method
CN109472309A (zh) * 2018-11-12 2019-03-15 南京烽火星空通信发展有限公司 一种x光安检机图片物体检测方法
CN111223104B (zh) * 2018-11-23 2023-10-10 杭州海康威视数字技术股份有限公司 一种包裹提取及跟踪方法、装置及电子设备
CN109374658B (zh) * 2018-12-24 2022-05-03 电子科技大学 双视角x射线安检***的神经网络重建断层成像方法
CN111382762A (zh) * 2018-12-28 2020-07-07 同方威视技术股份有限公司 空箱识别方法及***
US10430691B1 (en) * 2019-01-22 2019-10-01 StradVision, Inc. Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
US10387752B1 (en) * 2019-01-22 2019-08-20 StradVision, Inc. Learning method and learning device for object detector with hardware optimization based on CNN for detection at distance or military purpose using image concatenation, and testing method and testing device using the same
US10423860B1 (en) * 2019-01-22 2019-09-24 StradVision, Inc. Learning method and learning device for object detector based on CNN to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
US10402695B1 (en) * 2019-01-23 2019-09-03 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×H convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
US10387754B1 (en) * 2019-01-23 2019-08-20 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×H convolution to be used for hardware optimization, and testing method and testing device using the same
CN110298386B (zh) * 2019-06-10 2023-07-28 成都积微物联集团股份有限公司 一种基于图像内容的标签自动化定义方法
CN112239943B (zh) * 2019-07-17 2023-10-24 青岛海尔智能技术研发有限公司 用于衣服识别的方法、装置及叠衣***
CN110648300A (zh) * 2019-09-09 2020-01-03 深圳码隆科技有限公司 图像数据合成方法、装置、计算机设备和存储介质
JP7373840B2 (ja) * 2019-10-03 2023-11-06 株式会社 システムスクエア 検査装置
CN112036494A (zh) * 2020-09-02 2020-12-04 公安部物证鉴定中心 一种基于深度学习网络的***图像识别方法和***
CN112287908B (zh) * 2020-12-24 2021-08-10 成都智元汇信息技术股份有限公司 一种基于人工智能的安检快速图片识别方法及***
CN115393652B (zh) * 2022-09-20 2023-07-25 北京国电通网络技术有限公司 基于对抗网络的人工智能模型更新方法、识别方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223482A (ja) * 1993-06-22 1995-08-22 Ishikawajima Harima Heavy Ind Co Ltd Ｘ線検査車両及び装置
JP2007517275A (ja) * 2003-10-30 2007-06-28 バッテル メモリアル インスティチュート 隠蔽された物体の検知
WO2008009134A1 (en) * 2006-07-20 2008-01-24 Optosecurity Inc. Methods and systems for use in security screening, with parallel processing capability

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217225B (zh) * 2014-09-02 2018-04-24 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN106295668A (zh) * 2015-05-29 2017-01-04 中云智慧（北京）科技有限公司 一种鲁棒的***检测方法
CN105631482A (zh) * 2016-03-03 2016-06-01 中国民航大学 一种基于卷积神经网络模型的危险物品图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223482A (ja) * 1993-06-22 1995-08-22 Ishikawajima Harima Heavy Ind Co Ltd Ｘ線検査車両及び装置
JP2007517275A (ja) * 2003-10-30 2007-06-28 バッテル メモリアル インスティチュート 隠蔽された物体の検知
WO2008009134A1 (en) * 2006-07-20 2008-01-24 Optosecurity Inc. Methods and systems for use in security screening, with parallel processing capability

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN: "Faster R-CNN: Towards Real-Time Object Detection with Region Rroposal Networks", COMPUTER VISION AND PATTERN RECONGNITION, vol. version, v3, JPN6019005210, 6 January 2016 (2016-01-06), US, pages 1 - 14, XP093148205, ISSN: 0004246143 *
清水 宏: "Ｘ線を用いた荷物検査システム", 映像情報 1996/10, vol. 第28巻 第19号 1996/10, JPN6019005211, 1 October 1996 (1996-10-01), JP, pages 45 - 48, ISSN: 0003978840 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021085019A1 (ja) * 2019-10-31 2021-05-06
WO2021085019A1 (ja) * 2019-10-31 2021-05-06 アイテック株式会社 手荷物非破壊検査システム、手荷物非破壊検査方法、プログラム、及び記録媒体
JP7333497B2 (ja) 2019-10-31 2023-08-25 アイテック株式会社 手荷物非破壊検査システム、手荷物非破壊検査方法、プログラム、及び記録媒体
TWI830959B (zh) * 2019-10-31 2024-02-01 日商日本信號股份有限公司 手提行李非破壞檢查系統、手提行李非破壞檢查方法、程式、及記錄媒體
KR102152023B1 (ko) * 2019-12-23 2020-09-07 주식회사 인씨스 X-Ray 검색장비 영상 자동판독 보조프로그램을 구동하는 시스템 및 이를 이용한 방법

Also Published As

Publication number Publication date
EP3349048A1 (en) 2018-07-18
CN108303748A (zh) 2018-07-20
EP3349048B1 (en) 2020-03-11
US20180195977A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
JP2018113038A (ja) 検査機器および荷物における銃器を検出する方法
JP6678192B2 (ja) 検査機器および銃器検出方法
WO2015067208A1 (zh) 检查方法和设备
CN110018524B (zh) 一种基于视觉-属性的x射线安检违禁品识别方法
EP3655923B1 (en) Weakly supervised anomaly detection and segmentation in images
US9552521B2 (en) Human body security inspection method and system
US10796436B2 (en) Inspection apparatuses and methods for segmenting an image of a vehicle
US20130034298A1 (en) Image-based crack detection
WO2016107481A1 (zh) 检查方法和***
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
WO2019154383A1 (zh) 刀具检测方法及装置
Ren et al. Diabetic macular edema grading in retinal images using vector quantization and semi-supervised learning
JP2016181098A (ja) 領域検出装置および領域検出方法
CN105510364A (zh) 基于x射线的工业部件缺陷的无损检测***及其检测方法
WO2015010619A1 (zh) 人体安全检查的隐私保护方法和人体安全检查***
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
WO2017101514A1 (zh) 检查货物的方法、***和装置
Wan et al. Crack detection for concrete bridges with imaged based deep learning
Ashraf et al. Detection of road cracks using convolutional neural networks and threshold segmentation
EP3349049B1 (en) Inspection devices and methods for inspecting a container
Sheiati et al. Deep learning-based fatigue damage segmentation of wind turbine blades under complex dynamic thermal backgrounds
CN203535244U (zh) 人体安全检查设备
KR20200005853A (ko) 심층 구조 학습 기반 사람 계수 방법 및 시스템
Putri et al. Deep Learning-Based Anomaly Detection to Find Changes over the Martian South Pole

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200305

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200305

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200313

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200317

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200403

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200407

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200714

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200811

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201020

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201124

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201124