JP2016535888A - 検出方法及びその機器 - Google Patents

Abstract

本発明は、検出方法及びその機器を提供している。前記方法は、被検体の透視画像を取得するステップと、前記透視画像を処理して注目領域を取得するステップと、タバコモデルに応じて注目領域を自動的に検出することで、前記透視画像の注目領域がタバコであるか否かを決定するステップと、を含む。本発明は、貨物、特にコンテナに対して走査を行うことでタバコを検出するため、伝統的な方式による検出抜けや人為判断効果の不良を防止することができ、タバコの密輸を打撃することに対して重要な意義を持っている。【選択図】図３

Description

本発明の実施例は、放射線画像の容疑物に対する自動検出に関し、具体的には、大型コンテナの走査システムのタバコの検出方法及び保安検出機器に関する。

タバコ密輸の打撃は、非常に重要なことである。タバコ密輸は、世界で麻薬の密輸に次いで第２番目の密輸活動と認められている。数十年以来、各国は、タバコの密輸を積極的に打撃してきたが、密輸されたタバコの量は、依然として増加している。密輸されたタバコは、１９９６年にタバコ総量の６.５％を占め、２００９年は１１.６％を占めて６７５０億本になり、各国の政府に４千億ドルの損失を蒙らせた。なお、タバコの密輸は、人間の健康を脅かすだけでなく、政府税金の徴収にも影響している。そして、犯罪組織やテロ組織の財源となり、ひいては麻薬の密輸にも経費を提供している。欧州連合は、「全ての国際犯罪組織は、タバコの密輸に係わっている」という宣言をしたこともある。タバコ密輸による危害は、悪化していくが、それは、検出手段の不十分が原因で、犯罪者に機会を提供したと考えられる。

今、世の中には、タバコ密輸を検出する効果的な手段が足りない。タバコに、バーコードやウォーターマークを使用しているが、このような手段では、タバコが通過（transit）する時効果的に検出しにくく、その効果は非常に低いのが現実である。研究によると、タバコ密輸は、主にコンテナによって大量運搬されている。放射イメージングによると、貨物や荷物などを透視してイメージングすることで、侵入なしの検出を達成することができる。今、放射イメージングは、空港や税関、駅、大型の集会などに幅広く適用されており、禁制品の保安検出分野で最も重要な手段である。コンテナの検出において、コンテナにおける貨物の画像を取得しても、貨物の種類や検出者の経験にしたがって、密輸物品の確率が低くなるため、人為的な判断結果はよくない。

近年、パターン認識、画像処理などの関連学科の発展に伴い、禁制品の自動検出は、業界及び学界から注目されている。しかし、今、大型コンテナのデジタルラジオグラフィ（ＤＲ：Digital Radiography）による画像に対する自動検出に関する文献は、非常に少ない。イメージング手段や適用分野、データソースなどの色々な要素からの影響のため、小型荷物の保安検出機器に関する研究が多い。例えば、二重エネルギＤＲやコンピュータ断層撮像（ＣＴ：Computed Tomography）等がある。特に、爆発物やガンの自動検出は、航空安全に直接に関連するため、研究者の更なる注目を受けている。タバコ密輸という特定な分野について、まだ対応する文献が公開されていない。

物体検出（Object Detection）は、コンピュータ視覚、パターン認識分野のホットな話題である。画像検索の発展に伴って、参照可能な研究成果が出てきた。特に、物体検出の効果は、ＨＯＧ（Histogram of Oriented Gradients）特徴、ＤＰＭ（Deformable Part-based Model）によるアルゴリズム、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ方法によって、大幅に向上させている。本発明は、以上のような研究に鑑み、放射画像におけるタバコモデルを鋭意に研究し、良好な効果を取得した。

上記問題に対して、本発明の実施例は、必要に応じて、コンテナＤＲ画像を基礎とし、物体自動検出に関連する研究に鑑み、新たなタバコ密輸の自動検出方法を提出している。コンテナの検出過程において、放射線走査撮像手段で、アルゴリズムによって、画像にタバコがあるか否かを自動的に検出することをその目的とする。タバコが存在する場合、画像におけるタバコの位置を提供し、密輸であるか否かに関する人為的な判断をアシストする。

人間をアシストする目的のために、アルゴリズムの性能も考慮しなければならない。検出アルゴリズムは、通知の誤り率及び抜け率が低いだけではなく、リアルタイム検出でなければならない。本発明の実施例は、タバコパターンに対する鋭意な研究によって、良好な効果を取得した。アルゴリズムの通知の誤り率が０.５％より小さく、抜け率が１０％より小さく、これらを１秒内に完成可能であるため、上記した要求を満たすことができる。

なお、アルゴリズムが、特定の適用を満たすように、自己学習機能を有することが好ましい。アルゴリズムは、タバコであるが検出されない画像に対して自己学習することで、タバコの外装が変化するとタバコのパターンが変化してしまうことに対応できる。確認メカニズムは、タバコの画像に対する人為的入力及び税関申告書等による自動取得などを含む。

本発明の実施例によれば、タバコをコンテナ保安検出透視画像から自動的に検出する方法を提供する。前記方法は、被検体の透視画像を取得するステップと、前記透視画像を処理して注目領域を取得するステップと、タバコモデルに応じて注目領域を自動的に検出することで、前記透視画像の注目領域がタバコであるか否かを決定するステップと、を含む。

コンテナはそのボリュームが大きいので、リアルタイムに検出するためには、画像の解像度があまり高くなくてもよい。５ｍｍ／ピクセルの画像を例にすると、画像において、複数のタバコは、帯状になっている。しかし、これは、タバコ自身ではなく、タバコの外装を反映している。これは、喫煙の危害を低減し、個性的な外装が少年を誘うことを防止するため、各国でのタバコ外装が統一化されてきたからである。そのおかげで、効率的に検出を行うことになった。本発明は、上記特徴を利用し、画像の取得、注目領域の取得、タバコモデルの組み立て、及び、自動検出等のステップによって、コンテナ保安検出透視画像におけるタバコを正確で高速に認識することができる。

ある実施例によれば、前記タバコモデルに応じて注目領域を自動的に検出するステップの前に、タバコ画像データベースを組み立てるステップと、前記タバコ画像データベースの画像を処理してそれぞれの注目領域を取得するステップと、を含むタバコモデルを組み立てるステップをさらに含む。

前記タバコ画像データベースにおける画像の注目領域から、特徴を抽出するステップと、抽出された特徴に基づいて、分類器を訓練させて、前記タバコモデルを生成するステップと、を含む。

ある実施例によれば、前記タバコ画像データベースを組み立てるステップは、コンテナにおけるレイアウト姿勢と数量の異なるタバコを走査して、タバコモデルのポジティブサンプルデータベースを取得するステップと、タバコに類似する物体及びランダム物体の画像をサンプリングして、全ての画像がタバコを含まないタバコモデルのネガティブサンプルデータベースを形成するステップと、を含む。

ある実施例によれば、前記タバコモデルを組み立てるステップにおいて、各規則で重畳されたタバコの走査画像は、幅の異なる多種のパターンに区画され、前記多種のパターンによって前記タバコモデルのポジティブサンプルデータベースを生成する。

ある実施例によれば、前記タバコ画像データベースにおける画像の注目領域から特徴を抽出するステップは、箱を単位として、タバコの位置を人為的にマーキングして、前記多種のパターンのポジティブサンプルの特徴集合を形成するステップと、複数のサンプルをネガティブサンプルデータベースからランダムに抽出して、特徴を抽出することで、ネガティブサンプルの特徴集合を形成するステップと、を含む。

ある実施例によれば、抽出された特徴に基づいて分類器を訓練させるステップは、 （１）ポジティブサンプルとネガティブサンプルの特徴集合が規定された場合、分類器を訓練させるステップと、（２）分類器によって、ポジティブサンプルとネガティブサンプルを分類するステップと、（３）結果の信頼度に応じて、分類しやすいネガティブサンプルを除去し、十分なランダムネガティブサンプルを追加するステップと、（４）分類器の分類結果の変化が十分に小さい、または、繰返し回数が十分になるまでに、上記ステップ（１）、ステップ（２）、及び、ステップ （３）を繰り返すステップと、を含む。

ある実施例によれば、前記方法は、タバコが検出されなかった画像に対して、人為的なマーキングまたは税関申告書に対する自動解析によって、新たなタバコ画像を取得することで、タバコモデルを更新するステップを、さらに含む。

実際の検出において、検出環境（走査方式、コンテナ状況などを例とするが、これらに限らない）や走査機器、レイアウトパターンが異なる場合、タバコ画像の組み立てられたモデルに対する差異が大きくなる場合がある。本発明の方法を、より具体的な検出環境、走査機器及びレイアウトパターンに適用するために、本発明の実施例によれば、前記方法は、自己学習機能を更に含む。タバコモデルを絶えず更新することによって、前記方法は、検出環境や走査機器の異なる状況、及びより多くの外装形態のタバコに適用される。

ある実施例によれば、被検体の透視画像を取得するステップにおいて、画像のサイズを均一の解像度にスケーリングし、階調の伸張を行うことで、画像領域が取りうる範囲全体になるようにして、正規化の操作を行う。

ある実施例によれば、前記透視画像を処理して注目領域を取得するステップにおいて、検出結果に空気のノイズによるものがないように、前記透視画像における空気部分を除去する。

ある実施例によれば、前記透視画像を処理して注目領域を取得するステップにおいて、空気輝度閾値の方法によって、空気値に基づいて前記透視画像を二値化して、閾値以下の画像部分のみに対してタバコ検出を行う。

ある実施例によれば、タバコモデルに応じて注目領域を自動的に検出するステップは、検出する画像を決定し、正規化及び注目領域の取得によって、注目領域のＨＯＧ特徴を生成するステップと、スライディングウィンドウによって移動して、多種のパターンでの各ウィンドウの最大信頼度を求めるステップと、信頼度が特定の閾値より大きいところをタバコの位置にするステップと、を含む。

ある実施例によれば、複数のサイズの下でタバコを検出する。

本発明の実施例は、被検体に対して放射線検出を行い、被検体の透視画像を取得するデジタル放射線撮像装置と、前記透視画像を処理して注目領域を取得し、タバコモデルに応じて注目領域を自動的に検出することで、前記透視画像の注目領域がタバコであるか否かを決定する画像処理装置と、を備える検出機器を更に提供する。

ある実施例によれば、前記機器は、タバコの密輸を自動的に検出する。

本発明の実施例は、貨物、特にコンテナ走査画像に対してタバコ検出を行い、伝統方式による検出抜け及び人為判断効果の不良の課題を避けることができ、タバコ密輸を打撃することに対して重要な意義を持っている。本発明は、本分野において、検出アルゴリズムによってタバコ密輸を自動的に判断する技術案を初めに提出し、良好な性能及び実用性を有することが検証された。

以下の実施例によって、本発明の各形態を明瞭に説明する。
図１は、本発明の実施例による検出機器を示す構造模式図である。 図２は、本発明の実施例による検出機器を示す構造ブロック図である。 図３は、本発明の実施例によるタバコ自動検出方法を示すフローチャートである。 図４は、本発明の実施例によるタバコモデルの組み立てを示すフローチャートである。 図５は、タバコの６種類のレイアウトを示す。 図６は、コンテナにおけるタバコを走査することを示す模式図である。 図７は、タバコ画像の３つのパターンを示す。 図８は、本発明の実施例による自動検出を示すフローチャートである。 図９は、本発明の実施例によるタバコの検出結果を示す模式図である。 図１０は、本発明の実施例による自己学習を示すフローチャートである。

以下、本発明の具体的な実施例を詳細に説明する。ここで説明される実施例は、例示に過ぎず、本発明を限定するものではない。以下、本発明を明瞭に理解させるために、多くの特定細部を説明する。しかし、これらの特定細部によって本発明を実行する必要がないことを、当業者は理解できるだろう。他の実施例において、本発明を混同しないように、公知の回路、材料又は方法は具体的に説明しない。

明細書において、「一実施例」、「実施例」、「一例示」又は「例示」は、当該実施例又は例示を組み合わせて説明する特定な特徴、構造又は特性が本発明の少なくとも一実施例に含まれるという意味である。そのため、明細書の各所に出現される「一実施例に」、「実施例に」、「一例示」又は「例示」は、必ず同一実施例又は例示を指すものではない。また、いずれの適宜な組合せ、及び／又は、サブ組合せによって、特定な特徴、構造又は特性を１つ又は複数の実施例又は例示に組み合わせることができる。また、当業者は、ここで開示される図面は、説明のためで、比例的に描絵されたものでないことを理解できるだろう。そして、ある素子が別の素子に「接合」又は「接続」されることは、別の素子に、直接に接合又は接続されてもよいし、別途の素子を介してもよいことを理解できるだろう。逆に、ある素子が別の素子に「直接に接合」又は「直接に接続」されることは、別途の素子を介していないことを意味する。同一符号は、同一素子を示す。ここでの「及び／又は」は、１つ又は複数の事項のいずれ又は全ての組合せを含む。

以下、図面を参照しながら、本発明の移動対象に対してイメージング検出を行う機器を説明する。図面に示すように、コンテナ検出機器を一実施例として説明する。以下の開示は、例を組み合わせて本発明を説明することに過ぎず、本発明を下記内容に限定するものではない。

本発明の実施例は、従来技術のタバコ密輸を自動的に検出できなかった課題に対して、検出方法を提出する。当該方法によって、まず、被検体の透視画像を取得する。そして、前記透視画像を処理して注目領域を取得する。次に、タバコモデルに応じて注目領域を自動的に検出して、前記透視画像の注目領域がタバコであるか否かを決定する。このように、例えば、コンテナ付き車両のような移動対象（即ち、検出される武器）を検出する時、車両にタバコ密輸があるか否かを自動的に検出し、画像検出者への報告または画像上での位置決めを正確に行うことができる。

図１は、本発明の一実施形態による検出機器を示すものである。図１に示すように、放射線ソース１１０は、Ｘ線を発生し、コリメータ１２０によって補正された後、移動するコンテナトラック１４０に対して保安検出を行い、検知器１５０によってトラックを透過した放射線を受信して、透過画像を生成する。上記した検出を行うと共に、コンピュータ等の画像処理装置１６０によって透過画像を処理し、タバコがあるか否かを判定する。ある実施例によれば、タバコがあると判定された場合、画像にマーキングしたり、画像検出者に当該コンテナトラックにタバコがあることを報告したりする。

図２は、本発明の実施例の検出機器を示す配置図である。図２に示すように、例えば、加速器２１０の放射線ソース及び検知器２５０は、ハードウェアであり、データ収集制御モジュール２５１は、検知器２５０に接続されて検知器２５０を制御し、制御装置２１１は、加速器２１０に接続されて加速器２１０からのビーム出力及びビーム停止を制御する。

画像検出ステーション２８０及び運行検出ステーション２７０は、走査機器に協力するワークステーションであるが、交換機２６０を介してデータ収集制御モジュール２５１に接続されて通信することによって、画像の判定結果をプリンター２９０によって印刷することができる。スキャナ２７１は、運行検出ステーション２７０に接続され、税関申告書データ等の情報を入力するものである。他の実施例において、例えば、キーボード等の他の入力装置によって情報を入力してもよい。

ある実施例において、上記した機器を利用して、加速器２１０からのＸ線は、被検体２４０を透過し、検知器２５０によって受信されることによって、被検体に対して透過イメージングを行う。例えば、コンピュータ等の画像処理装置（例えば、画像検出ステーション２８０）によって透過画像を処理して、タバコがあるか否かを判定する。ある実施例によれば、タバコがあると判定された場合、画像にマーキングしたり、画像検出者に当該コンテナトラックにタバコがあることを報告したりする。このように、車両のような移動する対象を検出する場合、タバコが存在すると、当該対象の画像で正確に位置決めを行うことができる。

図３は、本発明の実施例によるコンテナの保安検出透視画像に対するタバコ自動検出方法を示す。図３に示すように、ステップＳ３０１で、被検体の透視画像を取得する。ステップＳ３０２で、透視画像を処理して注目領域を取得する。そして、ステップＳ３０３で、タバコモデルに応じて注目領域を検出し、前記透視画像の注目領域がタバコであるか否かを決定する。ある実施例によれば、上記の自動検出方法は、検出する画像からの特徴抽出と、判定と、容疑領域に対するマーキング等を含む。

以下、上記方法における各ステップを実現する方式を詳細に説明する。当業者は、以下の開示は、例示的なものに過ぎず、制限的なものでないことを理解できるだろう。

＜画像の取得＞
走査機器は、放射線ソースのエネルギ量／放射線量および検知器のサイズにしたがって、取得される画像が異なる。これは、画像に対して正規化処理を行うことによって、差異を低減させることが好ましい。

コンテナは、ボリュームが大きいため、リアルタイムに検出する場合、画像の解像度が高くなくてもよい。５ｍｍ／ピクセルの画像を例にすると、画像において、複数のタバコは帯状を呈しているが、これは、タバコ自身ではなくタバコの外装を反映することである。これは、喫煙の危害を低減し、個性的な外装が少年を誘うことを防止するため、各国でのタバコ外装が統一化されたからである。そのおかげで、効果的な検出を行うことになった。したがって、一般性を失うことなく、画像のサイズを例えば約５ｍｍ／ピクセルの均一の解像度にスケーリングし、階調の伸張を行うことで、画像値の範囲が取りうる範囲全体になるようにして、正規化の操作を行う。

以上に例示された画像の画素解像度が５ｍｍ／ピクセルであるが、当業者は、上記した解像度は唯一の選択ではなく、タバコ外装の実際のサイズに応じて、上記した解像度を適宜に補正することができることを理解できるだろう。

＜注目領域の抽出＞
検出を行う前に、検出結果に空気のノイズによるものがないように、画像における空気部分を除去することが好ましい。選択的には、空気輝度閾値の方法によって、空気値に基づいて画像を二値化することができる。例えば、空気の輝度閾値を予め設定し、輝度が前記輝度閾値を超える領域を空気領域にすることができる。したがって、閾値以下の画像部分のみに対して、タバコの検出を行えばよい。

＜モデルの組み立て＞
物体の検出は、主に、スライディングウィンドウ（Sliding Window）による方法と、サブ領域（Sub Region）による方法との２種を含む。前者は、移動方式であるが、所定サイズのウィンドウによって画像上をスライドすることで、各画素が各寸法に対象物体であるか否かを算出する。後者は、画像分割等の方式であるが、画像における非固定状のサブ領域から、特徴抽出及び対象検出を行う。

発明者の対比研究によると、スライディングウィンドウ方法は、算出量がサブ領域方法より大きいが、精度は、非常に高い。このため、本発明の実施例において、スライディングウィンドウ方法を使用することが好ましい。

図４に示すように、タバコモデルを組み立てるステップは、タバコの画像データベースを組み立てるステップＳ４０１と、注目領域を取得するステップＳ４０２と、特徴を抽出するステップＳ４０３と、分類器を訓練させてタバコモデルを生成するステップＳ４０４と、を含む。

タバコモデルは、タバコの画像パターンをモデル化したものである。このため、画像パターンの抽出は、アルゴリズムの要点である。普通、タバコの外装、レイアウト方式、及び、数量は、タバコ画像の差異を起きる。しかし、外装の統一化のおかげで、この問題は簡単になり、わずかなパターンによって大部分の状況を総括することができる。数量の相違は、画像の階調、スジ強度の変化を招来するが、これは特徴抽出のアルゴリズムで克服すればよい。レイアウト姿勢による影響は、非常に大きいが、発明者は、それらを３つのパターンに分類した。普通、タバコのレイアウト姿勢は、図５の６つのレイアウト姿勢のいずれかである。コンテナに対する走査は、基本的に扇形の放射線ビームを使用するため（図４を参照）、横方向のエッジは、放射線方向に沿って立体的に重畳される。その結果、タバコは、幅の異なる縦スジを呈することになる。発明者の研究によると、タバコの縦スジ状を、図７に示３つのパターンに区画することができる。つまり、図５（ａ）及び（ｄ）は、図７（ａ）に示す広いスジを発生し、図５（ｂ）及び（ｅ）は、図７（ｂ）に示す狭いスジを発生し、図５（ｃ）及び（ｆ）は、図７（ｃ）に示すより狭いスジを発生する。この上で、発明者は、異なるレイアウト姿勢での３つのタバコパターンを提出し、アルゴリズムによってモデルを組み立てた。本発明は、上記した３つのパターンの特徴を利用して、モデルを組み立てた後に、初期の人為的マーキングに依頼せず、自動的に訓練及び／又は学習させる。このため、工夫を大幅に節約すると共に、検出効率及び確度を向上することができる。当業者は、他の実施例において、より多くのレイアウト姿勢によって他のパターンを発生してもよいことを理解できるだろう。

モデルの組み立ては、特徴抽出のアルゴリズム及び分類器に依頼する。上記したように、モデルの組み立て過程は、以下の通りである。

（Ａ）タバコ検出のデータベースを組み立てる。多くのタバコ画像を採集することで、６つのレイアウト姿勢が均一に分布されるようにする。そして、タバコが、最小で１箱、最大でコンテナ全体を占めるという条件で、均一に分布させる。走査して得られる２次元の画像において、箱を単位として、矩形のタバコ領域を人為的にマーキングする。マーキングされた全ての矩形における画像は、ポジティブサンプルデータベースを形成する。また、他のタイプの貨物をランダムに走査して、ネガティブサンプルデータベースを形成する。

（Ｂ）ステップ（Ａ）で取得したタバコ領域全体の画像から、特徴を抽出し、３つのパターンでの３つの特徴集合を形成する。

（Ｃ）サンプル量が十分に大きいネガティブサンプル集合を、ネガティブサンプルからランダムに３つ選択して、特徴を抽出する。

（Ｄ）ステップ（Ｂ）及び（Ｃ）から得られたポジティブ及びネガティブのサンプルに対して、分類器を訓練させる。

（Ｅ）マシーン学習、パターン認識分野の従来のアルゴリズムによって分類器を最適化することができる。例えば、Ｂｏｏｓｔｉｎｇ思想によって、分類しやすいサンプルを廃棄し、新たなランダムサンプルを追加して、誤り率が十分に低い又はアルゴリズムが収束するまでに、ステップ（Ｃ）及びステップ（Ｄ）を繰り返すことで、分類器を取得する。

（Ｆ）従来のアルゴリズムによってポジティブサンプルの位置を調整し、人為的マーキングの誤差による影響を低減する。例えば、ＤＰＭの潜在変数モデリングの思想によって、人為的にマーキングされた位置が正確でない場合、ステップ（Ｄ）で分類器が得られた後、ステップ（Ａ）におけるポジティブサンプルの位置をシフトさせて、分類器によるポジティブサンプルの位置を取得し、ステップ（Ｂ）〜ステップ（Ｅ）を繰り返すことで、最適化された分類器を取得する。

本発明において、タバコモデルの組み立ては、タバコの自動検出と別途に行われてもよい。つまり、タバコモデルを組み立てた後、組み立てられたタバコモデルによって透視画像に対してタバコ検出を自動的に行うことができる。

＜自動検出＞
図６は、タバコを検出する過程を示す。タバコは、放射線ソースに対して移動するが、透過画像を発生して、自動検出を行う。実際に、自動検出は、モデルの組み立て過程のサブ集合である。図８に示すように、ステップＳ８０１において、被検出画像を入力する。ステップＳ８０２において、被検出画像から特徴を抽出する。ある実施例によれば、この過程において、画像を処理して注目領域を取得してもよい。ステップＳ８０３において、被検出画像について、タバコモデルに応じて、各注目領域内の画素点を移動することで、当該点の周辺領域の画像を抽出する。そして、特徴の抽出及び分類判断を行うことで、当該点がタバコの領域であるか否かを判断し、この判断の信頼度を取得する。ステップＳ８０４において、タバコが存在するか否かを判断する。存在する場合、ステップＳ８０５において、各画素がタバコの容疑領域であるか否かの結果を取得し、連通領域の抽出によって、タバコ領域を取得する。存在しない場合、ステップＳ８０６において、「検出されなかった」を出力したり、被検出画像を廃棄する。図９は、タバコの検出を矩形でマーキングした模式図を示す。

＜自己学習＞
異なる検出環境、走査機器及びより多くの外装形式のタバコに適合するように、アルゴリズムは、自己学習機能を備えることが好ましい。自己学習に用いられるアルゴリズムは、モデル組み立てとほぼ一致し、ただ、検出でポジティブサンプルのみを取得する点が異なる（図１０を参照）。

図１０は、本発明の実施例による自己学習のフローチャートを示す。図１０に示すように、ステップＳ１００１において、被検出画像を入力する。ステップＳ１００２において、被検出画像から特徴を抽出する。ある実施例によれば、このステップでは、画像を処理して注目領域を取得してもよい。ステップＳ１００３において、タバコモデルに応じて検出を行う。ステップＳ１００４において、タバコが存在するか否かを判断する。存在する場合、ステップＳ１００５において、各画素がタバコの容疑領域であるか否かの結果を取得した後、連通領域の抽出によって、タバコの領域を取得する。ステップＳ１００６において、検出過程で、アルゴリズムによってタバコが検出されていないことが検出者に発見されて、それをマーキングすると、アルゴリズムは、マーキングされる領域をポジティブサンプルに追加する。そして、ステップＳ１００７において、訓練させなおし、又は、学習を重なることで、更新されたモデルを取得する。得られたモデルに応じて、追加されたサンプルを依然として検出できない場合、今回の更新を放棄する。

なお、税関申告書に対する自動的な解析 （例えば、電子税関申告書におけるキーワードや文字認識）によって、ある走査から得た画像にタバコが含まれることを既に把握した場合、アルゴリズムは、検出によって得られた信頼度マップから、点数が最も高い領域を選択し、タバコであるとデフォルトして、訓練をやりなおす。得られたモデルに応じて、今回走査でもタバコを検出できない場合、今回の更新を放棄する。

＜例示＞
以上の説明において、方法の一般的な形態が開示されている。アルゴリズムの具体的な実施について、既存のアルゴリズムから選択すればよい。例えば、ＨＯＧ、ＤＰＭ、Ｄｅｅｐ Ｌｅａｒｎｉｎｇは、いずれも本発明に直接に適用されることができる。ポジティブサンプル・ネガティブサンプルに対する特徴の抽出、分類によって、検出を実現することができる。具体的には、画像特徴抽出について、例えばＨＯＧ、ＬＢＰ（Local Binary Pattern）、最大応答集合（Maximum Response Sets、ＭＲ８ともいう）のような勾配による記述子、テクスチャ記述子等を使用してもよく、ＢＯＷ（Bag of Words）、テクスチャ表現（Ｔｅｘｔｏｎ）、スパース表現（Sparse Representation）等によって構造化特徴処理を行ってもよい。分類器は、例えばＦｉｓｈｅｒ分類器、ＳＶＭ（Support Vector Machine）、ブースティング（Ｂｏｏｓｔｉｎｇ）、ランダムフォレスト、多層パーセプトロン等のような、各種の線形や非線形、集積分類器、神経回路網を使用することができる。

ここで、ある具体的なアルゴリズムを用いた実施例を開示する。しかしながら、当業者は、本発明の示唆によって、本発明の主旨を逸脱しない限り、実施例の具体的なアルゴリズムを変更又は置き換えてもよいことを理解できるだろう。

１、画像の取得
本発明のアルゴリズムは、大型の貨物／コンテナの走査機器に適用する。アルゴリズムの有効性を確保するために、画像を取得する際に、画像を正規化する必要がある。元の２次元の画像の信号をＸとし、走査機器のパラメーターに応じて、Ｘの解像度を５ｍｍ／ピクセルにスケーリングして階調を伸張することで、正規化された画像

を取得する。

２、注目領域（ＲＯＩ：Region Of Interest）の抽出

における空気部分を検出し、それを除去して、検出から排除する。空気部分の排除は、演算の速度を向上させるとともに、空気による誤りを避けることもできる。

のヒストグラムを統計し、最も明るいピークaを算出し、それを中心とする空気正規分布（ａ，σ_ａ）をフィッティングして、閾値をｔ_ａ＝ａ−３＊σ_ａとする。

において閾値ｔ_ａより大きい画素を空気として、それに対しては検出を行わない。

３、モデルの組み立て
（Ａ）タバコの検出データベースの組み立て
コンテナにおいて、レイアウト姿勢や数量の異なるタバコを走査して、タバコ画像データベース

を取得する。画像は、１００枚程度であれば、実用の必要を満たすことができる。類似する物体及びランダムの物体をサンプリングして、ネガティブサンプルデータベース{Ｙ}を形成するが、{Ｙ}における各画像は、いずれもタバコを含んでいない。

（Ｂ）ポジティブサンプルからの特徴抽出
箱を単位として、タバコの位置を人為的にマーキングし、３つのパターンでのポジティブサンプルデータベースＰ＝Ｐ_１∪Ｐ_２∪Ｐ_３＝｛Ｉ_１ｍ，ｍ∈［１，Ｍ］｝∪｛Ｉ_２ｎ，ｎ∈［１，Ｎ］｝∪｛Ｉ_３ｋ，ｋ∈［１，Ｋ］｝を形成する。ただし、Ｐ_ｉ＝｛Ｉ_ｉｊ｝は、パターンｉで得られるポジティブサンプルデータベースを示し、画像Ｉ_ｉｊは、

における画像の一部である。ポジティブサンプルデータベースにおける各画像には、タバコのみが含まれ、Ｍ，Ｎ，Ｋは、３つのパターンそれぞれのサンプル数であり、ｍ，ｎ，ｋは、範囲が［１，Ｍ］，［１，Ｎ］，［１，Ｋ］である変数である。上記した３種類のタバコパターンに対して、別途に訓練させることが好ましいため、サンプルの数であるＭ，Ｎ，Ｋが同じでなくてもよい。しかし、ある程度の性能に達するためには、３つのパターンのサンプル数がほぼ一致したほうがよい。

Ｉ_ｉｊの特徴を抽出する。本実施例では、ＨＯＧ特徴が採用される。しかしながら、当業者は、本発明の示唆によって、他の既知の方法によっても特徴を抽出可能であることを理解できるだろう。特徴を抽出した後、２次元の画像Ｉ_ｉｊを高次元のベクトルＦ_ｉｊに変換する。サンプルデータベースＰを、特徴データベースであるＦ＝｛Ｆ_１ｍ｝∪｛Ｆ_２ｎ｝∪｛Ｆ_３ｋ｝に変換する。

３つのパターンが別途に訓練されるため、以下、１つのパターンで訓練させることを例示する。

（Ｃ）ネガティブサンプルから特徴をランダムに抽出
{Ｙ}から十分の量のサンプルをランダムに抽出し、特徴を抽出して、ネガティブサンプルの特徴集合{Ｎ}を形成する。ＨＯＧアルゴリズムにおいて、特徴の次元は、画像の大きさによって決定されるため、３つのパターンでの次元は異なる。ネガティブサンプルからの抽出は、異なるパターンについて、領域の大きさが異なることになる。

（Ｄ）ポジティブサンプル集合及びネガティブサンプル集合が規定された場合、分類器Ｃを訓練させる。訓練方法は、パターン認識の従来のアルゴリズムを採用することができる。本実施例では、オープンソースツール（Open Source tools）であるＬＩＢＳＶＭによって分類器Ｃを訓練させる。

（Ｅ）分類しにくいサンプルを選択して分類器を最適化する。
分類器Ｃによって、ポジティブサンプルとネガティブサンプルに分類する。結果の信頼度に応じて、分類しやすいネガティブサンプルを除去し、十分な量のランダムネガティブサンプルを追加する。そして、分類器の変化が十分に小さいまたは繰返し回数が十分になるまでに、ステップ（Ｄ）とステップ（Ｅ）を繰り返す。

（Ｆ）ポジティブサンプルを調整して分類器を最適化する。
ステップ（Ｂ）における人為的なマーキングによって誤差が大きくなるので、タバコのスジの相対位置が不明確になる。この状況による影響を低減させるために、分類器Ｃによって、ステップ（Ｂ）におけるＩ_ｉｊ画像の周辺を検出し、Ｉ_ｉｊの最適位置を探して、Ｉ_ｉｊをＩ_ｉｊ′に更新する。そして、分類器の変化が十分に小さいまたは繰返し回数が十分になるまでに、ステップ（Ｃ）〜ステップ（Ｆ）を繰り返す。

４、検出
検出する画像を規定し、正規化及びＲＯＩ抽出によって、ＲＯＩ領域のＨＯＧ特徴Ｈを生成する。スライディングウィンドウによって、Ｈを移動して、３つのパターンでのウィンドウ毎の最大信頼度を求める。信頼度が特定の閾値より大きいところは、タバコの位置である。

検出効率を向上させるために、複数のサイズ（即ち、異なるスケーリング比例）でタバコの検出を行ってもよい。例えば、［０.９，１.０，１.１］の３つのサイズで、前記透視画像を検出することで、タバコのレイアウトによるずれをよく解決することができる。

誤り率を低減させるために、検出結果を更に処理してノイズを除去してもよい。例えば、上記信頼度マップに対してメディアンフィルタ処理を行ってもよいし、上記信頼度マップに対して二値化処理を行った後に連通領域面積のフィルタ処理等を行ってもよい。

また、リアルタイムの検出のために、均一・ランダムサンプリングの方法によって、画像の一部のみに対して検出を行ってもよい。実は、ＨＯＧのような多くの特徴抽出アルゴリズムは、重畳しないウィンドウを採用し、ウィンドウで近傍領域の画素を代わり、面の代わりに点を使用して、次第に近似させて移動する効果を達する。

５、自己学習
自己学習は、モデルの更新に係わる。自己学習に使用されるアルゴリズムは、モデルの組み立てで使用されたものとほぼ一致するが、ただ、検出によってポジティブサンプルのみを取得する点が異なっている（図１０を参照）。

検出する時、検出者が、アルゴリズムによってタバコが検出されなかったことを発見してマーキングすると、アルゴリズムは、マーキングされた領域をポジティブサンプルに追加して、訓練しなおす又は学習を更に行うことによって、更新されたモデルを取得する。しかし、得られたモデルに応じて、直前追加されたサンプルを依然として検出できない場合、今回の更新を放棄する。

なお、税関申告書に対する自動解析（例えば、電子税関申告書におけるキーワード、又は、文字認識）によって、ある走査画像にタバコが含まれたことを把握した場合、アルゴリズムは、検出過程で得られた信頼度マップから、点数が最も高い領域を選択し、タバコとデフォルトして、再度に訓練させる。得られたモデルに応じて、今回の走査でもタバコを検出できなかった場合、今回の更新を放棄する。

上記した詳細な説明は、模式図やフローチャート、例示によって、タバコを自動的に検出する方法及び機器の実施例が複数開示した。模式図、フローチャート及び／又は例示に１つ又は複数の機能及び／又は操作が含まれる場合、当業者は、このような模式図、フローチャート又は例示における各機能及び／又は操作は、各構成、ハードウェア、ソフトウェア、ファームウェア又はそれらのいずれかの組み合わせによって、別に及び／又は共同に実現されることができることを理解できるだろう。一実施例において、本発明の実施例における主題の一部は、専用集積回路（ＡＳＩＣ）、現場でプログラミング可能なゲートアレイ（ＦＰＧＡ）、デジタル信号処理器（ＤＳＰ）、又は、他の集積フォーマットによって実現されることができる。そして、当業者は、ここで開示された実施例の一方面は、全体的に又は部分的に、集積回路に等価的に実現でき、１つ又は複数のコンピュータによって運行される１つ又は複数のコンピュータープログラム（例えば、１つ又は複数のコンピューターシステムに運行される１つ又は複数のプログラム）にて実現され、１つ又は複数のプロセッサに運行される１つ又は複数のプログラム （例えば、１つ又は複数のマイクロプロセッサに運行される１つ又は複数のプログラム）にて実現され、ファームウェアにて実現され、または、上記した方式のいずれかの組み合わせによって実現できることを理解できるだろう。そして、当業者は、本開示を通じて、回路設計及び／又はソフトウェア及び／又はファームウェアへのコード書込みの能力を有することになる。また、当業者は、本開示の主題のメカニズムが複数のプログラム製品として分割されてもよく、分割された信号の搬送媒体の種類に関わらず、本開示の主題の例示的な実施例は、全て適用されることを理解できるだろう。信号の搬送媒体は、例えば、フレキシブルディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタル磁気テープ、コンピューターメモリ等の記録可能な媒体や、デジタル及び／又はアナログ通信媒体 （例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンク等）の伝送媒体を含むが、これらに限定されない。

いくつかの典型的な実施例を参照して本発明を説明したが、使用される用語は、説明及び例示的なもので、制限的なものでないことを理解すべきである。本発明は、発明の主旨及び実質を逸脱しない限り、複数の形態で実施できるため、上記した実施例は、前述の詳細に限定されず、特許請求の範囲に限定された主旨及び範囲内で幅広く解釈されるべきであり、特許請求の範囲又はその均等範囲内の変化及び変形は、本発明に覆われることを理解すべきである。

Claims (14)

1. 被検体の透視画像を取得するステップと、
   前記透視画像を処理して注目領域を取得するステップと、
   タバコモデルに応じて前記注目領域を自動的に検出することで、前記透視画像の注目領域がタバコであるか否かを決定するステップと、を含む
   ことを特徴とする検出方法。
2. 前記タバコモデルに応じて前記注目領域を自動的に検出するステップの前に、タバコモデルを組み立てるステップをさらに含み、
   前記タバコモデルを組み立てるステップは、
   タバコ画像データベースを組み立てるステップと、
   前記タバコ画像データベースにおける画像を処理してそれぞれの注目領域を取得するステップと、
   前記タバコ画像データベースにおける画像の注目領域から特徴を抽出するステップと、
   抽出された特徴に基づいて、分類器を訓練させ、前記タバコモデルを生成するステップと、を含む
   ことを特徴とする請求項１に記載の検出方法。
3. 前記タバコ画像データベースを組み立てるステップは、
   コンテナにおけるレイアウト姿勢と数量の異なるタバコを走査して、タバコモデルのポジティブサンプルデータベースを取得するステップと、
   タバコに類似する物体及びランダム物体の画像をサンプリングして、タバコモデルのネガティブサンプルデータベースを形成するステップと、を含み、
   前記ネガティブサンプルデータベースにおける画像それぞれは、いずれもタバコを含まない
   ことを特徴とする請求項２に記載の検出方法。
4. 前記タバコモデルを組み立てるステップにおいて、各規則で重畳されるタバコの走査画像は、幅の異なる多種のパターンに区画され、前記多種のパターンに応じて、前記タバコモデルのポジティブサンプルデータベースを生成する
   ことを特徴とする請求項２又は３に記載の検出方法。
5. 前記タバコ画像データベースにおける画像の注目領域から特徴を抽出するステップは、
   箱を単位として、タバコの位置を人為的にマーキングし、前記多種のパターンでのポジティブサンプルの特徴集合を形成するステップと、
   複数のサンプルを前記ネガティブサンプルデータベースからランダムに抽出して、特徴を抽出することで、ネガティブサンプルの特徴集合を形成するステップと、を含む
   ことを特徴とする請求項４に記載の検出方法。
6. 抽出された特徴に基づいて分類器を訓練させるステップは、
   （１）ポジティブサンプルとネガティブサンプルの特徴集合が規定された場合、前記分類器を訓練させるステップと、
   （２）前記分類器によって、ポジティブサンプルとネガティブサンプルを分類するステップと、
   （３）結果の信頼度に応じて、分類しやすいネガティブサンプルを除去し、ランダムのネガティブサンプルを十分追加するステップと、
   （４）前記分類器の分類結果の変化が十分に小さいまたは繰返し回数が十分になるまでに、上記ステップ（１）と、ステップ（２）と、ステップ （３）とを繰り返すステップと、を含む
   ことを特徴とする請求項２に記載の検出方法。
7. 前記検出方法は、タバコが検出されなかった画像に対して、人為的なマーキング又は税関申告書に対する自動解析によって、新たなタバコ画像を取得することで、タバコモデルを更新するステップを、さらに含む
   ことを特徴とする請求項１又は２に記載の検出方法。
8. 前記被検体の透視画像を取得するステップにおいて、画像のサイズを均一の解像度にスケーリングして、階調の伸張を行うことで、画像領域が取りうる範囲全体になるように、正規化の操作を行う
   ことを特徴とする請求項１又は２に記載の検出方法。
9. 前記透視画像を処理して注目領域を取得するステップにおいて、検出結果に空気のノイズによるものがないように、前記透視画像における空気部分を除去する
   ことを特徴とする請求項１又は２に記載の検出方法。
10. 前記透視画像を処理して注目領域を取得するステップにおいて、空気輝度閾値の方法によって、空気値に基づいて前記透視画像を二値化して、閾値以下の画像部分のみに対してタバコ検出を行う
    ことを特徴とする請求項９に記載の検出方法。
11. タバコモデルに応じて注目領域を自動的に検出するステップは、
    検出する画像を決定し、正規化及び注目領域の取得によって、注目領域のＨＯＧ特徴を生成するステップと、
    スライディングウィンドウによって移動して、多種のパターンでの各ウィンドウの最大信頼度を求めるステップと、
    信頼度が特定の閾値より大きいところをタバコの位置にするステップと、を含む
    ことを特徴とする請求項１又は２に記載の検出方法。
12. 複数のサイズの下でタバコを検出する
    ことを特徴とする請求項１又は２に記載の検出方法。
13. 被検体に対して放射線検出を行い、被検体の透視画像を取得するデジタル放射線撮像装置と、
    前記透視画像を処理して注目領域を取得し、タバコモデルに応じて注目領域を自動的に検出することで、前記透視画像の注目領域がタバコであるか否かを決定する画像処理装置と、を備える
    ことを特徴とする検出機器。
14. タバコの密輸を自動的に検出する
    ことを特徴とする請求項１３に記載の検出機器。

Images