JP7422023B2 - Ｘ線画像処理装置およびｘ線画像処理方法 - Google Patents

Description

本発明は、Ｘ線画像処理装置およびＸ線画像処理方法に関する。

空港や大規模イベント会場等において手荷物検査にＸ線手荷物検査装置が利用されている。Ｘ線手荷物検査装置は一般的に、Ｘ線の透過量を示すグレースケール画像や、さらに材質を判定して材質毎に色づけをしたカラー画像を生成する。そして、検査員が目視で画像をチェックして危険物の有無を確認し、検査員が危険物を発見すると、荷物を開被検査するのが一般的な運用である。

Ｘ線画像に危険物が含まれているか否かを確認するためには、高度な訓練を受けた検査員が必要である。そのため、例えば大規模イベントに際して検査員を一時的に大量に確保することは、事前の訓練やコストの点から難しい。そこで、検査員の負荷を少しでも低減するために、危険物の発見を自動化しようという試みがなされている。

画像認識を自動化する一方策として、ＡＩ（人工知能）による深層学習を活用した画像認識技術があげられる。深層学習は映像解析の用途などで広く用いられており、高い認識精度が得られるため、その普及が進んでいる。例えば、特許文献１には、材質の密度と形状認識結果を組みわせることで高い認識精度を得る方法が開示されている。

特開２０１８－４３６３号公報

特許文献１に記載の技術は、Ｘ線検査装置で１方向から撮影した画像を認識対象としている。すなわち、１つの撮影方向に対して１つの認識結果が得られるため、複数の撮影方向がある場合には、撮影方向の数だけ認識結果が得られる。そのため、検査員は複数の認識結果を確認しなければならず、検査員の確認時間が増えてしまうという課題がある。また、１方向から撮影した画像は情報量が少なく、物品を３Ｄ（三次元）で撮影可能なＣＴ方式と比較して認識精度が低下してしまうという課題がある。

一方、２方向から撮影可能なＸ線検査装置は、ＣＴ方式よりも安価であるため普及が進んでいる。２方向から撮影可能なＸ線検査装置は、例えばナイフのように厚さが薄い物品であっても、当該物品を２方向から撮影することにより、いずれかの方向から撮影した画像によって、ナイフの形状を明確に判別することが可能となる。そのため、物品を２方向から確認することにより、物品を１方向から確認する場合よりも見逃し防止が期待できる。ＡＩを用いた禁止物品の認識においても、２方向の認識結果を統合したうえで最終的な認識結果を提示することがよいと考えられる。

本発明の目的は、複数の方向からの撮影が可能なＸ線検査装置において、禁止物品の認識精度を向上させることができるＸ線画像処理装置およびＸ線画像処理方法を提供することにある。

上記課題を解決するために、代表的な本発明のＸ線画像処理装置の一つは、物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得部と、複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、複数のＸ線画像に対する認識結果を統合する認識結果統合部と、統合された認識結果をもとに、画面情報を生成する画面生成部と、を有する。

本発明によれば、複数の方向からの撮影が可能なＸ線検査装置において、禁止物品の認識精度を向上させることができるＸ線画像処理装置およびＸ線画像処理方法を提供することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

Ｘ線検査装置の構成図である。 Ｘ線画像処理装置１０２の機能構成図である。 物品の認識と表示を行う処理動作を示すフローチャートである。 画像データを荷物単位に分割する例を示す図である。 物品の正面と側面の画像の例を示す図である。 画面生成の例を示す図である。 画面生成の例を示す図である。 画面生成の例を示す図である。

以下、本発明のＸ線画像処理装置およびＸ線画像処理方法の好ましい実施形態について説明する。
本開示において、物品の「正面」とは、一般的な検査員が確認したときに物品を判別しやすい方向から見える面を意味し、物品の「側面」とは、正面が見える方向に対して垂直な方向から見える面を意味し、認識結果の「信頼度」とは、認識結果の尤もらしさを意味する。

図１は、Ｘ線画像処理装置を有するＸ線検査装置の構成図である。
Ｘ線検査装置１００は、例えば空港の保安検査において手荷物検査装置として広く用いられている装置であり、Ｘ線装置本体（以下、装置本体という）１０１と、Ｘ線画像処理装置１０２と、表示部１０３と、入力部１０４を有する。Ｘ線画像処理装置１０２は例えばパーソナルコンピュータ（ＰＣ）である。表示部１０３は、２方向から撮影した画像を表示する場合や、カラー画像とグレースケール画像を表示する場合などに、２つ以上のディスプレイで構成されることもある。

装置本体１０１は、Ｘ線を照射する照射機構と、手荷物等の対象物を撮影してＸ線の透過量を計測するＸ線撮影機構を有し、Ｘ線透過量のデータ（以下、単に「透過量データ」または「透過量」ということがある。）を出力する。Ｘ線画像処理装置１０２は、装置本体１０１が撮影したＸ線画像の物品認識結果に基づき手荷物が安全であるか否かを判定する。本実施例のＸ線画像処理装置は、学習の機能を有しており、蓄積された物品情報を用いて画像認識用のモデルを学習することができる。表示部１０３はＸ線画像を表示する表示端末であり、画面に表示されるＸ線画像を検査員が目視で確認することができる。

装置本体１０１は、荷物を搬送するベルトコンベアを備えた搬送機構を有し、搬送機構は制御部により制御されて、ベルトコンベアを駆動、停止させることができる。Ｘ線画像処理装置１０２は、物品認識の結果、危険な手荷物（アラート対象物）と判定した場合、装置本体１０１または装置本体１０１付近に設置された表示ランプを点灯して、物品がアラート対象物である旨を検査員に通知する。なお、アラート対象物である旨の通知には、表示部１０３やＸ線画像処理装置１０２の音声出力部を用いてもよい。

本実施例の搬送機構には、Ｘ線の透過量を計測する２種類のＸ線センサ（以下単に「センサ」という。）が配置され、２種類のデータを取得する。すなわち、１つのセンサが低いエネルギーのデータを取得し、他の１つのセンサが高いエネルギーのデータを取得する。Ｘ線画像処理装置１０２は、２つのセンサにより取得される高エネルギーのデータと低エネルギーのデータの差分に基づき対象物の材質を判定する。Ｘ線センサは、材質が判断できるＸ線データが取得できればよく、Ｘ線センサの検知方式は問わない。例えば後方散乱式の材質判定センサ等を用いることができるし、その他のセンサでもよい。さらに、本実施例のＸ線検査装置には、荷物が通過するエリアの側面（垂直面）と天井面（水平面）など、複数個所にそれぞれ上記センサのセット（２種類のＸ線センサ）が取り付けられている。例えば２方向から撮影可能なＸ線検査装置では、上と横の二方向から同時に荷物を撮影することができる。通常、センサとしてはラインセンサが用いられている。このような場合、複数のＸ線の光源の干渉を避けるために、第一のセンサのセットと第二のセンサのセットは荷物進行方向に対する位置を若干ずらして設置されていることもある。

図２は、Ｘ線画像処理装置１０２の機能構成図である。
Ｘ線画像処理装置１０２は、処理部（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、主メモリ２０２、表示部１０３を接続する表示インターフェース（Ｉ／Ｆ）部２０３、入力部１０４を接続する入力インターフェース（Ｉ／Ｆ）部２０４、通信部２０５、記憶部２１０を有する情報処理装置である。

処理部２０１はプログラムを実行して所定の機能や動作を実現する。記憶部２１０は、Ｘ線画像取得プログラム２１２、物品認識プログラム２１３、認識結果統合プログラム２１４、画面生成プログラム２１５、キャリブレーションプログラム２１６、物品学習プログラム２１７、Ｘ線画像データ２１８、学習モデル２１９を格納する。

ここで、Ｘ線画像取得プログラム２１２は、装置本体１０１が撮影したＸ線の透過量データを専用のインターフェースまたはＶＧＡ端子などの汎用の画面出力端子から取得する。なお、空港の保安検査場などで用いられているＸ線検査装置の場合、一般的に２方向から撮影した画像を独立した２画面に表示することが多い。その場合は、複数の入力端子からＸ線の透過量データを取得しても構わない。Ｘ線画像取得プログラム２１２による動作の詳細については後述する。

物品認識プログラム２１３は、装置本体１０１が撮影した２種類のＸ線センサの透過量データから生成した荷物の材質情報と物品の密度情報を可視化したカラー画像または２種類のＸ線センサのいずれかのセンサの透過量データを変換したグレースケール画像を対象として、深層学習のセグメンテーション技術を用いて画像内に含まれる物品を画素単位で認識する。物品認識プログラム２１３による動作の詳細については後述する。

認識結果統合プログラム２１４は、２方向から撮影した２つの画像の認識結果を統合して、物品を高精度に認識する。また、検査員に提示する画面を１つにする場合には、２方向から撮影した２つの画像から、検査員に提示する画像を選択する。認識結果統合プログラム２１４の動作の詳細については後述する。

画面生成プログラム２１５は、認識結果統合プログラム２１４で統合された認識結果をもとに、検査員端末のモニタに表示する画面情報を生成し、表示部１０３に生成した画面情報を表示する。画面生成プログラム２１５の動作の詳細については後述する。

キャリブレーションプログラム２１６は、複数の方向から撮影された複数の画像の位置を対応付けられるように、画像の位置を調整する。キャリブレーションプログラム２１６の動作の詳細については後述する。

物品学習プログラム２１７は、入力されたカラー画像またはグレースケール画像を対象として深層学習のセグメンテーション処理などを用いて学習を実施し、学習モデル２１９を生成する。

Ｘ線画像データ２１８は、２種類のセンサにより計測されるＸ線透過量データから生成された、材質情報と密度情報を示すカラー画像またはグレースケールの画像が登録される。カラー画像については、２種類のセンサのＸ線透過量データの差分から物品の材質を判定し、例えば、材質情報が色、透過量が濃さ（密度が大きい部分は濃く、密度が小さい部分は薄い）となるカラー画像が登録される。なお、センサが２つの方向の撮影用に設置されている場合は、１回の撮影で異なる向きからの画像が２つ撮影されて、Ｘ線画像データ２１８に登録される。

なお、記憶部２１０に記憶される、上記の、Ｘ線画像取得プログラム２１２、物品認識プログラム２１３、認識結果統合プログラム２１４、画面生成プログラム２１５、キャリブレーションプログラム２１６、物品学習プログラム２１７は、処理部２０１で実行されると、それぞれ、Ｘ線画像取得部２１２´、物品認識部２１３´、認識結果統合部２１４´、画面生成部２１５´、キャリブレーション部２１６´、物品学習部２１７´としての機能を実現する。

Ｘ線画像データ２１８は、Ｘ線検査装置１００で撮影された荷物のカラー画像またはグレースケールの画像である。Ｘ線検査装置１００が例えば垂直方向と水平方向の２方向から撮影できる装置である場合、１つの荷物に対して、垂直方向と水平方向の２つの画像が荷物ＩＤと共にＸ線画像データ２１８の保存領域に記録される。

学習モデル２１９には、物品学習プログラム２１７で学習したモデルのパラメータ情報が記録されている。なお、学習モデルとしては、一つの物品に対して、正面や側面など、さまざまな方向で学習した学習モデルを用いてもよい。しかし、本実施例においては、物品が何であるかだけでなく、学習モデルを適用した物品の画像に対して、物品の正面と側面のいずれであるかも判別できるようにしているため、本実施例に用いる学習モデルとしては、例えば、スマートフォンについて、正面の画像と側面の画像を別の物品の画像として学習した学習モデルを用いてもよい。
このような学習モデルを用いることにより、スマートフォンのように、正面と側面の見た目が大きく異なる場合、正面と側面を別の物品として学習していることで、正面と側面の識別をより的確に反映させた学習モデルが構築できる。

次に、図３を参照して、物品の認識と表示を行う処理動作について説明する。この処理動作は、Ｘ線検査装置１００を使用する検査業務の際の処理動作である。

（Ｓ３０１）
まず、Ｘ線画像取得プログラム２１２が、Ｘ線のセンサで取得された透過量データであるＲＡＷデータまたは透過量データが画像化されたＸ線画像（ディスプレイに表示する画面信号）を取得する。ここで、入力が高低２種類のエネルギーのＲＡＷデータの場合は、高低２種類のエネルギーの透過量データの差分情報から画像の画素単位の材質を判定する。材質の判定は、例えばこの分野で広く知られている高低２種類のエネルギーの透過量の差分情報により、金属、無機物、有機物、その他の４種類に分類する方法を用いることができる。そして、材質情報と高低２種類のエネルギーのいずれかのＸ線透過量を用いて、材質情報が色、透過量が濃さ（密度が大きい部分は濃く、密度が小さい部分は薄い）となるカラー画像を生成する。

ここで、装置本体１０１から取得される画像データが撮影対象の荷物毎に分割されていない場合、つまり、一つの画像データに複数の荷物が写りこんでいる場合は、以下に示す第１の分割方法ないし第３の分割方法にて画像データを荷物単位に分割する。

第１の分割方法は、装置本体１０１のＶＧＡ出力端子などからディスプレイに表示する画面信号を入力する場合の方法である。まず、画面信号を取得し、フレーム画像の変化の度合いを用いて荷物の表示内容が変化しているかどうかを判定する。荷物の撮影が終了すると画面上には荷物が静止して表示される。透過量が閾値以下の濃い部分を荷物エリアとすると、荷物エリアが変化するかどうかで荷物の撮影の終了および撮影終了時の荷物エリアを特定することができる。

第２の分割方法の例を図４に示す。画面信号またはＲＡＷデータを取得し、透過量の積分値を一定のライン数毎または一定時間毎に求める。透過量が小さい（＝濃い）部分は荷物があると判定し、透過量が大きい（＝薄い）部分は荷物がないと判定して、荷物単位に画像を分割する。１ラインで判定してしまうと、ノイズなどで誤判定してしまう可能性があるため、移動平均をとった透過量の積分値が閾値以下の場合は荷物あり、閾値以上の場合は荷物なしと判定することもできる。また、荷物の途中に薄い部分が含まれることがあるため、薄い部分は一定量連続した場合に荷物と荷物の間のスペースと判定してもよい。図４のグラフは、透過量が小さい（＝濃い）ほど上に、透過量が大きい（＝薄い）ほど下にプロットされ、数字は何番目のラインであるかを示す。

第３の分割方法は、Ｘ線検査装置の荷物投入口に設置された荷物検知センサを用いる方法である。一般的なＸ線検査装置では、荷物で例えば、光線が遮蔽される位置に遮蔽を検知できるセンサが設置されている。センサが荷物を検知した時刻に、センサが荷物を検知した時点からラインセンサに荷物の先端が到着するまでの時間を加算することで荷物開始点の時刻（撮影開始時刻）が取得できる。また、センサが荷物を検知しなくなった時刻に、センサが荷物を検知しなくなった時点からラインセンサに荷物の終端が到着するまでの時間を加算することで荷物終了点の時刻（撮影終了時刻）が取得できる。荷物開始点の時刻と荷物終了点の時刻を取得することで、入力が画面信号であれば、荷物終了点の時刻の画面と、撮影時間の情報から荷物領域を特定することができる。入力がＲＡＷデータであれば、開始時刻から終了時刻までのＲＡＷデータを１つの荷物のＲＡＷデータとして荷物領域の画像を生成することができる。

２方向から撮影できるＸ線検査装置では、上記の分割方法を例えば垂直方向から撮影した画像と水平方向から撮影した画像に適用する。

（Ｓ３０２）
次に、キャリブレーションプログラム２１６が、Ｘ線画像取得プログラム２１２で取得した２方向の撮影画像に対して荷物の進行方向に対する位置の対応付けを行う。例えば、Ｘ線画像取得プログラム２１２で２方向の２枚のＸ線画像を取得した場合、撮影方向によって物品の見え方が異なったり、ラインセンサの位置が異なるため、そのままでは、２枚の画像の画素単位の位置関係の対応が明確にならないことが多い。一般に検査員が検査装置の画像を目視して確認する場合や、１枚の画像毎にＡＩによる物品認識を適用する場合は、２枚の画像を画素単位で対応付ける必要はないため、検査員端末に表示される２方向２画面の画像はラインセンサの間隔分ずれて表示されていることもある。そこで、キャリブレーションプログラム２１６を用いて、以下に示す第１のキャリブレーション方法ないし第３のキャリブレーション方法にて２枚の画像の画素間の対応付けを実施する。

第１のキャリブレーション方法は、ラインセンサ間の時間間隔を用いる方法である。例えば、ＲＡＷデータを用いる方式の場合、２つのラインセンサから入力されるデータには、一定の時間のずれがある。そこで、データの入力時刻をラインセンサ間の時間間隔分調整して、ライン単位で時刻が同期するようにすることで、画素間の対応付けを行う。

第２のキャリブレーション方法は、画面信号を入力とし、Ｘ線画像を取得するステップ（Ｓ３０１）において第１の画像分割方法または第２の画像分割方法を用いる場合のキャリブレーション方法である。透過量の大きさ（濃さ）に基づく画像分割方法を用いる場合、２つの方向から撮影した画像は、各々透過量の分布が異なるため、必ずしも同じ位置が開始点、終了点と判定されるとは限らない。また、荷物領域のみを切り出す画像分割方法の場合、荷物の進行方向だけでなく、進行方向と垂直方向に関しても余白すなわち透過量が大きい部分を削除する運用が想定されるため、２つの方向から撮影して荷物単位に切り出した画像は、解像度もアスペクト比も異なる。

そこで、荷物の進行方向について、２つのラインセンサの時間間隔および２つの画像の撮影開始時刻と撮影終了時刻を用いて対応付けを行う。撮影開始時刻が早いほうの画像に合わせて撮影開始時刻が遅いほうの画像に余白画像を追加し、撮影終了時刻が遅いほうの画像に合わせて撮影終了時刻が早いほうの画像に余白画像を追加する。なお、荷物の進行方向と垂直な方向については、垂直方向と水平方向では荷物のサイズも異なり、画素単位の対応付けが難しいため、画像のサイズが異なっていても構わない。すなわち、キャリブレーションにより調整された画像は、荷物の進行方向については、必ず同じ物品が同じ位置に撮影されていることが保証される。

第３のキャリブレーション方法は、第１のキャリブレーション方法または第２のキャリブレーション方法で使用するラインセンサ間の時間間隔を、装置利用開始時に特定のパターンを持つサンプル荷物を撮影することで計測する方法である。このサンプル荷物には、鉛インクなどで作られたＸ線画像で判別可能なパターンなど、撮影したときに位置が特定できるものが含まれている。先に撮影される画像のパターンの撮影時刻と、後から撮影される画像のパターンの撮影時刻との差分でラインセンサ間の時間間隔を計測できる。ラインセンサ間の距離は固定であっても、ベルトコンベアの進む速さに誤差が生じた場合、装置の初期導入時に設定した時間間隔では正確な位置の対応付けが行えない可能性がある。そのため、定期的に第３のキャリブレーション方法を用いて、誤差を修正することで、正確な対応付けが実現できる。

キャリブレーションを実施することによって、２つの方向から撮影した２枚の画像を荷物の進行方向について位置を合わせて表示することができる。また、２つの方向から撮影した２枚の画像をＡＩを用いて総合的に認識することができる。

なお、取得したＸ線画像データは、次の物品認識をするステップＳ３０３や検査員が過去の画像データを参照する際に使われるため、Ｘ線画像データ２１８に登録される。

（Ｓ３０３）
次に、物品認識プログラム２１３が、ステップＳ３０２で取得した２方向の２枚の画像をＸ線画像データ２１８から取得し、学習モデル２１９および深層学習のセグメンテーション処理を用いて画素単位で物品を認識する。ここで、物品の認識には、ＯＳＳ（オープンソースソフトウェア）のライブラリとして広く知られている「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｉｎｓｔａｎｃｅ－ａｗａｒｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」や「Ｍａｓｋ Ｒ－ＣＮＮ」などのライブラリを用いることができる。なお、画素単位で物品が特定できれば、認識の方式は問わない。

ここで、２方向の２枚の画像があるため、物品の認識は、第１の方向から撮影した画像と、第２の方向から撮影した画像の２つの画像に対して行う。例えば、第１の方向でスマートフォンの正面が撮影された場合、第２の方向ではスマートフォンの側面が撮影されることとなる。スマートフォンの場合、正面が撮影された画像は、スマートフォンであることを判別しやすいが、側面が撮影された画像は、スマートフォンであることを判別しにくい。また、撮影した方向に物品の重なりがある場合も、物品を判別しにくい。このように、一方の画像にしか認識結果が得られないことがあるため、撮影した２枚の画像の認識結果は異なることが多い。

なお、物品の認識をするときに、正面のモデルと側面のモデルを別のモデルとして学習したモデルを用いることで、物品の正面に近いものか、側面に近いものかを認識時に同時に判別することができる。ここで、正面と側面の中間にあたる角度からの撮影である場合は、物品の正面と側面のうち、より近いほうを選ぶとよい。また、正面と側面を一緒にした学習モデルを用いて認識した結果に対して、物品の面積や事前に用意した正面と側面の見本画像とのテンプレートマッチングによる類似度合など、他の方法を用いて正面か側面かを判別しても構わない。すなわち、認識時にスマートフォン（正面）やスマートフォン（側面）といったように判別しても、正面と側面を一緒にした学習モデルを用いて認識した結果に対して、正面か側面かを判別しても構わない。

なお、本実施例の説明では、説明をわかりやすくするため、２方向で説明をしているが、物品によっては、３方向以上からの撮影で各々異なる見え方をする物品もある。３方向以上で異なる見え方をする場合は、２方向以外の方向を追加してもよい。

また、学習モデル２１９にカラー画像で学習した学習モデルと、グレースケール画像で学習した学習モデルを用意しておき、物品の重なりが大きい場合、すなわち画像の濃い部分の面積が閾値よりも大きい場合などには、グレースケール画像で学習した学習モデルを使って認識をすることもできる。これにより、物品の重なりによる材質の種類を示す色の変化の影響を避けることができる。

（Ｓ３０４）
次に、認識結果統合プログラム２１４が、物品を認識するステップＳ３０３で取得した２方向の認識結果に対して、認識結果をマージまたは選択する統合処理を以下に示す第１の統合方法ないし第３の統合方法にて行う。物品認識をするステップでは、物品の認識結果と一緒に認識結果の信頼度が得られる。すなわち、２つの方向の画像のそれぞれに対して、物品の正面の学習モデルと物品の側面の学習モデルを用いて認識を試みた場合の、それぞれの認識結果と認識結果の信頼度が得られる。得られた認識結果と認識結果の信頼度を用いて統合処理が行われる。

第１の統合方法は、２つの方向の画像の進行方向に対して同じ位置に物品の正面と物品の側面を認識できる場合に、物品を特定する統合方法である。２つの方向の一方で物品の正面を認識でき、他方で物品の側面を認識できる場合にのみ、物品を認識することとすれば、過剰検知（禁止物品でないものを禁止物品と判定すること）を抑止することができる。また、検出漏れを抑止するためには、それぞれの方向の認識結果を採用する信頼度の閾値を低くすればよい。このようにしても、２つの方向での認識に基づいて判断しているため、過剰検知は抑止することができる。このため、検出漏れを抑止しつつ、過剰検知も抑止できるという効果がある。すなわち、２方向撮影のＸ線検査装置では、一般的に１方向毎に物品認識が行われるが、本統合方法を用いることにより、物品の３Ｄ形状を考慮した認識ができる。

なお、いずれかの方向の画像に、鉛などのＸ線遮蔽物など、透過量が小さい部分の割合が閾値以上ある場合は、その画像には物品が写っていないと判断する。そして、もう１つの方向の信頼度の閾値を高めて、もう１つの方向からの認識結果を採用する。したがって、２つの方向の両方で物品が写っている場合には、２つの方向の認識結果を統合し、どちらかの方向にＸ線を遮蔽する物品などで物品が写っていない場合には、もう１つの方向の認識結果を採用する。

第２の統合方法は、いずれかの方向の画像に物品の正面と物品の側面のいずれかが認識できる場合に、物品を特定する統合方法である。第１の統合方法のように、２つの方向の一方で物品の正面を認識でき、他方で物品の側面を認識できる場合にのみ、物品を認識するものではないため、第１の統合方法よりも過剰検知が多くなるが、禁止物品の検出漏れを防ぐことができる。例えば、図５に例を示すように、正面が写っている方向の画像ではスマートフォンと識別できるが、側面が写っている方向の画像ではスマートフォンと識別できない場合でも、スマートフォンとして認識する。そして、側面が写っている方向の画像にも、正面が写っている方向の画像と進行方向に対する同じ位置に、スマートフォンがあるという認識結果を追加する。荷物の進行方向と垂直な方向については、正確な対応付けが難しいことから、物品がある可能性がある範囲を示す。これにより、検査員が見たときに側面の画像に関しても見落としを抑止することができるという効果がある。

第３の統合方法は、２つの方向の画像のうち、禁止物品が正面に近い状態で写っている方向の画像を選択する方法である。すなわち、２つの方向の画像のうち、物品の正面についての認識結果の信頼度が大きいほうの画像を選択する。検査員が確認するモニタが１台の場合には、表示する画像を選択しなければならない。その場合は、禁止物がより鮮明に写っている画像を提示することが好ましい。そのため、禁止物品がより多く写っている画像または禁止物品の正面が写っている画像を選択する。禁止物品の数と正面のどちらを優先して選択するかは、運用条件に依存するため、事前に設定できるようにする。これにより、検査員が確認するモニタが１台であっても、可能な限り禁止物品を確認できるという効果がある。なお、第２の統合方法と組み合わせ、選択しなかった画像のみで認識されている禁止物品がある場合、選択した画像に、禁止物品が含まれる可能性がある領域を図５の破線のように追加しても構わない。

なお、第１の統合方法ないし第３の統合方法は、複数の統合方法を組み合わせて使用しても、単独で使用しても、第１の統合方法ないし第３の統合方法以外と組み合わせて使用しても構わない。

（Ｓ３０５）
次に、画面生成プログラム２１５が、ステップＳ３０４の認識結果統合の結果の中に禁止物品が含まれている場合は、該当の部分をハイライト表示した画像を表示部１０３に表示する。なお、禁止物品が含まれない場合には、撮影した画像をそのまま表示すればよい。

ステップＳ３０５では、ステップＳ３０４の認識結果統合の結果を用いて、以下に示す第１の画面生成方法ないし第３の画面生成方法にて画面の表示データを生成し、画面表示を行う。

第１の画面生成方法は、図６に例を示すように、禁止物品の正面が写っている方向の画像を選んで表示する画面生成方法である。複数の物品が含まれている場合には、禁止物品としての優先度、禁止物品が認識された数など、事前に決められた条件で優先すべき方向の画像を選択して表示する。一般的に、１つの画面でＡＩによる認識結果を確認する場合、複数の画像を表示するよりも１つの画像を表示するほうが検査員の目視負荷を低減できる。このことから、検査の観点で確認すべき画像を表示し、その画像で認識されていない物品に関しては、ステップＳ３０４の認識結果統合の第２の統合方法を用いて、確認する画像に禁止物品が含まれる可能性がある領域が確実に表示されるようにすればよい。

第２の画面生成方法は、図７に示すように、２つの方向で撮影した画像を、１画面１方向となるように、２つの画面に表示する画面生成方法である。表示する２画面の２画像は、ステップＳ３０４の認識結果統合の第２の統合方法を用いて、一方の画面にのみアラートが表示される物品が生じないようにすることが望ましい。これにより、検査員が一方の画面のみを確認して、もう一方の画面の確認を失念することによる検査漏れを抑止することができる。

第３の画面生成方法は、図８に示すように、１つの画面の上下または左右に、ステップＳ３０２のキャリブレーションで位置合わせをした２枚の画像を認識結果と共に表示する方法である。荷物の進行方向に関しては位置が揃っている画像で検査員が禁止物品の有無を確認できるので、２つの方向の認識結果を総合して検査員が禁止物品を判断または特定することができる。

なお、第１の画面表示方法ないし第３の画面生成方法による画面は、装置本体１０１が出力する標準画面とは別に提供されても、標準画面の代わりとして提供されても構わない。また、Ｘ線画像の表示方法は、標準的な画面で用いられている荷物の撮影と同期して画面がスクロールしていく方法でも、荷物毎に画像が切り替わる方法を用いても構わない。また、物品の正面と物品の側面の両方が認識できているので、禁止物の確度が高いと判断したり、物品の正面と物品の側面の一方しか認識できていないので、禁止物品でないかもしれないが、念のために確認したほうがよいと判断したりといった認識結果に応じて、アラートの仕方を色や音などで変更することもできる。

なお、別の表示方法として、禁止物品がはっきりと写っている方向は見せないことで、検査員の緊張感を高めておき、その画像を問題なしと誤って判断した場合にはアラートとともに禁止物品がはっきりと写っている画像を提示することで、検査員の訓練に用いることもできる。

また、１方向のみで禁止物品として判定された場合には、方向を変更して再撮影することを検査員に促す情報を画面または音声などで出力することができる。そして、再度撮影した２方向の画像を最初に撮影した２つの方向の画像に加えた４方向の画像で判別し、少なくとも２方向の画像で物品の異なる面が認識された場合に、禁止物品と特定することができる。

（Ｓ３０６）
次に、検査が終了すなわち撮影が終了した場合には、撮影したＸ線画像を認識して検査員に提示するステップＳ３０１ないしステップＳ３０５の処理を終了し、検査が継続している場合には、ステップＳ３０１ないしステップＳ３０５の処理を継続する。

（Ｓ３０７）
次に、運用中に蓄積されたＸ線画像を使用して、学習モデルを生成または更新するかどうかの指示を入力Ｉ／Ｆに接続されたマウスやキーボードなどから受け、生成や更新をしない場合には全体の処理を終了する。

（Ｓ３０８）
次に、物品学習プログラム２１７で、Ｘ線画像データ２１８を読出し、物品の学習を行い生成した学習モデルを、学習モデル２１９に登録する。

物品の学習は、物品の認識をするステップと同様に、ＯＳＳ（オープンソースソフトウェア）のライブラリとして広く知られている「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｉｎｓｔａｎｃｅ－ａｗａｒｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」や「Ｍａｓｋ Ｒ－ＣＮＮ」などのライブラリを用いることができる。

なお、物品の学習をする前には、物品の輪郭情報と物品を識別するための正解情報が必要となるが、本実施例では、正解付けの方法は限定しない。人手で物品の領域を囲み、物品名を選択するなど汎用の方法を用いればよい。

なお、ステップＳ３０３で認識された結果を物品の候補領域として提示し、人手による正解付けの作業を効率化することも可能である。例えば、１つの方向しか物品が判別できなかった場合に、もう一方の同じ物品が写っている可能性がある箇所を、正解付けをする作業者に提示することで、正解付けの漏れを防止することができる。学習した学習モデルは、学習モデル２１９に登録し、処理を終了する。

本実施例によれば、２つの方向で撮影した画像の認識結果を統合することで、物品の認識精度を向上しつつ、検査員に表示する画像は物品が見やすい方向の画像を提示することができるので、検査漏れを抑止しつつ、検査効率を向上できるという効果がある。また、１画面の表示であっても、必要な情報を統合して表示できるので、表示部の設置スペースの削減や装置台数の削減といった効果がある。

なお、本実施例では、主に２つの方向で撮影する例を示したが、複数の方向で撮影するものであればよい。
また、本実施例では、Ｘ線を用いて物品を撮影する例を示したが、物品を透過して撮影できる電磁波であれば、例えば、テラヘルツ波など他の電磁波を用いても構わない。
例えば、Ｘ線を電磁波に変えた次のような構成でも、複数の方向からの撮影が可能な電磁波検査装置において、禁止物品の認識精度を向上させることができる電磁波画像処理装置および電磁波画像処理方法を提供することができるという同様の効果を奏する。
物品を複数の方向から撮影した複数の電磁波画像を取得する電磁波画像取得部と、複数の電磁波画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、複数の電磁波画像に対する認識結果を統合する認識結果統合部と、統合された認識結果をもとに、画面情報を生成する画面生成部と、有する電磁波画像処理装置。
電磁波画像処理装置における電磁波画像処理方法であって、物品を複数の方向から撮影した複数の電磁波画像を取得する電磁波画像取得ステップと、複数の電磁波画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識ステップと、複数の電磁波画像に対する認識結果を統合する認識結果統合ステップと、統合された認識結果をもとに、画面情報を生成する画面生成ステップと、を有する電磁波画像処理方法。
また、本実施例では、Ｘ線装置本体１０１と、Ｘ線画像処理装置１０２とが別体である例を示したが、Ｘ線画像処理装置は、Ｘ線装置本体に内蔵されてもよい。

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００：Ｘ線検査装置
１０１：装置本体
１０２：Ｘ線画像処理装置
１０３：表示部
１０４：入力部
２０１：ＣＰＵ
２０２：主メモリ
２０５：通信部
２１０：記憶部
２１１：ＯＳ
２１２：Ｘ線画像取得プログラム
２１３：物品認識プログラム
２１４：認識結果統合プログラム
２１５：画面生成プログラム
２１６：キャリブレーションプログラム
２１７：物品学習プログラム
２１８：Ｘ線画像データ
２１９：学習モデル

Claims (12)

1. 物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得部と、
   前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、
   前記複数のＸ線画像に対する認識結果を統合する認識結果統合部と、
   統合された認識結果をもとに、画面情報を生成する画面生成部と、
   を有し、
   前記認識結果統合部は、前記複数のＸ線画像から、前記物品の第１の面についての認識結果の信頼度が最も大きいＸ線画像を選択する、
   Ｘ線画像処理装置。
2. 請求項１に記載のＸ線画像処理装置であって、
   前記物品認識部は、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識する、
   Ｘ線画像処理装置。
3. 物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得部と、
   前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、
   前記複数のＸ線画像に対する認識結果を統合する認識結果統合部と、
   統合された認識結果をもとに、画面情報を生成する画面生成部と、
   を有し、
   前記物品認識部は、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識し、
   前記認識結果統合部は、前記複数のＸ線画像の１つに、前記物品の第１の面を認識でき、前記複数のＸ線画像の他の１つに、前記物品の第２の面を認識できる場合に、前記物品を認識する、
   Ｘ線画像処理装置。
4. 物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得部と、
   前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識部と、
   前記複数のＸ線画像に対する認識結果を統合する認識結果統合部と、
   統合された認識結果をもとに、画面情報を生成する画面生成部と、
   を有し、
   前記画面生成部は、前記複数のＸ線画像のうち、一部のＸ線画像に対してのみ危険物が認識されている場合、残りのＸ線画像の前記危険物に対応する部分に、危険物が含まれる可能性がある領域を示す表示を追加する、
   Ｘ線画像処理装置。
5. 請求項４に記載のＸ線画像処理装置であって、
   前記物品認識部は、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識する、
   Ｘ線画像処理装置。
6. 請求項１ないし請求項５のいずれか１項に記載のＸ線画像処理装置であって、
   前記複数のＸ線画像のサイズまたは表示位置を調整するキャリブレーション部を有する、
   Ｘ線画像処理装置。
7. Ｘ線画像処理装置におけるＸ線画像処理方法であって、
   物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得ステップと、
   前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識ステップと、
   前記複数のＸ線画像に対する認識結果を統合する認識結果統合ステップと、
   統合された認識結果をもとに、画面情報を生成する画面生成ステップと、
   を有し、
   前記認識結果統合ステップは、前記複数のＸ線画像から、前記物品の第１の面についての認識結果の信頼度が最も大きいＸ線画像を選択する、
   Ｘ線画像処理方法。
8. 請求項７に記載のＸ線画像処理方法であって、
   前記物品認識ステップは、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識する、
   Ｘ線画像処理方法。
9. Ｘ線画像処理装置におけるＸ線画像処理方法であって、
   物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得ステップと、
   前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識ステップと、
   前記複数のＸ線画像に対する認識結果を統合する認識結果統合ステップと、
   統合された認識結果をもとに、画面情報を生成する画面生成ステップと、
   を有し、
   前記物品認識ステップは、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識し、
   前記認識結果統合ステップは、前記複数のＸ線画像の１つに、前記物品の第１の面を認識でき、前記複数のＸ線画像の他の１つに、前記物品の第２の面を認識できる場合に、前記物品を認識する、
   Ｘ線画像処理方法。
10. Ｘ線画像処理装置におけるＸ線画像処理方法であって、
    物品を複数の方向から撮影した複数のＸ線画像を取得するＸ線画像取得ステップと、
    前記複数のＸ線画像に対して、物品の第１の面を学習した学習モデルを用いて、物品を認識する物品認識ステップと、
    前記複数のＸ線画像に対する認識結果を統合する認識結果統合ステップと、
    統合された認識結果をもとに、画面情報を生成する画面生成ステップと、
    を有し、
    前記画面生成ステップは、前記複数のＸ線画像のうち、一部のＸ線画像に対してのみ危険物が認識されている場合、残りのＸ線画像の前記危険物に対応する部分に、危険物が含まれる可能性がある領域を示す表示を追加する、
    Ｘ線画像処理方法。
11. 請求項１０に記載のＸ線画像処理方法であって、
    前記物品認識ステップは、前記物品の第１の面を学習した学習モデルと、前記物品の第１の面とは異なる第２の面を学習した学習モデルとを用いて、物品を認識する、
    Ｘ線画像処理方法。
12. 請求項７ないし請求項１１のいずれか１つに記載のＸ線画像処理方法であって、
    前記複数のＸ線画像のサイズまたは表示位置を調整するキャリブレーションステップを有する、
    Ｘ線画像処理方法。

Images