JP6942779B2 - 検査装置及び検査プログラム - Google Patents

検査装置及び検査プログラム Download PDF

Info

Publication number
JP6942779B2
JP6942779B2 JP2019222830A JP2019222830A JP6942779B2 JP 6942779 B2 JP6942779 B2 JP 6942779B2 JP 2019222830 A JP2019222830 A JP 2019222830A JP 2019222830 A JP2019222830 A JP 2019222830A JP 6942779 B2 JP6942779 B2 JP 6942779B2
Authority
JP
Japan
Prior art keywords
information
processor
baggage
ray image
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019222830A
Other languages
English (en)
Other versions
JP2020042860A (ja
Inventor
優香 渡辺
優香 渡辺
赤木 琢磨
琢磨 赤木
佐藤 正憲
正憲 佐藤
賢一 下山
賢一 下山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018166854A external-priority patent/JP6632674B1/ja
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019222830A priority Critical patent/JP6942779B2/ja
Publication of JP2020042860A publication Critical patent/JP2020042860A/ja
Priority to JP2021145597A priority patent/JP7204848B2/ja
Application granted granted Critical
Publication of JP6942779B2 publication Critical patent/JP6942779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、検査装置及び検査プログラムに関する。
税関を通過する荷物を検査する検査システムでは、ソータ(区分処理機構)に供給された荷物の外観の画像(外観画像)及びX線の画像(X線画像)をオペレータに視認させる。オペレータは、荷物を確認する必要があるか否か判断し、検査システムに操作を入力する。検査システムは、操作入力に基づいて、荷物を確認が必要な荷物と、確認が不要な荷物とに区分する。
この方法は、オペレータが荷物の区分先を決定するため、荷物の区分先の決定に時間を要する、確認すべき荷物を見逃す、確認する必要のない荷物を確認用として区分してしまうなどの課題がある。
特開2018−13939号公報
本発明が解決しようとする課題は、効率的にオペレータが荷物の区分先を決定することが可能な検査装置及び検査プログラムを提供することである。
一実施形態に係わる検査装置は、通信インタフェースと、プロセッサとを具備する。通信インタフェースは、搬送されている荷物を撮像した画像から文字認識処理により取得した住所氏名情報及び前記荷物のX線画像を含む荷物情報と、オペレータによる操作に基づいて生成された操作信号と、を取得する。プロセッサは、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記住所氏名情報及び前記X線画像とが対応付けられた過去履歴から、新たに搬送された荷物から取得した前記住所氏名情報を含む前記荷物情報に対応する前記検査結果情報を抽出結果として抽出する。前記プロセッサは、前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、前記過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づく情報を出力する。
図1は、一実施形態に係る検査システムの概略的な構成例について説明する為の説明図である。 図2は、一実施形態に係る検査システムの構成例について説明する為の説明図である。 図3は、一実施形態に係る登録情報の例について説明する為の説明図である。 図4は、一実施形態に係る確認画面の例について説明する為の説明図である。 図5は、一実施形態に係る検査システムの動作の例について説明する為のフローチャートである。 図6は、他の実施形態に係る確認画面の例について説明する為の説明図である。 図7は、他の実施形態に係る登録情報の例について説明する為の説明図である。
以下、実施形態について、図面を参照して説明する。
図1は、一実施形態に係る検査システム1の概略的な構成例について説明する為の説明図である。
検査システム1は、検査対象である荷物2を区分するシステムである。検査システム1は、税関などで、規制品の発見などに用いられる。規制品は、国内への輸入及び国外への輸出が規制されているものである。規制品は、例えば、武器、麻薬、動植物などである。
荷物2は、検査システム1によって検査されるものである。荷物2には、Electronic Advance Data(EAD)タグ3が張り付けられている。EADタグ3は、他国の税関での検査結果であるEAD情報に含まれる識別コード(EAD識別コード)が印刷されたものである。EAD識別コードは、例えばバーコードとして印刷される。EAD情報は、EAD識別コード、住所氏名情報、及び内容物の品名及び重量などを示す情報(内容物情報)などを含む情報である。住所氏名情報は、例えば、荷物2の受取人(宛先)を示す情報(受取人情報)、及び/または差出人を示す情報(差出人情報)である。
また、荷物2には、帳票4が張り付けられている。帳票4は、受取人情報及び/または差出人情報を示す住所氏名情報、並びに内容物を示す情報(内容物情報)などが記載されたものである。
なお、図1に示されるように、荷物2には、EADタグ3と帳票4との両方が貼られているもの、帳票4が貼られEADタグ3が貼られていないものなどがある。
検査システム1は、ソータ11、ソータ制御装置12、EADタグリーダ13、カメラ14、X線撮影装置15、帳票リーダ16、操作端末17、第1のストレージ装置18、第2のストレージ装置19、及び検査装置20を備える。ソータ11、ソータ制御装置12、EADタグリーダ13、カメラ14、X線撮影装置15、帳票リーダ16、操作端末17、第1のストレージ装置18、第2のストレージ装置19、及び検査装置20は、ネットワーク21を介して互いに通信可能に構成されている。
ソータ11は、ソータ制御装置12の制御に基づいて、荷物2を区分する装置である。ソータ11は、例えば荷物2を第1の仕分先31と第2の仕分先32とに区分する。第1の仕分先31は、オペレータにより確認が行われない荷物2が搬送される仕分先である。第2の仕分先32は、オペレータにより確認が行われる荷物2が搬送される仕分先である。第2の仕分先32に搬送された荷物2は、例えばオペレータにより開封されて確認される。
例えば、ソータ11は、第1のコンベア41、第2のコンベア42、及び区分機構43を備える。
第1のコンベア41は、上流側から下流側に荷物2を搬送する。第1のコンベア41の上流側の端部に、ロボットアームなどによって荷物2が供給される。第1のコンベア41の下流側の端部に、第1の仕分先31が設けられている。即ち、第1のコンベア41は、上流側に供給された荷物2を、第1の仕分先31に搬送する。
第2のコンベア42は、上流側から下流側に荷物2を搬送する。第2のコンベア42の上流側の端部は、第1のコンベア41に隣接するように設けられている。第2のコンベア42の下流側の端部に、第2の仕分先32が設けられている。即ち、第1のコンベア41は、上流側に供給された荷物2を、第2の仕分先32に搬送する。
区分機構43は、第1のコンベア41を搬送されている荷物2を、第2のコンベア42に供給する機構である。例えば、区分機構43は、回動することにより、第1のコンベア41を搬送されている荷物2に対して、水平方向から力を加え、荷物2を第2のコンベア42に移動させるアームを備える。
ソータ制御装置12は、検査装置20の制御に基づいて、ソータ11の第1のコンベア41及び第2のコンベア42の動作を制御し、荷物2を搬送させる。また、ソータ制御装置12は、区分機構43の動作を制御し、第1のコンベア41の下流の端部である第1の仕分先31と、第2のコンベア42の下流の端部である第2の仕分先32とで荷物2の仕分先を切り替える。
EADタグリーダ13は、第1のコンベア41により搬送されている荷物2からEADタグ3を読み取る。EADタグリーダ13は、EADタグ3からEAD識別コードを読み取り、読み取ったEAD識別コードを検査装置20に供給する。例えば、EADタグ3にEAD識別コードがバーコードとして印刷されている場合、EADタグリーダ13は、例えばバーコードリーダとして構成される。
カメラ14は、第1のコンベア41により搬送されている荷物2の外観の画像(外観画像)を取得する。カメラ14は、取得した荷物2の外観画像を検査装置20に供給する。例えば、カメラ14は、レンズと、レンズにより結像された光を画像に変換する撮像素子とが組み合わされて構成される。
X線撮影装置15は、第1のコンベア41により搬送されている荷物2のX線画像を取得する。X線撮影装置15は、取得した荷物2のX線画像を検査装置20に供給する。例えば、X線撮影装置15は、X線を荷物2に照射するX線管と、荷物2を透過したX線を検出するX線検出器とが組み合わされて構成される。
帳票リーダ16は、第1のコンベア41により搬送されている荷物2に張り付けられた帳票4から、種々の情報を読み取る。例えば、帳票リーダ16は、帳票4から受取人情報、差出人情報、及び内容物情報を取得する。なお、以下帳票4から取得した受取人情報、差出人情報、及び内容物情報を帳票情報と称する。帳票リーダ16は、帳票情報を検査装置20に供給する。例えば、帳票リーダ16は、例えば光を画像に変換する画素がライン状に配列された撮像素子と、画素に光を結像させるレンズとを有し、帳票4の画像(帳票画像)を取得するラインイメージセンサを備える。また、帳票リーダ16は、ラインイメージセンサにより読み取った帳票画像から受取人情報、差出人情報、及び内容物情報などの帳票情報を認識する光学文字認識処理を行うプロセッサを備える。
次に操作端末17について説明する。
操作端末17は、操作入力に基づき信号(操作信号)を生成し、操作信号を検査装置20に供給する。また、操作端末17は、オペレータに種々の情報を提供する。
図2は、操作端末17及び検査装置20の構成例を示す。操作端末17は、通信インタフェース51、制御部52、及びタッチパネル53を備える。
通信インタフェース51は、操作端末17以外の他の機器と通信する為のインタフェースである。通信インタフェース51は、ネットワーク21を介して、検査装置20と通信する。
制御部52は、種々の処理を実行する処理部である。制御部52は、プロセッサ54及びメモリ55を備える。
プロセッサ54は、演算処理を実行する演算素子である。プロセッサ54は、例えばCPUとして構成される。プロセッサ54は、メモリ55に記憶されているプログラムに基づいて種々の処理を行う。
メモリ55は、プログラム及びデータを記憶する記憶媒体である。メモリ55は、例えば、読み出し専用の不揮発性メモリであるROM、データを一時的に記憶するRAM、及びデータを記憶するストレージのいずれか、または複数を備える。
タッチパネル53は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル53は、一体に構成されたディスプレイ56及びタッチセンサ57を備える。操作端末17は、タッチパネル53の代わりに画面を表示するディスプレイと、操作に基づき操作信号を生成する操作部とを備える構成であってもよい。操作部は、マウス、トラックボール、キーボード、トラックパッドなど如何なるものであってもよい。
ディスプレイ56は、制御部52または図示されないグラフィックコントローラから供給される表示用のデータ(画面データ)に基づいて画面を表示する。
タッチセンサ57は、ディスプレイ56に表示された画面上において操作端末17を操作するオペレータがタッチした位置を示す操作信号を生成する。
第1のストレージ装置18は、検査装置20における処理の結果である登録情報を記憶する。図3は、登録情報の例について説明する為の説明図である。登録情報は、過去の荷物2に関する種々の情報と、検査結果とが対応付けられた過去履歴である。例えば、登録情報は、登録情報を登録した登録日時、オペレータ識別コード、荷物情報、及び検査結果情報を含む。オペレータ識別コードは、オペレータを識別するためのコードである。荷物情報は、ソータ11により搬送されている荷物2に関する情報である。荷物情報は、住所氏名情報及びX線画像の少なくとも一方を含む。例えば、荷物情報は、EAD情報、帳票情報、荷物の外観画像、及び荷物のX線画像を含む。検査結果情報は、オペレータにより入力された区分先情報及び規制品有無情報を含む。
区分先情報は、荷物2を第1の仕分先31と第2の仕分先32とのどちらに区分したかを示す情報である。オペレータは、荷物2の中身を確認する必要がないと判断した場合、荷物2を第1の仕分先31に区分するように、操作端末17を操作する。また、オペレータは、荷物2の中身を確認する必要がある、即ち、荷物2が規制品候補であると判断した場合、荷物2を第2の仕分先32に区分するように、操作端末17を操作する。言い換えると、区分先情報は、オペレータが荷物2を規制品候補であると判断したか否かを示す情報である。検査装置20は、オペレータが操作端末17を操作した結果、生成された操作信号に基づいて、荷物2毎に区分先情報を生成する。
規制品有無情報は、荷物2に規制品が含まれていたか否かを示す情報である。オペレータは、第2の仕分先32に区分された荷物2を開封する。オペレータは、荷物2を開封した結果に基づいて、規制品が含まれていたか否かに応じて、操作端末17を操作する。この結果、検査装置20において、規制品有無情報が生成される。
第2のストレージ装置19は、第1のストレージ装置18に記憶されている登録情報に基づいて生成されたデータベースを記憶する。データベースは、例えば、EAD情報の差出人情報、EAD情報の受取人情報、帳票情報の差出人情報、または帳票情報の受取人情報などと、過去の検査結果情報とが対応付けられたものである。具体的には、データベースは、差出人情報毎または受取人情報毎に、過去に荷物の中身が確認された回数、及び荷物に規制品が含まれていた回数を抽出可能に構成されている。また、データベースは、差出人情報毎または受取人情報毎に、トラブルの有無などの情報をさらに有していてもよい。なお、第2のストレージ装置19は、第1のストレージ装置18と1つの記憶装置として構成されていてもよい。
次に、検査装置20について説明する。
図2に示されるように、検査装置20は、通信インタフェース61及び制御部62を備える。検査装置20は、オペレータに情報を提供し、オペレータによる操作入力に基づいて、確認が不要な荷物と、荷物の確認が必要な荷物とを判別する装置である。オペレータは、認証の為の情報(認証情報)を検査装置20に入力することにより、検査装置20にログインする。なお、検査装置20は、上記の登録情報を生成する場合、ログイン中のオペレータの識別情報(オペレータ識別コード)を登録情報に付加する。
検査装置20は、パーソナルコンピュータ(PC)などの、データの処理及びデータの保存を行うことができる装置により構成される。検査装置20は、荷物の確認が不要な荷物2を第1の仕分先31に搬送し、荷物の確認が必要な荷物2を第2の仕分先32に搬送するように、ソータ制御装置12を制御する。検査装置20は、通信インタフェース61及び制御部62を備える。
通信インタフェース61は、他の機器と通信する為のインタフェースである。通信インタフェース61は、ネットワーク21を介して、EADタグリーダ13、カメラ14、X線撮影装置15、帳票リーダ16、操作端末17、第1のストレージ装置18、及び第2のストレージ装置19と通信する為の通信規格などに対応した端子及び回路を備える。
制御部62は、種々の処理を実行する処理部である。制御部62は、プロセッサ63及びメモリ64を備える。
プロセッサ63は、演算処理を実行する演算素子である。プロセッサ63は、例えばCPUとして構成される。プロセッサ63は、メモリ64に記憶されている検査プログラムに基づいて種々の処理を行う。
メモリ64は、プログラム及びデータを記憶する記憶媒体である。プログラムは、後述する荷物2を検査する処理をプロセッサ63に実行させるためのプログラム(検査プログラム)である。メモリ64は、例えば、読み出し専用の不揮発性メモリであるROM、及びデータを記憶するストレージの少なくとも1つ以上を備える。即ち、メモリ64は、検査プログラムを記録した非一時的記録媒体である。また、メモリ64は、データを一時的に記憶するRAMをさらに備えていてもよい。
また、メモリ64は、複数のEAD情報を記憶している。例えば、メモリ64には、USBメモリなどの記憶媒体からインポートされたEAD情報が記憶される。また、メモリ64には、ネットワークを介して供給されたEAD情報が記憶されてもよい。
検査装置20の制御部62のプロセッサ63は、メモリ64に記憶されているプログラムを実行することにより、EADタグリーダ13、カメラ14、X線撮影装置15、及び帳票リーダ16の動作を制御する。これにより、プロセッサ63は、EADタグリーダ13からEAD識別コードを取得する。また、プロセッサ63は、カメラ14から荷物2の外観画像を取得する。また、プロセッサ63は、X線撮影装置15から荷物2のX線画像を取得する。また、プロセッサ63は、帳票リーダ16から、荷物2に張り付けられた帳票4に記載された帳票情報を取得する。
また、プロセッサ63は、EADタグリーダ13から取得したEAD識別コードに基づいて、メモリ64から、EAD情報を取得する。プロセッサ63は、EADタグリーダ13から取得したEAD識別コードを含むEAD情報をメモリ64から抽出する。これにより、プロセッサ63は、EAD情報を取得する。
さらに、プロセッサ63は、新たに取得した荷物情報と、過去履歴と、に基づいて、住所氏名情報が一致する荷物の検査の履歴を抽出する。例えば、プロセッサ63は、荷物情報としての住所氏名情報に基づいて、第2のストレージ装置19に格納されているデータベースから、検査の履歴を抽出する。また、例えば、プロセッサ63は、荷物情報としての住所氏名情報に基づいて、第1のストレージ装置18に格納されている過去履歴から、検査の履歴を抽出する構成でもよい。なお、住所氏名情報に基づいて、第2のストレージ装置19のデータベースまたは第1のストレージ装置18の過去履歴から抽出された情報を、抽出情報と称する。
住所氏名情報は、EAD情報の差出人情報、EAD情報の受取人情報、帳票情報の差出人情報、及び帳票情報の受取人情報の少なくとも1つ以上の情報である。
抽出情報は、規制品候補であると判断された荷物の数に基づいて、オペレータの注意を促すための情報である。例えば、抽出情報は、規制品候補であると判断された荷物の数に基づいて生成される情報である。また例えば、抽出情報は、規制品を実際に含んでいた荷物の数に基づいて生成される情報であってもよい。
具体的には、プロセッサ63は、差出人情報が一致し、且つ過去に荷物の中身が確認された回数、差出人情報が一致し、且つ過去に荷物に規制品が含まれていた回数をデータベースから抽出する。また、プロセッサ63は、受取人情報が一致し、且つ過去に荷物の中身が確認された回数、受取人情報が一致し、且つ過去に荷物に規制品が含まれていた回数をデータベースから抽出する。また、プロセッサ63は、差出人情報及び受取人情報の両方が一致し、且つ過去に荷物の中身が確認された回数、差出人情報及び受取人情報の両方が一致し、且つ過去に荷物に規制品が含まれていた回数をデータベースから抽出する構成であってもよい。
また、プロセッサ63は、過去履歴に基づいて、機械学習によって生成されたパラメータを用いて、X線画像から規制品の位置を推測する。例えば、プロセッサ63は、規制品の位置の推測結果をX線画像に重ね、候補画像を生成する。例えば、プロセッサ63は、規制品が存在する可能性に基づいて、X線画像上の所定の領域毎にスコアを算出する。プロセッサ63は、算出したスコアに応じて、各領域を異なる表示にすることにより、候補画像を生成する。例えば、プロセッサ63は、算出したスコアに応じて、各領域を異なる色で表示することにより、候補画像を生成する。
パラメータは、大量の学習用データに基づいて調整されたものである。学習用データは、問題と答えとを有するものである。学習用データの問題及び答えは、登録情報の任意のデータである。上記のように、X線画像から規制品の位置を推測する例では、X線画像が問題に相当し、X線画像中において規制品が存在する位置が答えに相当する。即ち、パラメータは、X線画像(問題)と、X線画像中における規制品の位置(答え)とを有する学習用データに基づいて、例えばセグメーテーション用のニューラルネットワークなどにより機械学習を行うことにより生成されたものである。
プロセッサ63は、ソータ11により搬送されている荷物2に関する種々の情報を示す画面(確認画面)を生成し、操作端末17に送信し、表示させる。プロセッサ63は、EAD情報、帳票情報、外観画像、X線画像、候補画像、及びデータベースから抽出した抽出情報に基づいて、確認画面を生成する。
図4は、確認画面71の例について説明する為の説明図である。
確認画面71は、操作端末17のディスプレイ56に表示される画面である。確認画面71には、荷物2を開封確認する必要があるか否かをオペレータが判断する際に用いられる情報が表示される。即ち、確認画面71に表示される情報は、オペレータの判断の参考に用いられる参考情報である。確認画面71は、外観画像72、X線画像73、候補画像74、EAD情報75、帳票情報76、抽出情報77、配達ボタン78、及び確認ボタン79などの表示を有する。
外観画像72は、カメラ14により取得した荷物2の外観画像である。X線画像73は、X線撮影装置15により取得した荷物2のX線画像である。候補画像74は、プロセッサ63がX線画像と上記のパラメータとに基づいて生成した画像である。EAD情報75は、EADタグリーダ13により荷物2から取得したEAD識別コードに基づいて取得したEAD情報である。なお、EADタグ3が荷物2に貼られていない場合、EAD識別コード及びEAD情報を取得することができない為、確認画面71中のEAD情報75は空欄となる。帳票情報76は、帳票リーダ16により、荷物2の帳票4から読み取った帳票情報である。即ち、EAD情報75及び帳票情報76は、荷物情報としての住所氏名情報を含むものである。
抽出情報77は、上記のように、プロセッサ63が、住所氏名情報に基づいて、過去履歴から抽出した情報である。例えば、抽出情報77は、ソータ11により搬送されている荷物2と受取人情報が一致する荷物の数「ZZ」のうち、規制品候補であると判断された荷物の数「YY」、規制品が含まれていた荷物の数「XX」などの情報を含む。また、抽出情報77は、ソータ11により搬送されている荷物2と受取人情報が一致する荷物の数「CC」のうち、規制品候補であると判断された荷物の数「BB」、規制品が含まれていた荷物の数「AA」などの情報を含む。またさらに、抽出情報77は、ソータ11により搬送されている荷物2の差出人または受取人の、過去のトラブルの有無を含んでいてもよい。
また、確認画面71は、アラーム表示80をさらに含んでいてもよい。図4では、アラーム表示80として「要確認」の文字列を確認画面71に表示させている。プロセッサ63は、例えば、抽出情報が所定の条件を満たす場合に、アラーム表示80を確認画面71に表示させる。例えば、プロセッサ63は、抽出情報における規制品の数が、予め設定された閾値以上である場合、アラーム表示80を確認画面71に表示させる。また、例えば、プロセッサ63は、抽出情報における規制品候補の数が、予め設定された閾値以上である場合、アラーム表示80を確認画面71に表示させる。上記の条件は、オペレータごとに設定されてもよい。
配達ボタン78及び確認ボタン79は、タッチセンサ57により選択可能なボタンである。オペレータは、確認画面71の参考情報を確認し、荷物2を開封確認する必要があるか否か判断する。即ち、オペレータは、確認画面71の、外観画像72、X線画像73、候補画像74、EAD情報75、帳票情報76、及び抽出情報77などを確認して、荷物2を開封する必要があるか否か判断し、配達ボタン78と確認ボタン79とのいずれかを選択する。
オペレータにより配達ボタン78が選択された場合、検査装置20は、荷物2が規制品候補ではないと判断し、荷物2を第1の仕分先31に搬送するように、ソータ制御装置12を制御する。
オペレータにより確認ボタン79が選択された場合、検査装置20は、荷物2が規制品候補であると判断し、荷物2を第2の仕分先32に搬送するように、ソータ制御装置12を制御する。この後、オペレータは、第2の仕分先32に搬送された荷物2を開封し、規制品の有無を確認し、確認の結果を操作端末17に入力する。これにより、検査装置20は、図3に示されるような登録情報を生成する。検査装置20は、生成した登録情報を第1のストレージ装置18に保存する。これにより、過去履歴が第1のストレージ装置18に蓄積される。また、これにより、差出人情報及び受取人情報をインデックスとして、過去に規制品候補と判断された荷物の数、及び規制品が含まれていた荷物の数を抽出可能なデータベースを、第2のストレージ装置19に生成することができる。
次に、検査システム1の動作について説明する。
図5は、検査システム1の動作について説明する為のフローチャートである。
検査システム1のEADタグリーダ13は、第1のコンベア41により搬送されている荷物2のEADタグ3から、EAD識別コードを読み取る(ステップS11)。EADタグリーダ13は、EAD識別コードを検査装置20に供給する。
検査システム1のカメラ14は、第1のコンベア41により搬送されている荷物2の外観画像を取得する(ステップS12)。カメラ14は、外観画像を検査装置20に供給する。
検査システム1のX線撮影装置15は、第1のコンベア41により搬送されている荷物2のX線画像を取得する(ステップS13)。カメラ14は、X線画像を検査装置20に供給する。
検査システム1の帳票リーダ16は、第1のコンベア41により搬送されている荷物2の帳票4から、帳票情報を取得する(ステップS14)。帳票リーダ16は、帳票情報を検査装置20に供給する。
検査装置20の制御部62のプロセッサ63は、EADタグリーダ13によりEAD識別コードを取得したか否か判断する(ステップS15)。これにより、プロセッサ63は、EADタグリーダ13からEAD識別コードが供給されたか否か判断する。
プロセッサ63は、EADタグリーダ13によりEAD識別コードを取得したと判断した場合(ステップS15、YES)、EAD識別コードに基づいてEAD情報を取得する(ステップS16)。上記の処理により、検査装置20は、荷物2に関する種々の情報である荷物情報を取得する。
さらに、プロセッサ63は、EAD情報に基づいて、第2のストレージ装置19のデータベースから抽出情報を取得し(ステップS17)、後述するステップS19の処理に移行する。即ち、プロセッサ63は、EAD情報の差出人情報及び受取人情報に一致する過去の荷物の数、規制品候補と判断された荷物の数、規制品が含むと判断された荷物の数を、それぞれデータベースから取得する。
プロセッサ63は、EADタグリーダ13によりEAD識別コードを取得していないと判断した場合(ステップS15、NO)、帳票情報に基づいて、第2のストレージ装置19のデータベースから抽出情報を取得し(ステップS18)、後述するステップS19の処理に移行する。即ち、プロセッサ63は、帳票情報の差出人情報及び受取人情報に一致する過去の荷物の数、規制品候補と判断された荷物の数、規制品が含むと判断された荷物の数を、それぞれデータベースから取得する。
プロセッサ63は、機械学習によって生成されたパラメータを用いて、X線画像から規制品の位置を推測し、候補画像を生成する(ステップS19)。
プロセッサ63は、EAD情報、帳票情報、外観画像、X線画像、候補画像、及びデータベースから抽出した抽出情報に基づいて、図4に示す確認画面71を生成する(ステップS20)。プロセッサ63は、確認画面71を操作端末17に出力し、表示させる(ステップS21)。これにより、オペレータに確認画面71を視認させ、荷物2が規制品候補であるか否かを判断させる。オペレータは、荷物2が規制品候補であると判断した場合、確認画面71の確認ボタン79を選択する。オペレータは、荷物2が規制品候補ではないと判断した場合、確認画面71の配達ボタン78を選択する。操作端末17は、確認画面71の確認ボタン79及び配達ボタン78の選択結果に基づいて、操作信号を検査装置20に供給する。
検査装置20のプロセッサ63は、操作端末17からの操作信号に基づいて、荷物2が規制品候補であるか否か判断する(ステップS22)。例えば、プロセッサ63は、操作端末17から配達ボタン78が選択されたことを示す操作信号を受信した場合、荷物2が規制品候補ではないと判断する。また、例えば、プロセッサ63は、操作端末17から確認ボタン79が選択されたことを示す操作信号を受信した場合、荷物2が規制品候補であると判断する。
プロセッサ63は、荷物2が規制品候補ではないと判断した場合(ステップS22、NO)、荷物2が第1の仕分先31に搬送されるように、ソータ制御装置12に制御信号を入力する(ステップS23)。また、プロセッサ63は、荷物2が規制品候補であると判断した場合(ステップS22、YES)、荷物2が第2の仕分先32に搬送されるように、ソータ制御装置12に制御信号を入力する(ステップS24)。
この後、オペレータは、第2の仕分先32に搬送された荷物2を開封し、規制品の有無を確認し、確認の結果を操作端末17に入力する。プロセッサ63は、上記の処理結果に基づいて、登録情報を生成し、登録情報を第1のストレージ装置18に記憶し(ステップS25)、処理を終了する。これにより、規制品が実際に荷物2に含まれていたか否かを示す規制品有無情報が登録情報に付加される。なお、第2の仕分先32に搬送された荷物2を開封するオペレータは、操作端末17を操作するオペレータとは別であってもよい。この場合、検査システム1は、第2の仕分先32に搬送された荷物2を開封し、規制品が含まれていたか否かを、オペレータが入力する為の装置をさらに備えていてもよい。即ち、検査システム1は、規制品が含まれていたか否かを示す情報を、オペレータの入力に基づいて、検査装置20に送信する装置をさらに備えていてもよい。
なお、登録情報には、規制品の有無の確認結果が含まれていなくてもよい。この場合、確認画面71の抽出情報77からも、規制品の数の項目が省略される。
上記したように、検査装置20のプロセッサ63は、通信インタフェース61により、ソータ11により搬送されている荷物2に関する荷物情報と、オペレータが操作端末17を操作することにより生成された操作信号とを取得する。プロセッサ63は、操作信号に基づいて、荷物2が規制品候補であるか否かを示す検査結果情報を生成する。プロセッサ63は、過去の荷物2の荷物情報と検査結果情報とが対応付けられた過去履歴と、新たに取得した荷物情報と、に基づいて、参考情報を出力する。これにより、検査装置20は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。この結果、効率的にオペレータが荷物の区分先を決定することが可能な検査装置を提供することができる。
また、荷物情報は、荷物2に対応する住所氏名情報であり、プロセッサ63は、住所氏名情報が一致し、且つ規制品候補であると判断された荷物の数に基づいて、参考情報を生成する。これにより、検査装置20は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。
また、プロセッサ63は、荷物2が規制品を含むことを示す操作信号を取得した場合、荷物2が規制品を含むことを示す情報を、検査結果情報に付加する。プロセッサ63は、住所氏名情報が一致し、且つ規制品を含んでいた荷物の数に基づいて、参考情報を生成する。これにより、検査装置20は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。
また、プロセッサ63は、通信インタフェース61により、荷物2から読み取られたEAD識別コードと一致するEAD情報を取得する。プロセッサ63は、EAD情報に含まれている差出人情報及び受取人情報の少なくともいずれかを、住所氏名情報として用いる。これにより、検査装置20は、オペレータが荷物の区分先を判断する為に有用な情報を提供することができる。
また、プロセッサ63は、通信インタフェース61により、荷物2に表示された差出人情報及び受取人情報を取得する。プロセッサ63は、差出人情報及び受取人情報の少なくともいずれかを、住所氏名情報として用いる。これにより、検査装置1は、荷物2にEADタグ3が貼られていない場合であっても、履歴を残すことができる。
検査装置20のプロセッサ63は、荷物2のX線画像をX線撮影装置15から取得する。プロセッサ63は、機械学習によって生成されたパラメータを用いて、X線画像から規制品の位置を推測する。プロセッサ63は、規制品の位置の推測結果をX線画像に重ね、候補画像を生成する。プロセッサ63は、候補画像を参考情報に付加し、出力する。これにより、オペレータの注意を促すことができる。
なお、上記の実施形態では、確認画面71は、配達ボタン78と確認ボタン79とのいずれかをオペレータに選択させる画面であると説明したが、この構成に限定されない。確認ボタン79が複数の区分理由によって分かれていてもよい。また、X線画像上において、規制品が存在する位置をオペレータに指示させるように構成されていてもよい。
図6は、図4の確認画面71の他の例である確認画面71Aについて説明する為の説明図である。
プロセッサ63は、EAD情報、帳票情報、外観画像、X線画像、候補画像、及びデータベースから抽出した抽出情報に基づいて、確認画面71Aを生成する。
確認画面71Aは、操作端末17のディスプレイ56に表示される画面である。確認画面71Aには、荷物2を開封確認する必要があるか否かをオペレータが判断する際に用いられる情報が表示される。即ち、確認画面71Aに表示される情報は、オペレータの判断の参考に用いられる参考情報である。確認画面71Aは、外観画像72、X線画像73A、候補画像74、EAD情報75、帳票情報76、抽出情報77、配達ボタン78、規制品ボタン81、危険物ボタン82、内容物不一致ボタン83、過去履歴ボタン84、及びその他ボタン85などの表示を有する。
オペレータは、確認画面71Aの参考情報を確認し、荷物2を開封確認する必要があるか否か判断し、配達ボタン78、規制品ボタン81、危険物ボタン82、内容物不一致ボタン83、過去履歴ボタン84、及びその他ボタン85のいずれかを選択する。規制品ボタン81、危険物ボタン82、内容物不一致ボタン83、過去履歴ボタン84、及びその他ボタン85は、確認画面71における確認ボタン79に相当する。即ち、規制品ボタン81、危険物ボタン82、内容物不一致ボタン83、過去履歴ボタン84、及びその他ボタン85のいずれかがオペレータにより選択された場合、検査装置20は、荷物2を第2の仕分先32に搬送するようにソータ制御装置12を制御する。
規制品ボタン81は、オペレータが確認画面71Aを視認した結果、荷物2に規制品が含まれている可能性があると判断した場合に選択されるボタンである。
危険物ボタン82は、オペレータが確認画面71Aを視認した結果、荷物2に規制品が含まれている可能性があると判断した場合に、選択されるボタンである。
内容物不一致ボタン83は、オペレータが確認画面71Aを視認した結果、EAD情報75または帳票情報76に記載されている荷物2と一致しないものが荷物2に含まれている可能性があると判断した場合に、選択されるボタンである。
過去履歴ボタン84は、オペレータが確認画面71Aを視認した結果、抽出情報77から荷物2を開封して確認する必要があると判断した場合に、選択されるボタンである。
その他ボタン85は、上記の理由に該当しないものの、荷物2を開封して確認する必要があるとオペレータが判断した場合に、選択されるボタンである。
X線画像73Aは、X線撮影装置15により取得した荷物2のX線画像である。さらに、X線画像73Aは、画像上の領域をタッチセンサ57により指示可能に構成されている。即ち、操作端末17は、オペレータがタッチセンサ57によりX線画像73A上の領域を選択(タップ、ドラッグなど)する操作を行った場合、オペレータが選択した領域を示す情報(X線画像領域情報)を生成する。
例えば、オペレータは、X線画像73Aにおいて、規制品が存在することが推定される領域を選択する。即ち、X線画像領域情報は、X線画像73A中における規制品の位置を示す情報である。これにより、X線画像73Aが問題であり、オペレータによる領域の選択結果(X線画像領域情報)が答えである学習データを生成することができる。
上記の確認画面71Aにおけるボタンの操作結果に基づいて、操作端末17は、操作信号を検査装置20に供給する。
検査装置20のプロセッサ63は、操作端末17から配達ボタン78が選択されたことを示す操作信号を受信した場合、荷物2が規制品候補ではないと判断する。この場合、プロセッサ63は、荷物2が第1の仕分先31に搬送されるように、ソータ制御装置12に制御信号を入力する。さらに、プロセッサ63は、登録情報を生成し、第1のストレージ装置18に保存する。
また、プロセッサ63は、規制品ボタン81、危険物ボタン82、内容物不一致ボタン83、過去履歴ボタン84、及びその他ボタン85のいずれかが選択されたことを示す操作信号を操作端末17から受信した場合、荷物2の開封確認が必要であると判断する。この場合、プロセッサ63は、荷物2が第2の仕分先32に搬送されるように、ソータ制御装置12に制御信号を入力する。
この後、オペレータは、第2の仕分先32に搬送された荷物2を開封し、荷物2の中身を確認し、確認結果を操作端末17に入力する。プロセッサ63は、上記の処理結果に基づいて、登録情報を生成する。これにより、規制品が実際に荷物2に含まれていたか否かを示す規制品有無情報を検査結果情報に含む登録情報が生成される。
また、プロセッサ63は、規制品ボタン81、危険物ボタン82、内容物不一致ボタン83、過去履歴ボタン84、及びその他ボタン85などのボタンが選択されて、荷物2が第2の仕分先32に区分されたのかを示す情報(区分理由情報)を、登録情報に付加する。例えば、規制品ボタン81が選択された場合、プロセッサ63は、区分理由情報として「規制品」を登録情報に付加する。例えば、危険物ボタン82が選択された場合、プロセッサ63は、区分理由情報として「危険物」を登録情報に付加する。例えば、内容物不一致ボタン83が選択された場合、プロセッサ63は、区分理由情報として「内容物不一致」を登録情報に付加する。例えば、過去履歴ボタン84が選択された場合、プロセッサ63は、区分理由情報として「過去履歴」を登録情報に付加する。例えば、その他ボタン85が選択された場合、プロセッサ63は、区分理由情報として「その他」を登録情報に付加する。
また、プロセッサ63は、X線画像73A上における規制品の位置を示すX線画像領域情報を登録情報に付加する。
これにより、図7に示される登録情報が生成される。図7の登録情報は、登録情報を登録した登録日時、オペレータ識別コード、荷物情報、及び検査結果情報を含む。荷物情報は、ソータ11により搬送されている荷物2に関する情報である。荷物情報は、住所氏名情報及びX線画像の少なくとも一方を含む。例えば、荷物情報は、EAD情報、帳票情報、荷物の外観画像、及び荷物のX線画像を含む。検査結果情報は、オペレータにより入力された区分先情報、区分理由情報、規制品有無情報、及びX線画像領域情報を含む。
プロセッサ63は、上記の処理により生成された登録情報を、第1のストレージ装置18に過去履歴として記憶する。プロセッサ63は、第1のストレージ装置18に保存された過去履歴に基づいて、データベースを生成し、第2のストレージ装置19に保存する。例えば、プロセッサ63は、住所氏名情報毎に、区分先情報、区分理由情報、及び規制品有無を対応付けて、データベースを生成する。これにより、プロセッサ63は、住所氏名情報に基づいて、区分理由毎に、規制品候補であると判断された過去の荷物の数、規制品を含んでいた過去の荷物の数をそれぞれ抽出可能なデータベースを生成することができる。
このような構成によると、プロセッサ63は、過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づいて、参考情報を生成することができる。即ち、プロセッサ63は、予め設定された区分理由の過去の荷物の数、予め設定された区分理由によって規制品候補であると判断された過去の荷物の数、予め設定された区分理由によって区分され且つ規制品を含んでいた荷物の数を、データベースより抽出することができる。さらに、プロセッサ63は、抽出した情報を、抽出情報77として確認画面71Aに付加することができる。
また、上記の実施形態において、プロセッサ63は、住所氏名情報に基づいて、データベースから抽出情報を取得し、抽出情報にもとづいてアラーム表示を行うと説明したが、この構成に限定されない。プロセッサ63は、区分理由情報によってアラーム表示を行わないように構成されていてもよい。
例えば、上記の実施形態では、プロセッサ63が、EAD情報または帳票情報に基づいて、第2のストレージ装置19から抽出情報を抽出する。さらに、プロセッサ63は、抽出情報における規制品候補の数が、予め設定された閾値以上である場合、アラーム表示80を確認画面71に表示させると説明した。しかし、区分理由が過去履歴である場合、1度荷物2が規制品候補であると判断されることにより、住所氏名情報が一致する荷物2に対して、アラーム表示が出され続けることになる。この為、プロセッサ63は、区分理由によって、規制品候補としてカウントしないように構成されていてもよい。これにより、プロセッサ63は、住所氏名情報が一致する抽出情報の規制品候補の数のうち、予め設定された区分理由により規制品候補として区分された荷物の数をカウントすることができる。
また、上記したように、図7の登録情報は、X線画像(問題)と、X線画像上における規制品の位置を示すX線画像領域情報(答え)とを有する。即ち、登録情報から学習用データを生成することができる。検査装置20は、学習用データを用いて、例えばセグメーテーション用のニューラルネットワークなどにより機械学習を行うことにより、パラメータを更新することができる。即ち、オペレータが入力したX線画像領域情報に基づいて、パラメータを更新することができる。
さらに、検査装置20は、学習用データを用いた機械学習におけるパラメータの更新の重みを、オペレータごとに設定する構成であってもよい。重みは、パラメータの更新の度合、上限及び下限、または係数などを示す情報である。重みが大きいほど、1度の学習でパラメータが大きく変化する。例えば、プロセッサ63は、登録情報のオペレータ識別コードに基づいて、重みを取得する。例えば、プロセッサ63は、登録情報に付加されているオペレータ識別コードと重みとか対応付けられたテーブルを参照することにより、重みを取得する。プロセッサ63は、取得した重みと、学習用データとに基づいて、パラメータの更新を行う。これにより、X線画像中の規制品の検出精度が高いオペレータの登録情報に基づく学習用データを、パラメータの更新の際に重視させることができる。
またさらに、検査装置20は、図7の登録情報を用いたパラメータの更新の重みを、区分理由情報ごとに設定する構成であってもよい。これにより、区分理由が「その他」である場合、「内容物不一致」である場合、または「過去履歴」である登録情報に基づき生成された学習用データを、パラメータの更新の際に重視しないようにすることができる。
またさらに、検査装置20は、実際に第2の仕分先32に区分された荷物2を確認した結果に基づいて、図7の登録情報をパラメータの更新に用いない構成であってもよい。例えば、実際に第2の仕分先32に区分された荷物2を確認した結果、規制品が含まれていなかった場合、登録情報のX線画像(問題)及びX線画像領域情報(答え)をパラメータの更新に用いることは、好ましくない。この為、例えば、検査装置20は、実際に第2の仕分先32に区分された荷物2を確認した結果、規制品が含まれていなかった登録情報を、パラメータの更新に用いないように構成されていてもよい。
上記したように、プロセッサ63は、荷物情報として荷物2のX線画像を取得し、X線画像73を含む参考情報としての確認画面71Aを出力する。オペレータは、X線画像73を確認し、荷物2が規制品候補であるか否かを操作端末17に入力する。プロセッサ63は、操作信号に基づいて、オペレータが荷物2を規制品候補であると判断したか否かを示す検査結果情報を生成する。さらに、プロセッサ63は、X線画像を問題とし、検査結果情報を答えとした学習用データに基づいて、機械学習によりパラメータを生成する。このような構成によると、プロセッサ63は、新たに取得したX線画像と、パラメータとに基づいて、荷物2が規制品候補であるか否かを推定する。プロセッサ63は、荷物2が規制品候補であるか否かの推定結果を、参考情報としての確認画面71Aに付加することができる。これにより、検査装置20は、オペレータに注意を促すことができる。
また、プロセッサ63は、荷物情報として荷物2のX線画像を取得し、X線画像73を含む参考情報としての確認画面71Aを出力する。オペレータは、X線画像73を確認し、荷物2が規制品候補であるか否か判断する。オペレータは、荷物2が規制品候補であると判断した場合、荷物2が規制品候補であると推定される理由(すなわち区分理由)を、操作端末17に入力する。プロセッサ63は、操作信号に基づいて、オペレータが荷物2を規制品候補であると判断したか否かと、オペレータが荷物2を規制品候補であると判断した理由を示す区分理由と、を示す検査結果情報を生成する。さらに、プロセッサ63は、X線画像を問題とし、検査結果情報を答えとした学習用データに基づいて、機械学習によりパラメータを更新する。即ち、プロセッサ63は、X線画像を問題とし、オペレータが荷物2を規制品候補であると判断した理由を示す区分理由が分類先として設定されたパラメータを生成する。このような構成によると、プロセッサ63は、新たに取得したX線画像と、パラメータとに基づいて、荷物2が規制品候補であるか否かと、荷物2が規制品候補である理由と、を推定することができる。これにより、プロセッサ63は、荷物2が規制品候補であるか否かと、荷物2が規制品候補である理由と、の推定結果を、参考情報としての確認画面71Aに付加することができる。これにより、検査装置20は、オペレータに注意を促すことができる。
また、プロセッサ63は、荷物情報として荷物2のX線画像を取得し、X線画像73を含む参考情報としての確認画面71Aを出力する。オペレータは、X線画像73を確認し、荷物2が規制品候補であるか否か判断する。オペレータは、荷物2が規制品候補であると判断した場合、荷物2が規制品候補であると推定される理由(すなわち区分理由)を、操作端末17に入力する。また、オペレータは、荷物2が規制品候補であると判断した場合、X線画像73A上で、規制品の位置を、操作端末17に入力する。プロセッサ63は、操作信号に基づいて、オペレータが荷物2を規制品候補であると判断したか否かと、オペレータが荷物2を規制品候補であると判断した理由を示す区分理由と、規制品の位置を示すX線画像領域情報と、を示す検査結果情報を生成する。さらに、プロセッサ63は、X線画像を問題とし、検査結果情報を答えとした学習用データに基づいて、機械学習によりパラメータを更新する。即ち、プロセッサ63は、X線画像を問題とし、オペレータが荷物2を規制品候補であると判断した理由を示す区分理由と、X線画像上において規制品が存在する位置と、を推定する為のパラメータを生成する。言い換えると、プロセッサ63は、X線画像73A上でのオペレータの操作に基づいて生成されたX線画像領域情報と、オペレータが荷物2を規制品候補であると判断した理由を示す区分理由とが答えである学習用データに基づいて、パラメータを生成する。このような構成によると、プロセッサ63は、新たに取得したX線画像と、パラメータとに基づいて、荷物2が規制品候補であるか否かと、荷物2が規制品候補である理由と、X線画像上の規制品が存在することが推定される領域と、を推定することができる。プロセッサ63は、パラメータと、新たに取得したX線画像とに基づいて、X線画像上の規制品が存在することが推定される領域と、区分理由とを示した候補画像を生成する。プロセッサ63は、生成した候補画像を、参考情報としての確認画面71Aに表示させる。これにより、検査装置20は、オペレータに注意を促すことができる。
また、プロセッサ63は、X線画像が問題であり、X線画像上における規制品の位置を答えとした学習用データを用いて、機械学習によりパラメータの更新を行う場合、機械学習に用いるX線画像をクロップしてもよい。例えば、プロセッサ63は、X線画像領域情報に基づいて、X線画像をクロップし、クロップしたX線画像を学習用データの問題として用いる。即ち、プロセッサ63は、オペレータがX線画像上で選択した領域のX線画像を学習用データの問題として用いる。これにより、検査装置20は、学習用データの問題から余計な情報が除去される為、より規制品候補を検出しやすいパラメータを生成することができる。
また、上記の実施形態では、規制品ボタン81、危険物ボタン82、内容物不一致ボタン83、過去履歴ボタン84、及びその他ボタン85などのボタンの選択に基づいて、「規制品」、「危険物」、「内容物不一致」、「過去履歴」、及び「その他」などの区分理由情報を検査結果情報に付加すると説明したが、この構成に限定されない。「規制品」及び「危険物」は、それぞれさらに種々の項目に分かれていてもよい。例えば、「規制品」は、「特定の生体」、「指定薬物」、「銃及び銃部品」、及び「偽造物」などに分かれていてもよい。また、「危険物」は、「爆発物」、「火薬類」、及び「特定化学物質」などに分かれていてもよい。区分理由情報がこのように分かれていることにより、検査結果情報により詳細な区分理由情報が付加される。これにより、検査装置20は、より詳細な区分理由を参考情報に付加することができる。
また、上記の検査プログラムを実行するのは、検査装置20のプロセッサ63に限定されず、通信インタフェースと、プロセッサとを備える装置であれば如何なる装置であってもよい。即ち、検査プログラムは、通信インタフェースと、プロセッサとを備える装置のプロセッサにより実行される検査プログラムであって、プロセッサに、通信インタフェースにより、荷物を区分するソータにより搬送されている荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得することを実行させる。また、検査プログラムは、プロセッサに、操作信号に基づいて生成された荷物が規制品候補であるか否かを示す検査結果情報と荷物情報とが対応付けられた過去履歴と、新たに取得した荷物情報と、に基づいて、参考情報を出力することを実行させる。
また、上記したように、検査プログラムは、検査プログラムを実行するプロセッサを備える装置により読み出し可能な状態で、非一時的記録媒体に記録されていてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に出願当初の特許請求の範囲を付記する。
[C1]
荷物を区分するソータにより搬送されている前記荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得する通信インタフェースと、
前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴と、新たに取得した前記荷物情報と、に基づいて、参考情報を出力するプロセッサと、
を具備する検査装置。
[C2]
前記荷物情報は、前記荷物に対応する住所氏名情報であり、
前記プロセッサは、前記住所氏名情報が一致する前記過去履歴から抽出された規制品候補である荷物の数に基づいて、前記参考情報を生成するC1に記載の検査装置。
[C3]
前記荷物情報は、前記荷物に対応する住所氏名情報を含み、
前記プロセッサは、
前記荷物が規制品を含むことを示す前記操作信号を受信した場合、前記荷物が規制品を含むことを示す情報を前記検査結果情報に付加し、
前記住所氏名情報が一致する前記過去履歴から抽出された規制品を含む荷物の数に基づいて、前記参考情報を生成するC1に記載の検査装置。
[C4]
前記荷物情報は、前記荷物に対応する住所氏名情報を含み、
前記プロセッサは、
前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、
前記過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づいて、前記参考情報を生成するC1に記載の検査装置。
[C5]
前記荷物情報は、前記荷物のX線画像を含み、
前記プロセッサは、
オペレータが前記X線画像を確認し、荷物が規制品候補であるか否かの入力に基づき生成された前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断したか否かを示す前記検査結果情報を生成し、
前記X線画像を問題とし、前記検査結果情報を答えとした学習用データに基づいて生成されたパラメータと、新たに取得した前記X線画像とに基づいて、前記参考情報を生成するC1に記載の検査装置。
[C6]
前記プロセッサは、
前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、
前記パラメータと、前記X線画像とに基づいて、前記荷物が規制品候補であると推定される理由を、前記参考情報に付加するC5に記載の検査装置。
[C7]
前記プロセッサは、
前記X線画像を問題とし、前記X線画像上における規制品の位置を答えとした学習用データに基づいて生成された前記パラメータと、前記X線画像とに基づいて、前記X線画像上の規制品が存在することが推定される領域を示した候補画像を生成し、
前記候補画像を、前記参考情報に付加するC5に記載の検査装置。
[C8]
前記学習用データは、前記X線画像上でのオペレータの操作に基づいて、X線画像上の領域を示すX線画像領域情報が前記答えとして生成されたデータであるC7に記載の検査装置。
[C9]
前記学習用データは、前記X線画像上でのオペレータの操作に基づいて、X線画像上の領域を示すX線画像領域情報と、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由とが前記答えとして生成されたデータであるC7に記載の検査装置。
[C10]
前記プロセッサは、
前記パラメータと、前記X線画像とに基づいて、前記X線画像上の規制品が存在することが推定される領域と、前記区分理由とを示した前記候補画像を生成するC9に記載の検査装置。
[C11]
前記プロセッサは、前記学習用データに基づいて前記パラメータを更新するC5に記載の検査装置。
[C12]
前記プロセッサは、オペレータを識別するためのオペレータ識別コードを前記検査結果情報に付加し、
前記プロセッサは、前記学習用データを生成したオペレータごとに、異なる重みで前記パラメータの更新を行うC11に記載の検査装置。
[C13]
前記通信インタフェースは、前記荷物に表示された差出人情報及び受取人情報から住所氏名情報を取得し、
前記荷物情報は、前記住所氏名情報の前記差出人情報及び受取人情報の少なくともどちらかを含むC1に記載の検査装置。
[C14]
前記通信インタフェースは、差出人情報及び受取人情報を含むEAD情報が予め複数記憶された記憶媒体から、前記荷物から読み取られたEAD識別コードと一致するEAD情報を取得し、取得した前記EAD情報に含まれている住所氏名情報を取得し、
前記荷物情報は、前記住所氏名情報の前記差出人情報及び受取人情報の少なくともどちらかを含むC1に記載の検査装置。
[C15]
通信インタフェースと、プロセッサとを備える検査装置により実行される検査プログラムであって、
前記検査装置に、
前記通信インタフェースにより、荷物を区分するソータにより搬送されている前記荷物に関する荷物情報と、オペレータによる操作に基づいて生成された操作信号とを取得することを実行させ、
前記プロセッサにより、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴と、新たに取得した前記荷物情報と、に基づいて、参考情報を出力することを実行させる、
検査プログラム。
1…検査システム、2…荷物、3…EADタグ、4…帳票、11…ソータ、12…ソータ制御装置、13…EADタグリーダ、14…カメラ、15…X線撮影装置、16…帳票リーダ、17…操作端末、18…第1のストレージ装置、19…第2のストレージ装置、20…検査装置、21…ネットワーク、31…第1の仕分先、32…第2の仕分先、41…第1のコンベア、42…第2のコンベア、43…区分機構、51…通信インタフェース、52…制御部、53…タッチパネル、54…プロセッサ、55…メモリ、56…ディスプレイ、57…タッチセンサ、61…通信インタフェース、62…制御部、63…プロセッサ、64…メモリ。

Claims (15)

  1. 搬送されている荷物を撮像した画像から文字認識処理により取得した住所氏名情報及び前記荷物のX線画像を含む荷物情報と、オペレータによる操作に基づいて生成された操作信号と、を取得する通信インタフェースと、
    前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記荷物情報とが対応付けられた過去履歴から、新たに搬送された荷物から取得した前記住所氏名情報を含む前記荷物情報に対応する前記検査結果情報を抽出結果として抽出するプロセッサと、
    を具備し、
    前記プロセッサは、
    前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加し、
    前記過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づく情報を出力する、
    検査装置。
  2. 前記プロセッサは、前記抽出結果に含まれる前記検査結果情報を確認画面に出力する請求項1に記載の検査装置。
  3. 前記プロセッサは、新たに搬送された前記荷物のX線画像を確認画面に出力する請求項1又は2に記載の検査装置。
  4. 前記プロセッサは、新たに搬送された前記荷物を撮像した画像を確認画面に出力する請求項1乃至3のいずれか一項に記載の検査装置。
  5. 前記プロセッサは、前記住所氏名情報が一致する前記過去履歴から抽出された規制品候補である荷物の数に基づく情報を出力する請求項1に記載の検査装置。
  6. 前記プロセッサは、
    前記荷物が規制品を含むことを示す前記操作信号を受信した場合、前記荷物が規制品を含むことを示す情報を前記検査結果情報に付加し、
    前記住所氏名情報が一致する前記過去履歴から抽出された規制品を含む荷物の数に基づく情報を出力する請求項1に記載の検査装置。
  7. 前記プロセッサは、
    前記X線画像を問題とし、前記X線画像上における規制品の位置を答えとした学習用データに基づいて生成されたパラメータと、前記X線画像とに基づいて、前記X線画像上の規制品が存在することが推定される領域を示した候補画像を生成し、
    前記候補画像を出力する請求項1に記載の検査装置。
  8. 前記学習用データは、前記X線画像上でのオペレータの操作に基づいて、X線画像上の領域を示すX線画像領域情報が前記答えとして生成されたデータである請求項に記載の検査装置。
  9. 前記学習用データは、前記X線画像上でのオペレータの操作に基づいて、X線画像上の領域を示すX線画像領域情報と、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由とが前記答えとして生成されたデータである請求項に記載の検査装置。
  10. 前記プロセッサは、
    前記パラメータと、前記X線画像とに基づいて、前記X線画像上の規制品が存在することが推定される領域と、前記区分理由とを示した前記候補画像を生成する請求項に記載の検査装置。
  11. 前記プロセッサは、前記学習用データに基づいて前記パラメータを更新する請求項に記載の検査装置。
  12. 前記プロセッサは、オペレータを識別するためのオペレータ識別コードを前記検査結果情報に付加し、
    前記プロセッサは、前記学習用データを生成したオペレータごとに、異なる重みで前記パラメータの更新を行う請求項11に記載の検査装置。
  13. 前記通信インタフェースは、前記荷物に表示された差出人情報及び受取人情報を取得し、
    前記荷物情報は、前記差出人情報及び受取人情報の少なくともどちらかを前記住所氏名情報として含む請求項1に記載の検査装置。
  14. 前記通信インタフェースは、差出人情報及び受取人情報を含むEAD情報が予め複数記憶された記憶媒体から、前記荷物から読み取られたEAD識別コードと一致するEAD情報を取得し、
    前記荷物情報は、前記差出人情報及び受取人情報の少なくともどちらかを前記住所氏名情報として含む請求項1に記載の検査装置。
  15. 通信インタフェースと、プロセッサとを備える検査装置により実行される検査プログラムであって、
    前記検査装置に、
    前記通信インタフェースにより、搬送されている荷物を撮像した画像から文字認識処理により取得した住所氏名情報及び前記荷物のX線画像を含む荷物情報と、オペレータによる操作に基づいて生成された操作信号と、を取得することを実行させ、
    前記プロセッサにより、前記操作信号に基づいて生成された前記荷物が規制品候補であるか否かを示す検査結果情報と前記住所氏名情報及び前記X線画像とが対応付けられた過去履歴から、新たに搬送された荷物から取得した前記住所氏名情報を含む前記荷物情報に対応する前記検査結果情報を抽出結果として抽出することを実行させ、
    前記操作信号に基づいて、オペレータが前記荷物を規制品候補であると判断した理由を示す区分理由を、前記検査結果情報に付加することを実行させ、
    前記過去履歴から抽出された、予め設定された区分理由が付加された荷物の数に基づく情報を出力することを実行させる、
    検査プログラム。
JP2019222830A 2018-09-06 2019-12-10 検査装置及び検査プログラム Active JP6942779B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019222830A JP6942779B2 (ja) 2018-09-06 2019-12-10 検査装置及び検査プログラム
JP2021145597A JP7204848B2 (ja) 2019-12-10 2021-09-07 検査装置及び検査プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018166854A JP6632674B1 (ja) 2018-09-06 2018-09-06 検査装置及び検査プログラム
JP2019222830A JP6942779B2 (ja) 2018-09-06 2019-12-10 検査装置及び検査プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018166854A Division JP6632674B1 (ja) 2018-09-06 2018-09-06 検査装置及び検査プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021145597A Division JP7204848B2 (ja) 2019-12-10 2021-09-07 検査装置及び検査プログラム

Publications (2)

Publication Number Publication Date
JP2020042860A JP2020042860A (ja) 2020-03-19
JP6942779B2 true JP6942779B2 (ja) 2021-09-29

Family

ID=69798516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019222830A Active JP6942779B2 (ja) 2018-09-06 2019-12-10 検査装置及び検査プログラム

Country Status (1)

Country Link
JP (1) JP6942779B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306659A (ja) * 2000-04-20 2001-11-02 Hitachi Ltd セキュリティ管理方法およびシステム
US7337686B2 (en) * 2004-09-10 2008-03-04 Qylur Security Systems, Inc. Multi-threat detection system
EP2753920B1 (en) * 2011-09-07 2018-04-04 Rapiscan Systems, Inc. X-ray inspection system that integrates manifest data with imaging/detection processing
WO2016168566A1 (en) * 2015-04-16 2016-10-20 United Parcel Service Of America, Inc. Enhanced multi-layer cargo screening system, computer program product, and method of using the same
JP2018013939A (ja) * 2016-07-20 2018-01-25 株式会社東芝 荷物検査システム、および荷物検査プログラム

Also Published As

Publication number Publication date
JP2020042860A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
CN103052343A (zh) 收银台
EP3273394A1 (en) Package inspection system and package inspection program
JP6193897B2 (ja) 情報処理装置、店舗システム及びプログラム
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
WO2017051278A1 (en) System and method for automatic identification of products
CN112346138A (zh) X射线图像处理***及其方法、记录介质
US20220091296A1 (en) Inspection apparatus and inspection program
US8805011B2 (en) Method and apparatus for examining an item in which an automated evaluation unit undergoes a learning process
JP6942779B2 (ja) 検査装置及び検査プログラム
JP7219016B2 (ja) 判定装置、判定方法、および対象物判定プログラム
US20150070509A1 (en) Sensor information management device and sensor information management method
JP7204848B2 (ja) 検査装置及び検査プログラム
JP6632674B1 (ja) 検査装置及び検査プログラム
JP6875760B1 (ja) 絞込処理システム
CN113298453A (zh) 数据处理方法、***及电子设备
KR102048948B1 (ko) 영상 분석 장치 및 방법
RU2776815C1 (ru) Устройство контроля и невременный носитель записи, хранящий программу контроля
JP6699890B2 (ja) 荷物検査システム
JP2015147653A (ja) 搬送順序決定装置、配達物仕分けシステム及び搬送順序決定方法
EP3662424B1 (en) Security system for transit facility
WO2020246255A1 (ja) 情報管理装置および情報管理プログラム
JP6896910B2 (ja) 検査管理装置
JP5885708B2 (ja) 情報処理装置、店舗システム及びプログラム
US20240190656A1 (en) Article management apparatus, article management method, article management system, and computer-readable storage medium
CN114359759A (zh) 一种称重状态的确定方法、装置以及设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210908

R150 Certificate of patent or registration of utility model

Ref document number: 6942779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150