JP5407485B2 - 物品区分機、物品区分方法、及び物品区分プログラム - Google Patents

物品区分機、物品区分方法、及び物品区分プログラム Download PDF

Info

Publication number
JP5407485B2
JP5407485B2 JP2009080518A JP2009080518A JP5407485B2 JP 5407485 B2 JP5407485 B2 JP 5407485B2 JP 2009080518 A JP2009080518 A JP 2009080518A JP 2009080518 A JP2009080518 A JP 2009080518A JP 5407485 B2 JP5407485 B2 JP 5407485B2
Authority
JP
Japan
Prior art keywords
image data
image
article sorting
identification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009080518A
Other languages
English (en)
Other versions
JP2010227885A (ja
Inventor
章仁 榊原
克彦 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009080518A priority Critical patent/JP5407485B2/ja
Priority to PCT/JP2010/054756 priority patent/WO2010110190A1/ja
Priority to EP10755987.4A priority patent/EP2412453B1/en
Publication of JP2010227885A publication Critical patent/JP2010227885A/ja
Application granted granted Critical
Publication of JP5407485B2 publication Critical patent/JP5407485B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00Sorting according to destination
    • B07C3/18Devices or arrangements for indicating destination, e.g. by code marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1473Recognising objects as potential recognition candidates based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/424Postal images, e.g. labels or addresses on parcels or postal envelopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Sorting Of Articles (AREA)
  • Character Discrimination (AREA)

Description

本発明は、物品区分機、物品区分方法、及び物品区分プログラムに関する。
郵便物などの配送物(物品)を配送する際には、まず、一次供給が行われる。一次供給時に配送ができなかった配送物については、後に、再供給が行われる。
一次供給時には、配送物のあて先住所などの情報が、オペレータの目視や、OCR(:Optical Character Reader)により、読み取られる。読み取られた情報は、コンピュータに保存される。また、配送物に対しては、読み取った情報を示す識別子(IDバーコードなど)が印字される。再供給時には、配送物の識別子を読み取ることにより、あて先住所などが同定される。このような手法によれば、一次供給時に読み取った情報を再供給時に利用することができるので、再供給時に再度配送物の読み取りを行う必要がない。
しかし、上述のような手法では、識別子を印字するために、印字用プリンタのメンテナンス代やインク代などが発生する。そのため、ランニングコストが非常に高くなってしまう。
そこで、画像データを用いることが考えられる。すなわち、一次供給時に配送物の画像データを取得しておく。そして、画像データに識別コードを対応付けておく。再供給時には、配送物の画像データを再度取得し、この画像データを一次供給時に取得した画像データと照合する。これにより、印字を用いることなく、再供給時に配送物のあて先などを同定することができる。
関連技術が、特許文献1(特表2006−509271)に記載されている。特許文献1には、郵便物の表面のデジタル画像が、識別子に対応してメモリに記録されることが記載されている。
また、他の関連技術が、特許文献2(特表2003−510183)に記載されている。特許文献2には、機械で読み取り可能な識別コードを各発送物に印刷する必要がないようにすることを目的とした、配送物区分け方法が記載されている。
また、更に他の関連技術が、特許文献3(特開平10−99790)に記載されている。特許文献3の紙葉類区分装置は、供給された郵便物から区分情報を読み取る読取部、及び画像情報を読み取る走査部を備え、読み取った情報に基づいて郵便物を区分集積する。読み取った区分情報及び画像情報が認識できない場合、IDコードが郵便物に印字されると共に、認識可能な区分情報が入力される。そして、印字されたIDコード及び入力された区分情報に従って郵便物を区分集積する。
尚、画像を照合する際に用いられる技術としては、特許文献4(特開平2−79184)、特許文献5(特開平11−53541)、及び特許文献6(特開2002−334332)などが挙げられる。
特表2006−509271号公報 特表2003−510183号公報 特開平10−99790号公報 特開平2−79184号公報 特開平11−53541号公報 特開2002−334332号公報
しかしながら、同じ配送物であっても、一次供給時に取得された画像データと、再供給時に取得された画像データとが完全に一致するとは限らない。例えば、配送物の傾き、配送物の搬送状態の影響による画像の伸び、配送物に付着した汚れ、などの影響により、一次供給時と再供給時とで画像データが異なることがある。そのため、再供給時における画像認識を利用した配送物の同定は、非常に難しい。既述の特許文献1乃至3には、配送物の画像を読み取ることについては記載されている。また、特許文献3には、読み取った区分情報及び画像情報が認識できない場合、IDコードが郵便物に印字されることが記載されている。しかし、既述の特許文献1乃至6のいずれにおいても、再供給時に取得した画像が一次供給時の画像とは異なることがある点については、何らの考慮もなされていない。
そこで、本発明の目的は、再供給時における物品の特定率を向上することのできる、物品区分機、物品区分方法、及び物品区分プログラムを提供することにある。
本発明に係る物品区分機は、対象物の画像を対象物画像データとして取得する画像データ取得部と、前記対象物画像データを擬似的に変動させた変動画像データを生成する、変動画像作成部と、前記対象物画像データと前記変動画像データとを比較することにより、前記対象物を再度撮像して得られた対象物二次画像データを前記対象物画像データと照合した場合に前記対象物の特定が可能であるか否かを判定する、同定部とを具備する。
本発明に係る物品区分方法は、対象物の画像を対象物画像データとして取得するステップと、前記対象物画像データを擬似的に変動させた変動画像データを生成するステップと、前記対象物画像データと前記変動画像データとを比較することにより、前記対象物を再度撮像して得られた対象物二次画像データを前記対象物画像データと照合した場合に前記対象物の特定が可能であるか否かを判定するステップとを具備する。
本発明に係る物品区分プログラムは、上述の物品区分方法をコンピュータにより実現するためのプログラムである。
本発明によれば、再供給時における物品の特定率を向上することのできる、物品区分機、物品区分方法、及び物品区分プログラムが提供される。
本実施形態に係る物品区分機を示す概略図である。 第1の実施形態に係る配送物自動区分システムを示す概略図である。 郵便物自動区分機を示す機能ブロック図である。 一次供給時における郵便物自動区分機の動作を示すフローチャートである。 再供給時における郵便物自動区分機の動作を示すフローチャートである。 第2の実施形態に係る郵便物自動区分機を示す概略ブロック図である。 第3の実施形態に係る郵便物自動区分機を示すブロック図である。 変動画像データの作成方法の一例を示す説明図である。 画像特徴データの抽出処理を説明するための概念図である 画像特徴データの比較処理を説明するための概念図である。
(第1の実施形態)
以下に、図面を参照しつつ、本発明の第1の実施形態について説明する。図1は、本実施形態に係る物品区分機を示す概略図である。物品区分機は、画像データ取得部3eと、変動画像作成部3aと、同定部3bとを備えている画像データ取得部3eは、対象物の画像を、対象物画像データとして取得する。変動画像作成部3aは、対象物画像データを擬似的に変動させた変動画像データを生成する。同定部3bは、対象物画像データと変動画像データとを比較することにより、画像認識によって対象物を特定することができるか否かを判定する。
以下に、本実施形態に係る配送物自動区分機について詳細に説明する。尚、本実施形態では、対象物が郵便物である場合を一例として、説明を行う。
図2は、本実施形態に係る配送物自動区分システムを示す概略図である。配送物自動区分システムは、撮像部1と、郵便物に記載されたID(Identity Document)バーコードを読み取るIDバーコード読み取り部2と、郵便物自動区分機3(配送物自動区分機)と、ID・画像特徴データベース4と、郵便物にIDバーコードを印字するIDバーコード印字部5(印字機構)とを備えている。
撮像部1は、この配送物自動区分システムに供給された郵便物を撮像し、例えば256階調、200dpiのグレイ画像データを生成する。撮像部1としては、例えば、スキャナなどを用いることができる。撮像部1は、生成した画像を、郵便物画像データとして、郵便物自動区分機3に通知する。
郵便物自動区分機3は、例えば、郵便物自動区分プログラムがインストールされたコンピュータにより実現される。
郵便物自動区分機3は、一次供給時の際、撮像部1から取得した郵便物画像データから、郵便物の同定に用いる画像特徴データを抽出する。そして、抽出した画像特徴データに対して、郵便物を特定するID情報を対応付け、ID・画像特徴データベース4に格納する。尚、このID情報には、例えば、郵便物のあて先を示す情報等が含まれる。
一方、再供給時には、郵便物自動区分機3は、撮像部1から、再供給時における郵便物画像データを取得する。そして、一次供給時と同様に、再供給画像データから画像特徴データを抽出する。郵便物自動区分機3は、ID・画像特徴データベース4を参照することにより、抽出した画像特徴データの同定を行う。
ここで、郵便物自動区分機3は、一次供給時において、その郵便物が再供給時に同定を行うことができるか否かを判定する機能を備えている。郵便物自動区分機3は、同定を行うことができないと判定した場合には、IDバーコード印字部5によって郵便物にIDバーコードを印字する。この郵便物に対しては、再供給時に、IDバーコード読み取り部2が、IDバーコードを読み取り、ID情報を取得する。郵便物自動区分機3は、IDバーコード読み取り部2から取得したID情報によって、再供給時の郵便物の同定を行う。
以下に、郵便物自動区分機3について、詳細に説明する。図3は、郵便物自動区分機3を示す機能ブロック図である。郵便物自動区分機3は、画像データ取得部3eと、変動画像作成部3aと、特徴抽出部3bと、制御部3cと、同定部3dとを備えている。
(一次供給時における動作)
まず、一次供給時における、郵便物自動区分機3の動作について説明する。図4は、一次供給時における郵便物自動区分機3の動作を示すフローチャートである。
郵便物自動区分システムの動作時には、制御部3cが、一次供給処理なのか、再供給処理なのかを識別している。制御部3cは、この処理が一次供給処理である旨を、郵便物供給情報として、変動画像作成部3a及び同定部3dに通知する(ステップS1)。また、制御部3cは、処理対象の郵便物を特定するID情報を取得する。
郵便物の一次供給の際には、郵便物が撮像部1により撮像され、郵便物画像データ(対象物画像データ)が生成される。郵便物自動区分機3では、画像データ取得部3eが、郵便物画像データを取得する(ステップS2)。画像データ取得部3eは、郵便物画像データを、変動画像作成部3aおよび特徴抽出部3bに送る。
変動画像作成部3aは、再供給時に起こりうる画像の変動を予測するために設けられている。すなわち、変動画像作成部3aは、取得した郵便物画像データに基づいて、再供給時に取得されると予測される郵便物画像データを変動画像データとして作成する。具体的には、変動画像作成部3aは、再供給時までに郵便物に対してどのような変動が起こりうるかを、シミュレーションにより求める。そして、求めた変動を、取得した郵便物画像データに付加することにより、変動画像データを作成する(ステップS3)。変動画像データは、特徴抽出部3bに送られる。
特徴抽出部3bは、取得した郵便画像データに対して、同定に用いるための画像特徴を抽出し、郵便画像特徴データを生成する。また、変動画像データに対しても、同様に画像特徴を抽出し、変動画像特徴データを生成する(ステップS4)。郵便画像特徴データ及び変動画像特徴データは、制御部3cおよび同定部3dに送られる。
同定部3dは、郵便画像特徴データと変動画像特徴データとの間で、同定処理を試行する。そして、その郵便物の再供給時に、画像認識による同定が可能か否かを判定する(ステップS5)。判定結果は制御部3cに送られる。
同定部3dにおいて、同定が可能であると判定された場合には、制御部3cは、その郵便物画像特徴データに、ID情報を対応付け、ID・画像特徴データベース4に登録する(ステップS6)。
一方、同定部3dにおいて、同定が不可であると判定された場合には、制御部3cは、IDバーコード印字部5にID情報を送る。そして、IDバーコード印字部5によって、郵便物にIDバーコードを印字する(ステップS7)。
(再供給時における動作)
続いて、再供給時における動作について説明する。図5は、再供給時における郵便物自動区分機3の動作を示すフローチャートである。再供給時には、制御部3cによって、処理対象の郵便物が再供給対象である旨が識別される。制御部3cは、その旨を、郵便物供給情報として、各部分に通知する(ステップS8)。
再供給時には、まず、IDバーコード読み取り部2が、郵便物にIDバーコードが印字されているか判定する(ステップS9)。印字されている場合は、印字されているIDバーコードが読み取られてID情報が識別され、そのID情報に基づいて通常の郵便自動区分処理が行われる(ステップS13)。
一方、郵便物にIDバーコードが印字されていない場合には、撮像部1によって郵便物が撮像される(ステップS10)。これにより、郵便物2次画像データ(対象物二次画像データ)が生成される。郵便物2次画像データは、撮像部1から、画像データ取得部3eへ送られる。そして、画像データ取得部3eは、郵便物2次画像データを、特徴抽出部3bに送る。
特徴抽出部3bは、取得した郵便物2次画像データに基づいて、同定に用いるための画像特徴を抽出し、画像特徴データを生成する(ステップS11)。画像特徴データは、同定部3dに送られる。
同定部3dは、制御部3cを介して、ID・画像特徴データベース4を参照する。そして、取得した画像特徴データが、どのID情報に対応付けられたデータであるのかを同定する(ステップS12)。この同定結果(すなわちID情報)は、制御部3cへ送られる。
制御部3cは、取得した同定結果(ID情報)に基づいて、郵便物の再供給時における区分処理を実行する(ステップS13)。
以上説明したように、本実施形態によれば、変動画像作成部3aが設けられているため、再供給時に取得される画像データ(変動画像データ)がシミュレーションにより作成される。そのため、同定部3dにより、再供給時に郵便物の同定が可能であるか否かを、一次供給時の段階で精度良く判定することができる。そして、同定が不可であると判定された郵便物に対しては、IDバーコード印字部5により、IDバーコードが付される。一方、同定が可能であると判定された郵便物は、再供給時に画像認識によって同定される。すなわち、同定部3dにより、IDバーコードを付すべきか付さなくてもよいかを、精度良く判定することができる。これにより、印字に要するランニングコストを最小限に抑えた上で、再供給時の同定を精度良く行うことが可能となる。
尚、本実施形態では、撮像部1が、例えば256階調、200dpiのグレイ画像を生成する場合について説明した。但し、撮像部1として、R、G、Bがそれぞれ256階調である画像データを生成する、カラースキャナを用いてもよい。そして、特徴抽出部3bが、色情報を画像特徴の一つとして選んでもよい。
(第2の実施形態)
続いて、本発明の第2の実施形態について説明する。図6は、本実施形態に係る郵便物自動区分機3を示す概略ブロック図である。本実施形態では、撮像部1が二つ設けられている。すなわち、第1撮像部1−1と、第2撮像部1−2とが設けられている。また、第1の実施形態とは異なり、変動画像作成部3aは設けられていない。その他の点については、第1の実施形態と同様とすることができるので、詳細な説明は省略する。
一次供給時には、郵便物は、第1撮像部1−1と第2撮像部1−2とのそれぞれによって、撮像される。
画像データ取得部3eは、第1撮像部1−1から取得した郵便物画像データを、特徴抽出部3bに通知する。また、画像データ取得部3eは、第2撮像部1−2から取得した郵便物画像データを、変動画像データとして、特徴抽出部3bに通知する。
再供給時には、一次供給時とは異なる撮像装置で撮像が行われることがある。同じ郵便物であっても、異なる撮像装置で撮像された場合、得られる郵便物画像データ間に差が生じることがある。本実施形態によれば、第2撮像部1−2が設けられているため、第1撮像部1−2とは別の装置により得られた画像データを変動画像データとして扱うことができる。従って、再供給時に異なる撮像装置で郵便物が撮像されることを考慮に入れて、再供給時に画像認識による同定が可能であるか否かを判定することが可能となる。
(第3の実施形態)
続いて、第3の実施形態について説明する。図7は、本実施形態に係る郵便物自動区分機3を示すブロック図である。本実施形態では、第1の実施形態に対して、変動画像作成部3aが設けられていない。また、同定部3dの動作が工夫されている。その他の点については、第1の実施形態と同様とすることができるので、詳細な説明は省略する。
本実施形態では、同定部3dが、特徴抽出部3bから、画像特徴データを取得する。そして、画像特徴データにおいて、予め設定された一定量以上の画像特徴が含まれているか否かを判定する。そして、一定量以上の画像特徴が含まれていない場合には、画像特徴の抽出に失敗したものと判断し、再供給時の画像認識による同定が不可能であると判定する。
本実施形態によっても、同定部3dが画像特徴データに含まれる画像特徴量に基づいて、再供給時に画像認識で同定が可能であるか否かを判定する。このような構成を採用しても、一時供給時の段階で、再供給時に画像認識による同定が可能であるか否かを知ることができる。
(第4の実施形態)
以下に、本発明をより詳細に説明するため、第4の実施形態について説明する。
本実施形態は、第1の実施形態を詳細に説明する形態である。従って、本実施形態に係る郵便物区分システムの構成は、第1の実施形態で説明した構成と同様であるものとする(図3参照)。
(一次供給時)
まず、一次供給時の動作について説明する。
郵便物が郵便自動区分システムに供給されると、撮像部1が郵便物を撮像する。これにより、256階調、200dpiのグレイ画像が、郵便物画像データとして生成される。郵便物画像データは、画像データ取得部3eを介して、変動画像作成部3aおよび特徴抽出部3bに送られる。ここで、撮像部1としては、カラー画像を生成するような装置を用いてもよい。
変動画像作成部3aは、郵便物画像データに基づいて、再供給時に取得される郵便物画像データにどのような変動が起こり得るかを、シミュレーションによって求める。そして、郵便物画像データに対してその変動が付加され、変動画像データが作成される。作成された変動画像データは特徴抽出部3bに送られる。
ここで、変動の求め方については、例えば、以下に示される(1)〜(5)の手法を用いることができる。
(1)郵便物のよごれ、ビニール封筒のしわなどを変動として追加する。
郵便物は、しわや汚れなどにより、外観が変化することがある。そこで、しわ画像や汚れ画像などの外観変化画像を予め用意しておき、これに基づいて変動画像データを作成する。図5は、外観変化画像としてしわ画像を用いた場合の変動画像データの作成方法の一例を示す説明図である。図8(a)は、郵便物画像データを示している。ここで、変動画像データ作成部3aは、予め用意された、しわ画像が含まれるしわ画像データを取得する。図8(b)は、しわ画像データを示している。そして、変動画像データ作成部3aは、郵便物画像データに対して、しわ画像データを追加し、変動画像データを作成する。図8(c)には、変動画像データが示されている。
しわ画像の取得にあたっては、予め、無地の真っ白な郵便物を、撮像部1により撮像しておく。その後、この郵便物にしわを発生させる。そして、しわを有する郵便物を、再度撮像部1により撮像する。そして、しわや汚れの発生前と後の差分を求めることにより、しわ画像を取得することができる。外観変化画像として汚れ画像を用いる場合でも、同様の手法により、汚れ画像を取得することができる。
外観変化画像としては、汚れ画像としわ画像の何れかが用いられてもよいし、汚れ画像としわ画像とを組み合わせた画像が用いられてもよい。また、汚れ及びしわ以外の外観変化を示す画像が用いられてもよい。加えて、郵便物に対してどのような外観変化が起こり易いかは、郵便物の材質によって依存する。例えば、郵便物がビニール封筒であった場合には、汚れよりもしわが発生しやすい。一方、郵便物が紙封筒であった場合には、しわよりも汚れが発生しやすい。そこで、郵便物の材質に応じて、外観変化画像として用いる画像を決定することもできる。すなわち、図示しない郵便物の材質を識別する装置を設け、この装置の識別結果に基づいて、外観変化画像として用いる画像を決定する。このようにすれば、変動画像データに、実際に起こり易い外観変化を反映させることができる。
(2)郵便物の搬送による傾きの考慮
郵便物は搬送される際に傾いてしまうことがある。傾きの違いにより、再供給時において、一次供給時と同じような郵便物画像データが得られないことがある。そこで、変動画像作成部3aは、傾きを考慮して、変動画像データを作成する。具体的には、一定の角度の範囲内で、アフィン変換を用いて郵便物画像データを回転させる。具体的には、郵便物画像データを、−5°、−3°、+3°、及び+5°だけ回転させた傾き画像を作成する。そしてこれらの傾き画像に基づいて、変動画像データを作成する。
(3)搬送速度の誤差による画像の伸縮の考慮
搬送物は、搬送されつつ、撮像部1によって撮像されることがある。そのため、郵便物画像データでは、郵便物が搬送方向に伸縮して表現されることがある。そこで、変動画像作成部3aは、この点を考慮して、変動画像データを作成する。具体的には、郵便物画像データの一定の範囲内で、アフィン変換による拡大または縮小を行い、伸縮画像を生成する。そして、伸縮画像に基づいて、変動画像データを作成する。具体的には、例えば、郵便物画像データを、−0.5%、−0.3%、+0.3%、及び+0.5%でそれぞれ伸縮させて伸縮画像を作成し、これらの伸縮画像を変動画像データとする。
(4)スキャナ個体差による画像濃度の違いの考慮
一般に、郵便物の仕分けは、複数台の装置によって行われる。また、仕分けは、複数の局間に渡って行われることがある。そのため、一次供給時と再供給時とで、別々の装置によって仕分けが行われることが考えられる。その結果、郵便物画像データを収集する撮像部が、一次供給時と二次供給時で完全に同じになることはまれである。また、同種の装置であっても、その設定までもが完全に一致することはまれである。そこで、変動画像作成部3aは、撮像部1の違いによる郵便画像データの相違を考慮に入れて、変動画像を作成する。具体的には、変動画像作成部3aは、郵便物画像データに対して、濃さを変更することにより、濃淡画像を生成する。そして、濃淡画像に基づいて、変動画像データを作成する。すなわち、郵便物画像データに含まれる画素の濃度値(0−255)を、あらかじめ指定された数値と掛け合わせ、変動画像データを作成する。より具体的には、全ての画素の濃度値を、0.95倍、および1.05倍にした画像データを、それぞれ、変動画像データとして扱う。なお、画素の濃度値は0から255の整数で表されるため小数点以下は切り捨て、255を超えた場合は255とするものとする。
(5)画像のにじみの考慮
上述のように、郵便物画像の収集環境が変動した場合や、撮像部1の解像度が低い場合には、画像中の線の輪郭(例えば住所文字の輪郭)がにじむ可能性がある。そこで、変動画像作成部3aは、郵便物画像データに対し、画像処理で一般に用いられる3×3の平均フィルタを用いて、にじみが発生した画像を作成する。そして、作成したこの画像が変動画像データとして扱われる。
上述の(1)〜(5)の手法を用いて変動画像データを作成することにより、一次供給時の郵便物画像データを元に、再供給時に画像認識が可能であるか否かを精度良く判別することが可能となる。尚、変動画像作成部3aは、上述の(1)〜(5)の何れかを用いて変動画像データを作成してもよいし、(1)〜(5)の処理を順番に施して変動画像データを作成してもよい。
また、必要に応じて、上述の(1)〜(5)の手法のうちのどの手法を用いるかを変えることも有効である。
例えば、上記(2)の手法に関連して、搬送時における郵便物の傾き易さは、郵便物の大きさや重量などに依存すると考えられる。すなわち、小さくて軽い郵便物ほど、搬送時に傾き易くなると考えられる。従って、郵便物の大きさや重量を測定する装置を設け、この装置の測定結果に基づいて、上述の(2)の手法を用いるか否かを決定することができる。
また、上記(3)の手法に関連して、搬送途中の郵便物を撮像して得られた画像データ中における画像の伸縮は、郵便物の重量に依存することがあると考えられる。すなわち、郵便物の搬送速度は、重量に依存することがある。画像の伸縮は、郵便物の搬送速度に依存する。すなわち、搬送速度が速ければ、画像が伸び易い。従って、郵便物の重量を測定する装置を設け、この装置の測定結果に基づいて、上記(3)の手法を用いるか否かを決定することができる。
また、上記(5)の手法に関連して、画像がにじむか否かは、郵便物の材質に依存することがある。すなわち、郵便物がビニール封筒などであれば、画像はにじみ難い。一方、郵便物が紙封筒であれば、画像がにじみ易い。そこで、郵便物の材質を測定する装置を儲け、この装置の測定結果に基づいて、上記(5)の手法を用いるか否かを決定することができる。
上述のように必要に応じて用いる手法を取捨選択することにより、最小限の処理で最適な変動画像データを作成することができる。
郵便物画像データ及び変動画像データを取得した特徴抽出部3bは、これらの各画像データに対して、同定に用いるための画像特徴を抽出する。そして、抽出された画像特徴は、郵便物画像特徴データ及び変動画像特徴データとして、制御部3cおよび同定部3dに送られる。図9は、画像特徴データの抽出処理を説明するための概念図である。図9(a)に示されるように、特徴抽出部3bは、具体的には、各画像データをあらかじめ指定したしきい値を用いて2値化し、2値画像(対象物画像2値データ及び変動画像2値データ)を生成する。特徴抽出部3bは、各2値画像に対し、黒画素のラベリング処理を行う。そして、図9(b)に示されるように、ラベリング処理後の画像中から、ブロック領域を検出する。特徴抽出部3bは、検出されたブロック領域の位置および大きさを示すデータを、各画像データの画像特徴データとして抽出する。
郵便物画像特徴データと変動画像特徴データとを取得した同定部3dは、これらの各画像特徴データを比較し、郵便物が再供給時に画像認識によって同定可能であるか否かを判定する。判定結果は制御部3cに送られる。図10は、各画像特徴データの比較処理を説明するための概念図である。図10に示されるように、同定部3dは、郵便物画像特徴データと、変動画像特徴データとを重ね合わせる。そして、郵便物画像特徴データに示されるブロック領域Aと、変動画像特徴データに示されるブロック領域Bとが重なる領域C(重なり領域)を求める。そして、重なり領域Cの大きさ(画素数)を、予め設定されたしきい値と比較する。比較の結果、しきい値よりも大きければ、再供給時に同定可能であると判定し、しきい値以下であれば、再供給時に同定不可能であると判定する。
より具体的には、同定部3dは、重なり領域Cの画素数を算出する。また、ブロック領域Aに含まれる総画素数と、ブロック領域Bに含まれる総画素数とを比較し、多い方の画素数を求める。そして、「重なっている画素数/多い方の画素数」を算出し、その算出結果の大小により、再供給時における同定の可否を判定する。
同定部3dが再供給時に同定可能であると判定した場合、制御部3cは、郵便物画像特徴データにID情報を対応付けて、ID・画像特徴データベース4に登録する。一方、判定結果が不可であった場合には、制御部3cは、IDバーコード印字部5にID情報を送る。IDバーコード印字部5は、郵便物にIDバーコードを印字する。
(再供給時)
続いて、再供給時の動作について説明する。
まず、IDバーコード読み取り部2が、郵便物に既にIDバーコードが印字されているかを判定する。印字されている場合は、印字されているIDバーコードが読み取られ、ID情報が識別される。そして、識別されたID情報に基づいて、郵便自動区分が行われる。
IDバーコードが印字されていない場合、撮像部1が、郵便物を撮像し、郵便物2次画像データとして、256階調、200dpiのグレイ画像を生成する。郵便物2次画像データは、特徴抽出部3bに送られる。
特徴抽出部3bは、再供給された郵便物の郵便物2次画像データから、同定に用いる画像特徴を抽出する。そして、郵便物画像特徴データとして、同定部3dに送る。具体的には、特徴抽出部3bは、一次供給時と同様、取得した郵便物2次画像データをあらかじめ指定したしきい値を用いて2値化し、2値画像を生成する。そして、2値画像に対し黒画素のラベリング処理を行い、ブロックを検出する。検出されたブロックの位置および大きさを、郵便物画像特徴データとして抽出する。
同定部3dは、取得した郵便物画像特徴データを、ID・画像特徴データベース4に登録されている画像特徴データと照合し、どの画像特徴データと一致するかの同定処理を行う。同定結果は、制御部3cに送られる。本実施例では、再供給時の画像特徴データと、ID・画像特徴データベース4に含まれる一次供給時の画像特徴データとで、ブロックが重なっている領域を求める。そして、ID・画像特徴データベース4に含まれるデータの中から、ブロックが重なる領域が最も大きく、かつ、ブロックが重なる領域の大きさが予め設定されたしきい値よりも大きいデータを、同定結果として選択する。具体的には、「(一次供給時のブロックと再供給時のブロックとが重なっている領域の画素数)/(一次供給時のブロックに含まれる画素数と再供給時のブロックに含まれる画素数とで多い方の画素数)」を算出し、算出結果に基づいて、同定を行う。
同定結果は、制御部3cに送られる。制御部3cは、同定結果に基づいて、郵便自動区分処理を行う。
1 撮像部
1−1 第1撮像部
1−2 第2撮像部
2 IDバーコード読み取り部
3 郵便物自動区分機
3a 変動画像作成部
3b 特徴抽出部
3c 制御部
3d 同定部
3e 画像データ取得部
4 ID・画像特徴データベース
5 IDバーコード印字部(印字機構)

Claims (21)

  1. 対象物の画像を対象物画像データとして取得する画像データ取得部と、
    前記対象物画像データを擬似的に変動させた変動画像データを生成する、変動画像作成部と、
    前記対象物画像データと前記変動画像データとを比較することにより、前記対象物を再度撮像して得られた対象物二次画像データを前記対象物画像データと照合した場合に前記対象物の特定が可能であるか否かを判定する、同定部と、
    を具備する
    物品区分機。
  2. 請求項1に記載された物品区分機であって、
    更に、
    前記同定部が前記対象物を特定できないと判定した場合に、印字機構によって前記対象物に識別情報を印字する、制御部、
    を具備する
    物品区分機。
  3. 請求項1又は2に記載された物品区分機であって、
    前記画像データ取得部は、第1撮像部により前記対象物を撮像して得られた第1画像データを前記対象物画像データとして取得し、
    前記変動画像作成部は、第2撮像部により前記対象物を撮像して得られた第2画像データを、前記変動画像データして取得し、
    前記同定部は、前記対象物画像データと前記変動画像データとを比較することにより、特定可能であるか否かを判定する
    物品区分機。
  4. 請求項1乃至3の何れかに記載された物品区分機であって、
    前記同定部は、前記対象物画像データを2値化して得られる対象物画像2値データを、前記変動画像データを2値化して得られる変動画像2値データと比較することにより、特定することができるか否かを判定する
    物品区分機。
  5. 請求項4に記載された物品区分機であって、
    前記同定部は、前記対象物画像2値データから抽出される対象物ブロック領域と、前記変動画像2値データから抽出される変動画像ブロック領域との重なり領域を抽出し、前記重なり領域の大きさに基づいて、特定することができるか否かを判定する
    物品区分機。
  6. 請求項1乃至5の何れかに記載された物品区分機であって、
    前記変動画像作成部は、前記対象物画像データに外観変化画像を付加した画像に基づいて、前記変動画像データを生成する
    物品区分機。
  7. 請求項1乃至6の何れかに記載された物品区分機であって、
    前記変動画像作成部は、前記対象物画像データの傾きを変更した傾き画像に基づいて、前記変動画像データを生成する
    物品区分機。
  8. 請求項1乃至7の何れかに記載された物品区分機であって、
    前記変動画像作成部は、前記対象物画像データの伸縮画像に基づいて、前記変動画像データを生成する
    物品区分機。
  9. 請求項1乃至8の何れかに記載された物品区分機であって、
    前記変動画像作成部は、前記対象物画像データの濃淡を変更した濃淡画像に基づいて、前記変動画像データを生成する
    物品区分機。
  10. 対象物の画像を対象物画像データとして取得する画像データ取得部と、
    前記対象物画像データから、同定に用いる画像特徴を抽出し、画像特徴データを生成する特徴抽出部と、
    前記画像特徴データに、予め設定された一定量以上の画像特徴が含まれているか否かを識別し、識別結果に基づいて、前記対象物を再度撮像して得られた対象物二次画像データを前記対象物画像データと照合した場合に前記対象物の特定が可能か否かを判定する、同定部と、
    を具備する
    物品区分機。
  11. 対象物の画像を対象物画像データとして取得するステップと、
    前記対象物画像データを擬似的に変動させた変動画像データを生成するステップと、
    前記対象物画像データと前記変動画像データとを比較することにより、前記対象物を再度撮像して得られた対象物二次画像データを前記対象物画像データと照合した場合に前記対象物の特定が可能か否かを判定するステップと、
    を具備する
    物品区分方法。
  12. 請求項11に記載された物品区分方法であって、
    更に、
    前記判定するステップにおいて前記対象物を特定できないと判定した場合に、印字機構によって前記対象物に識別情報を印字するステップ
    を具備する
    物品区分方法。
  13. 請求項11又は12に記載された物品区分方法であって、
    前記対象物画像データとして取得するステップは、第1撮像部により前記対象物を撮像して得られた第1画像データを前記対象物画像データとして取得するステップを含み、
    前記変動画像データを生成するステップは、第2撮像部により前記対象物を撮像して得られた第2画像データを、前記変動画像データして取得するステップを含み、
    前記特定が可能か否かを判定するステップは、前記対象物画像データと前記変動画像データとを比較することにより、特定可能であるか否かを判定するステップを含む
    物品区分方法。
  14. 請求項11乃至13の何れかに記載された物品区分方法であって、
    前記特定が可能か否かを判定するステップは、前記対象物画像データを2値化して得られる対象物画像2値データを、前記変動画像データを2値化して得られる変動画像2値データと比較し、比較結果に基づいて特定の可否を判定するステップを含んでいる
    物品区分方法。
  15. 請求項14に記載された物品区分方法であって、
    前記特定の可否を判定するステップは、前記対象物画像2値データから抽出される対象物ブロック領域と、前記変動画像2値データから抽出される変動画像ブロック領域との重なり領域を抽出し、前記重なり領域の大きさに基づいて特定可否を判定するステップを含んでいる
    物品区分方法。
  16. 請求項11乃至15の何れかに記載された物品区分方法であって、
    前記変動画像データを生成するステップは、前記対象物画像データにシワ画像又は汚れ画像を付加した画像に基づいて、前記変動画像データを作成するステップを備えている
    物品区分方法。
  17. 請求項11乃至16の何れかに記載された物品区分方法であって、
    前記変動画像データを生成するステップは、前記対象物画像データの傾きを変更した傾き画像に基づいて、前記変動画像データを作成するステップを備えている
    物品区分方法。
  18. 請求項11乃至17の何れかに記載された物品区分方法であって、
    前記変動画像データを生成するステップは、前記対象物画像データの伸縮画像に基づいて、前記変動画像データを作成するステップを備えている
    物品区分方法。
  19. 請求項11乃至18の何れかに記載された物品区分方法であって、
    前記変動画像データを生成するステップは、前記対象物画像データの濃淡を変更した濃淡画像に基づいて、前記変動画像データを作成するステップを備えている
    物品区分方法。
  20. 対象物の画像を対象物画像データとして取得するステップと、
    前記対象物画像データから、同定に用いる画像特徴を抽出し、画像特徴データを生成するステップと、
    前記画像特徴データに、予め設定された一定量以上の画像特徴が含まれているか否かを識別し、識別結果に基づいて、前記対象物を再度撮像して得られた対象物二次画像データを前記対象物画像データと照合した場合に前記対象物の特定が可能か否かを判定するステップと、
    を具備する
    物品区分方法。
  21. 請求項11乃至20の何れかに記載された物品区分方法をコンピュータにより実現するための、物品区分プログラム。
JP2009080518A 2009-03-27 2009-03-27 物品区分機、物品区分方法、及び物品区分プログラム Active JP5407485B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009080518A JP5407485B2 (ja) 2009-03-27 2009-03-27 物品区分機、物品区分方法、及び物品区分プログラム
PCT/JP2010/054756 WO2010110190A1 (ja) 2009-03-27 2010-03-15 物品区分機、物品区分方法、及びプログラム記録媒体
EP10755987.4A EP2412453B1 (en) 2009-03-27 2010-03-15 Article sorting machine, article sorting method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009080518A JP5407485B2 (ja) 2009-03-27 2009-03-27 物品区分機、物品区分方法、及び物品区分プログラム

Publications (2)

Publication Number Publication Date
JP2010227885A JP2010227885A (ja) 2010-10-14
JP5407485B2 true JP5407485B2 (ja) 2014-02-05

Family

ID=42780884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009080518A Active JP5407485B2 (ja) 2009-03-27 2009-03-27 物品区分機、物品区分方法、及び物品区分プログラム

Country Status (3)

Country Link
EP (1) EP2412453B1 (ja)
JP (1) JP5407485B2 (ja)
WO (1) WO2010110190A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6151141B2 (ja) * 2013-09-18 2017-06-21 株式会社東芝 仕分装置および仕分方法
JP2016168558A (ja) * 2015-03-13 2016-09-23 株式会社東芝 配達物処理装置、および配達物処理プログラム
WO2020061276A1 (en) 2018-09-21 2020-03-26 Position Imaging, Inc. Machine-learning-assisted self-improving object-identification system and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2716980B2 (ja) 1988-09-16 1998-02-18 株式会社日立製作所 画像情報装置の正常画像判定方法
DE3942932A1 (de) * 1989-12-23 1991-06-27 Licentia Gmbh Verfahren zum verteilen von paketen o. ae.
JPH0528321A (ja) * 1991-07-19 1993-02-05 Hitachi Ltd 画像認識方法および画像認識システム
JPH0957207A (ja) * 1995-08-24 1997-03-04 Toshiba Corp ビデオコ−ディングシステム、郵便物処理装置及び郵便物処理方法
JP3557055B2 (ja) 1996-09-30 2004-08-25 株式会社東芝 紙葉類区分装置および紙葉類区分方法
JPH1153541A (ja) 1997-08-07 1999-02-26 N T T Data:Kk 画像類似度判定方法及び装置、記録媒体
DE19947259C1 (de) 1999-09-30 2000-09-28 Siemens Ag Verfahren und Vorrichtung zum Sortieren von Sendungen
JP3742313B2 (ja) 2001-05-10 2006-02-01 日本電信電話株式会社 画像照合装置、画像照合方法、プログラム及び記録媒体
FR2841673B1 (fr) * 2002-06-26 2004-12-03 Solystic Chronomarquage d'objets postaux par signature d'image et machine de tri associee
WO2004053357A1 (en) 2002-12-05 2004-06-24 Ronjo Company, Llc Differential mechanism for a vehicle
JP2009011874A (ja) * 2007-06-29 2009-01-22 Hitachi Computer Peripherals Co Ltd 帳票仕分け方法及び該帳票仕分け方法を用いた光学的文字読取システム
DE102007038186B4 (de) * 2007-08-13 2009-05-14 Siemens Ag Verfahren und Vorrichtung zum Transportieren von Massensendungen
JP2009080518A (ja) 2007-09-25 2009-04-16 Toshiba Corp 計測監視制御システム

Also Published As

Publication number Publication date
EP2412453B1 (en) 2017-01-25
EP2412453A4 (en) 2014-03-12
JP2010227885A (ja) 2010-10-14
WO2010110190A1 (ja) 2010-09-30
EP2412453A1 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
US6768810B2 (en) System and method for detecting address fields on mail items
JP5105561B2 (ja) ディジタルインプリントと関連付けられるクライアントコードを用いて郵便物を処理する方法
US7356162B2 (en) Method for sorting postal items in a plurality of sorting passes
CA2528207A1 (en) Identification tag for postal objects by image signature and associated mail handling
JP3675845B2 (ja) 送付物の分配情報の識別方法および装置
US20090141934A1 (en) Method of Processing Postal Items Using a Separator Representing a Region of Interest (ROI)
KR20100129133A (ko) 바코드 처리 장치 및 바코드 처리 방법
JP5407485B2 (ja) 物品区分機、物品区分方法、及び物品区分プログラム
US8369601B2 (en) Method of processing a check in an image-based check processing system and an apparatus therefor
JPH11238097A (ja) 郵便物宛先読取装置及び宛先読取方法
JP2018171579A (ja) 宛先認識装置、小包自動区分システム、宛先認識方法及びプログラム
KR20210140914A (ko) 우편물에 인쇄된 배송지 주소를 인식하는 방법 및 장치
JP6487565B2 (ja) 勾配場の特異点の記述子を用いた郵便物の画像のペア作成
JP5447366B2 (ja) 発送物区分装置、発送物区分方法、プログラムおよびコンピュータ読み取り可能な記録媒体
JP6451440B2 (ja) ラベル領域検知装置、ラベル領域検知方法、ラベル領域検知プログラム、及びラベル領域検知システム
US8295540B2 (en) Method and a machine for processing mail runs using matrix accumulators
US8761487B2 (en) Methods of operating an image-based check processing system to detect a double feed condition of checks and an apparatus therefor
JP6795936B2 (ja) 配達物処理装置
JP2022140466A (ja) 配達物処理装置、配達物処理方法、及び配達物処理プログラム
JP2004513410A (ja) 画像内のオブジェクトの発見
US8059861B2 (en) Method and system for identifying and recognizing products for sorting/sequencing operations
KR102502523B1 (ko) 바코드 추출 장치 및 방법
KR20070059202A (ko) 주소가 지정된 우편물을 목적지 주소에 따라 분류하는 방법
JP2007222747A (ja) 郵便物処理装置及び郵便物処理方法
JP2020024111A (ja) 検査装置および検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R150 Certificate of patent or registration of utility model

Ref document number: 5407485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150