JP6981495B2 - 検品処理装置 - Google Patents
検品処理装置 Download PDFInfo
- Publication number
- JP6981495B2 JP6981495B2 JP2020047818A JP2020047818A JP6981495B2 JP 6981495 B2 JP6981495 B2 JP 6981495B2 JP 2020047818 A JP2020047818 A JP 2020047818A JP 2020047818 A JP2020047818 A JP 2020047818A JP 6981495 B2 JP6981495 B2 JP 6981495B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- product
- article
- inspected
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
これら課題を解決するため、カメラで商品の画像を撮像し、商品の全ての側面それぞれについて予め登録されたマスタ画像との画像照合をおこない商品を特定する画像検品システムが提供されている。この画像検品システムを用いれば、商品の置き方を気にかけることなく、また、複数の商品を一度に照合させることができ、効率的に検品作業を進めることができる。
本発明の第2の態様は、取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する照合部と、前記照合部による判定結果に基づく検品作業支援情報を表示する表示制御部とを備え、前記物品と前記検品物品とが一致すると前記照合部が判定した場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する検品処理装置である。
本発明の第5の態様は、取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定し、前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する検品処理方法である。
本発明の第7の態様は、検品処理装置のコンピュータを、取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する手段、前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する手段、として機能させるためのプログラムである。
図1は第一の実施形態による検品処理装置の最小構成を示す図である。
この図において、符号100は検品処理装置を表している。図1に示す通り、検品処理装置100は、表示制御部105と、商品特定部109と、商品判定部110と、を少なくとも備えている。検品処理装置100は、例えばCPU(Central Processing Unit)を備えたコンピュータである。
商品特定部109は、1つまたは複数の検品商品の候補を撮像した検品対象画像と、商品を複数の方向から撮像して得られた各方向ごとのその商品の画像であって、予め登録されたマスタ画像とを照合し、検品対象画像に含まれる商品を特定する。
商品判定部110は、商品特定部109が特定した商品が、伝票データに含まれる商品か否かを判定する。
表示制御部105は、検品対象画像の商品上に、当該商品に対する商品判定部110による判定結果に基づく検品作業支援情報を付加した画像を表示する。例えば、商品判定部110が、商品特定部109によって特定された商品Aが伝票データに含まれていると判定した場合、表示制御部105は、検品対象画像の商品Aの上に、伝票データにおける商品Aの明細番号を付加した画像を生成し、検品処理装置100に接続されたディスプレイにその画像を表示する。
図2に示す通り、検品処理装置100は、制御判定部101と、商品画像取得部102と、画像バッファ部103、入力受付部104と、表示制御部105と、特徴量計算部106と、伝票データ保存部107と、照合部108と、商品特定部109と、商品判定部110と、特徴箇所特定部111と、伝票データ格納部112と、商品データ格納部113とを備えている。なお、伝票データに含まれる検品すべき商品を検品商品、検品すべき数量を検品数量、これに対して検品作業を行う作業員が検品商品の候補として商品棚から取り出した商品を検品対象商品と呼ぶ。
商品画像取得部102は、撮像装置に検品対象商品の撮像指示を行い、撮像装置から撮像装置が撮像した画像(検品対象画像)を取得する。
画像バッファ部103は、商品画像取得部102が取得した検品対象画像を格納する領域である。
入力受付部104は、検品作業員の入力操作を受け付ける。
特徴量計算部106は、商品画像取得部102が取得した画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。
照合部108は、検品対象商品を撮像した検品対象画像の特徴量を用いて、その画像に写る商品を特定し、特定した商品が伝票データに含まれる検品商品と一致するかどうかを判定する。特に本実施形態における照合部108は、検品対象画像と照合する商品の種類を、伝票データに含まれる検品商品と検品商品に外観が類似する商品に限定することで照合処理の高速化を図る。なお、照合部108は、商品特定部109と、商品判定部110と、特徴箇所特定部111とを備えている。商品特定部109と、商品判定部110については、図1を用いて説明したとおりである。
特徴箇所特定部111は、検品対象画像に写った商品について、その商品を特定することができる特徴のある箇所を特定する。特徴のある箇所とは、例えば、商品のある面の一部分の表示(商品名など)やある面の大部分を占める表示(模様など)である。
商品データ格納部113は、商品ごとに、商品名、複数の方向からその商品を撮像したマスタ画像、マスタ画像の特徴量、単位重量、などを格納するデータベースである。
なお、制御判定部101、商品画像取得部102、入力受付部104、表示制御部105、特徴量計算部106、伝票データ保存部107、照合部108、商品特定部109、商品判定部110、特徴箇所特定部111の少なくとも一部は検品処理装置100の備えるCPUがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。
以下、図3を用いて、本実施形態の検品システムの説明を行う。
この図において、符号1は検品システムを表している。図3に示す通り、検品システム1は、検品処理装置100と、撮像装置200と、表示装置300と、入力装置400とを備えている。また、荷台301には1つまたは複数の検品対象商品(検品対象商品500)が置かれている。
また、これらの処理と並行して、作業員は、伝票データ(検品商品の名称、検品数量など)を、入力装置400を用いて入力する。例えば、伝票データは電子化されたファイルで、作業員は、記憶媒体に格納されたそのファイルを、記憶媒体読取装置を介して検品処理装置100に入力する。なお、1枚の伝票に含まれる明細データや伝票番号などをまとめて伝票データと呼ぶ。
図4の下図は、商品データ格納部113に格納されている商品のマスタ画像を示している。図示するように商品データ格納部113には、各商品について、その商品を荷台301に置く場合の、全て置き方のパターンに対して撮像装置200が撮像する面のマスタ画像が格納されている。例えば商品Aのように立方体であれば、商品Aの上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。また、商品Eのように円柱型の商品についても、上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。このように商品の載置パターンに対応する全ての面のマスタ画像を有していることで、商品がどのように置かれたとしても照合処理を行うことができる。なお、商品データ格納部113には、各商品の各面を撮像したマスタ画像の特徴量が、予め所定の計算手法によって計算され、格納されていてもよい。以下の説明では、商品データ格納部113には、各商品の載置パターンに対応する全ての面のマスタ画像に基づく特徴量が格納されているものとする。
図6は、本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。
図7は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図8は、本発明の第一の実施形態による検品確認画面の一例を示す第三の図である。
荷台301には、図4上図で例示したように検品対象商品が置かれているものとする。また、作業員は、検品処理装置100に対して検品確認画面の表示を指示する操作を入力する。検品処理装置100では表示制御部105が、検品確認画面の画像を生成し、表示装置300に検品確認画面を表示する。検品確認画面の詳細については後述する。
まず、作業員がある伝票データを検品処理装置100に入力する。例えば、作業員は、電子ファイル形式の伝票データを検品処理装置100に入力する。検品処理装置100では、入力受付部104がその入力操作を受け付け、伝票データ保存部107が入力された伝票データを取得する(ステップS10)。伝票データには、明細番号、商品名、検品数量が含まれている。伝票データの一例(伝票データα)を示す。
明細番号「1」、商品名「商品A」、検品数量「1」
明細番号「2」、商品名「商品C」、検品数量「1」
明細番号「3」、商品名「商品E」、検品数量「1」
伝票データ保存部107は、取得した伝票データを伝票データ格納部112に格納する。次に作業者は、検品確認画面に伝票番号を入力し、検品作業の対象となる伝票データを呼び出す。
この検品作業支援情報の表示により、作業員は、どの位置に置かれた商品が誤った商品であるかを把握することができる。作業員は、正しい商品を荷台301に置き直して、自動検品実行ボタン66を押下する。すると、商品特定部109が、再度、検品処理を行い、表示制御部105が検品処理結果に基づいて、検品確認画面を更新する。
図7の例では、伝票データ表示欄63において、明細番号「1」〜「4」、「7」について消し込み表示されている。また、検品対象画像表示欄65では、明細番号「1」〜「4」、「7」に対応する「商品1」〜「商品4」、「商品7」の上に明細番号を示す「1」〜「4」、「7」の数字が表示されている。一方、商品を一意に特定することができない商品については、表示制御部105は、その商品の位置に「?」を表示する。また、表示制御部105は、その商品を特定するために必要な特徴ある箇所がどの位置に存在するかを示す特徴箇所ガイド情報を一意に特定できない商品上に表示する。破線71、破線72は、表示制御部105が表示した特徴箇所ガイド情報である。破線71は、商品どうしの重なりによって下に置かれた商品の特徴箇所が隠れることによって、下に置かれた商品が一意に特定できない旨を示す表示である。破線71は、特徴箇所の位置を示している。破線72は、撮像される側面に特徴箇所が写っていないことによって商品が一意に特定できない旨を示す表示である。破線72は、特徴箇所が含まれる側面を示している。特徴箇所特定部111は、商品特定部109によって商品が一意に特定はできないと判定されたときに用いられた画像がどの側面のマスタ画像であるかの情報と、商品データ格納部113が記憶する特徴的な箇所を示す情報とに基づいて、特徴箇所ガイド情報を表示する位置を特定する。表示制御部105は、その特定に従って特徴箇所の強調表示を行う。なお、特徴箇所が含まれる部位を強調する表示は、その部位を破線で囲む表示に限らない。例えば、その部位を目立つ色で表示したり、「この位置に特徴的な表示があります」といったメッセージとともに特徴箇所を指し示す吹き出し表示を行ったりといった方法でもよい。
作業員は、これらの表示を見て、一意に特定できない商品がどこに置かれた商品であって、その商品をどの向きに置き直せば特定できるようになるかを把握することができる。
図8の例では、伝票データ表示欄63において、明細番号「1」〜「6」について消し込み表示されている。また、検品対象画像表示欄65では、明細番号「1」〜「6」に対応する「商品1」〜「商品6」の上に明細番号を示す「1」〜「6」の数字が表示されている。また、メッセージ表示欄64には検品処理が完了したことを示すメッセージ(「検品処理が完了しました。」)が表示されている。
しかし、検品対象画像表示欄65には、「AAAA」と表示された商品が写っており、この商品については「誤」の表示や特徴箇所を指示する特徴箇所ガイド情報が表示されていない。
伝票データに含まれる検品商品およびそれに類似する商品以外が荷台301に置かれた場合、その商品は、上述の照合処理の対象とならない。そのため、そのような商品については、検品対象画像表示欄65において、何ら情報が付加されることなく、そのままの状態で表示されることになる。作業員は、検品対象画像表示欄65にそのまま表示されている商品を見つけると、その商品は余分な商品であると判断し、荷台301からその商品を取り除く。なお、本実施形態では、検品対象画像と照合する商品を、伝票データに含まれる検品商品とその検品商品に外観が類似する商品に限定しているので、外観が異なる商品を誤って置いてしまった場合には、何の支援情報も表示しないことにより、その商品の存在を速やかに作業員に通知することができる。
なお、本実施形態の検品処理装置100は、多くの種類の商品をまとめて発送する物流センター(ネット通販など)や、見た目や名前が似ている商品を多く扱う店舗(調剤薬局など)に好適である。
図9に示す通り、検品処理装置100は、CPU901と、メモリ902と、ハードディスク等の記憶装置903と、ネットワーク接続用の通信IF904(通信インターフェース)とを含む、コンピュータ装置によって実現される。ただし、検品処理装置100の構成は、図9に示すコンピュータ装置に限定されない。例えば、検品処理装置100は、通信IF904を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。
100・・・検品処理装置
101・・・制御判定部
102・・・商品画像取得部
103・・・画像バッファ部
104・・・入力受付部
105・・・表示制御部
106・・・特徴量計算部
107・・・伝票データ保存部
108・・・照合部
109・・・商品特定部
110・・・商品判定部
111・・・特徴箇所特定部
112・・・伝票データ格納部
113・・・商品データ格納部
200・・・撮像装置
300・・・表示装置
301・・・荷台
302・・・支柱
400・・・入力装置
500・・・検品対象商品
901・・・CPU
902・・・メモリ
903・・・記憶装置
904・・・通信IF
Claims (13)
- 取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する照合部と、
前記照合部による判定結果に基づく検品作業支援情報を表示する表示制御部とを備え、
前記検品対象画像に、前記物品と前記検品物品とが一致するかを前記照合部が判定するための特徴的な箇所が写っていない場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う、
検品処理装置。 - 取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する照合部と、
前記照合部による判定結果に基づく検品作業支援情報を表示する表示制御部とを備え、
前記物品と前記検品物品とが一致すると前記照合部が判定した場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する、
検品処理装置。 - 前記物品と前記検品物品とが異なると前記照合部が判定した場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品と前記検品物品とが異なることを示す表示を行う、
請求項1または請求項2に記載の検品処理装置。 - 前記表示制御部は、検品作業支援情報として、前記検品対象画像に写る前記物品の輪郭を強調する表示を行うことで、前記物品と前記検品物品とが異なることを示す
請求項3に記載の検品処理装置。 - 前記照合部は、前記検品物品と前記検品物品に外観が類似する物品を選択して前記物品と前記検品物品とが一致するかを判定する、
請求項1から請求項4の何れか1項に記載の検品処理装置。 - 前記照合部が、前記物品と前記検品物品とが一致すると判定した場合、
前記表示制御部は、検品作業支援情報として、予め登録された前記検品物品の一覧を表示し、前記一覧における一致すると判定された前記物品について、検品が完了したことを示す表示を行う、
請求項1から請求項5の何れか1項に記載の検品処理装置。 - 前記照合部が物品を一意に特定できない場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品が一意に特定できないことを示す表示を行う、
請求項1から請求項6の何れか1項に記載の検品処理装置。 - 前記照合部は、前記検品対象画像と、前記検品物品を複数の方向から撮像して得られた画像のそれぞれとを照合することにより、前記物品が前記検品物品と一致するかを判定する
請求項1から請求項7の何れか1項に記載の検品処理装置。 - 1つまたは複数の検品物品の候補の画像を撮像する撮像装置と、
前記撮像装置が撮像した1つまたは複数の検品物品の候補を撮像した検品対象画像を取得する、請求項1から請求項8の何れか1項に記載の検品処理装置と、
を備える検品システム。 - 取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定し、
前記検品対象画像に、前記物品と前記検品物品とが一致するかを判定するための特徴的な箇所が写っていない場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う、
検品処理方法。 - 取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定し、
前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する、
検品処理方法。 - 検品処理装置のコンピュータを、
取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する手段、
前記検品対象画像に、前記物品と前記検品物品とが一致するかを判定するための特徴的な箇所が写っていない場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記特徴的な箇所を示す表示を行う手段、
として機能させるためのプログラム。 - 検品処理装置のコンピュータを、
取得した検品対象画像に含まれる1つまたは複数の物品と、検品されるべき物品として予め登録された検品物品とが一致するかを判定する手段、
前記物品と前記検品物品とが一致すると前記照合部が判定した場合、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品に対応する明細番号を表示する手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020047818A JP6981495B2 (ja) | 2015-11-12 | 2020-03-18 | 検品処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015222103A JP6679891B2 (ja) | 2015-11-12 | 2015-11-12 | 検品処理装置、検品システム、検品処理方法及びプログラム |
JP2020047818A JP6981495B2 (ja) | 2015-11-12 | 2020-03-18 | 検品処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015222103A Division JP6679891B2 (ja) | 2015-11-12 | 2015-11-12 | 検品処理装置、検品システム、検品処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020093937A JP2020093937A (ja) | 2020-06-18 |
JP2020093937A5 JP2020093937A5 (ja) | 2020-08-13 |
JP6981495B2 true JP6981495B2 (ja) | 2021-12-15 |
Family
ID=79190980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020047818A Active JP6981495B2 (ja) | 2015-11-12 | 2020-03-18 | 検品処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6981495B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7484575B2 (ja) | 2020-08-27 | 2024-05-16 | 村田機械株式会社 | ピッキングシステム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5869988B2 (ja) * | 2012-08-24 | 2016-02-24 | 富士フイルム株式会社 | 物品照合装置および方法並びにプログラム |
JP5454639B2 (ja) * | 2012-08-30 | 2014-03-26 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
JP5916032B2 (ja) * | 2012-09-27 | 2016-05-11 | 富士フイルム株式会社 | 薬剤検査支援装置及び方法 |
-
2020
- 2020-03-18 JP JP2020047818A patent/JP6981495B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020093937A (ja) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6679891B2 (ja) | 検品処理装置、検品システム、検品処理方法及びプログラム | |
US10430776B2 (en) | System and method for exception handling in self-checkout and automated data capture systems | |
US9505554B1 (en) | Capturing packaging image via scanner | |
JP2019055828A (ja) | 棚情報推定装置及び情報処理プログラム | |
US9836665B2 (en) | Management system, list production device, method, computer readable recording medium, data structure, and printed label | |
JP6425278B2 (ja) | 商品情報取得システム | |
US11321936B2 (en) | Image processing device, image processing method, and storage medium storing program | |
JP6458239B1 (ja) | 画像認識システム | |
KR101758054B1 (ko) | 포스 시스템을 이용한 온라인/오프라인 통합 재고관리 시스템 | |
JP7243066B2 (ja) | 自動倉庫システム | |
CN110889317B (zh) | 操作辅助装置 | |
WO2016063483A1 (ja) | 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、記録媒体および画像処理装置 | |
JP6558020B2 (ja) | 検品処理装置、検品処理方法及びプログラム | |
JP6218151B2 (ja) | 出荷作業支援方法、出荷作業支援装置および出荷作業支援プログラム | |
JP6981495B2 (ja) | 検品処理装置 | |
JPWO2019064925A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2017170260A1 (ja) | 検品処理装置、検品システム、商品マスタ登録装置、検品処理方法及びプログラム | |
JP5888358B2 (ja) | 検品処理装置、検品システム、検品処理方法及びプログラム | |
CN112550886B (zh) | 检查装置及标签粘贴装置 | |
JP6052448B2 (ja) | 検品処理装置、検品システム、検品処理方法及びプログラム | |
JP6049223B2 (ja) | 入荷作業支援方法、入荷作業支援装置および入荷作業支援プログラム | |
JP2018170044A (ja) | 商品情報取得システム | |
US20210350315A1 (en) | Systems and methods for article inventory transfer | |
EP3866061B1 (en) | Article distinguishing system | |
JP6941331B2 (ja) | 画像認識システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210506 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210601 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210830 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210830 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210906 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6981495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |