JP6108159B2 - 情報処理システム、情報処理装置およびその制御方法と制御プログラム - Google Patents
情報処理システム、情報処理装置およびその制御方法と制御プログラム Download PDFInfo
- Publication number
- JP6108159B2 JP6108159B2 JP2013042446A JP2013042446A JP6108159B2 JP 6108159 B2 JP6108159 B2 JP 6108159B2 JP 2013042446 A JP2013042446 A JP 2013042446A JP 2013042446 A JP2013042446 A JP 2013042446A JP 6108159 B2 JP6108159 B2 JP 6108159B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- display
- image
- unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 219
- 238000000034 method Methods 0.000 title claims description 139
- 238000003384 imaging method Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 54
- 238000003860 storage Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 95
- 230000008569 process Effects 0.000 description 63
- 238000001514 detection method Methods 0.000 description 40
- 239000013598 vector Substances 0.000 description 40
- 238000004364 calculation method Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 21
- 230000004044 response Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 125000006850 spacer group Chemical group 0.000 description 6
- 230000005672 electromagnetic field Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Description
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
を備えた。
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
を備えた。
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
をコンピュータに実行させる。
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサと、
前記物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
前記陳列棚の前面を撮影する撮像手段と、
前記撮像手段が取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
を備えた。
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、陳列された物品を管理するための装置である。
次に、本発明の第2実施形態に係る情報処理装置を含む情報処理システムの一例として、物品管理システムについて説明する。本実施形態においては、撮影した画像から局所特徴量に基づいて物品を識別し、物品陳列棚に設置された物品有無センサからの物品有無情報と紐付けることにより、陳列棚に奥行き方向に陳列された複数種類の大量の物品を種類ごとに高速に計数する。
図2A〜図3Dを参照して、本実施形態の物品管理システム200の構成および動作について説明する。
図2Aは、本実施形態に係る情報処理装置210を含む物品管理システム200の概要を示す図である。図2Aにおいては、商店における商品陳列棚を例に説明するが、これに限定されない。奥行き方向に複数の物品が配置される陳列棚であればよい。
図2Bは、情報処理装置210を含む物品管理システム200の構成を示すブロック図である。
図3Aは、情報処理装置210を含む物品管理システム200の動作手順を示すシーケンス図である。
図3Bは、情報処理装置210の動作タイミング310を示すタイミング図である。
図4は、情報処理装置210の機能構成を示すブロック図である。なお、図2Aおよび図2Bと同様の構成要素には同じ参照番号を付す。
図5Aは、局所特徴量データベース403の構成を示す図である。局所特徴量データベース403は、各物品のサンプル画像からあらかじめ生成された局所特徴量を格納して、入力画像から生成された局所特徴量と比較して物品を識別するために使用される。局所特徴量データベース403は、物品ID511に対応付けて、物品名/種類512と、物品から生成された局所特徴量群513と各種類の物品のサンプル画像データ(正面画像データ)514を格納する。つまり、局所特徴量データベース403の一部は、予め用意した画像データベースとして機能する。
図5Bは、センサデータベース406aの構成を示す図である。センサデータベース406aは、センサデータベース406の一部であり、陳列棚に配置されたセンサシートの陳列棚内の位置を格納して、陳列棚の最前列の物品配列と、物品有無センサからの物品有無情報とを紐付けるために使用される。なお、センサデータベース406aは、物品有無センサが陳列棚上の位置に対応付く情報であれば、構成は図5Bに限定されない。
図5Cは、物品種類配列テーブル530の構成を示す図である。物品種類配列テーブル530は、物品識別部211が陳列棚の前面画像から識別した物品を記憶するテーブルである。
図5Dは、物品有無配列テーブル540の構成を示す図である。物品有無配列テーブル540は、物品配列生成部407が物品有無センサから受信した物品有無結果を記憶するテーブルである。
図5Eは物品管理テーブル550の構成を示す図である。物品管理テーブル550は、陳列認識部213が物品種類配列テーブル530と物品有無配列テーブル540とを紐付けてから算出した、物品陳列位置と陳列数とを記憶するテーブルである。なお、図5Eにおいて、図5Cおよび図5Dと同様の項目には同じ参照番号を付す。
(構成例)
図6Aは、物品識別部211aの構成例を示すブロック図である。物品識別部211aは、図4の物品識別部211の一例であり、撮影画像の局所特徴量生成部601と、領域分割部602と、照合部603とを含む。
図6Cは、物品識別部211bの他の構成例を示すブロック図である。物品識別部211bは、撮影画像の局所特徴量生成部601と、領域分割部622と、照合部603とを含む。ここで、撮影画像の局所特徴量生成部601と照合部603の動作は図6Aと同様であるので、ここでは説明を省略する。以下、領域分割部622の動作を中心に説明する。
図6Eは、物品識別部211cのさらに他の構成を示すブロック図である。物品識別部211cは、撮影画像の局所特徴量生成部601と、領域分割部642と、照合部603とを含む。ここで、撮影画像の局所特徴量生成部601と照合部603の動作は図6Aおよび図6Cと同様であるので、説明を省略する。
図7Aは、局所特徴量生成部601の構成を示すブロック図である。局所特徴量生成部601は、特徴点検出部711、局所領域取得部712、サブ領域分割部713、サブ領域特徴ベクトル生成部714、および次元選定部715を含んで構成される。
図7B〜図7Fは、局所特徴量生成部601の処理を示す図である。
図7Bの画像721は、図7Aの特徴点検出部711において、映像中の画像から特徴点を検出した状態を示す図である。以下、1つの特徴点データ721aを代表させて局所特徴量の生成を説明する。特徴点データ721aの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール(大きさ)を示し、矢印の方向が角度を示す。ここで、スケール(大きさ)や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図7Bの例では、60度間隔で6方向の場合を説明するが、これに限定されない。
図7Aの局所領域取得部712は、例えば、特徴点データ721aの起点を中心にガウス窓722aを生成し、このガウス窓722aをほぼ含む局所領域722を生成する。図7Bの例では、局所領域取得部712は正方形の局所領域722を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。
次に、サブ領域分割部713において、上記特徴点データ721aの局所領域722に含まれる各画素のスケールおよび角度をサブ領域723に分割した状態が示されている。なお、図7Bでは4×4=16画素をサブ領域とする5×5=25のサブ領域に分割した例を示す。しかし、サブ領域は、4×4=16や他の形状、分割数であってもよい。
サブ領域特徴ベクトル生成部714は、サブ領域内の各画素のスケールを6方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル724とする。すなわち、特徴点検出部711が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部714は、サブ領域ごとに量子化された6方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部714は、各特徴点に対して生成される25サブ領域ブロック×6方向=150次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を6方向に量子化するだけに限らず、4方向、8方向、10方向など任意の量子化数に量子化してよい。勾配方向をD方向に量子化する場合、量子化前の勾配方向をG(0〜2πラジアン)とすると、勾配方向の量子化値Qq(q=0,...,D−1)は、例えば式(1)や式(2)などで求めることができるが、これに限られない。
Qq=round(G×D/2π)modD ...(2)
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部714は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部714は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域(隣接するブロックなど)にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部714は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元(要素)を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。
次に、図7C〜図7Fにしたがって、局所特徴量生成部601における、次元選定部715に処理を説明する。
図7Cは、局所特徴量生成部601における、特徴ベクトルの次元数の選定処理の様子を示す図である。
図7Dは、局所特徴量生成部601における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。
図8Aは、物品配列生成部407の構成を示すブロック図である。
図8Bは、物品有無データ取得の動作手順を示すシーケンス図である。なお、本実施形態においては、RFIDリーダが各物品配置位置に置かれたRFIDタグに対してIDを含むタグ情報読出信号を送信し、RFIDタグが閾値より強い信号強度で応答した場合を物品無し、閾値より弱い信号強度で応答した場合を物品有りとする。
図8Cは、物品有無データ取得時の通信手順を示すシーケンス図である。
図8Dは、センサ配置記憶手段としてのセンサデータベース406bの構成を示す図である。センサデータベース406bは、センサデータベース406の一部分を表わし、センサシートがどの陳列棚のどの段の何処に配置されているかを格納する。センサデータベース406bは、センサシートID841に対応付けて、そのセンサシートが有する物品配置位置の各々について、その陳列棚上の確定位置を記憶する。すなわち、各物品位置ID842に対応して、陳列棚843、段844、列845、奥行846を格納する。この物品位置と陳列棚の前面画像からの物品を紐付けることで、物品種類ごとの陳列数を算出できる。
図9Aは、物品有無センサ230の構成を示す図である。図9Aにおいては、2つのセンサシートを陳列棚に並べる例を示すが、これに限定されない。
図9Bは、物品有無センサ230におけるリーダアンテナ932の構成を示す図である。少なくとも1枚のセンサシートとスペーサ931を隔てて配線されたリーダアンテナ932には、種々の構成が考えられるが、図9Bには2つの例を示す。
図9Cは、物品有無センサ230における物品の配置を示す図である。なお、図9Aと同様の要素には同じ参照番号を付して、説明は省略する。
図9Dは、物品有無センサ230におけるRFIDタグ914の構成を示す図である。
図9Eは、物品有無センサ230における位置関係を示す図である。物品有無センサ230においては、RFIDリーダ940からリーダアンテナ932を介して送信されたIDを含むコマンドに対して、IDが一致して応答したセンシング用RFIDタグ914の応答信号の強度により、物品の有無を判定する。物品が無くて、リーダアンテナ932とセンシング用RFIDタグ914との電磁界結合が強ければ強い応答信号がリーダアンテナ932に返ってくる。この応答信号の強度を閾値と比較して、閾値より強いので物品無しと判定する。一方、物品が有って、リーダアンテナ932とセンシング用RFIDタグ914との電磁界結合が弱くなれば弱い応答信号がリーダアンテナ932に返ってくる。この応答信号の強度を閾値と比較して、閾値より弱いので物品有りと判定する。
図10Aは、情報処理装置210のハードウェア構成を示すブロック図である。
図10Bは、情報処理装置210の表示部214の出力の一例を示す図である。表示部214の表示画面(ビューワ)1071には、管理対象の陳列棚1072と物品表1073とが表示されている。仮想陳列棚画像1072中には、各物品画像が、現実の棚割と同様に配置され、かつ、各物品画像に重畳してフェイス(物品列)ごとの陳列数が表示される。これらの陳列数データは、図5Eに示した物品管理テーブル550から読出される。ここで、陳列できる物品の在庫数を記憶する在庫データベース(不図示)から、物品種類ごとの在庫数を読み出して、陳列数と共に(例えばかっこで)表示してもよい。この仮想陳列棚画像1072においては、陳列数が0となっているフェイスの物品画像を目立たせるように着色して(あるいは明るさを変えて)表示する。
図11Aは、情報処理装置210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図4の機能構成部を実現する。
図11Bは、棚表面物品配列の認識処理(S1103)の手順を示すフローチャートである。
図11Cは、物品有無検出処理(S1107)の手順を示すフローチャートである。
図11Dは、物品配置および陳列数確定処理(S1109)の手順を示すフローチャートである。
次に、本発明の第3実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態と比べると、撮影した画像から物品有無センサ群(センサシート)を識別可能なシートマークを識別する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図12および図13を参照して、本実施形態の物品管理システム1200の構成と動作を説明する。
図12は、本実施形態に係る情報処理装置1210を含む物品管理システム1200の概要を示す図である。なお、図12において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図13は、情報処理装置1210を含む物品管理システム1200の動作手順を示すシーケンス図である。なお、図13において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図14は、情報処理装置1210の機能構成を示すブロック図である。なお、図14において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図15Aは、局所特徴量データベース1403の構成を示す図である。なお、局所特徴量データベース1403には、図5Aの物品画像から生成された局所特徴量データベース403のデータも含まれる。
図15Bは、シート管理データベース1406の構成を示す図である。
図15Cは、物品種類配列テーブル1530の構成を示す図である。物品種類配列テーブル1530は、撮像画像から識別された物品およびシートマークに基づいて、物品識別部1211が生成したテーブルである。なお、図15Cにおいて、図5Cと同様の項目には同じ参照番号を付して、説明は省略する。
図16Aは、情報処理装置1210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図14の機能構成部を実現する。なお、図16Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図16Bは、シートマーク識別処理(S1607)の手順を示すフローチャートである。なお、図16Bにおいて、図11Bと同様なステップには同じステップ番号を付して、説明は省略する。
次に、本発明の第4実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態と比べると、撮影した画像から物品陳列棚を識別可能な棚マークを認識する点で異なる。その他の構成および動作は、第2実施形態または第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図17および図18を参照して、本実施形態の物品管理システム1700の構成と動作を説明する。
図17は、本実施形態に係る情報処理装置1710を含む物品管理システム1700の概要を示す図である。なお、図17において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図18は、情報処理装置1710を含む物品管理システム1700の動作手順を示すシーケンス図である。なお、図18において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図19は、情報処理装置1710の機能構成を示すブロック図である。なお、図19において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図20Aは、局所特徴量データベース1903の構成を示す図である。なお、局所特徴量データベース1903には、図5Aの物品画像から生成された局所特徴量データベース403のデータも含まれる。
図20Bは、棚管理データベース1906の構成を示す図である。
図20Cは、物品種類配列テーブル2030の構成を示す図である。物品種類配列テーブル2030は、撮像画像から識別された物品および棚マークに基づいて、物品識別部1711が生成したテーブルである。なお、図20Cにおいて、図5Cと同様の項目には同じ参照番号を付して、説明は省略する。
図21Aは、情報処理装置1710の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図17の機能構成部を実現する。なお、図21Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図21Bは、棚マーク識別処理(S2107)の手順を示すフローチャートである。なお、図21Bにおいて、図11Bまたは図16Bと同様なステップには同じステップ番号を付して、説明は省略する。
次に、本発明の第5実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態と比べると、撮影した画像から物品陳列棚に特有の物品配列を識別する点で異なる。その他の構成および動作は、第2実施形態乃至第4実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図22および図23を参照して、本実施形態の物品管理システム1200の構成と動作を説明する。
図22は、本実施形態に係る情報処理装置2210を含む物品管理システム2200の概要を示す図である。なお、図22において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図23は、情報処理装置2210を含む物品管理システム2200の動作手順を示すシーケンス図である。なお、図23において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図24は、情報処理装置2210の機能構成を示すブロック図である。なお、図24において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図25は、物品列管理データベース2406の構成を示す図である。
図26Aは、情報処理装置2210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図24の機能構成部を実現する。なお、図26Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図26Bは、物品列識別処理(S2606)の手順を示すフローチャートである。
次に、本発明の第6実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態乃至第5実施形態と比べると、撮影した画像から得た物品配列情報と、物品有無センサから得た物品有無情報とに基づいて、物品配置変えや配置エラーを判定する点で異なる。その他の構成および動作は、第2実施形態乃至第5実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図27Aは、本実施形態に係る情報処理装置を含む物品管理システム2700の概要を示す図である。
図28は、情報処理装置2810の機能構成を示すブロック図である。なお、図28において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図29は、物品陳列判定処理を説明する図である。図29には、物品配列の変更なのか、一時的な物品配列エラーなのか、を判定する一例を示しているが、判定アルゴリズムはこれに限定されない。
図30Aは、情報処理装置の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図28の機能構成部を実現する。なお、図30Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図30Bは、配置判定処理(S3008)の手順を示すフローチャートである。
次に、本発明の第7実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態乃至第6実施形態と比べると、撮影した画像から得た物品配列情報と、物品有無センサから得た物品有無情報とにより、お互いの識別精度や検出精度を高める点で異なる。その他の構成および動作は、第2実施形態乃至第5実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図31は、本実施形態に係る情報処理装置を含む物品管理システム3100の概要を示す図である。図31には、画像からの物品識別精度を向上する調整例3110と、物品有無センサの有無判定の精度向上の調整例3120とを示す。
図32は、情報処理装置3210の機能構成を示すブロック図である。なお、図32において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図33Aは、情報処理装置3210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図32の機能構成部を実現する。なお、図33Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図33Bは、物品有無検出および物品識別の調整処理(S3308)の手順を示すフローチャートである。
次に、本発明の第8実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態乃至第7実施形態と比べると、物品有無センサから得られた最前列の物品有無パターンと撮影画像から物品識別して得られた物品有無パターンとを照合して、撮影位置を特定する点で異なる。その他の構成および動作は、第2実施形態乃至第7実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図34および図35を参照して、本実施形態の物品管理システム3400の構成と動作を説明する。
図34は、本実施形態に係る情報処理装置3410を含む物品管理システム3400の概要を示す図である。なお、図34において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図35は、本実施形態に係る情報処理装置3410を含む物品管理システム3400の動作手順を示すシーケンス図である。なお、図35において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図36は、情報処理装置3410の機能構成を示すブロック図である。なお、図36において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図37は、本実施形態に係る物品列有無列照合を説明する図である。
図38Aは、情報処理装置3410の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図36の機能構成部を実現する。なお、図38Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図38Bは、物品列識別処理(S3806)の手順を示すフローチャートである。
次に、本発明の第9実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置3910は、上記第2実施形態乃至第8実施形態と比べると、表示部3914と撮像部3920とが、情報処理装置3910から分離してタブレット端末3930に備えられた点で異なる。その他の構成および動作は、第2実施形態乃至第7実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
Claims (18)
- 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
を備えた情報処理装置。 - 前記表示手段は、前記物品識別手段が識別した種類の前記物品の画像を、あらかじめ用意した画像データベースから読出して表示し、該画像に重畳して、または該画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する請求項1に記載の情報処理装置。
- 前記表示手段は、前記撮像手段で撮像した前記物品の画像に重畳して、または前記画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する請求項1に記載の情報処理装置。
- 全ての前記物品列の陳列数が1つ以上である状態で前記陳列棚を撮像するように前記撮像手段に対して撮像指示を送信する撮像指示手段をさらに有する請求項1、2または3に記載の情報処理装置。
- 前記陳列棚に陳列されていないが、陳列できる物品の在庫数を記憶する記憶手段をさらに有し、
前記表示手段は、前記陳列数取得手段で取得した該物品の陳列数情報と共に前記在庫数を前記物品ごとに表示する請求項1乃至4のいずれか1項に記載の情報処理装置。 - 前記表示手段は、さらに仮想陳列棚画像を表示し、前記物品の画像を、前記仮想陳列棚画像内において前記陳列棚と同じ配列で表示する請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記表示手段は、前記仮想陳列棚及び前記物品の配列を左右反転させて表示する反転表示機能を有する請求項6に記載の情報処理装置。
- 前記撮像手段を内蔵する請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記物品識別手段は、
前記画像から、複数の特徴点における局所特徴量を生成する局所特徴量生成手段と、
前記複数の特徴点の座標に基づいて、前記複数の特徴点をクラスタリングする領域分割手段と、
前記クラスタリングされた特徴点の局所特徴量と、物品の画像に基づいて生成された局所特徴量との照合により、物品を識別する照合手段と、
を含む請求項1乃至8のいずれか1項に記載の情報処理装置。 - 前記陳列棚における複数の前記物品有無センサのそれぞれの位置とセンサ識別情報との対応関係を記憶するセンサ配置記憶手段をさらに備え、
前記陳列数取得手段は、複数の前記物品有無センサから、前記センサ識別情報と共に各物品列の陳列数情報を取得し、
前記センサ配置記憶手段を参照して、前記陳列数と前記物品識別手段により得られた物品の種類とを紐付けし、前記物品のそれぞれの陳列数を認識する請求項1乃至9のいずれか1項に記載の情報処理装置。 - 複数の前記物品有無センサが取り付けられたセンサシートをさらに備え、
前記センサシートには、前記陳列棚の前面において、それぞれ固有のシートマークが取り付けられ、
前記陳列数取得手段は、複数の前記物品有無センサから、前記センサシートの情報と共に各物品列の陳列数情報を取得し、
前記物品識別手段は、さらに、前記撮像手段が撮影した画像に含まれる、前記シートマークを識別して前記センサシートの情報を取得し、
前記センサシートの情報を用いて、前記陳列数情報と前記物品の種類とを紐付ける請求項1乃至10のいずれか1項に記載の情報処理装置。 - 前記陳列棚は複数用意され、前記陳列棚の前面において、それぞれ固有の棚マークが取り付けられており、
前記物品識別手段は、さらに、前記棚マークを認識することにより、前記陳列数取得手段が取得した陳列数情報と前記物品識別手段により得られた物品の種類とを紐付ける請求項10に記載の情報処理装置。 - 前記陳列棚は複数用意され、
前記陳列棚の少なくとも一部において、前記複数の物品の配列を記憶する物品配列記憶手段をさらに備え、
前記物品の配列に基づいて陳列棚を特定して、前記陳列数情報と前記物品の種類とを紐付ける請求項10に記載の情報処理装置。 - 撮像手段が撮影した画像に基づいて識別した物品有無パターンと前記物品有無センサから受信した物品有無パターンとを照合することにより、前記陳列数情報と前記物品の種類とを紐付ける請求項10に記載の情報処理装置。
- 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
を備えた情報処理装置の制御方法。 - 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
をコンピュータに実行させる情報処理装置の制御プログラム。 - 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサと、
前記物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
前記陳列棚の前面を撮影する撮像手段と、
前記撮像手段が取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
を備えた情報処理システム。 - 前記撮像手段および前記物品識別手段および前記表示手段を備えたタブレット端末と、
前記陳列数取得手段を備えたサーバと、
を備えた請求項17に記載の情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013042446A JP6108159B2 (ja) | 2013-03-04 | 2013-03-04 | 情報処理システム、情報処理装置およびその制御方法と制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013042446A JP6108159B2 (ja) | 2013-03-04 | 2013-03-04 | 情報処理システム、情報処理装置およびその制御方法と制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014170431A JP2014170431A (ja) | 2014-09-18 |
JP6108159B2 true JP6108159B2 (ja) | 2017-04-05 |
Family
ID=51692772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013042446A Active JP6108159B2 (ja) | 2013-03-04 | 2013-03-04 | 情報処理システム、情報処理装置およびその制御方法と制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6108159B2 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016063484A1 (ja) * | 2014-10-23 | 2016-04-28 | 日本電気株式会社 | 画像処理装置、表示制御装置、画像処理方法、および、記録媒体 |
US20180002109A1 (en) | 2015-01-22 | 2018-01-04 | Nec Corporation | Shelf space allocation management device and shelf space allocation management method |
WO2017163532A1 (ja) * | 2016-03-22 | 2017-09-28 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6720618B2 (ja) | 2016-03-23 | 2020-07-08 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP2019513274A (ja) * | 2016-03-29 | 2019-05-23 | ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. | 品物の設置、特定および計数のためのシステムおよび方法 |
JP6938169B2 (ja) * | 2017-03-01 | 2021-09-22 | 東芝テック株式会社 | ラベル生成装置及びプログラム |
JP6925443B2 (ja) * | 2017-04-07 | 2021-08-25 | シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. | 店舗内の在庫レベルを追跡する方法 |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
WO2018204308A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for object status detection |
US11093896B2 (en) | 2017-05-01 | 2021-08-17 | Symbol Technologies, Llc | Product status detection system |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
JP2019082824A (ja) * | 2017-10-30 | 2019-05-30 | 株式会社Nttドコモ | 情報処理装置及びプログラム |
JP2020017253A (ja) * | 2018-07-13 | 2020-01-30 | 富士電機株式会社 | 商品管理システム及び商品管理方法 |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
JP7274292B2 (ja) * | 2019-01-11 | 2023-05-16 | 東芝テック株式会社 | 支援システム、支援装置及び情報処理プログラム |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
JP7289448B2 (ja) * | 2019-06-11 | 2023-06-12 | 株式会社イシダ | 物品識別システム及び物品識別システムを備えた会計処理システム |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5656457B2 (ja) * | 2010-06-01 | 2015-01-21 | シャープ株式会社 | 商品情報提供端末装置および商品情報提供システム |
JP4914528B1 (ja) * | 2010-08-31 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム |
US9171442B2 (en) * | 2010-11-19 | 2015-10-27 | Tyco Fire & Security Gmbh | Item identification using video recognition to supplement bar code or RFID information |
JP2012174154A (ja) * | 2011-02-24 | 2012-09-10 | Fujitsu Frontech Ltd | 在庫状況管理方法および在庫状況管理装置 |
-
2013
- 2013-03-04 JP JP2013042446A patent/JP6108159B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014170431A (ja) | 2014-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6108159B2 (ja) | 情報処理システム、情報処理装置およびその制御方法と制御プログラム | |
JP6270065B2 (ja) | 物品管理システム、情報処理装置およびその制御方法と制御プログラム | |
JP6048741B2 (ja) | 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム | |
JP7351861B2 (ja) | ユーザ識別子を指定するシステム及びその方法 | |
US10796162B2 (en) | Information processing apparatus, information processing method, and information processing system | |
US11900316B2 (en) | Information processing apparatus, control method, and program | |
US10268892B1 (en) | System and methods for volume dimensioning for supply chains and shelf sets | |
JP6399280B2 (ja) | 照合・検索システム、照合・検索サーバ、画像特徴抽出装置、照合・検索方法及びプログラム | |
CN104246793A (zh) | 移动设备的三维脸部识别 | |
CN103003814A (zh) | 使用大型数据库进行对象识别的***及方法 | |
US20140348384A1 (en) | System for Managing Locations of Items | |
WO2015147333A1 (ja) | 売上登録装置、プログラム及び売上登録方法 | |
US10037510B2 (en) | System and method for calibration and mapping of real-time location data | |
CN112465517A (zh) | 防伪验证方法、装置及计算机可读存储介质 | |
CN103310182B (zh) | 一种物体的识别方法及装置 | |
US11398094B1 (en) | Locally and globally locating actors by digital cameras and machine learning | |
EP2458559A1 (en) | Marker judgment device, marker judgment detection system, marker judgment detection device, marker, marker judgment method, and program therefor | |
JPWO2011010705A1 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム | |
JP6065911B2 (ja) | 配置情報登録装置、配置情報登録方法および配置情報登録プログラム | |
US11599737B1 (en) | System for generating tags | |
KR102597692B1 (ko) | 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 | |
JP6773102B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP5907162B2 (ja) | 移動体属性推定システム、移動体属性推定方法およびプログラム | |
US20230139490A1 (en) | Automatic training data sample collection | |
EP2843609A1 (en) | System for managing locations of items |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6108159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |