JP2019152934A - 在庫監視システム - Google Patents

Abstract

【課題】商品提供準備と販売機会とを考慮した在庫監視を提供する。【解決手段】在庫監視システム１は、おでん陳列部１０の具材を撮像する監視カメラ４と、監視カメラ４が撮像した撮像画像を解析し具材の装填状態を判別する解析手段４０及び装填状態の判別結果に応じて具材を補充すべきであることを店員に通知する通知手段４２を有するタブレット端末２と、を設ける。【選択図】図４

Description

本発明は在庫監視システムに関し、商品陳列部をカメラで撮影した画像データを解析して商品の在庫を監視する在庫監視システムに適用して好適なものである。

従来、店舗スタッフが操作するＰＯＳ端末装置におけるバーコードスキャナにより、顧客が購入する商品の商品コードが読み取られて販売数量を含む販売データが入力され、販売単品毎の売上げデータとしてデータベースに蓄積するＰＯＳシステムが提案されている（例えば、特許文献１参照）。

また、各家庭の冷蔵庫内の定番商品の在庫監視、注文、決済を可能にするシステムを提供することで、販売する各製品について、どのような生活スタイルの家庭でどれだけのシェアがあるのか等詳細なデータを得て、膨大なＰＯＳデータを活用した分析よりも精度が高く、商品のリニューアルやターゲット戦略をより効果的に行うようにするものも提案されている（例えば、特許文献２参照）。

特開平８−２２５７６号公報 特開２０１７−６８８１２号公報

上述したような単に在庫監視する技術は従来から知られている。しかしながら、コンビニエンスストア等の店舗における、おでんやホットスナック（コロッケ等の揚げ物惣菜）等の場合、店舗内で温め等の商品提供準備を行ってから販売するため、従来から知られている単なる在庫監視では商品提供準備と販売機会とを考慮した在庫監視が行うことができないという課題があった。

本発明は以上の点を考慮してなされたもので、商品提供準備と販売機会とを考慮した在庫監視を行い得る在庫監視システムを提案しようとするものである。

かかる課題を解決するため本発明の在庫監視システムにおいては、監視対象を撮像する撮像手段と、撮像手段が撮像した撮像画像を解析し監視対象の装填状態を判別する解析手段と、装填状態の判別結果に応じて監視対象を補充すべきであることを使用者に通知する通知手段とを設けるようにした。

これにより本発明は、商品の撮像画像に基づき、商品を補充すべきであることを使用者の操作がなくとも自動的に使用者に通知し、商品を販売するタイミングに合わせて使用者に商品を補充させ提供準備を行わせることができる。

本発明によれば、商品提供準備と販売機会とを考慮した在庫監視を行い得る在庫監視システムを実現できる。

在庫監視システムの構成を示す図である。 おでん販売部の構成を示す斜視図である。 タブレット端末の構成を示すブロック図である。 タブレット端末の機能構成を示すブロック図である。 装填状態解析処理手順を示すフローチャートである。 補充通知処理手順を示すフローチャートである。 装填状態通知処理手順を示すフローチャートである。 陳列商品撮像画面を示す図である。 前回の陳列商品撮像画面を示す図である。 玉子画像を示す図である。 補充個数通知部が表示された状態の陳列商品撮像画面を示す図である。 補充通知部が表示された状態の陳列商品撮像画面を示す図である。 具材が選択された状態の陳列商品撮像画面を示す図である。 装填個数充足通知部が表示された状態の陳列商品撮像画面を示す図である。 玉子日別売上個数表を示す図である。 玉子時間別売上個数表を示す図である。

以下、発明を実施するための形態（以下実施の形態とする）について、図面を用いて説明する。

［１．実施の形態］
［１−１．在庫監視システムの構成］
図１に示すように在庫監視システム１は、タブレット端末２、監視カメラ４、サーバ６、無線アンテナ８、おでん陳列部１０及び弁当陳列部１２により構成されており、例えばコンビニエンスストア等の店舗ＳＴ内に設置されている。

情報処理端末としてのタブレット端末２は、図２に示すおでん販売部１０Ｓに配置されており、販売員、すなわち店員により操作され、図３に示すように制御部２０が全体を統轄制御する。制御部２０は、ＣＰＵ（Central Processing Unit）を中心に構成されており、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブやフラッシュメモリ等でなる記憶部２４から所定のプログラムを読み出して実行することにより、各部を制御し、在庫監視動作を行う。

制御部２０は、有り高監視処理部、有り高管理処理部、カメラ切替処理部及び操作表示処理部（図示せず）を有している。有り高監視処理部は、監視カメラ４から受信した例えばおでん等の商品の画像データに画像解析を行い、商品の有り高の状態を監視する。有り高管理処理部は、有り高の管理を行う。カメラ切替処理部は、監視カメラ４の被写体の切り替えを行う。操作表示処理部は、操作表示部２２の画面表示を処理する。操作表示部２２は、各種指示や操作誘導を行う画面や、後述する陳列商品撮像画面等を表示するＬＣＤ（Liquid Crystal Display）と、各種指示の選択や各種情報の入力が行われるタッチパネルとが一体化されている。

記憶部２４は、おでんのそれぞれの具材ＩＧ（図２）の画像や、おでん展示販売ケース１０Ａの画像や、おでん展示販売ケース１０Ａ内におけるそれぞれの具材ＩＧが装填されている装填エリア１０Ｂ（図２）の位置等を予め学習して記憶している。また記憶部２４は、おでんの具材ＩＧ毎の現在の装填個数を具材毎装填個数情報として記憶すると共に、おでんの具材ＩＧ毎の販売個数を時系列に集計して具材毎販売個数情報として記憶する。カメラ通信部２６は、例えばＬＡＮ（Local Area Network）ケーブル用のインターフェイスであり、監視カメラ４とデータ通信を行う。サーバ通信部２８は、例えば無線ＬＡＮ用のインターフェイスであり、サーバ６とデータ通信を行う。

監視カメラ４（図１）は、タブレット端末２と例えばＬＡＮケーブルにより接続されており、例えばおでん陳列部１０を撮像しその画像データをタブレット端末２へ送信する。この監視カメラ４は、おでん等の具材の有り高を判別可能な位置に配置されていると共に、具材の有り高を判別可能な解像度を有している。また監視カメラ４は、バーコードが貼り付けられている弁当等が存在する場合、該弁当を拡大して判別可能な解像度を有している。さらに監視カメラ４は、被写体が複数存在する場合、被写体を自動又は制御部２０の指示に基づき切り替える。

サーバ６は、タブレット端末２と例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮで接続されており、タブレット端末２と無線通信を行うと共に、店舗ＳＴ外の所定拠点とネットワークにより接続されており、タブレット端末２から受信した各種情報を蓄積すると共に、該情報を解析する。サーバ６は、図１５に示す玉子日別売上個数表ＴＢ１や図１６に示す玉子時間別売上個数表ＴＢ２を記憶部に保持しており、タブレット端末２からの要求に応じて、売上の予測データである売上予測情報をタブレット端末２へ送信する。

おでん陳列部１０は、図２に示すように具材ＩＧの種類毎に装填エリア１０Ｂが区切られたおでん展示販売ケース１０Ａ内における、装填エリア１０Ｂ毎に、玉子や竹輪等のおでんの具材ＩＧが格納されている。弁当陳列部１２は、弁当ＬＢが種類毎に複数個重なるように並べられており、該弁当ＬＢの容器ＣＬには、弁当ＬＢの種類毎に固有の二次元コードＴＤＣ、バーコードＢＣ及びＲＦＩＤ（Radio Frequency Identifier）タグＴＧが付されている。このように弁当陳列部１２は、ＲＦＩＤタグＴＧが付されたタグ付き商品が、弁当ＬＢの種類毎に複数個並べられている。

無線アンテナ８は、高指向性ＲＦＩＤリーダーであり、例えば弁当陳列部１２におけるタグ付き商品である弁当ＬＢのＲＦＩＤタグＴＧの読み取りが可能となっている。タブレット端末２の制御部２０は、監視カメラ４から受信した弁当陳列部１２の画像データを解析して弁当ＬＢの配置関係を検出しつつ、無線アンテナ８のビームフォーミング機能により弁当ＬＢのＲＦＩＤタグＴＧを読み取ることにより、どの種類の弁当ＬＢが何個陳列されているかを示す陳列状態を特定できる。

［１−２．おでん販売部の構成］
コンビニエンスストアにおいてレジカウンターよりも店員から離隔する側である後方には、おでんが販売されるおでん販売部１０Ｓが設けられている。以下では、おでん販売部１０Ｓのうち店員が対峙する側を前側とし、その反対、すなわち顧客が対峙する側を後側とし、該前側に対峙した店員から見て左、右、上及び下をそれぞれ左側、右側、上側及び下側として説明する。

おでん販売部１０Ｓは、テーブル１０Ｔ、保温装置１０Ｈ、おでん展示販売ケース１０Ａ、蓋部１０Ｃ、タブレット端末２及び熱遮断パネル１０ＨＳを有している。保温装置１０Ｈは、所定の厚みを有する箱型形状であり、左右方向に並んでテーブル１０Ｔに２台載置されてそれぞれ商用電源に接続されており、ヒータによりおでん展示販売ケース１０Ａを加熱する。

おでん展示販売ケース１０Ａは、それぞれ保温装置１０Ｈの上面における、レジカウンターに立つ店員から離隔する後側に載置されており、おでんの各種具材ＩＧを収納する。おでん展示販売ケース１０Ａは、保温装置１０Ｈよりも前後方向の長さが短く形成されている。このため保温装置１０Ｈの上面におけるおでん展示販売ケース１０Ａの前方には、空きスペースが存在している。

蓋部１０Ｃは、おでん展示販売ケース１０Ａを覆うように構成された蓋であり、おでん展示販売ケース１０Ａの上部に置かれることにより、おでん展示販売ケース１０Ａに収納されたおでんの具材を外部から保護する一方、顧客によりおでんの具材が取られる際や店員により具材が補充される際には、おでん展示販売ケース１０Ａから取り外される。監視カメラ４は、蓋部１０Ｃがおでん展示販売ケース１０Ａから取り外された際におでんの画像を撮像する。

タブレット端末２は、保温装置１０Ｈの上面における、レジカウンターにいる店員に近接する前側において、操作表示部２２を店員に向けるように操作表示部２２を正面よりもやや上方に向けて載置されており、例えばＵＳＢ（Universal Serial Bus）ケーブル１０Ｕにより保温装置１０Ｈと接続され、電源を供給される。

熱遮断パネル１０ＨＳは、例えばアルミニウム等により構成された板状部材であり、左右方向の長さがタブレット端末２の左右方向の幅よりも長く形成され、タブレット端末２とおでん展示販売ケース１０Ａとの間において、上下左右に延びるように配置されている。これにより熱遮断パネル１０ＨＳは、保温装置１０Ｈ及びおでん展示販売ケース１０Ａが発生させる熱がタブレット端末２に伝達することを抑止し、タブレット端末２の誤動作を防止している。

［１−３．タブレット端末の機能構成］
ここで、タブレット端末２における後述する装填状態解析処理、補充通知処理及び装填状態通知処理に関係する基本的な機能を機能ブロック図により表すと、図４のようになる。図４において、制御部２０は所定の装填状態解析プログラム、補充通知プログラム及び装填状態通知プログラムを実行することにより、解析手段４０及び通知手段４２の各機能ブロックを実現する。解析手段４０は、監視カメラ４が撮像した撮像画像を解析し具材の装填状態を判別する。通知手段４２は、装填状態の判別結果に応じて具材を補充すべきであることを店員に通知する。

［１−４．装填状態解析処理手順］
次に、タブレット端末２による装填状態解析処理の具体的な処理手順について、図５のフローチャートを用いて説明する。制御部２０は、ＲＯＭから装填状態解析処理プログラムを読み出して実行することにより装填状態解析処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。ステップＳＰ１において制御部２０は、撮像画像の変化の追尾を開始することにより、撮像画像の変化を一定周期で又は常時追尾し、ステップＳＰ２へ移る。

ステップＳＰ２において制御部２０は、おでん陳列部１０が撮像された画像を示す画像データを監視カメラ４から受信し、ステップＳＰ３へ移る。ステップＳＰ３において制御部２０は、ステップＳＰ２において受信した画像データに基づき、おでん陳列部１０が撮像された画像である図８に示す陳列商品撮像画面ＤＩＰを操作表示部２２に表示し、ステップＳＰ４へ移る。なお陳列商品撮像画面ＤＩＰにおいては、おでん展示販売ケース１０Ａは図示するものの、テーブル１０Ｔ、保温装置１０Ｈ、熱遮断パネル１０ＨＳ及びタブレット端末２は図示せず省略する。

ステップＳＰ４において制御部２０は、今回の画像データと前回の画像データとを比較及び解析することにより、おでんのどの具材が顧客に売れて装填個数が減少したか、又は店員により補充されて装填個数が増加したかを検出し、ステップＳＰ５へ移る。ここで、今回の画像データは図８に示す陳列商品撮像画面ＤＩＰであり、前回の画像データは図９に示す陳列商品撮像画面ＤＩＰであるとする。このとき制御部２０は、記憶部２４に予め学習していた図１０に示す玉子形状画像ＩＧＥと、おでん展示販売ケース１０Ａにおける玉子が装填されている装填エリア１０Ｂの位置とに基づき、例えば「玉子が４個売れた」ことを画像解析により自動判断する。因みに初めてステップＳＰ４を処理する際は、前回の画像データは存在しないため、制御部２０はステップＳＰ４をスキップする。

また制御部２０は、監視カメラ４の解像度が低かったり撮影方向が適切ではなかったりする等の要因で、具材ＩＧの現在の装填個数を詳細に画像解析で判別する事ができない場合、おでん展示販売ケース１０Ａの例えば玉子の装填エリア１０Ｂに玉子がどの程度装填されているかある程度判別することにより、補充が必要か、又は補充が必要でないかの２段階で検出する。同様に制御部２０は、店員が具材ＩＧを補充した際、監視カメラ４の解像度が高い場合は、現在の装填個数を画像解析で正確に判別できる一方、監視カメラ４の解像度が低い場合は、現在の装填個数を画像解析で正確には判別できないものの、これ以上補充が必要ない状態まで補充された程度であれば判別できる。

ステップＳＰ５において制御部２０は、ステップＳＰ４において検出した具材毎の装填個数の変化を、記憶部２４に記憶している具材毎装填個数情報に反映させることにより、具材毎装填個数情報を更新し、ステップＳＰ６へ移る。ステップＳＰ６において制御部２０は、例えば、玉子という具材（商品）が何個売れたのか等、具材毎の販売個数を時系列に集計し、記憶部２４に記憶している具材毎販売個数情報に反映させることにより、具材毎販売個数情報を更新し、ステップＳＰ２へ戻る。

このようにタブレット端末２は、おでんの具材が顧客に売れることにより該具材の在庫が減少したことを、陳列商品撮像画面ＤＩＰの画像の変化に基づき定期的に判別し、具材毎の販売個数を時系列に集計するようにした。これによりタブレット端末２は、おでんの具材が売れる度に該具材の在庫がおでん展示販売ケース１０Ａから減少したことを店員が手作業で記録するという煩雑な作業を行わせないようにし、使い勝手を向上させることができる。

またタブレット端末２は、おでんの具材が店員により補充されることにより該具材の在庫が増加したことを、陳列商品撮像画面ＤＩＰの画像の変化に基づき定期的に判別し、具材毎の販売個数を時系列に集計するようにした。これによりタブレット端末２は、おでんの具材が補充される度に該具材の在庫がおでん展示販売ケース１０Ａにおいて増加したことを店員が手作業で記録するという煩雑な作業を行わせないようにし、使い勝手を向上させることができる。

［１−５．補充通知処理手順］
次に、タブレット端末２による補充通知処理の具体的な処理手順について、図６のフローチャートを用いて説明する。制御部２０は、ＲＯＭから補充通知処理プログラムを読み出して実行することにより補充通知処理手順ＲＴ２を開始し、ステップＳＰ１１へ移る。

ステップＳＰ１１において制御部２０は、補充が必要な具材が存在するか否かを上述した装填状態解析処理手順ＲＴ１（図５）における検出結果に基づき判定する。ここで肯定結果が得られると、このことは補充が必要な具材（以下ではこれを補充必要具材とも呼ぶ）が存在することを表し、このとき制御部２０はステップＳＰ１２へ移る。以下では、補充必要具材が玉子であった場合を例として説明する。一方ステップＳＰ１１において否定結果が得られると、このことは全ての具材の装填個数は現在は十分であるため補充を行う必要はないことを表し、このとき制御部２０はステップＳＰ１１へ戻り、補充が必要な具材が現れるまで待ち受ける。

ステップＳＰ１２において制御部２０は、補充必要具材の必要な補充個数が認識できる状態であるか否かを判定する。ここで肯定結果が得られると、このとき制御部２０はステップＳＰ１３へ移る。ステップＳＰ１３において制御部２０は、図１１に示すように、補充必要具材である玉子の装填エリア１０Ｂの画像の上に補充個数通知部５０を重ねて表示させることにより、玉子を４個補充すべきであることを店員に促し、ステップＳＰ１４へ移る。この補充個数通知部５０は、補充すべき具材の種類と補充すべき個数とを文言で表示しており、半透明で表示され、補充必要具材の装填エリア１０Ｂの画像を透過させて店員に視認させている。

ステップＳＰ１４において制御部２０は、補充すべき具材が補充されたと装填状態解析処理手順ＲＴ１（図５）における検出結果に基づき判定する。ここで否定結果が得られると、このことは補充必要具材が未だ店員により補充されていないことを表し、このとき制御部２０は、補充個数通知部５０を陳列商品撮像画面ＤＩＰに表示させたまま、ステップＳＰ１１へ戻る。一方ステップＳＰ１４において肯定結果が得られると、このことは補充必要具材が店員により補充されたことを表し、このとき制御部２０はステップＳＰ１５へ移る。ステップＳＰ１５において制御部２０は、補充個数通知部５０の表示を消去し、ステップＳＰ１１へ戻る。

一方ステップＳＰ１２において否定結果が得られると、このことは、監視カメラ４の解像度が低い等の要因により、補充必要具材の補充が必要であることまでは認識できるものの補充すべき個数までは認識できないことを表し、このとき制御部２０はステップＳＰ１６へ移る。ステップＳＰ１６において制御部２０は、図１２に示すように、補充必要具材である玉子の装填エリア１０Ｂの画像の上に補充通知部５２を重ねて表示させることにより、補充が必要であることを店員に促し、ステップＳＰ１７へ移る。この補充通知部５２は、補充すべき個数までは表示しないものの、補充すべき具材の種類と補充すべきであることとを文言で表示しており、半透明で表示され、補充必要具材の装填エリア１０Ｂの画像を透過させて店員に視認させている。

ステップＳＰ１７において制御部２０は、補充すべき具材が補充されたと装填状態解析処理手順ＲＴ１（図５）における検出結果に基づき判定する。ここで否定結果が得られると、このことは補充必要具材が未だ店員により補充されていないことを表し、このとき制御部２０は、補充通知部５２を陳列商品撮像画面ＤＩＰに表示させたまま、ステップＳＰ１１へ戻る。一方ステップＳＰ１７において肯定結果が得られると、このことは補充必要具材が店員により補充されたことを表し、このとき制御部２０はステップＳＰ１８へ移る。ステップＳＰ１８において制御部２０は、補充通知部５２の表示を消去し、ステップＳＰ１１へ戻る。

このようにタブレット端末２は、装填個数が十分でない具材が存在する場合、該具材の装填エリア１０Ｂの画像に重ねて、補充が必要な個数を補充個数通知部５０として表示するようにした。これによりタブレット端末２は、現状認識している装填状態を表示して店員に確認させる事ができ、補充が必要な商品を指摘し、補充させることを促すことができる。

またタブレット端末２は、装填個数が十分でない具材が存在するものの、装填すべき具体的な個数までは判別できなかった場合、該具材の装填エリア１０Ｂの画像に重ねて、補充が必要であることを補充通知部５２として表示するようにした。これによりタブレット端末２は、補充が必要な商品を指摘し、少なくとも補充自体は必要であることを店員に認識させることができる。

さらにタブレット端末２は、補充が必要な具材の装填エリア１０Ｂの画像に重ねて補充個数通知部５０又は補充通知部５２を表示させるようにしたため、例えば、「玉子４個補充」等の文言を、陳列商品撮像画面ＤＩＰ内部の隅に表示させる場合と比較して、どの具材を補充すべきであるかを一目で店員に認識させることができる。

［１−６．装填状態通知処理手順］
次に、タブレット端末２による装填状態通知処理の具体的な処理手順について、図７のフローチャートを用いて説明する。制御部２０は、ＲＯＭから装填状態通知処理プログラムを読み出して実行することにより装填状態通知処理手順ＲＴ３を開始し、ステップＳＰ２１へ移る。

ステップＳＰ２１において制御部２０は、陳列商品撮像画面ＤＩＰにおけるおでんの所定の具材ＩＧの装填エリア１０Ｂの画像が図１３に示すように店員により押下されるまで待ち受け、押下されると、ステップＳＰ２２へ移る。

ステップＳＰ２２において制御部２０は、ステップＳＰ１１（図６）と同様に、ステップＳＰ２１において店員に選択された具材（以下ではこれを有高確認選択具材とも呼ぶ）が、補充が必要な状態であるか否かを、上述した装填状態解析処理手順ＲＴ１（図５）における検出結果に基づき判定する。以下では、有高確認選択具材として玉子を例として説明する。ここで肯定結果が得られると、このことは、有高確認選択具材の個数は現在は不十分であるため補充を行う必要があることを表し、このとき制御部２０はステップＳＰ２３へ移る。因みに実際には図１３に示したように玉子は４個装填されているため、制御部２０はステップＳＰ２２において否定結果を得る。

ステップＳＰ２３において制御部２０は、ステップＳＰ１２（図６）と同様に、有高確認選択具材の必要な補充個数が認識できる状態であるか否かを判定する。ここで肯定結果が得られると、このとき制御部２０はステップＳＰ２４へ移る。ステップＳＰ２４において制御部２０は、ステップＳＰ１３（図６）と同様に、図１１に示したように、有高確認選択具材である玉子の装填エリア１０Ｂの画像の上に補充個数通知部５０を重ねて表示させることにより、玉子を４個補充すべきであることを店員に促し、ステップＳＰ２５へ移る。

ステップＳＰ２５において制御部２０は、ステップＳＰ１４（図６）と同様に、補充すべき具材が補充されたと装填状態解析処理手順ＲＴ１（図５）における検出結果に基づき判定する。ここで否定結果が得られると、このことは有高確認選択具材が未だ店員により補充されていないことを表し、このとき制御部２０は、補充個数通知部５０を陳列商品撮像画面ＤＩＰに表示させたまま、ステップＳＰ２１へ戻る。一方ステップＳＰ２５において肯定結果が得られると、このことは有高確認選択具材が店員により補充されたことを表し、このとき制御部２０はステップＳＰ２６へ移る。ステップＳＰ２６において制御部２０は、ステップＳＰ１５（図６）と同様に、補充個数通知部５０の表示を消去し、ステップＳＰ２１へ戻る。

一方ステップＳＰ２３において否定結果が得られると、このことは、監視カメラ４の解像度が低い等の要因により、有高確認選択具材の補充が必要であることまでは認識できるものの補充すべき個数までは認識できないことを表し、このとき制御部２０はステップＳＰ２７へ移る。ステップＳＰ２７において制御部２０は、ステップＳＰ１６（図６）と同様に、図１２に示したように、有高確認選択具材である玉子の装填エリア１０Ｂの画像の上に補充通知部５２を重ねて表示させることにより、補充が必要であることを店員に促し、ステップＳＰ２８へ移る。

ステップＳＰ２８において制御部２０は、ステップＳＰ１７（図６）と同様に、補充すべき具材が補充されたと装填状態解析処理手順ＲＴ１（図５）における検出結果に基づき判定する。ここで否定結果が得られると、このことは有高確認選択具材が未だ店員により補充されていないことを表し、このとき制御部２０は、補充通知部５２を陳列商品撮像画面ＤＩＰに表示させたまま、ステップＳＰ２１へ戻る。一方ステップＳＰ２８において肯定結果が得られると、このことは有高確認選択具材が店員により補充されたことを表し、このとき制御部２０はステップＳＰ２９へ移る。ステップＳＰ２９において制御部２０は、ステップＳＰ１８（図６）と同様に、補充通知部５２の表示を消去し、ステップＳＰ２１へ戻る。

一方ステップＳＰ２２において否定結果が得られると、このことは、有高確認選択具材の装填個数は現在は十分であるため補充を行う必要はないことを表し、このとき制御部２０はステップＳＰ３０へ移る。ステップＳＰ３０において制御部２０は、図１４に示すような装填個数充足通知部５４を陳列商品撮像画面ＤＩＰに重ねて表示させ、ステップＳＰ３１へ移る。この装填個数充足通知部５４は、有高確認選択具材の名前と、現在の装填個数と、装填個数が十分であることを文言で表示している。ステップＳＰ３１において制御部２０は、装填個数充足通知部５４を表示させてから一定時間経過後に装填個数充足通知部５４の表示を消去し、ステップＳＰ２１へ戻り、おでんの所定の具材の画像が店員により押下されるまで待ち受ける。

このようにタブレット端末２は、店員により画像が押下され選択された具材の個数が十分でない場合、該具材の装填エリア１０Ｂの画像に重ねて、補充が必要な個数を補充個数通知部５０として表示するようにした。これによりタブレット端末２は、現状認識している装填状態を表示して店員に確認させる事ができ、補充が必要な商品を指摘し、補充させることを促すことができる。

またタブレット端末２は、補充が必要な具材の装填エリア１０Ｂの画像に重ねて、補充個数通知部５０又は補充通知部５２を表示させるようにしたため、例えば、「玉子４個補充」等の文言を、陳列商品撮像画面ＤＩＰ内部の隅に表示させる場合と比較して、どの具材を補充すべきであるかを一目で店員に認識させることができる。

またタブレット端末２は、装填個数充足通知部５４を表示させた後に、所定時間が経過すると、該装填個数充足通知部５４の表示を自動的に消去するようにした。これによりタブレット端末２は、装填個数充足通知部５４を店員が手作業で消すという煩雑な作業を行わせないようにし、使い勝手を向上させることができる。

［１−７．補充予測方法］
ここで、サーバ６が行う売上予測には、当日の売上げ合計である当日売上合計と、１日のうちの時間別の売上げ合計である時間別売上合計との２種類が存在する。店舗が２４時間営業である場合、時間別売上合計を１日分だけ合計すると、１日の売上げ合計となる。サーバ６は、前年以前の売上げ個数を参考に統計手法を用いて当日売上合計及び時間別売上合計の予測を行う。またサーバ６は、予測した売上の情報である売上予測情報をタブレット端末２へ送信する。

［１−７−１．当日売上合計の予測方法］
図１５における玉子日別売上個数表ＴＢ１に、玉子の場合の日別の売上個数を示す。この玉子日別売上個数表ＴＢ１においては、例えば２０１５年１月１日の売上個数である７０個は、２０１５年１月１日の０：００〜２３：５９に玉子が合計で７０個売れたことを表している。サーバ６は、過去のデータである２０１５年、２０１６年及び２０１７年の１月１日の売上個数である７０個、６０個及び７０個に基づき、例えばホルトウィンタース法等の一般的な統計手法を用いて、２０１８年１月１日の玉子の売上個数を６２個と予測する。同様にサーバ６は、２０１８年の１月２日と１月３日等、他の日付についても、過去の年の同じ日付の日のデータに基づき予測する。

［１−７−２．時間別売上合計の予測方法］
図１６における玉子時間別売上個数表ＴＢ２に、玉子の場合の時間別の売上個数を示す。この玉子時間別売上個数表ＴＢ２においては、例えば２０１５年の０：００〜０：５９の売上個数である５個は、２０１５年の１月１日〜１２月３１日の０：００〜０：５９に売れた玉子の個数の１日あたりの平均値を表している。サーバ６は、例えば２０１８年の０：００〜０：５９の玉子の売上を予測する場合、過去のデータである２０１５年、２０１６年及び２０１７年の０：００〜０：５９の売上個数である５個、１個及び４個に基づき、例えばホルトウィンタース法等の一般的な統計手法を用いて、予測欄ＰＤにおける５個と予測する。同様にサーバ６は、２０１８年の１：００〜１：５９と２：００〜２：５９等、他の時間帯についても、過去の年の同じ時間帯のデータに基づき予測する。

［１−８．補充が必要か否かの判断及び予測について］
例えば玉子は冷蔵庫から取り出されて顧客に提供可能となるまでに、つゆの味の浸透や保温時間に２時間必要であるとする。そして、現在の時間が２０１７年１２月３１日の２２：００である場合、２時間後の２０１８年１年１日の０：００においては予測欄ＰＤに基づき５個売れることが判明しているため、２０１７年１２月３１日の２２：００時点で在庫である装填個数を５個以上確保する必要がある。この２２：００時点で装填個数が５個未満か、又は監視カメラ４が低解像度であるため玉子の大まかな量しか判別できない場合、タブレット端末２は、玉子が満杯である７個になるように店員に補充を促す。これによりタブレット端末２は、２０１８年１年１日の０：００には、必要十分な個数の玉子を顧客に提供できるように完成させることができる。

［１−９．効果等］
以上の構成において在庫監視システム１は、店員の目の届く場所にタブレット端末２を設置して該タブレット端末２に陳列商品の画像を表示し、監視カメラ４により撮像されたおでん陳列部１０の画像データを逐一画像解析し、具材に対して予め保温等が必要な準備時間を加味して補充が必要なタイミングを計算し、商品の在庫である具材の装填個数が少ないと判断した場合、店員に操作されていなくても自動的に店員に通知するようにした。これにより在庫監視システム１は、商品の提供準備を予め適切に行わせることができると共に、商品の販売機会を逸しないようにできる。

また在庫監視システム１は、画像解析結果に基づき、具材毎の販売個数を時系列に集計するようにした。このため在庫監視システム１は、店員による販売個数の入力間違い等を防止しつつ、具材毎の販売個数の管理を精度高く行うことができる。

さらに在庫監視システム１は、陳列商品撮像画面ＤＩＰにおける、補充が必要な具材の装填エリア１０Ｂの画像に位置を合わせて重畳させるように補充個数通知部５０及び補充通知部５２を表示させるようにした。これにより在庫監視システム１は、補充すべき具材の種類を一目で店員に認識させることができる。

さらに在庫監視システム１は、監視カメラ４により撮像されたおでん陳列部１０の画像データを画像解析することにより、商品の装填個数の増減を検出するようにした。これにより在庫監視システム１は、商品を補充したか販売したかを店員が手入力等する必要をなくし、煩雑な作業をなくすことができる。

ここで、例えばコンビニエンスストアでおでんを販売するとき、具材に汁を染みこませるために、一定の時間（２時間等）を要する。ある時間帯におでんの売上げのピークを迎えるとき、ピークよりも前に予め具材の在庫を十分補充しておかなければ、欠品が発生し機会損失が発生してしまう。

これに対し在庫監視システム１は、画像処理により具材の売上げ管理を自動的に行い、ピーク時間に欠品が発生しそうな具材を警告して、店員に補充を促すようにした。このため在庫監視システム１は、ピーク時間までに具材が完成している状態にでき、機会損失を発生させないようにできる。また在庫監視システム１は、補充が不要な商品に対しては補充を促さないようにした。このため在庫監視システム１は、汁が具材に過剰に染み込み過ぎたり、長時間保温をされて具材が劣化したりしてしまうことを防止できる。

また具材の売上げ管理は、今まで通りＰＯＳレジで行う事が可能であるが、おでん具材等は週単位の冷凍食品一括発注となるため、その週にどの程度の売上げがあるのか、事前に予測が必要である。このため、根拠の無い適当な予測を行うと仕入れと売上げの収支バランスが崩れ、欠品や棚卸しが発生し損失が発生してしまう。

これに対し在庫監視システム１は、具材の収支を自動計算するようにした。このため在庫監視システム１は、当日の売上げ数を蓄積する事ができる。また在庫監視システム１は、前年以前のデータを利用する事により、ホルトウィンタース法等で週単位の発注数を根拠を持って予測する事ができる。このように在庫監視システム１は、過去実績から自動予測を行う事により、正確な予測が可能となり、欠品や棚卸しを防ぐことができる。

さらに在庫監視システム１は、保温装置１０Ｈの上面におけるおでん展示販売ケース１０Ａの前方の空きスペースにタブレット端末２を配置させるようにした。このため在庫監視システム１は、限られたスペースである店舗ＳＴ内において、店員が視認しやすく且つ顧客に対しては目立ちにくい場所である、保温装置１０Ｈの上面におけるおでん展示販売ケース１０Ａの前方の空きスペースを有効活用できる。

また、特に所謂稼ぎ時である昼食の時間帯においては、例えばコンビニエンスストアの店舗内のバックヤードには弁当ＬＢが大量に蓄えられているにも関わらず、店員が弁当陳列部１２にバックヤードから弁当ＬＢを補充しなかったがために、弁当陳列部１２に弁当ＬＢが陳列されてなかったり、少量の個数しか陳列されていなかったりする状態になってしまう場合がある。このような場合、陳列されていない種類の弁当ＬＢは顧客が購入することができないと共に、少量の個数しか陳列されていない弁当ＬＢは、顧客が心理的に購入を見送る傾向にある。このため、短い昼食の時間帯にリアルタイムに弁当ＬＢを適切に弁当陳列部１２に補充しないことは、極めて大きな機会損失になってしまう。

これに対し在庫監視システム１は、弁当陳列部１２の弁当ＬＢを監視し、陳列されている在庫数が少なくなった種類の弁当ＬＢが存在する場合に、弁当陳列部１２の画像における補充すべき種類の弁当ＬＢの画像に重ねて、補充すべきであることを即時に操作表示部２２に表示させることにより、機会損失を防ぐことができる。

以上の構成によれば在庫監視システム１は、監視対象としてのおでん陳列部１０の具材ＩＧを撮像する監視カメラ４と、監視カメラ４が撮像した撮像画像を解析し具材ＩＧの装填状態を判別する解析手段４０と、装填状態の判別結果に応じて具材ＩＧを補充すべきであることを使用者としての店員に通知する通知手段４２とを設けるようにした。

これにより在庫監視システム１は、おでん陳列部１０の撮像画像に基づき、具材を補充すべきであることを店員の操作がなくとも自動的に店員に通知し、具材を販売するタイミングに合わせて店員に具材を補充させ提供準備を行わせることができる。

［２．他の実施の形態］
なお上述した実施の形態においては、具材の装填個数が現在は不十分であり、且つ具材の必要な補充個数が認識できる状態である場合、補充個数通知部５０に補充個数を表示させる場合について述べた。本発明はこれに限らず、補充個数までは表示させずに、補充が必要であることのみを単に表示させても良い。また、補充が必要な具材の装填エリア１０Ｂをフリック（点滅）表示させても良い。

また上述した実施の形態においては、補充が必要な具材の装填エリア１０Ｂの画像に位置を合わせて重ねるように補充個数通知部５０及び補充通知部５２を表示させる場合について述べた。本発明はこれに限らず、補充が必要な具材の装填エリア１０Ｂの画像を指し示すように、例えばふきだし等を表示させ、該ふきだし内部に文言を表示させても良い。要は、補充すべき具材の種類を一目で店員が認識できるような表示形態であれば良い。また、補充個数通知部５０及び補充通知部５２を、補充が必要な具材の装填エリア１０Ｂの画像に位置を合わせずに、例えば陳列商品撮像画面ＤＩＰ内部の隅等、種々の位置に表示させても良い。

さらに上述した実施の形態においては、補充個数通知部５０を操作表示部２２上に表示させる場合について述べた。本発明はこれに限らず、補充すべき具材の種類と補充すべき個数とを音声で出力しても良い。補充通知部５２においても同様に、補充すべき具材の種類と補充すべきであることとを音声で出力しても良い。また、補充すべき具材の種類と補充すべき個数との何れか一方を操作表示部２２上に表示させ、他方を音声で出力しても良い。補充通知部５２においても同様である。また、補充個数通知部５０又は補充通知部５２を操作表示部２２に表示させてから所定時間が経過したら、音声を出力して店員に通知しても良い。

さらに上述した実施の形態においては、補充すべき具材の種類と補充すべき個数とを補充個数通知部５０に表示させる場合について述べた。本発明はこれに限らず、補充すべき具材の装填エリア１０Ｂに位置を合わせた上で、補充すべき具材の種類は表示させずに、補充すべき個数のみを補充個数通知部５０に表示させても良い。補充通知部５２についても同様に、補充すべきであることのみを表示させても良い。

さらに上述した実施の形態においては、補充すべき具材の種類と補充すべき個数とを文言で補充個数通知部５０に表示させる場合について述べた。本発明はこれに限らず、例えば玉子を４個並べて表示させる等、補充すべき具材の種類と個数との両方又は種類のみを文言でなく写真等の画像で表示させても良い。補充通知部５２についても同様である。

さらに上述した実施の形態においては、タブレット端末２が画像解析を行うと共に、サーバ６から売上予測情報を受信し、該売上予測情報と画像解析結果とに基づき補充個数通知部５０又は補充通知部５２を表示させ、装填状態の判別を行う場合について述べた。本発明はこれに限らず、タブレット端末２が撮像画像をサーバ６へ送信してサーバ６が画像解析と装填状態の判別を行い識別結果をタブレット端末２へ送信したり、タブレット端末２の制御部２０単体では実施できない複雑な画像解析をサーバ６が補助したりする等、タブレット端末２とサーバ６とで、任意に処理を分担しても良い。すなわち、解析手段４０は、上述したようにタブレット端末２のみが有していても良く、また、サーバ６のみや、タブレット端末２及びサーバ６の両方が有していても良い。

さらに上述した実施の形態においては、玉子形状画像ＩＧＥと、おでん展示販売ケース１０Ａにおける玉子が装填されている装填エリア１０Ｂの位置とに基づき、玉子が増加又は減少したかを画像解析により判断する場合について述べた。本発明はこれに限らず、例えば、おでん展示販売ケース１０Ａ全体の画像を逐一比較して、それぞれの具材が存在するか又はしないか程度を判断しても良い。

さらに上述した実施の形態においては、おでん陳列部１０を撮像した画像データに基づき解析を行う場合について述べた。本発明はこれに限らず、肉まん陳列棚、惣菜陳列棚、唐揚げ陳列棚、野菜陳列棚や果物陳列棚等、実物そのものの画像を画像解析し個数を判別可能な種々の商品を撮像した画像データに基づき解析を行っても良い。

また、監視カメラ４の解像度が高い場合、弁当全体の画像解析を行うのではなく、弁当に付された二次元コードＴＤＣやバーコードＢＣを画像解析することにより商品を特定し、在庫を管理しても良い。この場合、弁当箱そのものの画像を予め学習しておく必要なく、商品を特定できる。その場合、菓子やパン等、所定の包装紙に包まれている商品や、弁当等、所定の容器に収納されている商品の場合、包装紙や容器に二次元コードやバーコードを付しておけば良い。

さらに上述した実施の形態においては、２台のおでん展示販売ケース１０Ａを監視する場合について述べた。本発明はこれに限らず、１台又は３台以上の任意の個数のおでん展示販売ケース１０Ａや、例えば１台のおでん展示販売ケース１０Ａと１台の揚げ物陳列棚等を組み合わせ、複数箇所を同時に監視しても良い。

さらに上述した実施の形態においては、監視カメラ４が撮像した画像データを解析する共に該画像データに基づく陳列商品撮像画面ＤＩＰに重ねて補充個数通知部５０及び補充通知部５２を表示させる場合について述べた。本発明はこれに限らず、タブレット端末２自身がカメラ部により撮像した画像データを解析する共に該画像データに基づく陳列商品撮像画面ＤＩＰに重ねて補充個数通知部５０及び補充通知部５２を表示させても良い。

さらに保温装置１０Ｈは、上面に載置された物体の重量を測定しても良い。その場合、おでん展示販売ケース１０Ａと具材との重量を測定できるため、画像解析により判定した装填個数の増減と、測定重量の増減とを比較することにより、装填個数の判別精度を向上させることができると共に、具材毎の販売個数の算出精度を向上させることができる。

さらに上述した実施の形態においては、熱遮断パネル１０ＨＳをアルミニウムにより構成する場合について述べた。本発明はこれに限らず、熱遮断パネル１０ＨＳを他の種々の素材により構成しても良い。

さらに上述した実施の形態においては、タブレット端末２とおでん展示販売ケース１０Ａとの間に熱遮断パネル１０ＨＳを配置する場合について述べた。本発明はこれに限らず、保温装置１０Ｈ及びおでん展示販売ケース１０Ａが発生させる熱がタブレット端末２の動作に影響しない場合、熱遮断パネル１０ＨＳは省略しても良い。

さらに上述した実施の形態においては、制御部と操作部と表示部とが一体化されたタブレット端末２を設ける場合について述べた。本発明はこれに限らず、制御部と操作部と表示部とが別個の、例えばパーソナルコンピュータとマウスとディスプレイとを設け、該ディスプレイを、保温装置１０Ｈの上面における前側に配置し、パーソナルコンピュータとマウスとを、レジカウンター周辺に配置しても良い。

さらに上述した実施の形態においては、保温装置１０Ｈの上面における前側にタブレット端末２を配置する場合について述べた。本発明はこれに限らず、レジカウンターの上等、他の種々の場所にタブレット端末２を配置させても良い。その場合タブレット端末２は、レジカウンター前に立った状態の店員が視認しやすい位置に配置されていることが好ましい。

さらに上述した実施の形態においては、店舗ＳＴに１台の監視カメラ４が配置される場合について述べた。本発明はこれに限らず、店舗ＳＴに２台以上の任意の台数の監視カメラ４が配置されても良い。その場合、タブレット端末２は、複数台の監視カメラ４から受信した画像データを、所定時間間隔で切り替えながら操作表示部２２に表示すれば良い。また、複数台のタブレット端末２を設けても良い。

さらに上述した実施の形態においては、サーバ６は店舗ＳＴ内部に配置される場合について述べた。本発明はこれに限らず、サーバ６は店舗ＳＴ外部に配置されても良い。その場合、サーバ６は、複数の拠点にあるタブレット端末２の情報を一括で収集しても良い。

さらに上述した実施の形態においては、サーバ６とタブレット端末２とが無線ＬＡＮで接続される場合について述べた。本発明はこれに限らず、サーバ６とタブレット端末２とは有線のＬＡＮケーブル等、種々の通信手段により接続されても良い。

さらに上述した実施の形態においては、監視カメラ４とタブレット端末２とがＬＡＮケーブルにより接続される場合について述べた。本発明はこれに限らず、監視カメラ４とタブレット端末２とはＵＳＢケーブルや無線ＬＡＮ等、種々の通信手段により接続されても良い。

さらに上述した実施の形態においては、撮像手段としての監視カメラ４と、解析手段としての解析手段４０と、通知手段としての通知手段４２とによって、在庫監視システムとしての在庫監視システム１を構成する場合について述べた。しかしながら本発明はこれに限らず、その他種々の構成でなる撮像手段と、解析手段と、通知手段とによって、在庫監視システムを構成しても良い。

本発明は、カメラで撮影可能な種々の商品を撮像した画像データに基づき解析を行う種々のシステムでも利用できる。

１……在庫監視システム、２……タブレット端末、４……監視カメラ、６……サーバ、８……無線アンテナ、１０……おでん陳列部、１０Ｓ……おでん販売部、１０Ａ……おでん展示販売ケース、１０Ｂ……装填エリア、１０Ｔ……テーブル、１０Ｈ……保温装置、１０Ｃ……蓋部、１０ＨＳ……熱遮断パネル、１０Ｕ……ＵＳＢケーブル、１２……弁当陳列部、２０……制御部、２２……操作表示部、２４……記憶部、２６……カメラ通信部、２８……サーバ通信部、４０……解析手段、４２……通知手段、５０……補充個数通知部、５２……補充通知部、５４……装填個数充足通知部、ＳＴ……店舗、ＤＩＰ……陳列商品撮像画面、ＩＧＥ……玉子形状画像、ＬＢ……弁当、ＣＬ……容器、ＴＤＣ……二次元コード、ＢＣ……バーコード、ＴＧ……ＲＦＩＤタグ、ＴＢ１……玉子日別売上個数表、ＴＢ２……玉子時間別売上個数表、ＰＤ……予測欄。

Claims (12)

1. 監視対象を撮像する撮像手段と、
   前記撮像手段が撮像した撮像画像を解析し前記監視対象の装填状態を判別する解析手段と、
   前記装填状態の判別結果に応じて前記監視対象を補充すべきであることを使用者に通知する通知手段と
   を有する在庫監視システム。
2. 前記通知手段は、前記撮像画像を表示すると共に、前記監視対象を補充すべきであることを前記撮像画像に重畳して表示する
   請求項１に記載の在庫監視システム。
3. 前記通知手段は、前記撮像画像における、補充すべき前記監視対象の位置を明示し、前記監視対象を補充すべきであることを表示する
   請求項２に記載の在庫監視システム。
4. 前記通知手段は、前記撮像画像における、補充すべき前記監視対象の位置に、前記監視対象を補充すべきであることを表示する
   請求項３に記載の在庫監視システム。
5. 前記通知手段は、前記監視対象を補充すべき個数を前記使用者に通知する
   請求項１に記載の在庫監視システム。
6. 前記通知手段は、前記使用者の操作によらずに、前記監視対象を補充すべきであることを前記使用者に通知する
   請求項１に記載の在庫監視システム。
7. 前記通知手段は、前記監視対象となる商品を提供可能となる状態までに要する準備時間に応じて、提供すべき時間から前記準備時間の分だけ前もって前記使用者に通知を行う
   請求項１に記載の在庫監視システム。
8. 前記通知手段は、前記監視対象となる商品を提供可能となる状態までに要する準備時間が必要ない場合、即時に前記使用者に通知を行う
   請求項１に記載の在庫監視システム。
9. 前記監視対象は、店舗に配置された商品である
   請求項１に記載の在庫監視システム。
10. 前記監視対象は、店舗において商品の種類毎に区別されて配置された商品である
    請求項９に記載の在庫監視システム。
11. 前記解析手段及び前記通知手段は、情報処理端末に配置される
    請求項１に記載の在庫監視システム。
12. 前記解析手段は、サーバに配置され、
    前記通知手段は、情報処理端末に配置される
    請求項１に記載の在庫監視システム。

Images