JP2018147138A - Information processing system, information processing apparatus, information processing method, and information processing program - Google Patents
Information processing system, information processing apparatus, information processing method, and information processing program Download PDFInfo
- Publication number
- JP2018147138A JP2018147138A JP2017040120A JP2017040120A JP2018147138A JP 2018147138 A JP2018147138 A JP 2018147138A JP 2017040120 A JP2017040120 A JP 2017040120A JP 2017040120 A JP2017040120 A JP 2017040120A JP 2018147138 A JP2018147138 A JP 2018147138A
- Authority
- JP
- Japan
- Prior art keywords
- product
- information processing
- imaging
- unit
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000032258 transport Effects 0.000 description 70
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing system, an information processing apparatus, an information processing method, and an information processing program.
上記技術分野において、特許文献1には、状態監視エリアの商品の陳列不足状態を判定し、状態監視エリアごとに商品の不足程度に応じ陳列状態表示画像を陳列エリアの映像上に重畳する技術が開示されている。 In the above technical field, Patent Document 1 discloses a technique for determining an insufficient display state of a product in a state monitoring area and superimposing a display state display image on a video in the display area according to the shortage of the product for each state monitoring area. It is disclosed.
しかしながら、上記文献に記載の技術では、より効率的に商品管理をすることができなかった。 However, the techniques described in the above documents cannot manage the products more efficiently.
本発明の目的は、上述の課題を解決する技術を提供することにある。 The objective of this invention is providing the technique which solves the above-mentioned subject.
上記目的を達成するため、本発明に係る情報処理システムは、
商品棚を撮像する少なくとも1つの撮像手段と、
前記撮像手段を移動させる移動手段と、
前記撮像手段が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品をバックルームから店舗内に搬送する搬送手段と、
を備えた。
In order to achieve the above object, an information processing system according to the present invention provides:
At least one imaging means for imaging the product shelf;
Moving means for moving the imaging means;
Based on the image of the product shelf imaged by the imaging unit, a shortage detection unit that detects a product shortage,
Transport means for transporting the shortage product detected by the shortage detection means from the back room into the store;
Equipped with.
上記目的を達成するため、本発明に係る情報処理装置は、
商品棚を撮像する少なくとも1つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御手段と、
前記撮像手段が撮像した画像を取得する画像取得手段と、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品に関する情報を報知する報知手段と、
を備えた。
In order to achieve the above object, an information processing apparatus according to the present invention provides:
Control means for controlling imaging of at least one imaging means for imaging a commodity shelf and moving means for moving the imaging means;
Image acquisition means for acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection means for detecting a missing item of the product,
An informing means for informing information on the out-of-stock product detected by the out-of-stock detecting means;
Equipped with.
上記目的を達成するため、本発明に係る情報処理方法は、
商品棚を撮像する少なくとも1つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御ステップと、
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
を含む。
In order to achieve the above object, an information processing method according to the present invention includes:
A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
including.
上記目的を達成するため、本発明に係る情報処理プログラムは、
商品棚を撮像する少なくとも1つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御ステップと、
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
をコンピュータに実行させる。
In order to achieve the above object, an information processing program according to the present invention provides:
A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
Is executed on the computer.
本発明によれば、より効率的に商品管理をすることができる。 According to the present invention, merchandise can be managed more efficiently.
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be exemplarily described in detail with reference to the drawings. However, the configuration, numerical values, process flow, functional elements, and the like described in the following embodiments are merely examples, and modifications and changes are free, and the technical scope of the present invention is described in the following description. It is not intended to be limited.
[第1実施形態]
本発明の第1実施形態としての情報処理システム100について、図1を用いて説明する。情報処理システム100は、商品の欠品を検知して、欠品商品を店舗内に搬送するシステムである。
[First Embodiment]
An
図1に示すように、情報処理システム100は、撮像部101と、移動部102と、欠品検知部103と、搬送部104と、を含む。
As illustrated in FIG. 1, the
撮像部101は、商品棚を撮像する。また、撮像部101は、少なくとも1つある。移動部102は、撮像部101を移動させる。欠品検知部103は、撮像部101が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する。搬送部104は、欠品検知部103が検知した欠品商品をバックルームから店舗内に搬送する。
The
本実施形態によれば、より効率的に商品管理をすることができる。 According to this embodiment, merchandise can be managed more efficiently.
[第2実施形態]
次に本発明の第2実施形態に係る情報処理システムについて、図2A乃至図6を用いて説明する。図2Aは、本実施形態に係る情報処理システム200の概略を説明する図である。図2Bは、本実施形態に係る情報処理システム200における売場の概略を説明する図である。図2Cは、本実施形態に係る情報処理システム200におけるバックルームの概略を説明する図である。
[Second Embodiment]
Next, an information processing system according to a second embodiment of the present invention will be described with reference to FIGS. 2A to 6. FIG. 2A is a diagram illustrating an outline of the
情報処理システム200は、例えば、コンビニエンスストアやスパーマーケットなどにおいて、商品棚の欠品商品を検知して、バックルームに保管されている在庫商品を売場まで搬送するシステムである。
The
情報処理システム200は、カメラ201、情報処理装置203および搬送ロボット204を備える。カメラ201は、店舗内を移動して売場220の商品棚221を撮像する。そして、カメラ201で撮像した商品棚221の画像は情報処理装置203へ送られる。なお、カメラ201は、店舗の天井に設置されたレール211により店舗内を移動可能となっている。また、ここでは、カメラ201が1台の例を用いて説明をするが、カメラ201は複数台であってもよい。さらに、ここでは、カメラ201は、水平方向(XY方向)に移動する例で説明をするが、例えば、垂直方向(Z方向)に移動可能であってもよい。
The
情報処理装置203は、カメラ201から送られた商品棚221の画像に基づいて、商品の欠品を検知する。そして、検知した欠品商品223に関する情報をバックルーム230の搬送ロボット204に報知する。なお、欠品商品223に関する情報の報知先は、搬送ロボット204には限られず、例えば、バックルーム230に設置された表示ディスプレイ233に表示して、バックルーム230の店員232に知らせてもよい。なお、表示ディスプレイ233は、搬送ロボット204に設けてもよい。
The
また、情報処理装置203は、カメラ201による撮像やカメラ201の移動を制御する。なお、カメラ201が、例えば、自律制御型のカメラであれば、情報処理装置203による制御は不要となる。
Further, the
そして、欠品商品223に関する情報を報知された搬送ロボット204は、商品棚231から欠品商品223を取り出し、搬送ロボット204に載せて、売場220(店舗内)に搬送する。なお、バックルーム230の店員232に欠品商品223に関する情報を報知した場合には、店員232が欠品商品223を商品棚231から取り出して、搬送ロボット204に載せてもよい。
Then, the
搬送ロボット204は、自動で、売場220内の目的地まで走行し、欠品商品223を棚まで搬送する。そして、売場220の店員222は、搬送された欠品商品223を商品棚221に陳列する。なお、例えば、搬送ロボット204に商品供給用のアームを設けて、搬送ロボット204が自動的に商品棚221に欠品商品223を供給するようにしてもよい。
The
図3は、本実施形態に係る情報処理システム200の構成を示すブロック図である。情報処理システム200は、撮像部301、移動部302、情報処理装置203および搬送部304を備える。
FIG. 3 is a block diagram illustrating a configuration of the
撮像部301は、例えば、カメラ201などであり、店舗内を移動して商品棚221を撮像する。撮像部301は、撮像した商品棚221の画像を情報処理装置203へと送信する。なお、撮像部301が撮像する画像は静止画であるが、動画であってもよい。
The
移動部302は、例えば、レール211などを含む。移動部302は、例えば、滑車などを含むアタッチメントをさらに含み、撮像部301は、このアタッチメントを介してレール211に取り付けられ、店舗内を移動できるようになっている。
The moving
情報処理装置203は、欠品検知部331、制御部332および報知部333を有する。欠品検知部331は、撮像部301から受信した商品棚221の画像に基づいて、欠品した商品を検知する。
The
制御部332は、所定のタイミングで、撮像部301による撮像や、移動部302による撮像部301の移動を制御する。
The
報知部333は、欠品検知部331が検知した欠品商品223に関する情報、例えば、商品名や商品の型番、商品の写真、商品が保管されている場所などを搬送部304に報知する。
The
搬送部304は、欠品商品223を搬送する自走型のロボットであり、例えば、搬送ロボット204である。そして、搬送部304は、供給部341と表示部342とを有する。供給部341は、搬送部304に載せた欠品商品223を商品棚221に陳列するために、供給する。供給部341は、例えば、搬送部304に載せた欠品商品223を掴んで、搬送部304から商品棚221に移動するアームなどである。または、供給部341は、板状の部材であり、板の上に欠品商品223を載せて、欠品商品223を商品棚221に滑り込ませるように供給するものなどであってもよく、欠品商品223を商品棚221に供給可能なものであればこれらには限定されない。
The
表示部342は、情報処理装置203の報知部333から報知された欠品商品223に関する情報を表示する。表示部342は、例えば、モニターやディスプレイなどである。なお、表示部342に欠品商品223に関する情報を表示するとともに、音や光などを発してもよい。これにより、欠品商品223が報知されたことを店員232に対しても報知することができる。
The
図4は、本実施形態に係る情報処理システムに含まれる情報処理装置203の備える商品テーブル401の一例を示す図である。商品テーブル401は、商品ID(Identifier)411に関連付けて在庫状況412および棚番号413を記憶する。商品ID411は、商品を識別するための識別子である。在庫状況412は、商品の在庫があるか否かを示す。棚番号413は、商品が、売場220の商品棚221のどこに陳列されるか、およびバックルーム230の商品棚231のどの場所に保管してあるかを示す。情報処理装置203は、例えば、商品テーブル401を参照して、欠品商品223を補充する。
FIG. 4 is a diagram illustrating an example of a product table 401 included in the
図5は、本実施形態に係る情報処理システムに含まれる情報処理装置203のハードウェア構成を説明するブロック図である。CPU(Central Processing Unit)510は、演算制御用のプロセッサであり、プログラムを実行することで図3の情報処理装置203の機能構成部を実現する。CPU510は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROM(Read Only Memory)520は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース530は、ネットワークを介して他の装置などと通信する。なお、CPU510は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース530は、CPU510とは独立したCPUを有して、RAM(Random Access Memory)540の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM540とストレージ550との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、入出力インタフェース560は、CPU510とは独立したCPUを有して、RAM540の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、CPU510は、RAM540にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU510は、処理結果をRAM540に準備し、後の送信あるいは転送はネットワークインタフェース530やDMAC、あるいは入出力インタフェース560に任せる。
FIG. 5 is a block diagram illustrating a hardware configuration of the
RAM540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。棚画像541は、カメラ201で撮像した店舗内の売場220にある商品棚221を撮像した画像である。検知欠品商品542は、カメラ201で撮像した商品棚221の画像に基づいて、検知した欠品商品223である。商品ID543は、店舗内の売場220で販売している商品やバックルーム230に保管されている商品などを識別するためのデータである。棚番号545は、商品が、売場220の商品棚221のどの位置に陳列されているか、あるいは、バックルーム230の商品棚231のどの位置に保管されているかを示すデータである。これらのデータは、例えば、商品テーブル401から展開される。
The
入出力データ546は、入出力インタフェース560を介して入出力されるデータである。送受信データ547は、ネットワークインタフェース530を介して送受信されるデータである。また、RAM540は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域548を有する。
The input /
ストレージ550には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ550は、商品テーブル401を格納する。商品テーブル401は、図4に示した、商品ID411と、在庫状況412や棚番号413などとの関係を管理するテーブルである。
The
ストレージ550は、さらに、欠品検知モジュール551、制御モジュール552および報知モジュール553を格納する。
The
欠品検知モジュール551は、カメラ201で撮像した商品棚221の画像に基づいて、商品の欠品を検知するモジュールである。制御モジュール552は、カメラ201による撮像や、カメラ201の移動を制御するモジュールである。報知モジュール553は、欠品商品223に関する情報を搬送部304などに報知するモジュールである。これらのモジュール551〜553は、CPU510によりRAM540のアプリケーション実行領域548に読み出され、実行される。制御プログラム554は、情報処理装置203の全体を制御するためのプログラムである。
The missing
入出力インタフェース560は、入出力機器との入出力データをインタフェースする。入出力インタフェース560には、表示部561、操作部562、が接続される。また、入出力インタフェース560には、さらに、記憶媒体564が接続されてもよい。さらに、音声出力部であるスピーカ563や、音声入力部であるマイク(図示せず)、あるいは、GPS位置判定部が接続されてもよい。なお、図5に示したRAM540やストレージ550には、情報処理装置203が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
The input /
図6は、本実施形態に係る情報処理システム200の情報処理装置203の処理手順を説明するフローチャートである。このフローチャートは、図5のCPU510がRAM540を使用して実行し、図3の情報処理装置203の機能構成部を実現する。
FIG. 6 is a flowchart for explaining the processing procedure of the
ステップS601において、情報処理装置203は、撮像部301の移動および撮像を制御して、撮像部301に売場220の商品棚221の画像を撮像させる。ステップS603において、情報処理装置203は、撮像部301から商品棚221の画像を取得する。ステップS605において、情報処理装置203は、取得した商品棚221の画像に基づいて、商品の欠品を検知する。ステップS607において、情報処理装置203は、例えば、搬送部304に対して、欠品商品223に関する情報を報知する。ステップS609において、情報処理装置203は、さらに、欠品商品223の検知が必要か否かを判断する。欠品商品223の検知が必要な場合(ステップS609のYES)、情報処理装置203は、ステップS601へ戻る。欠品商品223の検知が必要ない場合(ステップS609のNO)、情報処理装置203は、処理を終了する。
In step S <b> 601, the
本実施形態によれば、より効率的に欠品商品を店舗内に搬送することができる。また、欠品商品を搬送ロボットで売場まで搬送するので、店員の手間を大幅に削減することができる。さらに、搬送ロボットに欠品商品の陳列を行わせれば、欠品商品の検知から商品の陳列までを自動化することができ、店員の手間をさらに大幅に削減することができる。さらにまた、欠品商品の検知を自動化できるので、来店客に対する販売機会の損失を防止できる。 According to the present embodiment, it is possible to more efficiently transport the shortage product into the store. Moreover, since the shortage product is transported to the sales floor by the transport robot, the labor of the store clerk can be greatly reduced. Furthermore, if the missing goods are displayed on the transfer robot, it is possible to automate from the detection of the missing goods to the display of the goods, and the labor of the store clerk can be further greatly reduced. Furthermore, since the detection of missing items can be automated, loss of sales opportunities for customers can be prevented.
[第3実施形態]
次に本発明の第3実施形態に係る情報処理システム700について、図7乃至図10を用いて説明する。図7は、本実施形態に係る情報処理システム700の構成を説明するための図である。本実施形態に係る情報処理システム700は、上記第2実施形態と比べると、情報処理装置が画像取得部を有し、搬送部が生成部および搬送経路決定部を有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
[Third Embodiment]
Next, an
情報処理装置703は、画像取得部731を有する。画像取得部732は、撮像部301が撮像した画像を取得する。そして、欠品検知部331は、画像取得部732が取得した画像に基づいて、商品の欠品を検知する。
The
搬送部704は、生成部741および搬送経路決定部742を有する。生成部741は、例えば、店舗内を自走可能な搬送部704が、店舗の売場220に欠品商品223を搬送した場合などに、店舗内を走行した走行データから、店舗内の移動履歴を生成し、生成した移動履歴に基づいて、フロアマップ(売場マップ)を生成する。
The
フロアマップの生成は、例えば、GPS(Global Positioning System)を用いて、搬送部704の現在位置を把握して、搬送部704が売場220やバックルーム230を含む店舗を走行した走行データから移動履歴を導出し、フロアマップを生成する。また、GPSの他に、ビーコンやWi−Fiなどの近距離無線通信の電波を用いて搬送部704の現在位置を把握して、搬送部704が店舗内を走行した走行データから移動履歴を導出し、フロアマップを生成してもよい。
The floor map is generated by, for example, using GPS (Global Positioning System), grasping the current position of the
さらに、搬送部704に障害物検知センサを設けてもよい。搬送部704に設けた障害物検知センサで検知した障害物の配置状況からフロアマップを生成してもよい。また、GPSやビーコンなどのデータと障害物検知センサで取得したデータとを組み合わせて、フロアマップを生成してもよい。その他にも、店舗の設計図データや店内レイアウトデータなどを生成部741に入力して、入力されたデータからフロアマップを生成してもよい。
Further, an obstacle detection sensor may be provided in the
そして、搬送経路決定部742は、生成したフロアマップに基づいて、バックルーム230から売場220への搬送経路、または、売場220からバックルーム230へ戻る経路を決定する。搬送経路決定部742は、例えば、情報処理装置203の報知部333から報知された欠品商品223に関する情報から、欠品商品223を搬送すべき売場220の商品棚221の位置を抽出し、商品棚221まで欠品商品223を搬送する場合の往復の経路を決定する。なお、ここでは、搬送部704が、搬送経路決定部742を有する構成で説明をしたが、搬送経路決定部742は、例えば、情報処理装置203が有していてもよい。情報処理装置203が、搬送経路決定部742を有する場合、情報処理装置203の報知部333は、欠品商品223を搬送部704に報知するとともに搬送経路も報知する。
Then, the transport
図8は、本実施形態に係る情報処理システム700に含まれる搬送部704の備える商品テーブル801の一例を示す図である。商品テーブル801は、商品ID411に関連付けてフロアマップ811を格納する。フロアマップ811は、商品ID411に該当する商品が、フロアマップ811上のどの位置に搬送されるべきかを示す。
FIG. 8 is a diagram illustrating an example of a product table 801 included in the
図9は、本実施形態に係る情報処理システム700に含まれる搬送部704のハードウェア構成を説明するブロック図である。CPU(Central Processing Unit)910は、演算制御用のプロセッサであり、プログラムを実行することで図7の搬送部704の機能構成部を実現する。CPU910は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROM(Read Only Memory)920は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース930は、ネットワークを介して他の装置などと通信する。なお、CPU910は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース930は、CPU910とは独立したCPUを有して、RAM(Random Access Memory)940の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM940とストレージ950との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、入出力インタフェース960は、CPU910とは独立したCPUを有して、RAM940の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、CPU910は、RAM940にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU910は、処理結果をRAM940に準備し、後の送信あるいは転送はネットワークインタフェース930やDMAC、あるいは入出力インタフェース560に任せる。
FIG. 9 is a block diagram illustrating a hardware configuration of the
RAM940は、CPU910が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM940には、本実施形態の実現に必要なデータを記憶する領域が確保されている。欠品商品941は、情報処理装置203の欠品検知部331が検知した欠品商品であり、報知部333から報知された欠品商品に関する情報である。商品ID942は、バックルーム230に保管されている商品などを識別するためのデータである。棚番号943は、商品が、売場220の商品棚221のどの位置に陳列されているかや、バックルーム230の商品棚231のどの位置に保管されているかを示すデータである。フロアマップ944は、売場220やバックルーム230を含む店舗内の地図である。搬送経路945は、搬送部704が商品を売場220に搬送する際に、搬送部704が走行するルートである。これらのデータは、例えば、商品テーブル801から展開されたデータである。
The
入出力データ946は、入出力インタフェース960を介して入出力されるデータである。送受信データ947は、ネットワークインタフェース930を介して送受信されるデータである。また、RAM940は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域948を有する。
The input /
ストレージ950には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ950は、商品テーブル801を格納する。商品テーブル801は、図8に示した、商品ID411と、フロアマップ811などとの関係を管理するテーブルである。
The
ストレージ950は、さらに、供給モジュール951、表示モジュール952、生成モジュール953および搬送経路決定モジュール954を格納する。供給モジュール951は、売場220に搬送した欠品商品223を商品棚221の所定の位置に陳列するために、欠品商品223を供給するためのモジュールである。表示モジュール952は、情報処理装置203から報知された欠品商品223に関する情報を表示するモジュールである。生成モジュール953は、搬送部704が店舗内を移動した移動履歴(走行履歴)に基づいて、店舗内の地図であるフロアマップを生成するモジュールである。搬送経路決定モジュール954は、搬送部704が欠品商品223をバックルーム230から売場220の商品棚221へ搬送する場合の搬送経路(走行経路)を決定するモジュールである。これらのモジュール951〜954は、CPU910によりRAM940のアプリケーション実行領域948に読み出され、実行される。制御プログラム955は、搬送部704の全体を制御するためのプログラムである。
The
入出力インタフェース960は、入出力機器との入出力データをインタフェースする。入出力インタフェース960には、操作部961、が接続される。また、入出力インタフェース960には、さらに、GPS963が接続されてもよい。さらに、音声出力部であるスピーカ962や、音声入力部であるマイク(図示せず)が接続されてもよい。なお、図9に示したRAM940やストレージ950には、搬送部704が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
The input /
図10は、本実施形態に係る情報処理システム700の搬送部704の処理手順を説明するフローチャートである。このフローチャートは、図9のCPU910がRAM940を使用して実行し、図7の搬送部704の機能構成部を実現する。
FIG. 10 is a flowchart illustrating a processing procedure of the
ステップS1001において、搬送部704は、欠品商品に関する情報を取得する。ステップS1003において、搬送部704は、表示部342に欠品商品223に関する情報を表示する。そして、バックルーム230の店員232が、表示部342に表示された欠品商品223を搬送部704に載せる。なお、搬送部704が、欠品商品223を自ら取りに行く場合には、このステップS1003は省略してもよい。
In step S <b> 1001, the
ステップS1005において、搬送部704は、欠品商品223を売場220の商品棚221まで搬送する。ステップS1007において、搬送部704は、欠品商品223を商品棚221の所定の位置にアームなどを用いて供給して、陳列する。なお、欠品商品223を店員222が商品棚221に陳列する場合、ステップS1007は、省略してもよい。ステップS1009において、搬送部704は、欠品商品223の商品棚221への供給が終了したか否かを判断する。供給が終了していないと判断した場合(ステップS1009のNO)、搬送部704は、ステップS1001に戻る。供給が終了したと判断した場合(ステップS1009のYES)、搬送部704は、ステップS1011に進む。
In step S <b> 1005, the
ステップS1011において、搬送部704は、店舗内の移動履歴に基づいて、フロアマップを生成する。なお、フロアマップの生成のタイミングは、欠品商品223の供給が終了したタイミングには限定されず、例えば、搬送部704が店舗内を走行中(移動中)にフロアマップを生成してもよい。
In step S1011, the
本実施形態によれば、搬送部がフロアマップを生成するので、より効率的に、精度高く、欠品商品を商品棚まで搬送することができる。 According to this embodiment, since a conveyance part produces | generates a floor map, it can convey a missing item goods to a goods shelf more efficiently and with high precision.
[第4実施形態]
次に本発明の第4実施形態に係る情報処理システムについて、図11A乃至図11Cを用いて説明する。図11A本実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する側面図である。図11Bは、本実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する正面図である。図11Cは、本実施形態に係る情報処理システムにおける撮像部および移動部の他の例を説明する側面図である
[Fourth Embodiment]
Next, an information processing system according to a fourth embodiment of the present invention will be described with reference to FIGS. 11A to 11C. FIG. 11A is a side view illustrating an example of an imaging unit and a moving unit in the information processing system according to the present embodiment. FIG. 11B is a front view illustrating an example of an imaging unit and a moving unit in the information processing system according to the present embodiment. FIG. 11C is a side view illustrating another example of the imaging unit and the moving unit in the information processing system according to the present embodiment.
本実施形態に係る情報処理システムは、上記第2実施形態および第3実施形態と比べると、撮像部および移動部が商品棚の後ろ側に設けられている点で異なる。その他の構成および動作は、第2実施形態および第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。 The information processing system according to the present embodiment is different from the second embodiment and the third embodiment in that the imaging unit and the moving unit are provided on the rear side of the product shelf. Other configurations and operations are the same as those in the second embodiment and the third embodiment. Therefore, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.
図11Aに示したように、商品棚221が壁1100を背にして設置されている場合、レール1111を壁1100と商品棚221との間に設け、レール1111にカメラ1101を取り付けてもよい。また、図11Bに示したように、カメラ1101を横方向(水平方向)に移動可能なレール1112を設けてもよい。このようなレール1111,1112の配置とすることにより、カメラ1101を縦方向(垂直方向)および横方向(水平方向)に移動させることが可能となる。なお、カメラ1101を移動させるレールとして、横方向のレール1111を設けない場合には、カメラ110にパン機能やチルト機能を設けてもよい。
As shown in FIG. 11A, when the
また、図11Cに示したように、商品棚221が背中合わせで設置されている場合、商品棚221の間にレール1112を設け、レール1112にカメラ1101を取り付けてもよい。この場合、カメラ1101を横方向に移動させることができるレール1112を設けてもよい。さらに、レール1112を設けない場合には、カメラ1101にパン機能やチルト機能を設けて、カメラ1101の正面にある商品棚221や背面にある商品棚221を撮像できるようにしてもよい。
In addition, as illustrated in FIG. 11C, when the
また、この他にも、レール1111などの代わりに店舗の天井にロープを這わせて、このロープにカメラ1101を吊り下げて移動させてもよい。さらに、ドローンなどの無人機にカメラ1101を設けて、店舗内を移動させてもよい。
In addition to this, instead of the
本実施形態によれば、商品棚の裏側に撮像部および移動部を設けたので、来店客が商品を見ている場合であっても邪魔にならずに、商品の欠品を検知することができる。また、撮像部を垂直方向に容易に移動させることができる。 According to this embodiment, since the imaging unit and the moving unit are provided on the back side of the product shelf, it is possible to detect a product shortage without disturbing the customer even when the customer is looking at the product. it can. In addition, the imaging unit can be easily moved in the vertical direction.
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
[Other Embodiments]
While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. In addition, a system or an apparatus in which different features included in each embodiment are combined in any way is also included in the scope of the present invention.
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。 In addition, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed in the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer readable medium storing a program for causing a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.
Claims (12)
前記撮像手段を移動させる移動手段と、
前記撮像手段が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品をバックルームから店舗内に搬送する搬送手段と、
を備えた情報処理システム。 At least one imaging means for imaging the product shelf;
Moving means for moving the imaging means;
Based on the image of the product shelf imaged by the imaging unit, a shortage detection unit that detects a product shortage,
Transport means for transporting the shortage product detected by the shortage detection means from the back room into the store;
Information processing system with
前記店舗内を自走可能であり、前記店舗内の移動履歴に基づいてフロアマップを生成する生成手段と、
生成した前記フロアマップに基づいて、前記欠品商品を前記店舗内に搬送する搬送経路を決定する搬送経路決定手段と、
をさらに備える請求項1乃至8のいずれか1項に記載の情報処理システム。 The conveying means is
Generating means capable of self-propelling in the store, and generating a floor map based on a movement history in the store;
Based on the generated floor map, a transport route determining means for determining a transport route for transporting the shortage product into the store;
The information processing system according to any one of claims 1 to 8, further comprising:
前記撮像手段が撮像した画像を取得する画像取得手段と、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品に関する情報を報知する報知手段と、
を備えた情報処理装置。 Control means for controlling imaging of at least one imaging means for imaging a commodity shelf and moving means for moving the imaging means;
Image acquisition means for acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection means for detecting a missing item of the product,
An informing means for informing information on the out-of-stock product detected by the out-of-stock detecting means;
An information processing apparatus comprising:
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
を含む情報処理方法。 A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
An information processing method including:
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
をコンピュータに実行させる情報処理プログラム。 A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
An information processing program that causes a computer to execute.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040120A JP7106815B2 (en) | 2017-03-03 | 2017-03-03 | Information processing system |
US16/489,773 US20200242541A1 (en) | 2017-03-03 | 2018-01-18 | Information processing system, information processing apparatus, information processing method, and information processing program |
CN201880015441.5A CN110383315B (en) | 2017-03-03 | 2018-01-18 | Information processing system, information processing apparatus, information processing method, and information processing program |
PCT/JP2018/001369 WO2018159132A1 (en) | 2017-03-03 | 2018-01-18 | Information processing system, information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040120A JP7106815B2 (en) | 2017-03-03 | 2017-03-03 | Information processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147138A true JP2018147138A (en) | 2018-09-20 |
JP7106815B2 JP7106815B2 (en) | 2022-07-27 |
Family
ID=63588821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017040120A Active JP7106815B2 (en) | 2017-03-03 | 2017-03-03 | Information processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7106815B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021034064A (en) * | 2020-08-05 | 2021-03-01 | パナソニックIpマネジメント株式会社 | Business support system, business support apparatus, terminal, business support method, business operation method, and computer program |
JP2021033935A (en) * | 2019-08-29 | 2021-03-01 | パナソニックIpマネジメント株式会社 | Business support system, business support apparatus, business support method, and computer program |
JP2022511625A (en) * | 2018-10-16 | 2022-02-01 | グレイ オレンジ ピーティーイー. リミテッド | Methods and systems for filling inventory items |
WO2022044083A1 (en) | 2020-08-24 | 2022-03-03 | 株式会社Fuji | Control device, delivery system, control method, and display plate |
WO2022101956A1 (en) | 2020-11-10 | 2022-05-19 | 株式会社Fuji | Conveyance system and conveyance method |
JP2022539025A (en) * | 2019-07-12 | 2022-09-07 | 霊動科技(北京)有限公司 | Autonomous mobile robot inventory system combined with unmanned aircraft |
CN115180334A (en) * | 2022-06-02 | 2022-10-14 | 云南昆船设计研究院有限公司 | Intelligent tobacco cage replenishment scheduling and conveying method and system |
JP7493716B2 (en) | 2020-06-19 | 2024-06-03 | Telexistence株式会社 | ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL SYSTEM |
JP7523270B2 (en) | 2020-07-15 | 2024-07-26 | パナソニックホールディングス株式会社 | ROBOT CONTROL METHOD, ROBOT CONTROL DEVICE, AND PROGRAM |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001088912A (en) * | 1999-09-20 | 2001-04-03 | Fujitsu General Ltd | Stocktaking managing method and stocktaking system by image recognition |
JP2004231370A (en) * | 2003-01-31 | 2004-08-19 | Shiseido Co Ltd | Picking facility |
JP2005067876A (en) * | 2003-08-27 | 2005-03-17 | Hitachi Ltd | Information processing device, picking article control method, program, and recording medium |
WO2015079622A1 (en) * | 2013-11-27 | 2015-06-04 | パナソニックIpマネジメント株式会社 | Product monitoring device, product monitoring system, and product monitoring method |
WO2016132534A1 (en) * | 2015-02-20 | 2016-08-25 | 株式会社日立物流 | Warehouse management system, warehouse, and warehouse management method |
-
2017
- 2017-03-03 JP JP2017040120A patent/JP7106815B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001088912A (en) * | 1999-09-20 | 2001-04-03 | Fujitsu General Ltd | Stocktaking managing method and stocktaking system by image recognition |
JP2004231370A (en) * | 2003-01-31 | 2004-08-19 | Shiseido Co Ltd | Picking facility |
JP2005067876A (en) * | 2003-08-27 | 2005-03-17 | Hitachi Ltd | Information processing device, picking article control method, program, and recording medium |
WO2015079622A1 (en) * | 2013-11-27 | 2015-06-04 | パナソニックIpマネジメント株式会社 | Product monitoring device, product monitoring system, and product monitoring method |
WO2016132534A1 (en) * | 2015-02-20 | 2016-08-25 | 株式会社日立物流 | Warehouse management system, warehouse, and warehouse management method |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022511625A (en) * | 2018-10-16 | 2022-02-01 | グレイ オレンジ ピーティーイー. リミテッド | Methods and systems for filling inventory items |
JP2022539025A (en) * | 2019-07-12 | 2022-09-07 | 霊動科技(北京)有限公司 | Autonomous mobile robot inventory system combined with unmanned aircraft |
JP7284963B2 (en) | 2019-07-12 | 2023-06-01 | 霊動科技(北京)有限公司 | Autonomous mobile robot inventory system combined with unmanned aircraft |
JP2021033935A (en) * | 2019-08-29 | 2021-03-01 | パナソニックIpマネジメント株式会社 | Business support system, business support apparatus, business support method, and computer program |
WO2021039126A1 (en) * | 2019-08-29 | 2021-03-04 | パナソニックIpマネジメント株式会社 | Work assistance system, work assistance device, work assistance method, and program |
JP7493716B2 (en) | 2020-06-19 | 2024-06-03 | Telexistence株式会社 | ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL SYSTEM |
JP7523270B2 (en) | 2020-07-15 | 2024-07-26 | パナソニックホールディングス株式会社 | ROBOT CONTROL METHOD, ROBOT CONTROL DEVICE, AND PROGRAM |
JP2021034064A (en) * | 2020-08-05 | 2021-03-01 | パナソニックIpマネジメント株式会社 | Business support system, business support apparatus, terminal, business support method, business operation method, and computer program |
JP7336708B2 (en) | 2020-08-05 | 2023-09-01 | パナソニックIpマネジメント株式会社 | Business support system, business support device, terminal, business support method, business method, and computer program |
WO2022044083A1 (en) | 2020-08-24 | 2022-03-03 | 株式会社Fuji | Control device, delivery system, control method, and display plate |
WO2022101956A1 (en) | 2020-11-10 | 2022-05-19 | 株式会社Fuji | Conveyance system and conveyance method |
CN115180334A (en) * | 2022-06-02 | 2022-10-14 | 云南昆船设计研究院有限公司 | Intelligent tobacco cage replenishment scheduling and conveying method and system |
Also Published As
Publication number | Publication date |
---|---|
JP7106815B2 (en) | 2022-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7106815B2 (en) | Information processing system | |
WO2018159132A1 (en) | Information processing system, information processing device, information processing method, and information processing program | |
JP6860714B2 (en) | How to automatically generate waypoints to image the shelves in the store | |
US9636825B2 (en) | Robotic logistics system | |
US20180260772A1 (en) | Out-of-stock detection based on images | |
JP4297142B2 (en) | Transport system | |
US20170193430A1 (en) | Restocking shelves based on image data | |
US11034027B2 (en) | Robot assisted personnel routing | |
JP6956192B2 (en) | Robot ad hoc network | |
US11000953B2 (en) | Robot gamification for improvement of operator performance | |
JP5904097B2 (en) | Article information display device | |
JP7505524B2 (en) | Information processing system, information processing device, information processing method, and information processing program | |
AU2023274066A1 (en) | System, method and apparatus for a monitoring drone | |
JP7126066B2 (en) | Projection indication device, parcel sorting system and projection indication method | |
US20210272050A1 (en) | Photographing mechanism control apparatus and photographing mechanism control method | |
JP2024029759A (en) | Logistics system | |
WO2021039210A1 (en) | Transport system, control device, transport method, and program | |
JP7194884B2 (en) | Luggage sorting system, projection instruction device, projection instruction method | |
JP2021017324A (en) | Robot system, information processing device, control method of the same, and program | |
US20180299901A1 (en) | Hybrid Remote Retrieval System | |
US20240135315A1 (en) | Systems and methods of detecting price tags and associating the price tags with products | |
CN113319845A (en) | Shelf display management system, method, device and equipment | |
JP2020119006A (en) | System, information processing apparatus, information processing method and program | |
JP2020009083A (en) | Apparatus, system and program for processing information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7106815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |