JP7106815B2 - Information processing system - Google Patents

Information processing system Download PDF

Info

Publication number
JP7106815B2
JP7106815B2 JP2017040120A JP2017040120A JP7106815B2 JP 7106815 B2 JP7106815 B2 JP 7106815B2 JP 2017040120 A JP2017040120 A JP 2017040120A JP 2017040120 A JP2017040120 A JP 2017040120A JP 7106815 B2 JP7106815 B2 JP 7106815B2
Authority
JP
Japan
Prior art keywords
information processing
product
processing system
unit
store
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017040120A
Other languages
Japanese (ja)
Other versions
JP2018147138A (en
Inventor
大 金野
浩太 岩元
可菜子 多賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017040120A priority Critical patent/JP7106815B2/en
Priority to PCT/JP2018/001369 priority patent/WO2018159132A1/en
Priority to US16/489,773 priority patent/US20200242541A1/en
Priority to CN201880015441.5A priority patent/CN110383315B/en
Publication of JP2018147138A publication Critical patent/JP2018147138A/en
Application granted granted Critical
Publication of JP7106815B2 publication Critical patent/JP7106815B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing system, an information processing device, an information processing method, and an information processing program.

上記技術分野において、特許文献１には、状態監視エリアの商品の陳列不足状態を判定し、状態監視エリアごとに商品の不足程度に応じ陳列状態表示画像を陳列エリアの映像上に重畳する技術が開示されている。 In the above technical field, Patent Document 1 discloses a technique for judging the lack of display of products in a state monitoring area and superimposing a display state display image on the video of the display area according to the degree of product shortage in each state monitoring area. disclosed.

特開２０１６－５８１０５号公報JP 2016-58105 A

しかしながら、上記文献に記載の技術では、より効率的に商品管理をすることができなかった。 However, with the technique described in the above document, it was not possible to manage merchandise more efficiently.

本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above problems.

上記目的を達成するため、本発明に係る情報処理システムは、
商品棚を撮像する少なくとも１つの撮像手段と、
前記撮像手段が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品をバックルームから店舗内に搬送する搬送手段と、
を備え、
前記搬送手段は、
前記店舗内を自走可能であり、前記店舗内の移動履歴に基づいてフロアマップを生成する生成手段と、
生成した前記フロアマップに基づいて、前記欠品商品を前記店舗内に搬送する搬送経路を決定する搬送経路決定手段と、
を有する。 In order to achieve the above object, an information processing system according to the present invention includes:
at least one imaging means for imaging the product shelf;
a missing item detecting means for detecting a missing item based on the image of the product shelf captured by the imaging means;
a conveying means for conveying the missing item detected by the missing item detecting means from the back room to the inside of the store;
with
The conveying means is
a generating means capable of self-propelled within the store and generating a floor map based on a movement history within the store;
a transport route determining means for determining a transport route for transporting the out-of-stock product to the store based on the generated floor map;
have

本発明によれば、より効率的に商品管理をすることができる。 According to the present invention, merchandise management can be performed more efficiently.

本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。1 is a block diagram showing the configuration of an information processing system according to a first embodiment of the present invention; FIG. 本発明の第２実施形態に係る情報処理システムの概略を説明する図である。It is a figure explaining the outline of the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムにおける売場の概略を説明する図である。It is a figure explaining the outline of the counter in the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムにおけるバックルームの概略を説明する図である。It is a figure explaining the outline of the back room in the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置の備える商品テーブルの一例を示す図である。It is a figure which shows an example of the goods table with which the information processing apparatus contained in the information processing system which concerns on 2nd Embodiment of this invention is provided. 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成を説明するブロック図である。FIG. 7 is a block diagram illustrating the hardware configuration of an information processing device included in the information processing system according to the second embodiment of the present invention; 本発明の第２実施形態に係る情報処理システムの情報処理装置の処理手順を説明するフローチャートである。9 is a flow chart for explaining the processing procedure of the information processing device of the information processing system according to the second embodiment of the present invention; 本発明の第３実施形態に係る情報処理システムの構成を示すブロック図である。FIG. 12 is a block diagram showing the configuration of an information processing system according to a third embodiment of the present invention; FIG. 本発明の第３実施形態に係る情報処理システムに含まれる情報処理装置の備える制御テーブルの一例を示す図である。It is a figure which shows an example of the control table with which the information processing apparatus contained in the information processing system which concerns on 3rd Embodiment of this invention has. 本発明の第３実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成を説明するブロック図である。FIG. 11 is a block diagram illustrating the hardware configuration of an information processing device included in an information processing system according to a third embodiment of the present invention; 本発明の第３実施形態に係る情報処理システムの情報処理装置の処理手順を説明するフローチャートである。It is a flow chart explaining a processing procedure of an information processor of an information processing system concerning a 3rd embodiment of the present invention. 本発明の第４実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する側面図である。FIG. 14 is a side view illustrating an example of an imaging section and a moving section in an information processing system according to a fourth embodiment of the present invention; 本発明の第４実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する正面図である。It is a front view explaining an example of an imaging part and a moving part in an information processing system concerning a 4th embodiment of the present invention. 本発明の第４実施形態に係る情報処理システムにおける撮像部および移動部の他の例を説明する側面図である。FIG. 14 is a side view illustrating another example of the imaging section and the moving section in the information processing system according to the fourth embodiment of the present invention;

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the present invention will be exemplarily described in detail with reference to the drawings. However, the configuration, numerical values, flow of processing, functional elements, etc. described in the following embodiments are only examples, and modifications and changes are free, and the technical scope of the present invention is not limited to the following description. It is not intended to be limited.

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、商品の欠品を検知して、欠品商品を店舗内に搬送するシステムである。 [First embodiment]
An information processing system 100 as a first embodiment of the present invention will be described using FIG. The information processing system 100 is a system that detects product shortages and conveys the missing products to the store.

図１に示すように、情報処理システム１００は、撮像部１０１と、移動部１０２と、欠品検知部１０３と、搬送部１０４と、を含む。 As shown in FIG. 1 , the information processing system 100 includes an imaging unit 101 , a moving unit 102 , a missing item detection unit 103 and a transport unit 104 .

撮像部１０１は、商品棚を撮像する。また、撮像部１０１は、少なくとも１つある。移動部１０２は、撮像部１０１を移動させる。欠品検知部１０３は、撮像部１０１が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する。搬送部１０４は、欠品検知部１０３が検知した欠品商品をバックルームから店舗内に搬送する。 The imaging unit 101 images a product shelf. Also, there is at least one imaging unit 101 . The moving unit 102 moves the imaging unit 101 . A shortage detection unit 103 detects a shortage of products based on the image of the product shelf captured by the imaging unit 101 . The conveying unit 104 conveys the out-of-stock product detected by the out-of-stock detecting unit 103 from the back room into the store.

本実施形態によれば、より効率的に商品管理をすることができる。 According to this embodiment, product management can be performed more efficiently.

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システムについて、図２Ａ乃至図６を用いて説明する。図２Ａは、本実施形態に係る情報処理システム２００の概略を説明する図である。図２Ｂは、本実施形態に係る情報処理システム２００における売場の概略を説明する図である。図２Ｃは、本実施形態に係る情報処理システム２００におけるバックルームの概略を説明する図である。 [Second embodiment]
Next, an information processing system according to a second embodiment of the present invention will be explained using FIGS. 2A to 6. FIG. FIG. 2A is a diagram illustrating an outline of an information processing system 200 according to this embodiment. FIG. 2B is a diagram illustrating an outline of a sales floor in the information processing system 200 according to this embodiment. FIG. 2C is a diagram illustrating an overview of the back room in the information processing system 200 according to this embodiment.

情報処理システム２００は、例えば、コンビニエンスストアやスパーマーケットなどにおいて、商品棚の欠品商品を検知して、バックルームに保管されている在庫商品を売場まで搬送するシステムである。 The information processing system 200 is, for example, a system in a convenience store, a supermarket, or the like, which detects out-of-stock products on product shelves and transports stock products stored in the back room to the sales floor.

情報処理システム２００は、カメラ２０１、情報処理装置２０３および搬送ロボット２０４を備える。カメラ２０１は、店舗内を移動して売場２２０の商品棚２２１を撮像する。そして、カメラ２０１で撮像した商品棚２２１の画像は情報処理装置２０３へ送られる。なお、カメラ２０１は、店舗の天井に設置されたレール２１１により店舗内を移動可能となっている。また、ここでは、カメラ２０１が１台の例を用いて説明をするが、カメラ２０１は複数台であってもよい。さらに、ここでは、カメラ２０１は、水平方向（ＸＹ方向）に移動する例で説明をするが、例えば、垂直方向（Ｚ方向）に移動可能であってもよい。 The information processing system 200 includes a camera 201 , an information processing device 203 and a transport robot 204 . The camera 201 moves in the store and images the product shelf 221 of the sales floor 220 . An image of the product shelf 221 captured by the camera 201 is sent to the information processing device 203 . In addition, the camera 201 can be moved inside the store by rails 211 installed on the ceiling of the store. Also, here, an example in which one camera 201 is used will be described, but a plurality of cameras 201 may be used. Furthermore, although an example in which the camera 201 moves in the horizontal direction (XY directions) is described here, the camera 201 may be movable in the vertical direction (Z direction), for example.

情報処理装置２０３は、カメラ２０１から送られた商品棚２２１の画像に基づいて、商品の欠品を検知する。そして、検知した欠品商品２２３に関する情報をバックルーム２３０の搬送ロボット２０４に報知する。なお、欠品商品２２３に関する情報の報知先は、搬送ロボット２０４には限られず、例えば、バックルーム２３０に設置された表示ディスプレイ２３３に表示して、バックルーム２３０の店員２３２に知らせてもよい。なお、表示ディスプレイ２３３は、搬送ロボット２０４に設けてもよい。 The information processing device 203 detects the shortage of products based on the image of the product shelf 221 sent from the camera 201 . Then, information about the detected missing product 223 is notified to the transport robot 204 in the back room 230 . Note that the notification destination of the information regarding the out-of-stock product 223 is not limited to the transport robot 204 . Note that the display 233 may be provided on the transport robot 204 .

また、情報処理装置２０３は、カメラ２０１による撮像やカメラ２０１の移動を制御する。なお、カメラ２０１が、例えば、自律制御型のカメラであれば、情報処理装置２０３による制御は不要となる。 The information processing device 203 also controls the imaging by the camera 201 and the movement of the camera 201 . Note that if the camera 201 is, for example, an autonomous control type camera, control by the information processing device 203 is unnecessary.

そして、欠品商品２２３に関する情報を報知された搬送ロボット２０４は、商品棚２３１から欠品商品２２３を取り出し、搬送ロボット２０４に載せて、売場２２０（店舗内）に搬送する。なお、バックルーム２３０の店員２３２に欠品商品２２３に関する情報を報知した場合には、店員２３２が欠品商品２２３を商品棚２３１から取り出して、搬送ロボット２０４に載せてもよい。 Then, the transport robot 204 notified of the information on the missing product 223 takes out the missing product 223 from the product shelf 231, places it on the transport robot 204, and transports it to the sales floor 220 (inside the store). In addition, when information about the missing item 223 is notified to the store clerk 232 in the back room 230 , the store clerk 232 may take out the missing item 223 from the product shelf 231 and place it on the transport robot 204 .

搬送ロボット２０４は、自動で、売場２２０内の目的地まで走行し、欠品商品２２３を棚まで搬送する。そして、売場２２０の店員２２２は、搬送された欠品商品２２３を商品棚２２１に陳列する。なお、例えば、搬送ロボット２０４に商品供給用のアームを設けて、搬送ロボット２０４が自動的に商品棚２２１に欠品商品２２３を供給するようにしてもよい。 The transport robot 204 automatically travels to the destination in the sales floor 220 and transports the missing product 223 to the shelf. Then, the store clerk 222 of the sales floor 220 displays the transported missing item 223 on the product shelf 221 . For example, the transport robot 204 may be provided with an arm for supplying products so that the transport robot 204 automatically supplies the missing product 223 to the product shelf 221 .

図３は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。情報処理システム２００は、撮像部３０１、移動部３０２、情報処理装置２０３および搬送部３０４を備える。 FIG. 3 is a block diagram showing the configuration of the information processing system 200 according to this embodiment. The information processing system 200 includes an imaging unit 301 , a moving unit 302 , an information processing device 203 and a transport unit 304 .

撮像部３０１は、例えば、カメラ２０１などであり、店舗内を移動して商品棚２２１を撮像する。撮像部３０１は、撮像した商品棚２２１の画像を情報処理装置２０３へと送信する。なお、撮像部３０１が撮像する画像は静止画であるが、動画であってもよい。 The imaging unit 301 is, for example, the camera 201, etc., and images the product shelf 221 while moving in the store. The imaging unit 301 transmits the captured image of the product shelf 221 to the information processing device 203 . Note that the image captured by the imaging unit 301 is a still image, but may be a moving image.

移動部３０２は、例えば、レール２１１などを含む。移動部３０２は、例えば、滑車などを含むアタッチメントをさらに含み、撮像部３０１は、このアタッチメントを介してレール２１１に取り付けられ、店舗内を移動できるようになっている。 The moving part 302 includes, for example, rails 211 and the like. The moving unit 302 further includes an attachment including, for example, a pulley, and the imaging unit 301 is attached to the rail 211 via this attachment so that it can move within the store.

情報処理装置２０３は、欠品検知部３３１、制御部３３２および報知部３３３を有する。欠品検知部３３１は、撮像部３０１から受信した商品棚２２１の画像に基づいて、欠品した商品を検知する。 The information processing device 203 has a missing item detection unit 331 , a control unit 332 and a notification unit 333 . The out-of-stock detection unit 331 detects out-of-stock products based on the image of the product shelf 221 received from the imaging unit 301 .

制御部３３２は、所定のタイミングで、撮像部３０１による撮像や、移動部３０２による撮像部３０１の移動を制御する。 The control unit 332 controls imaging by the imaging unit 301 and movement of the imaging unit 301 by the moving unit 302 at predetermined timing.

報知部３３３は、欠品検知部３３１が検知した欠品商品２２３に関する情報、例えば、商品名や商品の型番、商品の写真、商品が保管されている場所などを搬送部３０４に報知する。 The notification unit 333 notifies the conveying unit 304 of information regarding the missing product 223 detected by the missing product detection unit 331, such as the product name, product model number, product photo, location where the product is stored, and the like.

搬送部３０４は、欠品商品２２３を搬送する自走型のロボットであり、例えば、搬送ロボット２０４である。そして、搬送部３０４は、供給部３４１と表示部３４２とを有する。供給部３４１は、搬送部３０４に載せた欠品商品２２３を商品棚２２１に陳列するために、供給する。供給部３４１は、例えば、搬送部３０４に載せた欠品商品２２３を掴んで、搬送部３０４から商品棚２２１に移動するアームなどである。または、供給部３４１は、板状の部材であり、板の上に欠品商品２２３を載せて、欠品商品２２３を商品棚２２１に滑り込ませるように供給するものなどであってもよく、欠品商品２２３を商品棚２２１に供給可能なものであればこれらには限定されない。 The transport unit 304 is a self-propelled robot that transports the out-of-stock product 223, and is the transport robot 204, for example. The transport section 304 has a supply section 341 and a display section 342 . The supply unit 341 supplies the out-of-stock product 223 placed on the transport unit 304 in order to display it on the product shelf 221 . The supply unit 341 is, for example, an arm that grabs the missing product 223 placed on the transport unit 304 and moves it from the transport unit 304 to the product shelf 221 . Alternatively, the supply unit 341 may be a plate-like member, and the missing product 223 may be placed on a plate and supplied by sliding the missing product 223 onto the product shelf 221. It is not limited to these as long as it is possible to supply the product 223 to the product shelf 221 .

表示部３４２は、情報処理装置２０３の報知部３３３から報知された欠品商品２２３に関する情報を表示する。表示部３４２は、例えば、モニターやディスプレイなどである。なお、表示部３４２に欠品商品２２３に関する情報を表示するとともに、音や光などを発してもよい。これにより、欠品商品２２３が報知されたことを店員２３２に対しても報知することができる。 The display unit 342 displays information regarding the out-of-stock product 223 notified by the notification unit 333 of the information processing device 203 . The display unit 342 is, for example, a monitor or display. In addition to displaying information about the out-of-stock product 223 on the display unit 342, sound or light may be emitted. As a result, the store clerk 232 can also be notified that the out-of-stock product 223 has been notified.

図４は、本実施形態に係る情報処理システムに含まれる情報処理装置２０３の備える商品テーブル４０１の一例を示す図である。商品テーブル４０１は、商品ＩＤ（Identifier）４１１に関連付けて在庫状況４１２および棚番号４１３を記憶する。商品ＩＤ４１１は、商品を識別するための識別子である。在庫状況４１２は、商品の在庫があるか否かを示す。棚番号４１３は、商品が、売場２２０の商品棚２２１のどこに陳列されるか、およびバックルーム２３０の商品棚２３１のどの場所に保管してあるかを示す。情報処理装置２０３は、例えば、商品テーブル４０１を参照して、欠品商品２２３を補充する。 FIG. 4 is a diagram showing an example of a product table 401 provided in the information processing device 203 included in the information processing system according to this embodiment. The product table 401 stores an inventory status 412 and a shelf number 413 in association with a product ID (Identifier) 411 . The product ID 411 is an identifier for identifying products. The stock status 412 indicates whether or not the product is in stock. The shelf number 413 indicates where the product is displayed on the product shelf 221 of the sales floor 220 and where it is stored on the product shelf 231 of the back room 230 . The information processing device 203 replenishes the out-of-stock product 223 by referring to the product table 401, for example.

図５は、本実施形態に係る情報処理システムに含まれる情報処理装置２０３のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)５１０は、演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２０３の機能構成部を実現する。ＣＰＵ５１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース５６０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ５４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。 FIG. 5 is a block diagram illustrating the hardware configuration of the information processing device 203 included in the information processing system according to this embodiment. A CPU (Central Processing Unit) 510 is a processor for arithmetic control, and implements the functional components of the information processing apparatus 203 in FIG. 3 by executing a program. The CPU 510 may have multiple processors and execute different programs, modules, tasks, threads, etc. in parallel. A ROM (Read Only Memory) 520 stores fixed data such as initial data and programs, and other programs. Also, the network interface 530 communicates with other devices and the like via a network. Note that the number of CPUs 510 is not limited to one, and may include a plurality of CPUs or a GPU (Graphics Processing Unit) for image processing. Moreover, the network interface 530 preferably has a CPU independent of the CPU 510 and writes or reads transmission/reception data in a RAM (Random Access Memory) 540 area. It is also desirable to provide a DMAC (Direct Memory Access Controller) for transferring data between RAM 540 and storage 550 (not shown). Further, input/output interface 560 desirably has a CPU independent of CPU 510 to write or read input/output data in the area of RAM 540 . Therefore, CPU 510 recognizes that data has been received or transferred to RAM 540 and processes the data. Also, the CPU 510 prepares the processing result in the RAM 540 and leaves the subsequent transmission or transfer to the network interface 530, DMAC, or input/output interface 560. FIG.

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。棚画像５４１は、カメラ２０１で撮像した店舗内の売場２２０にある商品棚２２１を撮像した画像である。検知欠品商品５４２は、カメラ２０１で撮像した商品棚２２１の画像に基づいて、検知した欠品商品２２３である。商品ＩＤ５４３は、店舗内の売場２２０で販売している商品やバックルーム２３０に保管されている商品などを識別するためのデータである。棚番号５４５は、商品が、売場２２０の商品棚２２１のどの位置に陳列されているか、あるいは、バックルーム２３０の商品棚２３１のどの位置に保管されているかを示すデータである。これらのデータは、例えば、商品テーブル４０１から展開される。 A RAM 540 is a random access memory used by the CPU 510 as a work area for temporary storage. The RAM 540 has an area for storing data necessary for implementing the present embodiment. The shelf image 541 is an image of the product shelf 221 on the sales floor 220 in the store captured by the camera 201 . The detected missing item 542 is the missing item 223 detected based on the image of the product shelf 221 captured by the camera 201 . The merchandise ID 543 is data for identifying merchandise sold at the sales floor 220 in the store, merchandise stored in the back room 230, and the like. The shelf number 545 is data indicating where the product is displayed on the product shelf 221 of the sales floor 220 or stored on the product shelf 231 of the back room 230 . These data are expanded from the product table 401, for example.

入出力データ５４６は、入出力インタフェース５６０を介して入出力されるデータである。送受信データ５４７は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４８を有する。 The input/output data 546 is data input/output via the input/output interface 560 . The transmitted/received data 547 is data transmitted/received via the network interface 530 . RAM 540 also has an application execution area 548 for executing various application modules.

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、商品テーブル４０１を格納する。商品テーブル４０１は、図４に示した、商品ＩＤ４１１と、在庫状況４１２や棚番号４１３などとの関係を管理するテーブルである。 The storage 550 stores a database, various parameters, or the following data or programs necessary for realizing this embodiment. Storage 550 stores product table 401 . The product table 401 is a table that manages the relationship between the product ID 411, the inventory status 412, the shelf number 413, and the like shown in FIG.

ストレージ５５０は、さらに、欠品検知モジュール５５１、制御モジュール５５２および報知モジュール５５３を格納する。 The storage 550 further stores a missing item detection module 551 , a control module 552 and a notification module 553 .

欠品検知モジュール５５１は、カメラ２０１で撮像した商品棚２２１の画像に基づいて、商品の欠品を検知するモジュールである。制御モジュール５５２は、カメラ２０１による撮像や、カメラ２０１の移動を制御するモジュールである。報知モジュール５５３は、欠品商品２２３に関する情報を搬送部３０４などに報知するモジュールである。これらのモジュール５５１～５５３は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４８に読み出され、実行される。制御プログラム５５４は、情報処理装置２０３の全体を制御するためのプログラムである。 The out-of-stock detection module 551 is a module that detects out-of-stock products based on the image of the product shelf 221 captured by the camera 201 . The control module 552 is a module that controls imaging by the camera 201 and movement of the camera 201 . The notification module 553 is a module that notifies the conveying unit 304 and the like of information regarding the out-of-stock product 223 . These modules 551 to 553 are read by the CPU 510 into the application execution area 548 of the RAM 540 and executed. The control program 554 is a program for controlling the information processing device 203 as a whole.

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２０３が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。 The input/output interface 560 interfaces input/output data with input/output devices. A display unit 561 and an operation unit 562 are connected to the input/output interface 560 . A storage medium 564 may also be connected to the input/output interface 560 . Furthermore, a speaker 563 as an audio output unit, a microphone (not shown) as an audio input unit, or a GPS position determination unit may be connected. Note that the RAM 540 and the storage 550 shown in FIG. 5 do not show programs or data relating to general-purpose functions of the information processing apparatus 203 or other realizable functions.

図６は、本実施形態に係る情報処理システム２００の情報処理装置２０３の処理手順を説明するフローチャートである。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２０３の機能構成部を実現する。 FIG. 6 is a flowchart for explaining the processing procedure of the information processing device 203 of the information processing system 200 according to this embodiment. This flow chart is executed by the CPU 510 in FIG. 5 using the RAM 540, and implements the functional components of the information processing apparatus 203 in FIG.

ステップＳ６０１において、情報処理装置２０３は、撮像部３０１の移動および撮像を制御して、撮像部３０１に売場２２０の商品棚２２１の画像を撮像させる。ステップＳ６０３において、情報処理装置２０３は、撮像部３０１から商品棚２２１の画像を取得する。ステップＳ６０５において、情報処理装置２０３は、取得した商品棚２２１の画像に基づいて、商品の欠品を検知する。ステップＳ６０７において、情報処理装置２０３は、例えば、搬送部３０４に対して、欠品商品２２３に関する情報を報知する。ステップＳ６０９において、情報処理装置２０３は、さらに、欠品商品２２３の検知が必要か否かを判断する。欠品商品２２３の検知が必要な場合（ステップＳ６０９のＹＥＳ）、情報処理装置２０３は、ステップＳ６０１へ戻る。欠品商品２２３の検知が必要ない場合（ステップＳ６０９のＮＯ）、情報処理装置２０３は、処理を終了する。 In step S<b>601 , the information processing apparatus 203 controls the movement and imaging of the imaging unit 301 to cause the imaging unit 301 to capture an image of the product shelf 221 of the sales floor 220 . In step S<b>603 , the information processing device 203 acquires an image of the product shelf 221 from the imaging unit 301 . In step S<b>605 , the information processing apparatus 203 detects shortage of products based on the acquired image of the product shelf 221 . In step S<b>607 , the information processing device 203 notifies the conveying unit 304 of information regarding the out-of-stock product 223 , for example. In step S609, the information processing apparatus 203 further determines whether detection of the out-of-stock product 223 is necessary. If the out-of-stock product 223 needs to be detected (YES in step S609), the information processing device 203 returns to step S601. If detection of the out-of-stock product 223 is unnecessary (NO in step S609), the information processing device 203 ends the process.

本実施形態によれば、より効率的に欠品商品を店舗内に搬送することができる。また、欠品商品を搬送ロボットで売場まで搬送するので、店員の手間を大幅に削減することができる。さらに、搬送ロボットに欠品商品の陳列を行わせれば、欠品商品の検知から商品の陳列までを自動化することができ、店員の手間をさらに大幅に削減することができる。さらにまた、欠品商品の検知を自動化できるので、来店客に対する販売機会の損失を防止できる。 According to this embodiment, out-of-stock items can be transported into the store more efficiently. In addition, since the out-of-stock product is transported to the sales floor by the transport robot, the labor of the store clerk can be greatly reduced. Furthermore, if the transport robot displays the missing products, it is possible to automate the detection of the missing products and the display of the products, thereby further reducing the labor of the store clerk. Furthermore, since detection of out-of-stock products can be automated, loss of sales opportunities for customers can be prevented.

［第３実施形態］
次に本発明の第３実施形態に係る情報処理システム７００について、図７乃至図１０を用いて説明する。図７は、本実施形態に係る情報処理システム７００の構成を説明するための図である。本実施形態に係る情報処理システム７００は、上記第２実施形態と比べると、情報処理装置が画像取得部を有し、搬送部が生成部および搬送経路決定部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。 [Third Embodiment]
Next, an information processing system 700 according to a third embodiment of the present invention will be explained using FIGS. 7 to 10. FIG. FIG. 7 is a diagram for explaining the configuration of an information processing system 700 according to this embodiment. An information processing system 700 according to the present embodiment differs from that of the second embodiment in that the information processing apparatus has an image acquiring section, and the conveying section has a generating section and a conveying route determining section. Since other configurations and operations are similar to those of the second embodiment, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof will be omitted.

情報処理装置７０３は、画像取得部７３１を有する。画像取得部７３２は、撮像部３０１が撮像した画像を取得する。そして、欠品検知部３３１は、画像取得部７３２が取得した画像に基づいて、商品の欠品を検知する。 The information processing device 703 has an image acquisition unit 731 . The image acquisition unit 732 acquires the image captured by the imaging unit 301 . Based on the image acquired by the image acquisition unit 732, the missing product detection unit 331 detects the product shortage.

搬送部７０４は、生成部７４１および搬送経路決定部７４２を有する。生成部７４１は、例えば、店舗内を自走可能な搬送部７０４が、店舗の売場２２０に欠品商品２２３を搬送した場合などに、店舗内を走行した走行データから、店舗内の移動履歴を生成し、生成した移動履歴に基づいて、フロアマップ（売場マップ）を生成する。 The transport unit 704 has a generation unit 741 and a transport route determination unit 742 . For example, when the transport unit 704 capable of self-propelled within the store transports the out-of-stock item 223 to the sales floor 220 of the store, the generation unit 741 generates a movement history within the store from the travel data of the store. A floor map (sales floor map) is generated based on the generated movement history.

フロアマップの生成は、例えば、ＧＰＳ（Global Positioning System）を用いて、搬送部７０４の現在位置を把握して、搬送部７０４が売場２２０やバックルーム２３０を含む店舗を走行した走行データから移動履歴を導出し、フロアマップを生成する。また、ＧＰＳの他に、ビーコンやＷｉ－Ｆｉなどの近距離無線通信の電波を用いて搬送部７０４の現在位置を把握して、搬送部７０４が店舗内を走行した走行データから移動履歴を導出し、フロアマップを生成してもよい。 The floor map is generated by, for example, using a GPS (Global Positioning System) to grasp the current position of the transport unit 704 and extracting the movement history from the running data of the transport unit 704 running in the store including the sales floor 220 and the back room 230. and generate a floor map. In addition to GPS, the current position of the transport unit 704 is grasped using radio waves of short-range wireless communication such as beacons and Wi-Fi, and the movement history is derived from the travel data of the transport unit 704 traveling in the store. and generate a floor map.

さらに、搬送部７０４に障害物検知センサを設けてもよい。搬送部７０４に設けた障害物検知センサで検知した障害物の配置状況からフロアマップを生成してもよい。また、ＧＰＳやビーコンなどのデータと障害物検知センサで取得したデータとを組み合わせて、フロアマップを生成してもよい。その他にも、店舗の設計図データや店内レイアウトデータなどを生成部７４１に入力して、入力されたデータからフロアマップを生成してもよい。 Furthermore, an obstacle detection sensor may be provided in the transport section 704 . A floor map may be generated from the arrangement of obstacles detected by an obstacle detection sensor provided in the transport unit 704 . Also, a floor map may be generated by combining data from GPS, beacons, etc., and data acquired by an obstacle detection sensor. In addition, the design drawing data of the store, the layout data of the store, and the like may be input to the generation unit 741 to generate the floor map from the input data.

そして、搬送経路決定部７４２は、生成したフロアマップに基づいて、バックルーム２３０から売場２２０への搬送経路、または、売場２２０からバックルーム２３０へ戻る経路を決定する。搬送経路決定部７４２は、例えば、情報処理装置２０３の報知部３３３から報知された欠品商品２２３に関する情報から、欠品商品２２３を搬送すべき売場２２０の商品棚２２１の位置を抽出し、商品棚２２１まで欠品商品２２３を搬送する場合の往復の経路を決定する。なお、ここでは、搬送部７０４が、搬送経路決定部７４２を有する構成で説明をしたが、搬送経路決定部７４２は、例えば、情報処理装置２０３が有していてもよい。情報処理装置２０３が、搬送経路決定部７４２を有する場合、情報処理装置２０３の報知部３３３は、欠品商品２２３を搬送部７０４に報知するとともに搬送経路も報知する。 Then, the transport route determination unit 742 determines a transport route from the back room 230 to the sales floor 220 or a route back from the sales floor 220 to the back room 230 based on the generated floor map. For example, the transport route determination unit 742 extracts the position of the product shelf 221 of the sales floor 220 to which the missing product 223 should be transported from the information about the missing product 223 notified by the notification unit 333 of the information processing device 203, A round-trip route for conveying the missing product 223 to the shelf 221 is determined. Note that although the transport unit 704 includes the transport route determining unit 742 here, the transport route determining unit 742 may be included in the information processing apparatus 203, for example. When the information processing device 203 has the transport route determination unit 742, the notification unit 333 of the information processing device 203 notifies the transport unit 704 of the missing product 223 and also the transport route.

図８は、本実施形態に係る情報処理システム７００に含まれる搬送部７０４の備える商品テーブル８０１の一例を示す図である。商品テーブル８０１は、商品ＩＤ４１１に関連付けてフロアマップ８１１を格納する。フロアマップ８１１は、商品ＩＤ４１１に該当する商品が、フロアマップ８１１上のどの位置に搬送されるべきかを示す。 FIG. 8 is a diagram showing an example of a product table 801 provided in the transport unit 704 included in the information processing system 700 according to this embodiment. The product table 801 stores the floor map 811 in association with the product ID 411 . The floor map 811 indicates to which position on the floor map 811 the product corresponding to the product ID 411 should be conveyed.

図９は、本実施形態に係る情報処理システム７００に含まれる搬送部７０４のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)９１０は、演算制御用のプロセッサであり、プログラムを実行することで図７の搬送部７０４の機能構成部を実現する。ＣＰＵ９１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)９２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース９３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ９１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース９３０は、ＣＰＵ９１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)９４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ９４０とストレージ９５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース９６０は、ＣＰＵ９１０とは独立したＣＰＵを有して、ＲＡＭ９４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ９１０は、ＲＡＭ９４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ９１０は、処理結果をＲＡＭ９４０に準備し、後の送信あるいは転送はネットワークインタフェース９３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。 FIG. 9 is a block diagram illustrating the hardware configuration of the transport section 704 included in the information processing system 700 according to this embodiment. A CPU (Central Processing Unit) 910 is a processor for arithmetic control, and implements the functional components of the transport unit 704 in FIG. 7 by executing a program. The CPU 910 may have multiple processors and execute different programs, modules, tasks, threads, etc. in parallel. A ROM (Read Only Memory) 920 stores fixed data such as initial data and programs, and other programs. Also, the network interface 930 communicates with other devices and the like via a network. Note that the CPU 910 is not limited to one, and may be a plurality of CPUs or may include a GPU (Graphics Processing Unit) for image processing. Moreover, the network interface 930 preferably has a CPU independent of the CPU 910 and writes or reads transmission/reception data in a RAM (Random Access Memory) 940 area. It is also desirable to provide a DMAC (Direct Memory Access Controller) for transferring data between RAM 940 and storage 950 (not shown). Further, the input/output interface 960 preferably has a CPU independent of the CPU 910 and writes or reads input/output data to/from the area of the RAM 940 . Therefore, CPU 910 recognizes that data has been received or transferred to RAM 940 and processes the data. Also, the CPU 910 prepares the processing result in the RAM 940 and leaves the subsequent transmission or transfer to the network interface 930, DMAC, or input/output interface 560. FIG.

ＲＡＭ９４０は、ＣＰＵ９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。欠品商品９４１は、情報処理装置２０３の欠品検知部３３１が検知した欠品商品であり、報知部３３３から報知された欠品商品に関する情報である。商品ＩＤ９４２は、バックルーム２３０に保管されている商品などを識別するためのデータである。棚番号９４３は、商品が、売場２２０の商品棚２２１のどの位置に陳列されているかや、バックルーム２３０の商品棚２３１のどの位置に保管されているかを示すデータである。フロアマップ９４４は、売場２２０やバックルーム２３０を含む店舗内の地図である。搬送経路９４５は、搬送部７０４が商品を売場２２０に搬送する際に、搬送部７０４が走行するルートである。これらのデータは、例えば、商品テーブル８０１から展開されたデータである。 A RAM 940 is a random access memory used by the CPU 910 as a work area for temporary storage. The RAM 940 has an area for storing data necessary for implementing the present embodiment. The out-of-stock product 941 is the out-of-stock product detected by the out-of-stock detection unit 331 of the information processing device 203 and is information about the out-of-stock product notified by the notification unit 333 . The merchandise ID 942 is data for identifying merchandise stored in the back room 230 . The shelf number 943 is data indicating where the product is displayed on the product shelf 221 of the sales floor 220 and where the product is stored on the product shelf 231 of the back room 230 . Floor map 944 is a map of the inside of the store including sales floor 220 and back room 230 . A transport route 945 is a route along which the transport unit 704 travels when the transport unit 704 transports products to the sales floor 220 . These data are, for example, data expanded from the product table 801 .

入出力データ９４６は、入出力インタフェース９６０を介して入出力されるデータである。送受信データ９４７は、ネットワークインタフェース９３０を介して送受信されるデータである。また、ＲＡＭ９４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域９４８を有する。 The input/output data 946 is data input/output via the input/output interface 960 . The transmitted/received data 947 is data transmitted/received via the network interface 930 . The RAM 940 also has an application execution area 948 for executing various application modules.

ストレージ９５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ９５０は、商品テーブル８０１を格納する。商品テーブル８０１は、図８に示した、商品ＩＤ４１１と、フロアマップ８１１などとの関係を管理するテーブルである。 The storage 950 stores a database, various parameters, or the following data or programs necessary for implementing this embodiment. Storage 950 stores product table 801 . The product table 801 is a table for managing the relationship between the product ID 411 and the floor map 811 shown in FIG.

ストレージ９５０は、さらに、供給モジュール９５１、表示モジュール９５２、生成モジュール９５３および搬送経路決定モジュール９５４を格納する。供給モジュール９５１は、売場２２０に搬送した欠品商品２２３を商品棚２２１の所定の位置に陳列するために、欠品商品２２３を供給するためのモジュールである。表示モジュール９５２は、情報処理装置２０３から報知された欠品商品２２３に関する情報を表示するモジュールである。生成モジュール９５３は、搬送部７０４が店舗内を移動した移動履歴（走行履歴）に基づいて、店舗内の地図であるフロアマップを生成するモジュールである。搬送経路決定モジュール９５４は、搬送部７０４が欠品商品２２３をバックルーム２３０から売場２２０の商品棚２２１へ搬送する場合の搬送経路（走行経路）を決定するモジュールである。これらのモジュール９５１～９５４は、ＣＰＵ９１０によりＲＡＭ９４０のアプリケーション実行領域９４８に読み出され、実行される。制御プログラム９５５は、搬送部７０４の全体を制御するためのプログラムである。 The storage 950 further stores a supply module 951 , display module 952 , generation module 953 and transport route determination module 954 . The supply module 951 is a module for supplying the out-of-stock products 223 transported to the sales floor 220 to display the out-of-stock products 223 at a predetermined position on the product shelf 221 . The display module 952 is a module that displays information about the out-of-stock product 223 notified from the information processing device 203 . The generation module 953 is a module that generates a floor map, which is a map of the inside of the store, based on the movement history (running history) of the transportation unit 704 moving within the store. The transport route determination module 954 is a module that determines a transport route (running route) when the transport unit 704 transports the missing product 223 from the back room 230 to the product shelf 221 of the sales floor 220 . These modules 951 to 954 are read by the CPU 910 into the application execution area 948 of the RAM 940 and executed. The control program 955 is a program for controlling the transport section 704 as a whole.

入出力インタフェース９６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース９６０には、操作部９６１、が接続される。また、入出力インタフェース９６０には、さらに、ＧＰＳ９６３が接続されてもよい。さらに、音声出力部であるスピーカ９６２や、音声入力部であるマイク（図示せず）が接続されてもよい。なお、図９に示したＲＡＭ９４０やストレージ９５０には、搬送部７０４が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。 The input/output interface 960 interfaces input/output data with input/output devices. An operation unit 961 is connected to the input/output interface 960 . A GPS 963 may also be connected to the input/output interface 960 . Further, a speaker 962 as an audio output unit and a microphone (not shown) as an audio input unit may be connected. Note that the RAM 940 and the storage 950 shown in FIG. 9 do not show programs or data relating to the general-purpose functions of the transport unit 704 or other realizable functions.

図１０は、本実施形態に係る情報処理システム７００の搬送部７０４の処理手順を説明するフローチャートである。このフローチャートは、図９のＣＰＵ９１０がＲＡＭ９４０を使用して実行し、図７の搬送部７０４の機能構成部を実現する。 FIG. 10 is a flowchart for explaining the processing procedure of the transport unit 704 of the information processing system 700 according to this embodiment. This flow chart is executed by the CPU 910 in FIG. 9 using the RAM 940, and implements the functional components of the transport unit 704 in FIG.

ステップＳ１００１において、搬送部７０４は、欠品商品に関する情報を取得する。ステップＳ１００３において、搬送部７０４は、表示部３４２に欠品商品２２３に関する情報を表示する。そして、バックルーム２３０の店員２３２が、表示部３４２に表示された欠品商品２２３を搬送部７０４に載せる。なお、搬送部７０４が、欠品商品２２３を自ら取りに行く場合には、このステップＳ１００３は省略してもよい。 In step S1001, the conveying unit 704 acquires information about the out-of-stock product. In step S<b>1003 , the transport unit 704 displays information about the missing product 223 on the display unit 342 . Then, the store clerk 232 in the back room 230 places the missing product 223 displayed on the display unit 342 on the transport unit 704 . It should be noted that this step S1003 may be omitted when the transport unit 704 goes to pick up the missing item 223 by itself.

ステップＳ１００５において、搬送部７０４は、欠品商品２２３を売場２２０の商品棚２２１まで搬送する。ステップＳ１００７において、搬送部７０４は、欠品商品２２３を商品棚２２１の所定の位置にアームなどを用いて供給して、陳列する。なお、欠品商品２２３を店員２２２が商品棚２２１に陳列する場合、ステップＳ１００７は、省略してもよい。ステップＳ１００９において、搬送部７０４は、欠品商品２２３の商品棚２２１への供給が終了したか否かを判断する。供給が終了していないと判断した場合（ステップＳ１００９のＮＯ）、搬送部７０４は、ステップＳ１００１に戻る。供給が終了したと判断した場合（ステップＳ１００９のＹＥＳ）、搬送部７０４は、ステップＳ１０１１に進む。 In step S<b>1005 , the transport unit 704 transports the missing product 223 to the product shelf 221 of the sales floor 220 . In step S1007, the transport unit 704 supplies the missing product 223 to a predetermined position on the product shelf 221 using an arm or the like and displays it. Note that when the store clerk 222 displays the out-of-stock product 223 on the product shelf 221, step S1007 may be omitted. In step S1009, the transport unit 704 determines whether or not the supply of the missing product 223 to the product shelf 221 has ended. If it is determined that the supply has not ended (NO in step S1009), the transport section 704 returns to step S1001. If it is determined that the supply has ended (YES in step S1009), the transport unit 704 proceeds to step S1011.

ステップＳ１０１１において、搬送部７０４は、店舗内の移動履歴に基づいて、フロアマップを生成する。なお、フロアマップの生成のタイミングは、欠品商品２２３の供給が終了したタイミングには限定されず、例えば、搬送部７０４が店舗内を走行中（移動中）にフロアマップを生成してもよい。 In step S1011, the transport unit 704 generates a floor map based on the movement history within the store. Note that the timing of generating the floor map is not limited to the timing when the supply of the out-of-stock product 223 is finished. .

本実施形態によれば、搬送部がフロアマップを生成するので、より効率的に、精度高く、欠品商品を商品棚まで搬送することができる。 According to this embodiment, since the transportation unit generates the floor map, it is possible to more efficiently and accurately transport the out-of-stock product to the product shelf.

［第４実施形態］
次に本発明の第４実施形態に係る情報処理システムについて、図１１Ａ乃至図１１Ｃを用いて説明する。図１１Ａ本実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する側面図である。図１１Ｂは、本実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する正面図である。図１１Ｃは、本実施形態に係る情報処理システムにおける撮像部および移動部の他の例を説明する側面図である [Fourth Embodiment]
Next, an information processing system according to a fourth embodiment of the present invention will be explained using FIGS. 11A to 11C. < Figure 11A >It is the side view which explains one example of the image pickup section and the movement section in the information processing system which relates to this execution form. FIG. 11B is a front view illustrating an example of an imaging unit and a moving unit in the information processing system according to this embodiment. FIG. 11C is a side view illustrating another example of the imaging unit and moving unit in the information processing system according to this embodiment.

本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態と比べると、撮像部および移動部が商品棚の後ろ側に設けられている点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。 The information processing system according to this embodiment differs from the above-described second and third embodiments in that the imaging unit and the moving unit are provided behind the product shelf. Since other configurations and operations are the same as those of the second and third embodiments, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof will be omitted.

図１１Ａに示したように、商品棚２２１が壁１１００を背にして設置されている場合、レール１１１１を壁１１００と商品棚２２１との間に設け、レール１１１１にカメラ１１０１を取り付けてもよい。また、図１１Ｂに示したように、カメラ１１０１を横方向（水平方向）に移動可能なレール１１１２を設けてもよい。このようなレール１１１１，１１１２の配置とすることにより、カメラ１１０１を縦方向（垂直方向）および横方向（水平方向）に移動させることが可能となる。なお、カメラ１１０１を移動させるレールとして、横方向のレール１１１１を設けない場合には、カメラ１１０にパン機能やチルト機能を設けてもよい。 As shown in FIG. 11A , when the product shelf 221 is set against the wall 1100 , a rail 1111 may be provided between the wall 1100 and the product shelf 221 and the camera 1101 may be attached to the rail 1111 . Also, as shown in FIG. 11B, a rail 1112 that allows the camera 1101 to move laterally (horizontally) may be provided. By arranging the rails 1111 and 1112 in this way, it becomes possible to move the camera 1101 in the longitudinal direction (vertical direction) and the lateral direction (horizontal direction). If the horizontal rail 1111 is not provided as a rail for moving the camera 1101, the camera 110 may be provided with a pan function and a tilt function.

また、図１１Ｃに示したように、商品棚２２１が背中合わせで設置されている場合、商品棚２２１の間にレール１１１２を設け、レール１１１２にカメラ１１０１を取り付けてもよい。この場合、カメラ１１０１を横方向に移動させることができるレール１１１２を設けてもよい。さらに、レール１１１２を設けない場合には、カメラ１１０１にパン機能やチルト機能を設けて、カメラ１１０１の正面にある商品棚２２１や背面にある商品棚２２１を撮像できるようにしてもよい。 Also, as shown in FIG. 11C , when the product shelves 221 are installed back to back, rails 1112 may be provided between the product shelves 221 and the camera 1101 may be attached to the rails 1112 . In this case, a rail 1112 may be provided to allow the camera 1101 to move laterally. Furthermore, when the rail 1112 is not provided, the camera 1101 may be provided with a pan function and a tilt function so that the product shelf 221 in front of the camera 1101 and the product shelf 221 in the rear thereof can be imaged.

また、この他にも、レール１１１１などの代わりに店舗の天井にロープを這わせて、このロープにカメラ１１０１を吊り下げて移動させてもよい。さらに、ドローンなどの無人機にカメラ１１０１を設けて、店舗内を移動させてもよい。 Alternatively, instead of the rail 1111 or the like, a rope may be run along the ceiling of the store, and the camera 1101 may be suspended from this rope and moved. Further, an unmanned device such as a drone may be provided with the camera 1101 to move within the store.

本実施形態によれば、商品棚の裏側に撮像部および移動部を設けたので、来店客が商品を見ている場合であっても邪魔にならずに、商品の欠品を検知することができる。また、撮像部を垂直方向に容易に移動させることができる。 According to this embodiment, since the imaging unit and the moving unit are provided on the back side of the product shelf, it is possible to detect the shortage of products without disturbing customers looking at the products. can. Also, the imaging unit can be easily moved in the vertical direction.

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。 [Other embodiments]
Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. Also, any system or apparatus that combines separate features included in each embodiment is also included in the scope of the present invention.

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable when an information processing program that implements the functions of the embodiments is directly or remotely supplied to a system or apparatus. Therefore, in order to implement the functions of the present invention on a computer, a program installed in a computer, a medium storing the program, and a WWW (World Wide Web) server from which the program is downloaded are also included in the scope of the present invention. . In particular, non-transitory computer readable media storing programs that cause a computer to perform at least the processing steps included in the above-described embodiments are included within the scope of the present invention.

Claims (8)

商品棚を撮像する少なくとも１つの撮像手段と、
前記撮像手段が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品をバックルームから店舗内に搬送する搬送手段と、
を備え、
前記搬送手段は、
前記店舗内を自走可能であり、前記店舗内の移動履歴に基づいてフロアマップを生成する生成手段と、
生成した前記フロアマップに基づいて、前記欠品商品を前記店舗内に搬送する搬送経路を決定する搬送経路決定手段と、
を有する情報処理システム。 at least one imaging means for imaging the product shelf;
a missing item detecting means for detecting a missing item based on the image of the product shelf captured by the imaging means;
a conveying means for conveying the missing item detected by the missing item detecting means from the back room to the inside of the store;
with
The conveying means is
a generating means capable of self-propelled within the store and generating a floor map based on a movement history within the store;
a transport route determining means for determining a transport route for transporting the out-of-stock product to the store based on the generated floor map;
An information processing system having 所定のタイミングで前記撮像手段の撮像を制御する制御手段をさらに備えた請求項１に記載の情報処理システム。 2. An information processing system according to claim 1, further comprising control means for controlling imaging by said imaging means at a predetermined timing. 前記欠品商品の情報を報知する報知手段をさらに備えた請求項１または２に記載の情報処理システム。 3. The information processing system according to claim 1, further comprising notification means for notifying information of said out-of-stock product. 前記報知手段から報知された前記欠品商品の情報を表示する表示手段をさらに備えた請求項３に記載の情報処理システム。 4. The information processing system according to claim 3, further comprising display means for displaying the information of said out-of-stock product notified by said notification means. 前記表示手段は、前記搬送手段に設置されている請求項４に記載の情報処理システム。 5. The information processing system according to claim 4, wherein said display means is installed on said conveying means. 前記搬送手段は、前記欠品商品を商品棚の所定の位置に供給する供給手段をさらに有する請求項１乃至５のいずれか１項に記載の情報処理システム。 6. The information processing system according to any one of claims 1 to 5, wherein said conveying means further comprises supply means for supplying said missing item to a predetermined position on a product shelf. 前記撮像手段を移動させる移動手段をさらに備え、
前記移動手段は、前記店舗に設置されたレールを含む請求項１乃至６のいずれか１項に記載の情報処理システム。 Further comprising moving means for moving the imaging means,
7. The information processing system according to any one of claims 1 to 6, wherein said moving means includes a rail installed at said store. 前記レールは、前記店舗の天井に設置されている請求項７に記載の情報処理システム。 8. The information processing system according to claim 7, wherein said rail is installed on the ceiling of said store.
JP2017040120A 2017-03-03 2017-03-03 Information processing system Active JP7106815B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017040120A JP7106815B2 (en) 2017-03-03 2017-03-03 Information processing system
PCT/JP2018/001369 WO2018159132A1 (en) 2017-03-03 2018-01-18 Information processing system, information processing device, information processing method, and information processing program
US16/489,773 US20200242541A1 (en) 2017-03-03 2018-01-18 Information processing system, information processing apparatus, information processing method, and information processing program
CN201880015441.5A CN110383315B (en) 2017-03-03 2018-01-18 Information processing system, information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017040120A JP7106815B2 (en) 2017-03-03 2017-03-03 Information processing system

Publications (2)

Publication Number Publication Date
JP2018147138A JP2018147138A (en) 2018-09-20
JP7106815B2 true JP7106815B2 (en) 2022-07-27

Family

ID=63588821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017040120A Active JP7106815B2 (en) 2017-03-03 2017-03-03 Information processing system

Country Status (1)

Country Link
JP (1) JP7106815B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378650B (en) * 2019-07-12 2024-05-17 灵动科技（北京）有限公司 Intelligent logistics vehicle checking system combined with unmanned aerial vehicle
JP6754987B1 (en) * 2019-08-29 2020-09-16 パナソニックＩｐマネジメント株式会社 Business support system, business support device, business support method, and computer program
JP7493716B2 (en) 2020-06-19 2024-06-03 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL SYSTEM
JP7336708B2 (en) * 2020-08-05 2023-09-01 パナソニックＩｐマネジメント株式会社 Business support system, business support device, terminal, business support method, business method, and computer program
JP7474857B2 (en) 2020-08-24 2024-04-25 株式会社Fuji Control device, delivery system and control method
EP4245692A4 (en) 2020-11-10 2024-01-03 Fuji Corporation Conveyance system and conveyance method
CN115180334B (en) * 2022-06-02 2024-06-14 云南昆船设计研究院有限公司 Intelligent tobacco cage replenishment scheduling and conveying method and system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (en) 1999-09-20 2001-04-03 Fujitsu General Ltd Stocktaking managing method and stocktaking system by image recognition
JP2004231370A (en) 2003-01-31 2004-08-19 Shiseido Co Ltd Picking facility
JP2005067876A (en) 2003-08-27 2005-03-17 Hitachi Ltd Information processing device, picking article control method, program, and recording medium
WO2015079622A1 (en) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 Product monitoring device, product monitoring system, and product monitoring method
WO2016132534A1 (en) 2015-02-20 2016-08-25 株式会社日立物流 Warehouse management system, warehouse, and warehouse management method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (en) 1999-09-20 2001-04-03 Fujitsu General Ltd Stocktaking managing method and stocktaking system by image recognition
JP2004231370A (en) 2003-01-31 2004-08-19 Shiseido Co Ltd Picking facility
JP2005067876A (en) 2003-08-27 2005-03-17 Hitachi Ltd Information processing device, picking article control method, program, and recording medium
WO2015079622A1 (en) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 Product monitoring device, product monitoring system, and product monitoring method
WO2016132534A1 (en) 2015-02-20 2016-08-25 株式会社日立物流 Warehouse management system, warehouse, and warehouse management method

Also Published As

Publication number Publication date
JP2018147138A (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP7106815B2 (en) Information processing system
WO2018159132A1 (en) Information processing system, information processing device, information processing method, and information processing program
RU2542932C1 (en) Perfected procedure and system for processing of info of maps for navigation of industrial vehicles
US20170193430A1 (en) Restocking shelves based on image data
US9636825B2 (en) Robotic logistics system
EP3434626B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
CA3128208C (en) Robot assisted personnel routing
JP6956192B2 (en) Robot ad hoc network
JP2020502649A (en) Intelligent service robot and related systems and methods
US20200239231A1 (en) Robot dwell time minimization in warehouse order fulfillment operations
JP7505524B2 (en) Information processing system, information processing device, information processing method, and information processing program
EP3434623B1 (en) Projection indicator, cargo assortment system, and projection indicating method
EP3434621A1 (en) Instruction projecting device, package sorting system and instruction projecting method
AU2023274066A1 (en) System, method and apparatus for a monitoring drone
Kumar et al. Remote retail monitoring and stock assessment using mobile robots
EP3434625B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
CN211979508U (en) Replenishment robot and robot adaptation replenishment system
WO2021039210A1 (en) Transport system, control device, transport method, and program
JP7194884B2 (en) Luggage sorting system, projection instruction device, projection instruction method
CN111610790A (en) Remote control device, automatic guide transport vehicle, warehouse control device and system thereof
JP2021017324A (en) Robot system, information processing device, control method of the same, and program
US20180299901A1 (en) Hybrid Remote Retrieval System
US20240135315A1 (en) Systems and methods of detecting price tags and associating the price tags with products
US20240232795A9 (en) Systems and methods of detecting price tags and associating the price tags with products
EP3434624B1 (en) Projection instruction device, parcel sorting system, and projection instruction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R151 Written notification of patent or utility model registration

Ref document number: 7106815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151