JP2018147138A - Information processing system, information processing apparatus, information processing method, and information processing program - Google Patents

Information processing system, information processing apparatus, information processing method, and information processing program Download PDF

Info

Publication number
JP2018147138A
JP2018147138A JP2017040120A JP2017040120A JP2018147138A JP 2018147138 A JP2018147138 A JP 2018147138A JP 2017040120 A JP2017040120 A JP 2017040120A JP 2017040120 A JP2017040120 A JP 2017040120A JP 2018147138 A JP2018147138 A JP 2018147138A
Authority
JP
Japan
Prior art keywords
product
information processing
imaging
unit
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017040120A
Other languages
Japanese (ja)
Other versions
JP7106815B2 (en
Inventor
金野　大
Masaru Konno
大 金野
岩元　浩太
Kota Iwamoto
浩太 岩元
可菜子 多賀
Kanako Taga
可菜子 多賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017040120A priority Critical patent/JP7106815B2/en
Priority to US16/489,773 priority patent/US20200242541A1/en
Priority to CN201880015441.5A priority patent/CN110383315B/en
Priority to PCT/JP2018/001369 priority patent/WO2018159132A1/en
Publication of JP2018147138A publication Critical patent/JP2018147138A/en
Application granted granted Critical
Publication of JP7106815B2 publication Critical patent/JP7106815B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To more efficiently manage commodities.SOLUTION: An information processing system comprises: at least one imaging part; a moving part; a stockout detection part; and a conveying part. The at least one imaging part picks up an image of a commodity shelf. The moving part moves the at least one imaging part. The stockout detection part detects stockout of a commodity on the basis of the image of the commodity shelf picked up by the at least one imaging part. The conveying part conveys the stockout commodity detected by the stockout detection part from a back room into the shop.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムに関する。   The present invention relates to an information processing system, an information processing apparatus, an information processing method, and an information processing program.

上記技術分野において、特許文献１には、状態監視エリアの商品の陳列不足状態を判定し、状態監視エリアごとに商品の不足程度に応じ陳列状態表示画像を陳列エリアの映像上に重畳する技術が開示されている。   In the above technical field, Patent Document 1 discloses a technique for determining an insufficient display state of a product in a state monitoring area and superimposing a display state display image on a video in the display area according to the shortage of the product for each state monitoring area. It is disclosed.

特開２０１６−５８１０５号公報Japanese Patent Laid-Open No. 2006-58105

しかしながら、上記文献に記載の技術では、より効率的に商品管理をすることができなかった。   However, the techniques described in the above documents cannot manage the products more efficiently.

本発明の目的は、上述の課題を解決する技術を提供することにある。   The objective of this invention is providing the technique which solves the above-mentioned subject.

上記目的を達成するため、本発明に係る情報処理システムは、
商品棚を撮像する少なくとも１つの撮像手段と、
前記撮像手段を移動させる移動手段と、
前記撮像手段が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品をバックルームから店舗内に搬送する搬送手段と、
を備えた。 In order to achieve the above object, an information processing system according to the present invention provides:
At least one imaging means for imaging the product shelf;
Moving means for moving the imaging means;
Based on the image of the product shelf imaged by the imaging unit, a shortage detection unit that detects a product shortage,
Transport means for transporting the shortage product detected by the shortage detection means from the back room into the store;
Equipped with.

上記目的を達成するため、本発明に係る情報処理装置は、
商品棚を撮像する少なくとも１つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御手段と、
前記撮像手段が撮像した画像を取得する画像取得手段と、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品に関する情報を報知する報知手段と、
を備えた。 In order to achieve the above object, an information processing apparatus according to the present invention provides:
Control means for controlling imaging of at least one imaging means for imaging a commodity shelf and moving means for moving the imaging means;
Image acquisition means for acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection means for detecting a missing item of the product,
An informing means for informing information on the out-of-stock product detected by the out-of-stock detecting means;
Equipped with.

上記目的を達成するため、本発明に係る情報処理方法は、
商品棚を撮像する少なくとも１つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御ステップと、
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
を含む。 In order to achieve the above object, an information processing method according to the present invention includes:
A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
including.

上記目的を達成するため、本発明に係る情報処理プログラムは、
商品棚を撮像する少なくとも１つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御ステップと、
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
をコンピュータに実行させる。 In order to achieve the above object, an information processing program according to the present invention provides:
A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
Is executed on the computer.

本発明によれば、より効率的に商品管理をすることができる。   According to the present invention, merchandise can be managed more efficiently.

本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which concerns on 1st Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムの概略を説明する図である。It is a figure explaining the outline of the information processing system concerning a 2nd embodiment of the present invention. 本発明の第２実施形態に係る情報処理システムにおける売場の概略を説明する図である。It is a figure explaining the outline of the sales floor in the information processing system concerning a 2nd embodiment of the present invention. 本発明の第２実施形態に係る情報処理システムにおけるバックルームの概略を説明する図である。It is a figure explaining the outline of the back room in the information processing system concerning a 2nd embodiment of the present invention. 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置の備える商品テーブルの一例を示す図である。It is a figure which shows an example of the goods table with which the information processing apparatus contained in the information processing system which concerns on 2nd Embodiment of this invention is provided. 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成を説明するブロック図である。It is a block diagram explaining the hardware constitutions of the information processing apparatus contained in the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムの情報処理装置の処理手順を説明するフローチャートである。It is a flowchart explaining the process sequence of the information processing apparatus of the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第３実施形態に係る情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which concerns on 3rd Embodiment of this invention. 本発明の第３実施形態に係る情報処理システムに含まれる情報処理装置の備える制御テーブルの一例を示す図である。It is a figure which shows an example of the control table with which the information processing apparatus contained in the information processing system which concerns on 3rd Embodiment of this invention is provided. 本発明の第３実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成を説明するブロック図である。It is a block diagram explaining the hardware constitutions of the information processing apparatus contained in the information processing system which concerns on 3rd Embodiment of this invention. 本発明の第３実施形態に係る情報処理システムの情報処理装置の処理手順を説明するフローチャートである。It is a flowchart explaining the process sequence of the information processing apparatus of the information processing system which concerns on 3rd Embodiment of this invention. 本発明の第４実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する側面図である。It is a side view explaining an example of an image pick-up part and a move part in an information processing system concerning a 4th embodiment of the present invention. 本発明の第４実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する正面図である。It is a front view explaining an example of an image pick-up part and a move part in an information processing system concerning a 4th embodiment of the present invention. 本発明の第４実施形態に係る情報処理システムにおける撮像部および移動部の他の例を説明する側面図である。It is a side view explaining other examples of an image pick-up part and a move part in an information processing system concerning a 4th embodiment of the present invention.

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be exemplarily described in detail with reference to the drawings. However, the configuration, numerical values, process flow, functional elements, and the like described in the following embodiments are merely examples, and modifications and changes are free, and the technical scope of the present invention is described in the following description. It is not intended to be limited.

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、商品の欠品を検知して、欠品商品を店舗内に搬送するシステムである。 [First Embodiment]
An information processing system 100 as a first embodiment of the present invention will be described with reference to FIG. The information processing system 100 is a system that detects a missing product and transports the missing product to the store.

図１に示すように、情報処理システム１００は、撮像部１０１と、移動部１０２と、欠品検知部１０３と、搬送部１０４と、を含む。   As illustrated in FIG. 1, the information processing system 100 includes an imaging unit 101, a moving unit 102, a missing part detection unit 103, and a transport unit 104.

撮像部１０１は、商品棚を撮像する。また、撮像部１０１は、少なくとも１つある。移動部１０２は、撮像部１０１を移動させる。欠品検知部１０３は、撮像部１０１が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する。搬送部１０４は、欠品検知部１０３が検知した欠品商品をバックルームから店舗内に搬送する。   The imaging unit 101 images the product shelf. There is at least one imaging unit 101. The moving unit 102 moves the imaging unit 101. The missing item detection unit 103 detects a missing item of the product based on the image of the product shelf captured by the imaging unit 101. The transport unit 104 transports the missing product detected by the missing product detection unit 103 from the back room to the store.

本実施形態によれば、より効率的に商品管理をすることができる。   According to this embodiment, merchandise can be managed more efficiently.

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システムについて、図２Ａ乃至図６を用いて説明する。図２Ａは、本実施形態に係る情報処理システム２００の概略を説明する図である。図２Ｂは、本実施形態に係る情報処理システム２００における売場の概略を説明する図である。図２Ｃは、本実施形態に係る情報処理システム２００におけるバックルームの概略を説明する図である。 [Second Embodiment]
Next, an information processing system according to a second embodiment of the present invention will be described with reference to FIGS. 2A to 6. FIG. 2A is a diagram illustrating an outline of the information processing system 200 according to the present embodiment. FIG. 2B is a diagram illustrating an outline of a sales floor in the information processing system 200 according to the present embodiment. FIG. 2C is a diagram illustrating an outline of a back room in the information processing system 200 according to the present embodiment.

情報処理システム２００は、例えば、コンビニエンスストアやスパーマーケットなどにおいて、商品棚の欠品商品を検知して、バックルームに保管されている在庫商品を売場まで搬送するシステムである。   The information processing system 200 is a system that detects, for example, a missing product in a product shelf in a convenience store or a supermarket, and transports a stock product stored in a back room to a sales floor.

情報処理システム２００は、カメラ２０１、情報処理装置２０３および搬送ロボット２０４を備える。カメラ２０１は、店舗内を移動して売場２２０の商品棚２２１を撮像する。そして、カメラ２０１で撮像した商品棚２２１の画像は情報処理装置２０３へ送られる。なお、カメラ２０１は、店舗の天井に設置されたレール２１１により店舗内を移動可能となっている。また、ここでは、カメラ２０１が１台の例を用いて説明をするが、カメラ２０１は複数台であってもよい。さらに、ここでは、カメラ２０１は、水平方向（ＸＹ方向）に移動する例で説明をするが、例えば、垂直方向（Ｚ方向）に移動可能であってもよい。   The information processing system 200 includes a camera 201, an information processing device 203, and a transfer robot 204. The camera 201 moves in the store and images the product shelf 221 of the sales floor 220. Then, the image of the product shelf 221 captured by the camera 201 is sent to the information processing device 203. The camera 201 can be moved in the store by a rail 211 installed on the ceiling of the store. In addition, here, an example in which there is one camera 201 will be described, but a plurality of cameras 201 may be provided. Furthermore, here, the camera 201 is described as an example of moving in the horizontal direction (XY direction), but may be movable in the vertical direction (Z direction), for example.

情報処理装置２０３は、カメラ２０１から送られた商品棚２２１の画像に基づいて、商品の欠品を検知する。そして、検知した欠品商品２２３に関する情報をバックルーム２３０の搬送ロボット２０４に報知する。なお、欠品商品２２３に関する情報の報知先は、搬送ロボット２０４には限られず、例えば、バックルーム２３０に設置された表示ディスプレイ２３３に表示して、バックルーム２３０の店員２３２に知らせてもよい。なお、表示ディスプレイ２３３は、搬送ロボット２０４に設けてもよい。   The information processing apparatus 203 detects a missing product based on the image of the product shelf 221 sent from the camera 201. Then, the detected information about the missing product 223 is notified to the transfer robot 204 in the back room 230. Note that the notification destination of the information regarding the shortage product 223 is not limited to the transfer robot 204, and may be displayed on the display 233 installed in the back room 230 to notify the store clerk 232 of the back room 230, for example. Note that the display 233 may be provided in the transport robot 204.

また、情報処理装置２０３は、カメラ２０１による撮像やカメラ２０１の移動を制御する。なお、カメラ２０１が、例えば、自律制御型のカメラであれば、情報処理装置２０３による制御は不要となる。   Further, the information processing apparatus 203 controls imaging by the camera 201 and movement of the camera 201. Note that if the camera 201 is, for example, an autonomous control type camera, control by the information processing device 203 is not necessary.

そして、欠品商品２２３に関する情報を報知された搬送ロボット２０４は、商品棚２３１から欠品商品２２３を取り出し、搬送ロボット２０４に載せて、売場２２０（店舗内）に搬送する。なお、バックルーム２３０の店員２３２に欠品商品２２３に関する情報を報知した場合には、店員２３２が欠品商品２２３を商品棚２３１から取り出して、搬送ロボット２０４に載せてもよい。   Then, the transfer robot 204 notified of the information regarding the missing product 223 takes out the missing product 223 from the product shelf 231, places it on the transfer robot 204, and transports it to the sales floor 220 (in the store). When the information regarding the missing item 223 is notified to the store 232 in the back room 230, the store 232 may take out the missing item 223 from the item shelf 231 and place it on the transport robot 204.

搬送ロボット２０４は、自動で、売場２２０内の目的地まで走行し、欠品商品２２３を棚まで搬送する。そして、売場２２０の店員２２２は、搬送された欠品商品２２３を商品棚２２１に陳列する。なお、例えば、搬送ロボット２０４に商品供給用のアームを設けて、搬送ロボット２０４が自動的に商品棚２２１に欠品商品２２３を供給するようにしてもよい。   The transport robot 204 automatically travels to the destination in the sales floor 220 and transports the missing product 223 to the shelf. Then, the store clerk 222 of the sales floor 220 displays the conveyed shortage product 223 on the product shelf 221. Note that, for example, a product supply arm may be provided in the transport robot 204 so that the transport robot 204 automatically supplies the missing product 223 to the product shelf 221.

図３は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。情報処理システム２００は、撮像部３０１、移動部３０２、情報処理装置２０３および搬送部３０４を備える。   FIG. 3 is a block diagram illustrating a configuration of the information processing system 200 according to the present embodiment. The information processing system 200 includes an imaging unit 301, a moving unit 302, an information processing device 203, and a transport unit 304.

撮像部３０１は、例えば、カメラ２０１などであり、店舗内を移動して商品棚２２１を撮像する。撮像部３０１は、撮像した商品棚２２１の画像を情報処理装置２０３へと送信する。なお、撮像部３０１が撮像する画像は静止画であるが、動画であってもよい。   The imaging unit 301 is, for example, a camera 201 and the like, and images the product shelf 221 by moving in the store. The imaging unit 301 transmits the captured image of the product shelf 221 to the information processing apparatus 203. Note that the image captured by the imaging unit 301 is a still image, but may be a moving image.

移動部３０２は、例えば、レール２１１などを含む。移動部３０２は、例えば、滑車などを含むアタッチメントをさらに含み、撮像部３０１は、このアタッチメントを介してレール２１１に取り付けられ、店舗内を移動できるようになっている。   The moving unit 302 includes, for example, a rail 211 and the like. The moving unit 302 further includes an attachment including, for example, a pulley, and the imaging unit 301 is attached to the rail 211 via the attachment and can move in the store.

情報処理装置２０３は、欠品検知部３３１、制御部３３２および報知部３３３を有する。欠品検知部３３１は、撮像部３０１から受信した商品棚２２１の画像に基づいて、欠品した商品を検知する。   The information processing apparatus 203 includes a missing part detection unit 331, a control unit 332, and a notification unit 333. The missing item detection unit 331 detects a missing product based on the image of the product shelf 221 received from the imaging unit 301.

制御部３３２は、所定のタイミングで、撮像部３０１による撮像や、移動部３０２による撮像部３０１の移動を制御する。   The control unit 332 controls imaging by the imaging unit 301 and movement of the imaging unit 301 by the moving unit 302 at a predetermined timing.

報知部３３３は、欠品検知部３３１が検知した欠品商品２２３に関する情報、例えば、商品名や商品の型番、商品の写真、商品が保管されている場所などを搬送部３０４に報知する。   The notification unit 333 notifies the conveyance unit 304 of information related to the shortage product 223 detected by the shortage detection unit 331, such as a product name, a product model number, a product photo, and a location where the product is stored.

搬送部３０４は、欠品商品２２３を搬送する自走型のロボットであり、例えば、搬送ロボット２０４である。そして、搬送部３０４は、供給部３４１と表示部３４２とを有する。供給部３４１は、搬送部３０４に載せた欠品商品２２３を商品棚２２１に陳列するために、供給する。供給部３４１は、例えば、搬送部３０４に載せた欠品商品２２３を掴んで、搬送部３０４から商品棚２２１に移動するアームなどである。または、供給部３４１は、板状の部材であり、板の上に欠品商品２２３を載せて、欠品商品２２３を商品棚２２１に滑り込ませるように供給するものなどであってもよく、欠品商品２２３を商品棚２２１に供給可能なものであればこれらには限定されない。   The transport unit 304 is a self-propelled robot that transports the shortage product 223, for example, the transport robot 204. The transport unit 304 includes a supply unit 341 and a display unit 342. The supply unit 341 supplies the missing product 223 placed on the transport unit 304 in order to display it on the product shelf 221. The supply unit 341 is, for example, an arm that grips the missing product 223 placed on the transport unit 304 and moves from the transport unit 304 to the product shelf 221. Alternatively, the supply unit 341 may be a plate-shaped member that supplies the missing product 223 on the plate and slides the missing product 223 into the product shelf 221. The product 223 is not limited to this as long as the product 223 can be supplied to the product shelf 221.

表示部３４２は、情報処理装置２０３の報知部３３３から報知された欠品商品２２３に関する情報を表示する。表示部３４２は、例えば、モニターやディスプレイなどである。なお、表示部３４２に欠品商品２２３に関する情報を表示するとともに、音や光などを発してもよい。これにより、欠品商品２２３が報知されたことを店員２３２に対しても報知することができる。   The display unit 342 displays information regarding the missing product 223 notified from the notification unit 333 of the information processing apparatus 203. The display unit 342 is, for example, a monitor or a display. In addition, while displaying the information regarding the missing product 223 on the display unit 342, a sound, light, or the like may be emitted. Accordingly, it is possible to notify the store clerk 232 that the shortage product 223 has been notified.

図４は、本実施形態に係る情報処理システムに含まれる情報処理装置２０３の備える商品テーブル４０１の一例を示す図である。商品テーブル４０１は、商品ＩＤ（Identifier）４１１に関連付けて在庫状況４１２および棚番号４１３を記憶する。商品ＩＤ４１１は、商品を識別するための識別子である。在庫状況４１２は、商品の在庫があるか否かを示す。棚番号４１３は、商品が、売場２２０の商品棚２２１のどこに陳列されるか、およびバックルーム２３０の商品棚２３１のどの場所に保管してあるかを示す。情報処理装置２０３は、例えば、商品テーブル４０１を参照して、欠品商品２２３を補充する。   FIG. 4 is a diagram illustrating an example of a product table 401 included in the information processing apparatus 203 included in the information processing system according to the present embodiment. The product table 401 stores an inventory status 412 and a shelf number 413 in association with a product ID (Identifier) 411. The product ID 411 is an identifier for identifying a product. The stock status 412 indicates whether or not the product is in stock. The shelf number 413 indicates where the product is displayed on the product shelf 221 of the sales floor 220 and where the product is stored on the product shelf 231 of the back room 230. For example, the information processing apparatus 203 refers to the product table 401 and replenishes the missing product 223.

図５は、本実施形態に係る情報処理システムに含まれる情報処理装置２０３のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)５１０は、演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２０３の機能構成部を実現する。ＣＰＵ５１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース５６０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ５４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。   FIG. 5 is a block diagram illustrating a hardware configuration of the information processing apparatus 203 included in the information processing system according to the present embodiment. A CPU (Central Processing Unit) 510 is a processor for arithmetic control, and implements a functional component of the information processing apparatus 203 in FIG. 3 by executing a program. The CPU 510 may include a plurality of processors and execute different programs, modules, tasks, threads, and the like in parallel. A ROM (Read Only Memory) 520 stores fixed data such as initial data and programs and other programs. The network interface 530 communicates with other devices via the network. Note that the number of CPUs 510 is not limited to one, and may be a plurality of CPUs or may include a graphics processing unit (GPU) for image processing. The network interface 530 preferably includes a CPU independent of the CPU 510 and writes or reads transmission / reception data in a RAM (Random Access Memory) 540 area. It is desirable to provide a DMAC (Direct Memory Access Controller) that transfers data between the RAM 540 and the storage 550 (not shown). Furthermore, the input / output interface 560 preferably has a CPU independent of the CPU 510 and writes or reads input / output data in the RAM 540 area. Therefore, the CPU 510 recognizes that the data has been received or transferred to the RAM 540 and processes the data. Further, the CPU 510 prepares the processing result in the RAM 540 and leaves the subsequent transmission or transfer to the network interface 530, the DMAC, or the input / output interface 560.

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。棚画像５４１は、カメラ２０１で撮像した店舗内の売場２２０にある商品棚２２１を撮像した画像である。検知欠品商品５４２は、カメラ２０１で撮像した商品棚２２１の画像に基づいて、検知した欠品商品２２３である。商品ＩＤ５４３は、店舗内の売場２２０で販売している商品やバックルーム２３０に保管されている商品などを識別するためのデータである。棚番号５４５は、商品が、売場２２０の商品棚２２１のどの位置に陳列されているか、あるいは、バックルーム２３０の商品棚２３１のどの位置に保管されているかを示すデータである。これらのデータは、例えば、商品テーブル４０１から展開される。   The RAM 540 is a random access memory used by the CPU 510 as a work area for temporary storage. In the RAM 540, an area for storing data necessary for realizing the present embodiment is secured. The shelf image 541 is an image obtained by capturing the product shelf 221 in the sales floor 220 in the store captured by the camera 201. The detected missing product 542 is a missing product 223 detected based on the image of the product shelf 221 captured by the camera 201. The product ID 543 is data for identifying a product sold at the sales floor 220 in the store, a product stored in the back room 230, and the like. The shelf number 545 is data indicating where the product is displayed on the product shelf 221 of the sales floor 220 or where the product is stored on the product shelf 231 of the back room 230. These data are developed from the product table 401, for example.

入出力データ５４６は、入出力インタフェース５６０を介して入出力されるデータである。送受信データ５４７は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４８を有する。   The input / output data 546 is data input / output via the input / output interface 560. Transmission / reception data 547 is data transmitted / received via the network interface 530. The RAM 540 includes an application execution area 548 for executing various application modules.

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、商品テーブル４０１を格納する。商品テーブル４０１は、図４に示した、商品ＩＤ４１１と、在庫状況４１２や棚番号４１３などとの関係を管理するテーブルである。   The storage 550 stores a database, various parameters, or the following data or programs necessary for realizing the present embodiment. The storage 550 stores a product table 401. The product table 401 is a table for managing the relationship between the product ID 411 and the inventory status 412 and the shelf number 413 shown in FIG.

ストレージ５５０は、さらに、欠品検知モジュール５５１、制御モジュール５５２および報知モジュール５５３を格納する。   The storage 550 further stores a shortage detection module 551, a control module 552, and a notification module 553.

欠品検知モジュール５５１は、カメラ２０１で撮像した商品棚２２１の画像に基づいて、商品の欠品を検知するモジュールである。制御モジュール５５２は、カメラ２０１による撮像や、カメラ２０１の移動を制御するモジュールである。報知モジュール５５３は、欠品商品２２３に関する情報を搬送部３０４などに報知するモジュールである。これらのモジュール５５１〜５５３は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４８に読み出され、実行される。制御プログラム５５４は、情報処理装置２０３の全体を制御するためのプログラムである。   The missing item detection module 551 is a module that detects a missing item of the product based on the image of the product shelf 221 captured by the camera 201. The control module 552 is a module that controls imaging by the camera 201 and movement of the camera 201. The notification module 553 is a module that notifies the transport unit 304 and the like of information related to the shortage product 223. These modules 551 to 553 are read by the CPU 510 into the application execution area 548 of the RAM 540 and executed. The control program 554 is a program for controlling the entire information processing apparatus 203.

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２０３が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。   The input / output interface 560 interfaces input / output data with input / output devices. A display unit 561 and an operation unit 562 are connected to the input / output interface 560. Further, a storage medium 564 may be further connected to the input / output interface 560. Furthermore, a speaker 563 that is an audio output unit, a microphone (not shown) that is an audio input unit, or a GPS position determination unit may be connected. Note that the RAM 540 and the storage 550 shown in FIG. 5 do not show programs and data related to general-purpose functions and other realizable functions that the information processing apparatus 203 has.

図６は、本実施形態に係る情報処理システム２００の情報処理装置２０３の処理手順を説明するフローチャートである。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２０３の機能構成部を実現する。   FIG. 6 is a flowchart for explaining the processing procedure of the information processing apparatus 203 of the information processing system 200 according to the present embodiment. This flowchart is executed by the CPU 510 in FIG. 5 using the RAM 540, and implements the functional components of the information processing apparatus 203 in FIG.

ステップＳ６０１において、情報処理装置２０３は、撮像部３０１の移動および撮像を制御して、撮像部３０１に売場２２０の商品棚２２１の画像を撮像させる。ステップＳ６０３において、情報処理装置２０３は、撮像部３０１から商品棚２２１の画像を取得する。ステップＳ６０５において、情報処理装置２０３は、取得した商品棚２２１の画像に基づいて、商品の欠品を検知する。ステップＳ６０７において、情報処理装置２０３は、例えば、搬送部３０４に対して、欠品商品２２３に関する情報を報知する。ステップＳ６０９において、情報処理装置２０３は、さらに、欠品商品２２３の検知が必要か否かを判断する。欠品商品２２３の検知が必要な場合（ステップＳ６０９のＹＥＳ）、情報処理装置２０３は、ステップＳ６０１へ戻る。欠品商品２２３の検知が必要ない場合（ステップＳ６０９のＮＯ）、情報処理装置２０３は、処理を終了する。   In step S <b> 601, the information processing apparatus 203 controls the movement and imaging of the imaging unit 301 and causes the imaging unit 301 to capture an image of the product shelf 221 of the sales floor 220. In step S <b> 603, the information processing apparatus 203 acquires an image of the product shelf 221 from the imaging unit 301. In step S <b> 605, the information processing apparatus 203 detects a product shortage based on the acquired image of the product shelf 221. In step S <b> 607, the information processing apparatus 203 notifies the transport unit 304 of information regarding the missing product 223, for example. In step S609, the information processing apparatus 203 further determines whether it is necessary to detect the missing product 223. If it is necessary to detect the missing product 223 (YES in step S609), the information processing apparatus 203 returns to step S601. When it is not necessary to detect the missing product 223 (NO in step S609), the information processing apparatus 203 ends the process.

本実施形態によれば、より効率的に欠品商品を店舗内に搬送することができる。また、欠品商品を搬送ロボットで売場まで搬送するので、店員の手間を大幅に削減することができる。さらに、搬送ロボットに欠品商品の陳列を行わせれば、欠品商品の検知から商品の陳列までを自動化することができ、店員の手間をさらに大幅に削減することができる。さらにまた、欠品商品の検知を自動化できるので、来店客に対する販売機会の損失を防止できる。   According to the present embodiment, it is possible to more efficiently transport the shortage product into the store. Moreover, since the shortage product is transported to the sales floor by the transport robot, the labor of the store clerk can be greatly reduced. Furthermore, if the missing goods are displayed on the transfer robot, it is possible to automate from the detection of the missing goods to the display of the goods, and the labor of the store clerk can be further greatly reduced. Furthermore, since the detection of missing items can be automated, loss of sales opportunities for customers can be prevented.

［第３実施形態］
次に本発明の第３実施形態に係る情報処理システム７００について、図７乃至図１０を用いて説明する。図７は、本実施形態に係る情報処理システム７００の構成を説明するための図である。本実施形態に係る情報処理システム７００は、上記第２実施形態と比べると、情報処理装置が画像取得部を有し、搬送部が生成部および搬送経路決定部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。 [Third Embodiment]
Next, an information processing system 700 according to the third embodiment of the present invention will be described with reference to FIGS. FIG. 7 is a diagram for explaining the configuration of the information processing system 700 according to the present embodiment. The information processing system 700 according to the present embodiment is different from the second embodiment in that the information processing apparatus includes an image acquisition unit, and the transport unit includes a generation unit and a transport path determination unit. Since other configurations and operations are the same as those of the second embodiment, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.

情報処理装置７０３は、画像取得部７３１を有する。画像取得部７３２は、撮像部３０１が撮像した画像を取得する。そして、欠品検知部３３１は、画像取得部７３２が取得した画像に基づいて、商品の欠品を検知する。   The information processing device 703 includes an image acquisition unit 731. The image acquisition unit 732 acquires the image captured by the imaging unit 301. The missing item detection unit 331 detects a missing item of the product based on the image acquired by the image acquisition unit 732.

搬送部７０４は、生成部７４１および搬送経路決定部７４２を有する。生成部７４１は、例えば、店舗内を自走可能な搬送部７０４が、店舗の売場２２０に欠品商品２２３を搬送した場合などに、店舗内を走行した走行データから、店舗内の移動履歴を生成し、生成した移動履歴に基づいて、フロアマップ（売場マップ）を生成する。   The transport unit 704 includes a generation unit 741 and a transport route determination unit 742. For example, when the transport unit 704 capable of self-propelling in the store transports the missing product 223 to the store floor 220 of the store, the generation unit 741 obtains the movement history in the store from the travel data traveled in the store. Generate a floor map (sales floor map) based on the generated movement history.

フロアマップの生成は、例えば、ＧＰＳ（Global Positioning System）を用いて、搬送部７０４の現在位置を把握して、搬送部７０４が売場２２０やバックルーム２３０を含む店舗を走行した走行データから移動履歴を導出し、フロアマップを生成する。また、ＧＰＳの他に、ビーコンやＷｉ−Ｆｉなどの近距離無線通信の電波を用いて搬送部７０４の現在位置を把握して、搬送部７０４が店舗内を走行した走行データから移動履歴を導出し、フロアマップを生成してもよい。   The floor map is generated by, for example, using GPS (Global Positioning System), grasping the current position of the transport unit 704, and moving history from travel data of the transport unit 704 traveling in a store including the sales floor 220 and the back room 230. To generate a floor map. In addition to GPS, the current position of the transport unit 704 is grasped using radio waves of short-range wireless communication such as beacons and Wi-Fi, and the movement history is derived from the travel data of the transport unit 704 traveling in the store. Then, a floor map may be generated.

さらに、搬送部７０４に障害物検知センサを設けてもよい。搬送部７０４に設けた障害物検知センサで検知した障害物の配置状況からフロアマップを生成してもよい。また、ＧＰＳやビーコンなどのデータと障害物検知センサで取得したデータとを組み合わせて、フロアマップを生成してもよい。その他にも、店舗の設計図データや店内レイアウトデータなどを生成部７４１に入力して、入力されたデータからフロアマップを生成してもよい。   Further, an obstacle detection sensor may be provided in the transport unit 704. A floor map may be generated from an obstacle arrangement state detected by an obstacle detection sensor provided in the transport unit 704. Further, a floor map may be generated by combining data such as GPS and beacon and data acquired by an obstacle detection sensor. In addition, store floor plan data or in-store layout data may be input to the generation unit 741 to generate a floor map from the input data.

そして、搬送経路決定部７４２は、生成したフロアマップに基づいて、バックルーム２３０から売場２２０への搬送経路、または、売場２２０からバックルーム２３０へ戻る経路を決定する。搬送経路決定部７４２は、例えば、情報処理装置２０３の報知部３３３から報知された欠品商品２２３に関する情報から、欠品商品２２３を搬送すべき売場２２０の商品棚２２１の位置を抽出し、商品棚２２１まで欠品商品２２３を搬送する場合の往復の経路を決定する。なお、ここでは、搬送部７０４が、搬送経路決定部７４２を有する構成で説明をしたが、搬送経路決定部７４２は、例えば、情報処理装置２０３が有していてもよい。情報処理装置２０３が、搬送経路決定部７４２を有する場合、情報処理装置２０３の報知部３３３は、欠品商品２２３を搬送部７０４に報知するとともに搬送経路も報知する。   Then, the transport route determination unit 742 determines a transport route from the back room 230 to the sales floor 220 or a route to return from the sales floor 220 to the back room 230 based on the generated floor map. For example, the transport route determination unit 742 extracts the position of the product shelf 221 of the sales floor 220 to which the missing product 223 should be transported from the information regarding the missing product 223 notified from the notification unit 333 of the information processing device 203. A round-trip route is determined when the shortage product 223 is transported to the shelf 221. Here, the transport unit 704 is described as having the transport path determination unit 742, but the transport path determination unit 742 may be included in the information processing apparatus 203, for example. When the information processing device 203 includes the transport route determination unit 742, the notification unit 333 of the information processing device 203 notifies the transport unit 704 of the shortage product 223 and also notifies the transport route.

図８は、本実施形態に係る情報処理システム７００に含まれる搬送部７０４の備える商品テーブル８０１の一例を示す図である。商品テーブル８０１は、商品ＩＤ４１１に関連付けてフロアマップ８１１を格納する。フロアマップ８１１は、商品ＩＤ４１１に該当する商品が、フロアマップ８１１上のどの位置に搬送されるべきかを示す。   FIG. 8 is a diagram illustrating an example of a product table 801 included in the transport unit 704 included in the information processing system 700 according to the present embodiment. The product table 801 stores a floor map 811 in association with the product ID 411. The floor map 811 indicates to which position on the floor map 811 the product corresponding to the product ID 411 should be conveyed.

図９は、本実施形態に係る情報処理システム７００に含まれる搬送部７０４のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)９１０は、演算制御用のプロセッサであり、プログラムを実行することで図７の搬送部７０４の機能構成部を実現する。ＣＰＵ９１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)９２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース９３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ９１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース９３０は、ＣＰＵ９１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)９４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ９４０とストレージ９５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース９６０は、ＣＰＵ９１０とは独立したＣＰＵを有して、ＲＡＭ９４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ９１０は、ＲＡＭ９４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ９１０は、処理結果をＲＡＭ９４０に準備し、後の送信あるいは転送はネットワークインタフェース９３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。   FIG. 9 is a block diagram illustrating a hardware configuration of the transport unit 704 included in the information processing system 700 according to the present embodiment. A CPU (Central Processing Unit) 910 is a processor for arithmetic control, and implements a functional configuration unit of the transport unit 704 in FIG. 7 by executing a program. The CPU 910 may include a plurality of processors and execute different programs, modules, tasks, threads, and the like in parallel. A ROM (Read Only Memory) 920 stores initial data and fixed data such as a program and other programs. The network interface 930 communicates with other devices via the network. Note that the number of CPUs 910 is not limited to one, and may be a plurality of CPUs or may include a graphics processing unit (GPU) for image processing. The network interface 930 preferably includes a CPU independent of the CPU 910 and writes or reads transmission / reception data in an RAM (Random Access Memory) 940 area. Further, it is desirable to provide a DMAC (Direct Memory Access Controller) for transferring data between the RAM 940 and the storage 950 (not shown). Further, the input / output interface 960 preferably includes a CPU independent of the CPU 910 and writes or reads input / output data to / from the area of the RAM 940. Accordingly, the CPU 910 recognizes that the data has been received or transferred to the RAM 940 and processes the data. Further, the CPU 910 prepares the processing result in the RAM 940 and leaves the subsequent transmission or transfer to the network interface 930, the DMAC, or the input / output interface 560.

ＲＡＭ９４０は、ＣＰＵ９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。欠品商品９４１は、情報処理装置２０３の欠品検知部３３１が検知した欠品商品であり、報知部３３３から報知された欠品商品に関する情報である。商品ＩＤ９４２は、バックルーム２３０に保管されている商品などを識別するためのデータである。棚番号９４３は、商品が、売場２２０の商品棚２２１のどの位置に陳列されているかや、バックルーム２３０の商品棚２３１のどの位置に保管されているかを示すデータである。フロアマップ９４４は、売場２２０やバックルーム２３０を含む店舗内の地図である。搬送経路９４５は、搬送部７０４が商品を売場２２０に搬送する際に、搬送部７０４が走行するルートである。これらのデータは、例えば、商品テーブル８０１から展開されたデータである。   The RAM 940 is a random access memory that the CPU 910 uses as a work area for temporary storage. In the RAM 940, an area for storing data necessary for realizing the present embodiment is secured. The missing product 941 is a missing product detected by the missing product detection unit 331 of the information processing apparatus 203, and is information regarding the missing product notified from the notification unit 333. The product ID 942 is data for identifying a product stored in the back room 230. The shelf number 943 is data indicating where the product is displayed on the product shelf 221 of the sales floor 220 and where the product is stored on the product shelf 231 of the back room 230. The floor map 944 is a map in the store including the sales floor 220 and the back room 230. The conveyance path 945 is a route along which the conveyance unit 704 travels when the conveyance unit 704 conveys the product to the sales floor 220. These data are, for example, data developed from the product table 801.

入出力データ９４６は、入出力インタフェース９６０を介して入出力されるデータである。送受信データ９４７は、ネットワークインタフェース９３０を介して送受信されるデータである。また、ＲＡＭ９４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域９４８を有する。   The input / output data 946 is data input / output via the input / output interface 960. Transmission / reception data 947 is data transmitted / received via the network interface 930. The RAM 940 has an application execution area 948 for executing various application modules.

ストレージ９５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ９５０は、商品テーブル８０１を格納する。商品テーブル８０１は、図８に示した、商品ＩＤ４１１と、フロアマップ８１１などとの関係を管理するテーブルである。   The storage 950 stores a database, various parameters, or the following data or programs necessary for realizing the present embodiment. The storage 950 stores a product table 801. The product table 801 is a table for managing the relationship between the product ID 411 and the floor map 811 shown in FIG.

ストレージ９５０は、さらに、供給モジュール９５１、表示モジュール９５２、生成モジュール９５３および搬送経路決定モジュール９５４を格納する。供給モジュール９５１は、売場２２０に搬送した欠品商品２２３を商品棚２２１の所定の位置に陳列するために、欠品商品２２３を供給するためのモジュールである。表示モジュール９５２は、情報処理装置２０３から報知された欠品商品２２３に関する情報を表示するモジュールである。生成モジュール９５３は、搬送部７０４が店舗内を移動した移動履歴（走行履歴）に基づいて、店舗内の地図であるフロアマップを生成するモジュールである。搬送経路決定モジュール９５４は、搬送部７０４が欠品商品２２３をバックルーム２３０から売場２２０の商品棚２２１へ搬送する場合の搬送経路（走行経路）を決定するモジュールである。これらのモジュール９５１〜９５４は、ＣＰＵ９１０によりＲＡＭ９４０のアプリケーション実行領域９４８に読み出され、実行される。制御プログラム９５５は、搬送部７０４の全体を制御するためのプログラムである。   The storage 950 further stores a supply module 951, a display module 952, a generation module 953, and a transport path determination module 954. The supply module 951 is a module for supplying the missing product 223 in order to display the missing product 223 conveyed to the sales floor 220 at a predetermined position on the product shelf 221. The display module 952 is a module that displays information related to the missing product 223 notified from the information processing apparatus 203. The generation module 953 is a module that generates a floor map, which is a map in the store, based on a movement history (travel history) that the transport unit 704 has moved in the store. The transport route determination module 954 is a module that determines a transport route (traveling route) when the transport unit 704 transports the missing product 223 from the back room 230 to the product shelf 221 of the sales floor 220. These modules 951 to 954 are read by the CPU 910 into the application execution area 948 of the RAM 940 and executed. The control program 955 is a program for controlling the entire transport unit 704.

入出力インタフェース９６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース９６０には、操作部９６１、が接続される。また、入出力インタフェース９６０には、さらに、ＧＰＳ９６３が接続されてもよい。さらに、音声出力部であるスピーカ９６２や、音声入力部であるマイク（図示せず）が接続されてもよい。なお、図９に示したＲＡＭ９４０やストレージ９５０には、搬送部７０４が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。   The input / output interface 960 interfaces input / output data with input / output devices. An operation unit 961 is connected to the input / output interface 960. Further, the GPS 963 may be connected to the input / output interface 960. Furthermore, a speaker 962 that is an audio output unit and a microphone (not shown) that is an audio input unit may be connected. Note that the RAM 940 and the storage 950 shown in FIG. 9 do not show programs and data related to general-purpose functions and other realizable functions that the transport unit 704 has.

図１０は、本実施形態に係る情報処理システム７００の搬送部７０４の処理手順を説明するフローチャートである。このフローチャートは、図９のＣＰＵ９１０がＲＡＭ９４０を使用して実行し、図７の搬送部７０４の機能構成部を実現する。   FIG. 10 is a flowchart illustrating a processing procedure of the transport unit 704 of the information processing system 700 according to the present embodiment. This flowchart is executed by the CPU 910 in FIG. 9 using the RAM 940, and implements a functional component of the transport unit 704 in FIG.

ステップＳ１００１において、搬送部７０４は、欠品商品に関する情報を取得する。ステップＳ１００３において、搬送部７０４は、表示部３４２に欠品商品２２３に関する情報を表示する。そして、バックルーム２３０の店員２３２が、表示部３４２に表示された欠品商品２２３を搬送部７０４に載せる。なお、搬送部７０４が、欠品商品２２３を自ら取りに行く場合には、このステップＳ１００３は省略してもよい。   In step S <b> 1001, the transport unit 704 acquires information regarding a missing product. In step S <b> 1003, the transport unit 704 displays information regarding the missing product 223 on the display unit 342. Then, the store clerk 232 of the back room 230 places the missing product 223 displayed on the display unit 342 on the transport unit 704. In addition, when the conveyance part 704 picks up the missing goods 223 by itself, this step S1003 may be omitted.

ステップＳ１００５において、搬送部７０４は、欠品商品２２３を売場２２０の商品棚２２１まで搬送する。ステップＳ１００７において、搬送部７０４は、欠品商品２２３を商品棚２２１の所定の位置にアームなどを用いて供給して、陳列する。なお、欠品商品２２３を店員２２２が商品棚２２１に陳列する場合、ステップＳ１００７は、省略してもよい。ステップＳ１００９において、搬送部７０４は、欠品商品２２３の商品棚２２１への供給が終了したか否かを判断する。供給が終了していないと判断した場合（ステップＳ１００９のＮＯ）、搬送部７０４は、ステップＳ１００１に戻る。供給が終了したと判断した場合（ステップＳ１００９のＹＥＳ）、搬送部７０４は、ステップＳ１０１１に進む。   In step S <b> 1005, the transport unit 704 transports the missing product 223 to the product shelf 221 of the sales floor 220. In step S <b> 1007, the transport unit 704 supplies the missing product 223 to a predetermined position of the product shelf 221 using an arm or the like and displays it. Note that when the store clerk 222 displays the shortage product 223 on the product shelf 221, step S1007 may be omitted. In step S1009, the transport unit 704 determines whether or not the supply of the missing product 223 to the product shelf 221 is completed. If it is determined that the supply has not ended (NO in step S1009), the transport unit 704 returns to step S1001. If it is determined that the supply has been completed (YES in step S1009), the transport unit 704 proceeds to step S1011.

ステップＳ１０１１において、搬送部７０４は、店舗内の移動履歴に基づいて、フロアマップを生成する。なお、フロアマップの生成のタイミングは、欠品商品２２３の供給が終了したタイミングには限定されず、例えば、搬送部７０４が店舗内を走行中（移動中）にフロアマップを生成してもよい。   In step S1011, the transport unit 704 generates a floor map based on the movement history in the store. Note that the generation timing of the floor map is not limited to the timing at which the supply of the shortage product 223 is completed. For example, the floor map may be generated while the transport unit 704 is traveling (moving) in the store. .

本実施形態によれば、搬送部がフロアマップを生成するので、より効率的に、精度高く、欠品商品を商品棚まで搬送することができる。   According to this embodiment, since a conveyance part produces | generates a floor map, it can convey a missing item goods to a goods shelf more efficiently and with high precision.

［第４実施形態］
次に本発明の第４実施形態に係る情報処理システムについて、図１１Ａ乃至図１１Ｃを用いて説明する。図１１Ａ本実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する側面図である。図１１Ｂは、本実施形態に係る情報処理システムにおける撮像部および移動部の一例を説明する正面図である。図１１Ｃは、本実施形態に係る情報処理システムにおける撮像部および移動部の他の例を説明する側面図である [Fourth Embodiment]
Next, an information processing system according to a fourth embodiment of the present invention will be described with reference to FIGS. 11A to 11C. FIG. 11A is a side view illustrating an example of an imaging unit and a moving unit in the information processing system according to the present embodiment. FIG. 11B is a front view illustrating an example of an imaging unit and a moving unit in the information processing system according to the present embodiment. FIG. 11C is a side view illustrating another example of the imaging unit and the moving unit in the information processing system according to the present embodiment.

本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態と比べると、撮像部および移動部が商品棚の後ろ側に設けられている点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。   The information processing system according to the present embodiment is different from the second embodiment and the third embodiment in that the imaging unit and the moving unit are provided on the rear side of the product shelf. Other configurations and operations are the same as those in the second embodiment and the third embodiment. Therefore, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof is omitted.

図１１Ａに示したように、商品棚２２１が壁１１００を背にして設置されている場合、レール１１１１を壁１１００と商品棚２２１との間に設け、レール１１１１にカメラ１１０１を取り付けてもよい。また、図１１Ｂに示したように、カメラ１１０１を横方向（水平方向）に移動可能なレール１１１２を設けてもよい。このようなレール１１１１，１１１２の配置とすることにより、カメラ１１０１を縦方向（垂直方向）および横方向（水平方向）に移動させることが可能となる。なお、カメラ１１０１を移動させるレールとして、横方向のレール１１１１を設けない場合には、カメラ１１０にパン機能やチルト機能を設けてもよい。   As shown in FIG. 11A, when the product shelf 221 is installed with the wall 1100 as the back, a rail 1111 may be provided between the wall 1100 and the product shelf 221, and the camera 1101 may be attached to the rail 1111. In addition, as shown in FIG. 11B, a rail 1112 that can move the camera 1101 in the horizontal direction (horizontal direction) may be provided. By arranging the rails 1111 and 1112 as described above, the camera 1101 can be moved in the vertical direction (vertical direction) and the horizontal direction (horizontal direction). Note that in the case where the horizontal rail 1111 is not provided as a rail for moving the camera 1101, the camera 110 may be provided with a pan function or a tilt function.

また、図１１Ｃに示したように、商品棚２２１が背中合わせで設置されている場合、商品棚２２１の間にレール１１１２を設け、レール１１１２にカメラ１１０１を取り付けてもよい。この場合、カメラ１１０１を横方向に移動させることができるレール１１１２を設けてもよい。さらに、レール１１１２を設けない場合には、カメラ１１０１にパン機能やチルト機能を設けて、カメラ１１０１の正面にある商品棚２２１や背面にある商品棚２２１を撮像できるようにしてもよい。   In addition, as illustrated in FIG. 11C, when the product shelves 221 are installed back to back, rails 1112 may be provided between the product shelves 221, and the cameras 1101 may be attached to the rails 1112. In this case, a rail 1112 that can move the camera 1101 in the lateral direction may be provided. Further, when the rail 1112 is not provided, the camera 1101 may be provided with a pan function and a tilt function so that the product shelf 221 on the front side of the camera 1101 and the product shelf 221 on the back side can be imaged.

また、この他にも、レール１１１１などの代わりに店舗の天井にロープを這わせて、このロープにカメラ１１０１を吊り下げて移動させてもよい。さらに、ドローンなどの無人機にカメラ１１０１を設けて、店舗内を移動させてもよい。   In addition to this, instead of the rail 1111 or the like, a rope may be hung on the ceiling of the store, and the camera 1101 may be suspended and moved on this rope. Furthermore, a camera 1101 may be provided in an unmanned aircraft such as a drone and moved in the store.

本実施形態によれば、商品棚の裏側に撮像部および移動部を設けたので、来店客が商品を見ている場合であっても邪魔にならずに、商品の欠品を検知することができる。また、撮像部を垂直方向に容易に移動させることができる。   According to this embodiment, since the imaging unit and the moving unit are provided on the back side of the product shelf, it is possible to detect a product shortage without disturbing the customer even when the customer is looking at the product. it can. In addition, the imaging unit can be easily moved in the vertical direction.

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。 [Other Embodiments]
While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. In addition, a system or an apparatus in which different features included in each embodiment are combined in any way is also included in the scope of the present invention.

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。   In addition, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed in the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer readable medium storing a program for causing a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.

Claims (12)

商品棚を撮像する少なくとも１つの撮像手段と、
前記撮像手段を移動させる移動手段と、
前記撮像手段が撮像した前記商品棚の画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品をバックルームから店舗内に搬送する搬送手段と、
を備えた情報処理システム。 At least one imaging means for imaging the product shelf;
Moving means for moving the imaging means;
Based on the image of the product shelf imaged by the imaging unit, a shortage detection unit that detects a product shortage,
Transport means for transporting the shortage product detected by the shortage detection means from the back room into the store;
Information processing system with 所定のタイミングで前記撮像手段の撮像および移動を制御する制御手段をさらに備えた請求項１に記載の情報処理システム。   The information processing system according to claim 1, further comprising a control unit that controls imaging and movement of the imaging unit at a predetermined timing. 前記欠品商品の情報を報知する報知手段をさらに備えた請求項１または２に記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising notification means for notifying information of the missing product. 前記報知手段から報知された前記欠品商品の情報を表示する表示手段をさらに備えた請求項３に記載の情報処理システム。   The information processing system according to claim 3, further comprising display means for displaying information on the shortage product notified from the notification means. 前記表示手段は、前記搬送手段に設置されている請求項４に記載の情報処理システム。   The information processing system according to claim 4, wherein the display unit is installed in the transport unit. 前記搬送手段は、前記欠品商品を商品棚の所定の位置に供給する供給手段をさらに有する請求項１乃至５のいずれか１項に記載の情報処理システム。   The information processing system according to claim 1, wherein the transport unit further includes a supply unit that supplies the shortage product to a predetermined position of a product shelf. 前記移動手段は、前記店舗に設置されたレールを含む請求項１乃至６のいずれか１項に記載の情報処理システム。   The information processing system according to claim 1, wherein the moving unit includes a rail installed in the store. 前記レールは、前記店舗の天井に設置されている請求項１乃至７のいずれか１項に記載の情報処理システム。   The information processing system according to claim 1, wherein the rail is installed on a ceiling of the store. 前記搬送手段は、
前記店舗内を自走可能であり、前記店舗内の移動履歴に基づいてフロアマップを生成する生成手段と、
生成した前記フロアマップに基づいて、前記欠品商品を前記店舗内に搬送する搬送経路を決定する搬送経路決定手段と、
をさらに備える請求項１乃至８のいずれか１項に記載の情報処理システム。 The conveying means is
Generating means capable of self-propelling in the store, and generating a floor map based on a movement history in the store;
Based on the generated floor map, a transport route determining means for determining a transport route for transporting the shortage product into the store;
The information processing system according to any one of claims 1 to 8, further comprising: 商品棚を撮像する少なくとも１つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御手段と、
前記撮像手段が撮像した画像を取得する画像取得手段と、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知手段と、
前記欠品検知手段が検知した欠品商品に関する情報を報知する報知手段と、
を備えた情報処理装置。 Control means for controlling imaging of at least one imaging means for imaging a commodity shelf and moving means for moving the imaging means;
Image acquisition means for acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection means for detecting a missing item of the product,
An informing means for informing information on the out-of-stock product detected by the out-of-stock detecting means;
An information processing apparatus comprising: 商品棚を撮像する少なくとも１つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御ステップと、
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
を含む情報処理方法。 A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
An information processing method including: 商品棚を撮像する少なくとも１つの撮像手段の撮像および前記撮像手段を移動させる移動手段を制御する制御ステップと、
前記撮像手段が撮像した画像を取得する画像取得ステップと、
取得した前記画像に基づいて、商品の欠品を検知する欠品検知ステップと、
前記欠品検知ステップにおいて検知した欠品商品に関する情報を報知する報知ステップと、
をコンピュータに実行させる情報処理プログラム。 A control step of controlling the imaging of at least one imaging means for imaging the commodity shelf and the moving means for moving the imaging means;
An image acquisition step of acquiring an image captured by the imaging means;
Based on the acquired image, a missing item detection step of detecting a missing item of the product,
An informing step for informing information on an out-of-stock product detected in the out-of-stock detecting step;
An information processing program that causes a computer to execute.
JP2017040120A 2017-03-03 2017-03-03 Information processing system Active JP7106815B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017040120A JP7106815B2 (en) 2017-03-03 2017-03-03 Information processing system
US16/489,773 US20200242541A1 (en) 2017-03-03 2018-01-18 Information processing system, information processing apparatus, information processing method, and information processing program
CN201880015441.5A CN110383315B (en) 2017-03-03 2018-01-18 Information processing system, information processing apparatus, information processing method, and information processing program
PCT/JP2018/001369 WO2018159132A1 (en) 2017-03-03 2018-01-18 Information processing system, information processing device, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017040120A JP7106815B2 (en) 2017-03-03 2017-03-03 Information processing system

Publications (2)

Publication Number Publication Date
JP2018147138A true JP2018147138A (en) 2018-09-20
JP7106815B2 JP7106815B2 (en) 2022-07-27

Family

ID=63588821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017040120A Active JP7106815B2 (en) 2017-03-03 2017-03-03 Information processing system

Country Status (1)

Country Link
JP (1) JP7106815B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021034064A (en) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 Business support system, business support apparatus, terminal, business support method, business operation method, and computer program
JP2021033935A (en) * 2019-08-29 2021-03-01 パナソニックＩｐマネジメント株式会社 Business support system, business support apparatus, business support method, and computer program
JP2022511625A (en) * 2018-10-16 2022-02-01 グレイ オレンジ ピーティーイー． リミテッド Methods and systems for filling inventory items
WO2022044083A1 (en) 2020-08-24 2022-03-03 株式会社Fuji Control device, delivery system, control method, and display plate
WO2022101956A1 (en) 2020-11-10 2022-05-19 株式会社Fuji Conveyance system and conveyance method
JP2022539025A (en) * 2019-07-12 2022-09-07 霊動科技（北京）有限公司 Autonomous mobile robot inventory system combined with unmanned aircraft
CN115180334A (en) * 2022-06-02 2022-10-14 云南昆船设计研究院有限公司 Intelligent tobacco cage replenishment scheduling and conveying method and system
JP7493716B2 (en) 2020-06-19 2024-06-03 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL SYSTEM
JP7523270B2 (en) 2020-07-15 2024-07-26 パナソニックホールディングス株式会社 ROBOT CONTROL METHOD, ROBOT CONTROL DEVICE, AND PROGRAM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (en) * 1999-09-20 2001-04-03 Fujitsu General Ltd Stocktaking managing method and stocktaking system by image recognition
JP2004231370A (en) * 2003-01-31 2004-08-19 Shiseido Co Ltd Picking facility
JP2005067876A (en) * 2003-08-27 2005-03-17 Hitachi Ltd Information processing device, picking article control method, program, and recording medium
WO2015079622A1 (en) * 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 Product monitoring device, product monitoring system, and product monitoring method
WO2016132534A1 (en) * 2015-02-20 2016-08-25 株式会社日立物流 Warehouse management system, warehouse, and warehouse management method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (en) * 1999-09-20 2001-04-03 Fujitsu General Ltd Stocktaking managing method and stocktaking system by image recognition
JP2004231370A (en) * 2003-01-31 2004-08-19 Shiseido Co Ltd Picking facility
JP2005067876A (en) * 2003-08-27 2005-03-17 Hitachi Ltd Information processing device, picking article control method, program, and recording medium
WO2015079622A1 (en) * 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 Product monitoring device, product monitoring system, and product monitoring method
WO2016132534A1 (en) * 2015-02-20 2016-08-25 株式会社日立物流 Warehouse management system, warehouse, and warehouse management method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022511625A (en) * 2018-10-16 2022-02-01 グレイ オレンジ ピーティーイー． リミテッド Methods and systems for filling inventory items
JP2022539025A (en) * 2019-07-12 2022-09-07 霊動科技（北京）有限公司 Autonomous mobile robot inventory system combined with unmanned aircraft
JP7284963B2 (en) 2019-07-12 2023-06-01 霊動科技（北京）有限公司 Autonomous mobile robot inventory system combined with unmanned aircraft
JP2021033935A (en) * 2019-08-29 2021-03-01 パナソニックＩｐマネジメント株式会社 Business support system, business support apparatus, business support method, and computer program
WO2021039126A1 (en) * 2019-08-29 2021-03-04 パナソニックＩｐマネジメント株式会社 Work assistance system, work assistance device, work assistance method, and program
JP7493716B2 (en) 2020-06-19 2024-06-03 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL SYSTEM
JP7523270B2 (en) 2020-07-15 2024-07-26 パナソニックホールディングス株式会社 ROBOT CONTROL METHOD, ROBOT CONTROL DEVICE, AND PROGRAM
JP2021034064A (en) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 Business support system, business support apparatus, terminal, business support method, business operation method, and computer program
JP7336708B2 (en) 2020-08-05 2023-09-01 パナソニックＩｐマネジメント株式会社 Business support system, business support device, terminal, business support method, business method, and computer program
WO2022044083A1 (en) 2020-08-24 2022-03-03 株式会社Fuji Control device, delivery system, control method, and display plate
WO2022101956A1 (en) 2020-11-10 2022-05-19 株式会社Fuji Conveyance system and conveyance method
CN115180334A (en) * 2022-06-02 2022-10-14 云南昆船设计研究院有限公司 Intelligent tobacco cage replenishment scheduling and conveying method and system

Also Published As

Publication number Publication date
JP7106815B2 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
JP7106815B2 (en) Information processing system
WO2018159132A1 (en) Information processing system, information processing device, information processing method, and information processing program
JP6860714B2 (en) How to automatically generate waypoints to image the shelves in the store
US9636825B2 (en) Robotic logistics system
US20180260772A1 (en) Out-of-stock detection based on images
JP4297142B2 (en) Transport system
US20170193430A1 (en) Restocking shelves based on image data
US11034027B2 (en) Robot assisted personnel routing
JP6956192B2 (en) Robot ad hoc network
US11000953B2 (en) Robot gamification for improvement of operator performance
JP5904097B2 (en) Article information display device
JP7505524B2 (en) Information processing system, information processing device, information processing method, and information processing program
AU2023274066A1 (en) System, method and apparatus for a monitoring drone
JP7126066B2 (en) Projection indication device, parcel sorting system and projection indication method
US20210272050A1 (en) Photographing mechanism control apparatus and photographing mechanism control method
JP2024029759A (en) Logistics system
WO2021039210A1 (en) Transport system, control device, transport method, and program
JP7194884B2 (en) Luggage sorting system, projection instruction device, projection instruction method
JP2021017324A (en) Robot system, information processing device, control method of the same, and program
US20180299901A1 (en) Hybrid Remote Retrieval System
US20240135315A1 (en) Systems and methods of detecting price tags and associating the price tags with products
CN113319845A (en) Shelf display management system, method, device and equipment
JP2020119006A (en) System, information processing apparatus, information processing method and program
JP2020009083A (en) Apparatus, system and program for processing information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R151 Written notification of patent or utility model registration

Ref document number: 7106815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151