JP7124269B2 - Information processing system, information processing device, information processing method, and information processing program - Google Patents

Information processing system, information processing device, information processing method, and information processing program Download PDF

Info

Publication number
JP7124269B2
JP7124269B2 JP2017040121A JP2017040121A JP7124269B2 JP 7124269 B2 JP7124269 B2 JP 7124269B2 JP 2017040121 A JP2017040121 A JP 2017040121A JP 2017040121 A JP2017040121 A JP 2017040121A JP 7124269 B2 JP7124269 B2 JP 7124269B2
Authority
JP
Japan
Prior art keywords
imaging
information processing
timing
processing system
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017040121A
Other languages
Japanese (ja)
Other versions
JP2018147139A (en
Inventor
大 金野
浩太 岩元
可菜子 多賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017040121A priority Critical patent/JP7124269B2/en
Priority to PCT/JP2018/001369 priority patent/WO2018159132A1/en
Priority to US16/489,773 priority patent/US20200242541A1/en
Priority to CN201880015441.5A priority patent/CN110383315B/en
Publication of JP2018147139A publication Critical patent/JP2018147139A/en
Priority to JP2022126981A priority patent/JP7505524B2/en
Application granted granted Critical
Publication of JP7124269B2 publication Critical patent/JP7124269B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing system, an information processing device, an information processing method, and an information processing program.

上記技術分野において、特許文献１には、商品棚を撮影して商品が適切に配置されているかチェックする技術が開示されている。 In the above technical field, Patent Literature 1 discloses a technique for photographing product shelves and checking whether products are appropriately arranged.

特開２０１７－１４０１４号公報JP 2017-14014 A

しかしながら、上記文献に記載の技術では、カメラの撮像および移動のタイミングを考慮していないので、より効率的に店舗運営をすることができなかった。 However, the technique described in the above document does not take into account the timing of imaging and movement of the camera, so it has not been possible to operate the store more efficiently.

本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above problems.

上記目的を達成するため、本発明に係る情報処理システムは、
商品棚を撮像する少なくとも１つの撮像手段と、
前記撮像手段を移動させる移動手段と、
前記商品棚に補充するための商品の在庫があるか否かを判定する在庫判定手段と、
前記在庫判定手段による判定結果に基づいて、前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御手段と、
を備えた。 In order to achieve the above object, an information processing system according to the present invention includes:
at least one imaging means for imaging the product shelf;
a moving means for moving the imaging means;
stock determination means for determining whether or not there is stock of merchandise to be replenished on the merchandise shelf ;
a control means for controlling the imaging by the imaging means and the movement of the imaging means by the moving means based on the determination result by the inventory determination means;
provided.

上記目的を達成するため、本発明に係る情報処理装置は、
店舗の商品の出入りに基づいて、商品棚を撮像する少なくとも１つの撮像手段の撮像および移動手段による前記撮像手段の移動のタイミングを生成するタイミング生成手段と、
前記商品棚に補充するための商品の在庫があるか否かを判定する在庫判定手段と、
前記在庫判定手段による判定結果に基づいて、前記タイミングで前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御手段と、
を備えた。 In order to achieve the above object, an information processing device according to the present invention includes:
a timing generation means for generating timing for imaging by at least one imaging means for imaging a product shelf and moving the imaging means by a moving means based on the comings and goings of products in the store;
stock determination means for determining whether or not there is stock of merchandise to be replenished on the merchandise shelf ;
a control means for controlling the imaging by the imaging means and the movement of the imaging means by the moving means at the timing based on the determination result by the inventory determination means;
provided.

上記目的を達成するため、本発明に係る情報処理方法は、
タイミング生成手段が、店舗の商品の出入りに基づいて、商品棚を撮像する少なくとも１つの撮像手段の撮像および移動手段による前記撮像手段の移動のタイミングを生成するタイミング生成ステップと、
在庫判定手段が、前記商品棚に補充するための商品の在庫があるか否かを判定する在庫判定ステップと、
制御手段が、前記在庫判定ステップにおける判定結果に基づいて、前記タイミングで前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御ステップと、
を含む。 In order to achieve the above object, an information processing method according to the present invention comprises:
a timing generating step in which the timing generating means generates timings for imaging by at least one imaging means for imaging a product shelf and moving the imaging means by a moving means based on the comings and goings of products in the store;
an inventory determination step in which the inventory determination means determines whether or not there is an inventory of products to be replenished on the product shelf ;
a control step in which the control means controls the imaging by the imaging means and the movement of the imaging means by the moving means at the timing based on the determination result in the inventory determination step;
including.

上記目的を達成するため、本発明に係る情報処理プログラムは、
店舗の商品の出入りに基づいて、商品棚を撮像する少なくとも１つの撮像手段の撮像および移動手段による前記撮像手段の移動のタイミングを生成するタイミング生成ステップと、
前記商品棚に補充するための商品の在庫があるか否かを判定する在庫判定ステップと、
前記在庫判定ステップにおける判定結果に基づいて、前記タイミングで前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御ステップと、
をコンピュータに実行させる。 In order to achieve the above object, an information processing program according to the present invention comprises:
a timing generation step of generating timing for imaging by at least one imaging means for imaging a product shelf and moving the imaging means by a moving means based on the comings and goings of products in a store;
an inventory determination step of determining whether or not there is an inventory of merchandise to be replenished on the merchandise shelf ;
a control step of controlling the imaging by the imaging means and the movement of the imaging means by the moving means at the timing based on the determination result in the inventory determination step;
run on the computer.

本発明によれば、より効率的に店舗運営をすることができる。 According to the present invention, store management can be performed more efficiently.

本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。1 is a block diagram showing the configuration of an information processing system according to a first embodiment of the present invention; FIG. 本発明の第２実施形態に係る情報処理システムの概略を説明する図である。It is a figure explaining the outline of the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置の備える制御テーブルの一例を示す図である。It is a figure which shows an example of the control table with which the information processing apparatus contained in the information processing system which concerns on 2nd Embodiment of this invention has. 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成を説明するブロック図である。FIG. 7 is a block diagram illustrating the hardware configuration of an information processing device included in the information processing system according to the second embodiment of the present invention; 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置の処理手順を説明するフローチャートである。FIG. 10 is a flow chart explaining a processing procedure of an information processing device included in an information processing system according to a second embodiment of the present invention; FIG. 本発明の第３実施形態に係る情報処理システムの構成を示すブロック図である。FIG. 12 is a block diagram showing the configuration of an information processing system according to a third embodiment of the present invention; FIG. 本発明の第３実施形態に係る情報処理システムに含まれる情報処理装置の備える在庫テーブルの一例を示す図である。It is a figure which shows an example of the inventory table with which the information processing apparatus contained in the information processing system which concerns on 3rd Embodiment of this invention has. 本発明の第３実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成を説明するブロック図である。FIG. 11 is a block diagram illustrating the hardware configuration of an information processing device included in an information processing system according to a third embodiment of the present invention; 本発明の第３実施形態に係る情報処理システムに含まれる情報処理装置の処理手順を説明するフローチャートである。FIG. 11 is a flow chart illustrating a processing procedure of an information processing device included in an information processing system according to a third embodiment of the present invention; FIG.

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the present invention will be exemplarily described in detail with reference to the drawings. However, the configuration, numerical values, flow of processing, functional elements, etc. described in the following embodiments are only examples, and modifications and changes are free, and the technical scope of the present invention is not limited to the following description. It is not intended to be limited.

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、所定のタイミングで撮像部の撮像および移動を制御するシステムである。 [First embodiment]
An information processing system 100 as a first embodiment of the present invention will be described using FIG. The information processing system 100 is a system that controls imaging and movement of an imaging unit at predetermined timings.

図１に示すように、情報処理システム１００は、撮像部１０１と、移動部１０２と、制御部１０３と、を含む。撮像部１０１は、商品棚を撮像する。撮像部１０１は、少なくとも１つある。移動部１０２は、撮像部１０１を移動させる。制御部１０３は、所定のタイミングで、撮像部１０１による撮像および移動部１０２による移動を制御する。 As shown in FIG. 1 , the information processing system 100 includes an imaging unit 101 , a moving unit 102 and a control unit 103 . The imaging unit 101 images a product shelf. There is at least one imaging unit 101 . The moving unit 102 moves the imaging unit 101 . The control unit 103 controls imaging by the imaging unit 101 and movement by the moving unit 102 at a predetermined timing.

本実施形態によれば、より効率的に店舗運営をすることができる。 According to this embodiment, the store can be managed more efficiently.

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システム２００について、図２乃至図６を用いて説明する。図２は、本実施形態に係る情報処理システムの概略を説明する図である。情報処理システム２００は、カメラ２０１、レール２０２および情報処理装置２０３を含む。 [Second embodiment]
Next, an information processing system 200 according to a second embodiment of the present invention will be explained using FIGS. 2 to 6. FIG. FIG. 2 is a diagram for explaining the outline of the information processing system according to this embodiment. Information processing system 200 includes camera 201 , rail 202 and information processing device 203 .

カメラ２０１は店舗内の売場２１０をレール２０２に沿って移動可能となっている。また、カメラ２０１は、滑車などを含むアタッチメントを介してレール２０２に取り付けられている。情報処理装置２０３は、欠品商品２２２を検知するために、所定のタイミングでカメラ２０１を移動させて、商品棚２２１の画像を撮像するように制御する。なお、カメラ２０１が撮像する画像は静止画であるが、これには限られず、動画であってもよい。 Camera 201 is movable along rail 202 in sales floor 210 in the store. Also, the camera 201 is attached to the rail 202 via an attachment including a pulley or the like. The information processing device 203 controls to move the camera 201 at a predetermined timing to capture an image of the product shelf 221 in order to detect the missing product 222 . Although the image captured by the camera 201 is a still image, it is not limited to this, and may be a moving image.

そして、カメラ２０１は、売場２１０にある商品棚２２１を撮像する。カメラ２０１は、撮像した商品棚２２１の画像を情報処理装置２０３へ送信する。商品棚２２１の画像を受信した情報処理装置２０３は、撮像した商品棚２２１の画像に基づいて、欠品商品２２２を検知する。 Then, the camera 201 images the product shelf 221 on the sales floor 210 . The camera 201 transmits the captured image of the product shelf 221 to the information processing device 203 . The information processing device 203 that has received the image of the product shelf 221 detects the missing product 222 based on the captured image of the product shelf 221 .

なお、ここでは、レール２０２が、売場２１０の天井に設けられた例で説明をしたが、レール２０２は、例えば、商品棚２２１と壁との間に設けてもよい。また、商品棚２２１が背中合わせに配置されている場合には、商品棚２２１の間に設けてもよい。さらに、カメラ２０１は、横方向（水平方向）のみならず、縦方向（垂直方向）に移動可能であってもよい。 Although the example in which the rail 202 is provided on the ceiling of the sales floor 210 has been described here, the rail 202 may be provided, for example, between the product shelf 221 and the wall. In addition, when the product shelves 221 are arranged back to back, it may be provided between the product shelves 221 . Furthermore, the camera 201 may be movable not only in the lateral direction (horizontal direction) but also in the longitudinal direction (vertical direction).

図３は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。情報処理システム２００は、撮像部３０１、移動部３０２および情報処理装置２０３を有する。撮像部３０１は、店舗内を移動して商品棚２２１の画像を撮像する。撮像部３０１が撮像する画像は静止画であるが、これには限定されず、動画であってもよい。また、撮像部３０１は、１つであっても、複数であってもよい。 FIG. 3 is a block diagram showing the configuration of the information processing system 200 according to this embodiment. The information processing system 200 has an imaging unit 301 , a moving unit 302 and an information processing device 203 . The imaging unit 301 moves within the store and captures an image of the product shelf 221 . The image captured by the imaging unit 301 is a still image, but is not limited to this, and may be a moving image. Also, the number of imaging units 301 may be one or plural.

移動部３０２は、撮像部３０１を移動させる。移動部３０２は、例えば、店舗の天井に設けられたレール２０２を含み、撮像部３０１は、このレール２０２に沿って動くことにより、店舗内を移動する。撮像部３０１は、滑車などを含むアタッチメントなどを介して移動部３０２に取り付けられている。 A moving unit 302 moves the imaging unit 301 . The moving unit 302 includes, for example, a rail 202 provided on the ceiling of the store, and the imaging unit 301 moves along the rail 202 to move within the store. The imaging unit 301 is attached to the moving unit 302 via an attachment including pulleys and the like.

情報処理装置２０３は、タイミング生成部３３１と、制御部３３２とを有する。タイミング生成部３３１は、店舗における商品の出入に基づいて、店舗内を移動して商品棚２２１を撮像する撮像部３０１の撮像および移動のタイミングを生成する。つまり、タイミング生成部３３１は、商品の出入、例えば、商品が販売されたことや、商品が入荷されたことに基づいて、撮像部３０１が移動を開始したり、撮像を実施したりするためのトリガーとなるタイミングを生成する。 The information processing device 203 has a timing generator 331 and a controller 332 . The timing generation unit 331 generates the timing of imaging and movement of the imaging unit 301 that moves in the store and images the product shelf 221 based on the comings and goings of products in the store. In other words, the timing generating unit 331 generates a signal for the imaging unit 301 to start moving or perform imaging based on the arrival and departure of merchandise, for example, when merchandise is sold or when merchandise is received. Generate trigger timing.

タイミングは、例えば、商品棚２２１の状態変化を検出した後のタイミングである。具体的には、店舗への来店客が商品棚２２１から商品を手に取り、レジにおいて精算し、店外へ出ていった後のタイミングである。すなわち、商品が売れて、商品棚２２１から商品がなくなるので、商品棚２２１の商品の陳列状態に変化が生じる。このような場合に、例えば、商品棚２２１の商品の陳列状態を検知するセンサなどを設けておき、このセンサとＰＯＳ（Point of Sales）システムとを連動させておけば、商品棚２２１の状態変化を検出することが可能となる。したがって、タイミング生成部３３１は、撮像部３０１の撮像および移動を制御するためのタイミングとして、商品棚２２１の状態変化を検出した後のタイミングを生成する。 The timing is, for example, the timing after the state change of the product shelf 221 is detected. Specifically, it is the timing after a customer visiting the store picks up the product from the product shelf 221, settles the bill at the cash register, and leaves the store. In other words, as the product sells and disappears from the product shelf 221, the display state of the products on the product shelf 221 changes. In such a case, for example, a sensor that detects the display state of the products on the product shelf 221 is provided, and if this sensor and a POS (Point of Sales) system are linked, the status change of the product shelf 221 can be detected. can be detected. Therefore, the timing generator 331 generates the timing after detecting the state change of the product shelf 221 as the timing for controlling the imaging and movement of the imaging unit 301 .

また、他のタイミングは、店舗に商品が入荷されたタイミングである。店舗に商品が入荷されれば、店舗のバックルームに在庫として商品が保管されるため、欠品商品を検知することができれば、欠品商品を補充することができる。これとは反対に、バックルームに在庫商品がなければ、カメラ２０１を動かして、欠品商品を検知しても、補充すべき商品がバックルームに存在しないので、カメラ２０１を動かすことが無駄となってしまう。したがって、タイミング生成部３３１は、撮像部３０１の撮像および移動を制御するためのタイミングとして、商品が店舗に入荷されたタイミングを生成する。 Another timing is the timing when the product is received at the store. When merchandise arrives at the store, the merchandise is stored as inventory in the back room of the store. Therefore, if the missing merchandise can be detected, the missing merchandise can be replenished. Conversely, if there are no stocked products in the back room, even if the camera 201 is moved to detect a missing product, there is no product to be replenished in the back room, so moving the camera 201 is useless. turn into. Therefore, the timing generation unit 331 generates the timing when the product arrives at the store as the timing for controlling the imaging and movement of the imaging unit 301 .

さらに、他のタイミングは、店舗内の売場２１０の商品棚２２１に陳列されている商品の販売可能期限、例えば、賞味期限や消費期限から所定時間前のタイミングである。例えば、コンビニエンスストアやスーパーマーケットなどの店舗において、消費期限切れの商品を販売することは、様々な理由から店舗の評判を落とす原因となるので、消費期限切れ前に商品を入れ替えなければならない。したがって、商品棚２２１に陳列されている商品の販売可能期限から所定時間前にカメラ２０１を動かして、商品棚２２１の画像を撮像する。この場合、店員は、商品が入荷されると、入荷処理を行い、入荷商品名や商品数、入荷日時、販売可能期限などのデータをＰＯＳシステムなどに入力するので、情報処理装置２０３は、ここで入力したデータを用いれば、商品の販売可能期限から所定時間前のタイミングを生成することができる。ここで、所定時間前は、例えば、５分前、１０分前など、商品の入れ替えに要する時間などに基づいて決定されるが、所定時間前の決定方法はこれには限定されない。 Further, another timing is a timing before a predetermined time from the sellable expiration date of the merchandise displayed on the product shelf 221 of the sales floor 210 in the store, for example, the expiration date or expiration date. For example, in a store such as a convenience store or a supermarket, selling products that have passed their expiry date will cause the reputation of the store to deteriorate for various reasons, so the products must be replaced before the expiry date. Therefore, the camera 201 is moved a predetermined time before the sellable period of the products displayed on the product shelf 221 to capture an image of the product shelf 221 . In this case, when the merchandise is received, the store clerk performs receipt processing, and inputs data such as the name of the received merchandise, the number of merchandise, the date and time of receipt, and the sellable time limit to the POS system or the like. By using the data input in , it is possible to generate a timing that is a predetermined time before the sellable time limit of the product. Here, the predetermined time before is determined, for example, five minutes before, ten minutes before, etc., based on the time required to replace the product, but the method for determining the predetermined time before is not limited to this.

また、他のタイミングは、商品を販売した後のタイミング、すなわち、商品棚２２１に陳列された商品が来店客に売れた後のタイミングである。この場合も、情報処理装置２０３とＰＯＳシステムとが連動していれば、情報処理装置２０３は、ＰＯＳシステムから商品が販売されたという情報を受け取ったことをトリガーとして、タイミング生成部３３１が、タイミングを生成する。 Another timing is the timing after the product is sold, that is, the timing after the product displayed on the product shelf 221 is sold to the customer. In this case as well, if the information processing apparatus 203 and the POS system are linked, the information processing apparatus 203 receives information that the product has been sold from the POS system as a trigger. to generate

さらに、他のタイミングは、例えば、来店客が所定の商品棚２２１の周辺に集中したことを検出した後のタイミングである。このように、所定の商品棚２２１の前に、来店客が集中すると、その商品棚２２１にある商品が売れてしまい、欠品が生じている可能性が高くなる。よって、タイミング生成部３３１は、撮像部３０１の撮像および移動を制御するためのタイミングとして、このようなタイミングを生成する。これにより、情報処理装置２０３は、このようなタイミングで撮像部３０１を制御して商品棚２２１の画像を撮像するように制御できるようになる。この場合、店舗内の監視カメラの映像などから来店客の集中を検出するとともに、来店客が集中していた商品棚２２１を特定して、これらの情報を情報処理装置２０３に提供すれば、情報処理装置２０３が撮像部３０１を制御することができる。 Furthermore, another timing is, for example, the timing after it is detected that customers have gathered around a predetermined product shelf 221 . As described above, when customers are concentrated in front of a predetermined product shelf 221, the products on the product shelf 221 are likely to sell out, resulting in a shortage of products. Therefore, the timing generating section 331 generates such timing as the timing for controlling the imaging and movement of the imaging section 301 . As a result, the information processing device 203 can control the imaging unit 301 to capture an image of the product shelf 221 at such timing. In this case, by detecting the concentration of customers from the video of a surveillance camera in the store, specifying the product shelf 221 where the customers were concentrated, and providing this information to the information processing device 203, the information can be obtained. The processing device 203 can control the imaging unit 301 .

制御部３３２は、タイミング生成部３３１が生成したタイミングで撮像部３０１による撮像および移動部３０２による撮像部３０１の移動を制御する。制御部３３２は、撮像部３０１および移動部３０２に対して、店舗内の売場２１０のどの位置にある商品棚２２１を撮像するかについての信号を送信することにより、制御する。なお、移動部３０２は、店舗に設置されたレール２０２を含み、レール２０２は、例えば、店舗の天井に設置されている。 The control unit 332 controls the imaging by the imaging unit 301 and the movement of the imaging unit 301 by the moving unit 302 at the timing generated by the timing generation unit 331 . The control unit 332 controls the imaging unit 301 and the moving unit 302 by transmitting a signal indicating the position of the product shelf 221 in the sales floor 210 in the store to be imaged. In addition, the moving part 302 includes a rail 202 installed in the store, and the rail 202 is installed, for example, on the ceiling of the store.

また、制御部３３２は、店舗周辺のイベント開始前の所定時間帯における撮像部３０１による撮像および移動部３０２による移動の制御の間隔を短くする。店舗周辺でイベントが開催される前の所定の時間帯、例えば、１時間前～１０分前には、来店客が集中することが予想され、欠品商品が発生する可能性が高い。したがって、このような事態に対処するために、この時間帯においては、制御部３３２は、撮像部３０１の制御の間隔を短くして、撮像部３０１が、頻繁に撮像および移動するように制御する。このように、制御の間隔を短くして、撮像部３０１を頻繁に移動させて、商品棚２２１を撮像すれば、欠品商品の検知が容易になる。 In addition, the control unit 332 shortens the control interval between the imaging by the imaging unit 301 and the movement by the moving unit 302 in a predetermined time period before the start of an event around the store. In a predetermined time period before an event is held around the store, for example, 1 hour to 10 minutes before, it is expected that many customers will come to the store, and there is a high possibility that products will be out of stock. Therefore, in order to deal with such a situation, the control unit 332 shortens the control interval of the image capturing unit 301 during this time period, and controls the image capturing unit 301 so that it frequently captures images and moves. . In this way, if the control interval is shortened and the image pickup unit 301 is moved frequently to pick up images of the product shelf 221, it becomes easier to detect missing items.

なお、制御部３３２は、撮像部３０１に撮像すべき商品棚２１１が複数ある場合などには、撮像部３０１をどのように移動させるかを示す撮像部３０１の巡回ルートを決定してもよい。そして、制御部３３２は、決定した巡回ルートに沿って撮像部３０１を動かして、商品棚２１１を撮像するように制御してもよい。 Note that the control unit 332 may determine the patrol route of the imaging unit 301 indicating how to move the imaging unit 301 when there are a plurality of product shelves 211 to be imaged by the imaging unit 301 . Then, the control unit 332 may control the imaging unit 301 to move along the determined patrol route to capture an image of the product shelf 211 .

図４は、本実施形態に係る情報処理システム２００に含まれる情報処理装置２０３の備える制御テーブル４０１の一例を示す図である。制御テーブル４０１は、カメラＩＤ（Identifier）４１１に関連付けて、タイミング４１２およびカメラ位置４１３を記憶する。カメラＩＤ４１１は、撮像部３０１としてのカメラを識別する識別子である。タイミング４１２は、撮像部３０１の移動や撮像を制御するタイミングである。カメラ位置４１３は、例えば、撮像部３０１の現在位置などの位置に関する情報である。情報処理装置２０３の制御部３３２は、例えば、制御テーブル４０１を参照し、撮像部３０１の撮像や移動を制御する。 FIG. 4 is a diagram showing an example of the control table 401 provided in the information processing device 203 included in the information processing system 200 according to this embodiment. The control table 401 stores timing 412 and camera position 413 in association with a camera ID (Identifier) 411 . A camera ID 411 is an identifier for identifying the camera as the imaging unit 301 . Timing 412 is the timing for controlling the movement and imaging of the imaging unit 301 . The camera position 413 is, for example, information regarding a position such as the current position of the imaging unit 301 . For example, the control unit 332 of the information processing device 203 refers to the control table 401 and controls the imaging and movement of the imaging unit 301 .

図５は、本実施形態に係る情報処理システムに含まれる情報処理装置２０３のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)５１０は、演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２０３の機能構成部を実現する。ＣＰＵ５１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース５６０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ５４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。 FIG. 5 is a block diagram illustrating the hardware configuration of the information processing device 203 included in the information processing system according to this embodiment. A CPU (Central Processing Unit) 510 is a processor for arithmetic control, and implements the functional components of the information processing apparatus 203 in FIG. 3 by executing a program. The CPU 510 may have multiple processors and execute different programs, modules, tasks, threads, etc. in parallel. A ROM (Read Only Memory) 520 stores fixed data such as initial data and programs, and other programs. Also, the network interface 530 communicates with other devices and the like via a network. Note that the number of CPUs 510 is not limited to one, and may include a plurality of CPUs or a GPU (Graphics Processing Unit) for image processing. Moreover, the network interface 530 preferably has a CPU independent of the CPU 510 and writes or reads transmission/reception data in a RAM (Random Access Memory) 540 area. It is also desirable to provide a DMAC (Direct Memory Access Controller) for transferring data between RAM 540 and storage 550 (not shown). Further, input/output interface 560 desirably has a CPU independent of CPU 510 to write or read input/output data in the area of RAM 540 . Therefore, CPU 510 recognizes that data has been received or transferred to RAM 540 and processes the data. Also, the CPU 510 prepares the processing result in the RAM 540 and leaves the subsequent transmission or transfer to the network interface 530, the DMAC, or the input/output interface 560. FIG.

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。カメラＩＤ５４１は、店舗内にあるカメラを識別するための識別子である。タイミング５４２は、カメラ２０１の移動および撮像を制御するタイミングを表すデータである。棚番号５４３は、商品が陳列されている商品棚２２１の位置やバックルームにおける商品の保管場所を示すデータである。カメラ位置５４４は、カメラ２０１の現在位置などを表すデータである。これらのデータは、例えば、制御テーブル４０１から展開されたデータである。 A RAM 540 is a random access memory used by the CPU 510 as a work area for temporary storage. The RAM 540 has an area for storing data necessary for implementing the present embodiment. A camera ID 541 is an identifier for identifying a camera in the store. The timing 542 is data representing the timing for controlling the movement and imaging of the camera 201 . The shelf number 543 is data indicating the position of the product shelf 221 where the product is displayed and the storage location of the product in the back room. The camera position 544 is data representing the current position of the camera 201 and the like. These data are, for example, data expanded from the control table 401 .

入出力データ５４５は、入出力インタフェース５６０を介して入出力されるデータである。送受信データ５４６は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４７を有する。 The input/output data 545 is data input/output via the input/output interface 560 . Transmitted/received data 546 is data transmitted/received via network interface 530 . The RAM 540 also has an application execution area 547 for executing various application modules.

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、制御テーブル４０１を格納する。制御テーブル４０１は、図４に示した、カメラＩＤ４１１とタイミング４１２やカメラ位置４１３などとの関係を管理するテーブルである。 The storage 550 stores a database, various parameters, or the following data or programs necessary for realizing this embodiment. Storage 550 stores control table 401 . The control table 401 is a table for managing the relationship between the camera ID 411 and the timing 412, the camera position 413, etc. shown in FIG.

ストレージ５５０は、さらに、タイミング生成モジュール５５１および制御モジュール５５２を格納する。 Storage 550 further stores timing generation module 551 and control module 552 .

タイミング生成モジュール５５１は、店舗内の商品の出入に基づいて、店舗内を移動して商品棚２２１を撮像する撮像部３０１の撮像および移動のタイミングを生成するモジュールである。制御モジュール５５２は、所定のタイミングで撮像部３０１による撮像および移動部３０２による移動を制御するモジュールである。これらのモジュール５５１～５５２は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４７に読み出され、実行される。制御プログラム５５３は、情報処理装置２０３の全体を制御するためのプログラムである。 The timing generation module 551 is a module that generates the timing of imaging and movement of the imaging unit 301 that moves within the store and images the product shelf 221 based on the comings and goings of products in the store. The control module 552 is a module that controls imaging by the imaging unit 301 and movement by the moving unit 302 at a predetermined timing. These modules 551 to 552 are read by the CPU 510 into the application execution area 547 of the RAM 540 and executed. The control program 553 is a program for controlling the information processing device 203 as a whole.

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２０３が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。 The input/output interface 560 interfaces input/output data with input/output devices. A display unit 561 and an operation unit 562 are connected to the input/output interface 560 . A storage medium 564 may also be connected to the input/output interface 560 . Furthermore, a speaker 563 as an audio output unit, a microphone (not shown) as an audio input unit, or a GPS position determination unit may be connected. Note that the RAM 540 and the storage 550 shown in FIG. 5 do not show programs or data relating to general-purpose functions of the information processing apparatus 203 or other realizable functions.

図６は、本実施形態に係る情報処理システム２００の情報処理装置２０３の処理手順を説明するフローチャートである。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２０３の機能構成部を実現する。 FIG. 6 is a flowchart for explaining the processing procedure of the information processing device 203 of the information processing system 200 according to this embodiment. This flow chart is executed by the CPU 510 in FIG. 5 using the RAM 540, and implements the functional components of the information processing apparatus 203 in FIG.

ステップＳ６０１において、情報処理装置２０３は、カメラ２０１の移動および撮像を制御するタイミングを生成する。ステップＳ６０３において、情報処理装置２０３は、カメラ２０１の移動および撮像を制御するタイミングが到来したか否かを判断する。タイミングが到来していない場合（ステップＳ６０３のＮＯ）、情報処理装置２０３は、タイミングが到来するまで待機する。タイミングが到来している場合（ステップＳ６０３のＹＥＳ）、情報処理装置２０３は、ステップＳ６０５へ進む。 In step S<b>601 , the information processing apparatus 203 generates timings for controlling the movement and imaging of the camera 201 . In step S603, the information processing apparatus 203 determines whether or not the timing for controlling the movement of the camera 201 and the imaging has come. If the timing has not arrived (NO in step S603), the information processing apparatus 203 waits until the timing arrives. If the timing has arrived (YES in step S603), the information processing apparatus 203 proceeds to step S605.

ステップＳ６０５において、情報処理装置２０３は、カメラ２０１の移動を制御して、所定の位置まで移動させる。ステップＳ６０７において、情報処理装置２０３は、カメラ２０１の移動が完了したか否かを判断する。カメラ２０１の移動が完了していない場合（ステップＳ６０７のＮＯ）、情報処理装置２０３は、カメラ２０１の移動の制御を継続する。カメラ２０１の移動が完了した場合（ステップＳ６０７のＹＥＳ）、情報処理装置２０３は、ステップＳ６０９に進む。 In step S605, the information processing apparatus 203 controls movement of the camera 201 to move it to a predetermined position. In step S607, the information processing apparatus 203 determines whether movement of the camera 201 has been completed. If the movement of the camera 201 has not been completed (NO in step S<b>607 ), the information processing apparatus 203 continues control of movement of the camera 201 . If movement of the camera 201 is completed (YES in step S607), the information processing apparatus 203 proceeds to step S609.

ステップＳ６０９において、情報処理装置２０３は、カメラ２０１による撮像を制御して、商品棚２１１の画像を撮像する。ステップＳ６１１において、情報処理装置２０３は、カメラ２０１による撮像が完了したか否かを判断する。撮像が完了していない場合（ステップＳ６１１のＮＯ）、情報処理装置２０３は、カメラ２０１による撮像の制御を継続する。撮像が完了した場合（ステップＳ６１１のＹＥＳ）、情報処理装置２０３は、ステップＳ６１３へ進む。 In step S<b>609 , the information processing apparatus 203 controls imaging by the camera 201 to capture an image of the product shelf 211 . In step S611, the information processing apparatus 203 determines whether or not imaging by the camera 201 has been completed. If imaging has not been completed (NO in step S611), the information processing apparatus 203 continues control of imaging by the camera 201. FIG. If imaging has been completed (YES in step S611), the information processing apparatus 203 proceeds to step S613.

ステップＳ６１３において、情報処理装置２０３は、例えば、カメラ２０１を待機位置に移動させて、カメラ２０１を待機させて、処理を終了する。 In step S613, the information processing apparatus 203, for example, moves the camera 201 to the standby position, puts the camera 201 in standby, and ends the process.

本実施形態によれば、所定のタイミングでカメラの移動および撮像を制御するので、カメラの撮像および移動を効率的に制御することができる。 According to this embodiment, since the movement and image capturing of the camera are controlled at predetermined timing, it is possible to efficiently control the image capturing and movement of the camera.

［第３実施形態］
次に本発明の第３実施形態に係る情報処理システムについて、図７乃至図１０を用いて説明する。図７は、本実施形態に係る情報処理システム７００の構成を説明するための図である。本実施形態に係る情報処理システム７００は、上記第２実施形態と比べると、情報処理装置が在庫判定部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。 [Third embodiment]
Next, an information processing system according to a third embodiment of the present invention will be explained using FIGS. 7 to 10. FIG. FIG. 7 is a diagram for explaining the configuration of an information processing system 700 according to this embodiment. An information processing system 700 according to the present embodiment differs from that of the second embodiment in that the information processing apparatus has an inventory determination unit. Since other configurations and operations are similar to those of the second embodiment, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof will be omitted.

情報処理装置７０３は、在庫判定部７３３を有する。在庫判定部７３３は、店舗のバックルームに商品の在庫があるか否かを判定する。そして、制御部３３２は、在庫判定部７３３による判定結果に基づいて、撮像部３０１の撮像および移動を制御する。例えば、バックルームに商品の在庫がない状態において、撮像部３０１を制御して、商品棚２１１を撮像して欠品商品を検知しても、補充すべき商品がバックルームに保管されていないため、撮像部３０１の制御が無駄になってしまう。したがって、在庫判定部７３３は、仮に所定のタイミングが到来していて、制御部３３２が、撮像部３０１を制御しなければならい状況にあったとしても、商品の在庫がなければ、撮像部３０１の制御を抑制する。 The information processing device 703 has an inventory determination unit 733 . The inventory determination unit 733 determines whether or not the product is in stock in the back room of the store. Then, the control unit 332 controls imaging and movement of the imaging unit 301 based on the determination result of the inventory determination unit 733 . For example, in a state where there is no stock of products in the back room, even if the imaging unit 301 is controlled to image the product shelf 211 and detect out-of-stock products, the product to be replenished is not stored in the back room. , the control of the imaging unit 301 is wasted. Therefore, even if the predetermined timing has arrived and the control unit 332 must control the imaging unit 301, the inventory determination unit 733 determines that the imaging unit 301 will Suppress control.

図８は、本実施形態に係る情報処理システム７００に含まれる情報処理装置７０３の備える在庫テーブル８０１の一例を示す図である。在庫テーブル８０１は、商品ＩＤ８１１に関連付けて在庫状況８１２を格納する。商品ＩＤ（Identifier）８１１は、商品を識別するための識別子である。在庫状況８１２は、商品の在庫の状況、例えば、残りの商品数や在庫の有無、入荷予定日時などに関する情報である。そして、情報処理装置７０３は、例えば、在庫テーブル８０１を参照して、撮像部３０１を制御する。 FIG. 8 is a diagram showing an example of an inventory table 801 provided in the information processing device 703 included in the information processing system 700 according to this embodiment. The inventory table 801 stores the inventory status 812 in association with the product ID 811 . A product ID (Identifier) 811 is an identifier for identifying a product. The inventory status 812 is information about the status of product inventory, such as the number of remaining products, the presence or absence of inventory, and the scheduled delivery date and time. Then, the information processing device 703 controls the imaging unit 301 by referring to the inventory table 801, for example.

図９は、本実施形態に係る情報処理システムに含まれる情報処理装置７０３のハードウェア構成を説明するブロック図である。ＲＡＭ９４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。在庫状況９４１は、商品の在庫状況に関するデータである。このデータは、例えば、在庫テーブル８０１から展開されたデータである。 FIG. 9 is a block diagram illustrating the hardware configuration of an information processing device 703 included in the information processing system according to this embodiment. A RAM 940 is a random access memory used by the CPU 510 as a work area for temporary storage. The RAM 940 has an area for storing data necessary for implementing the present embodiment. The inventory status 941 is data relating to the inventory status of products. This data is, for example, data expanded from the inventory table 801 .

ストレージ９５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ９５０は、在庫テーブル８０１を格納する。在庫テーブル８０１は、図８に示した、商品ＩＤ８１１と在庫状況８１２との関係を管理するテーブルである。 The storage 950 stores a database, various parameters, or the following data or programs necessary for implementing this embodiment. Storage 950 stores inventory table 801 . The inventory table 801 is a table for managing the relationship between the product ID 811 and the inventory status 812 shown in FIG.

ストレージ９５０は、さらに、在庫判定モジュール９５１を格納する。在庫判定モジュール９５１は、バックルームに商品の在庫があるか否かを判定するモジュールである。このモジュール９５１は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４７に読み出され、実行される。 Storage 950 further stores inventory determination module 951 . The inventory determination module 951 is a module that determines whether or not there is inventory of products in the backroom. This module 951 is read into the application execution area 547 of the RAM 540 by the CPU 510 and executed.

図１０は、本実施形態に係る情報処理システム７００の情報処理装置７０３の処理手順を説明するフローチャートである。このフローチャートは、図９のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図７の情報処理装置７０３の機能構成部を実現する。 FIG. 10 is a flowchart for explaining the processing procedure of the information processing device 703 of the information processing system 700 according to this embodiment. This flow chart is executed by the CPU 510 in FIG. 9 using the RAM 540, and implements the functional components of the information processing device 703 in FIG.

ステップＳ１００１において、情報処理装置７０３は、商品の在庫の有無を判定する。商品の在庫がある場合（ステップＳ１００１のＹＥＳ）、情報処理装置７０３は、ステップＳ６０５に進む。商品の在庫がない場合（ステップＳ１００１のＮＯ）、情報処理装置７０３は、処理を終了して、撮像部３０１の移動や撮像の制御を行わない。 In step S1001, the information processing device 703 determines whether or not the product is in stock. If the product is in stock (YES in step S1001), the information processing device 703 proceeds to step S605. If the product is out of stock (NO in step S1001), the information processing device 703 ends the process and does not control the movement of the imaging unit 301 or the imaging.

本実施形態によれば、在庫の有無を判断するので、無駄な制御を減らすことができ、より効率的に欠品商品を検知することができる。 According to this embodiment, the presence or absence of inventory is determined, so unnecessary control can be reduced, and out-of-stock products can be detected more efficiently.

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。 [Other embodiments]
Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. Also, any system or apparatus that combines separate features included in each embodiment is also included in the scope of the present invention.

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable when an information processing program that implements the functions of the embodiments is directly or remotely supplied to a system or apparatus. Therefore, in order to implement the functions of the present invention on a computer, a program installed in a computer, a medium storing the program, and a WWW (World Wide Web) server from which the program is downloaded are also included in the scope of the present invention. . In particular, non-transitory computer readable media containing programs that cause a computer to perform at least the processing steps included in the above-described embodiments are included within the scope of the present invention.

Claims (14)

商品棚を撮像する少なくとも１つの撮像手段と、
前記撮像手段を移動させる移動手段と、
前記商品棚に補充するための 商品の在庫があるか否かを判定する在庫判定手段と、
前記在庫判定手段による判定結果に基づいて、前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御手段と、
を備えた情報処理システム。 at least one imaging means for imaging the product shelf;
a moving means for moving the imaging means;
for replenishing said product shelf stock determination means for determining whether or not the product is in stock;
a control means for controlling the imaging by the imaging means and the movement of the imaging means by the moving means based on the determination result by the inventory determination means;
Information processing system with 前記在庫判定手段により在庫がないと判定された場合、前記制御手段は、前記撮像手段の撮像および移動の制御を抑制する請求項１に記載の情報処理システム。 2. The information processing system according to claim 1, wherein when said inventory determination means determines that there is no inventory, said control means suppresses control of imaging and movement of said imaging means. 前記制御手段は、所定のタイミングで前記撮像手段の撮像および移動を制御する請求項１または２に記載の情報処理システム。 3. The information processing system according to claim 1, wherein said control means controls imaging and movement of said imaging means at a predetermined timing. 前記所定のタイミングは、前記商品棚の状態変化を検出した後のタイミングである請求項３に記載の情報処理システム。 4. The information processing system according to claim 3, wherein said predetermined timing is a timing after detecting a state change of said product shelf. 前記所定のタイミングは、店舗に商品が入荷されたタイミングである請求項３または４に記載の情報処理システム。 5. The information processing system according to claim 3, wherein the predetermined timing is the timing when the merchandise arrives at the store. 前記所定のタイミングは、店舗内に陳列されている商品の販売可能期限から所定時間前のタイミングである請求項３乃至５のいずれか１項に記載の情報処理システム。 6. The information processing system according to any one of claims 3 to 5, wherein the predetermined timing is a predetermined time before the sellable time limit of the products displayed in the store. 前記所定のタイミングは、商品を販売した後のタイミングである請求項３乃至６のいずれか１項に記載の情報処理システム。 7. The information processing system according to any one of claims 3 to 6, wherein said predetermined timing is a timing after the merchandise is sold. 前記所定のタイミングは、客が所定の商品棚の周辺に集中したことを検出した後のタイミングである請求項３乃至７のいずれか１項に記載の情報処理システム。 8. The information processing system according to any one of claims 3 to 7, wherein said predetermined timing is a timing after it is detected that customers are concentrated around a predetermined product shelf. 前記制御手段は、店舗周辺のイベント開始前の所定時間帯における前記撮像手段による撮像および前記移動手段による移動の間隔を短くする請求項１乃至８のいずれか１項に記載の情報処理システム。 9. The information processing system according to any one of claims 1 to 8, wherein the control means shortens an interval between the imaging by the imaging means and the movement by the moving means in a predetermined time period before the start of an event around the store. 前記移動手段は、店舗に設置されたレールを含む請求項１乃至９のいずれか１項に記載の情報処理システム。 10. The information processing system according to any one of claims 1 to 9, wherein said moving means includes a rail installed in a store. 前記レールは、前記店舗の天井に設置されている請求項１０に記載の情報処理システム。 11. The information processing system according to claim 10, wherein said rail is installed on the ceiling of said store. 店舗の商品の出入りに基づいて、商品棚を撮像する少なくとも１つの撮像手段の撮像および移動手段による前記撮像手段の移動のタイミングを生成するタイミング生成手段と、
前記商品棚に補充するための 商品の在庫があるか否かを判定する在庫判定手段と、
前記在庫判定手段による判定結果に基づいて、前記タイミングで前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御手段と、
を備えた情報処理装置。 a timing generation means for generating timing for imaging by at least one imaging means for imaging a product shelf and moving the imaging means by a moving means based on the comings and goings of products in the store;
for replenishing said product shelf stock determination means for determining whether or not the product is in stock;
a control means for controlling the imaging by the imaging means and the movement of the imaging means by the moving means at the timing based on the determination result by the inventory determination means;
Information processing device with タイミング生成手段が、店舗の商品の出入りに基づいて、商品棚を撮像する少なくとも１つの撮像手段の撮像および移動手段による前記撮像手段の移動のタイミングを生成するタイミング生成ステップと、
在庫判定手段が、前記商品棚に補充するための商品の在庫があるか否かを判定する在庫判定ステップと、
制御手段が、前記在庫判定ステップにおける判定結果に基づいて、前記タイミングで前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御ステップと、
を含む情報処理方法。 a timing generating step in which the timing generating means generates timings for imaging by at least one imaging means for imaging a product shelf and moving the imaging means by a moving means based on the comings and goings of products in the store;
an inventory determination step in which the inventory determination means determines whether or not there is an inventory of products to be replenished on the product shelf ;
a control step in which the control means controls the imaging by the imaging means and the movement of the imaging means by the moving means at the timing based on the determination result in the inventory determination step;
Information processing method including. 店舗の商品の出入りに基づいて、商品棚を撮像する少なくとも１つの撮像手段の撮像および移動手段による前記撮像手段の移動のタイミングを生成するタイミング生成ステップと、
前記商品棚に補充するための 商品の在庫があるか否かを判定する在庫判定ステップと、
前記在庫判定ステップにおける判定結果に基づいて、前記タイミングで前記撮像手段による撮像および前記移動手段による前記撮像手段の移動を制御する制御ステップと、
をコンピュータに実行させる情報処理プログラム。 a timing generation step of generating timing for imaging by at least one imaging means for imaging a product shelf and moving the imaging means by a moving means based on the comings and goings of products in a store;
for replenishing said product shelf an inventory determination step of determining whether or not the product is in stock;
a control step of controlling the imaging by the imaging means and the movement of the imaging means by the moving means at the timing based on the determination result in the inventory determination step;
An information processing program that causes a computer to execute
JP2017040121A 2017-03-03 2017-03-03 Information processing system, information processing device, information processing method, and information processing program Active JP7124269B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017040121A JP7124269B2 (en) 2017-03-03 2017-03-03 Information processing system, information processing device, information processing method, and information processing program
PCT/JP2018/001369 WO2018159132A1 (en) 2017-03-03 2018-01-18 Information processing system, information processing device, information processing method, and information processing program
US16/489,773 US20200242541A1 (en) 2017-03-03 2018-01-18 Information processing system, information processing apparatus, information processing method, and information processing program
CN201880015441.5A CN110383315B (en) 2017-03-03 2018-01-18 Information processing system, information processing apparatus, information processing method, and information processing program
JP2022126981A JP7505524B2 (en) 2017-03-03 2022-08-09 Information processing system, information processing device, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017040121A JP7124269B2 (en) 2017-03-03 2017-03-03 Information processing system, information processing device, information processing method, and information processing program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022126981A Division JP7505524B2 (en) 2017-03-03 2022-08-09 Information processing system, information processing device, information processing method, and information processing program

Publications (2)

Publication Number Publication Date
JP2018147139A JP2018147139A (en) 2018-09-20
JP7124269B2 true JP7124269B2 (en) 2022-08-24

Family

ID=63591374

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017040121A Active JP7124269B2 (en) 2017-03-03 2017-03-03 Information processing system, information processing device, information processing method, and information processing program
JP2022126981A Active JP7505524B2 (en) 2017-03-03 2022-08-09 Information processing system, information processing device, information processing method, and information processing program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022126981A Active JP7505524B2 (en) 2017-03-03 2022-08-09 Information processing system, information processing device, information processing method, and information processing program

Country Status (1)

Country Link
JP (2) JP7124269B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7304965B2 (en) * 2019-12-04 2023-07-07 三菱電機株式会社 refrigeration cycle equipment
JP6958946B1 (en) * 2020-05-26 2021-11-02 Ｎｅｃプラットフォームズ株式会社 Inventory management system, inventory management device, inventory management method and inventory management program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (en) 1999-09-20 2001-04-03 Fujitsu General Ltd Stocktaking managing method and stocktaking system by image recognition
JP2004196553A (en) 2004-04-09 2004-07-15 Penta Ocean Constr Co Ltd Object movement management method, in-warehouse physical distribution management system, and program for them
JP2010277264A (en) 2009-05-27 2010-12-09 Takachiho Koeki Kk Crime prevention device, method for controlling the same, program and crime prevention system
WO2015079622A1 (en) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 Product monitoring device, product monitoring system, and product monitoring method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5484760B2 (en) * 2009-03-24 2014-05-07 三菱電機インフォメーションテクノロジー株式会社 Inventory proposal device, inventory proposal program, and recording medium
JP2010235222A (en) * 2009-03-30 2010-10-21 Brother Ind Ltd Article management system and article inventory device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (en) 1999-09-20 2001-04-03 Fujitsu General Ltd Stocktaking managing method and stocktaking system by image recognition
JP2004196553A (en) 2004-04-09 2004-07-15 Penta Ocean Constr Co Ltd Object movement management method, in-warehouse physical distribution management system, and program for them
JP2010277264A (en) 2009-05-27 2010-12-09 Takachiho Koeki Kk Crime prevention device, method for controlling the same, program and crime prevention system
WO2015079622A1 (en) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 Product monitoring device, product monitoring system, and product monitoring method

Also Published As

Publication number Publication date
JP7505524B2 (en) 2024-06-25
JP2022160631A (en) 2022-10-19
JP2018147139A (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP2022160631A (en) Information processing system, information processing apparatus, information processing method, and information processing program
WO2018159132A1 (en) Information processing system, information processing device, information processing method, and information processing program
JP7106815B2 (en) Information processing system
JP7040597B2 (en) Information processing equipment, information processing methods and information processing programs
US11380098B2 (en) Shelf label detection device, shelf label detection method, and shelf label detection program
US20090204512A1 (en) Method and system for determining a restocking state of a product
CN109117824B (en) Commodity management method and device, electronic equipment and storage medium
JP2022173288A (en) Display status analysis system, display status analysis method and program
US20190057325A1 (en) Information processing device, information processing method, recording medium, and seat reservation system
CN111295684A (en) Shelf monitoring device, shelf monitoring method, and shelf monitoring program
JP2019523198A (en) System and method for dynamic inventory management
JP2012174154A (en) Stock state management method and stock state management device
US20180218494A1 (en) Out-of-stock detection based on images
JPH0581552A (en) Merchandise monitoring system
CN112215142A (en) Method, device and equipment for detecting goods shelf stock shortage rate based on depth image information
JP7126066B2 (en) Projection indication device, parcel sorting system and projection indication method
JP2024029759A (en) Logistics system
WO2017161034A1 (en) System for verifying physical object absences from assigned regions using video analytics
JP4656114B2 (en) Object management apparatus and system, computer program, and data processing method
US20230306741A1 (en) Product detection device, product detection method, and recording medium
US20230306744A1 (en) Learning model generation device, learning model generation method, and recording medium
JP7304566B2 (en) Information processing device and information processing method
WO2023188239A1 (en) Business operation assistance system, business operation assistance device, business operation assistance method, and storage medium
WO2020195612A1 (en) Information processing device, information processing method, recording medium, and flagship store terminal
JP2023115988A (en) Display status notification system, display status notification method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220725

R151 Written notification of patent or utility model registration

Ref document number: 7124269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151