WO2021255894A1 - Control device, control method, and program - Google Patents

Control device, control method, and program Download PDF

Info

Publication number
WO2021255894A1
WO2021255894A1 PCT/JP2020/023963 JP2020023963W WO2021255894A1 WO 2021255894 A1 WO2021255894 A1 WO 2021255894A1 JP 2020023963 W JP2020023963 W JP 2020023963W WO 2021255894 A1 WO2021255894 A1 WO 2021255894A1
Authority
WO
WIPO (PCT)
Prior art keywords
height
light emitting
customer
control
control device
Prior art date
Application number
PCT/JP2020/023963
Other languages
French (fr)
Japanese (ja)
Inventor
貴美 佐藤
壮馬 白石
悠 鍋藤
克 菊池
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/023963 priority Critical patent/WO2021255894A1/en
Priority to JP2022531199A priority patent/JP7435771B2/en
Publication of WO2021255894A1 publication Critical patent/WO2021255894A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Definitions

  • the various components of the present invention do not necessarily have to be individually independent, and a plurality of components are formed as one member, and one component is formed of a plurality of members. It may be that a certain component is a part of another component, a part of a certain component overlaps with a part of another component, and the like.
  • the method of the present invention and the plurality of procedures of the computer program are not limited to being executed at different timings. Therefore, another procedure may occur during the execution of a certain procedure, a part or all of the execution timing of the certain procedure and the execution timing of the other procedure may overlap, and the like.
  • FIG. 1 It is a figure which shows the use environment in the product registration system of the control device which concerns on embodiment of this invention. It is a figure for demonstrating the image pickup apparatus of a product registration system. It is a figure for demonstrating the image pickup unit which constitutes the image pickup apparatus of FIG. It is a functional block diagram which shows an example of the functional structure of the control device of an embodiment. It is a block diagram which illustrates the hardware composition of the computer which realizes the control device of each embodiment. It is a flowchart which shows the operation example of the control device of an embodiment. It is a figure for demonstrating the control example of the speaker according to the height. It is a figure which shows the example of the data structure of the correspondence table of a height and a control target device.
  • acquisition means that the own device retrieves data or information stored in another device or storage medium (active acquisition), and is output to the own device from the other device. Includes at least one of entering data or information (passive acquisition).
  • active acquisition include making a request or inquiry to another device and receiving the reply, and accessing and reading another device or storage medium.
  • passive acquisition may be receiving information to be delivered (or transmitted, push notification, etc.).
  • acquisition may be to select and acquire from received data or information, or to select and receive delivered data or information.
  • FIG. 1 is a diagram showing a usage environment of the control device 100 according to the embodiment of the present invention in the product registration system 1.
  • FIG. 2 is a diagram for explaining the image pickup apparatus 200 of the product registration system 1.
  • FIG. 3 is a diagram for explaining an image pickup unit 202 constituting the image pickup apparatus 200 of FIG. 2.
  • the image pickup device 200 photographs at least one of the shelves of the display shelf 40 and the front thereof.
  • the image pickup apparatus 200 has two image pickup units 202. In the example shown in FIG. 2, the image pickup apparatus 200 photographs both the shelf of the display shelf 40 and the front thereof.
  • the light emitting surface of the lighting unit 222 extends in one direction, and has a lighting unit housing 220 that functions as a cover that covers the light emitting unit and the light emitting unit.
  • the illumination unit 222 mainly emits light in a direction orthogonal to the extending direction of the light emitting surface.
  • the light emitting unit has a light emitting element such as an LED (Light Emitting Diode) and emits light in a direction not covered by the cover.
  • the light emitting element is an LED
  • a plurality of LEDs are arranged in a direction in which the illumination unit 222 extends (vertical direction in the figure).
  • the camera 212 is provided on one end side of the illumination unit 222, and the direction in which the light of the illumination unit 222 is emitted is set as the imaging range.
  • One of the two image pickup units 202 is installed so as to shoot downward from the upper side and the other to shoot upward from the lower side.
  • the camera 212 has an image pickup range of the lower part and the diagonally lower right side. Further, in the image pickup unit 202 on the right side of FIGS. 1 and 2, the camera 212 has an image pickup range above and diagonally above the left.
  • the camera 212 includes an image sensor such as a lens and a CCD (Charge Coupled Device) image sensor.
  • the camera 212 is installed by adjusting the direction of the camera body and the lens, the angle of view, the zoom magnification, the focusing, and the like.
  • the camera 212 of one of the imaging units 202 images the upper side and the diagonally upper side of the camera 212 so that the opening of the display shelf 40 and the front thereof are included in the imaging range.
  • the camera 212 of the other image pickup unit 202 images downward and diagonally downward so as to include the opening of the display shelf 40 and the front thereof in the image pickup range.
  • FIG. 4 is a functional block diagram showing an example of the functional configuration of the control device 100 of the present embodiment.
  • the control device 100 includes an estimation unit 102 and a control unit 104.
  • the control device 100 is used together with the image pickup unit 202 for photographing an area including the front of the display shelf 40.
  • the estimation unit 102 estimates the height of the customer by processing the image taken by the image pickup unit 202.
  • the control unit 104 uses the height of the customer to control the operating state of at least one of the light emitting device and the voice output device 80 related to the display shelf 40.
  • the method for estimating the height of the customer is not limited to this, and other methods may be used for estimation.
  • the height of the customer may be estimated using an image of another camera installed in the store, for example, a surveillance camera.
  • the light emitting device related to the display shelf 40 is, for example, the light emitting unit of the lighting unit 222 of the image pickup unit 202.
  • the audio output device 80 related to the display shelf 40 is a plurality of speakers (not shown) installed on the display shelf 40. The plurality of speakers are arranged at different heights in the height direction of the display shelf 40.
  • the voice output device 80 outputs a voice message telling the customer that the product cannot be specified by image recognition or a notification sound calling attention.
  • a message or the like indicating the instruction content requested to the customer may be output.
  • the removed product may be instructed to point at the camera, or the height of the product may be moved to a predetermined height and instructed to stand still.
  • a message instructing the customer to select a product to be settled from a plurality of candidates found by image recognition is output.
  • the control unit 104 controls, for example, the irradiation direction of the light of the light emitting unit of the lighting unit 222 according to the height estimated by the estimation unit 102.
  • the irradiation method according to the height is exemplified below, but is not limited to these.
  • the above (a1) is a control method for improving the image recognition accuracy by the image processing device 70.
  • the product taken out from the display shelf 40 moves at a relatively high position, so if the product is irradiated with light from the upper side to the lower side, the product is irradiated with light from near. .. Therefore, the light may be reflected or reflected on the product package or the like in the captured image, and the recognition accuracy may be lowered. Therefore, when the customer is tall, it is preferable to irradiate the product with light from the lower side to the upper side in terms of improving the recognition accuracy.
  • the product taken out from the display shelf 40 moves at a relatively low position. Therefore, when the product is irradiated with light from the lower side to the upper side, the product is irradiated with light from near. become. Therefore, the light of the illumination may enter the captured image together with the product, and the recognition accuracy of the product may decrease. Therefore, when the customer is short, it is preferable to irradiate the product with light from the upper side to the lower side in terms of improving the recognition accuracy.
  • the above (a2) is a control method for making it easier for the customer to see the products taken out from the display shelf 40.
  • the product taken out from the display shelf 40 moves at a relatively high position, so that it is easier for the customer to see the product by irradiating the product with light from above.
  • the product taken out from the display shelf 40 moves at a relatively low position, so it is easier for the customer to see the product by irradiating the product with light from below.
  • the control of the operating state of the voice output device 80 will be described.
  • the height of the customer is divided into a plurality of heights, and the speakers are arranged at heights that are easy for the customers belonging to each division to hear.
  • the audio output to each speaker by the control unit 104 can be individually controlled.
  • the control unit 104 controls, for example, from which speaker the sound is output, or the volume of the sound or the notification sound output from each speaker.
  • the direction of audio output may be controlled.
  • the sound output from the speaker of each display shelf 40 is at a volume that can be heard by a customer in front of the display shelf 40, and is in front of the adjacent display shelf 40. It is preferable that the volume is inaudible to customers in the area.
  • the audio output from the speaker of each display shelf 40 is directed to the customer who is in front of the display shelf 40 and is the target of the audio output. It is preferable because it outputs audio in the direction.
  • FIG. 5 is a block diagram illustrating a hardware configuration of a computer 1000 that realizes the control device 100 of each embodiment.
  • the control device 100 is, for example, a server computer or a personal computer.
  • the product registration device 30, the image processing device 70, and the like are also realized by the computer 1000.
  • At least a part of the functions of the control device 100 may be realized by the computer 1000 that realizes the product registration device 30.
  • the control device 100 may be incorporated as a part of the function of the product registration device 30.
  • the image processing device 70 may be included in the same computer 1000 as the control device 100.
  • the operation terminals 60 of the third and fifth embodiments, which will be described later, are also realized by the computer 1000.
  • the computer 1000 has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the control device 100 (for example, an estimation unit 102, a control unit 104, and the like).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized. Further, the storage device 1040 may also store each data and setting of the control device 100, or an image acquired from the image pickup device 200.
  • the image recognition accuracy of the product taken out from the display shelf 40 by the customer can be improved, and it becomes easy to quickly and accurately identify the product by image processing.
  • control device 100 of the present embodiment has a configuration in which the lighting unit 222, which is the control target of the above embodiment, is divided into a plurality of parts in the height direction and controls the light emitting state of each type according to the height. It is the same as the first embodiment. Since the control device 100 of the present embodiment has the same configuration as that of the first embodiment of FIG. 4, it will be described below with reference to the functional block diagram of FIG. 4 of the first embodiment. However, the configurations of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
  • the control unit 104 acquires the height estimated by the estimation unit 102, refers to the corresponding table 120, and acquires the light emitting unit ID corresponding to the height. Then, the control unit 104 controls the light emitting state of the light emitting unit indicated by the light emitting unit ID.
  • Various methods for controlling the light emitting state of the light emitting unit can be considered and are exemplified below, but are not limited thereto.
  • the light emitting portion of the relevant category is made brighter than the light emitting portion of another category.
  • the brightness of the light emitting portion of the relevant category is weaker than that of the light emitting portion of the other category.
  • the light emitting unit of the relevant category is blinked.
  • the light emitting part other than the corresponding category is blinked.
  • Only the light emitting part of the relevant category is made to emit light, and the light emitting part of the other category is turned off.
  • B6 Only the light emitting part of the relevant category is turned off, and the light emitting part of the other category is made to emit light.
  • the taller the height the higher the installation position of the associated light emitting unit, but in other examples, the taller the height, the lower the installation position of the associated light emitting unit. good.
  • the light emitting unit at a low position corresponding to the light emitting unit ID003 is made to emit light, and when the height is standard or short, it corresponds to the light emitting unit ID001.
  • the light emitting unit at a high position may emit light.
  • FIG. 9 is a flowchart showing an operation example of the control device 100 of the present embodiment.
  • the flowchart of FIG. 9 includes the same steps S101 and S103 as the flowchart of FIG. 6, and further includes steps S201 to S207.
  • FIG. 10 is a diagram for explaining a control example of the light emitting unit according to the height.
  • the control unit 104 controls the operating state of the light emitting unit of the lighting unit 222 according to the height (step S201). For example, when the height estimated in step S103 exceeds 170 cm (“high”), the corresponding table 120 is referred to and the light emitting unit ID “001” corresponding to “high” is acquired. As shown in FIG. 10A, the control unit 104 causes the first light emitting unit 222a corresponding to the light emitting unit ID 001 to emit light (step S203).
  • step S103 when the height estimated in step S103 is 150 to 170 cm (“standard”), the corresponding table 120 is referred to and the light emitting unit ID “002” corresponding to the “standard” is acquired. As shown in FIG. 10B, the control unit 104 causes the second light emitting unit 222b from the top corresponding to the light emitting unit ID 002 to emit light (step S205).
  • step S103 when the height estimated in step S103 is less than 150 cm (“low”), the corresponding table 120 is referred to, and the light emitting unit ID “003” corresponding to “low” is acquired.
  • the control unit 104 causes the third light emitting unit 222c from the top corresponding to the light emitting unit ID003 to emit light (step S207).
  • the light emitting unit of the lighting unit 222 is divided into a plurality of units, and the control unit 104 can control the operation of the light emitting unit in the division corresponding to the height of the customer estimated by the estimation unit 102. Suitable lighting operation can be realized. Since the image recognition accuracy can be improved as in the above embodiment, it becomes easy to quickly and accurately identify the product by image processing.
  • a plurality of display devices installed at different heights in the height direction of the display shelf 40 are used as light emitting devices, and the operation is controlled by selecting a display device to be activated according to the height. Is the same as that of the first embodiment. Since the control device 100 of the present embodiment has the same configuration as that of the first embodiment of FIG. 4, it will be described below with reference to the functional block diagram of FIG. 4 of the first embodiment. However, the configurations of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
  • FIG. 11 is a diagram showing a usage environment of the control device 100 of the present embodiment in the product registration system 1.
  • the control device 100 controls a display device arranged at a predetermined position on the display shelf 40.
  • the display device is a liquid crystal display, an organic EL display, or the like.
  • the display device is, for example, an operation terminal 60 such as a tablet terminal or a smartphone.
  • the operation terminal 60 is realized by the computer 1000 of FIG.
  • the operation terminal 60 may have a display unit, an operation reception unit, an audio input / output unit, a vibration unit, and the like as input / output devices.
  • the display unit is, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, an LED (Light Emitting Diode) display, a light, or the like.
  • the operation reception unit includes a touch panel, a keyboard, operation keys, operation buttons, switches, a jog dial, a touch pad, and the like.
  • the audio input / output unit is a microphone and a speaker.
  • the vibrating part is a vibrator.
  • the display unit (display 62) of the operation terminal 60 is a touch panel and also serves as an operation reception unit.
  • the light emitting device controlled by the control unit 104 is a plurality of display devices installed at different heights in the height direction of the display shelf 40. As shown in FIG. 12, three operation terminals 60 (indicated as 60a, 60b, 60c from the top in the figure) are installed at different heights in the height direction of the display shelves 40.
  • the active state of the operation terminal 60 by the control unit 104 is, for example, displaying a message indicating the instruction content requested to the customer on the display 62 in order to improve the image recognition accuracy, or displaying a speaker (not shown). ), A voice is output, a notification sound is output, and a light is turned on.
  • the removed product may be instructed to point at the camera, or the height of the product may be moved to a predetermined height and instructed to stand still.
  • a message instructing the customer to select a product to be settled from a plurality of candidates found by image recognition and at least one of the selection screens are displayed on the display 62 or a speaker. You may output voice from, output a notification sound, or turn on the light.
  • the inactive state of the operation terminal 60 by the control unit 104 is a state in which the standby screen is displayed or hidden on the display 62, the speaker is muted, or the light is turned off.
  • the corresponding table 120 may be used to store the identification information of the display device to be activated in association with the height.
  • FIG. 13 is a flowchart showing an operation example of the control device 100 of the present embodiment.
  • the flowchart of FIG. 13 includes the same steps S101, S103, and S201 as the flowchart of FIG. 9, and further includes steps S301 to S307.
  • the flow of the present embodiment may be executed in parallel in combination with at least one of the flows of FIGS. 6 and 9.
  • the identification information of the display device is associated with the height classification of the customer.
  • the control unit 104 controls the operating state of the light emitting unit of the lighting unit 222 according to the height (step S201). For example, when the height estimated in step S103 exceeds 170 cm (“high”), the corresponding table 120 is referred to to acquire the identification information of the display device corresponding to the “high”. As shown in FIG. 12A, the control unit 104 activates the display 62 of the first operation terminal 60a corresponding to the identification information of the display device (step S303).
  • step S103 when the height estimated in step S103 is 150 to 170 cm (“standard”), the identification information of the display device corresponding to the “standard” is acquired by referring to the corresponding table 120. As shown in FIG. 12B, the control unit 104 activates the display 62 of the second operation terminal 60b from the top corresponding to the identification information of the display device (step S305).
  • step S103 when the height estimated in step S103 is less than 150 cm (“low”), the corresponding table 120 is referred to and the identification information of the display device corresponding to “low” is acquired.
  • the control unit 104 activates the display 62 of the third operation terminal 60c from the top corresponding to the identification information of the display device (step S307).
  • the control unit 104 arranges a plurality of displays 62 at different heights in the height direction of the display shelves 40, and actively controls the displays 62 according to the estimated height of the customer. That is, since the display 62 at a position that is easy for the customer to see or notice is activated, the instruction content can be efficiently transmitted to the customer. Therefore, according to the control device 100 of the present embodiment, the image recognition accuracy can be improved more quickly, and it becomes easier to quickly and accurately identify the product by image processing.
  • the light emitting device controlled by the control unit 104 is the same as that of the first embodiment except that the projector 90 is used.
  • the configurations of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
  • FIG. 14 is a diagram showing a usage environment of the control device 100 of the present embodiment in the product registration system 1.
  • the light emitting device controlled by the control device 100 is the projector 90.
  • FIG. 15 is a functional block diagram showing an example of the functional configuration of the control device 100 of the present embodiment.
  • the control device 100 has the same estimation unit 102 and control unit 104 as the control device 100 of FIG. 4, and further has a position specifying unit 106.
  • control device 100 further includes a detection unit (not shown) that detects at least one of the customer's body and the product by processing the image.
  • the control unit 104 projects a predetermined image with at least one of the customer's body part and the product detected by the detection unit as the projection position.
  • the predetermined image is an image showing a message or the like indicating the instruction content requested to the customer in order to improve the image recognition accuracy.
  • the predetermined image is an image showing the content of instructing the customer to change the position or orientation of the product. Specifically, it may indicate the content of instructing the taken-out product to be pointed at the camera, or instructing the height of the product to be moved to a predetermined height and to be stopped. Further, in the fifth embodiment described later, an image showing a message instructing the customer to select a product to be settled from a plurality of candidates found by image recognition may be projected.
  • the projection position of the image can be specified without using the height of the customer estimated by the estimation unit 102.
  • the position specifying unit 106 specifies the projection position of the projector 90 using the height of the customer, and the control unit 104 projects a predetermined image on the projector 90 at the specified projection position.
  • the predetermined image includes contents instructing the customer to change the position and orientation of the product in order to improve the image recognition accuracy. Since it can be projected onto the projector 90 at a position suitable for the height of the customer, the customer can easily notice the instruction content. Therefore, according to the control device 100 of the present embodiment, the image recognition accuracy can be improved more quickly, and it becomes easier to quickly and accurately identify the product by image processing.
  • the control device 100 of the present embodiment is different from the above embodiment in that it has a configuration in which a customer identifies a product taken out from the display shelf 40 by image processing and allows the customer to select a product when a plurality of candidates are specified.
  • the control device 100 of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
  • FIG. 16 is a diagram showing a usage environment of the control device 100 of the present embodiment in the product registration system 1.
  • FIG. 17 is a functional block diagram showing an example of the functional configuration of the control device 100 of the present embodiment.
  • the product registration system 1 includes an operation terminal 60 in place of the voice output device 80 of FIG.
  • the product registration system 1 may further include the audio output device 80 and the projector 90 of FIG. 14, as will be described later.
  • the operation terminal 60 is used to allow the customer to select a product to be settled from the plurality of candidates.
  • FIG. 18 is a diagram showing an example of a screen 300 for selecting a product.
  • the screen 300 is displayed on the display 62 of the operation terminal 60.
  • the operation screen 300 includes a selection instruction unit 302, a candidate product information display unit 304, a selection button 306, an amount display unit 308, an accounting button 310, a clear button 312, and a cancel button 314.
  • This screen 300 allows the customer to select a product to be settled from a plurality of candidates.
  • the light emitting device is a projector 90.
  • FIG. 20 is a diagram showing an example of controlling the light emitting state of the light emitting device by the control unit 104.
  • the control unit 104 informs the projector 90 that a plurality of candidates have been found in the front frame 42 of the display shelf 40 and that it is necessary to select a product to be settled from the plurality of candidates. Is projecting a message for.
  • the light emitting device is the illumination unit 222 of the image pickup unit 202.
  • the number of a plurality of candidates may be indicated by the number of times of light emission of the light emitting unit of the illumination unit 222.
  • the control unit 104 may make the light emitting unit of the illumination unit 222 emit light as many times as the number of candidates.
  • FIG. 21 is a diagram showing an example of controlling the light emitting state of the light emitting device by the control unit 104.
  • the light emitting device is a projector 90.
  • the control unit 104 projects an image 400 including an image 402 of a package of a plurality of candidate products and a message 404 prompting the selection of a product to be settled from the candidates on the projector 90.
  • 22 and 23 are diagrams showing a control example of the projection operation of the projector 90 by the control unit 104.
  • the control unit 104 projects an image including a message instructing to select a product to be settled from a plurality of candidates on the back of the customer's hand detected by the detection unit.
  • the control unit 104 projects an image including a message instructing to select a product to be settled from a plurality of candidates on the surface of the product package detected by the detection unit.
  • FIG. 24 is a diagram showing a usage example of the operation terminal 60.
  • the operation terminal 60 is installed on the upper part of the display shelf 40. Therefore, as shown in FIG. 24 (a), when the customer is tall, the operation terminal 60 is easily noticed, but as shown in FIG. 24 (b), when the customer is short, the operation is performed. It may be difficult to notice the terminal 60.
  • the lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
  • the control means is a control device that controls the light emitting state of each of the divisions of the lighting device according to the height estimated by the estimation means. 4. 1. 1. From 3. In the control device according to any one of The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf. The control means is a control device that controls which height of the display device is activated according to the height estimated by the estimation means. 5. 1. 1. From 4. In the control device according to any one of The light emitting device is a control device which is a projector. 6. 5.
  • control means is a control device that projects a predetermined image onto the projector at a specified projection position. 7. 6. In the control device described in Further provided with a detection means for detecting the customer's body, The control means is a control device that causes the projector to project the predetermined image with the detected body of the customer as the projection position.
  • a program for causing a computer to perform a procedure of projecting a predetermined image on the projector at the specified projection position 21. 20.
  • the light emitting device is a control device which is a projector. 29. 28.
  • it is provided with an estimation means for estimating the height of the customer by processing the image. Further provided with a specific means for specifying the projection position of the projector by using the height of the customer estimated by the estimation means.
  • the control means is a control device that projects a predetermined image onto the projector at a specified projection position. 30. 29.
  • the control means is a control device that causes the projector to project the predetermined image with the detected body of the customer as the projection position.
  • a procedure for estimating the height of a customer by processing the image A program for causing a computer to perform a procedure for controlling an operating state of at least one of a light emitting device and a display device using the height of the customer. 43. 40. From 42.
  • the lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

A control device (100) is provided with: an estimation unit (102) which is used together with an imaging device that captures images of a region including the front of a display case (40) and which estimates the height of a customer by processing images captured by the imaging device; and a control unit (104) which, by using the height of the customer, controls the operating state of at least one of a light emitting device and a speech output device (80) related to the display case (40).

Description

制御装置、制御方法、およびプログラムControls, control methods, and programs
　本発明は、制御装置、制御方法、およびプログラムに関する。 The present invention relates to a control device, a control method, and a program.
　画像を用いて商品などの物品を特定することは、様々な場所で行われている。店舗において、画像を用いて商品登録を行うＰＯＳ（Point Of Sales）端末装置の一例が特許文献１に記載されている。特許文献１では、筐体内に３次元カメラを設置して商品を撮像して得られた画像を認識処理することで、商品以外の物体の写り込みを防止し、商品の認識精度を向上させている。 Identifying goods and other items using images is done in various places. Patent Document 1 describes an example of a POS (Point Of Sales) terminal device that registers a product using an image in a store. In Patent Document 1, a three-dimensional camera is installed in a housing to image a product and perform recognition processing to prevent reflection of objects other than the product and improve the recognition accuracy of the product. There is.
特開２０１９－１９４９２６号公報JP-A-2019-194926
　棚から顧客が取り出した商品を画像処理によって特定する場合、認識精度を向上させるためには、商品が画像に明瞭に写るように、撮像条件をことが好ましい。また、棚から顧客が取り出す際に、顧客に対して様々な情報を提供する場合もある。本発明者は、商品が画像に明瞭に写るようにしたり、又は、提供した情報を顧客が認識しやすくすることを検討した。 When identifying a product taken out by a customer from a shelf by image processing, it is preferable to set imaging conditions so that the product is clearly reflected in the image in order to improve recognition accuracy. In addition, various information may be provided to the customer when the customer takes it out from the shelf. The present inventor has considered making the product clearly visible in the image or making it easier for the customer to recognize the provided information.
　本発明は上記事情に鑑みてなされたものであり、その目的とするところは商品が画像に明瞭に写るようにしたり、又は、提供した情報を顧客が認識しやすくすることにある。 The present invention has been made in view of the above circumstances, and an object thereof is to make the product clearly appear in an image or to make it easier for a customer to recognize the provided information.
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。 In each aspect of the present invention, the following configurations are adopted in order to solve the above-mentioned problems.
　第一の側面は、制御装置に関する。
　第一の側面に係る制御装置は、
　棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する制御手段と、を有する。 The first aspect relates to the control device.
The control device related to the first aspect is
An estimation means that is used together with an image pickup device that captures an area including the front of a shelf and estimates the height of a customer by processing an image captured by the image pickup device.
It has a control means for controlling the operating state of at least one of a light emitting device and a voice output device related to the shelf by using the height of the customer.
　第二の側面は、少なくとも１つのコンピュータにより実行される制御方法に関する。
　第二の側面に係る制御方法は、
　制御装置は、
　棚の前方を含む領域を撮影する撮像装置とともに使用され、
　前記制御装置が、
　前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する、ことを含む。 The second aspect relates to a control method performed by at least one computer.
The control method related to the second aspect is
The control device is
Used with imaging equipment to capture areas including the front of the shelf
The control device
The height of the customer is estimated by processing the image captured by the image pickup device, and the height of the customer is estimated.
The customer's height is used to control the operating state of at least one of the light emitting device and the voice output device related to the shelf.
　なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、制御装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。 As another aspect of the present invention, it may be a program that causes at least one computer to execute the method of the second aspect, or it is a recording medium that can be read by a computer that records such a program. You may. This recording medium includes a non-temporary tangible medium.
This computer program contains computer program code that causes the computer to perform its control method on a control device when executed by the computer.
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above components and the conversion of the expression of the present invention between methods, devices, systems, recording media, computer programs, etc. are also effective as aspects of the present invention.
　また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。 Further, the various components of the present invention do not necessarily have to be individually independent, and a plurality of components are formed as one member, and one component is formed of a plurality of members. It may be that a certain component is a part of another component, a part of a certain component overlaps with a part of another component, and the like.
　また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。 Further, although the method and the computer program of the present invention describe a plurality of procedures in order, the order of description does not limit the order in which the plurality of procedures are executed. Therefore, when implementing the method and computer program of the present invention, the order of the plurality of procedures can be changed within a range that does not hinder the contents.
　さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。 Furthermore, the method of the present invention and the plurality of procedures of the computer program are not limited to being executed at different timings. Therefore, another procedure may occur during the execution of a certain procedure, a part or all of the execution timing of the certain procedure and the execution timing of the other procedure may overlap, and the like.
　上記各側面によれば、画像処理による商品の特定を迅速かつ正確にしやすくなる。 According to each of the above aspects, it becomes easy to quickly and accurately identify the product by image processing.
本発明の実施の形態に係る制御装置の商品登録システムにおける使用環境を示す図である。It is a figure which shows the use environment in the product registration system of the control device which concerns on embodiment of this invention. 商品登録システムの撮像装置を説明するための図である。It is a figure for demonstrating the image pickup apparatus of a product registration system. 図２の撮像装置を構成する撮像ユニットを説明するための図である。It is a figure for demonstrating the image pickup unit which constitutes the image pickup apparatus of FIG. 実施形態の制御装置の機能構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the functional structure of the control device of an embodiment. 各実施形態の制御装置を実現するコンピュータのハードウェア構成を例示するブロック図である。It is a block diagram which illustrates the hardware composition of the computer which realizes the control device of each embodiment. 実施形態の制御装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the control device of an embodiment. 身長に応じたスピーカの制御例を説明するための図である。It is a figure for demonstrating the control example of the speaker according to the height. 身長と制御対象装置の対応テーブルのデータ構造の例を示す図である。It is a figure which shows the example of the data structure of the correspondence table of a height and a control target device. 実施形態の制御装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the control device of an embodiment. 身長に応じた発光部の制御例を説明するための図である。It is a figure for demonstrating the control example of the light emitting part according to the height. 実施形態の制御装置の商品登録システムにおける使用環境を示す図である。It is a figure which shows the use environment in the product registration system of the control device of an embodiment. 身長に応じた表示装置の制御例を説明するための図である。It is a figure for demonstrating the control example of the display device according to the height. 実施形態の制御装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the control device of an embodiment. 実施形態の制御装置の商品登録システムにおける使用環境を示す図である。It is a figure which shows the use environment in the product registration system of the control device of an embodiment. 実施形態の制御装置の機能構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the functional structure of the control device of an embodiment. 実施形態の制御装置の商品登録システム１における使用環境を示す図である。It is a figure which shows the use environment in the product registration system 1 of the control device of an embodiment. 実施形態の制御装置の機能構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the functional structure of the control device of an embodiment. 商品選択のための画面の一例を示す図である。It is a figure which shows an example of the screen for product selection. 実施形態の制御装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the control device of an embodiment. 制御部による発光装置の発光状態の制御例を示す図である。It is a figure which shows the control example of the light emitting state of a light emitting device by a control unit. 制御部による発光装置の発光状態の制御例を示す図である。It is a figure which shows the control example of the light emitting state of a light emitting device by a control unit. 制御部によるプロジェクタの投影動作の制御例を示す図である。It is a figure which shows the control example of the projection operation of a projector by a control unit. 制御部によるプロジェクタの投影動作の制御例を示す図である。It is a figure which shows the control example of the projection operation of a projector by a control unit. 操作端末の使用例を示す図である。It is a figure which shows the use example of an operation terminal.
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, similar components are designated by the same reference numerals, and the description thereof will be omitted as appropriate. In each of the following figures, the configuration of parts not related to the essence of the present invention is omitted and is not shown.
　実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、および、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。 In the embodiment, "acquisition" means that the own device retrieves data or information stored in another device or storage medium (active acquisition), and is output to the own device from the other device. Includes at least one of entering data or information (passive acquisition). Examples of active acquisition include making a request or inquiry to another device and receiving the reply, and accessing and reading another device or storage medium. Further, an example of passive acquisition may be receiving information to be delivered (or transmitted, push notification, etc.). Further, "acquisition" may be to select and acquire from received data or information, or to select and receive delivered data or information.
（第１実施形態）
＜システム概要＞
　図１は、本発明の実施の形態に係る制御装置１００の商品登録システム１における使用環境を示す図である。図２は、商品登録システム１の撮像装置２００を説明するための図である。図３は、図２の撮像装置２００を構成する撮像ユニット２０２を説明するための図である。 (First Embodiment)
<System overview>
FIG. 1 is a diagram showing a usage environment of the control device 100 according to the embodiment of the present invention in the product registration system 1. FIG. 2 is a diagram for explaining the image pickup apparatus 200 of the product registration system 1. FIG. 3 is a diagram for explaining an image pickup unit 202 constituting the image pickup apparatus 200 of FIG. 2.
　陳列棚４０は、例えば店舗に配置されている什器であり、少なくとも一つの棚を有している。棚の上には商品が載置される。商品登録システム１では、商品登録作業を、店員や顧客による商品バーコードなどの読み取り作業に依らずに、撮像画像を用いて行う。例えば、顧客は店舗内の棚から商品を取り出してカートや買い物カゴ、あるいは、顧客のバッグに入れるだけで、商品登録処理が完了する。 The display shelf 40 is, for example, a fixture arranged in a store, and has at least one shelf. Products are placed on the shelves. In the product registration system 1, the product registration work is performed using the captured image without relying on the reading work of the product barcode or the like by the store clerk or the customer. For example, a customer simply takes out a product from a shelf in a store and puts it in a cart, a shopping cart, or a customer's bag, and the product registration process is completed.
　撮像装置２００は、陳列棚４０の棚およびその前方の少なくとも一方を撮影する。撮像装置２００は２つの撮像ユニット２０２を有している。図２に示す例において、撮像装置２００は陳列棚４０の棚およびその前方の双方を撮影する。 The image pickup device 200 photographs at least one of the shelves of the display shelf 40 and the front thereof. The image pickup apparatus 200 has two image pickup units 202. In the example shown in FIG. 2, the image pickup apparatus 200 photographs both the shelf of the display shelf 40 and the front thereof.
　撮像ユニット２０２は、照明部２２２およびカメラ２１２を有している。カメラ２１２は、撮像部筐体２１０内に収容され、照明部２２２は照明部筐体２２０に収容されている。 The image pickup unit 202 has an illumination unit 222 and a camera 212. The camera 212 is housed in the image pickup unit housing 210, and the lighting unit 222 is housed in the lighting unit housing 220.
　照明部２２２の光放射面は一方向に延在しており、発光部および発光部を覆うカバーとして機能する照明部筐体２２０を有している。照明部２２２は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤ（Light Emitting Diode）などの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明部２２２が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。 The light emitting surface of the lighting unit 222 extends in one direction, and has a lighting unit housing 220 that functions as a cover that covers the light emitting unit and the light emitting unit. The illumination unit 222 mainly emits light in a direction orthogonal to the extending direction of the light emitting surface. The light emitting unit has a light emitting element such as an LED (Light Emitting Diode) and emits light in a direction not covered by the cover. When the light emitting element is an LED, a plurality of LEDs are arranged in a direction in which the illumination unit 222 extends (vertical direction in the figure).
　そしてカメラ２１２は、照明部２２２の一端側に設けられており、照明部２２２の光が放射される方向を撮像範囲としている。２つの撮像ユニット２０２の一方は、上側から下方向を撮影し、他方は下側から上方向を撮影するように設置される。 The camera 212 is provided on one end side of the illumination unit 222, and the direction in which the light of the illumination unit 222 is emitted is set as the imaging range. One of the two image pickup units 202 is installed so as to shoot downward from the upper side and the other to shoot upward from the lower side.
　例えば図１および図２の左側の撮像ユニット２０２において、カメラ２１２は下方および右斜め下を撮像範囲としている。また、図１および図２の右側の撮像ユニット２０２において、カメラ２１２は上方および左斜め上を撮像範囲としている。 For example, in the image pickup unit 202 on the left side of FIGS. 1 and 2, the camera 212 has an image pickup range of the lower part and the diagonally lower right side. Further, in the image pickup unit 202 on the right side of FIGS. 1 and 2, the camera 212 has an image pickup range above and diagonally above the left.
　カメラ２１２は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備える。カメラ２１２は、カメラ本体やレンズの向き、画角、ズーム倍率、焦点合わせ等を調整して設置される。 The camera 212 includes an image sensor such as a lens and a CCD (Charge Coupled Device) image sensor. The camera 212 is installed by adjusting the direction of the camera body and the lens, the angle of view, the zoom magnification, the focusing, and the like.
　カメラ２１２により生成される画像は、リアルタイムに撮影され、制御装置１００に送信されるのが好ましい。ただし、制御装置１００に送信される画像は、カメラ２１２から直接送信されなくてもよく、所定の時間遅延した画像であってもよい。カメラ２１２で撮像された画像は、一旦他の記憶装置に格納され、制御装置１００が記憶装置から逐次または所定間隔毎に読み出してもよい。さらに、制御装置１００に送信される画像は、動画像であるのが好ましいが、所定間隔毎のフレーム画像であってもよいし、静止画であってもよい。 The image generated by the camera 212 is preferably taken in real time and transmitted to the control device 100. However, the image transmitted to the control device 100 does not have to be directly transmitted from the camera 212, and may be an image delayed by a predetermined time. The image captured by the camera 212 may be temporarily stored in another storage device, and may be read out from the storage device by the control device 100 sequentially or at predetermined intervals. Further, the image transmitted to the control device 100 is preferably a moving image, but may be a frame image at predetermined intervals or a still image.
　図２に示すように、２つの撮像ユニット２０２は、陳列棚４０の前面フレーム（または両側の側壁の前面）４２に取り付けられる。この際、一方の撮像ユニット２０２は、一方の前面フレーム４２に、カメラ２１２が下方に位置する向きに取り付けられ、他方の撮像ユニット２０２は、一方の撮像ユニット２０２とは逆側の前面フレーム４２に、カメラ２１２が上方に位置する向きに取り付けられる。このため、棚が延在する方向において、一方のカメラ２１２、陳列棚４０、および他方のカメラ２１２は、この順に並んでいる。また、一方のカメラ２１２は陳列棚４０の棚より上に位置し、他方のカメラ２１２は陳列棚４０の棚より下に位置している。これにより、２つのカメラ２１２の間隔は広くなる。 As shown in FIG. 2, the two imaging units 202 are attached to the front frame (or the front of the side walls on both sides) 42 of the display shelf 40. At this time, one image pickup unit 202 is attached to one front frame 42 in a direction in which the camera 212 is located downward, and the other image pickup unit 202 is attached to the front frame 42 opposite to one image pickup unit 202. , The camera 212 is mounted in the upward orientation. Therefore, one camera 212, the display shelf 40, and the other camera 212 are arranged in this order in the direction in which the shelves extend. Further, one camera 212 is located above the shelf of the display shelf 40, and the other camera 212 is located below the shelf of the display shelf 40. As a result, the distance between the two cameras 212 becomes wider.
　そして一方の撮像ユニット２０２のカメラ２１２は、陳列棚４０の開口部およびその前方を撮像範囲に含むように、そのカメラ２１２の上方および斜め上方を撮像する。他方の撮像ユニット２０２のカメラ２１２は、陳列棚４０の開口部およびその前方を撮像範囲に含むように、下方および斜め下方を撮像する。このように２つの撮像ユニット２０２を用いることで、陳列棚４０の開口部およびその前方の全範囲を含む３次元空間を撮影することができる。このため、商品登録装置３０は、撮像装置２００が生成した画像を処理すると、陳列棚４０から取り出された商品を特定することができる。そして、特定された商品を決済処理の対象として登録する。 Then, the camera 212 of one of the imaging units 202 images the upper side and the diagonally upper side of the camera 212 so that the opening of the display shelf 40 and the front thereof are included in the imaging range. The camera 212 of the other image pickup unit 202 images downward and diagonally downward so as to include the opening of the display shelf 40 and the front thereof in the image pickup range. By using the two image pickup units 202 in this way, it is possible to photograph a three-dimensional space including the opening of the display shelf 40 and the entire range in front of the opening. Therefore, the product registration device 30 can identify the product taken out from the display shelf 40 by processing the image generated by the image pickup device 200. Then, the specified product is registered as the target of payment processing.
　撮像装置２００が生成した画像を画像処理装置７０により処理することにより商品を特定する場合、シリーズ品などの類似品が複数ある商品では商品の特定が困難な場合がある。商品画像の類似度の差が閾値未満となる複数の候補が見つかった場合、決済処理では商品を正確に特定する必要がある。 When a product is specified by processing the image generated by the image pickup device 200 by the image processing device 70, it may be difficult to specify the product for a product having a plurality of similar products such as a series product. When a plurality of candidates whose difference in similarity between product images is less than the threshold value are found, it is necessary to accurately identify the product in the settlement process.
　そこで、本実施形態の制御装置１００は、陳列棚４０から顧客によって取り出された決済対象となる商品を迅速かつ正確に特定するために、陳列棚４０に関連する発光装置および音声出力装置８０の動作状態を制御する。 Therefore, the control device 100 of the present embodiment operates the light emitting device and the voice output device 80 related to the display shelf 40 in order to quickly and accurately identify the product to be settled taken out from the display shelf 40 by the customer. Control the state.
＜機能構成例＞
　図４は、本実施形態の制御装置１００の機能構成の一例を示す機能ブロック図である。制御装置１００は、推定部１０２と、制御部１０４とを備える。制御装置１００は、陳列棚４０の前方を含む領域を撮影する撮像ユニット２０２とともに使用される。
　推定部１０２は、撮像ユニット２０２により撮影された画像を処理することにより顧客の身長を推定する。制御部１０４は、顧客の身長を用いて、陳列棚４０に関連する発光装置および音声出力装置８０の少なくとも一方の動作状態を制御する。 <Function configuration example>
FIG. 4 is a functional block diagram showing an example of the functional configuration of the control device 100 of the present embodiment. The control device 100 includes an estimation unit 102 and a control unit 104. The control device 100 is used together with the image pickup unit 202 for photographing an area including the front of the display shelf 40.
The estimation unit 102 estimates the height of the customer by processing the image taken by the image pickup unit 202. The control unit 104 uses the height of the customer to control the operating state of at least one of the light emitting device and the voice output device 80 related to the display shelf 40.
　陳列棚４０の前方を含む領域は、撮像ユニット２０２のカメラ２１２により撮像され、画像が生成される。陳列棚４０の前に位置する人が商品に手を伸ばした場合、撮像ユニット２０２が生成した画像は、この人の手のひらおよび腕を含んでいる。推定部１０２は、撮像ユニット２０２が生成した画像を処理することにより、手のひらの高さおよび腕の角度を推定する。そして推定部１０２は、手のひらの高さおよび腕の角度を用いて、その人の身長を推定する。 The area including the front of the display shelf 40 is imaged by the camera 212 of the image pickup unit 202, and an image is generated. If a person located in front of the display shelf 40 reaches for the goods, the image generated by the imaging unit 202 includes the person's palm and arms. The estimation unit 102 estimates the height of the palm and the angle of the arm by processing the image generated by the image pickup unit 202. Then, the estimation unit 102 estimates the height of the person by using the height of the palm and the angle of the arm.
　ただし、顧客の身長の推定方法はこれに限定されず、他の方法で推定してもよい。例えば、店舗に設けられた他のカメラ、例えば、監視カメラなどの画像を用いて、顧客の身長を推定してもよい。 However, the method for estimating the height of the customer is not limited to this, and other methods may be used for estimation. For example, the height of the customer may be estimated using an image of another camera installed in the store, for example, a surveillance camera.
　陳列棚４０に関連する発光装置は、一例として、撮像ユニット２０２の照明部２２２の発光部である。また、陳列棚４０に関連する音声出力装置８０は、陳列棚４０に設置される複数のスピーカ（不図示）である。複数のスピーカは陳列棚４０の高さ方向の異なる高さにそれぞれ配置される。音声出力装置８０は、顧客に対して、画像認識により商品の特定ができない旨を伝える音声メッセージまたは注意を促す報知音を出力する。 The light emitting device related to the display shelf 40 is, for example, the light emitting unit of the lighting unit 222 of the image pickup unit 202. Further, the audio output device 80 related to the display shelf 40 is a plurality of speakers (not shown) installed on the display shelf 40. The plurality of speakers are arranged at different heights in the height direction of the display shelf 40. The voice output device 80 outputs a voice message telling the customer that the product cannot be specified by image recognition or a notification sound calling attention.
　さらに、画像認識精度を向上させるために、顧客に対して要求される指示内容を示すメッセージなどを出力してもよい。例えば、取り出した商品をカメラに向けるように指示したり、商品の高さを所定の高さに移動させて静止させるように指示したりしてもよい。さらに、後述する第５実施形態では、画像認識により見つかった複数候補の中から決済対象となる商品を選択するように顧客に指示するメッセージが出力される。 Further, in order to improve the image recognition accuracy, a message or the like indicating the instruction content requested to the customer may be output. For example, the removed product may be instructed to point at the camera, or the height of the product may be moved to a predetermined height and instructed to stand still. Further, in the fifth embodiment described later, a message instructing the customer to select a product to be settled from a plurality of candidates found by image recognition is output.
　制御部１０４は、例えば、推定部１０２により推定された身長に応じて、照明部２２２の発光部の光の照射方向を制御する。身長に応じた照射方法は以下に例示されるが、これらに限定されない。 The control unit 104 controls, for example, the irradiation direction of the light of the light emitting unit of the lighting unit 222 according to the height estimated by the estimation unit 102. The irradiation method according to the height is exemplified below, but is not limited to these.
（ａ１）推定部１０２により推定された顧客の身長が基準未満の場合、照明部２２２の発光部を下側から上方向に照射させる。推定部１０２により推定された顧客の身長が基準以上の場合、照明部２２２の発光部の上側から下方向に照射させる。
（ａ２）推定部１０２により推定された顧客の身長が基準未満の場合、照明部２２２の発光部を上側から下方向に照射させる。推定部１０２により推定された顧客の身長が基準以上の場合、照明部２２２の発光部の下側から下方向に照射させる。 (A1) When the height of the customer estimated by the estimation unit 102 is less than the standard, the light emitting unit of the lighting unit 222 is irradiated from the lower side to the upper side. When the height of the customer estimated by the estimation unit 102 is equal to or greater than the reference value, the lighting unit 222 is irradiated downward from above the light emitting unit.
(A2) When the height of the customer estimated by the estimation unit 102 is less than the standard, the light emitting unit of the lighting unit 222 is irradiated from the upper side to the lower side. When the height of the customer estimated by the estimation unit 102 is equal to or larger than the standard, the lighting unit 222 is irradiated downward from the lower side of the light emitting unit.
　上記（ａ１）は、画像処理装置７０による画像認識精度を向上させるための制御方法である。例えば、顧客の背が高い場合、陳列棚４０から取り出された商品は、比較的高い位置で移動するため、上側から下方向に光を照射すると商品に対して近くから光を照射することになる。そのため、撮像画像中の商品パッケージなどに光が写り込んでしまったり反射したりして認識精度が低下する可能性がある。よって、顧客の背が高い場合は、商品に対して下側から上方向に光を照射する方が認識精度向上の点において好ましい。 The above (a1) is a control method for improving the image recognition accuracy by the image processing device 70. For example, if the customer is tall, the product taken out from the display shelf 40 moves at a relatively high position, so if the product is irradiated with light from the upper side to the lower side, the product is irradiated with light from near. .. Therefore, the light may be reflected or reflected on the product package or the like in the captured image, and the recognition accuracy may be lowered. Therefore, when the customer is tall, it is preferable to irradiate the product with light from the lower side to the upper side in terms of improving the recognition accuracy.
　一方、顧客の背が低い場合には、陳列棚４０から取り出された商品は比較的低い位置で移動するため、下側から上方向に光を照射すると商品に対して近くから光を照射することになる。そのため、撮像画像中に商品と一緒に照明の光が入り込んでしまい、商品の認識精度が低下する可能性がある。よって顧客の背が低い場合、商品に対して上側から下方向に光を照射する方が認識精度向上の点において好ましい。 On the other hand, when the customer is short, the product taken out from the display shelf 40 moves at a relatively low position. Therefore, when the product is irradiated with light from the lower side to the upper side, the product is irradiated with light from near. become. Therefore, the light of the illumination may enter the captured image together with the product, and the recognition accuracy of the product may decrease. Therefore, when the customer is short, it is preferable to irradiate the product with light from the upper side to the lower side in terms of improving the recognition accuracy.
　上記（ａ２）は、顧客にとって陳列棚４０から取り出す商品を見易くするための制御方法である。例えば、顧客の背が高い場合、陳列棚４０から取り出された商品は、比較的高い位置で移動するため、商品に対して上側から光を照射した方が、顧客にとって商品が見易い。顧客の背が低い場合、陳列棚４０から取り出された商品は、比較的低い位置で移動するため、商品に対して下側から光を照射した方が、顧客にとって商品が見易い。 The above (a2) is a control method for making it easier for the customer to see the products taken out from the display shelf 40. For example, when the customer is tall, the product taken out from the display shelf 40 moves at a relatively high position, so that it is easier for the customer to see the product by irradiating the product with light from above. When the customer is short, the product taken out from the display shelf 40 moves at a relatively low position, so it is easier for the customer to see the product by irradiating the product with light from below.
　さらに、音声出力装置８０の動作状態の制御について説明する。
　例えば、顧客の身長の高さを複数に区分し、各区分に属する顧客が聞こえやすい高さに、スピーカはそれぞれ配置される。制御部１０４による各スピーカへの音声出力は個別に制御可能である。制御部１０４は、例えば、どの高さのスピーカから音声出力を行うか、あるいは、各スピーカから出力される音声または報知音の音量を制御する。 Further, the control of the operating state of the voice output device 80 will be described.
For example, the height of the customer is divided into a plurality of heights, and the speakers are arranged at heights that are easy for the customers belonging to each division to hear. The audio output to each speaker by the control unit 104 can be individually controlled. The control unit 104 controls, for example, from which speaker the sound is output, or the volume of the sound or the notification sound output from each speaker.
　さらに、スピーカが指向性を有する場合、音声出力の方向を制御してもよい。例えば、複数の陳列棚４０が並設されている場合、各陳列棚４０のスピーカからの音声出力は、陳列棚４０の前に居る顧客に聞こえる程度の音量であり、隣接する陳列棚４０の前に居る顧客には聞こえない程度の音量であるのが好ましい。さらに、スピーカが指向性を有している場合、各陳列棚４０のスピーカからの音声出力は、当該陳列棚４０の前に居る顧客であって、音声出力の対象となっている顧客に向けた方向で音声出力するので好ましい。 Furthermore, if the speaker has directivity, the direction of audio output may be controlled. For example, when a plurality of display shelves 40 are arranged side by side, the sound output from the speaker of each display shelf 40 is at a volume that can be heard by a customer in front of the display shelf 40, and is in front of the adjacent display shelf 40. It is preferable that the volume is inaudible to customers in the area. Further, when the speaker has directivity, the audio output from the speaker of each display shelf 40 is directed to the customer who is in front of the display shelf 40 and is the target of the audio output. It is preferable because it outputs audio in the direction.
＜ハードウェア構成例＞
　図５は、各実施形態の制御装置１００を実現するコンピュータ１０００のハードウェア構成を例示するブロック図である。制御装置１００は、例えば、サーバコンピュータ、パーソナルコンピュータである。また、商品登録装置３０、画像処理装置７０などもコンピュータ１０００によって実現される。制御装置１００の少なくとも一部の機能は、商品登録装置３０を実現するコンピュータ１０００が実現してもよい。例えば、制御装置１００は、商品登録装置３０の一部の機能として組み込まれてもよい。上記したように、画像処理装置７０は制御装置１００と同じコンピュータ１０００に含まれてもよい。また、後述する第３および第５実施形態の操作端末６０もコンピュータ１０００によって実現される。 <Hardware configuration example>
FIG. 5 is a block diagram illustrating a hardware configuration of a computer 1000 that realizes the control device 100 of each embodiment. The control device 100 is, for example, a server computer or a personal computer. Further, the product registration device 30, the image processing device 70, and the like are also realized by the computer 1000. At least a part of the functions of the control device 100 may be realized by the computer 1000 that realizes the product registration device 30. For example, the control device 100 may be incorporated as a part of the function of the product registration device 30. As described above, the image processing device 70 may be included in the same computer 1000 as the control device 100. Further, the operation terminals 60 of the third and fifth embodiments, which will be described later, are also realized by the computer 1000.
　コンピュータ１０００は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０を有する。 The computer 1000 has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。 The bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other. However, the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。 The processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。 The memory 1030 is a main storage device realized by a RAM (RandomAccessMemory) or the like.
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は制御装置１００の各機能（例えば、推定部１０２、制御部１０４など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は制御装置１００の各データおよび設定、あるいは、撮像装置２００から取得した画像も記憶してもよい。 The storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like. The storage device 1040 stores a program module that realizes each function of the control device 100 (for example, an estimation unit 102, a control unit 104, and the like). When the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized. Further, the storage device 1040 may also store each data and setting of the control device 100, or an image acquired from the image pickup device 200.
　プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ１０００が使用可能な媒体を含み、その媒体に、コンピュータ１０００（プロセッサ１０２０）が読み取り可能なプログラムコードが埋め込まれてよい。 The program module may be recorded on a recording medium. The recording medium for recording the program module includes a medium that can be used by the non-temporary tangible computer 1000, and the program code readable by the computer 1000 (processor 1020) may be embedded in the medium.
　入出力インタフェース１０５０は、コンピュータ１０００と各種入出力機器とを接続するためのインタフェースである。入出力インタフェース１０５０は、ブルートゥース（登録商標）、ＮＦＣ（Near Field Communication）などの近距離無線通信を行う通信インタフェースとしても機能する。 The input / output interface 1050 is an interface for connecting the computer 1000 and various input / output devices. The input / output interface 1050 also functions as a communication interface for performing short-range wireless communication such as Bluetooth (registered trademark) and NFC (Near Field Communication).
　ネットワークインタフェース１０６０は、コンピュータ１０００を通信ネットワークに接続するためのインタフェースである。この通信ネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０が通信ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。 The network interface 1060 is an interface for connecting the computer 1000 to the communication network. This communication network is, for example, LAN (Local Area Network) or WAN (Wide Area Network). The method of connecting the network interface 1060 to the communication network may be a wireless connection or a wired connection.
　そして、コンピュータ１０００は、入出力インタフェース１０５０またはネットワークインタフェース１０６０を介して、必要な機器（例えば、操作端末６０、撮像ユニット２０２のカメラ２１２、照明部２２２、プロジェクタ８０等）に接続する。 Then, the computer 1000 is connected to necessary equipment (for example, the operation terminal 60, the camera 212 of the image pickup unit 202, the lighting unit 222, the projector 80, etc.) via the input / output interface 1050 or the network interface 1060.
　図４の制御装置１００の各構成要素は、図５のコンピュータ１０００のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各実施形態の制御装置１００を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。 Each component of the control device 100 of FIG. 4 is realized by any combination of hardware and software of the computer 1000 of FIG. And, it is understood by those skilled in the art that there are various variations in the method of realizing the device and the device. The functional block diagram showing the control device 100 of each embodiment described below shows a block of logical functional units, not a configuration of hardware units.
＜動作例＞
　図６は、本実施形態の制御装置１００の動作例を示すフローチャートである。まず、推定部１０２は、撮像ユニット２０２のカメラ２１２により陳列棚４０の前方を含む領域を撮影した画像を画像処理装置７０に処理させる（ステップＳ１０１）。そして、推定部１０２は、画像処理装置７０から取得した画像処理結果に基づいて、顧客の身長を推定する（ステップＳ１０３）。そして、制御部１０４は、顧客の身長を用いて、陳列棚４０に関連する発光装置（照明部２２２の発光部）および音声出力装置８０の少なくとも一方の動作状態を制御する（ステップＳ１０５）。 <Operation example>
FIG. 6 is a flowchart showing an operation example of the control device 100 of the present embodiment. First, the estimation unit 102 causes the image processing device 70 to process an image obtained by capturing an area including the front of the display shelf 40 by the camera 212 of the image pickup unit 202 (step S101). Then, the estimation unit 102 estimates the height of the customer based on the image processing result acquired from the image processing device 70 (step S103). Then, the control unit 104 controls the operating state of at least one of the light emitting device (light emitting unit of the lighting unit 222) and the voice output device 80 related to the display shelf 40 by using the height of the customer (step S105).
　以下、ステップＳ１０５の制御部１０４による制御について、具体例を説明する。
　例えば、発光装置は、照射方向が制御可能である。制御部１０４は、ステップＳ１０３で推定された身長が基準未満の場合、照明部２２２の発光部を下側から上方向に照射させる。基準は、例えば、１６０ｃｍである。基準は、制御装置１００の設定画面（不図示）により設定可能であってよい。基準は複数であってもよい。また、制御部１０４は、ステップＳ１０３で推定された身長が基準以上の場合、照明部２２２の発光部の上側から下方向に照射させる。 Hereinafter, a specific example of control by the control unit 104 in step S105 will be described.
For example, the light emitting device can control the irradiation direction. When the height estimated in step S103 is less than the standard, the control unit 104 irradiates the light emitting unit of the illumination unit 222 from the lower side to the upper side. The standard is, for example, 160 cm. The reference may be set by the setting screen (not shown) of the control device 100. There may be multiple criteria. Further, when the height estimated in step S103 is equal to or greater than the reference value, the control unit 104 irradiates the lighting unit 222 from the upper side to the lower side of the light emitting unit.
　あるいは、制御部１０４は、ステップＳ１０３で推定された身長が基準未満の場合、照明部２２２の発光部を上側から下方向に照射させる。また、ステップＳ１０３で推定された身長が基準以上の場合、照明部２２２の発光部の下側から下方向に照射させる。 Alternatively, when the height estimated in step S103 is less than the standard, the control unit 104 irradiates the light emitting unit of the illumination unit 222 from the upper side to the lower side. Further, when the height estimated in step S103 is equal to or larger than the standard, irradiation is performed downward from the lower side of the light emitting unit of the lighting unit 222.
　図７は、身長に応じたスピーカの制御例を説明するための図である。
　制御部１０４は、ステップＳ１０３で推定された身長が基準以上の場合、図７（ａ）に示すように、陳列棚４０の上方に設置されたスピーカから音声または報知音を出力させる。また、制御部１０４は、ステップＳ１０３で推定された身長が基準未満の場合、図７（ｂ）に示すように、陳列棚４０の下方に設置されたスピーカから音声または報知音を出力させる。 FIG. 7 is a diagram for explaining a control example of the speaker according to the height.
When the height estimated in step S103 is equal to or greater than the reference height, the control unit 104 outputs a voice or a notification sound from a speaker installed above the display shelf 40 as shown in FIG. 7A. Further, when the height estimated in step S103 is less than the standard, the control unit 104 outputs a voice or a notification sound from a speaker installed below the display shelf 40 as shown in FIG. 7 (b).
　本実施形態によれば、推定部１０２は、陳列棚４０の前方を含む領域を撮影した画像を処理することにより顧客の身長を推定し、制御部１０４は、顧客の身長を用いて、陳列棚４０に関連する発光装置および音声出力装置８０の少なくとも一方の動作状態を制御する。これにより、商品を撮像する撮像ユニット２０２において、商品が画像に明瞭に写るようになる。さらに、発光装置および音声出力装置８０の少なくとも一方により提供される情報を顧客が認識しやすくなる。 According to the present embodiment, the estimation unit 102 estimates the height of the customer by processing the image of the area including the front of the display shelf 40, and the control unit 104 uses the height of the customer to estimate the height of the customer. It controls the operating state of at least one of the light emitting device and the audio output device 80 related to the 40. As a result, the product is clearly reflected in the image in the image pickup unit 202 that captures the product. Further, it becomes easier for the customer to recognize the information provided by at least one of the light emitting device and the voice output device 80.
　したがって、顧客の身長に関わらず、顧客が陳列棚４０から取り出した商品の画像認識精度を向上させることができ、画像処理による商品の特定を迅速かつ正確にしやすくなる。 Therefore, regardless of the height of the customer, the image recognition accuracy of the product taken out from the display shelf 40 by the customer can be improved, and it becomes easy to quickly and accurately identify the product by image processing.
（第２実施形態）
　本実施形態の制御装置１００は、上記実施形態の制御対象である照明部２２２が高さ方向に複数に区分されていて、身長に応じて各区分の発光状態を制御する構成を有する点以外は上記第１実施形態と同様である。本実施形態の制御装置１００は、図４の第１実施形態と同様な構成を有するため、以下、第１実施形態の図４の機能ブロック図を用いて説明する。ただし、本実施形態の構成は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。 (Second Embodiment)
Except for the fact that the control device 100 of the present embodiment has a configuration in which the lighting unit 222, which is the control target of the above embodiment, is divided into a plurality of parts in the height direction and controls the light emitting state of each type according to the height. It is the same as the first embodiment. Since the control device 100 of the present embodiment has the same configuration as that of the first embodiment of FIG. 4, it will be described below with reference to the functional block diagram of FIG. 4 of the first embodiment. However, the configurations of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
＜機能構成例＞
　制御部１０４により制御される発光装置は、一例として、撮像ユニット２０２の照明部２２２の発光部である。照明部２２２の発光部は、上記したように、陳列棚４０の高さ方向に延在する。本実施形態では、照明部２２２の発光部は、当該高さ方向に複数に区分されており、制御部１０４により区分毎に独立して制御可能である。制御部１０４は、照明部２２２の発光部の各区分の発光状態を、推定部１０２により推定された身長に応じて制御する。 <Function configuration example>
The light emitting device controlled by the control unit 104 is, for example, the light emitting unit of the lighting unit 222 of the image pickup unit 202. As described above, the light emitting unit of the illumination unit 222 extends in the height direction of the display shelf 40. In the present embodiment, the light emitting unit of the illumination unit 222 is divided into a plurality of units in the height direction, and can be independently controlled by the control unit 104 for each division. The control unit 104 controls the light emission state of each section of the light emitting unit of the lighting unit 222 according to the height estimated by the estimation unit 102.
　本実施形態では、照明部２２２の発光部は３つに区分されている。身長も３つに区分される。発光部の各区分には、識別情報が割り当てられている。身長の区分と発光部の区分を示す識別情報（以下、発光部ＩＤとも呼ぶ）は、図８の対応テーブル１２０において関連付けられ、コンピュータ１０００のストレージデバイス１０４０またはメモリ１０３０に記憶されている。対応テーブル１２０は、制御装置１００の設定画面（不図示）により設定可能であってよい。 In the present embodiment, the light emitting unit of the lighting unit 222 is divided into three. Height is also divided into three. Identification information is assigned to each category of the light emitting unit. The identification information (hereinafter, also referred to as a light emitting unit ID) indicating the height classification and the light emitting unit classification is associated with each other in the corresponding table 120 of FIG. 8, and is stored in the storage device 1040 or the memory 1030 of the computer 1000. The correspondence table 120 may be set by the setting screen (not shown) of the control device 100.
　図８（ａ）の例では、身長は、１５０ｃｍ以上、かつ１７０ｃｍ以下の範囲の「標準」と、１７０ｃｍ超えの「高」と、１５０ｃｍ未満の「低」とに区分されている。発光部ＩＤは、高さ方向の高い順に、上から、「００１」、「００２」、「００３」が割り当てられている。 In the example of FIG. 8 (a), the height is divided into "standard" in the range of 150 cm or more and 170 cm or less, "high" of more than 170 cm, and "low" of less than 150 cm. The light emitting unit IDs are assigned "001", "002", and "003" from the top in descending order in the height direction.
　制御部１０４は、推定部１０２により推定された身長を取得し、対応テーブル１２０を参照し、身長に対応する発光部ＩＤを取得する。そして、制御部１０４は、当該発光部ＩＤが示す発光部の発光状態を制御する。発光部の発光状態の制御方法は様々考えられ、以下に例示されるがこれらに限定されない。 The control unit 104 acquires the height estimated by the estimation unit 102, refers to the corresponding table 120, and acquires the light emitting unit ID corresponding to the height. Then, the control unit 104 controls the light emitting state of the light emitting unit indicated by the light emitting unit ID. Various methods for controlling the light emitting state of the light emitting unit can be considered and are exemplified below, but are not limited thereto.
（ｂ１）当該区分の発光部を他の区分の発光部より明るさを強くする。
（ｂ２）当該区分の発光部を他の区分の発光部より明るさを弱くする。
（ｂ３）当該区分の発光部を点滅させる。
（ｂ４）当該区分の以外の発光部を点滅させる。
（ｂ５）当該区分の発光部のみ発光させ、他の区分の発光部は消灯する。
（ｂ６）当該区分の発光部のみ消灯し、他の区分の発光部は発光させる。 (B1) The light emitting portion of the relevant category is made brighter than the light emitting portion of another category.
(B2) The brightness of the light emitting portion of the relevant category is weaker than that of the light emitting portion of the other category.
(B3) The light emitting unit of the relevant category is blinked.
(B4) The light emitting part other than the corresponding category is blinked.
(B5) Only the light emitting part of the relevant category is made to emit light, and the light emitting part of the other category is turned off.
(B6) Only the light emitting part of the relevant category is turned off, and the light emitting part of the other category is made to emit light.
　図８（ａ）の例では、身長が高い程、関連付けられる発光部の設置位置も高くなっていたが、他の例では、身長が高い程、関連付けられる発光部の設置位置が低くなってもよい。 In the example of FIG. 8A, the taller the height, the higher the installation position of the associated light emitting unit, but in other examples, the taller the height, the lower the installation position of the associated light emitting unit. good.
　さらなる他の例では、図８（ｂ）に示すように、身長が高い場合は、発光部ＩＤ００３に対応する低い位置の発光部を発光させ、身長が標準または低い場合は、発光部ＩＤ００１に対応する高い位置の発光部を発光させてもよい。 In yet another example, as shown in FIG. 8 (b), when the height is high, the light emitting unit at a low position corresponding to the light emitting unit ID003 is made to emit light, and when the height is standard or short, it corresponds to the light emitting unit ID001. The light emitting unit at a high position may emit light.
＜動作例＞
　図９は、本実施形態の制御装置１００の動作例を示すフローチャートである。図９のフローチャートは、図６のフローチャートと同じステップＳ１０１とステップＳ１０３を含むとともに、さらに、ステップＳ２０１～ステップＳ２０７を含む。 <Operation example>
FIG. 9 is a flowchart showing an operation example of the control device 100 of the present embodiment. The flowchart of FIG. 9 includes the same steps S101 and S103 as the flowchart of FIG. 6, and further includes steps S201 to S207.
　なお、本実施形態のフローは、図６のフローと組み合わせて並列に実行されてもよい。図１０は、身長に応じた発光部の制御例を説明するための図である。
　ステップＳ１０３で顧客の身長が推定された後、制御部１０４は、身長に応じて、照明部２２２の発光部の動作状態を制御する（ステップＳ２０１）。例えば、ステップＳ１０３で推定された身長が１７０ｃｍを超える（「高」）の場合、対応テーブル１２０を参照し、「高」に対応する発光部ＩＤ「００１」を取得する。図１０（ａ）に示すように、制御部１０４は、発光部ＩＤ００１に対応する上から１番目の発光部２２２ａを発光させる（ステップＳ２０３）。 The flow of the present embodiment may be executed in parallel in combination with the flow of FIG. FIG. 10 is a diagram for explaining a control example of the light emitting unit according to the height.
After the height of the customer is estimated in step S103, the control unit 104 controls the operating state of the light emitting unit of the lighting unit 222 according to the height (step S201). For example, when the height estimated in step S103 exceeds 170 cm (“high”), the corresponding table 120 is referred to and the light emitting unit ID “001” corresponding to “high” is acquired. As shown in FIG. 10A, the control unit 104 causes the first light emitting unit 222a corresponding to the light emitting unit ID 001 to emit light (step S203).
　また、ステップＳ１０３で推定された身長が１５０～１７０ｃｍ（「標準」）の場合、対応テーブル１２０を参照し、「標準」に対応する発光部ＩＤ「００２」を取得する。図１０（ｂ）に示すように、制御部１０４は、発光部ＩＤ００２に対応する上から２番目の発光部２２２ｂを発光させる（ステップＳ２０５）。 Further, when the height estimated in step S103 is 150 to 170 cm (“standard”), the corresponding table 120 is referred to and the light emitting unit ID “002” corresponding to the “standard” is acquired. As shown in FIG. 10B, the control unit 104 causes the second light emitting unit 222b from the top corresponding to the light emitting unit ID 002 to emit light (step S205).
　また、ステップＳ１０３で推定された身長が１５０ｃｍ未満（「低」）の場合、対応テーブル１２０を参照し、「低」に対応する発光部ＩＤ「００３」を取得する。制御部１０４は、発光部ＩＤ００３に対応する上から３番目の発光部２２２ｃを発光させる（ステップＳ２０７）。 Further, when the height estimated in step S103 is less than 150 cm (“low”), the corresponding table 120 is referred to, and the light emitting unit ID “003” corresponding to “low” is acquired. The control unit 104 causes the third light emitting unit 222c from the top corresponding to the light emitting unit ID003 to emit light (step S207).
　本実施形態によれば、照明部２２２の発光部は複数に区分され、制御部１０４は、推定部１０２により推定された顧客の身長に対応する区分の発光部の動作を制御できるので、身長に適した照明動作を実現できる。上記実施形態と同様に画像認識精度を向上させることができるので、画像処理による商品の特定を迅速かつ正確にしやすくなる。 According to the present embodiment, the light emitting unit of the lighting unit 222 is divided into a plurality of units, and the control unit 104 can control the operation of the light emitting unit in the division corresponding to the height of the customer estimated by the estimation unit 102. Suitable lighting operation can be realized. Since the image recognition accuracy can be improved as in the above embodiment, it becomes easy to quickly and accurately identify the product by image processing.
（第３実施形態）
　本実施形態では、陳列棚４０の高さ方向において異なる高さに設置される複数の表示装置を発光装置とし、身長に応じてアクティブにする表示装置を選択して動作制御する構成を有する点以外は、上記第１実施形態と同様である。本実施形態の制御装置１００は、図４の第１実施形態と同様な構成を有するため、以下、第１実施形態の図４の機能ブロック図を用いて説明する。ただし、本実施形態の構成は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。 (Third Embodiment)
In the present embodiment, a plurality of display devices installed at different heights in the height direction of the display shelf 40 are used as light emitting devices, and the operation is controlled by selecting a display device to be activated according to the height. Is the same as that of the first embodiment. Since the control device 100 of the present embodiment has the same configuration as that of the first embodiment of FIG. 4, it will be described below with reference to the functional block diagram of FIG. 4 of the first embodiment. However, the configurations of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
＜システム構成例＞
　図１１は、本実施形態の制御装置１００の商品登録システム１における使用環境を示す図である。本実施形態では、制御装置１００は、陳列棚４０の所定の位置に配置される表示装置を制御する。表示装置は、液晶ディスプレイ、有機ＥＬディスプレイなどである。本実施形態では、表示装置は、例えば、タブレット端末、スマートフォンなどの操作端末６０である。操作端末６０は、図５のコンピュータ１０００によって実現される。 <System configuration example>
FIG. 11 is a diagram showing a usage environment of the control device 100 of the present embodiment in the product registration system 1. In this embodiment, the control device 100 controls a display device arranged at a predetermined position on the display shelf 40. The display device is a liquid crystal display, an organic EL display, or the like. In the present embodiment, the display device is, for example, an operation terminal 60 such as a tablet terminal or a smartphone. The operation terminal 60 is realized by the computer 1000 of FIG.
　操作端末６０は、入出力装置として、表示部、操作受付部、音声入出力部、振動部などを有してよい。表示部は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）表示器、ライトなどである。操作受付部は、タッチパネル、キーボード、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッドなどである。音声入出力部は、マイクロフォン、およびスピーカである。振動部は、バイブレータである。操作端末６０の表示部（ディスプレイ６２）は、タッチパネルであり、操作受付部を兼ねている。 The operation terminal 60 may have a display unit, an operation reception unit, an audio input / output unit, a vibration unit, and the like as input / output devices. The display unit is, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, an LED (Light Emitting Diode) display, a light, or the like. The operation reception unit includes a touch panel, a keyboard, operation keys, operation buttons, switches, a jog dial, a touch pad, and the like. The audio input / output unit is a microphone and a speaker. The vibrating part is a vibrator. The display unit (display 62) of the operation terminal 60 is a touch panel and also serves as an operation reception unit.
＜機能構成例＞
　制御部１０４により制御される発光装置は、陳列棚４０の高さ方向において異なる高さに設置される複数の表示装置である。図１２に示すように、複数の操作端末６０が陳列棚４０の高さ方向において異なる高さに３つの操作端末６０（図中、上から６０ａ、６０ｂ、６０ｃと示す）が設置されている。 <Function configuration example>
The light emitting device controlled by the control unit 104 is a plurality of display devices installed at different heights in the height direction of the display shelf 40. As shown in FIG. 12, three operation terminals 60 (indicated as 60a, 60b, 60c from the top in the figure) are installed at different heights in the height direction of the display shelves 40.
　制御部１０４は、推定部１０２により推定された身長に応じて、いずれの高さの操作端末６０をアクティブにさせるかを制御する。 The control unit 104 controls which height of the operation terminal 60 is activated according to the height estimated by the estimation unit 102.
　制御部１０４による操作端末６０のアクティブな状態とは、例えば、画像認識精度を向上させるために、顧客に対して要求される指示内容を示すメッセージなどをディスプレイ６２に表示したり、スピーカ（不図示）から音声出力したり、報知音を出力したり、ライトを点灯したりする状態である。例えば、取り出した商品をカメラに向けるように指示したり、商品の高さを所定の高さに移動させて静止させるように指示したりしてもよい。さらに、後述する第５実施形態では、画像認識により見つかった複数候補の中から決済対象となる商品を選択するように顧客に指示するメッセージおよび選択画面の少なくとも一方をディスプレイ６２に表示したり、スピーカから音声出力したり報知音を出力たり、ライトを点灯したりしてもよい。 The active state of the operation terminal 60 by the control unit 104 is, for example, displaying a message indicating the instruction content requested to the customer on the display 62 in order to improve the image recognition accuracy, or displaying a speaker (not shown). ), A voice is output, a notification sound is output, and a light is turned on. For example, the removed product may be instructed to point at the camera, or the height of the product may be moved to a predetermined height and instructed to stand still. Further, in the fifth embodiment described later, a message instructing the customer to select a product to be settled from a plurality of candidates found by image recognition and at least one of the selection screens are displayed on the display 62 or a speaker. You may output voice from, output a notification sound, or turn on the light.
　制御部１０４による操作端末６０の非アクティブな状態とは、ディスプレイ６２に待機画面を表示させたり、非表示にさせたり、スピーカは消音したり、ライトを消灯したりした状態である。 The inactive state of the operation terminal 60 by the control unit 104 is a state in which the standby screen is displayed or hidden on the display 62, the speaker is muted, or the light is turned off.
　本実施形態でも対応テーブル１２０を用いて、身長に関連付けてアクティブにする表示装置の識別情報を記憶してもよい。 Also in this embodiment, the corresponding table 120 may be used to store the identification information of the display device to be activated in association with the height.
＜動作例＞
　図１３は、本実施形態の制御装置１００の動作例を示すフローチャートである。図１３のフローチャートは、図９のフローチャートと同じステップＳ１０１、ステップＳ１０３、およびステップＳ２０１を含むとともに、さらに、ステップＳ３０１～ステップＳ３０７を含む。なお、本実施形態のフローは、図６および図９の少なくとも一方のフローと組み合わせて並列に実行されてもよい。 <Operation example>
FIG. 13 is a flowchart showing an operation example of the control device 100 of the present embodiment. The flowchart of FIG. 13 includes the same steps S101, S103, and S201 as the flowchart of FIG. 9, and further includes steps S301 to S307. The flow of the present embodiment may be executed in parallel in combination with at least one of the flows of FIGS. 6 and 9.
　本実施形態の対応テーブル１２０では、顧客の身長の区分に、表示装置の識別情報が関連付けられている。
　ステップＳ１０３で顧客の身長が推定された後、制御部１０４は、身長に応じて、照明部２２２の発光部の動作状態を制御する（ステップＳ２０１）。例えば、ステップＳ１０３で推定された身長が１７０ｃｍを超える（「高」）の場合、対応テーブル１２０を参照し、「高」に対応する表示装置の識別情報を取得する。図１２（ａ）に示すように、制御部１０４は、表示装置の識別情報に対応する上から１番目の操作端末６０ａのディスプレイ６２をアクティブにする（ステップＳ３０３）。 In the corresponding table 120 of the present embodiment, the identification information of the display device is associated with the height classification of the customer.
After the height of the customer is estimated in step S103, the control unit 104 controls the operating state of the light emitting unit of the lighting unit 222 according to the height (step S201). For example, when the height estimated in step S103 exceeds 170 cm (“high”), the corresponding table 120 is referred to to acquire the identification information of the display device corresponding to the “high”. As shown in FIG. 12A, the control unit 104 activates the display 62 of the first operation terminal 60a corresponding to the identification information of the display device (step S303).
　また、ステップＳ１０３で推定された身長が１５０～１７０ｃｍ（「標準」）の場合、対応テーブル１２０を参照し、「標準」に対応する表示装置の識別情報を取得する。図１２（ｂ）に示すように、制御部１０４は、表示装置の識別情報に対応する上から２番目の操作端末６０ｂのディスプレイ６２をアクティブにする（ステップＳ３０５）。 Further, when the height estimated in step S103 is 150 to 170 cm (“standard”), the identification information of the display device corresponding to the “standard” is acquired by referring to the corresponding table 120. As shown in FIG. 12B, the control unit 104 activates the display 62 of the second operation terminal 60b from the top corresponding to the identification information of the display device (step S305).
　また、ステップＳ１０３で推定された身長が１５０ｃｍ未満（「低」）の場合、対応テーブル１２０を参照し、「低」に対応する表示装置の識別情報を取得する。制御部１０４は、表示装置の識別情報に対応する上から３番目の操作端末６０ｃのディスプレイ６２をアクティブにする（ステップＳ３０７）。 Further, when the height estimated in step S103 is less than 150 cm (“low”), the corresponding table 120 is referred to and the identification information of the display device corresponding to “low” is acquired. The control unit 104 activates the display 62 of the third operation terminal 60c from the top corresponding to the identification information of the display device (step S307).
　本実施形態によれば、制御部１０４は、複数のディスプレイ６２を陳列棚４０の高さ方向の異なる高さに配置し、推定される顧客の身長に応じたディスプレイ６２をアクティブに制御する。つまり、顧客が見易い位置、または気付き易い位置のディスプレイ６２をアクティブにするので、効率よく顧客に指示内容を伝えることができる。よって、本実施形態の制御装置１００によれば、画像認識精度をより迅速に向上させることができるので、画像処理による商品の特定を迅速かつ正確にしやすくなる。 According to the present embodiment, the control unit 104 arranges a plurality of displays 62 at different heights in the height direction of the display shelves 40, and actively controls the displays 62 according to the estimated height of the customer. That is, since the display 62 at a position that is easy for the customer to see or notice is activated, the instruction content can be efficiently transmitted to the customer. Therefore, according to the control device 100 of the present embodiment, the image recognition accuracy can be improved more quickly, and it becomes easier to quickly and accurately identify the product by image processing.
（第４実施形態）
　本実施形態では、制御部１０４により制御される発光装置は、プロジェクタ９０である点以外は、上記第１実施形態と同様である。ただし、本実施形態の構成は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。 (Fourth Embodiment)
In the present embodiment, the light emitting device controlled by the control unit 104 is the same as that of the first embodiment except that the projector 90 is used. However, the configurations of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
＜システム構成例＞
　図１４は、本実施形態の制御装置１００の商品登録システム１における使用環境を示す図である。本実施形態では、制御装置１００に制御される発光装置は、プロジェクタ９０である。 <System configuration example>
FIG. 14 is a diagram showing a usage environment of the control device 100 of the present embodiment in the product registration system 1. In the present embodiment, the light emitting device controlled by the control device 100 is the projector 90.
＜機能構成例＞
　図１５は、本実施形態の制御装置１００の機能構成の一例を示す機能ブロック図である。制御装置１００は、図４の制御装置１００と同じ、推定部１０２と、制御部１０４と、を有するとともに、さらに、位置特定部１０６を有する。 <Function configuration example>
FIG. 15 is a functional block diagram showing an example of the functional configuration of the control device 100 of the present embodiment. The control device 100 has the same estimation unit 102 and control unit 104 as the control device 100 of FIG. 4, and further has a position specifying unit 106.
　位置特定部１０６は、推定部１０２により推定された顧客の身長を用いて、プロジェクタ９０の投影位置を特定する。制御部１０４は、特定された投影位置に所定の画像をプロジェクタに投影させる。 The position specifying unit 106 specifies the projection position of the projector 90 by using the height of the customer estimated by the estimation unit 102. The control unit 104 causes the projector to project a predetermined image at the specified projection position.
　プロジェクタ９０により投影される場所は様々考えられ、以下に例示されるがこれらに限定されない。以下の複数を組み合わせてもよい。
（ｃ１）陳列棚４０の前面フレーム４２
（ｃ２）陳列棚４０の棚および棚に陳列されている商品を含む領域
（ｃ３）商品の表面
（ｃ４）顧客の身体の一部（例えば、手の甲など） Various locations are considered and are exemplified below, but are not limited to the locations projected by the projector 90. The following plurality may be combined.
(C1) Front frame 42 of display shelf 40
(C2) The shelves of the display shelf 40 and the area including the products displayed on the shelves (c3) The surface of the products (c4) A part of the customer's body (for example, the back of the hand)
　上記（ｃ３）および上記（ｃ４）の場合、制御装置１００は、さらに、画像を処理することで顧客の身体および商品のうち少なくとも一方を検出する検出部（不図示）をさらに備える。制御部１０４は、検出部により検出された顧客の身体の一部および商品のうち少なくとも一方を投影位置として所定の画像を投影する。 In the case of the above (c3) and the above (c4), the control device 100 further includes a detection unit (not shown) that detects at least one of the customer's body and the product by processing the image. The control unit 104 projects a predetermined image with at least one of the customer's body part and the product detected by the detection unit as the projection position.
　所定の画像は、画像認識精度を向上させるために、顧客に対して要求される指示内容を示すメッセージなどを示す画像である。例えば、所定の画像は、顧客に対して商品の位置や向きの変更を指示する内容を示す画像である。具体的には、取り出した商品をカメラに向けるように指示したり、商品の高さを所定の高さに移動させて静止させるように指示したりする内容を示してもよい。さらに、後述する第５実施形態では、画像認識により見つかった複数候補の中から決済対象となる商品を選択するように顧客に指示するメッセージを示す画像を投影してもよい。 The predetermined image is an image showing a message or the like indicating the instruction content requested to the customer in order to improve the image recognition accuracy. For example, the predetermined image is an image showing the content of instructing the customer to change the position or orientation of the product. Specifically, it may indicate the content of instructing the taken-out product to be pointed at the camera, or instructing the height of the product to be moved to a predetermined height and to be stopped. Further, in the fifth embodiment described later, an image showing a message instructing the customer to select a product to be settled from a plurality of candidates found by image recognition may be projected.
　検出部を用いる構成では、推定部１０２により推定された顧客の身長は用いずに画像の投影位置を特定することができる。 In the configuration using the detection unit, the projection position of the image can be specified without using the height of the customer estimated by the estimation unit 102.
　上記（ｃ１）および上記（ｃ２）の例では、推定部１０２により推定された顧客の身長を用いて、投影位置を特定する。例えば、上記（ｃ１）の例では、前面フレーム４２を高さ方向において複数に区分し、投影位置をいずれの区分にするか、身長に応じて選択する。上記（ｃ２）の例では、陳列棚４０の複数の棚段のうち、投影位置を何段目の棚にするか、身長に応じて選択する。 In the above examples (c1) and (c2), the projection position is specified using the height of the customer estimated by the estimation unit 102. For example, in the above example (c1), the front frame 42 is divided into a plurality of parts in the height direction, and the projection position is selected according to the height. In the above example (c2), among the plurality of shelves of the display shelf 40, the number of shelves to be projected at is selected according to the height.
　本実施形態によれば、位置特定部１０６は、顧客の身長を用いてプロジェクタ９０の投影位置を特定し、制御部１０４は、特定された投影位置に所定の画像をプロジェクタ９０に投影させる。所定の画像は、画像認識精度を向上させるために、顧客に商品の位置や向きの変更を指示する内容を含む。顧客の身長にあった位置にプロジェクタ９０に投影させることができるので、顧客が指示内容に気付きやすくなる。よって、本実施形態の制御装置１００によれば、画像認識精度をより迅速に向上させることができるので、画像処理による商品の特定を迅速かつ正確にしやすくなる。 According to the present embodiment, the position specifying unit 106 specifies the projection position of the projector 90 using the height of the customer, and the control unit 104 projects a predetermined image on the projector 90 at the specified projection position. The predetermined image includes contents instructing the customer to change the position and orientation of the product in order to improve the image recognition accuracy. Since it can be projected onto the projector 90 at a position suitable for the height of the customer, the customer can easily notice the instruction content. Therefore, according to the control device 100 of the present embodiment, the image recognition accuracy can be improved more quickly, and it becomes easier to quickly and accurately identify the product by image processing.
（第５実施形態）
　本実施形態の制御装置１００は、画像処理により顧客が陳列棚４０から取り出した商品を特定し、複数の候補が特定された場合に顧客に選択させる構成を有する点で上記実施形態と相違する。ただし、本実施形態の制御装置１００は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。 (Fifth Embodiment)
The control device 100 of the present embodiment is different from the above embodiment in that it has a configuration in which a customer identifies a product taken out from the display shelf 40 by image processing and allows the customer to select a product when a plurality of candidates are specified. However, the control device 100 of the present embodiment may be combined within a range that does not cause a contradiction with at least one of the configurations of the other embodiments.
＜システム構成例＞
　図１６は、本実施形態の制御装置１００の商品登録システム１における使用環境を示す図である。図１７は、本実施形態の制御装置１００の機能構成の一例を示す機能ブロック図である。図１６では、商品登録システム１は、図１の音声出力装置８０に替えて、操作端末６０を備えている。ただし、商品登録システム１は、後述するように、図１４の音声出力装置８０およびプロジェクタ９０をさらに備えてもよい。 <System configuration example>
FIG. 16 is a diagram showing a usage environment of the control device 100 of the present embodiment in the product registration system 1. FIG. 17 is a functional block diagram showing an example of the functional configuration of the control device 100 of the present embodiment. In FIG. 16, the product registration system 1 includes an operation terminal 60 in place of the voice output device 80 of FIG. However, the product registration system 1 may further include the audio output device 80 and the projector 90 of FIG. 14, as will be described later.
　近年、店舗において省人化または無人化などを目的として、商品登録作業を、店員や顧客による商品バーコードなどの読み取り作業に依らずに、撮像画像を用いて行うシステムが実用化されてきている。このような店舗では、顧客は店舗内の棚から商品を取り出してカートや買い物カゴ、あるいは、顧客のバッグに入れるだけで、商品登録処理が完了する。 In recent years, for the purpose of labor saving or unmanned operation in stores, a system has been put into practical use in which product registration work is performed using captured images without relying on the work of reading product barcodes by store staff or customers. .. In such a store, the customer simply removes the product from the shelves in the store and puts it in a cart, a shopping cart, or a customer's bag to complete the product registration process.
　しかしながら、同じシリーズの商品であっても、通常の商品と、カロリーオフや糖質オフの商品や、フレーバーが異なる商品など、複数の類似商品が存在する場合がある。そのため、画像を用いた商品の特定にあっては、商品パッケージの画像を元にした画像処理では類似する商品の正確な判別が困難な場合があった。しかしながら、決済処理においては、商品は正確に特定される必要がある。 However, even if the products are in the same series, there may be multiple similar products such as normal products, calorie-free and sugar-off products, and products with different flavors. Therefore, when identifying a product using an image, it may be difficult to accurately discriminate similar products by image processing based on the image of the product package. However, in the payment process, the product needs to be accurately identified.
　そこで、本実施形態では、画像認識の結果、複数の類似商品が候補として検出された場合に、操作端末６０を用いて顧客に複数候補の中から決済対象となる商品を選択させる。 Therefore, in the present embodiment, when a plurality of similar products are detected as candidates as a result of image recognition, the operation terminal 60 is used to allow the customer to select a product to be settled from the plurality of candidates.
　操作端末６０は、所定のアプリケーションを起動し、通信ネットワーク３を介して制御装置１００と接続する。操作端末６０は、制御装置１００により制御され、ディスプレイ６２への表示、ライトの発光、および音声出力などを行うことができる。 The operation terminal 60 starts a predetermined application and connects to the control device 100 via the communication network 3. The operation terminal 60 is controlled by the control device 100, and can perform display on the display 62, light emission of a light, audio output, and the like.
　図１８は、商品選択のための画面３００の一例を示す図である。画面３００は、操作端末６０のディスプレイ６２に表示される。操作画面３００は、選択指示部３０２と、候補商品情報表示部３０４と、選択ボタン３０６と、金額表示部３０８と、会計ボタン３１０と、クリアボタン３１２と、キャンセルボタン３１４とを含む。 FIG. 18 is a diagram showing an example of a screen 300 for selecting a product. The screen 300 is displayed on the display 62 of the operation terminal 60. The operation screen 300 includes a selection instruction unit 302, a candidate product information display unit 304, a selection button 306, an amount display unit 308, an accounting button 310, a clear button 312, and a cancel button 314.
　選択指示部３０２は、商品の候補が複数あることを顧客に知らせるとともに、候補の中から買上商品の選択を指示するメッセージを表示する。候補商品情報表示部３０４は、候補商品の情報、例えば、商品名、商品の属性（容量、カロリーオフ、糖質ゼロ、特保、フレーバー種別、色、サイズ、容量、セット数などの特徴など）、商品画像、価格などを表示する。選択ボタン３０６は、当該ボタンの押下を受け付けると、商品登録装置３０は、当該商品を決済対象商品に追加する。 The selection instruction unit 302 notifies the customer that there are a plurality of product candidates, and displays a message instructing the selection of the purchased product from the candidates. The candidate product information display unit 304 provides information on candidate products, such as product names and product attributes (characteristics such as capacity, calorie off, zero sugar, special insurance, flavor type, color, size, capacity, number of sets, etc.). , Product image, price, etc. are displayed. When the selection button 306 accepts the pressing of the button, the product registration device 30 adds the product to the payment target product.
　金額表示部３０８は、決済対象となっている商品の合計金額を表示する。会計ボタン３１０は、当該ボタンの押下を受け付けると、商品登録装置３０は、決済対象として登録済みの商品の決済処理を精算装置（不図示）に指示する。クリアボタン３１２は、当該ボタンの押下を受け付けると、商品登録装置３０は、決済対象となっている商品の登録を削除し、合計金額をクリアする。キャンセルボタン３１４は、当該ボタンの押下を受け付けると、商品登録装置３０は、候補の選択をキャンセルし、画面３００の候補商品情報を消去する。 The amount display unit 308 displays the total amount of the products to be settled. When the accounting button 310 accepts the pressing of the button, the product registration device 30 instructs the settlement device (not shown) to process the payment of the product registered as the payment target. When the clear button 312 receives the press of the button, the product registration device 30 deletes the registration of the product to be settled and clears the total amount. When the cancel button 314 accepts the pressing of the button, the product registration device 30 cancels the selection of the candidate and deletes the candidate product information on the screen 300.
　この画面３００により、複数候補の中から、決済対象となる商品を顧客に選択させることができる。 This screen 300 allows the customer to select a product to be settled from a plurality of candidates.
　しかしながら、そもそも商品を棚から取り出してカートに入れれば商品登録が完了する店舗において、顧客は操作の必要性を認識していない。さらには、操作端末６０の存在を顧客は認識していない場合もある。 However, in the store where product registration is completed by removing the product from the shelf and putting it in the cart, the customer does not recognize the necessity of operation. Furthermore, the customer may not be aware of the existence of the operation terminal 60.
　そこで、制御部１０４は、発光装置を所定の発光状態で発光させることで、顧客に操作端末６０の存在を通知するとともに、選択操作が必要であることを伝える。 Therefore, the control unit 104 notifies the customer of the existence of the operation terminal 60 and informs that the selection operation is necessary by causing the light emitting device to emit light in a predetermined light emitting state.
　図１７に示すように、制御装置１００は、制御部１０４と、商品特定部１１０と、を備える。
　商品特定部１１０は、陳列棚４０の前方を含む領域を撮影した画像を処理することにより、顧客が陳列棚４０から取り出した商品を特定する。制御部１０４は、陳列棚４０に関連する発光装置および表示装置を制御する。
　商品特定部１１０により、複数の候補の商品が特定された場合に、制御部１０４は、表示装置に当該複数の候補から顧客に選択させる表示を行わせるとともに、発光装置に所定の発光状態で発光させる。 As shown in FIG. 17, the control device 100 includes a control unit 104 and a product identification unit 110.
The product specifying unit 110 identifies a product taken out from the display shelf 40 by the customer by processing an image obtained by photographing an area including the front of the display shelf 40. The control unit 104 controls a light emitting device and a display device related to the display shelf 40.
When a plurality of candidate products are specified by the product specifying unit 110, the control unit 104 causes the display device to display a display for the customer to select from the plurality of candidates, and causes the light emitting device to emit light in a predetermined light emitting state. Let me.
＜動作例＞
　図１９は、本実施形態の制御装置１００の動作例を示すフローチャートである。まず、推定部１０２は、撮像ユニット２０２のカメラ２１２により陳列棚４０の前方を含む領域を撮影した画像を画像処理装置７０に処理させる（ステップＳ１０１）。そして、商品特定部１１０は、顧客が陳列棚４０から取り出した商品を特定する（ステップＳ４０１）。 <Operation example>
FIG. 19 is a flowchart showing an operation example of the control device 100 of the present embodiment. First, the estimation unit 102 causes the image processing device 70 to process an image obtained by capturing an area including the front of the display shelf 40 by the camera 212 of the image pickup unit 202 (step S101). Then, the product specifying unit 110 identifies the product taken out from the display shelf 40 by the customer (step S401).
　ステップＳ４０１で特定された商品の候補が複数特定された場合（ステップＳ４０３のＹＥＳ）、制御部１０４は、複数の候補から顧客に決済対象となる商品を選択させる操作画面３００を操作端末６０に表示させる（ステップＳ４０５）。さらに、制御部１０４は、発光装置の発光状態を制御する（ステップＳ４０７）。 When a plurality of product candidates specified in step S401 are specified (YES in step S403), the control unit 104 displays an operation screen 300 on the operation terminal 60 for the customer to select a product to be settled from the plurality of candidates. (Step S405). Further, the control unit 104 controls the light emitting state of the light emitting device (step S407).
　以下、ステップＳ２０７における発光装置の制御について具体例を説明する。
　一例として、発光装置は、プロジェクタ９０である。
　図２０は、制御部１０４による発光装置の発光状態の制御例を示す図である。
　この例では、制御部１０４は、プロジェクタ９０に、陳列棚４０の前面フレーム４２に複数候補が見つかったこと、および複数候補の中から決済対象となる商品を選択する必要がある旨を顧客に伝えるためのメッセージを投影させている。 Hereinafter, a specific example of the control of the light emitting device in step S207 will be described.
As an example, the light emitting device is a projector 90.
FIG. 20 is a diagram showing an example of controlling the light emitting state of the light emitting device by the control unit 104.
In this example, the control unit 104 informs the projector 90 that a plurality of candidates have been found in the front frame 42 of the display shelf 40 and that it is necessary to select a product to be settled from the plurality of candidates. Is projecting a message for.
　さらに、操作端末６０の設置位置を示す矢印などのアイコン画像を投影してもよい。
　顧客は、このメッセージを見て、選択操作が必要であること、および操作端末６０の存在を知ることができる。 Further, an icon image such as an arrow indicating the installation position of the operation terminal 60 may be projected.
The customer can see this message and know that the selection operation is necessary and the existence of the operation terminal 60.
　また、他の例では、発光装置は、撮像ユニット２０２の照明部２２２である。例えば、複数候補の数を照明部２２２の発光部の発光回数で示してもよい。
　制御部１０４は、照明部２２２の発光部を、候補の数の回数分、発光させてもよい。 In another example, the light emitting device is the illumination unit 222 of the image pickup unit 202. For example, the number of a plurality of candidates may be indicated by the number of times of light emission of the light emitting unit of the illumination unit 222.
The control unit 104 may make the light emitting unit of the illumination unit 222 emit light as many times as the number of candidates.
　図２１は、制御部１０４による発光装置の発光状態の制御例を示す図である。
　この例では、発光装置は、プロジェクタ９０である。制御部１０４は、プロジェクタ９０に、複数の候補商品のパッケージの画像４０２と、当該候補の中から決済対象の商品の選択を促すメッセージ４０４とを含む画像４００を投影する。 FIG. 21 is a diagram showing an example of controlling the light emitting state of the light emitting device by the control unit 104.
In this example, the light emitting device is a projector 90. The control unit 104 projects an image 400 including an image 402 of a package of a plurality of candidate products and a message 404 prompting the selection of a product to be settled from the candidates on the projector 90.
　画像４００の投影位置は、該当商品が陳列されている棚の領域であってもよいし、上記実施形態の推定部１０２により推定された顧客の身長に応じて選択される棚の領域であってもよいし、顧客の視線方向を画像処理により特定し、特定された視線方向の棚の領域であってもよい。
　投影画像４００は、棚と、棚に陳列されている商品との表面に投影される。 The projected position of the image 400 may be the area of the shelf on which the corresponding product is displayed, or the area of the shelf selected according to the height of the customer estimated by the estimation unit 102 of the above embodiment. Alternatively, the customer's line-of-sight direction may be specified by image processing, and the area of the shelf in the specified line-of-sight direction may be used.
The projected image 400 is projected on the surface of the shelves and the products displayed on the shelves.
　商品画像を含む投影画像の場合、決済対象となる商品の選択は、投影画像上で顧客が所定のジェスチャ（例えば、商品画像上でタップ操作）をすることで、画像処理によりジェスチャとジェスチャの位置（例えば、投影されている商品画像の位置に相当）を特定して、商品の選択操作として受け付けてもよいし、ディスプレイ６２に表示される画面３００を用いて選択を受け付けてもよい。選択操作方法は、操作端末６０や陳列棚４０に設けられたスピーカ（不図示）から音声によりガイダンスを出力して、顧客に伝えてもよい。 In the case of a projected image including a product image, the selection of the product to be settled is performed by the customer performing a predetermined gesture (for example, tap operation on the product image) on the projected image, and the position of the gesture and the gesture by image processing. (For example, it corresponds to the position of the projected product image) may be specified and accepted as a product selection operation, or the selection may be accepted using the screen 300 displayed on the display 62. The selection operation method may be transmitted to the customer by outputting guidance by voice from a speaker (not shown) provided on the operation terminal 60 or the display shelf 40.
　さらに、制御装置１００は、さらに、画像を処理することで顧客の身体および商品のうち少なくとも一方を検出する検出部（不図示）をさらに備えてもよい。制御部１０４は、検出部により検出された顧客の身体の一部および商品のうち少なくとも一方を投影位置として所定の画像を投影する。 Further, the control device 100 may further include a detection unit (not shown) that detects at least one of the customer's body and the product by processing the image. The control unit 104 projects a predetermined image with at least one of the customer's body part and the product detected by the detection unit as the projection position.
　図２２および図２３は、制御部１０４によるプロジェクタ９０の投影動作の制御例を示す図である。
　図２２の例では、制御部１０４は、検出部により検出された顧客の手の甲に、複数の候補から決済対象となる商品を選択するよう指示するメッセージを含む画像を投影している。
　図２３の例では、制御部１０４は、検出部により検出された商品パッケージの表面に、複数の候補から決済対象となる商品を選択するよう指示するメッセージを含む画像を投影している。 22 and 23 are diagrams showing a control example of the projection operation of the projector 90 by the control unit 104.
In the example of FIG. 22, the control unit 104 projects an image including a message instructing to select a product to be settled from a plurality of candidates on the back of the customer's hand detected by the detection unit.
In the example of FIG. 23, the control unit 104 projects an image including a message instructing to select a product to be settled from a plurality of candidates on the surface of the product package detected by the detection unit.
　本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、商品特定部１１０により顧客が陳列棚４０から取り出した商品の候補が複数あった場合に、制御部１０４は、顧客に候補から選択をさせる表示を行うとともに、発光装置の発光状態を制御する。この構成により、顧客に複数候補の中から決済対象となる商品の選択を効率よく伝え、選択操作を促すことができる。また、発光装置や音声出力装置により操作端末６０の存在を顧客に気付かせることができる。さらに、推定部１０２により推定された顧客の身長に応じて発光装置、表示装置、および音声出力装置の動作状態を制御してもよいので、より効率よく顧客に選択操作の必要性や操作端末６０の存在を気付かせることができる。 According to the present embodiment, the same effect as that of the above embodiment is obtained, and when there are a plurality of product candidates taken out from the display shelf 40 by the customer by the product identification unit 110, the control unit 104 informs the customer. A display for selecting from candidates is displayed, and the light emitting state of the light emitting device is controlled. With this configuration, it is possible to efficiently inform the customer of the selection of the product to be settled from among the plurality of candidates and prompt the selection operation. In addition, the light emitting device and the voice output device can make the customer aware of the existence of the operation terminal 60. Further, since the operating states of the light emitting device, the display device, and the voice output device may be controlled according to the height of the customer estimated by the estimation unit 102, the customer needs to perform a selection operation more efficiently and the operation terminal 60. Can make you aware of the existence of.
　よって、決済対象となる商品の複数候補の選択操作を顧客に円滑にかつ迅速に行わせることができる。 Therefore, it is possible for the customer to smoothly and quickly select a plurality of candidates for the product to be settled.
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　例えば、第５実施形態において、複数候補の中から決済対象となる商品の選択を行う操作端末６０の存在を顧客に伝える際に、制御部１０４は、第１実施形態の推定部１０２により推定された顧客の身長を用いてもよい。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than the above can be adopted.
For example, in the fifth embodiment, the control unit 104 is estimated by the estimation unit 102 of the first embodiment when notifying the customer of the existence of the operation terminal 60 that selects the product to be settled from the plurality of candidates. The height of the customer may be used.
　図２４は、操作端末６０の使用例を示す図である。この図の例では、操作端末６０は、陳列棚４０の上部に設置されている。そのため、図２４（ａ）に示すように、顧客の背が高い場合には、操作端末６０に気付きやいが、図２４（ｂ）に示すように、顧客の背が低い場合には、操作端末６０に気付きにくい場合がある。 FIG. 24 is a diagram showing a usage example of the operation terminal 60. In the example of this figure, the operation terminal 60 is installed on the upper part of the display shelf 40. Therefore, as shown in FIG. 24 (a), when the customer is tall, the operation terminal 60 is easily noticed, but as shown in FIG. 24 (b), when the customer is short, the operation is performed. It may be difficult to notice the terminal 60.
　そこで、第１実施形態から第４実施形態の少なくともいずれか一つに記載されたように、第５実施形態の制御装置１００は、さらに、推定部１０２を備えてもよい。制御部１０４は、類似品の複数の候補の中から、商品登録対象となる商品の選択を顧客に促すために、発光装置および音声出力装置の少なくとも一方の動作状態を、推定された顧客の身長に応じて制御してもよい。制御部１０４は、複数候補の中から、商品登録対象となる商品の選択を顧客に促すメッセージ、操作端末６０の存在および位置を示す情報などを示す画面表示制御、照明部２２２の発光部の発光状態の制御、音声または報知音の出力状態の制御などを行ってもよい。 Therefore, as described in at least one of the first to fourth embodiments, the control device 100 of the fifth embodiment may further include an estimation unit 102. The control unit 104 sets the operating state of at least one of the light emitting device and the voice output device to the estimated height of the customer in order to prompt the customer to select a product to be registered as a product from a plurality of candidates of similar products. It may be controlled according to. The control unit 104 controls a screen display indicating a message prompting the customer to select a product to be registered as a product from a plurality of candidates, information indicating the existence and position of the operation terminal 60, and a light emitting unit of the lighting unit 222. The state may be controlled, the output state of the voice or the notification sound may be controlled, and the like.
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　なお、本発明において利用者（顧客）に関する情報を取得、利用する場合は、これを適法に行うものとする。 Although the present invention has been described above with reference to the embodiments and examples, the present invention is not limited to the above embodiments and examples. Various changes that can be understood by those skilled in the art can be made within the scope of the invention of the present application in terms of the configuration and details of the invention of the present application.
In addition, when information about a user (customer) is acquired and used in this invention, this shall be done legally.
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。 A part or all of the above embodiment may be described as in the following appendix, but is not limited to the following.
１．　棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する制御手段と、を備える、制御装置。
２．　１．に記載の制御装置において、
　前記発光装置は照明装置であり、
　前記制御手段は、前記照明装置の光の照射方向を制御する、制御装置。
３．　１．または２．に記載の制御装置において、
　前記発光装置は照明装置であり、
　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
　前記制御手段は、前記照明装置の各前記区分の発光状態を、前記推定手段により推定された前記身長に応じて制御する、制御装置。
４．　１．から３．のいずれか一つに記載の制御装置において、
　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
　前記制御手段は、前記推定手段により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御装置。
５．　１．から４．のいずれか一つに記載の制御装置において、
　前記発光装置はプロジェクタである、制御装置。
６．　５．に記載の制御装置において、
　前記推定手段により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する特定手段をさらに備え、
　前記制御手段は、特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御装置。
７．　６．に記載の制御装置において、
　前記顧客の身体を検出する検出手段をさらに備え、
　前記制御手段は、前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御装置。 1. 1. An estimation means that is used together with an image pickup device that captures an area including the front of a shelf and estimates the height of a customer by processing an image captured by the image pickup device.
A control device comprising a control means for controlling the operating state of at least one of a light emitting device and a voice output device related to the shelf by using the height of the customer.
2. 2. 1. 1. In the control device described in
The light emitting device is a lighting device.
The control means is a control device that controls the irradiation direction of light of the lighting device.
3. 3. 1. 1. Or 2. In the control device described in
The light emitting device is a lighting device.
The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
The control means is a control device that controls the light emitting state of each of the divisions of the lighting device according to the height estimated by the estimation means.
4. 1. 1. From 3. In the control device according to any one of
The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
The control means is a control device that controls which height of the display device is activated according to the height estimated by the estimation means.
5. 1. 1. From 4. In the control device according to any one of
The light emitting device is a control device which is a projector.
6. 5. In the control device described in
Further provided with a specific means for specifying the projection position of the projector by using the height of the customer estimated by the estimation means.
The control means is a control device that projects a predetermined image onto the projector at a specified projection position.
7. 6. In the control device described in
Further provided with a detection means for detecting the customer's body,
The control means is a control device that causes the projector to project the predetermined image with the detected body of the customer as the projection position.
８．　制御装置は、
　棚の前方を含む領域を撮影する撮像装置とともに使用され、
　前記制御装置が、
　前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する、制御方法。
９．　８．に記載の制御方法において、
　前記発光装置は照明装置であり、
　前記制御装置が、
　前記照明装置の光の照射方向を制御する、制御方法。
１０．　８．または９．に記載の制御方法において、
　前記発光装置は照明装置であり、
　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
　前記制御装置が、
　前記照明装置の各前記区分の発光状態を、推定された前記身長に応じて制御する、制御方法。
１１．　８．から９．のいずれか一つに記載の制御方法において、
　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
　前記制御装置が、
　推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御方法。
１２．　８．から１１．のいずれか一つに記載の制御方法において、
　前記発光装置はプロジェクタである、制御方法。
１３．　１２．に記載の制御方法において、
　前記制御装置が、さらに、
　推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定し、
　特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御方法。
１４．　１３．に記載の制御方法において、
　前記制御装置が、さらに、
　前記顧客の身体を検出し、
　前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御方法。 8. The control device is
Used with imaging equipment to capture areas including the front of the shelf
The control device
The height of the customer is estimated by processing the image captured by the image pickup device, and the height of the customer is estimated.
A control method that uses the height of the customer to control the operating state of at least one of a light emitting device and an audio output device related to the shelf.
9. 8. In the control method described in
The light emitting device is a lighting device.
The control device
A control method for controlling the irradiation direction of light of the lighting device.
10. 8. Or 9. In the control method described in
The light emitting device is a lighting device.
The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
The control device
A control method for controlling the light emitting state of each of the above categories of the lighting device according to the estimated height.
11. 8. From 9. In the control method described in any one of
The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
The control device
A control method for controlling which height of the display device is activated according to the estimated height.
12. 8. From 11. In the control method described in any one of
The control method, wherein the light emitting device is a projector.
13. 12. In the control method described in
The control device further
Using the estimated height of the customer, the projection position of the projector is determined.
A control method for projecting a predetermined image onto the projector at the specified projection position.
14. 13. In the control method described in
The control device further
Detecting the customer's body,
A control method for projecting a predetermined image on the projector with the detected body of the customer as the projection position.
１５．　棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
　前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する手順、
　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する手順、を実行させるためのプログラム。
１６．　１５．に記載のプログラムにおいて、
　前記発光装置は照明装置であり、
　前記照明装置の光の照射方向を制御する手順をコンピュータに実行させるためのプログラム。
１７．　１５．または１６．に記載のプログラムにおいて、
　前記発光装置は照明装置であり、
　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
　前記照明装置の各前記区分の発光状態を、前記推定する手順により推定された前記身長に応じて制御する手順をコンピュータに実行させるためのプログラム。
１８．　１５．から１７．のいずれか一つに記載のプログラムにおいて、
　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
　前記推定する手順により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する手順をコンピュータに実行させるためのプログラム。
１９．　１５．から１８．のいずれか一つに記載のプログラムにおいて、
　前記発光装置はプロジェクタである、プログラム。
２０．　１９．に記載のプログラムにおいて、
　前記推定する手順により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する手順、
　特定された前記投影位置に所定の画像を前記プロジェクタに投影させる手順、をコンピュータに実行させるためのプログラム。
２１．　２０．に記載のプログラムにおいて、
　前記顧客の身体を検出する手順、
　前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる手順、をコンピュータに実行させるためのプログラム。 15. For computers used with imaging devices that capture areas, including the front of shelves.
A procedure for estimating the height of a customer by processing an image captured by the image pickup device,
A program for using the height of the customer to execute a procedure for controlling the operating state of at least one of a light emitting device and an audio output device related to the shelf.
16. 15. In the program described in
The light emitting device is a lighting device.
A program for causing a computer to perform a procedure for controlling the light irradiation direction of the lighting device.
17. 15. Or 16. In the program described in
The light emitting device is a lighting device.
The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
A program for causing a computer to perform a procedure for controlling a light emitting state of each of the above categories of the lighting device according to the height estimated by the estimation procedure.
18. 15. From 17. In the program described in any one of
The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
A program for causing a computer to perform a procedure for controlling which height of the display device is activated according to the height estimated by the estimation procedure.
19. 15. From 18. In the program described in any one of
The light emitting device is a projector, a program.
20. 19. In the program described in
A procedure for specifying the projection position of the projector using the height of the customer estimated by the estimation procedure.
A program for causing a computer to perform a procedure of projecting a predetermined image on the projector at the specified projection position.
21. 20. In the program described in
The procedure for detecting the customer's body,
A program for causing a computer to perform a procedure of projecting a predetermined image on the projector with the detected body of the customer as the projection position.
２２．　棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより、前記顧客が前記棚から取り出した商品を特定する特定手段と、
　前記棚に関連する発光装置および表示装置を制御する制御手段と、
　を備え、
　前記特定手段により、複数の候補の商品が特定された場合に、前記制御手段は、前記表示装置に当該複数の候補から前記顧客に選択させる表示を行わせるとともに、前記発光装置に所定の発光状態で発光させる、制御装置。
２３．　２２．に記載の制御装置において、
　前記制御手段は、前記候補の数の回数分、前記発光装置を発光させる、制御装置。
２４．　２２．または２３．に記載の制御装置において、
　さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
　前記制御手段は、前記顧客の身長を用いて、前記発光装置および前記表示装置の少なくとも一方の動作状態を制御する、制御装置。
２５．　２２．から２４．のいずれか一つに記載の制御装置において、
　前記発光装置は照明装置であり、
　前記制御手段は、前記照明装置の光の照射方向を制御する、制御装置。
２６．　２２．から２５．のいずれか一つに記載の制御装置において、
　前記発光装置は照明装置であり、
　さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
　前記制御手段は、前記照明装置の各前記区分の発光状態を、前記推定手段により推定された前記身長に応じて制御する、制御装置。
２７．　２２．から２６．のいずれか一つに記載の制御装置において、
　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
　さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
　前記制御手段は、前記推定手段により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御装置。
２８．　２２．から２７．のいずれか一つに記載の制御装置において、
　前記発光装置はプロジェクタである、制御装置。
２９．　２８．に記載の制御装置において、
　さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
　前記推定手段により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する特定手段をさらに備え、
　前記制御手段は、特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御装置。
３０．　２９．に記載の制御装置において、
　前記顧客の身体を検出する検出手段をさらに備え、
　前記制御手段は、前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御装置。 22. A specific means for identifying a product taken out of the shelf by the customer by processing an image captured by the image pickup device, which is used together with an image pickup device for photographing an area including the front of the shelf.
A control means for controlling a light emitting device and a display device related to the shelf, and
Equipped with
When a plurality of candidate products are specified by the specific means, the control means causes the display device to display a display for the customer to select from the plurality of candidates, and causes the light emitting device to perform a predetermined light emitting state. A control device that emits light with.
23. 22. In the control device described in
The control means is a control device that causes the light emitting device to emit light as many times as the number of candidates.
24. 22. Or 23. In the control device described in
Further, it is provided with an estimation means for estimating the height of the customer by processing the image.
The control means is a control device that controls the operating state of at least one of the light emitting device and the display device by using the height of the customer.
25. 22. From 24. In the control device according to any one of
The light emitting device is a lighting device.
The control means is a control device that controls the irradiation direction of light of the lighting device.
26. 22. From 25. In the control device according to any one of
The light emitting device is a lighting device.
Further, it is provided with an estimation means for estimating the height of the customer by processing the image.
The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
The control means is a control device that controls the light emitting state of each of the divisions of the lighting device according to the height estimated by the estimation means.
27. 22. From 26. In the control device according to any one of
The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
Further, it is provided with an estimation means for estimating the height of the customer by processing the image.
The control means is a control device that controls which height of the display device is activated according to the height estimated by the estimation means.
28. 22. From 27. In the control device according to any one of
The light emitting device is a control device which is a projector.
29. 28. In the control device described in
Further, it is provided with an estimation means for estimating the height of the customer by processing the image.
Further provided with a specific means for specifying the projection position of the projector by using the height of the customer estimated by the estimation means.
The control means is a control device that projects a predetermined image onto the projector at a specified projection position.
30. 29. In the control device described in
Further provided with a detection means for detecting the customer's body,
The control means is a control device that causes the projector to project the predetermined image with the detected body of the customer as the projection position.
３１．　制御装置が、
　棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより、前記顧客が前記棚から取り出した商品を特定し、
　前記棚に関連する発光装置および表示装置を制御し、
　複数の候補の商品が特定された場合に、前記表示装置に当該複数の候補から前記顧客に選択させる表示を行わせるとともに、前記発光装置に所定の発光状態で発光させる、制御方法。
３２．　３１．に記載の制御方法において、
　前記制御装置が、
　前記候補の数の回数分、前記発光装置を発光させる、制御方法。
３３．　３１．または３２．に記載の制御方法において、
　前記制御装置が、
　さらに、前記画像を処理することにより顧客の身長を推定し、
　前記顧客の身長を用いて、前記発光装置および前記表示装置の少なくとも一方の動作状態を制御する、制御方法。
３４．　３１．から３３．のいずれか一つに記載の制御方法において、
　前記発光装置は照明装置であり、
　前記制御装置が、
　前記照明装置の光の照射方向を制御する、制御方法。
３５．　３１．から３４．のいずれか一つに記載の制御方法において、
　前記発光装置は照明装置であり、
　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
　前記制御装置が、
　さらに、前記画像を処理することにより顧客の身長を推定し、
　前記照明装置の各前記区分の発光状態を、推定された前記身長に応じて制御する、制御方法。
３６．　３１．から３５．のいずれか一つに記載の制御方法において、
　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
　前記制御装置が、
　さらに、前記画像を処理することにより顧客の身長を推定し、
　推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御方法。
３７．　３１．から３６．のいずれか一つに記載の制御方法において、
　前記発光装置はプロジェクタである、制御方法。
３８．　３７．に記載の制御方法において、
　前記制御装置が、さらに、
　前記画像を処理することにより顧客の身長を推定し、
　推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定し、
　特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御方法。
３９．　３８．に記載の制御方法において、
　前記制御装置が、さらに、
　前記顧客の身体を検出し、
　前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御方法。 31. The control device
Used with an image pickup device that captures an area including the front of the shelf, by processing the image captured by the image pickup device, the customer identifies a product taken out of the shelf.
Control the light emitting device and display device related to the shelf,
A control method in which, when a plurality of candidate products are specified, the display device displays a display for the customer to select from the plurality of candidates, and the light emitting device emits light in a predetermined light emitting state.
32. 31. In the control method described in
The control device
A control method for causing the light emitting device to emit light for the number of times of the number of candidates.
33. 31. Or 32. In the control method described in
The control device
Furthermore, the height of the customer is estimated by processing the image, and the height of the customer is estimated.
A control method for controlling the operating state of at least one of the light emitting device and the display device by using the height of the customer.
34. 31. From 33. In the control method described in any one of
The light emitting device is a lighting device.
The control device
A control method for controlling the irradiation direction of light of the lighting device.
35. 31. From 34. In the control method described in any one of
The light emitting device is a lighting device.
The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
The control device
Furthermore, the height of the customer is estimated by processing the image, and the height of the customer is estimated.
A control method for controlling the light emitting state of each of the above categories of the lighting device according to the estimated height.
36. 31. From 35. In the control method described in any one of
The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
The control device
Furthermore, the height of the customer is estimated by processing the image, and the height of the customer is estimated.
A control method for controlling which height of the display device is activated according to the estimated height.
37. 31. From 36. In the control method described in any one of
The control method, wherein the light emitting device is a projector.
38. 37. In the control method described in
The control device further
By processing the image, the height of the customer is estimated and
Using the estimated height of the customer, the projection position of the projector is determined.
A control method for projecting a predetermined image onto the projector at the specified projection position.
39. 38. In the control method described in
The control device further
Detecting the customer's body,
A control method for projecting a predetermined image on the projector with the detected body of the customer as the projection position.
４０．　棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
　前記撮像装置が撮像した画像を処理することにより、前記顧客が前記棚から取り出した商品を特定する手順、
　前記棚に関連する発光装置および表示装置を制御する手順、
　前記特定する手順により、複数の候補の商品が特定された場合に、前記表示装置に当該複数の候補から前記顧客に選択させる表示を行わせるとともに、前記発光装置に所定の発光状態で発光させる手順、を実行させるためのプログラム。
４１．　４０．に記載のプログラムにおいて、
　前記候補の数の回数分、前記発光装置を発光させる手順をコンピュータに実行させるためのプログラム。
４２．　４０．または４１．に記載のプログラムにおいて、
　さらに、前記画像を処理することにより顧客の身長を推定する手順、
　前記顧客の身長を用いて、前記発光装置および前記表示装置の少なくとも一方の動作状態を制御する手順、をコンピュータに実行させるためのプログラム。
４３．　４０．から４２．のいずれか一つに記載のプログラムにおいて、
　前記発光装置は照明装置であり、
　前記照明装置の光の照射方向を制御する手順をコンピュータに実行させるためのプログラム。
４４．　４０．から４３．のいずれか一つに記載のプログラムにおいて、
　前記発光装置は照明装置であり、
　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
　さらに、前記画像を処理することにより顧客の身長を推定する手順、
　前記照明装置の各前記区分の発光状態を、前記推定する手順により推定された前記身長に応じて制御する手順、をコンピュータに実行させるためのプログラム。
４５．　４０．から４４．のいずれか一つに記載のプログラムにおいて、
　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
　さらに、前記画像を処理することにより顧客の身長を推定する手順、
　前記推定する手順により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する手順、をコンピュータに実行させるためのプログラム。
４６．　４０．から４５．のいずれか一つに記載のプログラムにおいて、
　前記発光装置はプロジェクタである、プログラム。
４７．　４６．に記載のプログラムにおいて、
　前記制御装置が、さらに、
　前記画像を処理することにより顧客の身長を推定する手順、
　前記推定する手順により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する手順、
　特定された前記投影位置に所定の画像を前記プロジェクタに投影させる手順、をコンピュータに実行させるためのプログラム。
４８．　４７．に記載のプログラムにおいて、
　さらに、
　前記顧客の身体を検出する手順、
　前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる手順、をコンピュータに実行させるためのプログラム。 40. For computers used with imaging devices that capture areas, including the front of shelves.
A procedure for identifying a product taken out from the shelf by the customer by processing an image captured by the image pickup device.
Procedures for controlling light emitting devices and display devices related to the shelves,
A procedure for causing the display device to display a display for the customer to select from the plurality of candidates and for causing the light emitting device to emit light in a predetermined light emitting state when a plurality of candidate products are specified by the specifying procedure. , A program to execute.
41. 40. In the program described in
A program for causing a computer to perform a procedure for causing the light emitting device to emit light for the number of times of the candidates.
42. 40. Or 41. In the program described in
Further, a procedure for estimating the height of a customer by processing the image,
A program for causing a computer to perform a procedure for controlling an operating state of at least one of a light emitting device and a display device using the height of the customer.
43. 40. From 42. In the program described in any one of
The light emitting device is a lighting device.
A program for causing a computer to perform a procedure for controlling the light irradiation direction of the lighting device.
44. 40. From 43. In the program described in any one of
The light emitting device is a lighting device.
The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
Further, a procedure for estimating the height of a customer by processing the image,
A program for causing a computer to perform a procedure for controlling a light emitting state of each of the sections of the lighting device according to the height estimated by the estimation procedure.
45. 40. From 44. In the program described in any one of
The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
Further, a procedure for estimating the height of a customer by processing the image,
A program for causing a computer to perform a procedure for controlling which height of the display device is activated according to the height estimated by the estimation procedure.
46. 40. From 45. In the program described in any one of
The light emitting device is a projector, a program.
47. 46. In the program described in
The control device further
A procedure for estimating the height of a customer by processing the image,
A procedure for specifying the projection position of the projector using the height of the customer estimated by the estimation procedure.
A program for causing a computer to perform a procedure of projecting a predetermined image on the projector at the specified projection position.
48. 47. In the program described in
Moreover,
The procedure for detecting the customer's body,
A program for causing a computer to perform a procedure of projecting a predetermined image on the projector with the detected body of the customer as the projection position.
１　商品登録システム
３　通信ネットワーク
３０　商品登録装置
４０　陳列棚
４２　前面フレーム
６０、６０ａ、６０ｂ、６０ｃ　操作端末
６２　ディスプレイ
７０　画像処理装置
８０　音声出力装置
９０　プロジェクタ
１００　制御装置
１０２　推定部
１０４　制御部
１０６　位置特定部
１１０　商品特定部
１２０　対応テーブル
２００　撮像装置
２０２　撮像ユニット
２１０　撮像部筐体
２１２　カメラ
２２０　照明部筐体
２２２　照明部
２２２ａ、２２２ｂ、２２２ｃ　発光部
３００　画面
３００　操作画面
３０２　選択指示部
３０４　候補商品情報表示部
３０６　選択ボタン
３０８　金額表示部
３１０　会計ボタン
３１２　クリアボタン
３１４　キャンセルボタン
１０００　コンピュータ
１０１０　バス
１０２０　プロセッサ
１０３０　メモリ
１０４０　ストレージデバイス
１０５０　入出力インタフェース
１０６０　ネットワークインタフェース 1 Product registration system 3 Communication network 30 Product registration device 40 Display shelf 42 Front frame 60, 60a, 60b, 60c Operation terminal 62 Display 70 Image processing device 80 Audio output device 90 Projector 100 Control device 102 Estimating unit 104 Control unit 106 Positioning Unit 110 Product identification unit 120 Corresponding table 200 Imaging unit 202 Imaging unit 210 Imaging unit chassis 212 Camera 220 Lighting unit chassis 222 Lighting unit 222a, 222b, 222c Light emitting unit 300 Screen 300 Operation screen 302 Selection instruction unit 304 Candidate product information display Unit 306 Select button 308 Amount display unit 310 Accounting button 312 Clear button 314 Cancel button 1000 Computer 1010 Bus 1020 Processor 1030 Memory 1040 Storage device 1050 Input / output interface 1060 Network interface

Claims (21)

  1. 　棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
    　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する制御手段と、を備える、制御装置。     An estimation means that is used together with an image pickup device that captures an area including the front of a shelf and estimates the height of a customer by processing an image captured by the image pickup device.
    A control device comprising a control means for controlling the operating state of at least one of a light emitting device and a voice output device related to the shelf by using the height of the customer.
  2. 　請求項１に記載の制御装置において、
    　前記発光装置は照明装置であり、
    　前記制御手段は、前記照明装置の光の照射方向を制御する、制御装置。     In the control device according to claim 1,
    The light emitting device is a lighting device.
    The control means is a control device that controls the irradiation direction of light of the lighting device.
  3. 　請求項１または２に記載の制御装置において、
    　前記発光装置は照明装置であり、
    　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
    　前記制御手段は、前記照明装置の各前記区分の発光状態を、前記推定手段により推定された前記身長に応じて制御する、制御装置。     In the control device according to claim 1 or 2.
    The light emitting device is a lighting device.
    The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
    The control means is a control device that controls the light emitting state of each of the divisions of the lighting device according to the height estimated by the estimation means.
  4. 　請求項１から３のいずれか一項に記載の制御装置において、
    　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
    　前記制御手段は、前記推定手段により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御装置。     In the control device according to any one of claims 1 to 3.
    The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
    The control means is a control device that controls which height of the display device is activated according to the height estimated by the estimation means.
  5. 　請求項１から４のいずれか一項に記載の制御装置において、
    　前記発光装置はプロジェクタである、制御装置。     In the control device according to any one of claims 1 to 4.
    The light emitting device is a control device which is a projector.
  6. 　請求項５に記載の制御装置において、
    　前記推定手段により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する特定手段をさらに備え、
    　前記制御手段は、特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御装置。     In the control device according to claim 5,
    Further provided with a specific means for specifying the projection position of the projector by using the height of the customer estimated by the estimation means.
    The control means is a control device that projects a predetermined image onto the projector at a specified projection position.
  7. 　請求項６に記載の制御装置において、
    　前記顧客の身体を検出する検出手段をさらに備え、
    　前記制御手段は、前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御装置。     In the control device according to claim 6,
    Further provided with a detection means for detecting the customer's body,
    The control means is a control device that causes the projector to project the predetermined image with the detected body of the customer as the projection position.
  8. 　制御装置は、
    　棚の前方を含む領域を撮影する撮像装置とともに使用され、
    　前記制御装置が、
    　前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
    　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する、制御方法。     The control device is
    Used with imaging equipment to capture areas including the front of the shelf
    The control device
    The height of the customer is estimated by processing the image captured by the image pickup device, and the height of the customer is estimated.
    A control method that uses the height of the customer to control the operating state of at least one of a light emitting device and an audio output device related to the shelf.
  9. 　請求項８に記載の制御方法において、
    　前記発光装置は照明装置であり、
    　前記制御装置が、
    　前記照明装置の光の照射方向を制御する、制御方法。     In the control method according to claim 8,
    The light emitting device is a lighting device.
    The control device
    A control method for controlling the irradiation direction of light of the lighting device.
  10. 　請求項８または９に記載の制御方法において、
    　前記発光装置は照明装置であり、
    　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
    　前記制御装置が、
    　前記照明装置の各前記区分の発光状態を、推定された前記身長に応じて制御する、制御方法。     In the control method according to claim 8 or 9.
    The light emitting device is a lighting device.
    The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
    The control device
    A control method for controlling the light emitting state of each of the above categories of the lighting device according to the estimated height.
  11. 　請求項８から９のいずれか一項に記載の制御方法において、
    　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
    　前記制御装置が、
    　推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御方法。     In the control method according to any one of claims 8 to 9,
    The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
    The control device
    A control method for controlling which height of the display device is activated according to the estimated height.
  12. 　請求項８から１１のいずれか一項に記載の制御方法において、
    　前記発光装置はプロジェクタである、制御方法。     In the control method according to any one of claims 8 to 11.
    The control method, wherein the light emitting device is a projector.
  13. 　請求項１２に記載の制御方法において、
    　前記制御装置が、さらに、
    　推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定し、
    　特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御方法。     In the control method according to claim 12,
    The control device further
    Using the estimated height of the customer, the projection position of the projector is determined.
    A control method for projecting a predetermined image onto the projector at the specified projection position.
  14. 　請求項１３に記載の制御方法において、
    　前記制御装置が、さらに、
    　前記顧客の身体を検出し、
    　前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御方法。     In the control method according to claim 13,
    The control device further
    Detecting the customer's body,
    A control method for projecting a predetermined image on the projector with the detected body of the customer as the projection position.
  15. 　棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
    　前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する手順、
    　前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する手順、を実行させるためのプログラム。     For computers used with imaging devices that capture areas, including the front of shelves.
    A procedure for estimating the height of a customer by processing an image captured by the image pickup device,
    A program for using the height of the customer to execute a procedure for controlling the operating state of at least one of a light emitting device and an audio output device related to the shelf.
  16. 　請求項１５に記載のプログラムにおいて、
    　前記発光装置は照明装置であり、
    　前記照明装置の光の照射方向を制御する手順をコンピュータに実行させるためのプログラム。     In the program of claim 15,
    The light emitting device is a lighting device.
    A program for causing a computer to perform a procedure for controlling the light irradiation direction of the lighting device.
  17. 　請求項１５または１６に記載のプログラムにおいて、
    　前記発光装置は照明装置であり、
    　前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
    　前記照明装置の各前記区分の発光状態を、前記推定する手順により推定された前記身長に応じて制御する手順をコンピュータに実行させるためのプログラム。     In the program of claim 15 or 16.
    The light emitting device is a lighting device.
    The lighting device extends in the height direction of the shelf, is divided into a plurality of parts in the height direction, and can be independently controlled for each of the divisions.
    A program for causing a computer to perform a procedure for controlling a light emitting state of each of the above categories of the lighting device according to the height estimated by the estimation procedure.
  18. 　請求項１５から１７のいずれか一項に記載のプログラムにおいて、
    　前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
    　前記推定する手順により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する手順をコンピュータに実行させるためのプログラム。     In the program according to any one of claims 15 to 17.
    The light emitting device is a plurality of display devices installed at different heights in the height direction of the shelf.
    A program for causing a computer to perform a procedure for controlling which height of the display device is activated according to the height estimated by the estimation procedure.
  19. 　請求項１５から１８のいずれか一項に記載のプログラムにおいて、
    　前記発光装置はプロジェクタである、プログラム。     In the program according to any one of claims 15 to 18.
    The light emitting device is a projector, a program.
  20. 　請求項１９に記載のプログラムにおいて、
    　前記推定する手順により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する手順、
    　特定された前記投影位置に所定の画像を前記プロジェクタに投影させる手順、をコンピュータに実行させるためのプログラム。     In the program of claim 19.
    A procedure for specifying the projection position of the projector using the height of the customer estimated by the estimation procedure.
    A program for causing a computer to perform a procedure of projecting a predetermined image on the projector at the specified projection position.
  21. 　請求項２０に記載のプログラムにおいて、
    　前記顧客の身体を検出する手順、
    　前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる手順、をコンピュータに実行させるためのプログラム。     In the program of claim 20,
    The procedure for detecting the customer's body,
    A program for causing a computer to perform a procedure of projecting a predetermined image on the projector with the detected body of the customer as the projection position.
PCT/JP2020/023963 2020-06-18 2020-06-18 Control device, control method, and program WO2021255894A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/023963 WO2021255894A1 (en) 2020-06-18 2020-06-18 Control device, control method, and program
JP2022531199A JP7435771B2 (en) 2020-06-18 2020-06-18 Control device, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/023963 WO2021255894A1 (en) 2020-06-18 2020-06-18 Control device, control method, and program

Publications (1)

Publication Number Publication Date
WO2021255894A1 true WO2021255894A1 (en) 2021-12-23

Family

ID=79267653

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023963 WO2021255894A1 (en) 2020-06-18 2020-06-18 Control device, control method, and program

Country Status (2)

Country Link
JP (1) JP7435771B2 (en)
WO (1) WO2021255894A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194914A (en) * 1998-12-24 2000-07-14 Sanyo Electric Co Ltd Automatic vending machine
JP2011118807A (en) * 2009-12-07 2011-06-16 Sanden Shoji Kk Touch panel vending machine
JP2018077666A (en) * 2016-11-09 2018-05-17 大日本印刷株式会社 Information processing system, information processing device, display device, and program
WO2018235198A1 (en) * 2017-06-21 2018-12-27 日本電気株式会社 Information processing device, control method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206188A1 (en) 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
JP6545982B2 (en) 2015-03-12 2019-07-17 株式会社東芝 Automatic ticket gate
US11188953B2 (en) 2017-09-20 2021-11-30 Panasonic Intellectual Property Management Co., Ltd. Product suggestion system, product suggestion method, and program
JP2019133530A (en) 2018-02-01 2019-08-08 富士ゼロックス株式会社 Information processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194914A (en) * 1998-12-24 2000-07-14 Sanyo Electric Co Ltd Automatic vending machine
JP2011118807A (en) * 2009-12-07 2011-06-16 Sanden Shoji Kk Touch panel vending machine
JP2018077666A (en) * 2016-11-09 2018-05-17 大日本印刷株式会社 Information processing system, information processing device, display device, and program
WO2018235198A1 (en) * 2017-06-21 2018-12-27 日本電気株式会社 Information processing device, control method, and program

Also Published As

Publication number Publication date
JPWO2021255894A1 (en) 2021-12-23
JP7435771B2 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
US9715614B2 (en) Selective output of decoded message data
US20160173840A1 (en) Information output control device
WO2014034683A1 (en) Electronic apparatus, information provision system, control method, and control program
JP2010039095A (en) Audio output control device, audio output device, audio output control method, and program
JP2018181251A (en) Reader and program
JP6196024B2 (en) Information providing system, electronic device, control method, and control program
US8866953B2 (en) Mobile device and method for controlling the same
US8704939B1 (en) Mobile device and method for controlling the same
WO2016043102A1 (en) Information processing apparatus, information processing system, information processing method, and program
WO2021255894A1 (en) Control device, control method, and program
US10069984B2 (en) Mobile device and method for controlling the same
JP6326866B2 (en) Display device, display method, and program
JP7416231B2 (en) Installation support device, installation support method, and program
JP6943257B2 (en) Information processing equipment, information processing methods and programs
US20210149544A1 (en) Information processing apparatus, information processing method, and program
JP7366547B2 (en) Information processing device and information processing program
JP7452647B2 (en) Processing equipment, processing method and program
WO2021234842A1 (en) Processing system, processing method, and program
US20220129963A1 (en) Notification system and notification program
WO2023175765A1 (en) Training data generation device, device for confirming number of products, training data generation method, method for confirming number of products, and recording medium
JP6368881B1 (en) Display control system, terminal device, computer program, and display control method
JP2024074728A (en) Information processing device, program, and information processing method
JP2023101327A (en) Store operation support system and store operation support method
JP2023037714A (en) Information processing apparatus, method for controlling information processing apparatus, and program
KR20240010176A (en) Video analysis-based self-checkout apparatus for loss prevention and its control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20940971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531199

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20940971

Country of ref document: EP

Kind code of ref document: A1