WO2021186638A1 - 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents
推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2021186638A1 WO2021186638A1 PCT/JP2020/012101 JP2020012101W WO2021186638A1 WO 2021186638 A1 WO2021186638 A1 WO 2021186638A1 JP 2020012101 W JP2020012101 W JP 2020012101W WO 2021186638 A1 WO2021186638 A1 WO 2021186638A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- history
- action history
- user
- face
- predetermined
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Definitions
- the present invention relates to a non-temporary computer-readable medium in which a recommendation control device, system, method and program are stored, and in particular, a recommendation control device, system, method and program for providing recommendation information to a user.
- a recommendation control device, system, method and program for providing recommendation information to a user.
- Patent Document 1 the facial images of one or more persons belonging to the group are acquired, and the feature amount necessary for estimating the attributes of the persons (for example, gender distinction and age) is acquired from the facial images. , A technique for estimating the attributes of each person is disclosed.
- This disclosure is made to solve such a problem, and is a non-temporary storage of a recommendation control device, a system, a method, and a program for providing recommendation information according to an individual's taste.
- the purpose is to provide a computer-readable medium.
- the recommendation control device includes an acquisition unit that acquires a photographed image photographed by a predetermined photographing device, and an authentication control that extracts face region or face feature information from the photographed image and causes an authentication device to perform face recognition.
- a unit and an output unit that transmits the recommendation information specified by the specific means to a predetermined display terminal are provided.
- the recommendation control system stores a predetermined photographing device that captures an image including a user's face area, a recommendation control device that can communicate with the predetermined photographing device, and the user's face feature information, and describes the above.
- the recommendation control device includes an authentication device capable of communicating with the recommendation control device, and the recommendation control device extracts a face area or face feature information from the acquisition unit that acquires a photographed image photographed by a predetermined photographing device and the photographed image.
- An authentication control unit that causes the authentication device to perform face authentication, an action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face authentication, and an action history extraction unit that extracts the action history. It includes a specific unit that specifies recommendation information based on an action history, and an output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal.
- a computer acquires a photographed image photographed by a predetermined photographing device, and extracts face region or face feature information from the photographed image and causes the authentication device to perform face authentication.
- a process a process of extracting an action history satisfying a predetermined extraction condition from the action history of a user who succeeded in face authentication, a step of specifying recommendation information based on the extracted action history, and a predetermined display terminal. It comprises a step of transmitting the specified recommendation information.
- the non-temporary computer-readable medium includes a step of acquiring a photographed image photographed by a predetermined photographing device and extracting face region or face feature information from the photographed image to perform face authentication on the authentication device.
- the step of transmitting the specified recommendation information and the program for executing the specified recommendation information are recorded in the computer.
- the recommendation control device includes an acquisition unit that acquires a photographed image captured by a predetermined imaging device, a face feature extraction unit that extracts face region or face feature information from the captured image, and the face region or the above.
- a face recognition unit that performs face recognition based on face feature information
- an action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition
- an action history extraction unit that extracts the action history. It includes a specific unit that specifies recommendation information based on the action history, and an output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal.
- the recommended control method includes a step of acquiring a captured image captured by a predetermined imaging device by a computer, a step of extracting face region or face feature information from the captured image, and the face region or the face.
- a step of performing the process and a step of transmitting the specified recommendation information to a predetermined display terminal are provided.
- the non-temporary computer-readable medium includes a step of acquiring a captured image captured by a predetermined imaging device, a step of extracting face region or facial feature information from the captured image, and the face region or the above.
- a program for executing the specifying step and the step of transmitting the specified recommendation information to a predetermined display terminal is recorded.
- FIG. It is a block diagram which shows the structure of the recommendation control device which concerns on Embodiment 1.
- FIG. It is a flowchart which shows the flow of the recommendation control method which concerns on Embodiment 1.
- It is a flowchart which shows the flow of face recognition processing It is a flowchart which shows the flow of the history registration process.
- FIG. 1 is a block diagram showing a configuration of the recommendation control device 100 according to the first embodiment.
- the recommendation control device 100 includes an acquisition unit 130, an authentication control unit 140, an action history extraction unit 150, a specific unit 160, and an output unit 170.
- the recommendation control device 100 is connected to the network 500 (not shown).
- the network 500 may be wired or wireless.
- An authentication device 200 and a face recognition terminal 300 are connected to the network 500.
- the acquisition unit 130 acquires a photographed image taken by a predetermined photographing device.
- the captured image is an image captured by the user.
- the predetermined photographing device is, for example, a camera included in the face recognition terminal 300 and a camera of a user terminal such as a smartphone owned by the user.
- the authentication control unit 140 extracts face region or face feature information from the captured image and causes the authentication device 200 to perform face authentication.
- the authentication device 200 stores the user ID and the facial feature information of the user in advance in association with each other.
- the action history extraction unit 150 extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition.
- the action history is the content of the action taken by the user.
- the action history may include the date and time and place where the action was performed.
- the action history includes, for example, a payment history in the user.
- the predetermined extraction condition is a condition for extracting a predetermined action history from the user's action history.
- the predetermined extraction condition includes, for example, a specific payment history. Specific examples of the predetermined extraction conditions include, but are not limited to, a time zone, a predetermined period, and the frequency of actions.
- the identification unit 160 identifies the recommendation information recommended to the user based on the user ID of the user who succeeded in face authentication or the action history associated with the user ID included in the recommendation request.
- the recommendation request is a request for presenting recommendation information.
- the output unit 170 transmits the recommendation information specified by the specific unit 160 to a predetermined display terminal.
- the predetermined display terminal is, for example, a face recognition terminal 300, a user terminal, a store terminal, or a signage on the street.
- the user terminal is a communication terminal such as a smartphone owned by the user.
- the store terminal is a terminal installed in each store. For example, when a user visits a store, a recommended product is displayed, or when a user leaves the store, "Why don't you go to XX next time?" Etc. are displayed.
- the predetermined display terminal may be the above-mentioned predetermined photographing device or a different terminal.
- the output unit 170 may transmit the recommendation information to the user terminal, or may transmit the recommendation information to the face recognition terminal 300 or the like.
- the output unit 170 may send the recommendation information to the face recognition terminal 300, or may send the recommendation information to the user terminal or the like.
- FIG. 2 is a flowchart showing the flow of the recommendation control method according to the first embodiment.
- the acquisition unit 130 acquires a captured image captured by a predetermined imaging device (step S101).
- the authentication control unit 140 extracts the face area or face feature information from the captured image acquired by the acquisition unit 130, and causes the authentication device 200 to perform face authentication (step S102).
- the authentication device 200 collates the face area or face feature information received from the authentication control unit 140 with the face feature information registered in the authentication device 200, and determines the success or failure of the authentication based on the presence or absence of a match. Reply the result. It is assumed that the authentication device 200 stores the user ID and the facial feature information in association with each other. Then, when the face authentication is successful, the authentication device 200 includes the successful user ID in the determination result and returns.
- the action history extraction unit 150 extracts an action history that satisfies a predetermined extraction condition (step S103).
- the identification unit 160 identifies the recommendation information recommended to the user based on the user ID that has succeeded in face recognition or the action history associated with the user ID included in the recommendation request (step S104).
- the output unit 170 transmits the recommendation information specified by the specific unit 160 to a predetermined display terminal (step S105).
- the recommendation control method according to the present embodiment can provide recommendation information according to individual taste.
- the recommendation control device 100 may include each configuration such as a history storage unit and a history registration unit in addition to the configuration shown in FIG.
- the history storage unit stores the user's action history.
- the action history is a history of the action contents performed when the user succeeds in face recognition, and is, for example, a purchase history of a product or the like, a facility entry / exit history, an event participation history, and the like.
- the action history may include information on the time when the user has acted.
- the history registration unit registers the user ID and the action history in the history storage unit in association with each other. Prior to step S101 shown in FIG. 2, the history registration unit registers the user ID and the action history in the history storage unit in association with each other.
- the recommended control device 100 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the recommended control method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the functions of the history registration unit, the acquisition unit 130, the authentication control unit 140, the action history extraction unit 150, the specific unit 160, and the output unit 170.
- the history registration unit, the acquisition unit 130, the authentication control unit 140, the action history extraction unit 150, the specific unit 160, and the output unit 170 may each be realized by dedicated hardware. Further, a part or all of each component of each device may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program. Further, as a processor, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
- a CPU Central Processing Unit
- GPU Graphics Processing Unit
- FPGA field-programmable gate array
- each component of the recommended control device 100 when a part or all of each component of the recommended control device 100 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged. It may be distributed.
- the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
- the function of the recommendation control device 100 may be provided in the SaaS (Software as a Service) format.
- FIG. 3 is a block diagram showing a configuration of the recommendation control system 600 according to the second embodiment.
- the recommendation control system 600 includes at least a recommendation control device 100a and an authentication device 200, and further includes at least one of a face recognition terminal 300 and a user terminal 400.
- Each of the recommendation control device 100a, the authentication device 200, the face recognition terminal 300 (300X, 300Y, 300Z and 300W) and the user terminal 400 are connected via the network 500.
- the description that overlaps with the first embodiment will be omitted as appropriate.
- the recommendation control device 100a includes a history DB (DataBase) 110a, a history registration unit 120, an acquisition unit 130, an authentication control unit 140, an action history extraction unit 150, a specific unit 160, and an output unit 170.
- the recommendation control device 100a is an information processing device that accumulates action history, specifies and presents presentation information from captured images, and is, for example, a server device realized by a computer.
- the history DB 110a is a database for accumulating the user's action history.
- the history DB 110a stores the user ID and the action history of the user in association with each other.
- the action history includes, for example, a user's payment history.
- the history registration unit 120 receives a history registration request from the face authentication terminal 300 or the user terminal 400 via the network 500, and registers the user ID included in the history registration request and the action history in the history DB 110a in association with each other. do.
- the acquisition unit 130 receives a face authentication request, a history registration request, and a recommendation request from the face authentication terminal 300 or the user terminal 400 via the network 500.
- the acquisition unit 130 acquires an image captured by the camera 310 or 410 from the face recognition terminal 300 or the user terminal 400, installation position information of the camera 310 or 410 (hereinafter, simply referred to as "installation position"), and the like. do.
- the authentication control unit 140 extracts face area or face feature information from the authentication image included in the face authentication request, and transmits the face area or face feature information to the authentication device 200 to perform face authentication. Further, the authentication control unit 140 receives the success / failure of face authentication from the authentication device 200, and returns the face authentication result to the requesting terminal. If the face authentication is successful, the user ID is included in the face authentication result.
- the action history extraction unit 150 acquires the action history associated with the user ID that succeeded in face authentication or the user ID included in the recommendation request from the history DB 110a.
- the action history extraction unit 150 extracts an action history satisfying a predetermined extraction condition from the action history acquired from the history DB 110a.
- the action history extraction unit 150 can remove the noise of the action history by extracting the action history satisfying a predetermined extraction condition.
- the predetermined extraction conditions may be included in the recommendation request, for example, or may be preset. Further, the predetermined extraction conditions may be manually changed by the user.
- the predetermined extraction condition may be appropriately selected from, for example, a plurality of preset extraction conditions.
- the predetermined extraction conditions may be selected based on the date and time when the face recognition was performed, the information contained in the captured image, and the like. Specifically, when the date and time when face recognition is successful is during the daytime on weekdays, it is conceivable to select an extraction condition for extracting the action history performed during the daytime on weekdays. In addition, when the user's family is shown in the captured image, it is conceivable to select an extraction condition for extracting the behavior history of the user who was acting with the family.
- the predetermined extraction condition may further include the predetermined time zone in which the settlement was made.
- the predetermined time zone is, for example, holidays, weekdays, lunch time, dinner time, and the like.
- the action history extraction unit 150 extracts the payment history in which the user has made a payment in a predetermined time zone from the plurality of payment histories included in the action history.
- the predetermined extraction condition may further include the predetermined period in which the settlement was made.
- the predetermined period is, for example, after a specific date and time, before a specific date and time, a specific period, and the like.
- the action history extraction unit 150 extracts the payment history in which the user has made a payment within a predetermined period from the plurality of payment histories included in the action history.
- the predetermined extraction condition may further include the condition that the settlement is performed more than the standard number of times within the predetermined period. For example, it may be a condition that payment has been made three or more times within the last two months.
- the action history extraction unit 150 extracts the payment history that the user has made more than the reference number of times within the predetermined period from the plurality of payment histories included in the action history.
- the action history extraction unit 150 may acquire the action history of another person whose attributes and action history are similar to those of the user from the history DB 110a. In this case, the action history extraction unit 150 extracts the action history satisfying a predetermined extraction condition from the action history of the other person acquired from the history DB 110a.
- the attributes are, for example, gender, age, family structure, etc., and may be friends on SNS (Social Networking Service).
- Another person who has a similar action history is, for example, another person whose action history contains the same character string as a predetermined action included in the user's action history.
- the identification unit 160 specifies the recommendation information based on the action history extracted by the action history extraction unit 150.
- the recommendation information is information recommended to the user.
- the recommendation information may be, for example, the action history itself extracted by the action history extraction unit 150.
- the recommendation information may include, for example, one of the place and the content included in the extracted action history. Further, the recommendation information may be a discount coupon or the like of a place included in the extracted action history.
- the output unit 170 transmits the presentation information specified by the specific unit 160 to a terminal that has succeeded in face recognition or a terminal that has made a presentation request via the network 500.
- the output unit 170 may transmit the recommendation information to a terminal other than the terminal that has made the face authentication and the recommendation request. For example, when face recognition is performed from a store terminal, the output unit 170 may send the recommendation information to the store terminal, or send the recommendation information to a user terminal owned by a user who has succeeded in face recognition. May be good.
- the authentication device 200 is a device that authenticates the user's face.
- the authentication device 200 includes a face feature DB 210.
- the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
- the face feature DB 210 is an example of a face feature information storage unit.
- the face recognition terminal 300 is a terminal that captures an image used for face recognition.
- the face recognition terminal 300 is a terminal that transmits a captured image to the recommendation control device 100a and makes a face recognition request.
- the face recognition terminal 300 is installed at each point X, Y, Z and W (hereinafter, referred to as "points X to W").
- a face recognition terminal 300X is installed at the point X
- a face recognition terminal 300Y is installed at the point Y
- a face recognition terminal 300Z is installed at the point Z
- a face recognition terminal 300W is installed at the point W.
- the user terminal 400 is a terminal owned by the user.
- the user terminal 400 is, for example, a communication terminal such as a smartphone, a tablet, or a PC.
- the user uses the face authentication terminal 300 or the user terminal 400 to take an image including the user's face.
- the face recognition terminal 300 or the user terminal 400 transmits the captured image to the recommendation control device 100a.
- FIG. 4 is a block diagram showing the configuration of the authentication device 200.
- the authentication device 200 includes a face feature DB 210, a face detection unit 220, a feature point extraction unit 230, a registration unit 240, and an authentication unit 250.
- the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
- the face detection unit 220 detects the face region included in the captured image and outputs it to the feature point extraction unit 230.
- the feature point extraction unit 230 extracts feature points from the face region detected by the face detection unit 220, and outputs face feature information to the registration unit 240.
- the facial feature information is a set of extracted feature points.
- the registration unit 240 newly issues a user ID when registering facial feature information.
- the registration unit 240 registers the issued user ID and the face feature information extracted from the registered image in the face feature DB 210 in association with each other.
- the authentication unit 250 collates the face feature information extracted from the face image with the face feature information in the face feature DB 210. If the face feature information matches, the authentication unit 250 determines that the face recognition was successful, and if the face feature information does not match, determines that the face recognition has failed.
- the authentication unit 250 returns the success or failure of face authentication to the recommendation control device 100a.
- the presence or absence of matching of facial feature information corresponds to the success or failure of authentication.
- the authentication unit 250 identifies the user ID associated with the successful face feature information, and recommends and controls the authentication result including the specified user ID and the fact that the authentication is successful. Reply to the device 100a.
- FIG. 7 is a flowchart showing the flow of the face feature information registration process.
- FIG. 7 describes a case where the face authentication terminal 300 captures an image and registers the face feature information, but when the user terminal 400 captures an image, the face feature information can be registered by the same procedure. ..
- the face recognition terminal 300 When registering the face feature information, the face recognition terminal 300 captures an image including the user's face as a registration image, and requests the authentication device 200 to register the face feature information via the network 500.
- the facial feature information registration request includes a registration image.
- the authentication device 200 acquires a registration image from the face recognition terminal 300 or the user terminal 400 via the network 500 (step S201).
- the face detection unit 220 detects the face area included in the registration image (step S202), and outputs the detected face area to the feature point extraction unit 230.
- the feature point extraction unit 230 extracts the feature points from the face region and outputs the face feature information to the registration unit 240 (step S203).
- the registration unit 240 issues a user ID corresponding to the output face feature information, associates the user ID with the face feature information, and registers the user ID in the face feature DB 210 (step S204).
- FIG. 8 is a flowchart showing the flow of face recognition processing.
- FIG. 8 describes a case where the face authentication terminal 300 requests face authentication, but when the user terminal 400 requests face authentication, face authentication can be performed by the same procedure.
- the face recognition terminal 300 When performing face recognition, the face recognition terminal 300 captures an image including the user's face as an authentication image, and makes a face recognition request to the recommendation control device 100a via the network 500.
- the face recognition request includes an image for authentication.
- the recommendation control device 100a transmits the face region or face feature information extracted from the authentication image to the authentication device 200.
- the feature point extraction unit 230 acquires the face feature information by extracting the face feature information from the received face region or receiving the face feature information (step S301).
- the authentication unit 250 collates the face feature information acquired by the acquisition unit 130 with the face feature DB 210 (step S302).
- the authentication unit 250 identifies the user ID of the user whose face feature information matches (step S304), and recommends and controls that the face authentication is successful and the specified user ID. Reply to the device 100a (step S305).
- the authentication unit 250 returns to the recommendation control device 100a that the face authentication has failed (step S306).
- the face recognition terminal 300 includes a photographing device such as a camera, a display device, and a computer as a hardware configuration.
- the face recognition terminal 300 is a device that makes a face feature information registration request and a face recognition request.
- Examples of the face recognition terminal 300 include, but are not limited to, a terminal that performs payment by face recognition, a terminal that controls admission by face recognition, and digital signage that presents information according to face recognition.
- FIG. 5 is a block diagram showing the configuration of the face authentication terminal 300.
- the face recognition terminal 300 includes a camera 310, a control unit 320, a storage unit 330, a communication unit 340, and a display unit 350.
- the camera 310 is a photographing device that captures an image.
- the control unit 320 controls the hardware included in the face recognition terminal 300.
- the control unit 320 includes a shooting request unit 322, a face feature information registration request unit 323, an authentication request unit 324, a payment processing unit 325, a history registration request unit 326, and a recommendation request unit 427.
- the shooting request unit 322 makes a shooting request to the camera 310.
- the camera 310 captures an image including the user's face.
- the image taken by the camera 310 is used as a registration image and an authentication image.
- the face feature information registration request unit 323 transmits the face feature information registration request to the authentication device 200 via the network 500.
- the facial feature information registration request includes a registration image taken by the camera 310.
- the authentication request unit 324 transmits the face authentication request to the recommendation control device 100a via the network 500.
- the face recognition request includes an authentication image taken by the camera 310.
- the authentication request unit 324 receives the success or failure of face authentication from the recommendation control device 100a, and displays the result on the display unit 350.
- the payment processing unit 325 executes the payment processing when the face authentication is successful.
- the control unit 320 may include a recording unit (not shown) in place of the settlement processing unit 325.
- the recording unit records the user's entry / exit to the facility where the face recognition terminal 300 is installed when the face recognition is successful.
- the history registration request unit 326 transmits the history registration request to the recommendation control device 100a via the network 500.
- the history registration request includes a payment history that is the result of payment processing.
- the payment history is information including, for example, the date and time of payment, the amount of money, the goods, the user ID, and the like.
- the recommendation request unit 327 transmits the recommendation information request to the recommendation control device 100a via the network 500.
- the storage unit 330 is a storage device that stores a program for realizing each function of the face authentication terminal 300.
- the communication unit 340 is a communication interface with the network 500.
- the display unit 350 is a display device that displays the face authentication result, presentation information, and the like to the user.
- FIG. 6 is a block diagram showing the configuration of the user terminal 400.
- the user terminal 400 includes a camera 410, a control unit 420, a storage unit 430, a communication unit 440, and a display unit 450.
- the control unit 420 includes a shooting request unit 422, a face feature information registration request unit 423, an authentication request unit 424, a payment processing unit 425, a history registration request unit 426, and a recommendation request unit 427. Since the functions of each configuration included in the user terminal 400 are the same as those of each configuration included in the face authentication terminal 300, the description thereof will be omitted.
- FIG. 9 is a flowchart showing the flow of the history registration process.
- the user terminal 400 can also make the history registration request by the same procedure.
- the shooting request unit 322 makes a shooting request to the camera 310, and the camera 310 shoots an authentication image including the user's face (step S401).
- the authentication request unit 324 transmits a face recognition request to the authentication device 200 via the network 500 (step S402), and receives the success or failure from the authentication device 200 (step S403).
- the payment processing unit 325 executes the payment processing (step S405), and the history registration requesting unit 326 registers the history for the recommendation control device 100a via the network 500. Make a request (step S406).
- the history registration requesting unit 326 causes the display unit 350 to display that the face authentication has failed.
- the face authentication terminal 300 and the user terminal 400 request the recommendation control device 100a to register the action history such as the entry / exit history and the participation history in the same manner as the payment history. Further, when the face authentication is successful, the user may stand in front of the signage provided with the camera before and after the payment and take a photographed image including the face.
- FIG. 10 is a flowchart showing the flow of the history registration process.
- the history registration request transmitted in step S405 described above includes an action history.
- the recommendation control device 100a receives the history registration request (step S501)
- the recommendation control device 100a registers the action history in the history DB 110a (step S502).
- the recommendation control device 100a presents the recommendation information when the face authentication is successful or when the recommendation information request is received.
- successful face recognition and presenting recommendation information include when a user stands in front of a signage equipped with a camera before and after payment and takes a photographed image including a face, and records of entry / exit history and participation history. There is a case where processing such as recording of the above is performed.
- the recommendation information is displayed on the signage, the user terminal 400, and the like.
- FIG. 11 is a flowchart showing the flow of the recommendation control process.
- FIG. 12 is a flowchart showing the flow of recommendation request processing.
- the acquisition unit 130 acquires an authentication image taken by a predetermined photographing device such as the face recognition terminal 300 and the user terminal 400 (step S601). At this time, the acquisition unit 130 shall acquire the installation position of the predetermined photographing device together with the authentication image.
- the authentication control unit 140 extracts the face area or the face feature information, transmits the face area or the face feature information to the authentication device 200, and requests face authentication (step S602).
- the authentication control unit 140 receives the success / failure of face authentication from the authentication device 200 (step S603).
- the identification unit 160 identifies the user ID that has succeeded in face authentication by extracting the user ID included in the success or failure of the face authentication received in step S603 (step S605). ..
- the action history extraction unit 150 identifies the action history of the user by acquiring the action history associated with the user ID specified in step S605 from the history DB 110a (step S606).
- the action history extraction unit 150 extracts an action history satisfying a predetermined extraction condition from the user's action history (step S607).
- the predetermined extraction conditions are set in advance, for example, and include a time zone.
- the predetermined extraction condition is, for example, the history of shops visited by the user on weekdays. Users often visit restaurants near their workplace on weekdays, that is, on work days, and often visit restaurants near their homes on holidays. Therefore, if the user visits on a weekday as a predetermined extraction condition, it is possible to extract the restaurants that the user often visits in the vicinity of the workplace.
- the identification unit 160 specifies the recommendation information based on the action history extracted by the action history extraction unit 150 (step S608).
- the output unit 170 transmits the recommendation information specified by the specific unit 160 to predetermined display terminals such as the face authentication terminal 300 and the user terminal 400 via the network 500 (step S609).
- the output unit 170 transmits to the predetermined display terminal via the network 500 that the face authentication has failed (step S610).
- the recommendation request processing (steps S701 to 703) can be performed.
- the recommendation request processing (steps S701 to 703) may be performed in parallel with the settlement processing (step S405) and the history registration request (step S406), or may be performed after the history registration request (step S406). ..
- the face authentication terminal 300 processes the recommendation request will be described with reference to FIG. 12, the user terminal 400 can also perform the recommendation request processing in the same procedure.
- the recommendation request unit 327 transmits the recommendation request to the recommendation control device 100a via the network 500 (step S701).
- the recommendation control device 100a receives the recommendation request
- the recommendation control device 100a identifies and returns the recommendation information by the same procedure as in steps S605 to 609.
- the recommendation request unit 327 receives the recommendation information from the recommendation control device 100a (step S702)
- the recommendation request unit 327 displays the recommendation information on the display unit 350 (step S703).
- step S701 the user operates an operation terminal such as the face authentication terminal 300 and the user terminal 400 to transmit a recommendation request to the recommendation control device 100a.
- the operation terminal may be the same terminal as the display terminal to which the recommendation information is transmitted, or may be a different terminal.
- FIG. 13 is a diagram illustrating a recommendation request start screen displayed on the operation terminal.
- FIG. 13 shows a case where the user terminal 400 is operated to make a recommendation request.
- the user terminal 400 can display the recommendation request (recommendation) start screen.
- the user may manually set the extraction conditions by selecting the mode when operating the user terminal 400 to start the recommendation request. For example, as shown in FIG. 13, when a button for selecting "holiday mode” and "weekday mode” is displayed on the recommendation request start screen, the user presses either button to start the recommendation request. For example, when the user presses the "holiday mode” button, the user terminal 400 sets a predetermined extraction condition as "history of actions performed by the user on a holiday" and makes a recommendation request including the predetermined extraction condition in the recommendation control device 100a. Send to. In this way, the user can manually set a predetermined extraction condition by selecting the mode at the time of requesting the recommendation.
- FIG. 14 is a diagram illustrating recommendation information displayed on the display terminal.
- FIG. 14 shows a case where the recommendation information is displayed on the user terminal 400.
- the user terminal 400 displays the recommendation information received in step S609 on the screen.
- the recommendation information includes store information, detailed store information, map information, route information to the store, and the like can be displayed on the screen shown in FIG.
- the output unit 170 may transmit the user's action history to the user terminal 400 in addition to the recommendation information.
- FIG. 15 is a diagram illustrating a map displayed on the display terminal as an action history. As shown in FIG. 15, the user terminal 400 may display the user's action history received in step S609 on the map. Further, FIG. 16 is a diagram illustrating an action history displayed on the display terminal. As shown in FIG. 16, the user terminal 400 may display the action history received in step S609 in chronological order.
- the recommendation information may include store information, store address, route guidance from the user's current position to the store, and the like.
- the route guidance may include the distance from the user's current position to the store, the required time, and the like.
- a plurality of recommendation information may be displayed on the display terminal. When displaying a plurality of recommendation information, the details of each recommendation information, route guidance, and the like may be displayed at the same time. The user can examine the details of each recommendation information, route guidance, etc., and compare the recommendation information with each other.
- the user may manually exclude a specific action history from his / her action history.
- the user excludes a specific action history by operating an operation terminal such as the user terminal 400.
- the specific action history is, for example, payment information including a specific character string.
- FIG. 17 is a diagram illustrating a history exclusion condition setting screen displayed on the display terminal. The user can specify the exclusion of a specific action history from the history exclusion condition setting screen displayed on the operation terminal. As shown in FIG. 17, the user can, for example, input the character string “curry” and specify the exclusion of the action history including the character string “curry”.
- the operation terminal transmits a designation for excluding a specific action history received from the user to the recommendation control device 100a via the network 500.
- the action history extraction unit 150 adds a condition for excluding the designated specific action history to the predetermined extraction condition.
- FIG. 18 is a diagram illustrating a history registration screen displayed on the operation terminal at the time of payment.
- the user operates an operation terminal such as a user terminal to specify a desire for registration. As shown in FIG. 18, the user is allowed to select whether or not to register the payment history at the time of payment.
- the predetermined extraction condition is "payment history made by the user on weekdays”.
- the user's payment history is shown in Table 1 below.
- the user places an order for pasta twice on weekdays. That is, it is considered that the user prefers to eat pasta on weekdays. Therefore, as the recommended information about pasta, the pasta shop coupon is presented to the user. In this way, by presenting the recommendation information that suits the user's preference, the utilization rate of the recommendation information can be increased.
- the third embodiment is a modification of the first embodiment described above.
- the recommendation control device 100 according to the first embodiment extracts an action history that satisfies a predetermined extraction condition based on payment information, date and time information, and the like included in the action history registered in the history DB 110a.
- the user himself classifies the action history.
- FIG. 19 is a block diagram showing the configuration of the recommended control device 700 according to the third embodiment.
- the recommendation control device 700 includes a classification unit 180 in addition to the configuration of the recommendation control device 100a shown in FIG. The description of each configuration included in the recommended control device 700 that overlaps with the second embodiment will be omitted as appropriate.
- the classification unit 180 classifies a predetermined history included in the action history into one of a plurality of groups based on the designation from the user.
- the plurality of groups are, for example, "weekdays” and “holidays”, “lunch” and “dinner”, “visiting alone”, “visiting with colleagues” and “visiting with family”.
- the user specifies a predetermined history classification from an operation terminal such as a user terminal.
- the operation terminal transmits the designation of the classification to the recommendation control device 700 via the network 500.
- the classification unit 180 classifies the predetermined history into one of a plurality of groups according to the designated contents.
- the behavior history extraction unit 150 may be classified into a predetermined group among a plurality of groups as a predetermined extraction condition. For example, when the user accepts the designation of a predetermined group, the action history extraction unit 150 sets the predetermined extraction condition that it is classified into the predetermined group.
- FIG. 20 is a diagram illustrating a history setting screen displayed on the operation terminal. As shown in FIG. 20, on the history setting screen, for example, each payment history and a button for processing each payment history are displayed. The processing for each payment history is, for example, "classification", “deletion”, and "exclusion". The user can select a button for processing each payment history. Note that the history setting screen may display only each payment history, and when the user selects any payment history, a button for processing the payment history may be displayed.
- the history registration screen shown in FIG. 18 may accept the user's request for classification.
- the operation terminal transmits a designation for excluding the payment history to the recommendation control device 700 via the network 500.
- the action history extraction unit 150 adds the condition for excluding the payment history to the predetermined extraction condition.
- the operating terminal transmits a designation to delete the payment history to the recommendation control device 700 via the network 500.
- the history registration unit deletes the payment history from the history storage unit (not shown).
- FIG. 21 is a diagram illustrating a history classification screen displayed on the operation terminal.
- buttons for classifying the action history into each group are displayed.
- the buttons for classification are, for example, "weekday mode” and "holiday mode” as shown in FIG. The user can select a button to classify the action history into each group.
- the operation terminal transmits a designation for classifying the action history into a weekday group to the recommendation control device 700 via the network 500.
- the operation terminal transmits a designation for classifying the action history into a holiday group to the recommendation control device 700 via the network 500.
- the classification unit 180 classifies the action history into the designated group.
- the recommendation control device 700 according to the present embodiment can classify the action history group by the user himself / herself, the noise of the action history can be removed more accurately. Further, the recommended control device according to the present embodiment can exert the same effect as the effect described in the first and second embodiments.
- the fourth embodiment is a modification of the above-described first to third embodiments.
- the recommendation control devices 100, 100a and 700 according to the first to third embodiments perform face recognition using an external authentication device 200.
- the recommendation control device 800 according to the present embodiment performs face recognition inside the device.
- FIG. 22 is a block diagram showing the configuration of the recommendation control device 800 according to the fourth embodiment.
- the authentication control unit 140 is replaced with the face feature extraction unit 140a and the face recognition unit 190, and the face feature DB 191 (not shown) is added, as compared with the configuration of the recommendation control device 100 shown in FIG. It is a thing.
- the face feature DB 191 is an example of a face feature information storage unit.
- the description of each configuration included in the recommended control device 800 that overlaps with the second embodiment will be omitted as appropriate.
- FIG. 23 is a block diagram showing the configuration of the recommendation control system 900 according to the fourth embodiment.
- the recommendation control system 900 is different from the recommendation control system 600 in that the authentication device 200 is not provided and the recommendation control device 800 is provided. Since the other configurations are the same, the description thereof will be omitted as appropriate.
- the face feature extraction unit 140a extracts face region or face feature information from the captured image.
- the face recognition unit 190 performs face recognition based on the extracted face area or face feature information.
- the face feature DB 191 is a face feature database that stores a user ID and the face feature information of the user in association with each other. Similar to the recommendation control device 100, the recommendation control device 800 controls the presentation of recommendation information in the flow shown in FIG. However, in step S103, the face feature extraction unit 140a extracts the face area or face feature information from the captured image acquired by the acquisition unit 130, and the face recognition unit 190 is based on the extracted face area or face feature information. Perform face recognition. Further, the recommended control device according to the present embodiment can exert the same effect as the effect described in the first to third embodiments.
- the description is made as a hardware configuration, but the present invention is not limited to this.
- the present disclosure can also be realized by causing the CPU to execute a computer program.
- Non-temporary computer-readable media include various types of tangible storage mediums.
- Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, DVD (Digital Versatile Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
- the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
- the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
- An acquisition unit that acquires captured images taken by a predetermined imaging device, and An authentication control unit that extracts face area or face feature information from the captured image and causes an authentication device to perform face authentication.
- An action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and an action history extraction unit.
- a specific unit that specifies recommended information based on the action history extracted by the action history extraction unit, and a specific unit.
- An output unit that transmits the recommendation information specified by the specific means to a predetermined display terminal, and Recommended control device equipped with.
- a history storage unit that stores the behavior history of multiple users
- a history registration unit that associates a user ID with an action history and registers it in the history storage unit.
- the action history extraction unit acquires an action history associated with a user ID of a user who has succeeded in face authentication from the history storage unit, and extracts an action history satisfying a predetermined extraction condition from the action history.
- the recommended control device according to Appendix A1.
- the action history includes a plurality of payment histories in the user.
- the predetermined extraction condition includes a specific payment history and includes.
- the action history extraction unit extracts the specific payment history from the plurality of payment histories.
- the recommended control device according to Appendix A1 or A2.
- the predetermined extraction condition further includes a predetermined time zone in which the settlement was made.
- the action history extraction unit extracts the payment history in which the user makes a payment in the predetermined time zone from the plurality of payment histories.
- the predetermined extraction condition further includes a predetermined period in which the settlement was made.
- the action history extraction unit extracts the payment history in which the user has made a payment within the predetermined period from the plurality of payment histories.
- the recommended control device according to Appendix A3 or A4.
- the predetermined extraction condition further includes the condition that the settlement is performed more than the standard number of times within the predetermined period.
- the action history extraction unit extracts the payment history that the user has made more than the reference number of times within a predetermined period from the plurality of payment histories.
- the recommended control device according to any one of Supplementary A3 to A5.
- Appendix A8 Further provided with a classification unit that classifies a predetermined history included in the action history into any of a plurality of groups based on the designation from the user.
- the predetermined extraction condition is that the action history extraction unit is classified into the predetermined group.
- the recommended control device according to any one of Supplementary A1 to A7.
- the action history includes at least one of a payment history, an entry / exit history, and a participation history of the user.
- the recommended control device according to any one of Supplementary A1 to A8.
- a predetermined imaging device that captures an image including the user's face area, and A recommended control device capable of communicating with the predetermined imaging device
- An authentication device that stores the user's facial feature information and can communicate with the recommended control device
- the recommended control device is An acquisition unit that acquires captured images taken by a predetermined imaging device, and An authentication control unit that extracts face area or face feature information from the captured image and causes an authentication device to perform face authentication.
- An action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and an action history extraction unit.
- a specific unit that specifies recommended information based on the action history extracted by the action history extraction unit, and a specific unit.
- An output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal, and an output unit. Recommended control system with.
- the recommended control device further A history storage unit that stores the behavior history of multiple users, A history registration unit that associates a user ID with an action history and registers it in the history storage unit.
- the action history extraction unit acquires an action history associated with a user ID of a user who has succeeded in face authentication from the history storage means, and extracts an action history satisfying a predetermined extraction condition from the action history.
- the recommended control system according to Appendix B1.
- (Appendix C1) The computer The process of acquiring a photographed image taken by a predetermined photographing device, and A process of extracting face area or face feature information from the captured image and causing an authentication device to perform face authentication.
- Appendix D1 The process of acquiring a photographed image taken by a predetermined photographing device, and A process of extracting face area or face feature information from the captured image and causing an authentication device to perform face authentication.
- An acquisition unit that acquires captured images taken by a predetermined imaging device, and A face feature extraction unit that extracts face region or face feature information from the captured image, A face recognition unit that performs face recognition based on the face area or the face feature information, An action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and an action history extraction unit.
- a specific unit that specifies recommended information based on the action history extracted by the action history extraction unit, and a specific unit.
- An output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal, and an output unit. Recommended control device equipped with.
- a history storage unit that stores the behavior history of multiple users
- a history registration unit that associates a user ID with an action history and registers it in the history storage means.
- the action history extraction unit acquires an action history associated with a user ID of a user who has succeeded in face authentication from the history storage unit, and extracts an action history satisfying a predetermined extraction condition from the action history.
- the recommended control device according to Appendix E1.
- Appendix F1 The computer The process of acquiring a photographed image taken by a predetermined photographing device, and A step of extracting face region or face feature information from the captured image, and A step of performing face recognition based on the face region or the face feature information, and A process of extracting an action history satisfying a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and The process of identifying recommendation information based on the extracted behavior history, The process of transmitting the specified recommendation information to a predetermined display terminal, and Recommended control method including.
- Appendix G1 The process of acquiring a photographed image taken by a predetermined photographing device, and A step of extracting face region or face feature information from the captured image, and A step of performing face recognition based on the face region or the face feature information, and A process of extracting an action history satisfying a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and The process of identifying recommendation information based on the extracted behavior history, The process of transmitting the specified recommendation information to a predetermined display terminal, and A non-transitory computer-readable medium containing a recommendation control program that causes a computer to execute.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Collating Specific Patterns (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
個人の嗜好に沿った推薦情報を提供するための推薦制御装置を提供する。推薦制御装置(100)は、所定の撮影装置により撮影された撮影画像を取得する取得部(130)と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置(200)に顔認証を行わせる認証制御部(140)と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部(150)と、行動履歴抽出部(150)が抽出した行動履歴に基づいて推薦情報を特定する特定部(160)と、所定の表示端末に特定部(160)が特定した推薦情報を送信する出力部(170)と、を備える。
Description
本発明は、推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザに対して推薦情報を提供するための推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
特許文献1には、グループに属する1または2人以上の人物の顔画像を取得し、この顔画像から人物の属性(例えば男女の区別や年代)を推定するのに必要な特徴量を取得し、人物毎の属性を推定する技術が開示されている。
特許文献1に開示された技術のように、個人の行動履歴の全てを用いて推薦情報を生成すると、推薦精度が低下する場合があるという問題点がある。その理由は、行動履歴にはノイズや時間帯によって状況が異なる場合があるためである。
本開示は、このような問題点を解決するためになされたものであり、個人の嗜好に沿った推薦情報を提供するための推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
本開示に係る推薦制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、所定の表示端末に前記特定手段が特定した推薦情報を送信する出力部と、を備える。
本開示に係る推薦制御システムは、ユーザの顔領域を含む画像を撮影する所定の撮影装置と、前記所定の撮影装置と通信可能な推薦制御装置と、前記ユーザの顔特徴情報を記憶し、前記推薦制御装置と通信可能な認証装置と、を備え、前記推薦制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、を備える。
本開示に係る推薦制御方法は、コンピュータが、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を実行させるプログラムが記録される。
本開示に係る推薦制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出する顔特徴抽出部と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、を備える。
本開示に係る推薦制御方法は、コンピュータが、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を備える。
本開示に係る非一時的なコンピュータ可読媒体は、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を実行させるプログラムが記録される。
本開示により、個人の嗜好に沿った推薦情報を提供するための推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1は、実施形態1に係る推薦制御装置100の構成を示すブロック図である。推薦制御装置100は、取得部130、認証制御部140、行動履歴抽出部150、特定部160及び出力部170を備える。推薦制御装置100は、ネットワーク500(不図示)に接続される。ネットワーク500は、有線であっても無線であってもよい。ネットワーク500には、図示しない認証装置200及び顔認証端末300が接続される。
図1は、実施形態1に係る推薦制御装置100の構成を示すブロック図である。推薦制御装置100は、取得部130、認証制御部140、行動履歴抽出部150、特定部160及び出力部170を備える。推薦制御装置100は、ネットワーク500(不図示)に接続される。ネットワーク500は、有線であっても無線であってもよい。ネットワーク500には、図示しない認証装置200及び顔認証端末300が接続される。
取得部130は、所定の撮影装置により撮影された撮影画像を取得する。撮影画像は、ユーザが撮影された画像である。所定の撮影装置は、例えば、顔認証端末300が備えるカメラ、及びユーザが所持するスマートフォン等のユーザ端末のカメラである。認証制御部140は、撮影画像から顔領域又は顔特徴情報を抽出して認証装置200に顔認証を行わせる。認証装置200は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて予め記憶している。
行動履歴抽出部150は、顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する。行動履歴は、ユーザが行った行動の内容である。行動履歴は、当該行動が行われた日時及び場所等を含んでいてもよい。行動履歴は、例えば、ユーザにおける決済履歴を含む。所定の抽出条件は、ユーザの行動履歴から所定の行動履歴を抽出するための条件である。所定の抽出条件は、例えば、特定の決済履歴を含む。所定の抽出条件は、具体的には、時間帯、所定期間、及び行動の頻度等が挙げられるが、これらに限定されない。
特定部160は、顔認証に成功したユーザにおけるユーザID又は推薦要求に含まれるユーザIDと対応付けられた行動履歴に基づいて、ユーザに推薦する推薦情報を特定する。推薦要求は、推薦情報の提示要求である。出力部170は、所定の表示端末に特定部160が特定した推薦情報を送信する。所定の表示端末は、例えば、顔認証端末300、ユーザ端末、店舗端末又は街頭のサイネージである。ユーザ端末は、ユーザが所持するスマートフォン等の通信端末である。店舗端末は、各店舗に設置される端末であり、例えば、ユーザが来店した際に、おすすめ商品を表示したり、ユーザが店舗を出る際に「次は〇〇へ行くのはいかがですか」等と表示したりする。
所定の表示端末は、上述の所定の撮影装置であってもよいし、異なる端末であってもよい。例えば、ユーザ端末で撮影画像を撮影した場合、出力部170は、当該ユーザ端末に推薦情報を送信してもよいし、顔認証端末300等に推薦情報を送信してもよい。顔認証端末300で撮影画像を撮影した場合、出力部170は、当該顔認証端末300に推薦情報を送信してもよいし、ユーザ端末等に推薦情報を送信してもよい。
図2は、実施形態1に係る推薦制御方法の流れを示すフローチャートである。まず、取得部130は、所定の撮影装置により撮影された撮影画像を取得する(ステップS101)。次に、認証制御部140は、取得部130が取得した撮影画像から顔領域又は顔特徴情報を抽出して認証装置200に顔認証を行わせる(ステップS102)。認証装置200は、認証制御部140から受け取った顔領域又は顔特徴情報と、認証装置200内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定し、判定結果を返信する。尚、認証装置200は、ユーザIDと顔特徴情報とを対応付けて記憶しているものとする。そして、認証装置200は、顔認証に成功した場合、成功したユーザIDを判定結果に含めて返信する。
次に、行動履歴抽出部150は、所定の抽出条件を満たす行動履歴を抽出する(ステップS103)。次に、特定部160は、顔認証に成功したユーザID又は推薦要求に含まれるユーザIDと対応付けられた行動履歴に基づいて、ユーザに推薦する推薦情報を特定する(ステップS104)。次に、出力部170は、所定の表示端末に特定部160が特定した推薦情報を送信する(ステップS105)。このように、本実施形態に係る推薦制御方法は、個人の嗜好に沿った推薦情報を提供することができる。
推薦制御装置100は、図1に示した構成に加えて、履歴記憶部及び履歴登録部等の各構成を備えていてもよい。
履歴記憶部は、ユーザの行動履歴を記憶する。行動履歴は、ユーザが顔認証に成功した時に行った行動内容の履歴であり、例えば、商品等の購入履歴、施設の入退履歴、イベントの参加履歴等である。行動履歴は、ユーザが行動した時刻の情報を含んでいてもよい。履歴登録部は、ユーザIDと行動履歴とを対応付けて履歴記憶部に登録する。履歴登録部は、図2に示すステップS101に先んじて、ユーザIDと行動履歴とを対応付けて履歴記憶部に登録する。
尚、推薦制御装置100は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る推薦制御方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、履歴登録部、取得部130、認証制御部140、行動履歴抽出部150、特定部160及び出力部170の機能を実現する。
または、履歴登録部、取得部130、認証制御部140、行動履歴抽出部150、特定部160及び出力部170は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
また、推薦制御装置100の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、推薦制御装置100の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
実施形態2は、上述した実施形態1の具体例である。図3は、実施形態2に係る推薦制御システム600の構成を示すブロック図である。推薦制御システム600は、少なくとも、推薦制御装置100a及び認証装置200を備え、さらに顔認証端末300及びユーザ端末400のうち少なくとも一方を備える。推薦制御装置100a、認証装置200、顔認証端末300(300X、300Y、300Z及び300W)及びユーザ端末400のそれぞれは、ネットワーク500を介して接続されている。なお、実施形態1と重複する説明については適宜省略する。
実施形態2は、上述した実施形態1の具体例である。図3は、実施形態2に係る推薦制御システム600の構成を示すブロック図である。推薦制御システム600は、少なくとも、推薦制御装置100a及び認証装置200を備え、さらに顔認証端末300及びユーザ端末400のうち少なくとも一方を備える。推薦制御装置100a、認証装置200、顔認証端末300(300X、300Y、300Z及び300W)及びユーザ端末400のそれぞれは、ネットワーク500を介して接続されている。なお、実施形態1と重複する説明については適宜省略する。
推薦制御装置100aは、履歴DB(DataBase)110a、履歴登録部120、取得部130、認証制御部140、行動履歴抽出部150、特定部160及び出力部170を備える。推薦制御装置100aは、行動履歴の蓄積、撮影画像からの提示情報の特定及び提示を行う情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。
履歴DB110aは、ユーザの行動履歴を蓄積するためのデータベースである。履歴DB110aは、ユーザIDと、当該ユーザの行動履歴と、を対応付けて記憶している。行動履歴は、例えば、ユーザの決済履歴を含む。履歴登録部120は、顔認証端末300又はユーザ端末400からネットワーク500を介して履歴登録要求を受信し、当該履歴登録要求に含まれるユーザIDと、行動履歴と、を対応付けて履歴DB110aに登録する。
取得部130は、顔認証端末300又はユーザ端末400からネットワーク500を介して、顔認証要求、履歴登録要求及び推薦要求を受信する。言い換えると、取得部130は、顔認証端末300又はユーザ端末400からカメラ310又は410による撮影画像、及び、カメラ310又は410の設置位置情報(以下、単に「設置位置」と呼ぶ。)等を取得する。
認証制御部140は、顔認証要求に含まれる認証用画像から顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置200へ送信して顔認証を行わせる。また、認証制御部140は、認証装置200から顔認証の成否を受信し、顔認証結果を要求元の端末へ返信する。尚、顔認証に成功した場合、顔認証結果には、ユーザIDが含まれる。
行動履歴抽出部150は、顔認証に成功したユーザID又は推薦要求に含まれるユーザIDと対応付けられた行動履歴を履歴DB110aから取得する。行動履歴抽出部150は、履歴DB110aから取得した行動履歴の中から、所定の抽出条件を満たす行動履歴を抽出する。行動履歴抽出部150が所定の抽出条件を満たす行動履歴を抽出することによって、行動履歴のノイズを除くことができる。尚、所定の抽出条件は、例えば推薦要求に含まれていてもよく、予め設定されたものでもよい。また、所定の抽出条件は、ユーザが手動で変更可能であってもよい。
所定の抽出条件は、例えば予め設定された複数の抽出条件の中から、適宜選択されてもよい。例えば、所定の抽出条件は、顔認証が行われた日時又は撮影画像に含まれる情報等に基づいて選択されてもよい。具体的には、顔認証に成功した日時が平日の昼間である場合、平日昼間に行われた行動履歴を抽出する抽出条件を選択すること等が考えられる。また、撮影画像にユーザの家族が写っている場合、家族と共に行動していた行動履歴を抽出する抽出条件を選択すること等が考えられる。
行動履歴が決済履歴を含む場合、所定の抽出条件は、決済が行われた所定の時間帯をさらに含んでいてもよい。所定の時間帯は、例えば、休日、平日、昼食時及び夕食時等である。この場合、行動履歴抽出部150は、行動履歴に含まれる複数の決済履歴の中から当該ユーザが所定の時間帯に決済を行った決済履歴を抽出する。
行動履歴が決済履歴を含む場合、所定の抽出条件は、決済が行われた所定期間をさらに含んでいてもよい。所定期間は、例えば、特定の日時よりも後、特定の日時よりも前、及び特定の期間等である。この場合、行動履歴抽出部150は、行動履歴に含まれる複数の決済履歴の中から当該ユーザが所定期間内に決済を行った決済履歴を抽出する。
行動履歴が決済履歴を含む場合、所定の抽出条件は、所定期間内に基準回数以上決済が行われたことを条件としてさらに含んでいてもよい。例えば、直近2か月以内に3回以上決済が行われたことを条件としてもよい。この場合、行動履歴抽出部150は、行動履歴に含まれる複数の決済履歴の中から当該ユーザが所定期間内に基準回数以上行った決済履歴を抽出する。
また、行動履歴抽出部150は、ユーザと属性及び行動履歴のうち少なくとも一方が類似する他人の行動履歴を履歴DB110aから取得してもよい。この場合、行動履歴抽出部150は、履歴DB110aから取得した当該他人の行動履歴の中から、所定の抽出条件を満たす行動履歴を抽出する。属性は、例えば、性別、年代、家族構成等であり、SNS(Social Networking Service)上の友人等であってもよい。行動履歴が類似する他人は、例えば、ユーザの行動履歴に含まれる所定の行動と同じ文字列を行動履歴に含んでいる他人である。
特定部160は、行動履歴抽出部150が抽出した行動履歴に基づいて推薦情報を特定する。推薦情報は、ユーザに対して推薦する情報である。推薦情報は、例えば、行動履歴抽出部150が抽出した行動履歴そのものであってもよい。推薦情報は、例えば抽出された行動履歴が含む場所及び内容のうちいずれか一方を含むものであってもよい。また、推薦情報は、抽出された行動履歴に含まれる場所の割引クーポン等であってもよい。出力部170は、特定部160が特定した提示情報をネットワーク500を介して顔認証に成功した端末又は提示要求を行った端末に送信する。出力部170は、顔認証及び推薦要求を行った端末以外の端末に当該推薦情報を送信してもよい。例えば、店舗端末から顔認証を行った場合に、出力部170は、当該店舗端末に推薦情報を送信してもよいし、顔認証に成功したユーザが所有するユーザ端末に推薦情報を送信してもよい。
認証装置200は、ユーザの顔認証を行う装置である。認証装置200は、顔特徴DB210を備える。顔特徴DB210は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。尚、顔特徴DB210は、顔特徴情報記憶部の一例である。顔認証端末300は、顔認証に使用する画像を撮影する端末である。顔認証端末300は、撮影画像を推薦制御装置100aに送信し、顔認証要求を行う端末である。顔認証端末300は、各地点X、Y、Z及びW(以下、「地点X~W」と称す。)に設置されている。具体的には、地点Xには顔認証端末300X、地点Yには顔認証端末300Y、地点Zには顔認証端末300Z、地点Wには顔認証端末300Wが設置されている。ユーザは、各地点X~Wを訪問する際に、設置された顔認証端末300X~300Wのカメラに対して顔を向けて撮影を行い、当該地点における商品購入等を行う。
ユーザ端末400は、ユーザが所持する端末である。ユーザ端末400は、例えば、スマートフォン、タブレット、PC等の通信端末である。ユーザは、顔認証端末300又はユーザ端末400を利用してユーザの顔が含まれる画像を撮影する。顔認証端末300又はユーザ端末400は、撮影画像を推薦制御装置100aに送信する。
次に、図4を参照して、認証装置200の構成について詳細に説明する。図4は、認証装置200の構成を示すブロック図である。認証装置200は、顔特徴DB210、顔検出部220、特徴点抽出部230、登録部240及び認証部250を備える。
顔特徴DB210は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。顔検出部220は、撮影画像が含む顔領域を検出し、特徴点抽出部230に出力する。特徴点抽出部230は、顔検出部220が検出した顔領域から特徴点を抽出し、登録部240に顔特徴情報を出力する。顔特徴情報は、抽出した特徴点の集合である。
登録部240は、顔特徴情報の登録に際して、ユーザIDを新規に発行する。登録部240は、発行したユーザIDと、登録画像から抽出した顔特徴情報と、を対応付けて顔特徴DB210に登録する。認証部250は、顔画像から抽出された顔特徴情報と、顔特徴DB210内の顔特徴情報と、の照合を行う。認証部250は、顔特徴情報が一致している場合、顔認証が成功したと判断し、顔特徴情報が不一致の場合、顔認証が失敗したと判断する。認証部250は、顔認証の成否を推薦制御装置100aに返信する。顔特徴情報の一致の有無は、認証の成否に対応する。また、認証部250は、顔認証に成功した場合、当該成功した顔特徴情報に対応付けられたユーザIDを特定し、特定されたユーザIDと認証成功の旨とを含めた認証結果を推薦制御装置100aに返信する。
図7を参照して、顔特徴DB210にユーザID及び顔特徴情報を登録する際における認証装置200の動作を説明する。図7は、顔特徴情報登録処理の流れを示すフローチャートである。図7では、顔認証端末300が画像を撮影して顔特徴情報を登録する場合について説明を行うが、ユーザ端末400が画像を撮影する場合も同様の手順で顔特徴情報を登録することができる。
顔特徴情報を登録する際には、顔認証端末300は、ユーザの顔を含む画像を登録用画像として撮影し、認証装置200に対してネットワーク500を介して顔特徴情報登録要求を行う。顔特徴情報登録要求は、登録用画像を含む。まず、認証装置200は、顔認証端末300又はユーザ端末400からネットワーク500を介して登録用画像を取得する(ステップS201)。
次に、顔検出部220は、登録用画像が含む顔領域を検出し(ステップS202)、検出した顔領域を特徴点抽出部230に出力する。次に、特徴点抽出部230は、顔領域から特徴点を抽出し、登録部240に顔特徴情報を出力する(ステップS203)。次に、登録部240は、出力された顔特徴情報に対応するユーザIDを発行し、当該ユーザIDと顔特徴情報とを対応付けて顔特徴DB210に登録する(ステップS204)。
図8を参照して、顔認証を行う際における認証装置200の動作を説明する。図8は、顔認証処理の流れを示すフローチャートである。図8では、顔認証端末300が顔認証要求する場合について説明を行うが、ユーザ端末400が顔認証要求する場合も同様の手順で顔認証を行うことができる。
顔認証を行う際には、顔認証端末300は、ユーザの顔を含む画像を認証用画像として撮影し、推薦制御装置100aに対してネットワーク500を介して顔認証要求を行う。顔認証要求は、認証用画像を含む。まず、推薦制御装置100aは、認証用画像から抽出した顔領域又は顔特徴情報を認証装置200に送信する。特徴点抽出部230は、受信した顔領域から顔特徴情報抽出し、又は顔特徴情報を受信することによって、顔特徴情報を取得する(ステップS301)。
次に、認証部250は、取得部130が取得した顔特徴情報を顔特徴DB210と照合する(ステップS302)。顔特徴情報が一致した場合(ステップS303Yes)、認証部250は、顔特徴情報が一致したユーザのユーザIDを特定し(ステップS304)、顔認証に成功した旨と特定したユーザIDとを推薦制御装置100aに返信する(ステップS305)。一致する顔特徴情報がなかった場合(ステップS303No)、認証部250は、顔認証に失敗した旨を推薦制御装置100aに返信する(ステップS306)。
次に、図5を参照して、顔認証端末300の構成について詳細に説明する。顔認証端末300は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。顔認証端末300は、顔特徴情報登録要求及び顔認証要求を行う装置である。顔認証端末300は、例えば、顔認証による決済を行う端末、顔認証による入場制御を行う端末、顔認証に応じて情報を提示するデジタルサイネージ等が挙げられるが、これらに限定されない。
図5は、顔認証端末300の構成を示すブロック図である。顔認証端末300は、カメラ310、制御部320、記憶部330、通信部340及び表示部350を備える。カメラ310は、画像を撮影する撮影装置である。制御部320は、顔認証端末300が備えるハードウェアの制御を行う。制御部320は、撮影要求部322、顔特徴情報登録要求部323、認証要求部324、決済処理部325、履歴登録要求部326及び推薦要求部427を備える。
撮影要求部322は、カメラ310に対して撮影要求を行う。カメラ310は、ユーザの顔を含む画像を撮影する。カメラ310が撮影した画像は、登録用画像及び認証用画像として使用される。顔特徴情報登録要求部323は、顔特徴情報登録要求を、ネットワーク500を介して認証装置200に送信する。顔特徴情報登録要求は、カメラ310が撮影した登録用画像を含む。認証要求部324は、顔認証要求を、ネットワーク500を介して推薦制御装置100aに送信する。顔認証要求は、カメラ310が撮影した認証用画像を含む。認証要求部324は、推薦制御装置100aから顔認証の成否を受信し、その結果を表示部350に表示させる。
決済処理部325は、顔認証成功時に決済処理を実行する。なお、制御部320は、決済処理部325に代えて図示しない記録部を備えていてもよい。記録部は、顔認証成功時に顔認証端末300が設置されている施設へのユーザの入退場を記録する。履歴登録要求部326は、履歴登録要求を、ネットワーク500を介して推薦制御装置100aに送信する。尚、履歴登録要求は、決済処理の結果である決済履歴を含む。決済履歴は、例えば、決済した日時、金額、物品及びユーザID等を含む情報である。推薦要求部327は、推薦情報要求を、ネットワーク500を介して推薦制御装置100aに送信する。
記憶部330は、顔認証端末300の各機能を実現するためのプログラムが格納される記憶装置である。通信部340は、ネットワーク500との通信インタフェースである。表示部350は、ユーザに対して顔認証結果及び提示情報等を表示する表示装置である。
次に、図6を参照して、ユーザ端末400の構成について詳細に説明する。図6は、ユーザ端末400の構成を示すブロック図である。ユーザ端末400は、カメラ410、制御部420、記憶部430、通信部440及び表示部450を備える。制御部420は、撮影要求部422、顔特徴情報登録要求部423、認証要求部424、決済処理部425、履歴登録要求部426及び推薦要求部427を備える。ユーザ端末400が備える各構成の機能は、顔認証端末300が備える各構成と同様であるから、説明を省略する。
顔認証端末300及びユーザ端末400は、顔認証が成功した場合、決済処理等を行い、その履歴を推薦制御装置100aに登録させる履歴登録要求を行う。以下、図9を参照して、履歴登録要求する際における顔認証端末300の動作を説明する。図9は、履歴登録処理の流れを示すフローチャートである。図9では、顔認証端末300が履歴登録要求する場合について説明を行うが、ユーザ端末400も同様の手順で履歴登録要求を行うことができる。
まず、撮影要求部322は、カメラ310に対して撮影要求を行い、カメラ310は、ユーザの顔を含む認証用画像を撮影する(ステップS401)。次に、認証要求部324は、顔認証要求をネットワーク500を介して認証装置200に送信し(ステップS402)、その成否を認証装置200から受信する(ステップS403)。顔認証が成功であった場合(ステップS404Yes)、決済処理部325は、決済処理を実行し(ステップS405)、履歴登録要求部326は、推薦制御装置100aに対してネットワーク500を介して履歴登録要求を行う(ステップS406)。顔認証が失敗であった場合(ステップS405No)、履歴登録要求部326は、表示部350に顔認証が失敗した旨を表示させる。
尚、図9では、顔認証成功時に決済処理を行う場合について説明したが、顔認証成功時には、入退履歴の記録及び参加履歴の記録等の処理を行ってもよい。顔認証端末300及びユーザ端末400は、入退履歴及び参加履歴等の行動履歴を、決済履歴と同様に推薦制御装置100aに登録要求する。また、顔認証成功時には、決済の前後等にカメラを備えるサイネージの前にユーザが立ち、顔を含む撮影画像を撮影してもよい。
図10は、履歴登録処理の流れを示すフローチャートである。上述のステップS405において送信される履歴登録要求には、行動履歴が含まれている。推薦制御装置100aは、履歴登録要求を受信する(ステップS501)と、履歴DB110aに当該行動履歴を登録する(ステップS502)。
推薦制御装置100aは、顔認証に成功した場合又は推薦情報要求を受信した場合に、推薦情報を提示する。顔認証に成功して推薦情報を提示する例としては、決済の前後等にカメラを備えるサイネージの前にユーザが立ち、顔を含む撮影画像を撮影した場合、及び入退履歴の記録及び参加履歴の記録等の処理を行った場合が挙げられる。推薦情報は、サイネージ及びユーザ端末400等に表示される。以下、図11~12を参照して、推薦情報を提示する際における推薦制御装置100a等の動作を説明する。図11は、推薦制御処理の流れを示すフローチャートである。図12は、推薦要求処理の流れを示すフローチャートである。
まず、図11を参照して、顔認証成功時に推薦情報を提示する場合について説明する。まず、取得部130は、顔認証端末300及びユーザ端末400等の所定の撮影装置が撮影した認証用画像を取得する(ステップS601)。尚、このとき認証用画像と共に、取得部130は、所定の撮影装置の設置位置を取得するものとする。次に、認証制御部140は、顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置200へ送信して顔認証を要求する(ステップS602)。次に、認証制御部140は、認証装置200から顔認証の成否を受信する(ステップS603)。
顔認証に成功した場合(ステップS604Yes)、特定部160は、ステップS603において受信した顔認証の成否に含まれるユーザIDを抽出することによって、顔認証に成功したユーザIDを特定する(ステップS605)。次に、行動履歴抽出部150は、ステップS605において特定したユーザIDと対応付けられた行動履歴を履歴DB110aから取得することによって、当該ユーザの行動履歴を特定する(ステップS606)。
次に、行動履歴抽出部150は、ユーザの行動履歴から所定の抽出条件を満たす行動履歴を抽出する(ステップS607)。所定の抽出条件は、例えば、予め設定されており、時間帯を含んでいる。具体的には、所定の抽出条件は、例えばユーザが平日に訪れたお店の履歴である。ユーザは、平日すなわち勤務日には職場近辺の飲食店を訪れることが多く、休日には自宅近辺の飲食店を訪れることが多い。そこで、ユーザが平日に訪れたことを所定の抽出条件とすると、当該ユーザが職場近辺においてよく訪れる飲食店を抽出することができる。
次に、特定部160は、行動履歴抽出部150が抽出した行動履歴に基づいて推薦情報を特定する(ステップS608)。次に、出力部170は、特定部160が特定した推薦情報をネットワーク500を介して、顔認証端末300及びユーザ端末400等の所定の表示端末に送信する(ステップS609)。顔認証に失敗した場合(ステップS604No)、出力部170は、顔認証に失敗した旨をネットワーク500を介して所定の表示端末に送信する(ステップS610)。
次に、図12を参照して、推薦要求に応じて推薦情報を提示する場合について説明する。顔認証端末300及びユーザ端末400は、顔認証が成功した場合(ステップS404Yes)、推薦要求処理(ステップS701~703)を行うことができる。推薦要求処理(ステップS701~703)は、決済処理(ステップS405)及び履歴登録要求(ステップS406)と並行して行われてもよいし、履歴登録要求(ステップS406)の後に行われてもよい。図12では、顔認証端末300が推薦要求処理する場合について説明を行うが、ユーザ端末400も同様の手順で推薦要求処理を行うことができる。
まず、推薦要求部327は、推薦要求をネットワーク500を介して推薦制御装置100aに送信する(ステップS701)。推薦制御装置100aは、推薦要求を受信すると、ステップS605~609と同様の手順によって推薦情報を特定して返信する。推薦要求部327は、推薦制御装置100aから推薦情報を受信すると(ステップS702)、表示部350に当該推薦情報を表示する(ステップS703)。
ステップS701では、ユーザが顔認証端末300及びユーザ端末400等の操作端末を操作して推薦要求を推薦制御装置100aに送信する。操作端末は、推薦情報が送信される表示端末と同じ端末であってもよいし、異なる端末であってもよい。図13は、操作端末上に表示される推薦要求開始画面を例示する図である。図13では、ユーザ端末400を操作して推薦要求を行う場合を示している。図13に示すように、ユーザ端末400は、推薦要求(レコメンド)開始画面を表示することができる。
ユーザは、ユーザ端末400を操作して推薦要求を開始する際に、モードを選択することによって、抽出条件を手動で設定してもよい。例えば、図13に示すように、推薦要求開始画面に「休日モード」及び「平日モード」を選択するボタンが表示されている場合、ユーザは、いずれかのボタンを押して推薦要求を開始する。例えば、ユーザが「休日モード」ボタンを押した場合、ユーザ端末400は、所定の抽出条件を「ユーザが休日に行った行動履歴」とし、当該所定の抽出条件を含む推薦要求を推薦制御装置100aに送信する。このように、ユーザは、推薦要求時にモードを選択することによって、所定の抽出条件を手動で設定することができる。
図14は、表示端末上に表示される推薦情報を例示する図である。図14では、ユーザ端末400に推薦情報を表示する場合を示している。図14に示すように、ユーザ端末400は、ステップS609において受信した推薦情報を画面上に表示する。尚、例えば推薦情報に店舗情報が含まれる場合、図14に示した画面上には、店舗の詳細情報や地図情報、当該店舗までの経路情報等を表示することができる。また、ステップS609において、出力部170は、推薦情報に加えて、ユーザの行動履歴をユーザ端末400に送信してもよい。
図15は、行動履歴として表示端末上に表示されるマップを例示する図である。図15に示すように、ユーザ端末400は、ステップS609において受信したユーザの行動履歴をマップ上に表示してもよい。また、図16は、表示端末上に表示される行動履歴を例示する図である。図16に示すように、ユーザ端末400は、ステップS609において受信した行動履歴を時系列で表示してもよい。
図15及び図16では、第1のユーザの行動履歴のみを表示端末上に表示する場合を示しているが、表示端末上には、当該行動履歴に加えて、推薦情報を表示してもよい。推薦情報は、店舗情報、店舗の住所、及びユーザの現在位置から店舗までのルート案内等を含んでいてもよい。ルート案内は、ユーザの現在位置から店舗までの距離及び所要時間等を含んでいてもよい。また、表示端末上には、複数の推薦情報を表示してもよい。複数の推薦情報を表示する場合、各推薦情報の詳細及びルート案内等を同時に表示してもよい。ユーザは、各推薦情報の詳細及びルート案内等を検討し、推薦情報同士を比較することができる。
ユーザは、自らの行動履歴から特定の行動履歴を手動で除外してもよい。ユーザは、ユーザ端末400等の操作端末を操作することによって、特定の行動履歴を除外する。特定の行動履歴は、例えば、特定の文字列を含む決済情報である。図17は、表示端末上に表示される履歴除外条件設定画面を例示する図である。ユーザは、操作端末上に表示される履歴除外条件設定画面から特定の行動履歴の除外を指定することができる。図17に示すように、ユーザは、例えば、文字列「カレー」を入力し、文字列「カレー」を含む行動履歴の除外を指定することができる。操作端末は、ユーザから受け付けた特定の行動履歴を除外する指定を、ネットワーク500を介して推薦制御装置100aに送信する。行動履歴抽出部150は、当該指定を受信すると、指定された特定の行動履歴を除外する条件を所定の抽出条件に追加する。
また、履歴DB110aには、ユーザが登録を希望した行動履歴のみを登録してもよい。例えば、履歴DB110aには、決済時にユーザが登録を希望した決済履歴のみが登録されてもよい。図18は、決済時に操作端末上に表示される履歴登録画面を例示する図である。ユーザは、ユーザ端末等の操作端末を操作して、登録の希望を指定する。図18に示すように、決済時に当該決済履歴を登録するか否かをユーザに選択させる。
表1に示すように、ユーザは、平日にパスタの注文を2回行っている。つまり、当該ユーザは、平日にパスタを好んで食べていると考えられる。そこで、パスタに関する推薦情報として、パスタ屋のクーポン券をユーザに提示する。このように、ユーザの好みに合った推薦情報を提示することによって、推薦情報の利用率を高めることができる。
<実施形態3>
実施形態3は、上述した実施形態1の変形例である。実施形態1に係る推薦制御装置100は、履歴DB110aに登録された行動履歴に含まれる決済情報及び日時情報等に基づいて所定の抽出条件を満たす行動履歴を抽出していた。一方、実施形態3では、ユーザ自身が行動履歴を分類する。
実施形態3は、上述した実施形態1の変形例である。実施形態1に係る推薦制御装置100は、履歴DB110aに登録された行動履歴に含まれる決済情報及び日時情報等に基づいて所定の抽出条件を満たす行動履歴を抽出していた。一方、実施形態3では、ユーザ自身が行動履歴を分類する。
図19は、実施形態3に係る推薦制御装置700の構成を示すブロック図である。推薦制御装置700は、図3に示した推薦制御装置100aの構成に加えて、分類部180を備える。推薦制御装置700が備える各構成について、実施形態2と重複する説明は適宜省略する。
分類部180は、ユーザからの指定に基づいて行動履歴に含まれる所定の履歴を複数のグループのいずれかに分類する。複数のグループは、例えば、「平日」及び「休日」、「昼食」及び「夕食」、「一人で来店」、「同僚と来店」及び「家族と来店」等である。ユーザは、ユーザ端末等の操作端末から所定の履歴の分類を指定する。操作端末は、ネットワーク500を介して、当該分類の指定を推薦制御装置700に送信する。分類部180は、当該分類の指定を受信すると、指定内容に従って、当該所定の履歴を複数のグループのいずれかに分類する。
本実施形態において行動履歴抽出部150は、複数のグループのうち所定のグループに分類されていることを所定の抽出条件としてもよい。例えば、ユーザから所定のグループの指定を受け付けた場合、行動履歴抽出部150は、当該所定のグループに分類されていることを所定の抽出条件とする。
ユーザは、操作端末上に表示された決済履歴画面から各決済履歴の分類を行う。図20は、操作端末上に表示される履歴設定画面を例示する図である。図20に示すように、履歴設定画面には、例えば、各決済履歴と各決済履歴に対する処理を行うためのボタンが表示されている。各決済履歴に対する処理は、例えば、「分類」、「削除」及び「除外」である。ユーザは、各決済履歴に対して処理を行うためのボタンを選択することができる。尚、履歴設定画面には、各決済履歴のみを表示し、ユーザがいずれかの決済履歴を選択した場合に、当該決済履歴に対する処理を行うためのボタンを表示させてもよい。尚、図18に示した履歴登録画面において、ユーザの分類の希望を受け付けてもよい。
ユーザが除外ボタンを選択した場合、操作端末は、当該支払履歴を除外する指定をネットワーク500を介して推薦制御装置700に送信する。支払履歴を除外する指定を受信すると、行動履歴抽出部150は、当該支払履歴を除外する条件を所定の抽出条件に追加する。ユーザが削除ボタンを選択した場合、操作端末は、当該支払履歴を削除する指定をネットワーク500を介して推薦制御装置700に送信する。支払履歴を削除する指定を受信すると、履歴登録部(不図示)は、履歴記憶部(不図示)から当該支払履歴を削除する。
ユーザが分類ボタンを選択した場合、操作端末は、履歴分類画面を表示する。図21は、操作端末上に表示される履歴分類画面を例示する図である。履歴分類画面には、行動履歴を各グループに分類するためのボタンが表示されている。分類するためのボタンは、例えば、図21に示すように、「平日モード」及び「休日モード」である。ユーザは、行動履歴を各グループに分類するためのボタンを選択することができる。
ユーザが平日ボタンを選択した場合、操作端末は、当該行動履歴を平日グループに分類する指定をネットワーク500を介して推薦制御装置700に送信する。ユーザが休日ボタンを選択した場合、操作端末は、当該行動履歴を休日グループに分類する指定をネットワーク500を介して推薦制御装置700に送信する。行動履歴を分類する指定を受信すると、分類部180は、当該行動履歴を指定されたグループに分類する。
本実施形態に係る推薦制御装置700は、ユーザ自身が行動履歴のグループを分類することができるため、より精度良く行動履歴のノイズを除くことができる。さらに、本実施形態に係る推薦制御装置は、実施形態1及び2において説明した効果と同様の効果を奏することができる。
<実施形態4>
実施形態4は、上述した実施形態1~3の変形例である。実施形態1~3に係る推薦制御装置100,100a及び700は、外部の認証装置200を用いて顔認証を行っていた。一方、本実施形態に係る推薦制御装置800は、装置内部で顔認証を行う。
実施形態4は、上述した実施形態1~3の変形例である。実施形態1~3に係る推薦制御装置100,100a及び700は、外部の認証装置200を用いて顔認証を行っていた。一方、本実施形態に係る推薦制御装置800は、装置内部で顔認証を行う。
図22は、実施形態4に係る推薦制御装置800の構成を示すブロック図である。推薦制御装置800は、図1に示した推薦制御装置100の構成と比べて、認証制御部140が顔特徴抽出部140a及び顔認証部190に置き換わり、顔特徴DB191(不図示)が追加されたものである。尚、顔特徴DB191は、顔特徴情報記憶部の一例である。推薦制御装置800が備える各構成について、実施形態2と重複する説明は適宜省略する。図23は、実施形態4に係る推薦制御システム900の構成を示すブロック図である。推薦制御システム900は、認証装置200を備えていない点及び推薦制御装置800を備える点で推薦制御システム600と異なる。その他の構成については同様であるため、説明を適宜省略する。
顔特徴抽出部140aは、撮影画像から顔領域又は顔特徴情報を抽出する。顔認証部190は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。顔特徴DB191は、ユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。推薦制御装置800は、推薦制御装置100と同様に図2に示す流れで推薦情報の提示を制御する。但し、ステップS103において、顔特徴抽出部140aは、取得部130が取得した撮影画像から顔領域又は顔特徴情報を抽出し、顔認証部190は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。さらに、本実施形態に係る推薦制御装置は、実施形態1~3において説明した効果と同様の効果を奏することができる。
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
所定の表示端末に前記特定手段が特定した推薦情報を送信する出力部と、
を備える推薦制御装置。
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
所定の表示端末に前記特定手段が特定した推薦情報を送信する出力部と、
を備える推薦制御装置。
(付記A2)
さらに、
複数のユーザの行動履歴を記憶する履歴記憶部と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
を備え、
前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶部から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
付記A1に記載の推薦制御装置。
さらに、
複数のユーザの行動履歴を記憶する履歴記憶部と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
を備え、
前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶部から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
付記A1に記載の推薦制御装置。
(付記A3)
前記行動履歴は、前記ユーザにおける複数の決済履歴を含み、
前記所定の抽出条件は、特定の決済履歴を含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記特定の決済履歴を抽出する、
付記A1又はA2に記載の推薦制御装置。
前記行動履歴は、前記ユーザにおける複数の決済履歴を含み、
前記所定の抽出条件は、特定の決済履歴を含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記特定の決済履歴を抽出する、
付記A1又はA2に記載の推薦制御装置。
(付記A4)
前記所定の抽出条件は、決済が行われた所定の時間帯をさらに含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが前記所定の時間帯に決済を行った決済履歴を抽出する、
付記A3に記載の推薦制御装置。
前記所定の抽出条件は、決済が行われた所定の時間帯をさらに含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが前記所定の時間帯に決済を行った決済履歴を抽出する、
付記A3に記載の推薦制御装置。
(付記A5)
前記所定の抽出条件は、決済が行われた所定期間をさらに含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが前記所定期間内に決済を行った決済履歴を抽出する、
付記A3又はA4に記載の推薦制御装置。
前記所定の抽出条件は、決済が行われた所定期間をさらに含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが前記所定期間内に決済を行った決済履歴を抽出する、
付記A3又はA4に記載の推薦制御装置。
(付記A6)
前記所定の抽出条件は、所定期間内に基準回数以上決済が行われたことを条件としてさらに含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが所定期間内に前記基準回数以上行った決済履歴を抽出する、
付記A3~A5のいずれか一項に記載の推薦制御装置。
前記所定の抽出条件は、所定期間内に基準回数以上決済が行われたことを条件としてさらに含み、
前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが所定期間内に前記基準回数以上行った決済履歴を抽出する、
付記A3~A5のいずれか一項に記載の推薦制御装置。
(付記A7)
前記行動履歴抽出部は、
前記ユーザから特定の行動履歴を除外する指定を受け付けた場合、前記指定された特定の行動履歴を除外する条件を前記所定の抽出条件に追加する、
付記A1~A6のいずれか一項に記載の推薦制御装置。
前記行動履歴抽出部は、
前記ユーザから特定の行動履歴を除外する指定を受け付けた場合、前記指定された特定の行動履歴を除外する条件を前記所定の抽出条件に追加する、
付記A1~A6のいずれか一項に記載の推薦制御装置。
(付記A8)
前記ユーザからの指定に基づき、前記行動履歴に含まれる所定の履歴を複数のグループのいずれかに分類する分類部をさらに備え、
前記行動履歴抽出部は、前記ユーザから前記複数のグループのうち所定のグループの指定を受け付けた場合、当該所定のグループに分類されていることを前記所定の抽出条件とする、
付記A1~A7のいずれか一項に記載の推薦制御装置。
前記ユーザからの指定に基づき、前記行動履歴に含まれる所定の履歴を複数のグループのいずれかに分類する分類部をさらに備え、
前記行動履歴抽出部は、前記ユーザから前記複数のグループのうち所定のグループの指定を受け付けた場合、当該所定のグループに分類されていることを前記所定の抽出条件とする、
付記A1~A7のいずれか一項に記載の推薦制御装置。
(付記A9)
前記行動履歴は、前記ユーザにおける、決済履歴、入退履歴及び参加履歴のうち少なくとも1つを含む、
付記A1~A8のいずれか一項に記載の推薦制御装置。
前記行動履歴は、前記ユーザにおける、決済履歴、入退履歴及び参加履歴のうち少なくとも1つを含む、
付記A1~A8のいずれか一項に記載の推薦制御装置。
(付記B1)
ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
前記所定の撮影装置と通信可能な推薦制御装置と、
前記ユーザの顔特徴情報を記憶し、前記推薦制御装置と通信可能な認証装置と、を備え、
前記推薦制御装置は、
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、
を備える推薦制御システム。
ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
前記所定の撮影装置と通信可能な推薦制御装置と、
前記ユーザの顔特徴情報を記憶し、前記推薦制御装置と通信可能な認証装置と、を備え、
前記推薦制御装置は、
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、
を備える推薦制御システム。
(付記B2)
前記推薦制御装置は、さらに、
複数のユーザの行動履歴を記憶する履歴記憶部と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
を備え、
前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
付記B1に記載の推薦制御システム。
前記推薦制御装置は、さらに、
複数のユーザの行動履歴を記憶する履歴記憶部と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
を備え、
前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
付記B1に記載の推薦制御システム。
(付記C1)
コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
を備える推薦制御方法。
コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
を備える推薦制御方法。
(付記D1)
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
(付記E1)
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出する顔特徴抽出部と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、
を備える推薦制御装置。
所定の撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影画像から顔領域又は顔特徴情報を抽出する顔特徴抽出部と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、
を備える推薦制御装置。
(付記E2)
さらに、
複数のユーザの行動履歴を記憶する履歴記憶部と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録部と、
を備え、
前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶部から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
付記E1に記載の推薦制御装置。
さらに、
複数のユーザの行動履歴を記憶する履歴記憶部と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録部と、
を備え、
前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶部から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
付記E1に記載の推薦制御装置。
(付記F1)
コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
を備える推薦制御方法。
コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
を備える推薦制御方法。
(付記G1)
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
100、100a、700、800 推薦制御装置
600、900 推薦制御システム
110a 履歴DB
120 履歴登録部
130 取得部
140 認証制御部
140a 顔特徴抽出部
150 行動履歴抽出部
160 特定部
170 出力部
180 分類部
190 顔認証部
191 顔特徴DB
200 認証装置
210 顔特徴DB
220 顔検出部
230 特徴点抽出部
240 登録部
250 認証部
300(300X~300W) 顔認証端末
310 カメラ
320 制御部
322 撮影要求部
323 顔特徴情報登録要求部
324 認証要求部
325 決済処理部
326 履歴登録要求部
327 推薦要求部
330 記憶部
340 通信部
350 表示部
400 ユーザ端末
410 カメラ
420 制御部
422 撮影要求部
423 顔特徴情報登録要求部
424 認証要求部
425 決済処理部
426 履歴登録要求部
427 推薦要求部
430 記憶部
440 通信部
450 表示部
500 ネットワーク
600、900 推薦制御システム
110a 履歴DB
120 履歴登録部
130 取得部
140 認証制御部
140a 顔特徴抽出部
150 行動履歴抽出部
160 特定部
170 出力部
180 分類部
190 顔認証部
191 顔特徴DB
200 認証装置
210 顔特徴DB
220 顔検出部
230 特徴点抽出部
240 登録部
250 認証部
300(300X~300W) 顔認証端末
310 カメラ
320 制御部
322 撮影要求部
323 顔特徴情報登録要求部
324 認証要求部
325 決済処理部
326 履歴登録要求部
327 推薦要求部
330 記憶部
340 通信部
350 表示部
400 ユーザ端末
410 カメラ
420 制御部
422 撮影要求部
423 顔特徴情報登録要求部
424 認証要求部
425 決済処理部
426 履歴登録要求部
427 推薦要求部
430 記憶部
440 通信部
450 表示部
500 ネットワーク
Claims (17)
- 所定の撮影装置により撮影された撮影画像を取得する取得手段と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出手段と、
前記行動履歴抽出手段が抽出した行動履歴に基づいて推薦情報を特定する特定手段と、
所定の表示端末に前記特定手段が特定した推薦情報を送信する出力手段と、
を備える推薦制御装置。 - さらに、
複数のユーザの行動履歴を記憶する履歴記憶手段と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
を備え、
前記行動履歴抽出手段は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
請求項1に記載の推薦制御装置。 - 前記行動履歴は、前記ユーザにおける複数の決済履歴を含み、
前記所定の抽出条件は、特定の決済履歴を含み、
前記行動履歴抽出手段は、前記複数の決済履歴の中から前記特定の決済履歴を抽出する、
請求項1又は2に記載の推薦制御装置。 - 前記所定の抽出条件は、決済が行われた所定の時間帯をさらに含み、
前記行動履歴抽出手段は、前記複数の決済履歴の中から前記ユーザが前記所定の時間帯に決済を行った決済履歴を抽出する、
請求項3に記載の推薦制御装置。 - 前記所定の抽出条件は、決済が行われた所定期間をさらに含み、
前記行動履歴抽出手段は、前記複数の決済履歴の中から前記ユーザが前記所定期間内に決済を行った決済履歴を抽出する、
請求項3又は4に記載の推薦制御装置。 - 前記所定の抽出条件は、所定期間内に基準回数以上決済が行われたことを条件としてさらに含み、
前記行動履歴抽出手段は、前記複数の決済履歴の中から前記ユーザが所定期間内に前記基準回数以上行った決済履歴を抽出する、
請求項3~5のいずれか一項に記載の推薦制御装置。 - 前記行動履歴抽出手段は、
前記ユーザから特定の行動履歴を除外する指定を受け付けた場合、前記指定された特定の行動履歴を除外する条件を前記所定の抽出条件に追加する、
請求項1~6のいずれか一項に記載の推薦制御装置。 - 前記ユーザからの指定に基づき、前記行動履歴に含まれる所定の履歴を複数のグループのいずれかに分類する分類手段をさらに備え、
前記行動履歴抽出手段は、前記ユーザから前記複数のグループのうち所定のグループの指定を受け付けた場合、当該所定のグループに分類されていることを前記所定の抽出条件とする、
請求項1~7のいずれか一項に記載の推薦制御装置。 - 前記行動履歴は、前記ユーザにおける、決済履歴、入退履歴及び参加履歴のうち少なくとも1つを含む、
請求項1~8のいずれか一項に記載の推薦制御装置。 - ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
前記所定の撮影装置と通信可能な推薦制御装置と、
前記ユーザの顔特徴情報を記憶し、前記推薦制御装置と通信可能な認証装置と、を備え、
前記推薦制御装置は、
所定の撮影装置により撮影された撮影画像を取得する取得手段と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出手段と、
前記行動履歴抽出手段が抽出した行動履歴に基づいて推薦情報を特定する特定手段と、
所定の表示端末に前記特定手段が特定した推薦情報を送信する出力手段と、
を備える推薦制御システム。 - 前記推薦制御装置は、さらに、
複数のユーザの行動履歴を記憶する履歴記憶手段と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
を備え、
前記行動履歴抽出手段は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
請求項10に記載の推薦制御システム。 - コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
を備える推薦制御方法。 - 所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。 - 所定の撮影装置により撮影された撮影画像を取得する取得手段と、
前記撮影画像から顔領域又は顔特徴情報を抽出する顔特徴抽出手段と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証手段と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出手段と、
前記行動履歴抽出手段が抽出した行動履歴に基づいて推薦情報を特定する特定手段と、
所定の表示端末に前記特定手段が特定した推薦情報を送信する出力手段と、
を備える推薦制御装置。 - さらに、
複数のユーザの行動履歴を記憶する履歴記憶手段と、
ユーザIDと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
を備え、
前記行動履歴抽出手段は、前記顔認証に成功したユーザにおけるユーザIDと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
請求項14に記載の推薦制御装置。 - コンピュータが、
所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
を備える推薦制御方法。 - 所定の撮影装置により撮影された撮影画像を取得する工程と、
前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
所定の表示端末に前記特定された推薦情報を送信する工程と、
をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/802,013 US20230101205A1 (en) | 2020-03-18 | 2020-03-18 | Recommendation control device, system, method, and non-transitory computer-readable medium storing program therein |
JP2022507929A JP7400944B2 (ja) | 2020-03-18 | 2020-03-18 | 推薦制御装置、システム、方法及びプログラム |
PCT/JP2020/012101 WO2021186638A1 (ja) | 2020-03-18 | 2020-03-18 | 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/012101 WO2021186638A1 (ja) | 2020-03-18 | 2020-03-18 | 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021186638A1 true WO2021186638A1 (ja) | 2021-09-23 |
Family
ID=77771952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/012101 WO2021186638A1 (ja) | 2020-03-18 | 2020-03-18 | 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230101205A1 (ja) |
JP (1) | JP7400944B2 (ja) |
WO (1) | WO2021186638A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009133662A (ja) * | 2007-11-29 | 2009-06-18 | Nissan Motor Co Ltd | 情報提供装置及び情報提供方法 |
WO2013145394A1 (ja) * | 2012-03-30 | 2013-10-03 | 楽天株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体 |
WO2014147776A1 (ja) * | 2013-03-21 | 2014-09-25 | 日立コンシューマエレクトロニクス株式会社 | 商品提示サーバおよび商品提示方法 |
JP2018128797A (ja) * | 2017-02-07 | 2018-08-16 | 富士通株式会社 | 表示制御プログラム、表示制御装置及び表示制御方法 |
JP2018184196A (ja) * | 2017-04-26 | 2018-11-22 | パナソニックIpマネジメント株式会社 | 飲料吐出システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016194621A1 (ja) | 2015-06-01 | 2016-12-08 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2020
- 2020-03-18 JP JP2022507929A patent/JP7400944B2/ja active Active
- 2020-03-18 US US17/802,013 patent/US20230101205A1/en active Pending
- 2020-03-18 WO PCT/JP2020/012101 patent/WO2021186638A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009133662A (ja) * | 2007-11-29 | 2009-06-18 | Nissan Motor Co Ltd | 情報提供装置及び情報提供方法 |
WO2013145394A1 (ja) * | 2012-03-30 | 2013-10-03 | 楽天株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体 |
WO2014147776A1 (ja) * | 2013-03-21 | 2014-09-25 | 日立コンシューマエレクトロニクス株式会社 | 商品提示サーバおよび商品提示方法 |
JP2018128797A (ja) * | 2017-02-07 | 2018-08-16 | 富士通株式会社 | 表示制御プログラム、表示制御装置及び表示制御方法 |
JP2018184196A (ja) * | 2017-04-26 | 2018-11-22 | パナソニックIpマネジメント株式会社 | 飲料吐出システム |
Non-Patent Citations (2)
Title |
---|
IINO ET AL.: "Refinding Support by Using Clustered Web Browsing History and Annotation. IPSJ Interaction 2012", INFORMATION PROCESSING SOCIETY OF JAPAN, 17 March 2012 (2012-03-17), pages 545 - 550 * |
OKUSA, KOSUKE ET AL.: "A Study on Recommendation System Based on the Customer's Interest and Purchase Individuality. Bulletin of the Computational Statistics of Japan", JAPANESE SOCIETY OF COMPUTATIONAL STATISTICS, vol. 29, no. 1, 17 July 2016 (2016-07-17), pages 49 - 56 * |
Also Published As
Publication number | Publication date |
---|---|
US20230101205A1 (en) | 2023-03-30 |
JP7400944B2 (ja) | 2023-12-19 |
JPWO2021186638A1 (ja) | 2021-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9509840B2 (en) | Method and system for marking a phone number | |
JP4778532B2 (ja) | 顧客情報収集管理システム | |
WO2017022306A1 (ja) | 情報処理システム、及び情報処理方法 | |
WO2022003888A1 (ja) | 警告装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP2023153340A (ja) | 動線判定装置、動線判定システム、動線判定方法及びプログラム | |
US20240087312A1 (en) | Information processing device, system, method, and non-transitory computer-readable medium storing program | |
US20180033055A1 (en) | Image processing, classification, and trend analysis system and method for selfie-enabled product promotion | |
WO2021181557A1 (ja) | 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
WO2021186638A1 (ja) | 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
WO2021199114A1 (ja) | 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP7509196B2 (ja) | 広告評価装置、システム、方法及びプログラム | |
WO2022014062A1 (ja) | 価値譲渡装置、価値譲渡システム、価値譲渡方法及び非一時的なコンピュータ可読媒体 | |
JP7452622B2 (ja) | 提示制御装置、システム、方法及びプログラム | |
WO2021250817A1 (ja) | 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体 | |
JP7322961B2 (ja) | データ記録装置および方法 | |
JP2020009114A (ja) | 画像評価装置、システム、画像評価装置の制御方法およびプログラム | |
WO2021199179A1 (ja) | 座席案内装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
WO2015017538A1 (en) | Providing a summary presentation | |
US20230298025A1 (en) | Value transfer apparatus, value transfer system, value transfer method, and non-transitory computer-readable medium | |
US20230367535A1 (en) | Analysis apparatus, analysis system, analysis method, and non-transitory computer readable medium storing program | |
US20230111784A1 (en) | Recommendation device, system, method, and non-transitory computer-readable mediumstoring program | |
US20230222834A1 (en) | Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium | |
US20240037595A1 (en) | Information controlling apparatus, information controlling method, and computer-readable medium | |
WO2021186708A1 (ja) | 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
US20230084625A1 (en) | Photographing control device, system, method, and non-transitory computer-readable medium storing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20925946 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022507929 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20925946 Country of ref document: EP Kind code of ref document: A1 |