WO2021186638A1 - 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021186638A1
WO2021186638A1 PCT/JP2020/012101 JP2020012101W WO2021186638A1 WO 2021186638 A1 WO2021186638 A1 WO 2021186638A1 JP 2020012101 W JP2020012101 W JP 2020012101W WO 2021186638 A1 WO2021186638 A1 WO 2021186638A1
Authority
WO
WIPO (PCT)
Prior art keywords
history
action history
user
face
predetermined
Prior art date
Application number
PCT/JP2020/012101
Other languages
English (en)
French (fr)
Inventor
美樹 大谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/802,013 priority Critical patent/US20230101205A1/en
Priority to JP2022507929A priority patent/JP7400944B2/ja
Priority to PCT/JP2020/012101 priority patent/WO2021186638A1/ja
Publication of WO2021186638A1 publication Critical patent/WO2021186638A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present invention relates to a non-temporary computer-readable medium in which a recommendation control device, system, method and program are stored, and in particular, a recommendation control device, system, method and program for providing recommendation information to a user.
  • a recommendation control device, system, method and program for providing recommendation information to a user.
  • Patent Document 1 the facial images of one or more persons belonging to the group are acquired, and the feature amount necessary for estimating the attributes of the persons (for example, gender distinction and age) is acquired from the facial images. , A technique for estimating the attributes of each person is disclosed.
  • This disclosure is made to solve such a problem, and is a non-temporary storage of a recommendation control device, a system, a method, and a program for providing recommendation information according to an individual's taste.
  • the purpose is to provide a computer-readable medium.
  • the recommendation control device includes an acquisition unit that acquires a photographed image photographed by a predetermined photographing device, and an authentication control that extracts face region or face feature information from the photographed image and causes an authentication device to perform face recognition.
  • a unit and an output unit that transmits the recommendation information specified by the specific means to a predetermined display terminal are provided.
  • the recommendation control system stores a predetermined photographing device that captures an image including a user's face area, a recommendation control device that can communicate with the predetermined photographing device, and the user's face feature information, and describes the above.
  • the recommendation control device includes an authentication device capable of communicating with the recommendation control device, and the recommendation control device extracts a face area or face feature information from the acquisition unit that acquires a photographed image photographed by a predetermined photographing device and the photographed image.
  • An authentication control unit that causes the authentication device to perform face authentication, an action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face authentication, and an action history extraction unit that extracts the action history. It includes a specific unit that specifies recommendation information based on an action history, and an output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal.
  • a computer acquires a photographed image photographed by a predetermined photographing device, and extracts face region or face feature information from the photographed image and causes the authentication device to perform face authentication.
  • a process a process of extracting an action history satisfying a predetermined extraction condition from the action history of a user who succeeded in face authentication, a step of specifying recommendation information based on the extracted action history, and a predetermined display terminal. It comprises a step of transmitting the specified recommendation information.
  • the non-temporary computer-readable medium includes a step of acquiring a photographed image photographed by a predetermined photographing device and extracting face region or face feature information from the photographed image to perform face authentication on the authentication device.
  • the step of transmitting the specified recommendation information and the program for executing the specified recommendation information are recorded in the computer.
  • the recommendation control device includes an acquisition unit that acquires a photographed image captured by a predetermined imaging device, a face feature extraction unit that extracts face region or face feature information from the captured image, and the face region or the above.
  • a face recognition unit that performs face recognition based on face feature information
  • an action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition
  • an action history extraction unit that extracts the action history. It includes a specific unit that specifies recommendation information based on the action history, and an output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal.
  • the recommended control method includes a step of acquiring a captured image captured by a predetermined imaging device by a computer, a step of extracting face region or face feature information from the captured image, and the face region or the face.
  • a step of performing the process and a step of transmitting the specified recommendation information to a predetermined display terminal are provided.
  • the non-temporary computer-readable medium includes a step of acquiring a captured image captured by a predetermined imaging device, a step of extracting face region or facial feature information from the captured image, and the face region or the above.
  • a program for executing the specifying step and the step of transmitting the specified recommendation information to a predetermined display terminal is recorded.
  • FIG. It is a block diagram which shows the structure of the recommendation control device which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the flow of the recommendation control method which concerns on Embodiment 1.
  • It is a flowchart which shows the flow of face recognition processing It is a flowchart which shows the flow of the history registration process.
  • FIG. 1 is a block diagram showing a configuration of the recommendation control device 100 according to the first embodiment.
  • the recommendation control device 100 includes an acquisition unit 130, an authentication control unit 140, an action history extraction unit 150, a specific unit 160, and an output unit 170.
  • the recommendation control device 100 is connected to the network 500 (not shown).
  • the network 500 may be wired or wireless.
  • An authentication device 200 and a face recognition terminal 300 are connected to the network 500.
  • the acquisition unit 130 acquires a photographed image taken by a predetermined photographing device.
  • the captured image is an image captured by the user.
  • the predetermined photographing device is, for example, a camera included in the face recognition terminal 300 and a camera of a user terminal such as a smartphone owned by the user.
  • the authentication control unit 140 extracts face region or face feature information from the captured image and causes the authentication device 200 to perform face authentication.
  • the authentication device 200 stores the user ID and the facial feature information of the user in advance in association with each other.
  • the action history extraction unit 150 extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition.
  • the action history is the content of the action taken by the user.
  • the action history may include the date and time and place where the action was performed.
  • the action history includes, for example, a payment history in the user.
  • the predetermined extraction condition is a condition for extracting a predetermined action history from the user's action history.
  • the predetermined extraction condition includes, for example, a specific payment history. Specific examples of the predetermined extraction conditions include, but are not limited to, a time zone, a predetermined period, and the frequency of actions.
  • the identification unit 160 identifies the recommendation information recommended to the user based on the user ID of the user who succeeded in face authentication or the action history associated with the user ID included in the recommendation request.
  • the recommendation request is a request for presenting recommendation information.
  • the output unit 170 transmits the recommendation information specified by the specific unit 160 to a predetermined display terminal.
  • the predetermined display terminal is, for example, a face recognition terminal 300, a user terminal, a store terminal, or a signage on the street.
  • the user terminal is a communication terminal such as a smartphone owned by the user.
  • the store terminal is a terminal installed in each store. For example, when a user visits a store, a recommended product is displayed, or when a user leaves the store, "Why don't you go to XX next time?" Etc. are displayed.
  • the predetermined display terminal may be the above-mentioned predetermined photographing device or a different terminal.
  • the output unit 170 may transmit the recommendation information to the user terminal, or may transmit the recommendation information to the face recognition terminal 300 or the like.
  • the output unit 170 may send the recommendation information to the face recognition terminal 300, or may send the recommendation information to the user terminal or the like.
  • FIG. 2 is a flowchart showing the flow of the recommendation control method according to the first embodiment.
  • the acquisition unit 130 acquires a captured image captured by a predetermined imaging device (step S101).
  • the authentication control unit 140 extracts the face area or face feature information from the captured image acquired by the acquisition unit 130, and causes the authentication device 200 to perform face authentication (step S102).
  • the authentication device 200 collates the face area or face feature information received from the authentication control unit 140 with the face feature information registered in the authentication device 200, and determines the success or failure of the authentication based on the presence or absence of a match. Reply the result. It is assumed that the authentication device 200 stores the user ID and the facial feature information in association with each other. Then, when the face authentication is successful, the authentication device 200 includes the successful user ID in the determination result and returns.
  • the action history extraction unit 150 extracts an action history that satisfies a predetermined extraction condition (step S103).
  • the identification unit 160 identifies the recommendation information recommended to the user based on the user ID that has succeeded in face recognition or the action history associated with the user ID included in the recommendation request (step S104).
  • the output unit 170 transmits the recommendation information specified by the specific unit 160 to a predetermined display terminal (step S105).
  • the recommendation control method according to the present embodiment can provide recommendation information according to individual taste.
  • the recommendation control device 100 may include each configuration such as a history storage unit and a history registration unit in addition to the configuration shown in FIG.
  • the history storage unit stores the user's action history.
  • the action history is a history of the action contents performed when the user succeeds in face recognition, and is, for example, a purchase history of a product or the like, a facility entry / exit history, an event participation history, and the like.
  • the action history may include information on the time when the user has acted.
  • the history registration unit registers the user ID and the action history in the history storage unit in association with each other. Prior to step S101 shown in FIG. 2, the history registration unit registers the user ID and the action history in the history storage unit in association with each other.
  • the recommended control device 100 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the recommended control method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the functions of the history registration unit, the acquisition unit 130, the authentication control unit 140, the action history extraction unit 150, the specific unit 160, and the output unit 170.
  • the history registration unit, the acquisition unit 130, the authentication control unit 140, the action history extraction unit 150, the specific unit 160, and the output unit 170 may each be realized by dedicated hardware. Further, a part or all of each component of each device may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program. Further, as a processor, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • each component of the recommended control device 100 when a part or all of each component of the recommended control device 100 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged. It may be distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
  • the function of the recommendation control device 100 may be provided in the SaaS (Software as a Service) format.
  • FIG. 3 is a block diagram showing a configuration of the recommendation control system 600 according to the second embodiment.
  • the recommendation control system 600 includes at least a recommendation control device 100a and an authentication device 200, and further includes at least one of a face recognition terminal 300 and a user terminal 400.
  • Each of the recommendation control device 100a, the authentication device 200, the face recognition terminal 300 (300X, 300Y, 300Z and 300W) and the user terminal 400 are connected via the network 500.
  • the description that overlaps with the first embodiment will be omitted as appropriate.
  • the recommendation control device 100a includes a history DB (DataBase) 110a, a history registration unit 120, an acquisition unit 130, an authentication control unit 140, an action history extraction unit 150, a specific unit 160, and an output unit 170.
  • the recommendation control device 100a is an information processing device that accumulates action history, specifies and presents presentation information from captured images, and is, for example, a server device realized by a computer.
  • the history DB 110a is a database for accumulating the user's action history.
  • the history DB 110a stores the user ID and the action history of the user in association with each other.
  • the action history includes, for example, a user's payment history.
  • the history registration unit 120 receives a history registration request from the face authentication terminal 300 or the user terminal 400 via the network 500, and registers the user ID included in the history registration request and the action history in the history DB 110a in association with each other. do.
  • the acquisition unit 130 receives a face authentication request, a history registration request, and a recommendation request from the face authentication terminal 300 or the user terminal 400 via the network 500.
  • the acquisition unit 130 acquires an image captured by the camera 310 or 410 from the face recognition terminal 300 or the user terminal 400, installation position information of the camera 310 or 410 (hereinafter, simply referred to as "installation position"), and the like. do.
  • the authentication control unit 140 extracts face area or face feature information from the authentication image included in the face authentication request, and transmits the face area or face feature information to the authentication device 200 to perform face authentication. Further, the authentication control unit 140 receives the success / failure of face authentication from the authentication device 200, and returns the face authentication result to the requesting terminal. If the face authentication is successful, the user ID is included in the face authentication result.
  • the action history extraction unit 150 acquires the action history associated with the user ID that succeeded in face authentication or the user ID included in the recommendation request from the history DB 110a.
  • the action history extraction unit 150 extracts an action history satisfying a predetermined extraction condition from the action history acquired from the history DB 110a.
  • the action history extraction unit 150 can remove the noise of the action history by extracting the action history satisfying a predetermined extraction condition.
  • the predetermined extraction conditions may be included in the recommendation request, for example, or may be preset. Further, the predetermined extraction conditions may be manually changed by the user.
  • the predetermined extraction condition may be appropriately selected from, for example, a plurality of preset extraction conditions.
  • the predetermined extraction conditions may be selected based on the date and time when the face recognition was performed, the information contained in the captured image, and the like. Specifically, when the date and time when face recognition is successful is during the daytime on weekdays, it is conceivable to select an extraction condition for extracting the action history performed during the daytime on weekdays. In addition, when the user's family is shown in the captured image, it is conceivable to select an extraction condition for extracting the behavior history of the user who was acting with the family.
  • the predetermined extraction condition may further include the predetermined time zone in which the settlement was made.
  • the predetermined time zone is, for example, holidays, weekdays, lunch time, dinner time, and the like.
  • the action history extraction unit 150 extracts the payment history in which the user has made a payment in a predetermined time zone from the plurality of payment histories included in the action history.
  • the predetermined extraction condition may further include the predetermined period in which the settlement was made.
  • the predetermined period is, for example, after a specific date and time, before a specific date and time, a specific period, and the like.
  • the action history extraction unit 150 extracts the payment history in which the user has made a payment within a predetermined period from the plurality of payment histories included in the action history.
  • the predetermined extraction condition may further include the condition that the settlement is performed more than the standard number of times within the predetermined period. For example, it may be a condition that payment has been made three or more times within the last two months.
  • the action history extraction unit 150 extracts the payment history that the user has made more than the reference number of times within the predetermined period from the plurality of payment histories included in the action history.
  • the action history extraction unit 150 may acquire the action history of another person whose attributes and action history are similar to those of the user from the history DB 110a. In this case, the action history extraction unit 150 extracts the action history satisfying a predetermined extraction condition from the action history of the other person acquired from the history DB 110a.
  • the attributes are, for example, gender, age, family structure, etc., and may be friends on SNS (Social Networking Service).
  • Another person who has a similar action history is, for example, another person whose action history contains the same character string as a predetermined action included in the user's action history.
  • the identification unit 160 specifies the recommendation information based on the action history extracted by the action history extraction unit 150.
  • the recommendation information is information recommended to the user.
  • the recommendation information may be, for example, the action history itself extracted by the action history extraction unit 150.
  • the recommendation information may include, for example, one of the place and the content included in the extracted action history. Further, the recommendation information may be a discount coupon or the like of a place included in the extracted action history.
  • the output unit 170 transmits the presentation information specified by the specific unit 160 to a terminal that has succeeded in face recognition or a terminal that has made a presentation request via the network 500.
  • the output unit 170 may transmit the recommendation information to a terminal other than the terminal that has made the face authentication and the recommendation request. For example, when face recognition is performed from a store terminal, the output unit 170 may send the recommendation information to the store terminal, or send the recommendation information to a user terminal owned by a user who has succeeded in face recognition. May be good.
  • the authentication device 200 is a device that authenticates the user's face.
  • the authentication device 200 includes a face feature DB 210.
  • the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
  • the face feature DB 210 is an example of a face feature information storage unit.
  • the face recognition terminal 300 is a terminal that captures an image used for face recognition.
  • the face recognition terminal 300 is a terminal that transmits a captured image to the recommendation control device 100a and makes a face recognition request.
  • the face recognition terminal 300 is installed at each point X, Y, Z and W (hereinafter, referred to as "points X to W").
  • a face recognition terminal 300X is installed at the point X
  • a face recognition terminal 300Y is installed at the point Y
  • a face recognition terminal 300Z is installed at the point Z
  • a face recognition terminal 300W is installed at the point W.
  • the user terminal 400 is a terminal owned by the user.
  • the user terminal 400 is, for example, a communication terminal such as a smartphone, a tablet, or a PC.
  • the user uses the face authentication terminal 300 or the user terminal 400 to take an image including the user's face.
  • the face recognition terminal 300 or the user terminal 400 transmits the captured image to the recommendation control device 100a.
  • FIG. 4 is a block diagram showing the configuration of the authentication device 200.
  • the authentication device 200 includes a face feature DB 210, a face detection unit 220, a feature point extraction unit 230, a registration unit 240, and an authentication unit 250.
  • the face feature DB 210 is a face feature database that stores a user ID and the face feature information of the user in association with each other.
  • the face detection unit 220 detects the face region included in the captured image and outputs it to the feature point extraction unit 230.
  • the feature point extraction unit 230 extracts feature points from the face region detected by the face detection unit 220, and outputs face feature information to the registration unit 240.
  • the facial feature information is a set of extracted feature points.
  • the registration unit 240 newly issues a user ID when registering facial feature information.
  • the registration unit 240 registers the issued user ID and the face feature information extracted from the registered image in the face feature DB 210 in association with each other.
  • the authentication unit 250 collates the face feature information extracted from the face image with the face feature information in the face feature DB 210. If the face feature information matches, the authentication unit 250 determines that the face recognition was successful, and if the face feature information does not match, determines that the face recognition has failed.
  • the authentication unit 250 returns the success or failure of face authentication to the recommendation control device 100a.
  • the presence or absence of matching of facial feature information corresponds to the success or failure of authentication.
  • the authentication unit 250 identifies the user ID associated with the successful face feature information, and recommends and controls the authentication result including the specified user ID and the fact that the authentication is successful. Reply to the device 100a.
  • FIG. 7 is a flowchart showing the flow of the face feature information registration process.
  • FIG. 7 describes a case where the face authentication terminal 300 captures an image and registers the face feature information, but when the user terminal 400 captures an image, the face feature information can be registered by the same procedure. ..
  • the face recognition terminal 300 When registering the face feature information, the face recognition terminal 300 captures an image including the user's face as a registration image, and requests the authentication device 200 to register the face feature information via the network 500.
  • the facial feature information registration request includes a registration image.
  • the authentication device 200 acquires a registration image from the face recognition terminal 300 or the user terminal 400 via the network 500 (step S201).
  • the face detection unit 220 detects the face area included in the registration image (step S202), and outputs the detected face area to the feature point extraction unit 230.
  • the feature point extraction unit 230 extracts the feature points from the face region and outputs the face feature information to the registration unit 240 (step S203).
  • the registration unit 240 issues a user ID corresponding to the output face feature information, associates the user ID with the face feature information, and registers the user ID in the face feature DB 210 (step S204).
  • FIG. 8 is a flowchart showing the flow of face recognition processing.
  • FIG. 8 describes a case where the face authentication terminal 300 requests face authentication, but when the user terminal 400 requests face authentication, face authentication can be performed by the same procedure.
  • the face recognition terminal 300 When performing face recognition, the face recognition terminal 300 captures an image including the user's face as an authentication image, and makes a face recognition request to the recommendation control device 100a via the network 500.
  • the face recognition request includes an image for authentication.
  • the recommendation control device 100a transmits the face region or face feature information extracted from the authentication image to the authentication device 200.
  • the feature point extraction unit 230 acquires the face feature information by extracting the face feature information from the received face region or receiving the face feature information (step S301).
  • the authentication unit 250 collates the face feature information acquired by the acquisition unit 130 with the face feature DB 210 (step S302).
  • the authentication unit 250 identifies the user ID of the user whose face feature information matches (step S304), and recommends and controls that the face authentication is successful and the specified user ID. Reply to the device 100a (step S305).
  • the authentication unit 250 returns to the recommendation control device 100a that the face authentication has failed (step S306).
  • the face recognition terminal 300 includes a photographing device such as a camera, a display device, and a computer as a hardware configuration.
  • the face recognition terminal 300 is a device that makes a face feature information registration request and a face recognition request.
  • Examples of the face recognition terminal 300 include, but are not limited to, a terminal that performs payment by face recognition, a terminal that controls admission by face recognition, and digital signage that presents information according to face recognition.
  • FIG. 5 is a block diagram showing the configuration of the face authentication terminal 300.
  • the face recognition terminal 300 includes a camera 310, a control unit 320, a storage unit 330, a communication unit 340, and a display unit 350.
  • the camera 310 is a photographing device that captures an image.
  • the control unit 320 controls the hardware included in the face recognition terminal 300.
  • the control unit 320 includes a shooting request unit 322, a face feature information registration request unit 323, an authentication request unit 324, a payment processing unit 325, a history registration request unit 326, and a recommendation request unit 427.
  • the shooting request unit 322 makes a shooting request to the camera 310.
  • the camera 310 captures an image including the user's face.
  • the image taken by the camera 310 is used as a registration image and an authentication image.
  • the face feature information registration request unit 323 transmits the face feature information registration request to the authentication device 200 via the network 500.
  • the facial feature information registration request includes a registration image taken by the camera 310.
  • the authentication request unit 324 transmits the face authentication request to the recommendation control device 100a via the network 500.
  • the face recognition request includes an authentication image taken by the camera 310.
  • the authentication request unit 324 receives the success or failure of face authentication from the recommendation control device 100a, and displays the result on the display unit 350.
  • the payment processing unit 325 executes the payment processing when the face authentication is successful.
  • the control unit 320 may include a recording unit (not shown) in place of the settlement processing unit 325.
  • the recording unit records the user's entry / exit to the facility where the face recognition terminal 300 is installed when the face recognition is successful.
  • the history registration request unit 326 transmits the history registration request to the recommendation control device 100a via the network 500.
  • the history registration request includes a payment history that is the result of payment processing.
  • the payment history is information including, for example, the date and time of payment, the amount of money, the goods, the user ID, and the like.
  • the recommendation request unit 327 transmits the recommendation information request to the recommendation control device 100a via the network 500.
  • the storage unit 330 is a storage device that stores a program for realizing each function of the face authentication terminal 300.
  • the communication unit 340 is a communication interface with the network 500.
  • the display unit 350 is a display device that displays the face authentication result, presentation information, and the like to the user.
  • FIG. 6 is a block diagram showing the configuration of the user terminal 400.
  • the user terminal 400 includes a camera 410, a control unit 420, a storage unit 430, a communication unit 440, and a display unit 450.
  • the control unit 420 includes a shooting request unit 422, a face feature information registration request unit 423, an authentication request unit 424, a payment processing unit 425, a history registration request unit 426, and a recommendation request unit 427. Since the functions of each configuration included in the user terminal 400 are the same as those of each configuration included in the face authentication terminal 300, the description thereof will be omitted.
  • FIG. 9 is a flowchart showing the flow of the history registration process.
  • the user terminal 400 can also make the history registration request by the same procedure.
  • the shooting request unit 322 makes a shooting request to the camera 310, and the camera 310 shoots an authentication image including the user's face (step S401).
  • the authentication request unit 324 transmits a face recognition request to the authentication device 200 via the network 500 (step S402), and receives the success or failure from the authentication device 200 (step S403).
  • the payment processing unit 325 executes the payment processing (step S405), and the history registration requesting unit 326 registers the history for the recommendation control device 100a via the network 500. Make a request (step S406).
  • the history registration requesting unit 326 causes the display unit 350 to display that the face authentication has failed.
  • the face authentication terminal 300 and the user terminal 400 request the recommendation control device 100a to register the action history such as the entry / exit history and the participation history in the same manner as the payment history. Further, when the face authentication is successful, the user may stand in front of the signage provided with the camera before and after the payment and take a photographed image including the face.
  • FIG. 10 is a flowchart showing the flow of the history registration process.
  • the history registration request transmitted in step S405 described above includes an action history.
  • the recommendation control device 100a receives the history registration request (step S501)
  • the recommendation control device 100a registers the action history in the history DB 110a (step S502).
  • the recommendation control device 100a presents the recommendation information when the face authentication is successful or when the recommendation information request is received.
  • successful face recognition and presenting recommendation information include when a user stands in front of a signage equipped with a camera before and after payment and takes a photographed image including a face, and records of entry / exit history and participation history. There is a case where processing such as recording of the above is performed.
  • the recommendation information is displayed on the signage, the user terminal 400, and the like.
  • FIG. 11 is a flowchart showing the flow of the recommendation control process.
  • FIG. 12 is a flowchart showing the flow of recommendation request processing.
  • the acquisition unit 130 acquires an authentication image taken by a predetermined photographing device such as the face recognition terminal 300 and the user terminal 400 (step S601). At this time, the acquisition unit 130 shall acquire the installation position of the predetermined photographing device together with the authentication image.
  • the authentication control unit 140 extracts the face area or the face feature information, transmits the face area or the face feature information to the authentication device 200, and requests face authentication (step S602).
  • the authentication control unit 140 receives the success / failure of face authentication from the authentication device 200 (step S603).
  • the identification unit 160 identifies the user ID that has succeeded in face authentication by extracting the user ID included in the success or failure of the face authentication received in step S603 (step S605). ..
  • the action history extraction unit 150 identifies the action history of the user by acquiring the action history associated with the user ID specified in step S605 from the history DB 110a (step S606).
  • the action history extraction unit 150 extracts an action history satisfying a predetermined extraction condition from the user's action history (step S607).
  • the predetermined extraction conditions are set in advance, for example, and include a time zone.
  • the predetermined extraction condition is, for example, the history of shops visited by the user on weekdays. Users often visit restaurants near their workplace on weekdays, that is, on work days, and often visit restaurants near their homes on holidays. Therefore, if the user visits on a weekday as a predetermined extraction condition, it is possible to extract the restaurants that the user often visits in the vicinity of the workplace.
  • the identification unit 160 specifies the recommendation information based on the action history extracted by the action history extraction unit 150 (step S608).
  • the output unit 170 transmits the recommendation information specified by the specific unit 160 to predetermined display terminals such as the face authentication terminal 300 and the user terminal 400 via the network 500 (step S609).
  • the output unit 170 transmits to the predetermined display terminal via the network 500 that the face authentication has failed (step S610).
  • the recommendation request processing (steps S701 to 703) can be performed.
  • the recommendation request processing (steps S701 to 703) may be performed in parallel with the settlement processing (step S405) and the history registration request (step S406), or may be performed after the history registration request (step S406). ..
  • the face authentication terminal 300 processes the recommendation request will be described with reference to FIG. 12, the user terminal 400 can also perform the recommendation request processing in the same procedure.
  • the recommendation request unit 327 transmits the recommendation request to the recommendation control device 100a via the network 500 (step S701).
  • the recommendation control device 100a receives the recommendation request
  • the recommendation control device 100a identifies and returns the recommendation information by the same procedure as in steps S605 to 609.
  • the recommendation request unit 327 receives the recommendation information from the recommendation control device 100a (step S702)
  • the recommendation request unit 327 displays the recommendation information on the display unit 350 (step S703).
  • step S701 the user operates an operation terminal such as the face authentication terminal 300 and the user terminal 400 to transmit a recommendation request to the recommendation control device 100a.
  • the operation terminal may be the same terminal as the display terminal to which the recommendation information is transmitted, or may be a different terminal.
  • FIG. 13 is a diagram illustrating a recommendation request start screen displayed on the operation terminal.
  • FIG. 13 shows a case where the user terminal 400 is operated to make a recommendation request.
  • the user terminal 400 can display the recommendation request (recommendation) start screen.
  • the user may manually set the extraction conditions by selecting the mode when operating the user terminal 400 to start the recommendation request. For example, as shown in FIG. 13, when a button for selecting "holiday mode” and "weekday mode” is displayed on the recommendation request start screen, the user presses either button to start the recommendation request. For example, when the user presses the "holiday mode” button, the user terminal 400 sets a predetermined extraction condition as "history of actions performed by the user on a holiday" and makes a recommendation request including the predetermined extraction condition in the recommendation control device 100a. Send to. In this way, the user can manually set a predetermined extraction condition by selecting the mode at the time of requesting the recommendation.
  • FIG. 14 is a diagram illustrating recommendation information displayed on the display terminal.
  • FIG. 14 shows a case where the recommendation information is displayed on the user terminal 400.
  • the user terminal 400 displays the recommendation information received in step S609 on the screen.
  • the recommendation information includes store information, detailed store information, map information, route information to the store, and the like can be displayed on the screen shown in FIG.
  • the output unit 170 may transmit the user's action history to the user terminal 400 in addition to the recommendation information.
  • FIG. 15 is a diagram illustrating a map displayed on the display terminal as an action history. As shown in FIG. 15, the user terminal 400 may display the user's action history received in step S609 on the map. Further, FIG. 16 is a diagram illustrating an action history displayed on the display terminal. As shown in FIG. 16, the user terminal 400 may display the action history received in step S609 in chronological order.
  • the recommendation information may include store information, store address, route guidance from the user's current position to the store, and the like.
  • the route guidance may include the distance from the user's current position to the store, the required time, and the like.
  • a plurality of recommendation information may be displayed on the display terminal. When displaying a plurality of recommendation information, the details of each recommendation information, route guidance, and the like may be displayed at the same time. The user can examine the details of each recommendation information, route guidance, etc., and compare the recommendation information with each other.
  • the user may manually exclude a specific action history from his / her action history.
  • the user excludes a specific action history by operating an operation terminal such as the user terminal 400.
  • the specific action history is, for example, payment information including a specific character string.
  • FIG. 17 is a diagram illustrating a history exclusion condition setting screen displayed on the display terminal. The user can specify the exclusion of a specific action history from the history exclusion condition setting screen displayed on the operation terminal. As shown in FIG. 17, the user can, for example, input the character string “curry” and specify the exclusion of the action history including the character string “curry”.
  • the operation terminal transmits a designation for excluding a specific action history received from the user to the recommendation control device 100a via the network 500.
  • the action history extraction unit 150 adds a condition for excluding the designated specific action history to the predetermined extraction condition.
  • FIG. 18 is a diagram illustrating a history registration screen displayed on the operation terminal at the time of payment.
  • the user operates an operation terminal such as a user terminal to specify a desire for registration. As shown in FIG. 18, the user is allowed to select whether or not to register the payment history at the time of payment.
  • the predetermined extraction condition is "payment history made by the user on weekdays”.
  • the user's payment history is shown in Table 1 below.
  • the user places an order for pasta twice on weekdays. That is, it is considered that the user prefers to eat pasta on weekdays. Therefore, as the recommended information about pasta, the pasta shop coupon is presented to the user. In this way, by presenting the recommendation information that suits the user's preference, the utilization rate of the recommendation information can be increased.
  • the third embodiment is a modification of the first embodiment described above.
  • the recommendation control device 100 according to the first embodiment extracts an action history that satisfies a predetermined extraction condition based on payment information, date and time information, and the like included in the action history registered in the history DB 110a.
  • the user himself classifies the action history.
  • FIG. 19 is a block diagram showing the configuration of the recommended control device 700 according to the third embodiment.
  • the recommendation control device 700 includes a classification unit 180 in addition to the configuration of the recommendation control device 100a shown in FIG. The description of each configuration included in the recommended control device 700 that overlaps with the second embodiment will be omitted as appropriate.
  • the classification unit 180 classifies a predetermined history included in the action history into one of a plurality of groups based on the designation from the user.
  • the plurality of groups are, for example, "weekdays” and “holidays”, “lunch” and “dinner”, “visiting alone”, “visiting with colleagues” and “visiting with family”.
  • the user specifies a predetermined history classification from an operation terminal such as a user terminal.
  • the operation terminal transmits the designation of the classification to the recommendation control device 700 via the network 500.
  • the classification unit 180 classifies the predetermined history into one of a plurality of groups according to the designated contents.
  • the behavior history extraction unit 150 may be classified into a predetermined group among a plurality of groups as a predetermined extraction condition. For example, when the user accepts the designation of a predetermined group, the action history extraction unit 150 sets the predetermined extraction condition that it is classified into the predetermined group.
  • FIG. 20 is a diagram illustrating a history setting screen displayed on the operation terminal. As shown in FIG. 20, on the history setting screen, for example, each payment history and a button for processing each payment history are displayed. The processing for each payment history is, for example, "classification", “deletion”, and "exclusion". The user can select a button for processing each payment history. Note that the history setting screen may display only each payment history, and when the user selects any payment history, a button for processing the payment history may be displayed.
  • the history registration screen shown in FIG. 18 may accept the user's request for classification.
  • the operation terminal transmits a designation for excluding the payment history to the recommendation control device 700 via the network 500.
  • the action history extraction unit 150 adds the condition for excluding the payment history to the predetermined extraction condition.
  • the operating terminal transmits a designation to delete the payment history to the recommendation control device 700 via the network 500.
  • the history registration unit deletes the payment history from the history storage unit (not shown).
  • FIG. 21 is a diagram illustrating a history classification screen displayed on the operation terminal.
  • buttons for classifying the action history into each group are displayed.
  • the buttons for classification are, for example, "weekday mode” and "holiday mode” as shown in FIG. The user can select a button to classify the action history into each group.
  • the operation terminal transmits a designation for classifying the action history into a weekday group to the recommendation control device 700 via the network 500.
  • the operation terminal transmits a designation for classifying the action history into a holiday group to the recommendation control device 700 via the network 500.
  • the classification unit 180 classifies the action history into the designated group.
  • the recommendation control device 700 according to the present embodiment can classify the action history group by the user himself / herself, the noise of the action history can be removed more accurately. Further, the recommended control device according to the present embodiment can exert the same effect as the effect described in the first and second embodiments.
  • the fourth embodiment is a modification of the above-described first to third embodiments.
  • the recommendation control devices 100, 100a and 700 according to the first to third embodiments perform face recognition using an external authentication device 200.
  • the recommendation control device 800 according to the present embodiment performs face recognition inside the device.
  • FIG. 22 is a block diagram showing the configuration of the recommendation control device 800 according to the fourth embodiment.
  • the authentication control unit 140 is replaced with the face feature extraction unit 140a and the face recognition unit 190, and the face feature DB 191 (not shown) is added, as compared with the configuration of the recommendation control device 100 shown in FIG. It is a thing.
  • the face feature DB 191 is an example of a face feature information storage unit.
  • the description of each configuration included in the recommended control device 800 that overlaps with the second embodiment will be omitted as appropriate.
  • FIG. 23 is a block diagram showing the configuration of the recommendation control system 900 according to the fourth embodiment.
  • the recommendation control system 900 is different from the recommendation control system 600 in that the authentication device 200 is not provided and the recommendation control device 800 is provided. Since the other configurations are the same, the description thereof will be omitted as appropriate.
  • the face feature extraction unit 140a extracts face region or face feature information from the captured image.
  • the face recognition unit 190 performs face recognition based on the extracted face area or face feature information.
  • the face feature DB 191 is a face feature database that stores a user ID and the face feature information of the user in association with each other. Similar to the recommendation control device 100, the recommendation control device 800 controls the presentation of recommendation information in the flow shown in FIG. However, in step S103, the face feature extraction unit 140a extracts the face area or face feature information from the captured image acquired by the acquisition unit 130, and the face recognition unit 190 is based on the extracted face area or face feature information. Perform face recognition. Further, the recommended control device according to the present embodiment can exert the same effect as the effect described in the first to third embodiments.
  • the description is made as a hardware configuration, but the present invention is not limited to this.
  • the present disclosure can also be realized by causing the CPU to execute a computer program.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, DVD (Digital Versatile Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • An acquisition unit that acquires captured images taken by a predetermined imaging device, and An authentication control unit that extracts face area or face feature information from the captured image and causes an authentication device to perform face authentication.
  • An action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and an action history extraction unit.
  • a specific unit that specifies recommended information based on the action history extracted by the action history extraction unit, and a specific unit.
  • An output unit that transmits the recommendation information specified by the specific means to a predetermined display terminal, and Recommended control device equipped with.
  • a history storage unit that stores the behavior history of multiple users
  • a history registration unit that associates a user ID with an action history and registers it in the history storage unit.
  • the action history extraction unit acquires an action history associated with a user ID of a user who has succeeded in face authentication from the history storage unit, and extracts an action history satisfying a predetermined extraction condition from the action history.
  • the recommended control device according to Appendix A1.
  • the action history includes a plurality of payment histories in the user.
  • the predetermined extraction condition includes a specific payment history and includes.
  • the action history extraction unit extracts the specific payment history from the plurality of payment histories.
  • the recommended control device according to Appendix A1 or A2.
  • the predetermined extraction condition further includes a predetermined time zone in which the settlement was made.
  • the action history extraction unit extracts the payment history in which the user makes a payment in the predetermined time zone from the plurality of payment histories.
  • the predetermined extraction condition further includes a predetermined period in which the settlement was made.
  • the action history extraction unit extracts the payment history in which the user has made a payment within the predetermined period from the plurality of payment histories.
  • the recommended control device according to Appendix A3 or A4.
  • the predetermined extraction condition further includes the condition that the settlement is performed more than the standard number of times within the predetermined period.
  • the action history extraction unit extracts the payment history that the user has made more than the reference number of times within a predetermined period from the plurality of payment histories.
  • the recommended control device according to any one of Supplementary A3 to A5.
  • Appendix A8 Further provided with a classification unit that classifies a predetermined history included in the action history into any of a plurality of groups based on the designation from the user.
  • the predetermined extraction condition is that the action history extraction unit is classified into the predetermined group.
  • the recommended control device according to any one of Supplementary A1 to A7.
  • the action history includes at least one of a payment history, an entry / exit history, and a participation history of the user.
  • the recommended control device according to any one of Supplementary A1 to A8.
  • a predetermined imaging device that captures an image including the user's face area, and A recommended control device capable of communicating with the predetermined imaging device
  • An authentication device that stores the user's facial feature information and can communicate with the recommended control device
  • the recommended control device is An acquisition unit that acquires captured images taken by a predetermined imaging device, and An authentication control unit that extracts face area or face feature information from the captured image and causes an authentication device to perform face authentication.
  • An action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and an action history extraction unit.
  • a specific unit that specifies recommended information based on the action history extracted by the action history extraction unit, and a specific unit.
  • An output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal, and an output unit. Recommended control system with.
  • the recommended control device further A history storage unit that stores the behavior history of multiple users, A history registration unit that associates a user ID with an action history and registers it in the history storage unit.
  • the action history extraction unit acquires an action history associated with a user ID of a user who has succeeded in face authentication from the history storage means, and extracts an action history satisfying a predetermined extraction condition from the action history.
  • the recommended control system according to Appendix B1.
  • (Appendix C1) The computer The process of acquiring a photographed image taken by a predetermined photographing device, and A process of extracting face area or face feature information from the captured image and causing an authentication device to perform face authentication.
  • Appendix D1 The process of acquiring a photographed image taken by a predetermined photographing device, and A process of extracting face area or face feature information from the captured image and causing an authentication device to perform face authentication.
  • An acquisition unit that acquires captured images taken by a predetermined imaging device, and A face feature extraction unit that extracts face region or face feature information from the captured image, A face recognition unit that performs face recognition based on the face area or the face feature information, An action history extraction unit that extracts an action history that satisfies a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and an action history extraction unit.
  • a specific unit that specifies recommended information based on the action history extracted by the action history extraction unit, and a specific unit.
  • An output unit that transmits the recommendation information specified by the specific unit to a predetermined display terminal, and an output unit. Recommended control device equipped with.
  • a history storage unit that stores the behavior history of multiple users
  • a history registration unit that associates a user ID with an action history and registers it in the history storage means.
  • the action history extraction unit acquires an action history associated with a user ID of a user who has succeeded in face authentication from the history storage unit, and extracts an action history satisfying a predetermined extraction condition from the action history.
  • the recommended control device according to Appendix E1.
  • Appendix F1 The computer The process of acquiring a photographed image taken by a predetermined photographing device, and A step of extracting face region or face feature information from the captured image, and A step of performing face recognition based on the face region or the face feature information, and A process of extracting an action history satisfying a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and The process of identifying recommendation information based on the extracted behavior history, The process of transmitting the specified recommendation information to a predetermined display terminal, and Recommended control method including.
  • Appendix G1 The process of acquiring a photographed image taken by a predetermined photographing device, and A step of extracting face region or face feature information from the captured image, and A step of performing face recognition based on the face region or the face feature information, and A process of extracting an action history satisfying a predetermined extraction condition from the action history of a user who has succeeded in face recognition, and The process of identifying recommendation information based on the extracted behavior history, The process of transmitting the specified recommendation information to a predetermined display terminal, and A non-transitory computer-readable medium containing a recommendation control program that causes a computer to execute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

個人の嗜好に沿った推薦情報を提供するための推薦制御装置を提供する。推薦制御装置（１００）は、所定の撮影装置により撮影された撮影画像を取得する取得部（１３０）と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置（２００）に顔認証を行わせる認証制御部（１４０）と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部（１５０）と、行動履歴抽出部（１５０）が抽出した行動履歴に基づいて推薦情報を特定する特定部（１６０）と、所定の表示端末に特定部（１６０）が特定した推薦情報を送信する出力部（１７０）と、を備える。

Description

推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、ユーザに対して推薦情報を提供するための推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　特許文献１には、グループに属する１または２人以上の人物の顔画像を取得し、この顔画像から人物の属性（例えば男女の区別や年代）を推定するのに必要な特徴量を取得し、人物毎の属性を推定する技術が開示されている。
特開２００４－２２７１５８号公報
　特許文献１に開示された技術のように、個人の行動履歴の全てを用いて推薦情報を生成すると、推薦精度が低下する場合があるという問題点がある。その理由は、行動履歴にはノイズや時間帯によって状況が異なる場合があるためである。
　本開示は、このような問題点を解決するためになされたものであり、個人の嗜好に沿った推薦情報を提供するための推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示に係る推薦制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、所定の表示端末に前記特定手段が特定した推薦情報を送信する出力部と、を備える。
　本開示に係る推薦制御システムは、ユーザの顔領域を含む画像を撮影する所定の撮影装置と、前記所定の撮影装置と通信可能な推薦制御装置と、前記ユーザの顔特徴情報を記憶し、前記推薦制御装置と通信可能な認証装置と、を備え、前記推薦制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、を備える。
　本開示に係る推薦制御方法は、コンピュータが、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を備える。
　本開示に係る非一時的なコンピュータ可読媒体は、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を実行させるプログラムが記録される。
　本開示に係る推薦制御装置は、所定の撮影装置により撮影された撮影画像を取得する取得部と、前記撮影画像から顔領域又は顔特徴情報を抽出する顔特徴抽出部と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、を備える。
　本開示に係る推薦制御方法は、コンピュータが、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を備える。
　本開示に係る非一時的なコンピュータ可読媒体は、所定の撮影装置により撮影された撮影画像を取得する工程と、前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、前記抽出された行動履歴に基づいて推薦情報を特定する工程と、所定の表示端末に前記特定された推薦情報を送信する工程と、を実行させるプログラムが記録される。
　本開示により、個人の嗜好に沿った推薦情報を提供するための推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態１に係る推薦制御装置の構成を示すブロック図である。 実施形態１に係る推薦制御方法の流れを示すフローチャートである。 実施形態２に係る推薦制御システムの構成を示すブロック図である。 認証装置の構成を示すブロック図である。 顔認証端末の構成を示すブロック図である。 ユーザ端末の構成を示すブロック図である。 顔特徴情報登録処理の流れを示すフローチャートである。 顔認証処理の流れを示すフローチャートである。 履歴登録処理の流れを示すフローチャートである。 履歴登録処理の流れを示すフローチャートである。 推薦制御処理の流れを示すフローチャートである。 推薦要求処理の流れを示すフローチャートである。 操作端末上に表示される推薦要求開始画面を例示する図である。 表示端末上に表示される推薦情報画面を例示する図である。 表示端末上に表示されるマップを例示する図である。 表示端末上に表示される行動履歴を例示する図である。 表示端末上に表示される履歴除外条件設定画面を例示する図である。 決済時に操作端末上に表示される履歴登録画面を例示する図である。 実施形態３に係る推薦制御装置の構成を示すブロック図である。 操作端末上に表示される履歴設定画面を例示する図である。 操作端末上に表示される履歴分類画面を例示する図である。 実施形態４に係る推薦制御装置の構成を示すブロック図である。 実施形態４に係る推薦制御システムの構成を示すブロック図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施形態１＞
　図１は、実施形態１に係る推薦制御装置１００の構成を示すブロック図である。推薦制御装置１００は、取得部１３０、認証制御部１４０、行動履歴抽出部１５０、特定部１６０及び出力部１７０を備える。推薦制御装置１００は、ネットワーク５００（不図示）に接続される。ネットワーク５００は、有線であっても無線であってもよい。ネットワーク５００には、図示しない認証装置２００及び顔認証端末３００が接続される。
　取得部１３０は、所定の撮影装置により撮影された撮影画像を取得する。撮影画像は、ユーザが撮影された画像である。所定の撮影装置は、例えば、顔認証端末３００が備えるカメラ、及びユーザが所持するスマートフォン等のユーザ端末のカメラである。認証制御部１４０は、撮影画像から顔領域又は顔特徴情報を抽出して認証装置２００に顔認証を行わせる。認証装置２００は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて予め記憶している。
　行動履歴抽出部１５０は、顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する。行動履歴は、ユーザが行った行動の内容である。行動履歴は、当該行動が行われた日時及び場所等を含んでいてもよい。行動履歴は、例えば、ユーザにおける決済履歴を含む。所定の抽出条件は、ユーザの行動履歴から所定の行動履歴を抽出するための条件である。所定の抽出条件は、例えば、特定の決済履歴を含む。所定の抽出条件は、具体的には、時間帯、所定期間、及び行動の頻度等が挙げられるが、これらに限定されない。
　特定部１６０は、顔認証に成功したユーザにおけるユーザＩＤ又は推薦要求に含まれるユーザＩＤと対応付けられた行動履歴に基づいて、ユーザに推薦する推薦情報を特定する。推薦要求は、推薦情報の提示要求である。出力部１７０は、所定の表示端末に特定部１６０が特定した推薦情報を送信する。所定の表示端末は、例えば、顔認証端末３００、ユーザ端末、店舗端末又は街頭のサイネージである。ユーザ端末は、ユーザが所持するスマートフォン等の通信端末である。店舗端末は、各店舗に設置される端末であり、例えば、ユーザが来店した際に、おすすめ商品を表示したり、ユーザが店舗を出る際に「次は〇〇へ行くのはいかがですか」等と表示したりする。
　所定の表示端末は、上述の所定の撮影装置であってもよいし、異なる端末であってもよい。例えば、ユーザ端末で撮影画像を撮影した場合、出力部１７０は、当該ユーザ端末に推薦情報を送信してもよいし、顔認証端末３００等に推薦情報を送信してもよい。顔認証端末３００で撮影画像を撮影した場合、出力部１７０は、当該顔認証端末３００に推薦情報を送信してもよいし、ユーザ端末等に推薦情報を送信してもよい。
　図２は、実施形態１に係る推薦制御方法の流れを示すフローチャートである。まず、取得部１３０は、所定の撮影装置により撮影された撮影画像を取得する（ステップＳ１０１）。次に、認証制御部１４０は、取得部１３０が取得した撮影画像から顔領域又は顔特徴情報を抽出して認証装置２００に顔認証を行わせる（ステップＳ１０２）。認証装置２００は、認証制御部１４０から受け取った顔領域又は顔特徴情報と、認証装置２００内に登録されている顔特徴情報と、を照合し、一致の有無により認証の成否を判定し、判定結果を返信する。尚、認証装置２００は、ユーザＩＤと顔特徴情報とを対応付けて記憶しているものとする。そして、認証装置２００は、顔認証に成功した場合、成功したユーザＩＤを判定結果に含めて返信する。
　次に、行動履歴抽出部１５０は、所定の抽出条件を満たす行動履歴を抽出する（ステップＳ１０３）。次に、特定部１６０は、顔認証に成功したユーザＩＤ又は推薦要求に含まれるユーザＩＤと対応付けられた行動履歴に基づいて、ユーザに推薦する推薦情報を特定する（ステップＳ１０４）。次に、出力部１７０は、所定の表示端末に特定部１６０が特定した推薦情報を送信する（ステップＳ１０５）。このように、本実施形態に係る推薦制御方法は、個人の嗜好に沿った推薦情報を提供することができる。
　推薦制御装置１００は、図１に示した構成に加えて、履歴記憶部及び履歴登録部等の各構成を備えていてもよい。
　履歴記憶部は、ユーザの行動履歴を記憶する。行動履歴は、ユーザが顔認証に成功した時に行った行動内容の履歴であり、例えば、商品等の購入履歴、施設の入退履歴、イベントの参加履歴等である。行動履歴は、ユーザが行動した時刻の情報を含んでいてもよい。履歴登録部は、ユーザＩＤと行動履歴とを対応付けて履歴記憶部に登録する。履歴登録部は、図２に示すステップＳ１０１に先んじて、ユーザＩＤと行動履歴とを対応付けて履歴記憶部に登録する。
　尚、推薦制御装置１００は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る推薦制御方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、履歴登録部、取得部１３０、認証制御部１４０、行動履歴抽出部１５０、特定部１６０及び出力部１７０の機能を実現する。
　または、履歴登録部、取得部１３０、認証制御部１４０、行動履歴抽出部１５０、特定部１６０及び出力部１７０は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
　また、推薦制御装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、推薦制御装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
＜実施形態２＞
　実施形態２は、上述した実施形態１の具体例である。図３は、実施形態２に係る推薦制御システム６００の構成を示すブロック図である。推薦制御システム６００は、少なくとも、推薦制御装置１００ａ及び認証装置２００を備え、さらに顔認証端末３００及びユーザ端末４００のうち少なくとも一方を備える。推薦制御装置１００ａ、認証装置２００、顔認証端末３００（３００Ｘ、３００Ｙ、３００Ｚ及び３００Ｗ）及びユーザ端末４００のそれぞれは、ネットワーク５００を介して接続されている。なお、実施形態１と重複する説明については適宜省略する。
　推薦制御装置１００ａは、履歴ＤＢ（DataBase）１１０ａ、履歴登録部１２０、取得部１３０、認証制御部１４０、行動履歴抽出部１５０、特定部１６０及び出力部１７０を備える。推薦制御装置１００ａは、行動履歴の蓄積、撮影画像からの提示情報の特定及び提示を行う情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。
　履歴ＤＢ１１０ａは、ユーザの行動履歴を蓄積するためのデータベースである。履歴ＤＢ１１０ａは、ユーザＩＤと、当該ユーザの行動履歴と、を対応付けて記憶している。行動履歴は、例えば、ユーザの決済履歴を含む。履歴登録部１２０は、顔認証端末３００又はユーザ端末４００からネットワーク５００を介して履歴登録要求を受信し、当該履歴登録要求に含まれるユーザＩＤと、行動履歴と、を対応付けて履歴ＤＢ１１０ａに登録する。
　取得部１３０は、顔認証端末３００又はユーザ端末４００からネットワーク５００を介して、顔認証要求、履歴登録要求及び推薦要求を受信する。言い換えると、取得部１３０は、顔認証端末３００又はユーザ端末４００からカメラ３１０又は４１０による撮影画像、及び、カメラ３１０又は４１０の設置位置情報（以下、単に「設置位置」と呼ぶ。）等を取得する。
　認証制御部１４０は、顔認証要求に含まれる認証用画像から顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置２００へ送信して顔認証を行わせる。また、認証制御部１４０は、認証装置２００から顔認証の成否を受信し、顔認証結果を要求元の端末へ返信する。尚、顔認証に成功した場合、顔認証結果には、ユーザＩＤが含まれる。
　行動履歴抽出部１５０は、顔認証に成功したユーザＩＤ又は推薦要求に含まれるユーザＩＤと対応付けられた行動履歴を履歴ＤＢ１１０ａから取得する。行動履歴抽出部１５０は、履歴ＤＢ１１０ａから取得した行動履歴の中から、所定の抽出条件を満たす行動履歴を抽出する。行動履歴抽出部１５０が所定の抽出条件を満たす行動履歴を抽出することによって、行動履歴のノイズを除くことができる。尚、所定の抽出条件は、例えば推薦要求に含まれていてもよく、予め設定されたものでもよい。また、所定の抽出条件は、ユーザが手動で変更可能であってもよい。
　所定の抽出条件は、例えば予め設定された複数の抽出条件の中から、適宜選択されてもよい。例えば、所定の抽出条件は、顔認証が行われた日時又は撮影画像に含まれる情報等に基づいて選択されてもよい。具体的には、顔認証に成功した日時が平日の昼間である場合、平日昼間に行われた行動履歴を抽出する抽出条件を選択すること等が考えられる。また、撮影画像にユーザの家族が写っている場合、家族と共に行動していた行動履歴を抽出する抽出条件を選択すること等が考えられる。
　行動履歴が決済履歴を含む場合、所定の抽出条件は、決済が行われた所定の時間帯をさらに含んでいてもよい。所定の時間帯は、例えば、休日、平日、昼食時及び夕食時等である。この場合、行動履歴抽出部１５０は、行動履歴に含まれる複数の決済履歴の中から当該ユーザが所定の時間帯に決済を行った決済履歴を抽出する。
　行動履歴が決済履歴を含む場合、所定の抽出条件は、決済が行われた所定期間をさらに含んでいてもよい。所定期間は、例えば、特定の日時よりも後、特定の日時よりも前、及び特定の期間等である。この場合、行動履歴抽出部１５０は、行動履歴に含まれる複数の決済履歴の中から当該ユーザが所定期間内に決済を行った決済履歴を抽出する。
　行動履歴が決済履歴を含む場合、所定の抽出条件は、所定期間内に基準回数以上決済が行われたことを条件としてさらに含んでいてもよい。例えば、直近２か月以内に３回以上決済が行われたことを条件としてもよい。この場合、行動履歴抽出部１５０は、行動履歴に含まれる複数の決済履歴の中から当該ユーザが所定期間内に基準回数以上行った決済履歴を抽出する。
　また、行動履歴抽出部１５０は、ユーザと属性及び行動履歴のうち少なくとも一方が類似する他人の行動履歴を履歴ＤＢ１１０ａから取得してもよい。この場合、行動履歴抽出部１５０は、履歴ＤＢ１１０ａから取得した当該他人の行動履歴の中から、所定の抽出条件を満たす行動履歴を抽出する。属性は、例えば、性別、年代、家族構成等であり、ＳＮＳ（Social Networking Service）上の友人等であってもよい。行動履歴が類似する他人は、例えば、ユーザの行動履歴に含まれる所定の行動と同じ文字列を行動履歴に含んでいる他人である。
　特定部１６０は、行動履歴抽出部１５０が抽出した行動履歴に基づいて推薦情報を特定する。推薦情報は、ユーザに対して推薦する情報である。推薦情報は、例えば、行動履歴抽出部１５０が抽出した行動履歴そのものであってもよい。推薦情報は、例えば抽出された行動履歴が含む場所及び内容のうちいずれか一方を含むものであってもよい。また、推薦情報は、抽出された行動履歴に含まれる場所の割引クーポン等であってもよい。出力部１７０は、特定部１６０が特定した提示情報をネットワーク５００を介して顔認証に成功した端末又は提示要求を行った端末に送信する。出力部１７０は、顔認証及び推薦要求を行った端末以外の端末に当該推薦情報を送信してもよい。例えば、店舗端末から顔認証を行った場合に、出力部１７０は、当該店舗端末に推薦情報を送信してもよいし、顔認証に成功したユーザが所有するユーザ端末に推薦情報を送信してもよい。
　認証装置２００は、ユーザの顔認証を行う装置である。認証装置２００は、顔特徴ＤＢ２１０を備える。顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。尚、顔特徴ＤＢ２１０は、顔特徴情報記憶部の一例である。顔認証端末３００は、顔認証に使用する画像を撮影する端末である。顔認証端末３００は、撮影画像を推薦制御装置１００ａに送信し、顔認証要求を行う端末である。顔認証端末３００は、各地点Ｘ、Ｙ、Ｚ及びＷ（以下、「地点Ｘ～Ｗ」と称す。）に設置されている。具体的には、地点Ｘには顔認証端末３００Ｘ、地点Ｙには顔認証端末３００Ｙ、地点Ｚには顔認証端末３００Ｚ、地点Ｗには顔認証端末３００Ｗが設置されている。ユーザは、各地点Ｘ～Ｗを訪問する際に、設置された顔認証端末３００Ｘ～３００Ｗのカメラに対して顔を向けて撮影を行い、当該地点における商品購入等を行う。
　ユーザ端末４００は、ユーザが所持する端末である。ユーザ端末４００は、例えば、スマートフォン、タブレット、ＰＣ等の通信端末である。ユーザは、顔認証端末３００又はユーザ端末４００を利用してユーザの顔が含まれる画像を撮影する。顔認証端末３００又はユーザ端末４００は、撮影画像を推薦制御装置１００ａに送信する。
　次に、図４を参照して、認証装置２００の構成について詳細に説明する。図４は、認証装置２００の構成を示すブロック図である。認証装置２００は、顔特徴ＤＢ２１０、顔検出部２２０、特徴点抽出部２３０、登録部２４０及び認証部２５０を備える。
　顔特徴ＤＢ２１０は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。顔検出部２２０は、撮影画像が含む顔領域を検出し、特徴点抽出部２３０に出力する。特徴点抽出部２３０は、顔検出部２２０が検出した顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する。顔特徴情報は、抽出した特徴点の集合である。
　登録部２４０は、顔特徴情報の登録に際して、ユーザＩＤを新規に発行する。登録部２４０は、発行したユーザＩＤと、登録画像から抽出した顔特徴情報と、を対応付けて顔特徴ＤＢ２１０に登録する。認証部２５０は、顔画像から抽出された顔特徴情報と、顔特徴ＤＢ２１０内の顔特徴情報と、の照合を行う。認証部２５０は、顔特徴情報が一致している場合、顔認証が成功したと判断し、顔特徴情報が不一致の場合、顔認証が失敗したと判断する。認証部２５０は、顔認証の成否を推薦制御装置１００ａに返信する。顔特徴情報の一致の有無は、認証の成否に対応する。また、認証部２５０は、顔認証に成功した場合、当該成功した顔特徴情報に対応付けられたユーザＩＤを特定し、特定されたユーザＩＤと認証成功の旨とを含めた認証結果を推薦制御装置１００ａに返信する。
　図７を参照して、顔特徴ＤＢ２１０にユーザＩＤ及び顔特徴情報を登録する際における認証装置２００の動作を説明する。図７は、顔特徴情報登録処理の流れを示すフローチャートである。図７では、顔認証端末３００が画像を撮影して顔特徴情報を登録する場合について説明を行うが、ユーザ端末４００が画像を撮影する場合も同様の手順で顔特徴情報を登録することができる。
　顔特徴情報を登録する際には、顔認証端末３００は、ユーザの顔を含む画像を登録用画像として撮影し、認証装置２００に対してネットワーク５００を介して顔特徴情報登録要求を行う。顔特徴情報登録要求は、登録用画像を含む。まず、認証装置２００は、顔認証端末３００又はユーザ端末４００からネットワーク５００を介して登録用画像を取得する（ステップＳ２０１）。
　次に、顔検出部２２０は、登録用画像が含む顔領域を検出し（ステップＳ２０２）、検出した顔領域を特徴点抽出部２３０に出力する。次に、特徴点抽出部２３０は、顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を出力する（ステップＳ２０３）。次に、登録部２４０は、出力された顔特徴情報に対応するユーザＩＤを発行し、当該ユーザＩＤと顔特徴情報とを対応付けて顔特徴ＤＢ２１０に登録する（ステップＳ２０４）。
　図８を参照して、顔認証を行う際における認証装置２００の動作を説明する。図８は、顔認証処理の流れを示すフローチャートである。図８では、顔認証端末３００が顔認証要求する場合について説明を行うが、ユーザ端末４００が顔認証要求する場合も同様の手順で顔認証を行うことができる。
　顔認証を行う際には、顔認証端末３００は、ユーザの顔を含む画像を認証用画像として撮影し、推薦制御装置１００ａに対してネットワーク５００を介して顔認証要求を行う。顔認証要求は、認証用画像を含む。まず、推薦制御装置１００ａは、認証用画像から抽出した顔領域又は顔特徴情報を認証装置２００に送信する。特徴点抽出部２３０は、受信した顔領域から顔特徴情報抽出し、又は顔特徴情報を受信することによって、顔特徴情報を取得する（ステップＳ３０１）。
　次に、認証部２５０は、取得部１３０が取得した顔特徴情報を顔特徴ＤＢ２１０と照合する（ステップＳ３０２）。顔特徴情報が一致した場合（ステップＳ３０３Ｙｅｓ）、認証部２５０は、顔特徴情報が一致したユーザのユーザＩＤを特定し（ステップＳ３０４）、顔認証に成功した旨と特定したユーザＩＤとを推薦制御装置１００ａに返信する（ステップＳ３０５）。一致する顔特徴情報がなかった場合（ステップＳ３０３Ｎｏ）、認証部２５０は、顔認証に失敗した旨を推薦制御装置１００ａに返信する（ステップＳ３０６）。
　次に、図５を参照して、顔認証端末３００の構成について詳細に説明する。顔認証端末３００は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。顔認証端末３００は、顔特徴情報登録要求及び顔認証要求を行う装置である。顔認証端末３００は、例えば、顔認証による決済を行う端末、顔認証による入場制御を行う端末、顔認証に応じて情報を提示するデジタルサイネージ等が挙げられるが、これらに限定されない。
　図５は、顔認証端末３００の構成を示すブロック図である。顔認証端末３００は、カメラ３１０、制御部３２０、記憶部３３０、通信部３４０及び表示部３５０を備える。カメラ３１０は、画像を撮影する撮影装置である。制御部３２０は、顔認証端末３００が備えるハードウェアの制御を行う。制御部３２０は、撮影要求部３２２、顔特徴情報登録要求部３２３、認証要求部３２４、決済処理部３２５、履歴登録要求部３２６及び推薦要求部４２７を備える。
　撮影要求部３２２は、カメラ３１０に対して撮影要求を行う。カメラ３１０は、ユーザの顔を含む画像を撮影する。カメラ３１０が撮影した画像は、登録用画像及び認証用画像として使用される。顔特徴情報登録要求部３２３は、顔特徴情報登録要求を、ネットワーク５００を介して認証装置２００に送信する。顔特徴情報登録要求は、カメラ３１０が撮影した登録用画像を含む。認証要求部３２４は、顔認証要求を、ネットワーク５００を介して推薦制御装置１００ａに送信する。顔認証要求は、カメラ３１０が撮影した認証用画像を含む。認証要求部３２４は、推薦制御装置１００ａから顔認証の成否を受信し、その結果を表示部３５０に表示させる。
　決済処理部３２５は、顔認証成功時に決済処理を実行する。なお、制御部３２０は、決済処理部３２５に代えて図示しない記録部を備えていてもよい。記録部は、顔認証成功時に顔認証端末３００が設置されている施設へのユーザの入退場を記録する。履歴登録要求部３２６は、履歴登録要求を、ネットワーク５００を介して推薦制御装置１００ａに送信する。尚、履歴登録要求は、決済処理の結果である決済履歴を含む。決済履歴は、例えば、決済した日時、金額、物品及びユーザＩＤ等を含む情報である。推薦要求部３２７は、推薦情報要求を、ネットワーク５００を介して推薦制御装置１００ａに送信する。
　記憶部３３０は、顔認証端末３００の各機能を実現するためのプログラムが格納される記憶装置である。通信部３４０は、ネットワーク５００との通信インタフェースである。表示部３５０は、ユーザに対して顔認証結果及び提示情報等を表示する表示装置である。
　次に、図６を参照して、ユーザ端末４００の構成について詳細に説明する。図６は、ユーザ端末４００の構成を示すブロック図である。ユーザ端末４００は、カメラ４１０、制御部４２０、記憶部４３０、通信部４４０及び表示部４５０を備える。制御部４２０は、撮影要求部４２２、顔特徴情報登録要求部４２３、認証要求部４２４、決済処理部４２５、履歴登録要求部４２６及び推薦要求部４２７を備える。ユーザ端末４００が備える各構成の機能は、顔認証端末３００が備える各構成と同様であるから、説明を省略する。
　顔認証端末３００及びユーザ端末４００は、顔認証が成功した場合、決済処理等を行い、その履歴を推薦制御装置１００ａに登録させる履歴登録要求を行う。以下、図９を参照して、履歴登録要求する際における顔認証端末３００の動作を説明する。図９は、履歴登録処理の流れを示すフローチャートである。図９では、顔認証端末３００が履歴登録要求する場合について説明を行うが、ユーザ端末４００も同様の手順で履歴登録要求を行うことができる。
　まず、撮影要求部３２２は、カメラ３１０に対して撮影要求を行い、カメラ３１０は、ユーザの顔を含む認証用画像を撮影する（ステップＳ４０１）。次に、認証要求部３２４は、顔認証要求をネットワーク５００を介して認証装置２００に送信し（ステップＳ４０２）、その成否を認証装置２００から受信する（ステップＳ４０３）。顔認証が成功であった場合（ステップＳ４０４Ｙｅｓ）、決済処理部３２５は、決済処理を実行し（ステップＳ４０５）、履歴登録要求部３２６は、推薦制御装置１００ａに対してネットワーク５００を介して履歴登録要求を行う（ステップＳ４０６）。顔認証が失敗であった場合（ステップＳ４０５Ｎｏ）、履歴登録要求部３２６は、表示部３５０に顔認証が失敗した旨を表示させる。
　尚、図９では、顔認証成功時に決済処理を行う場合について説明したが、顔認証成功時には、入退履歴の記録及び参加履歴の記録等の処理を行ってもよい。顔認証端末３００及びユーザ端末４００は、入退履歴及び参加履歴等の行動履歴を、決済履歴と同様に推薦制御装置１００ａに登録要求する。また、顔認証成功時には、決済の前後等にカメラを備えるサイネージの前にユーザが立ち、顔を含む撮影画像を撮影してもよい。
　図１０は、履歴登録処理の流れを示すフローチャートである。上述のステップＳ４０５において送信される履歴登録要求には、行動履歴が含まれている。推薦制御装置１００ａは、履歴登録要求を受信する（ステップＳ５０１）と、履歴ＤＢ１１０ａに当該行動履歴を登録する（ステップＳ５０２）。
　推薦制御装置１００ａは、顔認証に成功した場合又は推薦情報要求を受信した場合に、推薦情報を提示する。顔認証に成功して推薦情報を提示する例としては、決済の前後等にカメラを備えるサイネージの前にユーザが立ち、顔を含む撮影画像を撮影した場合、及び入退履歴の記録及び参加履歴の記録等の処理を行った場合が挙げられる。推薦情報は、サイネージ及びユーザ端末４００等に表示される。以下、図１１～１２を参照して、推薦情報を提示する際における推薦制御装置１００ａ等の動作を説明する。図１１は、推薦制御処理の流れを示すフローチャートである。図１２は、推薦要求処理の流れを示すフローチャートである。
　まず、図１１を参照して、顔認証成功時に推薦情報を提示する場合について説明する。まず、取得部１３０は、顔認証端末３００及びユーザ端末４００等の所定の撮影装置が撮影した認証用画像を取得する（ステップＳ６０１）。尚、このとき認証用画像と共に、取得部１３０は、所定の撮影装置の設置位置を取得するものとする。次に、認証制御部１４０は、顔領域又は顔特徴情報を抽出し、当該顔領域又は当該顔特徴情報を認証装置２００へ送信して顔認証を要求する（ステップＳ６０２）。次に、認証制御部１４０は、認証装置２００から顔認証の成否を受信する（ステップＳ６０３）。
　顔認証に成功した場合（ステップＳ６０４Ｙｅｓ）、特定部１６０は、ステップＳ６０３において受信した顔認証の成否に含まれるユーザＩＤを抽出することによって、顔認証に成功したユーザＩＤを特定する（ステップＳ６０５）。次に、行動履歴抽出部１５０は、ステップＳ６０５において特定したユーザＩＤと対応付けられた行動履歴を履歴ＤＢ１１０ａから取得することによって、当該ユーザの行動履歴を特定する（ステップＳ６０６）。
　次に、行動履歴抽出部１５０は、ユーザの行動履歴から所定の抽出条件を満たす行動履歴を抽出する（ステップＳ６０７）。所定の抽出条件は、例えば、予め設定されており、時間帯を含んでいる。具体的には、所定の抽出条件は、例えばユーザが平日に訪れたお店の履歴である。ユーザは、平日すなわち勤務日には職場近辺の飲食店を訪れることが多く、休日には自宅近辺の飲食店を訪れることが多い。そこで、ユーザが平日に訪れたことを所定の抽出条件とすると、当該ユーザが職場近辺においてよく訪れる飲食店を抽出することができる。
　次に、特定部１６０は、行動履歴抽出部１５０が抽出した行動履歴に基づいて推薦情報を特定する（ステップＳ６０８）。次に、出力部１７０は、特定部１６０が特定した推薦情報をネットワーク５００を介して、顔認証端末３００及びユーザ端末４００等の所定の表示端末に送信する（ステップＳ６０９）。顔認証に失敗した場合（ステップＳ６０４Ｎｏ）、出力部１７０は、顔認証に失敗した旨をネットワーク５００を介して所定の表示端末に送信する（ステップＳ６１０）。
　次に、図１２を参照して、推薦要求に応じて推薦情報を提示する場合について説明する。顔認証端末３００及びユーザ端末４００は、顔認証が成功した場合（ステップＳ４０４Ｙｅｓ）、推薦要求処理（ステップＳ７０１～７０３）を行うことができる。推薦要求処理（ステップＳ７０１～７０３）は、決済処理（ステップＳ４０５）及び履歴登録要求（ステップＳ４０６）と並行して行われてもよいし、履歴登録要求（ステップＳ４０６）の後に行われてもよい。図１２では、顔認証端末３００が推薦要求処理する場合について説明を行うが、ユーザ端末４００も同様の手順で推薦要求処理を行うことができる。
　まず、推薦要求部３２７は、推薦要求をネットワーク５００を介して推薦制御装置１００ａに送信する（ステップＳ７０１）。推薦制御装置１００ａは、推薦要求を受信すると、ステップＳ６０５～６０９と同様の手順によって推薦情報を特定して返信する。推薦要求部３２７は、推薦制御装置１００ａから推薦情報を受信すると（ステップＳ７０２）、表示部３５０に当該推薦情報を表示する（ステップＳ７０３）。
　ステップＳ７０１では、ユーザが顔認証端末３００及びユーザ端末４００等の操作端末を操作して推薦要求を推薦制御装置１００ａに送信する。操作端末は、推薦情報が送信される表示端末と同じ端末であってもよいし、異なる端末であってもよい。図１３は、操作端末上に表示される推薦要求開始画面を例示する図である。図１３では、ユーザ端末４００を操作して推薦要求を行う場合を示している。図１３に示すように、ユーザ端末４００は、推薦要求（レコメンド）開始画面を表示することができる。
　ユーザは、ユーザ端末４００を操作して推薦要求を開始する際に、モードを選択することによって、抽出条件を手動で設定してもよい。例えば、図１３に示すように、推薦要求開始画面に「休日モード」及び「平日モード」を選択するボタンが表示されている場合、ユーザは、いずれかのボタンを押して推薦要求を開始する。例えば、ユーザが「休日モード」ボタンを押した場合、ユーザ端末４００は、所定の抽出条件を「ユーザが休日に行った行動履歴」とし、当該所定の抽出条件を含む推薦要求を推薦制御装置１００ａに送信する。このように、ユーザは、推薦要求時にモードを選択することによって、所定の抽出条件を手動で設定することができる。
　図１４は、表示端末上に表示される推薦情報を例示する図である。図１４では、ユーザ端末４００に推薦情報を表示する場合を示している。図１４に示すように、ユーザ端末４００は、ステップＳ６０９において受信した推薦情報を画面上に表示する。尚、例えば推薦情報に店舗情報が含まれる場合、図１４に示した画面上には、店舗の詳細情報や地図情報、当該店舗までの経路情報等を表示することができる。また、ステップＳ６０９において、出力部１７０は、推薦情報に加えて、ユーザの行動履歴をユーザ端末４００に送信してもよい。
　図１５は、行動履歴として表示端末上に表示されるマップを例示する図である。図１５に示すように、ユーザ端末４００は、ステップＳ６０９において受信したユーザの行動履歴をマップ上に表示してもよい。また、図１６は、表示端末上に表示される行動履歴を例示する図である。図１６に示すように、ユーザ端末４００は、ステップＳ６０９において受信した行動履歴を時系列で表示してもよい。
　図１５及び図１６では、第１のユーザの行動履歴のみを表示端末上に表示する場合を示しているが、表示端末上には、当該行動履歴に加えて、推薦情報を表示してもよい。推薦情報は、店舗情報、店舗の住所、及びユーザの現在位置から店舗までのルート案内等を含んでいてもよい。ルート案内は、ユーザの現在位置から店舗までの距離及び所要時間等を含んでいてもよい。また、表示端末上には、複数の推薦情報を表示してもよい。複数の推薦情報を表示する場合、各推薦情報の詳細及びルート案内等を同時に表示してもよい。ユーザは、各推薦情報の詳細及びルート案内等を検討し、推薦情報同士を比較することができる。
　ユーザは、自らの行動履歴から特定の行動履歴を手動で除外してもよい。ユーザは、ユーザ端末４００等の操作端末を操作することによって、特定の行動履歴を除外する。特定の行動履歴は、例えば、特定の文字列を含む決済情報である。図１７は、表示端末上に表示される履歴除外条件設定画面を例示する図である。ユーザは、操作端末上に表示される履歴除外条件設定画面から特定の行動履歴の除外を指定することができる。図１７に示すように、ユーザは、例えば、文字列「カレー」を入力し、文字列「カレー」を含む行動履歴の除外を指定することができる。操作端末は、ユーザから受け付けた特定の行動履歴を除外する指定を、ネットワーク５００を介して推薦制御装置１００ａに送信する。行動履歴抽出部１５０は、当該指定を受信すると、指定された特定の行動履歴を除外する条件を所定の抽出条件に追加する。
　また、履歴ＤＢ１１０ａには、ユーザが登録を希望した行動履歴のみを登録してもよい。例えば、履歴ＤＢ１１０ａには、決済時にユーザが登録を希望した決済履歴のみが登録されてもよい。図１８は、決済時に操作端末上に表示される履歴登録画面を例示する図である。ユーザは、ユーザ端末等の操作端末を操作して、登録の希望を指定する。図１８に示すように、決済時に当該決済履歴を登録するか否かをユーザに選択させる。
　以下、ユーザに提示する推薦情報の具体例を説明する。例えば、所定の抽出条件を「ユーザが平日に行った決済履歴」とする。ユーザの決済履歴を以下の表１に示す。
Figure JPOXMLDOC01-appb-T000001
　表１に示すように、ユーザは、平日にパスタの注文を２回行っている。つまり、当該ユーザは、平日にパスタを好んで食べていると考えられる。そこで、パスタに関する推薦情報として、パスタ屋のクーポン券をユーザに提示する。このように、ユーザの好みに合った推薦情報を提示することによって、推薦情報の利用率を高めることができる。
＜実施形態３＞
　実施形態３は、上述した実施形態１の変形例である。実施形態１に係る推薦制御装置１００は、履歴ＤＢ１１０ａに登録された行動履歴に含まれる決済情報及び日時情報等に基づいて所定の抽出条件を満たす行動履歴を抽出していた。一方、実施形態３では、ユーザ自身が行動履歴を分類する。
　図１９は、実施形態３に係る推薦制御装置７００の構成を示すブロック図である。推薦制御装置７００は、図３に示した推薦制御装置１００ａの構成に加えて、分類部１８０を備える。推薦制御装置７００が備える各構成について、実施形態２と重複する説明は適宜省略する。
　分類部１８０は、ユーザからの指定に基づいて行動履歴に含まれる所定の履歴を複数のグループのいずれかに分類する。複数のグループは、例えば、「平日」及び「休日」、「昼食」及び「夕食」、「一人で来店」、「同僚と来店」及び「家族と来店」等である。ユーザは、ユーザ端末等の操作端末から所定の履歴の分類を指定する。操作端末は、ネットワーク５００を介して、当該分類の指定を推薦制御装置７００に送信する。分類部１８０は、当該分類の指定を受信すると、指定内容に従って、当該所定の履歴を複数のグループのいずれかに分類する。
　本実施形態において行動履歴抽出部１５０は、複数のグループのうち所定のグループに分類されていることを所定の抽出条件としてもよい。例えば、ユーザから所定のグループの指定を受け付けた場合、行動履歴抽出部１５０は、当該所定のグループに分類されていることを所定の抽出条件とする。
　ユーザは、操作端末上に表示された決済履歴画面から各決済履歴の分類を行う。図２０は、操作端末上に表示される履歴設定画面を例示する図である。図２０に示すように、履歴設定画面には、例えば、各決済履歴と各決済履歴に対する処理を行うためのボタンが表示されている。各決済履歴に対する処理は、例えば、「分類」、「削除」及び「除外」である。ユーザは、各決済履歴に対して処理を行うためのボタンを選択することができる。尚、履歴設定画面には、各決済履歴のみを表示し、ユーザがいずれかの決済履歴を選択した場合に、当該決済履歴に対する処理を行うためのボタンを表示させてもよい。尚、図１８に示した履歴登録画面において、ユーザの分類の希望を受け付けてもよい。
　ユーザが除外ボタンを選択した場合、操作端末は、当該支払履歴を除外する指定をネットワーク５００を介して推薦制御装置７００に送信する。支払履歴を除外する指定を受信すると、行動履歴抽出部１５０は、当該支払履歴を除外する条件を所定の抽出条件に追加する。ユーザが削除ボタンを選択した場合、操作端末は、当該支払履歴を削除する指定をネットワーク５００を介して推薦制御装置７００に送信する。支払履歴を削除する指定を受信すると、履歴登録部（不図示）は、履歴記憶部（不図示）から当該支払履歴を削除する。
　ユーザが分類ボタンを選択した場合、操作端末は、履歴分類画面を表示する。図２１は、操作端末上に表示される履歴分類画面を例示する図である。履歴分類画面には、行動履歴を各グループに分類するためのボタンが表示されている。分類するためのボタンは、例えば、図２１に示すように、「平日モード」及び「休日モード」である。ユーザは、行動履歴を各グループに分類するためのボタンを選択することができる。
　ユーザが平日ボタンを選択した場合、操作端末は、当該行動履歴を平日グループに分類する指定をネットワーク５００を介して推薦制御装置７００に送信する。ユーザが休日ボタンを選択した場合、操作端末は、当該行動履歴を休日グループに分類する指定をネットワーク５００を介して推薦制御装置７００に送信する。行動履歴を分類する指定を受信すると、分類部１８０は、当該行動履歴を指定されたグループに分類する。
　本実施形態に係る推薦制御装置７００は、ユーザ自身が行動履歴のグループを分類することができるため、より精度良く行動履歴のノイズを除くことができる。さらに、本実施形態に係る推薦制御装置は、実施形態１及び２において説明した効果と同様の効果を奏することができる。
＜実施形態４＞
　実施形態４は、上述した実施形態１～３の変形例である。実施形態１～３に係る推薦制御装置１００，１００ａ及び７００は、外部の認証装置２００を用いて顔認証を行っていた。一方、本実施形態に係る推薦制御装置８００は、装置内部で顔認証を行う。
　図２２は、実施形態４に係る推薦制御装置８００の構成を示すブロック図である。推薦制御装置８００は、図１に示した推薦制御装置１００の構成と比べて、認証制御部１４０が顔特徴抽出部１４０ａ及び顔認証部１９０に置き換わり、顔特徴ＤＢ１９１（不図示）が追加されたものである。尚、顔特徴ＤＢ１９１は、顔特徴情報記憶部の一例である。推薦制御装置８００が備える各構成について、実施形態２と重複する説明は適宜省略する。図２３は、実施形態４に係る推薦制御システム９００の構成を示すブロック図である。推薦制御システム９００は、認証装置２００を備えていない点及び推薦制御装置８００を備える点で推薦制御システム６００と異なる。その他の構成については同様であるため、説明を適宜省略する。
　顔特徴抽出部１４０ａは、撮影画像から顔領域又は顔特徴情報を抽出する。顔認証部１９０は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。顔特徴ＤＢ１９１は、ユーザＩＤと当該ユーザの顔特徴情報とを対応付けて記憶する顔特徴データベースである。推薦制御装置８００は、推薦制御装置１００と同様に図２に示す流れで推薦情報の提示を制御する。但し、ステップＳ１０３において、顔特徴抽出部１４０ａは、取得部１３０が取得した撮影画像から顔領域又は顔特徴情報を抽出し、顔認証部１９０は、抽出された顔領域又は顔特徴情報に基づいて顔認証を行う。さらに、本実施形態に係る推薦制御装置は、実施形態１～３において説明した効果と同様の効果を奏することができる。
　尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記Ａ１）
　所定の撮影装置により撮影された撮影画像を取得する取得部と、
　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
　前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
　所定の表示端末に前記特定手段が特定した推薦情報を送信する出力部と、
　を備える推薦制御装置。
（付記Ａ２）
　さらに、
　複数のユーザの行動履歴を記憶する履歴記憶部と、
　ユーザＩＤと行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
　を備え、
　前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた行動履歴を前記履歴記憶部から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
　付記Ａ１に記載の推薦制御装置。
（付記Ａ３）
　前記行動履歴は、前記ユーザにおける複数の決済履歴を含み、
　前記所定の抽出条件は、特定の決済履歴を含み、
　前記行動履歴抽出部は、前記複数の決済履歴の中から前記特定の決済履歴を抽出する、
　付記Ａ１又はＡ２に記載の推薦制御装置。
（付記Ａ４）
　前記所定の抽出条件は、決済が行われた所定の時間帯をさらに含み、
　前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが前記所定の時間帯に決済を行った決済履歴を抽出する、
　付記Ａ３に記載の推薦制御装置。
（付記Ａ５）
　前記所定の抽出条件は、決済が行われた所定期間をさらに含み、
　前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが前記所定期間内に決済を行った決済履歴を抽出する、
　付記Ａ３又はＡ４に記載の推薦制御装置。
（付記Ａ６）
　前記所定の抽出条件は、所定期間内に基準回数以上決済が行われたことを条件としてさらに含み、
　前記行動履歴抽出部は、前記複数の決済履歴の中から前記ユーザが所定期間内に前記基準回数以上行った決済履歴を抽出する、
　付記Ａ３～Ａ５のいずれか一項に記載の推薦制御装置。
（付記Ａ７）
　前記行動履歴抽出部は、
　前記ユーザから特定の行動履歴を除外する指定を受け付けた場合、前記指定された特定の行動履歴を除外する条件を前記所定の抽出条件に追加する、
　付記Ａ１～Ａ６のいずれか一項に記載の推薦制御装置。
（付記Ａ８）
　前記ユーザからの指定に基づき、前記行動履歴に含まれる所定の履歴を複数のグループのいずれかに分類する分類部をさらに備え、
　前記行動履歴抽出部は、前記ユーザから前記複数のグループのうち所定のグループの指定を受け付けた場合、当該所定のグループに分類されていることを前記所定の抽出条件とする、
　付記Ａ１～Ａ７のいずれか一項に記載の推薦制御装置。
（付記Ａ９）
　前記行動履歴は、前記ユーザにおける、決済履歴、入退履歴及び参加履歴のうち少なくとも１つを含む、
　付記Ａ１～Ａ８のいずれか一項に記載の推薦制御装置。
（付記Ｂ１）
　ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
　前記所定の撮影装置と通信可能な推薦制御装置と、
　前記ユーザの顔特徴情報を記憶し、前記推薦制御装置と通信可能な認証装置と、を備え、
　前記推薦制御装置は、
　所定の撮影装置により撮影された撮影画像を取得する取得部と、
　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御部と、
　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
　前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
　所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、
　を備える推薦制御システム。
（付記Ｂ２）
　前記推薦制御装置は、さらに、
　複数のユーザの行動履歴を記憶する履歴記憶部と、
　ユーザＩＤと行動履歴とを対応付けて前記履歴記憶部に登録する履歴登録部と、
　を備え、
　前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
　付記Ｂ１に記載の推薦制御システム。
（付記Ｃ１）
　コンピュータが、
　所定の撮影装置により撮影された撮影画像を取得する工程と、
　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
　所定の表示端末に前記特定された推薦情報を送信する工程と、
　を備える推薦制御方法。
（付記Ｄ１）
　所定の撮影装置により撮影された撮影画像を取得する工程と、
　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
　所定の表示端末に前記特定された推薦情報を送信する工程と、
　をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
（付記Ｅ１）
　所定の撮影装置により撮影された撮影画像を取得する取得部と、
　前記撮影画像から顔領域又は顔特徴情報を抽出する顔特徴抽出部と、
　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証部と、
　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出部と、
　前記行動履歴抽出部が抽出した行動履歴に基づいて推薦情報を特定する特定部と、
　所定の表示端末に前記特定部が特定した推薦情報を送信する出力部と、
　を備える推薦制御装置。
（付記Ｅ２）
　さらに、
　複数のユーザの行動履歴を記憶する履歴記憶部と、
　ユーザＩＤと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録部と、
　を備え、
　前記行動履歴抽出部は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた行動履歴を前記履歴記憶部から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
　付記Ｅ１に記載の推薦制御装置。
（付記Ｆ１）
　コンピュータが、
　所定の撮影装置により撮影された撮影画像を取得する工程と、
　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
　所定の表示端末に前記特定された推薦情報を送信する工程と、
　を備える推薦制御方法。
（付記Ｇ１）
　所定の撮影装置により撮影された撮影画像を取得する工程と、
　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
　所定の表示端末に前記特定された推薦情報を送信する工程と、
　をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１００、１００ａ、７００、８００　推薦制御装置
　６００、９００　推薦制御システム
　１１０ａ　履歴ＤＢ
　１２０　履歴登録部
　１３０　取得部
　１４０　認証制御部
　１４０ａ　顔特徴抽出部
　１５０　行動履歴抽出部
　１６０　特定部
　１７０　出力部
　１８０　分類部
　１９０　顔認証部
　１９１　顔特徴ＤＢ
　２００　認証装置
　２１０　顔特徴ＤＢ
　２２０　顔検出部
　２３０　特徴点抽出部
　２４０　登録部
　２５０　認証部
　３００（３００Ｘ～３００Ｗ）　顔認証端末
　３１０　カメラ
　３２０　制御部
　３２２　撮影要求部
　３２３　顔特徴情報登録要求部
　３２４　認証要求部
　３２５　決済処理部
　３２６　履歴登録要求部
　３２７　推薦要求部
　３３０　記憶部
　３４０　通信部
　３５０　表示部
　４００　ユーザ端末
　４１０　カメラ
　４２０　制御部
　４２２　撮影要求部
　４２３　顔特徴情報登録要求部
　４２４　認証要求部
　４２５　決済処理部
　４２６　履歴登録要求部
　４２７　推薦要求部
　４３０　記憶部
　４４０　通信部
　４５０　表示部
　５００　ネットワーク

Claims (17)

  1. 　所定の撮影装置により撮影された撮影画像を取得する取得手段と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
    　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出手段と、
    　前記行動履歴抽出手段が抽出した行動履歴に基づいて推薦情報を特定する特定手段と、
    　所定の表示端末に前記特定手段が特定した推薦情報を送信する出力手段と、
    　を備える推薦制御装置。
  2. 　さらに、
    　複数のユーザの行動履歴を記憶する履歴記憶手段と、
    　ユーザＩＤと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
    　を備え、
    　前記行動履歴抽出手段は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
    　請求項１に記載の推薦制御装置。
  3. 　前記行動履歴は、前記ユーザにおける複数の決済履歴を含み、
    　前記所定の抽出条件は、特定の決済履歴を含み、
    　前記行動履歴抽出手段は、前記複数の決済履歴の中から前記特定の決済履歴を抽出する、
    　請求項１又は２に記載の推薦制御装置。
  4. 　前記所定の抽出条件は、決済が行われた所定の時間帯をさらに含み、
    　前記行動履歴抽出手段は、前記複数の決済履歴の中から前記ユーザが前記所定の時間帯に決済を行った決済履歴を抽出する、
    　請求項３に記載の推薦制御装置。
  5. 　前記所定の抽出条件は、決済が行われた所定期間をさらに含み、
    　前記行動履歴抽出手段は、前記複数の決済履歴の中から前記ユーザが前記所定期間内に決済を行った決済履歴を抽出する、
    　請求項３又は４に記載の推薦制御装置。
  6. 　前記所定の抽出条件は、所定期間内に基準回数以上決済が行われたことを条件としてさらに含み、
    　前記行動履歴抽出手段は、前記複数の決済履歴の中から前記ユーザが所定期間内に前記基準回数以上行った決済履歴を抽出する、
    　請求項３～５のいずれか一項に記載の推薦制御装置。
  7. 　前記行動履歴抽出手段は、
    　前記ユーザから特定の行動履歴を除外する指定を受け付けた場合、前記指定された特定の行動履歴を除外する条件を前記所定の抽出条件に追加する、
    　請求項１～６のいずれか一項に記載の推薦制御装置。
  8. 　前記ユーザからの指定に基づき、前記行動履歴に含まれる所定の履歴を複数のグループのいずれかに分類する分類手段をさらに備え、
    　前記行動履歴抽出手段は、前記ユーザから前記複数のグループのうち所定のグループの指定を受け付けた場合、当該所定のグループに分類されていることを前記所定の抽出条件とする、
    　請求項１～７のいずれか一項に記載の推薦制御装置。
  9. 　前記行動履歴は、前記ユーザにおける、決済履歴、入退履歴及び参加履歴のうち少なくとも１つを含む、
    　請求項１～８のいずれか一項に記載の推薦制御装置。
  10. 　ユーザの顔領域を含む画像を撮影する所定の撮影装置と、
    　前記所定の撮影装置と通信可能な推薦制御装置と、
    　前記ユーザの顔特徴情報を記憶し、前記推薦制御装置と通信可能な認証装置と、を備え、
    　前記推薦制御装置は、
    　所定の撮影装置により撮影された撮影画像を取得する取得手段と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる認証制御手段と、
    　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出手段と、
    　前記行動履歴抽出手段が抽出した行動履歴に基づいて推薦情報を特定する特定手段と、
    　所定の表示端末に前記特定手段が特定した推薦情報を送信する出力手段と、
    　を備える推薦制御システム。
  11. 　前記推薦制御装置は、さらに、
    　複数のユーザの行動履歴を記憶する履歴記憶手段と、
    　ユーザＩＤと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
    　を備え、
    　前記行動履歴抽出手段は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
    　請求項１０に記載の推薦制御システム。
  12. 　コンピュータが、
    　所定の撮影装置により撮影された撮影画像を取得する工程と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
    　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
    　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
    　所定の表示端末に前記特定された推薦情報を送信する工程と、
    　を備える推薦制御方法。
  13. 　所定の撮影装置により撮影された撮影画像を取得する工程と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出して認証装置に顔認証を行わせる工程と、
    　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
    　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
    　所定の表示端末に前記特定された推薦情報を送信する工程と、
    　をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
  14. 　所定の撮影装置により撮影された撮影画像を取得する取得手段と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出する顔特徴抽出手段と、
    　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う顔認証手段と、

    　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する行動履歴抽出手段と、
    　前記行動履歴抽出手段が抽出した行動履歴に基づいて推薦情報を特定する特定手段と、
    　所定の表示端末に前記特定手段が特定した推薦情報を送信する出力手段と、
    　を備える推薦制御装置。
  15. 　さらに、
    　複数のユーザの行動履歴を記憶する履歴記憶手段と、
    　ユーザＩＤと行動履歴とを対応付けて前記履歴記憶手段に登録する履歴登録手段と、
    　を備え、
    　前記行動履歴抽出手段は、前記顔認証に成功したユーザにおけるユーザＩＤと対応付けられた行動履歴を前記履歴記憶手段から取得し、当該行動履歴から所定の抽出条件を満たす行動履歴を抽出する、
    　請求項１４に記載の推薦制御装置。
  16. 　コンピュータが、
    　所定の撮影装置により撮影された撮影画像を取得する工程と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
    　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
    　所定の表示端末に前記特定された推薦情報を送信する工程と、
    　を備える推薦制御方法。
  17. 　所定の撮影装置により撮影された撮影画像を取得する工程と、
    　前記撮影画像から顔領域又は顔特徴情報を抽出する工程と、
    　前記顔領域又は前記顔特徴情報に基づいて顔認証を行う工程と、
    　前記顔認証に成功したユーザにおける行動履歴から所定の抽出条件を満たす行動履歴を抽出する工程と、
    　前記抽出された行動履歴に基づいて推薦情報を特定する工程と、
    　所定の表示端末に前記特定された推薦情報を送信する工程と、
    　をコンピュータに実行させる推薦制御プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/012101 2020-03-18 2020-03-18 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2021186638A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/802,013 US20230101205A1 (en) 2020-03-18 2020-03-18 Recommendation control device, system, method, and non-transitory computer-readable medium storing program therein
JP2022507929A JP7400944B2 (ja) 2020-03-18 2020-03-18 推薦制御装置、システム、方法及びプログラム
PCT/JP2020/012101 WO2021186638A1 (ja) 2020-03-18 2020-03-18 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012101 WO2021186638A1 (ja) 2020-03-18 2020-03-18 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021186638A1 true WO2021186638A1 (ja) 2021-09-23

Family

ID=77771952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012101 WO2021186638A1 (ja) 2020-03-18 2020-03-18 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20230101205A1 (ja)
JP (1) JP7400944B2 (ja)
WO (1) WO2021186638A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133662A (ja) * 2007-11-29 2009-06-18 Nissan Motor Co Ltd 情報提供装置及び情報提供方法
WO2013145394A1 (ja) * 2012-03-30 2013-10-03 楽天株式会社 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体
WO2014147776A1 (ja) * 2013-03-21 2014-09-25 日立コンシューマエレクトロニクス株式会社 商品提示サーバおよび商品提示方法
JP2018128797A (ja) * 2017-02-07 2018-08-16 富士通株式会社 表示制御プログラム、表示制御装置及び表示制御方法
JP2018184196A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 飲料吐出システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194621A1 (ja) 2015-06-01 2016-12-08 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133662A (ja) * 2007-11-29 2009-06-18 Nissan Motor Co Ltd 情報提供装置及び情報提供方法
WO2013145394A1 (ja) * 2012-03-30 2013-10-03 楽天株式会社 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体
WO2014147776A1 (ja) * 2013-03-21 2014-09-25 日立コンシューマエレクトロニクス株式会社 商品提示サーバおよび商品提示方法
JP2018128797A (ja) * 2017-02-07 2018-08-16 富士通株式会社 表示制御プログラム、表示制御装置及び表示制御方法
JP2018184196A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 飲料吐出システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IINO ET AL.: "Refinding Support by Using Clustered Web Browsing History and Annotation. IPSJ Interaction 2012", INFORMATION PROCESSING SOCIETY OF JAPAN, 17 March 2012 (2012-03-17), pages 545 - 550 *
OKUSA, KOSUKE ET AL.: "A Study on Recommendation System Based on the Customer's Interest and Purchase Individuality. Bulletin of the Computational Statistics of Japan", JAPANESE SOCIETY OF COMPUTATIONAL STATISTICS, vol. 29, no. 1, 17 July 2016 (2016-07-17), pages 49 - 56 *

Also Published As

Publication number Publication date
US20230101205A1 (en) 2023-03-30
JP7400944B2 (ja) 2023-12-19
JPWO2021186638A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
US9509840B2 (en) Method and system for marking a phone number
JP4778532B2 (ja) 顧客情報収集管理システム
WO2017022306A1 (ja) 情報処理システム、及び情報処理方法
WO2022003888A1 (ja) 警告装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2023153340A (ja) 動線判定装置、動線判定システム、動線判定方法及びプログラム
US20240087312A1 (en) Information processing device, system, method, and non-transitory computer-readable medium storing program
US20180033055A1 (en) Image processing, classification, and trend analysis system and method for selfie-enabled product promotion
WO2021181557A1 (ja) 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021186638A1 (ja) 推薦制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021199114A1 (ja) 推薦装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7509196B2 (ja) 広告評価装置、システム、方法及びプログラム
WO2022014062A1 (ja) 価値譲渡装置、価値譲渡システム、価値譲渡方法及び非一時的なコンピュータ可読媒体
JP7452622B2 (ja) 提示制御装置、システム、方法及びプログラム
WO2021250817A1 (ja) 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
JP7322961B2 (ja) データ記録装置および方法
JP2020009114A (ja) 画像評価装置、システム、画像評価装置の制御方法およびプログラム
WO2021199179A1 (ja) 座席案内装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2015017538A1 (en) Providing a summary presentation
US20230298025A1 (en) Value transfer apparatus, value transfer system, value transfer method, and non-transitory computer-readable medium
US20230367535A1 (en) Analysis apparatus, analysis system, analysis method, and non-transitory computer readable medium storing program
US20230111784A1 (en) Recommendation device, system, method, and non-transitory computer-readable mediumstoring program
US20230222834A1 (en) Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium
US20240037595A1 (en) Information controlling apparatus, information controlling method, and computer-readable medium
WO2021186708A1 (ja) 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US20230084625A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925946

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507929

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20925946

Country of ref document: EP

Kind code of ref document: A1