WO2019088661A1 - 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법 - Google Patents

인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법 Download PDF

Info

Publication number
WO2019088661A1
WO2019088661A1 PCT/KR2018/013020 KR2018013020W WO2019088661A1 WO 2019088661 A1 WO2019088661 A1 WO 2019088661A1 KR 2018013020 W KR2018013020 W KR 2018013020W WO 2019088661 A1 WO2019088661 A1 WO 2019088661A1
Authority
WO
WIPO (PCT)
Prior art keywords
advertisement
user
information
display device
concentration
Prior art date
Application number
PCT/KR2018/013020
Other languages
English (en)
French (fr)
Inventor
한정석
이현수
유준상
Original Assignee
코오롱인더스트리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코오롱인더스트리 주식회사 filed Critical 코오롱인더스트리 주식회사
Priority to JP2020510083A priority Critical patent/JP2020531987A/ja
Priority to EP18871911.6A priority patent/EP3651103A4/en
Priority to US16/639,237 priority patent/US20200219135A1/en
Priority to CN201880069618.XA priority patent/CN111279377A/zh
Priority claimed from KR1020180130748A external-priority patent/KR20190049555A/ko
Publication of WO2019088661A1 publication Critical patent/WO2019088661A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present invention relates to an apparatus, a system, and a method for providing a personalized advertisement and a commodity purchase service using recognition and estimation data on facial expression, behavior, sex, age, and the like.
  • an advertisement system analyzes first user information about at least one of a user's sex, age, and eye tracking from a camera image and analyzes second user information about the user's facial expression and eye tracking Information Analysis Department; And advertisement providing information for determining the topic information for the user based on the first user information and displaying the first advertisement related to the topic information through the display device.
  • the advertisement providing unit determines a first degree of concentration indicating the degree to which the user concentrates on the first advertisement based on the second user information and includes more information than the first advertisement based on the first degree of concentration
  • the second advertisement can be displayed through the display device.
  • the advertisement system may further include a purchase processing unit that performs a payment process for the goods when the order information for the goods related to the first advertisement or the second advertisement is input.
  • the advertisement providing unit calculates the first degree of concentration through eye tracking of the eyes of the user when the first advertisement is displayed through the display device, And determine whether to display the second advertisement based on the first concentration.
  • the advertisement providing unit is configured to display whether the second advertisement is continuously displayed on the display device based on a second concentration indicating the degree to which the user concentrates on the second advertisement and a user expression on the second advertisement, Can be determined.
  • the purchase processing unit may wirelessly transmit the order information to a mobile terminal having a payment processing function when order information on the goods is input.
  • the display device may be installed in a customer seat in a transportation means for transporting a person.
  • the first advertisement and the second advertisement may be displayed in a first screen area of the display device, and the goods may be displayed in a second screen area of the display device.
  • the information analyzing unit tracks the user from the image, recognizes the facial expression of the user, and determines the sex of the user using an artificial intelligence algorithm including an object tracking algorithm, a facial expression recognition algorithm, a sex estimation algorithm, And estimate the age of the user.
  • an artificial intelligence algorithm including an object tracking algorithm, a facial expression recognition algorithm, a sex estimation algorithm, And estimate the age of the user.
  • the advertisement providing unit may change the advertisement provision using the matching result between the behavior of the user and the predefined behavior pattern.
  • the eye tracking further comprises determining whether the eye focus of the user is out of the screen area of the display device when the first advertisement is displayed through the display device and how long the eye focus leaves the screen area ≪ / RTI >
  • the advertisement providing unit may display the first advertisement through the display device when it is determined that the user's eye focus is directed to the screen area of the display device based on the eye tracking information of the first user information have.
  • the user action may include at least one of an action of turning the user's head or body, a shaking action, and an action of approaching the display device while the first advertisement is being displayed through the display device .
  • a method for an advertisement system to provide a service relating to advertisement and purchase of goods.
  • the service providing method includes analyzing first user information on a user's sex and age from a camera image, second user information on a user's facial expression and eye tracking, Determining topic information for the user based on the first user information; Displaying a first advertisement related to the topic information through a display device; Determining, based on the second user information, a first concentration indicating the degree to which the user concentrates on the first advertisement; And displaying a second advertisement through the display device, the second advertisement including more information than the first advertisement, based on the first concentration and the user expression for the first advertisement.
  • the analyzing may include analyzing third user information regarding an action taken by the user while the first advertisement is being displayed through the display device.
  • the displaying may include determining whether to provide the second advertisement or provide additional product information related to the first advertisement based on the third user information.
  • the service providing method may further include performing a payment process for the goods when the order information about the goods related to the first advertisement or the second advertisement is input.
  • sales of advertisement and product sales can be improved in an aircraft, a train or the like equipped with a display device (or a platform).
  • an advertisement corresponding to a specific person's seat is exposed to a specific individual, an advertisement having an effect and meaning can be efficiently provided to the user.
  • the user reaction is recognized through the user's facial expressions and data collected through the user's facial expressions (e.g. favorable or unsuitable) and real-time data (e.g., real-time eye tracking data, Behavior data, etc.), the satisfaction level of advertisement and commodity sales can be improved.
  • data collected through the user's facial expressions e.g. favorable or unsuitable
  • real-time data e.g., real-time eye tracking data, Behavior data, etc.
  • the duty-free items sold as paper books can be provided through the display device, more product groups can be provided, and the production cost of paper booklets can be reduced.
  • FIG. 1 is a diagram of an advertising system, in accordance with an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a method for providing personalized advertisement and personalized product purchase services according to an embodiment of the present invention. Referring to FIG.
  • FIG. 3 is a diagram illustrating a display device according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a method of recognizing the age, sex, facial expression, and behavior of a person from a camera image according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a face recognition result and a behavior recognition result according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a service providing method when the advertisement system 1000 is applied to an airplane, according to an embodiment of the present invention.
  • FIG. 7 is a diagram of a computing device, in accordance with an embodiment of the present invention.
  • &quot comprise ", or " have ", and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component, but do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.
  • 'and / or' includes any combination of the listed items or any of the plurality of listed items.
  • 'A or B' may include 'A', 'B', or 'both A and B'.
  • an apparatus, a method, and a system for providing user-customized products, services, advertisements, and the like through information processing based on artificial intelligence algorithms e.g., deep learning algorithms
  • an artificial intelligence algorithm e.g., deep learning algorithm
  • recognizes various information e.g., user's facial expression, age, behavior, sex, or motion
  • various information e.g., user's facial expression, age, behavior, sex, or motion
  • embodiments of the present invention will be described herein taking an example in which artificial intelligence technology is a deep learning technology.
  • a user is detected and tracked through a camera installed (or attached) to a display device.
  • the behavior, emotion, age, or gender of the user being tracked is estimated and the age, gender, and mood of the user are analyzed.
  • the content, the goods, and the service are exposed to the user, and the payment for the goods is performed through the display device.
  • the payment is completed, the product is delivered to the user.
  • an 'advertisement system' for providing a personalized advertisement and a purchase service using estimation data on a customer's facial expression, behavior, sex. It is possible to automatically distinguish between people and objects, and to estimate the emotion, age, and sex of the person being traced. Then, the advertisement system can recommend the advertisements, products, and services specialized for each customer using the estimation result.
  • the deep learning model applied to the advertisement system learns representation in which a large amount of data is input by itself and a statistical characteristic of the data is well expressed.
  • the present invention can have excellent performance in various cognitive technology fields.
  • FIG. 1 is a diagram of an advertising system, in accordance with an embodiment of the present invention.
  • the advertisement system 1000 can provide personalized advertisement and personalized goods purchase service using at least one of face recognition recognition data, age estimation data, gender estimation data, and behavior recognition data. That is, the advertisement system 1000 can recognize and analyze a customer's facial expression, age, sex, or behavior, and provide an advertisement and a product purchase service specialized for a customer.
  • the advertisement system 1000 can use a deep learning algorithm that recognizes various information (e.g., facial expression, age, sex, or behavior) of the user and can distinguish characteristics according to the user's situation.
  • the deep learning algorithm applied to the advertisement system 1000 can estimate the emotion, sex, and age of the user and / or recognize the behavior of the user.
  • the advertisement system 1000 is applied to an aircraft environment as an example.
  • the advertisement system 1000 can be applied to an environment in which a display device is installed (for example, an aircraft carrying a person, a train, etc.).
  • the present invention may be applied to a vehicle in which a display device is installed individually (e.g., 1: 1 aware) for each of the users.
  • the advertisement system 1000 may include an information analysis unit IA10, an advertisement providing unit 400, and a purchase processing unit 500.
  • the information analysis unit IA10 can analyze the user information regarding the age, facial expression, sex, or behavior of the user from the camera image.
  • the information analysis unit IA10 may use a deep learning algorithm including an object tracking algorithm, a facial expression recognition algorithm, a gender estimation algorithm, and an age estimation algorithm to track a user from a camera image, , Estimate the user's gender and estimate the age of the user.
  • the information analysis unit IA10 can recognize a user's behavior using a deep learning algorithm including a behavior recognition algorithm.
  • the information analysis unit IA10 includes a human detection unit 110, a human tracking unit 120, a face detection unit 130, a behavior recognition unit 210, a behavior based user information analysis unit 220, 310, an age estimating unit 320, a sex estimating unit 321, and a face based user information analyzing unit 330.
  • the human detection unit 110 can detect a person from a camera image.
  • the human tracking unit 120 may track a person detected by the human detection unit 110 in an image. Specifically, the human tracking unit 120 can use an object tracking algorithm. For example, the object tracking algorithm of the human tracking unit 120 may predict a position of an object and compare the predicted object position with the actually detected position. The object tracking algorithm of the human tracking unit 120 can repeat the process of improving the prediction accuracy of the next position and improving the tracking stability through the position comparison.
  • the face detection unit 130 can detect the face region from the person detected by the human detection unit 110.
  • the behavior recognition unit 210 can recognize a person's behavior (e.g., walking, standing, sitting, jumping, arm shaking, etc.) through a behavior recognition algorithm.
  • the behavior recognition algorithm of the behavior recognition unit 210 is based on a two-stream convolutional neural network (CNN) structure using an RGB (red, green, blue) image and an optical flow, Behavior class, recognition speed, recognition accuracy, model operating environment, etc.) can be designed and upgraded.
  • the behavior recognition algorithm of the behavior recognition unit 210 may perform data set addition learning to improve the accuracy in various environments (e.g., viewpoint, brightness, and other objects).
  • the behavior-based user information analysis unit 220 can analyze behavior-based user information.
  • the facial expression recognizing unit 310 can recognize facial expressions (e.g., anger, fear, sadness, happiness, surprise, disgust, neutral, etc.) of a person using a facial expression recognition algorithm.
  • the facial expression recognition algorithm of the facial expression recognition unit 310 can learn a CNN model using ImageNet consisting of about one million or more images and obtain a deep CNN model for facial expression recognition have.
  • the facial expression recognition algorithm of the facial expression recognition unit 310 can proceed to fine-tuning the obtained deep CNN model and improve the performance of the deep CNN model.
  • the age estimator 320 can estimate the age of a person using an age estimation algorithm based on a face of a person. Specifically, the age estimation algorithm of the age estimating unit 320 can improve the accuracy of the age estimation by using a method of detecting the face while changing the face angle. The age estimating algorithm of the age estimating unit 320 can learn the deep CNN model through the image net, and transfer learning can be performed through the data set to obtain a model for estimating the age. The age estimated by the age estimating unit 320 can be used to estimate a person's current emotion.
  • the gender estimating unit 321 can estimate a sex of a person using a gender estimation algorithm.
  • the face-based user information analyzing unit 330 uses the facial expression recognition result of the facial expression recognition unit 310, the age estimation result of the age estimation unit 320, and the gender estimation result of the sex estimation unit 321, Can be analyzed.
  • the advertisement providing unit 400 may display a simplified advertisement (e.g., a teaser advertisement) for the user through the display device based on the user information analyzed by the information analyzing unit IA10. Then, the advertisement providing unit 400 may display the full advertisement (or detailed advertisement) including more information than the informal advertisement through the display device, based on the degree of concentration indicating the degree to which the user concentrates on the informative advertisement.
  • a simplified advertisement e.g., a teaser advertisement
  • the advertisement providing unit 400 may display the full advertisement (or detailed advertisement) including more information than the informal advertisement through the display device, based on the degree of concentration indicating the degree to which the user concentrates on the informative advertisement.
  • the advertisement providing unit 400 may use at least one of the analysis result of the behavior-based user information analyzing unit 220 and the analysis result of the face-based user information analyzing unit 330 to determine an advertisement and a product suitable for the user have. For example, the advertisement providing unit 400 matches the analysis result of the behavior-based user information analyzing unit 220 with a predefined behavior pattern, and controls the provision of the advertisement (or product) according to the matching result (e.g., Start display, stop display, change display ad, change display size, provide detailed product information, etc.). If user behavior that explicitly or implicitly denies viewing the advertisement (or product) is analyzed, the advertisement provider 400 may change or stop the display of the advertisement (or product) according to the analysis result.
  • a method by which the advertisement providing unit 400 determines an advertisement (or a product) suitable for a user by using the analysis result of the face-based user information analyzing unit 330 will be described later with reference to FIG.
  • the advertisement provider 400 can display advertisements and products suitable for a user through a display device included in the advertisement system 1000.
  • the advertisement providing unit 400 may calculate the concentration of the informative advertisement through eye tracking of the user's eyes when the informative advertisement is displayed through the display device, It is possible to determine whether to display the formal advertisement based on the concentration and the user's facial expression. Then, the advertisement providing unit 400 may determine whether to display the regular advertisement continuously through the display device based on the concentration indicating the degree to which the user concentrates on the formal advertisement and the user's expression on the formal advertisement.
  • the purchase processing unit 500 can perform the purchase processing for the product selected by the user. Specifically, the purchase processing unit 500 may perform settlement processing on a commodity in a variety of ways when order information about a commodity related to an advertisement (for example, a short advertisement, a formal advertisement) is input. For example, when the goods order information is inputted through the touch screen of the display device, the purchase processing unit 500 can wirelessly transmit the goods order information to the mobile terminal having the payment processing function (e.g., the holding terminal of the flight attendant) have. For example, the purchase processing unit 500 may proceed with the settlement processing through the built-in payment module or proceed through the payment terminal of the flight attendant.
  • the payment processing function e.g., the holding terminal of the flight attendant
  • the purchase processing unit 500 may match the analysis result of the behavior-based user information analysis unit 220 with a predefined behavior pattern, and control the purchase processing according to the matching result. If the user behavior that affirms the purchase of the product related to the advertisement is analyzed, the purchase processing unit 500 may proceed with the purchase procedure for the product according to the analysis result.
  • FIG. 2 is a diagram illustrating a method for providing personalized advertisement and personalized product purchase services according to an embodiment of the present invention.
  • FIG. And Figure 3 is a view of a display device according to an embodiment of the present invention.
  • the advertisement system 1000 can analyze the facial expression, age, sex, or behavior of the passenger through face detection, facial expression recognition, age estimation, gender estimation, or behavior recognition (S100). Specifically, the advertisement system 1000 can analyze face recognition, facial expression, sex, age (age range), or behavior through a camera or an image.
  • a display eg, an inflight entertainment and connectivity (IFEC)
  • IFEC inflight entertainment and connectivity
  • the advertisement system 1000 may extract the topic information using analyzed emotion information, age information, gender information, or the like (S110). Specifically, the advertisement system 1000 can extract topic information (e.g., class data) for database information search using data analyzing at least one of the age, sex, and emotion state of the passenger.
  • topic information e.g., class data
  • the advertisement system 1000 can search for advertisements and goods related to the extracted topic information (S120). Specifically, the advertisement system 1000 can search the database for data related to classification and topic information according to topic information. The advertisement system 1000 can confirm the extracted advertisement and product information with respect to the retrieved data.
  • the advertisement system 1000 can display the searched advertisement and goods through the display device (S130).
  • the display device of the advertisement system 1000 may be a display device DS10 installed in the customer's seat in the airplane, as illustrated in FIG.
  • the screen of the display device DS10 may include a commodity-exposed area R10 and an advertisement-exposed area R20.
  • the goods are displayed in the goods-exposed area R10, and the advertisement is displayed in the advertisement-exposed area R20.
  • the merchandise exposing area R10 or the advertisement exposure area R20 may occupy the entire screen of the display device DS10 by user input or the like.
  • the top of the display device DS10 may include a camera CAM1 for the recognition and estimation operations described herein.
  • the advertisement system 1000 can display an advertisement and a commodity suitable for topic information (for example, an in-flight specification commodity) in a simple form (or an abbreviated form) through the display device DS10 ).
  • the advertisement system 1000 may refer to the following table 1 (product and advertisement classification) and Table 2 (classification of exposure of a product and an advertisement), and according to the analyzed customer's sex and age, Can be briefly exposed (e.g., displayed through a display device).
  • the advertisement system 1000 can sequentially display a plurality of goods (or advertisements).
  • the advertisement system 1000 displays men's skincare A, male makeup B, (Or advertisements) belonging to men's body / hair (C), men's fragrance (D), men's bag / purse (E), men's watch / As shown in FIG.
  • the advertisement system 1000 may calculate the concentration of the advertisements (or the product contents) exposed in an abbreviated form in step S131 (for example, calculating the time that the eye watches the screen of the display device through eye tracking) Eg, facial recognition based on facial recognition algorithms.
  • the advertisement system 1000 may determine whether to expose (e.g., display through the display device) detailed advertisements (or detailed product information) based on the analyzed concentration and the facial expression (hereinafter, step S132).
  • the advertisement system 1000 can display a detailed advertisement (or detailed product information) of the male skin care A through the display device.
  • the advertisement system 1000 can determine the degree of interest in the advertisement (or product) through the concentration and the facial expression (e.g., facial expression recognition based on the facial expression recognition algorithm) on the detailed advertisement (or product) exposed in step S132. For example, if customer interest for an ad (or product) of a male skincare (A) is greater than a threshold, the ad system 1000 continuously exposes the ad (or product) of the male skincare (A) (E.g., display through a display device). The advertisement system 1000 may expose an advertisement or product to a customer based on a predetermined maximum number of exposures (e.g., three times) and a maximum exposure time (e.g., three minutes). For example, if the customer interest for the ad (or product) of the male skincare A is greater than the threshold value, the ad system 1000 may send the advertisement (or product) of the male skincare A up to three times It can be repeatedly displayed for up to 3 minutes.
  • a predetermined maximum number of exposures e.g.,
  • the advertisement system 1000 can work with a customer's smartphone. Specifically, the advertisement system 1000 may transmit information about an advertisement or a product to a smartphone. For example, the advertisement system 1000 may transmit a uniform resource locator (URL) to the smartphone of the customer so that details of the advertisement can be confirmed. As another example, the advertisement system 1000 may transmit a URL to the customer's smartphone to confirm the details of the product.
  • a uniform resource locator URL
  • the advertisement system 1000 can perform a payment process when information necessary for ordering goods is input (S140). Specifically, when the orderer information (e.g., customer name, customer passport number, flight number (e.g., automatically inputable), etc.) of the exposed goods is inputted, the advertisement system 1000 transmits the goods Order information (e.g., product information, orderer information, etc.). For example, when the orderer information about the goods of the men's skincare (A) is inputted through the touch screen of the display device, the advertisement system 1000 transmits the order information of the goods of the male skincare (A) To the holding terminal of the mobile terminal. The holding terminal of the flight attendant can confirm the product order information.
  • the orderer information e.g., customer name, customer passport number, flight number (e.g., automatically inputable), etc.
  • the advertisement system 1000 transmits the goods Order information (e.g., product information, orderer information, etc.).
  • the advertisement system 1000 transmits the order information of the goods of the male skincare (A) To the holding terminal of the
  • payment processing e.g., card payment processing, etc.
  • payment processing e.g., card payment processing, etc.
  • the advertisement system 1000 may store analysis information (e.g., pattern data, degree of purchase decision according to the degree of concentration on an advertisement (or product), etc.) for the customer who purchased the product in the database.
  • the advertisement system 1000 can perform deep learning using the information stored in the database. Specifically, the advertisement system 1000 may collect the pattern data for the product purchase customer and the object-related data including the goods (or contents) selected by the customer.
  • the advertisement system 1000 can perform pattern analysis on the customer through continuous learning based on the collected pattern data and object related data.
  • the advertisement system 1000 can establish the relationship between the passenger attribute and the advertisement attribute and display the advertisement information or the product information extracted from the database to the similar passenger.
  • the advertisement system 1000 can receive feedback on the advertisement information extracted from the database or the response to the product information, and can judge suitability for an advertisement, a product, or a customer using the feedback.
  • FIG. 4 is a diagram illustrating a method of recognizing the age, sex, facial expression, and behavior of a person from a camera image according to an embodiment of the present invention.
  • an information analyzing apparatus 600 that learns data through a deep learning technique detects a person from an image projected on a camera, recognizes (or estimates) an age, sex, And the recognition result can be fed back.
  • the information analysis apparatus 600 may include an information analysis unit IA10.
  • the information analysis apparatus 600 can detect a person from the image of the camera and detect the body from the detected person using the deep learning algorithm.
  • the information analysis apparatus 600 can recognize the behavior from the detected body.
  • the information analysis apparatus 600 can recognize behaviors such as walking, standing, sitting, jumping, and waving, and can output a behavior recognition result.
  • the information analysis apparatus 600 can detect the face from the detected person.
  • the information analyzing apparatus 600 can recognize the facial expression and estimate the age and sex from the detected face.
  • the information analysis apparatus 600 can recognize facial expressions such as anger, fear, sadness, happiness, surprise, nausea, and neuter, and output a face recognition (or estimation) result.
  • the information analyzing apparatus 600 determines whether the camera image IMG1 is 'standing', 'smiling', 'early 20' Can be fed back as the user information.
  • FIG. 5 is a diagram illustrating a face recognition result and a behavior recognition result according to an embodiment of the present invention.
  • the information analyzing apparatus 600 can calculate the moving angles of the eyes, nose, mouth, and forehead from the camera image IMG2 and recognize (or estimate) the facial expressions according to the calculated angles. For example, when the camera image IMG3a is input, the information analysis apparatus 600 can recognize the fear expression based on the moving angles of the eyes, mouth, and forehead. In another example, when the camera image IMG3b is input, the information analyzing apparatus 600 can recognize the angular expression based on the moving angles of the eyes, nose, mouth, and forehead. In another example, when the camera image IMG3c is input, the information analyzing apparatus 600 can recognize the grief expression based on the moving angle of the eyes and nose.
  • the information analysis apparatus 600 can recognize the joyous expression based on the moving angle of the eyes, nose, and mouth.
  • the information analyzing apparatus 600 can recognize the disgusting expression based on the moving angle of the eyes, nose, and tail.
  • the information analyzing apparatus 600 can recognize the surprise expression based on the moving angle of the eyes, nose, and mouth.
  • the information analyzing apparatus 600 can calculate the movement of the limbs and the movement of the fingers based on the camera image IMG4 with respect to the head and recognize (or estimate) the behavior according to the calculated movement. For example, when the camera image IMG5a is input, the information analysis apparatus 600 can recognize the sitting behavior based on the angle and the motion of the leg. In another example, when the camera image IMG5b is input, the information analysis apparatus 600 can recognize the rising behavior based on the angle and motion of the leg. In another example, when the camera image IMG5c is input, the information analysis apparatus 600 can recognize the head or body turning behavior based on the head angle change and movement. In another example, when the camera image IMG5d is input, the information analysis apparatus 600 can recognize the approaching action based on the overlapping and movement of a plurality of objects.
  • FIG. 6 is a diagram illustrating a service providing method when the advertisement system 1000 is applied to an airplane, according to an embodiment of the present invention.
  • a display device (DS10) may be installed in the customer seat in the aircraft.
  • the advertisement system 1000 can recognize a person (user) in the camera image through the camera (S210). For example, the advertising system 1000 may recognize a user sitting in a seat with a neutral facial expression or a fearful facial expression. In this case, the advertisement system 1000 can prepare to publish advertisement or product information.
  • the advertisement system 1000 can estimate the age and gender of the recognized user (S220).
  • the advertisement system 1000 may comprehensively consider the estimated age, sex, or emotion, and may provide a recommendation advertisement corresponding thereto (S230).
  • the advertisement system 1000 can estimate the user's pupil movement, emotion (expression), and behavior with respect to the recommended advertisement (S240).
  • the advertisement system 1000 may provide the extended advertisement or provide another advertisement by considering the estimated result in step S240 (S251, S252). Specifically, if the result of the estimation in step S240 indicates that the user interest for the recommended advertisement in step S230 is equal to or greater than the reference value, the advertisement system 1000 may provide the extended advertisement. In a case where the result of estimation in step S240 indicates that the user interest for the recommended advertisement in step S230 is less than the reference value, the advertisement system 1000 may provide another advertisement.
  • the advertisement system 1000 may expose the detailed information of the goods related to the provided advertisement based on the user action (S260).
  • the advertisement system 1000 may determine that the user interest for the advertisement (or product) is less than the reference value (e.g., no interest).
  • the advertisement system 1000 may determine that the user's interest in the advertisement (or product) is above a reference value have.
  • the advertisement system 1000 determines that the user interest for the advertisement (or product) is less than the reference value if the user's facial expression is a neutral facial expression or a fear facial expression while the advertisement is being provided.
  • the advertisement system 1000 determines that the user does not desire additional product information, Can be provided.
  • the advertisement system 1000 determines that the user desires additional product information, .
  • the advertisement system 1000 may perform a purchase procedure for the goods when the user selects the goods or analyzes the user behavior that affirms the purchase of the goods (S270).
  • the advertisement system 1000 can accumulate the data of each step illustrated in FIG. 6 as the deep learning-based learning data, and can upgrade the deep learning model by using it.
  • a service providing method of the advertisement system 1000 is as follows.
  • the information analysis unit IA10 of the advertisement system 1000 analyzes user information (e.g., first user information) regarding at least one of the user's sex, age, and eye tracking from the camera image, (E.g., second user information) regarding the facial expressions and the eye tracking.
  • user information e.g., first user information
  • age e.g., age
  • eye tracking e.g., eye tracking from the camera image
  • the advertisement providing unit 400 of the advertisement system 1000 can determine the topic information for the user based on the first user information.
  • the advertisement providing unit 400 of the advertisement system 1000 may display the first advertisement related to the topic information (for example, a short advertisement) through the display device DS10.
  • the advertisement providing unit 400 of the advertisement system 1000 is configured such that the user's eye focus is directed toward the screen area of the display device DS10 based on the eye tracking information of the first user information When judged, the first advertisement can be displayed through the display device DS10.
  • the advertisement providing unit 400 of the advertisement system 1000 may be configured to provide a degree of concentration based on the second user information (e.g., eye movement tracking, user facial expression, etc.) It can be judged.
  • the second user information e.g., eye movement tracking, user facial expression, etc.
  • the advertisement provider 400 of the advertisement system 1000 can display a second advertisement (e.g., a formal advertisement) including more information than the first advertisement on the display device DS10 based on the first concentration have.
  • the advertisement provider 400 of the advertisement system 1000 can calculate the first degree of concentration through eye tracking of the user's eyes, when the first advertisement is displayed through the display device DS10.
  • the advertisement providing unit 400 of the advertisement system 1000 can determine whether to display the second advertisement based on the user expression and the first concentration for the first advertisement.
  • the eye tracking is used to track whether the user's eye focus is out of the screen area of the display device DS10 and how long the eye focus escapes the screen area when the advertisement is displayed through the display device DS10 .
  • the user's expression may include the degree of change in the distance between the eyebrows (the distance between the two eyebrows), the degree of change in mouth shape, the degree of change in mouth tail (both corners of mouth) and the like.
  • the advertisement providing apparatus 400 of the advertisement system 1000 continuously displays the second advertisement on the basis of the second concentration indicating the degree to which the user concentrates on the second advertisement and the user expression on the second advertisement, ≪ / RTI >
  • the information analyzing unit IA10 of the advertisement system 1000 may display user information (e.g., third user information) related to an action taken by the user while an advertisement (e.g., a short advertisement or a formal advertisement) is displayed through the display device DS10, Can be analyzed.
  • the user's actions include the actions and degree of turning the body or head, the action and degree of shaking, the hand movements, the degree of distance change between the display device DS10 and the user's face, the behavior interfacing the display device DS10, The behavior of touching the display device DS10) and its degree, the action of moving the head, and the like.
  • the advertisement provider 400 of the advertisement system 1000 may determine whether to provide advertisement (e.g., whether to provide a formal advertisement or the like) or to provide additional product information related to the advertisement based on the third user information.
  • the computing device TN100 of FIG. 7 may be the device described herein (e.g., a device applied to the advertisement system 1000, etc.).
  • the computing device TN100 may be the information analysis device 600.
  • the computing device TN100 may be an advertisement providing device including the advertisement providing device 400.
  • the computing device TN100 may be a purchase processing device including a purchase processing unit 500.
  • computing device TN100 may include at least one processor TN110, a communication device TN120, and a memory TN130. Further, the computing device TN100 may further include a storage device TN140, an input interface device TN150, an output interface device TN160, and the like. The components included in the computing device TN100 may be connected by a bus (TN170) and communicate with each other.
  • a bus TN170
  • the processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140.
  • the processor TN110 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.
  • the processor TN110 may be configured to implement the procedures, functions, methods, and the like described in connection with the embodiments of the present invention.
  • the processor TN110 may control each component of the computing device TN100.
  • Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110.
  • Each of the memory TN130 and the storage device TN140 may be constituted of at least one of a volatile storage medium and a nonvolatile storage medium.
  • the memory TN130 may be configured with at least one of a read only memory (ROM) and a random access memory (RAM).
  • the communication device (TN 120) can transmit or receive a wired signal or a wireless signal.
  • the communication device (TN 120) can be connected to a network to perform communication.
  • the embodiments of the present invention are not only implemented by the apparatuses and / or methods described so far, but may also be realized through a program realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

광고 시스템이 제공된다. 상기 광고 시스템은, 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보를 분석하고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 정보 분석부; 및 상기 제1 사용자 정보에 기초해 상기 사용자를 위한 화제 정보를 판단하고, 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 광고 제공부를 포함한다.

Description

인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법
본 발명은 표정, 행동, 성별, 나이 등에 관한 인식 및 추정 데이터를 활용하여 개인 맞춤형 광고 및 상품 구매 서비스를 제공하는 장치, 시스템, 및 방법에 관한 것이다.
인간의 뇌 기능을 모사한 지능을 가진 기계를 만드는 것은, IT(information technology)의 태동 이후부터 계속된 과제였다. 1950년대 태동한 기호적 인공지능(symbolic AI(artificial intelligence))의 시도가 시작되었다. 뇌의 기본적인 계산 단위로 여겨진 신경 세포를 모사한 인공 신경망(neural network)에 기반한 정보처리 기계의 발전으로 인해, 글자 인식, 간단한 물체 인식 등의 처리가 가능하게 되었다.
하지만 실제 세계의 복잡한 정보(예, 웹상의 자연 이미지, 음성, 텍스트, 유튜브 동영상, 사람의 얼굴, 표정, 자세, 행동 등)를 처리하기에는 한계가 있다. 이러한 문제를 해결하는 방법에는 딥러닝 기술이 있다. 예를 들어, 130만장의 이미지 라벨링 데이터에 기반한 물체인식 경진대회(예, 2012년 Large Scale Visual Recognition Challenge)에서 딥러닝(deep learning) 기술을 이용한 그룹이 기존의 hand-crafted 특징을 이용한 컴퓨터 시각 기술(예, SIFT(scale invariant feature transform), HOG(histogram of oriented gradient) 등)보다 월등히 높은 성능을 보이면서 주목을 받게 되었다.
본 발명이 해결하고자 하는 과제는, 인공지능 기술을 이용해 사용자 맞춤형 제품, 서비스, 및 광고 등을 제공하고 이에 대한 구매 서비스를 제공하는 방법, 장치, 및 시스템을 제공하는 것이다.
본 발명의 실시예에 따르면, 광고 시스템이 제공된다. 상기 광고 시스템은, 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보를 분석하고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 정보 분석부; 및 상기 제1 사용자 정보에 기초해 상기 사용자를 위한 화제 정보를 판단하고, 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 광고 제공보를 포함할 수 있다.
상기 광고 제공부는, 상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하고, 상기 제1 집중도에 기초해 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이할 수 있다.
상기 광고 시스템은, 상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 구매 처리부를 더 포함할 수 있다.
상기 광고 제공부는, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈동자에 대한 눈 추적(eye tracking)을 통해 상기 제1 집중도를 계산하고, 상기 제1 광고에 대한 사용자 표정 및 상기 제1 집중도에 기초해 상기 제2 광고의 디스플레이 여부를 결정할 수 있다.
상기 광고 제공부는, 상기 사용자가 상기 제2 광고에 집중하는 정도를 나타내는 제2 집중도 및 상기 제2 광고에 대한 사용자 표정에 기초해, 상기 제2 광고를 계속적으로 상기 디스플레이 장치를 통해 디스플레이할 지 여부를 결정할 수 있다.
상기 구매 처리부는, 상기 상품에 대한 주문 정보가 입력되는 경우에, 상기 주문 정보를 결제 처리 기능을 가지는 이동 단말에 무선으로 전송할 수 있다.
상기 디스플레이 장치는 사람을 운송하는 운송 수단 내 고객 좌석에 설치될 수 있다.
상기 디스플레이 장치의 제1 스크린 영역에는 상기 제1 광고 및 상기 제2 광고가 디스플레이되고, 상기 디스플레이 장치의 제2 스크린 영역에는 상기 상품이 디스플레이될 수 있다.
상기 정보 분석부는, 물체 추적 알고리즘, 표정 인식 알고리즘, 성별 추정 알고리즘, 및 나이 추정 알고리즘을 포함하는 인공지능 알고리즘을 이용해, 상기 영상으로부터 상기 사용자를 추적하고 상기 사용자의 표정을 인식하고 상기 사용자의 성별을 추정하고 상기 사용자의 나이를 추정할 수 있다.
상기 광고 제공부는, 상기 사용자의 행동 및 기 정의된 행동 패턴 간의 매칭 결과를 이용해 광고 제공을 변경할 수 있다.
상기 눈 추적은, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 벗어나는지 여부, 그리고 상기 눈 초점이 상기 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함할 수 있다.
상기 광고 제공부는, 상기 제1 사용자 정보의 눈 추적 정보에 기초해 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 향하고 있는 것으로 판단되는 경우에, 상기 제1 광고를 디스플레이 장치를 통해 디스플레이할 수 있다.
상기 사용자 행동은, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에, 상기 사용자가 고개 또는 몸을 돌리는 행동, 손을 흔드는 행동, 및 상기 디스플레이 장치에 다가가는 행동 중 적어도 하나를 포함할 수 있다.
또한 본 발명의 다른 실시예에 따르면, 광고 시스템이 광고 및 상품 구매에 관한 서비스를 제공하는 방법이 제공된다. 상기 서비스 제공 방법은, 카메라의 영상으로부터 사용자의 성별 및 나이에 관한 제1 사용자 정보, 그리고 사용자의 표정 및 눈 추적(eye tracking)에 관한 제2 사용자 정보를 분석하는 단계; 상기 제1 사용자 정보에 기초해, 상기 사용자를 위한 화제 정보를 판단하는 단계; 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 단계; 상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하는 단계; 및 상기 제1 집중도 및 상기 제1 광고에 대한 사용자 표정에 기초해, 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이하는 단계를 포함할 수 있다.
상기 분석하는 단계는, 상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에 상기 사용자가 취하는 행동에 관한 제3 사용자 정보를 분석하는 단계를 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 제3 사용자 정보에 기초해, 상기 제2 광고의 제공 여부 또는 상기 제1 광고에 관련된 추가 상품 정보의 제공 여부를 결정하는 단계를 포함할 수 있다.
상기 서비스 제공 방법은 상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 사용자의 다양한 정보(예, 사용자 표정, 나이, 행동, 및 움직임 등)를 인식하여 사용자 맞춤형 제품, 서비스, 및 광고 등을 제공하고 이에 대한 구매 서비스를 제공하는 방법, 장치, 및 시스템이 제공될 수 있다.
또한 본 발명의 실시예에 따르면, 디스플레이 장치(또는 플랫폼)가 설치된 항공기, 열차 등에서 광고 및 상품 판매 매출이 향상될 수 있다.
또한 본 발명의 실시예에 따르면, 특정 개인이 앉는 자리에 맞는 광고가 특정 개인에게 노출되기 때문에, 효과 및 의미를 가지는 광고가 사용자에게 효율적으로 제공될 수 있다.
또한 본 발명의 실시예에 따르면, 사용자 반응이 사용자의 표정을 통해 인식되고 이를 통해 모아진 데이터(예, 호감 또는 비호감 등)와 실시간 데이터(예, 실시간 눈 추적 데이터, 실시간으로 인식하고 추정한 표정 및 행동 데이터 등)를 기반으로 사용자 별 광고 및 상품 판매 서비스가 제공되기 때문에, 광고 및 상품 판매의 만족도가 향상될 수 있다.
또한 본 발명의 실시예에 따르면, 종이 책자로 발행되던 면세품 판매가 디스플레이 장치를 통해 제공될 수 있기 때문에, 더 많은 상품 군이 구비될 수 있고, 종이 책자의 제작 비용이 절감될 수 있다.
도 1은 본 발명의 실시예에 따른, 광고 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른, 개인별 맞춤 광고와 개인별 맞춤 상품 구매에 관한 서비스를 제공하는 방법을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른, 디스플레이 장치를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른, 정보 분석 장치가 카메라 영상으로부터 사람의 나이, 성별, 표정, 및 행동 등을 인식하는 방법을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른, 얼굴 인식 결과 및 행동 인식 결과를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른, 광고 시스템(1000)이 항공기에 적용되는 경우의 서비스 제공 방법을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
이하에서는, 인공지능 알고리즘(예, 딥러닝 알고리즘)에 기반한 정보 처리를 통해 사용자 맞춤형 제품, 서비스, 및 광고 등을 제공하고 이에 대한 구매 서비스를 제공하는 장치, 방법, 및 시스템에 대하여 설명한다. 여기서, 인공지능 알고리즘(예, 딥러닝 알고리즘)은 사용자의 다양한 정보(예, 사용자 표정, 나이, 행동, 성별, 또는 움직임 등)를 인식하여, 개인의 상황에 따른 특성을 구분할 수 있다. 본 명세서에서는 설명의 편의를 위해, 인공지능 기술이 딥러닝 기술인 경우를 예로 들어 본 발명의 실시예를 설명한다. 다만 이는 예시일 뿐이며, 딥러닝 기술과 다른 인공지능 기술이 사용되는 경우에는 본 발명이 적용될 수 있다.
구체적으로, 디스플레이 장치에 설치(또는 부착)된 카메라를 통해 사용자가 감지 및 추적된다. 추적되는 사용자의 행동, 감정, 나이, 또는 성별 등이 추정되고, 이를 통해 그 사용자의 연령대, 성별, 및 기분이 분석된다. 이러한 분석 결과에 기초해, 콘텐츠, 상품, 및 서비스가 그 사용자에게 노출되고, 디스플레이 장치를 통해 상품에 대한 결제가 진행된다. 결제가 완료되면, 해당 상품이 그 사용자에게 전달된다.
즉, 본 발명의 실시예에 따른, 고객의 표정, 행동, 성별, 또는 나이 등에 관한 추정 데이터를 활용하여 개인 맞춤형 광고와 구매 서비스를 제공하는 시스템(이하 '광고 시스템')은, 카메라 또는 영상을 통해 사람과 물체를 자동으로 구분할 수 있고, 추적된 사람에 대한 감정, 나이, 및 성별 등을 추정할 수 있다. 그리고 광고 시스템은 상기 추정 결과를 이용해, 각 고객에게 특화된 광고, 상품, 및 서비스를 추천할 수 있다.
기존의 컴퓨터 비전(computer vision) 기술은 특정한 태스크(task)에 맞춰진 특징들을 가공하여 사용한다. 하지만 본 발명의 실시예에 따른 광고 시스템에 적용되는 딥러닝 모델은, 스스로 대량의 데이터를 입력 받아 그 데이터의 통계적 특성을 잘 표현하는 레프리젠테이션(representation)을 학습한다. 이를 통해, 본 발명은 다양한 인지 기술 분야에서 뛰어난 성능을 가질 수 있다.
도 1은 본 발명의 실시예에 따른, 광고 시스템을 나타내는 도면이다.
광고 시스템(1000)은 표정 인식 데이터, 나이 추정 데이터, 성별 추정 데이터, 및 행동 인식 데이터 중 적어도 하나를 이용하여, 개인별 맞춤 광고와 개인별 맞춤 상품 구매 서비스를 제공할 수 있다. 즉, 광고 시스템(1000)은 고객의 표정, 나이, 성별, 또는 행동 등을 인식 및 분석하여, 고객에 특화된 광고 및 상품 구매 서비스를 제공할 수 있다.
광고 시스템(1000)은 사용자의 다양한 정보(예, 표정, 나이, 성별, 또는 행동 등)를 인식하여 사용자의 상황에 따른 특성을 구분할 수 있는 딥러닝 알고리즘을 사용할 수 있다. 광고 시스템(1000)에 적용되는 딥러닝 알고리즘은 사용자의 감정, 성별, 및 나이를 추정하고 그리고/또는 사용자의 행동을 인식할 수 있다.
이하에서는, 설명의 편의를 위해서 광고 시스템(1000)이 항공기 환경에 적용된 경우를 예로 들어 설명한다. 하지만 이는 예시일 뿐이며, 광고 시스템(1000)은 디스플레이 장치가 설치된 환경(예, 사람을 운송하는 항공기, 열차 등)에 적용될 수 있다. 예를 들어, 본 발명은 디스플레이 장치가 사용자 각각을 위해 개별적으로(예, 1:1 인식) 설치되는 운송 수단에 적용될 수 있다.
구체적으로, 광고 시스템(1000)은 정보 분석부(IA10), 광고 제공부(400), 및 구매 처리부(500)를 포함할 수 있다.
정보 분석부(IA10)는 카메라의 영상으로부터, 사용자의 나이, 표정, 성별, 또는 행동에 관한 사용자 정보를 분석할 수 있다. 예를 들어, 정보 분석부(IA10)는 물체 추적 알고리즘, 표정 인식 알고리즘, 성별 추정 알고리즘, 및 나이 추정 알고리즘을 포함하는 딥러닝(deep learning) 알고리즘을 이용해, 카메라 영상으로부터 사용자를 추적하고 사용자의 표정을 인식하고 사용자의 성별을 추정하고 사용자의 나이를 추정할 수 있다. 다른 예를 들어, 정보 분석부(IA10)는 행동 인식 알고리즘을 포함하는 딥러닝 알고리즘을 이용해, 사용자의 행동을 인식할 수 있다.
구체적으로, 정보 분석부(IA10)는 사람 검출부(110), 사람 추적부(120), 얼굴 검출부(130), 행동 인식부(210), 행동 기반 사용자 정보 분석부(220), 표정 인식부(310), 나이 추정부(320), 성별 추정부(321), 및 얼굴 기반 사용자 정보 분석부(330)를 포함할 수 있다.
사람 검출부(110)는 카메라의 영상으로부터 사람을 검출할 수 있다.
사람 추적부(120)는 사람 검출부(110)에 의해 검출된 사람을 영상 내에서 추적(track)할 수 있다. 구체적으로, 사람 추적부(120)는 물체 추적 알고리즘을 사용할 수 있다. 예를 들어, 사람 추적부(120)의 물체 추적 알고리즘은 물체가 어떤 위치로 갈지 예측하고, 상기 예측된 물체 위치와 실제로 검출된 위치를 비교할 수 있다. 그리고 사람 추적부(120)의 물체 추적 알고리즘은 위치 비교를 통해, 다음 위치의 예측 정확도를 향상시키고, 추적 안정성을 향상시키는 과정을 반복할 수 있다.
얼굴 검출부(130)는 사람 검출부(110)에 의해 검출된 사람으로부터, 얼굴 영역을 검출할 수 있다.
행동 인식부(210)는 행동 인식 알고리즘을 통해, 사람의 행동(예, 걷기, 서있기, 앉아있기, 점프, 팔흔들기 등)을 인식할 수 있다. 구체적으로, 행동 인식부(210)의 행동 인식 알고리즘은 RGB(red, green, blue) 영상과 광학 흐름(optical flow)을 이용하는 2 스트림 CNN(convolutional neural network) 구조를 기본으로, 여러 조건(예, 행동 클래스, 인식 속도, 인식 정확도, 모델 작동 환경 등)을 만족하는 CNN 모델을 설계 및 고도화할 수 있다. 행동 인식부(210)의 행동 인식 알고리즘은 여러 환경(예, 영상 시점, 밝기, 다른 물체에 의한 가려짐 등)에서의 정확도 향상을 위해서, 데이터세트 추가 학습을 수행할 수 있다.
행동 기반 사용자 정보 분석부(220)는 행동 인식부(210)의 행동 인식 결과를 이용해, 행동 기반 사용자 정보를 분석할 수 있다.
표정 인식부(310)는 표정 인식 알고리즘을 이용해, 사람의 표정(예, 화남, 두려움, 슬픔, 행복, 놀람, 역겨움, 중립 등)을 인식할 수 있다. 표정 인식부(310)의 표정 인식 알고리즘은 약 100만 장 이상의 이미지로 구성된 이미지넷(ImageNet)을 이용하여 CNN 모델을 학습시킬 수 있고, 얼굴 표정 인식에 대한 딥(deep) CNN 모델을 획득할 수 있다. 표정 인식부(310)의 표정 인식 알고리즘은 획득된 딥 CNN 모델의 미세 조정(fine-tuning)을 진행할 수 있고, 딥 CNN 모델의 성능을 향상시킬 수 있다.
나이 추정부(320)는 사람의 얼굴에 기반한 나이 추정 알고리즘을 이용해, 사람의 나이를 추정할 수 있다. 구체적으로, 나이 추정부(320)의 나이 추정 알고리즘은 얼굴 각도를 변화시키며 얼굴을 검출하는 방법을 사용하여, 나이 추정의 정확도를 향상시킬 수 있다. 나이 추정부(320)의 나이 추정 알고리즘은 이미지넷을 통해 딥 CNN 모델을 학습시킬 수 있고, 이에 대한 전이 학습(transfer learning)을 데이터세트를 통해 수행하여 나이 추정을 위한 모델을 획득할 수 있다. 나이 추정부(320)에 의해 추정되는 나이는 사람의 현재 감정을 추정하는데 이용될 수 있다.
성별 추정부(321)는 성별 추정 알고리즘을 이용해, 사람의 성별을 추정할 수 있다.
얼굴 기반 사용자 정보 분석부(330)는 표정 인식부(310)의 표정 인식 결과, 나이 추정부(320)의 나이 추정 결과, 및 성별 추정부(321)의 성별 추정 결과를 이용해, 얼굴 기반 사용자 정보를 분석할 수 있다.
광고 제공부(400)는 정보 분석부(IA10)에 의해 분석된 사용자 정보에 기초해, 사용자를 위한 약식 광고(예, 티저 광고)를 디스플레이 장치를 통해 디스플레이할 수 있다. 그리고 광고 제공부(400)는 사용자가 약식 광고에 집중하는 정도를 나타내는 집중도에 기초해, 약식 광고 보다 더 많은 정보를 포함하는 정식 광고(또는 자세한 광고)를 디스플레이 장치를 통해 디스플레이할 수 있다.
구체적으로, 광고 제공부(400)는 행동 기반 사용자 정보 분석부(220)의 분석 결과 및 얼굴 기반 사용자 정보 분석부(330)의 분석 결과 중 적어도 하나를 이용해, 사용자에게 맞는 광고와 상품을 결정할 수 있다. 예를 들어, 광고 제공부(400)는 행동 기반 사용자 정보 분석부(220)의 분석 결과를 기 정의된 행동 패턴에 매칭하고, 상기 매칭 결과에 따라 광고(또는 상품)의 제공을 제어(예, 디스플레이 시작, 디스플레이 중단, 디스플레이 광고 변경, 디스플레이 크기 변경, 상세한 상품 정보 제공 등)할 수 있다. 만약 광고(또는 상품) 시청을 명시적으로 또는 암묵적으로 부정하는 사용자 행동이 분석되는 경우에, 광고 제공부(400)는 분석 결과에 맞게 광고(또는 상품)의 디스플레이를 변경하거나 중단할 수 있다. 광고 제공부(400)가 얼굴 기반 사용자 정보 분석부(330)의 분석 결과를 이용해 사용자에게 적합한 광고(또는 상품)를 결정하는 방법에 대해서는, 도 2를 참고하여 후술한다.
광고 제공부(400)는 사용자에게 맞는 광고와 상품을 광고 시스템(1000)에 포함된 디스플레이 장치를 통해 디스플레이할 수 있다.
예를 들어, 광고 제공부(400)는 약식 광고가 디스플레이 장치를 통해 디스플레이되는 경우에, 사용자의 눈동자에 대한 눈 추적(eye tracking)을 통해 약식 광고에 대한 집중도를 계산할 수 있고, 약식 광고에 대한 집중도 및 사용자 표정에 기초해 정식 광고의 디스플레이 여부를 결정할 수 있다. 그리고 광고 제공부(400)는 사용자가 정식 광고에 집중하는 정도를 나타내는 집중도 및 정식 광고에 대한 사용자 표정에 기초해, 정식 광고를 계속적으로 디스플레이 장치를 통해 디스플레이할 지 여부를 결정할 수 있다.
구매 처리부(500)는 사용자에 의해 선택된 상품에 대한 구매 처리를 수행할 수 있다. 구체적으로, 구매 처리부(500)는 광고(예, 약식 광고, 정식 광고)에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상품에 대한 결제 처리를 다양한 방식으로 수행할 수 있다. 예를 들어, 구매 처리부(500)는 디스플레이 장치의 터치 스크린을 통해 상품 주문 정보가 입력되는 경우에, 상품 주문 정보를 결제 처리 기능을 가지는 이동 단말(예, 승무원의 보유 단말)에 무선으로 전송할 수 있다. 다른 예를 들어, 구매 처리부(500)는 내장된 결제 모듈을 통해 결제 처리를 진행하거나 승무원의 보유 단말을 통해 결제 처리를 진행할 수 있다.
한편, 구매 처리부(500)는 행동 기반 사용자 정보 분석부(220)의 분석 결과를 기 정의된 행동 패턴에 매칭하고, 상기 매칭 결과에 따라 구매 처리를 제어할 수 있다. 만약 광고에 관련된 상품의 구매를 긍정하는 사용자 행동이 분석되는 경우에, 구매 처리부(500)는 분석 결과에 맞게 해당 상품에 대한 구매 절차를 진행할 수 있다.
도 2는 본 발명의 실시예에 따른, 개인별 맞춤 광고와 개인별 맞춤 상품 구매에 관한 서비스를 제공하는 방법을 나타내는 도면이다. 그리고 도 3은 본 발명의 실시예에 따른, 디스플레이 장치를 나타내는 도면이다.
광고 시스템(1000)은 얼굴 검출, 표정 인식, 나이 추정, 성별 추정, 또는 행동 인식 등을 통해, 승객의 표정, 나이, 성별, 또는 행동 등을 분석할 수 있다(S100). 구체적으로, 광고 시스템(1000)은 카메라 또는 영상을 통해, 얼굴 인식, 표정, 성별, 나이(연령대), 또는 행동 등을 분석할 수 있다. 기내(예, 기내 앞쪽, 고객 좌석 등)에 디스플레이(예, IFEC(inflight entertainment and connectivity)) 카메라가 설치될 수 있다.
광고 시스템(1000)은 분석된 감정 정보, 나이 정보, 또는 성별 정보 등을 이용해, 화제 정보를 추출할 수 있다(S110). 구체적으로, 광고 시스템(1000)은 승객의 나이, 성별, 및 감정 상태 중 적어도 하나를 분석한 데이터를 이용해, 데이터베이스 정보 검색을 위한 화제 정보(예, class data)를 추출할 수 있다.
광고 시스템(1000)은 추출된 화제 정보에 관련된 광고 및 상품을 검색할 수 있다(S120). 구체적으로, 광고 시스템(1000)은 화제 정보에 따른 분류와 화제 정보에 관련된 데이터를 데이터베이스에서 검색할 수 있다. 광고 시스템(1000)은 검색된 데이터에 관련하여 추출된 광고 및 상품 정보를 확인할 수 있다.
광고 시스템(1000)은 검색된 광고 및 상품을 디스플레이 장치를 통해 디스플레이할 수 있다(S130). 여기서, 광고 시스템(1000)의 디스플레이 장치는 도 3에 예시된 바와 같이, 항공기 내 고객 좌석에 설치된 디스플레이 장치(DS10)일 수 있다. 디스플레이 장치(DS10)의 스크린은 상품 노출 영역(R10)과 광고 노출 영역(R20)을 포함할 수 있다. 상품 노출 영역(R10)에는 상품이 디스플레이되고, 광고 노출 영역(R20)에는 광고가 디스플레이된다. 상품 노출 영역(R10) 또는 광고 노출 영역(R20)은 사용자 입력 등에 의해 디스플레이 장치(DS10)의 전체 스크린을 차지할 수도 있다. 디스플레이 장치(DS10)의 상단에는 본 명세서에서 기술된 인식 및 추정 동작을 위한 카메라(CAM1)가 포함될 수 있다.
구체적으로, 광고 시스템(1000)은 디스플레이 장치(DS10)를 통해, 화제 정보에 적합한 광고 및 상품(예, 기내 명세 상품)을 간략한 형태(또는 약식 형태)로 디스플레이할 수 있다(이하 'S131 과정'). 예를 들어, 광고 시스템(1000)은 아래의 표 1(상품 및 광고 구분) 및 표 2(상품 및 광고의 노출 대상 구분)를 참고하여, 분석된 고객의 성별 및 연령에 따라, 상품 및 광고를 간략하게 노출(예, 디스플레이 장치를 통해 디스플레이)할 수 있다. 고객에게 적합한 상품(또는 광고)이 복수인 경우에, 광고 시스템(1000)은 복수의 상품(또는 광고)을 순차적으로 디스플레이할 수 있다.
상품/광고 구분 상품/광고 종류
A 남성 스킨케어
A1 여성 스킨케어
B 남성 메이크업
B1 여성 메이크업
C 남성 바디/헤어
C1 여성 바디/헤어
D 남성 향수
D1 여성 향수
E 남성 가방/지갑
E1 여성 가방/지갑
F 남성 시계/주얼리
F1 여성 시계/주얼리
G 남성 패션/잡화
G1 여성 패션/잡화
H 디지털/리빙
I 식품
J 유아, 아동
K 스포츠
성별/연령 10대 이하 10~20대 30대 40대 50대 60대 이상
남자 I, J A, B, C, D, E, F, G A, B, C, D, E, F, G, H, J, K A, B, C, D, E, F, G, H, I, K D, E, F, G, H, I, K D, E, F, G, H, I, K
여자 I, J A1, B1, C1, D1, E1, F1, G1 A1, B1, C1, D1, E1, F1, G1, H, I, J A1, B1, C1, D1, E1, F1, G1, H, I, K D1, E1, F1, G1, H, I, K D1, E1, F1, G1, H, I, K
예를 들어, 광고 시스템(1000)이 분석한 고객의 성별이 남자이고 고객의 연령이 20대인 경우에, 광고 시스템(1000)은 디스플레이 장치를 통해, 남성 스킨케어(A), 남성 메이크업(B), 남성 바디/헤어(C), 남성 향수(D), 남성 가방/지갑(E), 남성 시계/주얼리(F), 및 남성 패션/잡화(G)에 속하는 상품들(또는 광고들)을 순차적으로 디스플레이할 수 있다.
광고 시스템(1000)은 S131 과정에서 약식 형태로 노출된 광고(또는 상품 콘텐츠)에 대한 집중도(예, 눈 추적(eye tracking)을 통해 눈동자가 디스플레이 장치의 스크린을 주시한 시간을 계산) 및 표정(예, 표정 인식 알고리즘에 기반한 표정 인식)을 분석할 수 있다. 광고 시스템(1000)은 분석된 집중도 및 표정에 기초해, 자세한 광고(또는 자세한 상품 정보)를 노출(예, 디스플레이 장치를 통해 디스플레이)할 지 여부를 결정할 수 있다(이하 'S132 과정'). 예를 들어, 남성 스킨케어(A)의 약식 광고에 대한 고객 집중도가 임계값 보다 크고(예, 고객이 약식 광고를 시청한 시간이 5초 이상인 경우) 분석된 해당 고객의 표정이 행복 표정인 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 자세한 광고(또는 자세한 상품 정보)를 디스플레이 장치를 통해 디스플레이할 수 있다.
광고 시스템(1000)은 S132 과정에서 노출된 자세한 광고(또는 상품)에 대해 집중도와 표정(예, 표정 인식 알고리즘에 기반한 표정 인식)을 통해 해당 광고(또는 상품)에 대한 관심도를 판단할 수 있다. 예를 들어, 남성 스킨케어(A)의 광고(또는 상품)에 대한 고객 관심도가 임계값 보다 큰 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 광고(또는 상품)를 지속적으로 노출(예, 디스플레이 장치를 통해 디스플레이)할 수 있다. 광고 시스템(1000)은 기 설정된 최대 노출 횟수(예, 3회) 및 최대 노출 시간(예, 3분)에 기초해, 광고 또는 상품을 고객에게 노출할 수 있다. 예를 들어, 남성 스킨케어(A)의 광고(또는 상품)에 대한 고객 관심도가 임계값 보다 큰 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 광고(또는 상품)를 최대 3회 그리고 최대 3분 동안에 반복적으로 디스플레이할 수 있다.
광고 시스템(1000)은 고객의 스마트폰과 연동할 수 있다. 구체적으로, 광고 시스템(1000)은 광고 또는 상품에 대한 정보를 스마트폰에 전송할 수 있다. 예를 들어, 광고 시스템(1000)은 광고에 대한 상세 내용을 확인할 수 있는 URL(uniform resource locator)을 고객의 스마트폰에 전송할 수 있다. 다른 예를 들어, 광고 시스템(1000)은 상품에 대한 상세 내용을 확인할 수 있는 URL을 고객의 스마트폰에 전송할 수 있다.
광고 시스템(1000)은 상품 주문을 위해 필수적으로 필요한 정보를 입력 받은 경우에, 결제 처리를 수행할 수 있다(S140). 구체적으로, 노출된 상품에 대한 주문자 정보(예, 고객 성명, 고객 여권번호, 비행기 편명(예, 자동으로 입력 가능) 등)가 입력되는 경우에, 광고 시스템(1000)은 승무원의 보유 단말에 상품 주문 정보(예, 상품 정보, 주문자 정보 등)를 전송할 수 있다. 예를 들어, 남성 스킨케어(A)의 상품에 대한 주문자 정보가 디스플레이 장치의 터치 스크린을 통해 입력되는 경우에, 광고 시스템(1000)은 남성 스킨케어(A)의 상품에 대한 상품 주문 정보를 승무원의 보유 단말에 전송할 수 있다. 승무원의 보유 단말은 상품 주문 정보를 확인할 수 있다.
주문된 상품이 고객에게 전달되면, 주문된 상품에 대한 결제 처리(예, 카드 결제 처리 등)가 승무원의 보유 단말을 통해 진행될 수 있다.
광고 시스템(1000)은 상품을 구매한 고객에 대한 분석 정보(예, 패턴 데이터, 광고(또는 상품)에 대한 집중도에 따른 구매 결정 정도 등)를 데이터베이스에 저장할 수 있다. 광고 시스템(1000)은 데이터베이스에 저장된 정보를 이용해 딥러닝을 수행할 수 있다. 구체적으로, 광고 시스템(1000)은 상품 구매 고객에 대한 패턴 데이터 그리고 고객에 의해 선택된 상품(또는 콘텐츠)를 포함하는 객체 관련 데이터를 수집할 수 있다. 광고 시스템(1000)은 수집된 패턴 데이터 및 객체 관련 데이터에 기반한 지속 학습을 통해, 고객에 대한 패턴 분석을 수행할 수 있다. 광고 시스템(1000)은 승객 속성 및 광고 속성 간의 관계를 설정할 수 있고, 유사한 승객에게 데이터베이스로부터 추출된 광고 정보 또는 상품 정보를 디스플레이할 수 있다. 광고 시스템(1000)은 데이터베이스에서 추출된 광고 정보 또는 상품 정보에 대한 반응을 피드백 받을 수 있고, 이를 이용해 광고, 상품, 또는 고객에 대한 적합성 여부를 판단할 수 있다.
도 4는 본 발명의 실시예에 따른, 정보 분석 장치가 카메라 영상으로부터 사람의 나이, 성별, 표정, 및 행동 등을 인식하는 방법을 나타내는 도면이다.
광고 시스템(1000)에서, 딥러닝 기술을 통해 데이터를 학습한 정보 분석 장치(600)가 카메라에 비춰진 영상으로부터 사람을 검출하고, 검출된 사람의 나이, 성별, 및 행동 등을 인식(또는 추정)하고, 인식 결과를 피드백할 수 있다. 구체적으로, 정보 분석 장치(600)은 정보 분석부(IA10)를 포함할 수 있다.
정보 분석 장치(600)는 딥러닝 알고리즘을 이용해, 카메라의 영상으로부터 사람을 검출하고, 검출된 사람으로부터 몸통을 검출할 수 있다. 정보 분석 장치(600)는 검출된 몸통으로부터 행동을 인식할 수 있다. 예를 들어, 정보 분석 장치(600)는 걷기, 서있기, 앉아있기, 점프, 팔 흔들기 등의 행동을 인식할 수 있고, 행동 인식 결과를 출력할 수 있다.
정보 분석 장치(600)는 검출된 사람으로부터, 얼굴을 검출할 수 있다. 정보 분석 장치(600)는 검출된 얼굴로부터, 표정을 인식할 수 있고 나이 및 성별을 추정할 수 있다. 예를 들어, 정보 분석 장치(600)는 화남, 두려움, 슬픔, 행복, 놀람, 역겨움, 중립 등의 표정을 인식할 수 있고, 얼굴 인식(또는 추정) 결과를 출력할 수 있다.
도 4에 예시된 바와 같이, 카메라 영상(IMG1)이 정보 분석 장치(600)에 입력되는 경우에, 정보 분석 장치(600)는 '서있는', '웃고 있는', '20대 초반', 및 '여성' 등과 같은 얼굴 인식 결과 및 행동 인식 결과를 사용자 정보로써 피드백할 수 있다.
도 5는 본 발명의 실시예에 따른, 얼굴 인식 결과 및 행동 인식 결과를 나타내는 도면이다.
정보 분석 장치(600)는 카메라 영상(IMG2)으로부터 눈, 코, 입, 및 미간 등의 움직이는 각도를 산출하고, 산출된 각도에 따라 표정을 인식(또는 추정)할 수 있다. 예를 들어, 카메라 영상(IMG3a)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 입, 및 미간의 움직이는 각도에 기초해, 두려움 표정을 인식할 수 있다. 다른 예를 들어, 카메라 영상(IMG3b)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 입, 및 미간의 움직이는 각도에 기초해, 화남 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3c)이 입력되는 경우에, 정보 분석 장치(600)는 눈 및 코의 움직이는 각도에 기초해, 슬픔 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3d)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 및 입의 움직이는 각도에 기초해, 기쁨 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3e)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 및 미간의 움직이는 각도에 기초해, 역겨움 표정을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG3f)이 입력되는 경우에, 정보 분석 장치(600)는 눈, 코, 및 입의 움직이는 각도에 기초해, 놀람 표정을 인식할 수 있다.
정보 분석 장치(600)는 머리를 기준으로 사지의 움직임 및 손가락의 움직임 등을 카메라 영상(IMG4)으로부터 산출하고, 산출된 움직임에 따라 행동을 인식(또는 추정)할 수 있다. 예를 들어, 카메라 영상(IMG5a)이 입력되는 경우에, 정보 분석 장치(600)는 다리의 각도 및 움직임에 기초해, 앉음 행동을 인식할 수 있다. 다른 예를 들어, 카메라 영상(IMG5b)이 입력되는 경우에, 정보 분석 장치(600)는 다리의 각도 및 움직임에 기초해, 일어남 행동을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG5c)이 입력되는 경우에, 정보 분석 장치(600)는 머리의 각도 변화 및 움직임에 기초해, 고개 또는 몸 돌리기 행동을 인식할 수 있다. 또 다른 예를 들어, 카메라 영상(IMG5d)이 입력되는 경우에, 정보 분석 장치(600)는 복수의 객체들의 겹침 및 움직임에 기초해, 가까이 가기 행동을 인식할 수 있다.
도 6은 본 발명의 실시예에 따른, 광고 시스템(1000)이 항공기에 적용되는 경우의 서비스 제공 방법을 나타내는 도면이다. 항공기 내 고객 좌석에는 디스플레이 장치(DS10)가 설치될 수 있다.
광고 시스템(1000)은 카메라를 통해, 카메라 영상 내 사람(사용자)을 인식할 수 있다(S210). 예를 들어, 광고 시스템(1000)은 중립적인 표정 또는 두려움 표정을 가지면서 좌석에 앉아있는 사용자를 인식할 수 있다. 이 경우에, 광고 시스템(1000)은 광고 또는 상품정보의 게시를 준비할 수 있다.
광고 시스템(1000)은 인식된 사용자의 나이 및 성별을 추정할 수 있다(S220).
광고 시스템(1000)은 추정된 나이, 성별, 또는 감정을 종합적으로 고려하여, 이에 맞는 추천 광고를 제공할 수 있다(S230).
광고 시스템(1000)은 추천 광고에 대하여, 사용자의 눈동자 움직임, 감정(표정), 및 행동을 추정할 수 있다(S240).
광고 시스템(1000)은 S240 단계에서 추정된 결과를 종합적(또는 복합적)으로 고려하여, 연장 광고를 제공하거나 다른 광고를 제공할 수 있다(S251, S252). 구체적으로, S240 단계의 추정 결과가 S230 단계의 추천 광고에 대한 사용자 관심도가 기준값 이상인 것을 나타내는 경우에, 광고 시스템(1000)은 연장 광고를 제공할 수 있다. S240 단계의 추정 결과가 S230 단계의 추천 광고에 대한 사용자 관심도가 기준값 미만인 것을 나타내는 경우에, 광고 시스템(1000)은 다른 광고를 제공할 수 있다.
광고 시스템(1000)은 사용자 행동에 기반하여, 제공 광고에 관련된 상품의 상세 정보를 노출할 수 있다(S260).
예를 들어, 광고가 제공되는 동안에 사용자 표정이 화남 표정인 경우에, 광고 시스템(1000)은 광고(또는 상품)에 대한 사용자 관심도가 기준값 미만(예, 관심 없음)이라고 판단할 수 있다.
다른 예를 들어, 광고가 제공되는 동안에 사용자 표정이 놀람 표정 또는 기쁨 표정인 경우에, 광고 시스템(1000)은 광고(또는 상품)에 대한 사용자 관심도가 기준값 이상(예, 관심 있음)이라고 판단할 수 있다.
또 다른 예를 들어, 광고가 제공되는 동안에 사용자 표정이 중립 표정 또는 두려움 표정인 경우에, 광고 시스템(1000)은 광고(또는 상품)에 대한 사용자 관심도가 기준값 미만(예, 관심 없음)이라고 판단할 수 있다.
또 다른 예를 들어, 광고가 제공되는 동안에 사용자가 고개를 돌리거나 고개를 젖히거나 몸을 돌리는 행동을 하는 경우에, 광고 시스템(1000)은 사용자가 추가 상품 정보를 희망하지 않는 것으로 판단하여 다른 광고를 제공할 수 있다.
또 다른 예를 들어, 광고가 제공되는 동안에 사용자가 디스플레이 장치(DS10)에 가까이 다가가는 행동을 하는 경우에, 광고 시스템(1000)은 사용자가 추가 상품 정보를 희망하는 것으로 판단하여 상품의 추가 정보를 제공할 수 있다.
광고 시스템(1000)은 사용자에 의해 상품이 선택되거나 상품 구매를 긍정하는 사용자 행동이 분석되는 경우에, 상품에 대한 구매 절차를 수행할 수 있다(S270).
광고 시스템(1000)은 도 6에 예시된 각 단계의 데이터를 딥러닝 기반 학습 데이터로써 축적할 수 있고, 이를 이용해 딥러닝 모델을 업그레이드할 수 있다.
한편, 본 발명의 다른 실시예에 따른 광고 시스템(1000)의 서비스 제공 방법은 다음과 같다.
광고 시스템(1000)의 정보 분석부(IA10)는 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 사용자 정보(예, 제1 사용자 정보)를 분석하고 사용자의 표정 및 눈 추적에 관한 사용자 정보(예, 제2 사용자 정보)를 통해 분석할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 제1 사용자 정보에 기초해, 사용자를 위한 화제 정보를 판단할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 화제 정보에 관련된 제1 광고(예, 약식 광고)를 디스플레이 장치(DS10)를 통해 디스플레이할 수 있다. 구체적으로, 광고 시스템(1000)의 광고 제공부(400)는 제1 사용자 정보의 눈 추적 정보에 기초해 사용자의 눈 초점이 디스플레이 장치(DS10)의 스크린 영역을 향하고 있는 것(보고 있는 것)으로 판단되는 경우에, 제1 광고를 디스플레이 장치(DS10)를 통해 디스플레이할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 사용자가 제1 광고에 집중하는 정도를 나타내는 집중도(예, 제1 집중도)를 제2 사용자 정보(예, 눈 움직임 추적, 사용자 표정 등)에 기초해 판단할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 제1 집중도에 기초해, 제1 광고 보다 더 많은 정보를 포함하는 제2 광고(예, 정식 광고)를 디스플레이 장치(DS10)를 통해 디스플레이할 수 있다. 구체적으로, 광고 시스템(1000)의 광고 제공부(400)는, 제1 광고가 디스플레이 장치(DS10)를 통해 디스플레이되는 경우에, 사용자의 눈동자에 대한 눈 추적을 통해 제1 집중도를 계산할 수 있다. 광고 시스템(1000)의 광고 제공부(400)는, 제1 광고에 대한 사용자 표정 및 제1 집중도에 기초해, 제2 광고의 디스플레이 여부를 결정할 수 있다. 눈 추적은, 광고가 디스플레이 장치(DS10)를 통해 디스플레이되는 경우에, 사용자의 눈 초점이 디스플레이 장치(DS10)의 스크린 영역을 벗어나는지 여부, 그리고 눈 초점이 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함할 수 있다. 사용자 표정은, 미간(두 눈썹 사이의 거리)의 변화 정도, 입 모양의 변화 정도, 입 꼬리(입의 양쪽 구석)의 변화 정도 등을 포함할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는, 사용자가 제2 광고에 집중하는 정도를 나타내는 제2 집중도 및 제2 광고에 대한 사용자 표정에 기초해, 제2 광고를 계속적으로 디스플레이 장치(DS10)를 통해 디스플레이할 지 여부를 결정할 수 있다.
광고 시스템(1000)의 정보 분석부(IA10)는 광고(예, 약식 광고 또는 정식 광고)가 디스플레이 장치(DS10)를 통해 디스플레이되는 동안에 사용자가 취하는 행동에 관한 사용자 정보(예, 제3 사용자 정보)를 분석할 수 있다. 사용자 행동은, 몸이나 고개를 돌리는 행동 및 그 정도, 손을 흔드는 행동 및 그 정도, 손 동작, 디스플레이 장치(DS10)와 사용자 얼굴 간의 거리 변화 정도, 디스플레이 장치(DS10)를 인터페이스하는 행동(예, 디스플레이 장치(DS10)를 터치하는 행동) 및 그 정도, 고개를 움직이는 행동 및 그 정도 등을 포함할 수 있다.
광고 시스템(1000)의 광고 제공부(400)는 제3 사용자 정보에 기초해, 광고의 제공 여부(예, 정식 광고 제공 여부 등) 또는 광고에 관련된 추가 상품 정보의 제공 여부를 결정할 수 있다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 광고 시스템(1000)에 적용되는 장치 등) 일 수 있다. 예를 들어, 컴퓨팅 장치(TN100)는 정보 분석 장치(600)일 수 있다. 다른 예를 들어, 컴퓨팅 장치(TN100)는 광고 제공부(400)를 포함하는 광고 제공 장치일 수 있다. 또 다른 예를 들어, 컴퓨팅 장치(TN100)는 구매 처리부(500)를 포함하는 구매 처리 장치일 수 있다.
도 7의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 통신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
통신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 통신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 명세서에서 기술된 본 발명의 실시예들은 다양한 방식으로 결합(또는 혼합, 조합, 병합)될 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보를 분석하고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 정보 분석부; 및
    상기 제1 사용자 정보에 기초해 상기 사용자를 위한 화제 정보를 판단하고, 상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 광고 제공부를 포함하고,
    상기 광고 제공부는,
    상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하고, 상기 제1 집중도에 기초해 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이하는
    광고 시스템.
  2. 제1항에 있어서,
    상기 광고 제공부는,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈동자에 대한 눈 추적(eye tracking)을 통해 상기 제1 집중도를 계산하고, 상기 제1 광고에 대한 사용자 표정 및 상기 제1 집중도에 기초해 상기 제2 광고의 디스플레이 여부를 결정하는
    광고 시스템.
  3. 제2항에 있어서,
    상기 광고 제공부는,
    상기 사용자가 상기 제2 광고에 집중하는 정도를 나타내는 제2 집중도 및 상기 제2 광고에 대한 사용자 표정에 기초해, 상기 제2 광고를 계속적으로 상기 디스플레이 장치를 통해 디스플레이할 지 여부를 결정하는
    광고 시스템.
  4. 제1항에 있어서,
    상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 구매 처리부
    를 더 포함하는 광고 시스템.
  5. 제4항에 있어서,
    상기 구매 처리부는,
    상기 상품에 대한 주문 정보가 입력되는 경우에, 상기 주문 정보를 결제 처리 기능을 가지는 이동 단말에 무선으로 전송하는
    광고 시스템.
  6. 제1항에 있어서,
    상기 디스플레이 장치는 사람을 운송하는 운송 수단 내 고객 좌석에 설치되고,
    상기 디스플레이 장치의 제1 스크린 영역에는 상기 제1 광고 및 상기 제2 광고가 디스플레이되고, 상기 디스플레이 장치의 제2 스크린 영역에는 상기 상품이 디스플레이되는
    광고 시스템.
  7. 제1항에 있어서,
    상기 정보 분석부는,
    물체 추적 알고리즘, 표정 인식 알고리즘, 성별 추정 알고리즘, 및 나이 추정 알고리즘을 포함하는 인공지능 알고리즘을 이용해, 상기 영상으로부터 상기 사용자를 추적하고 상기 사용자의 표정을 인식하고 상기 사용자의 성별을 추정하고 상기 사용자의 나이를 추정하는
    광고 시스템.
  8. 제6항에 있어서,
    상기 광고 제공부는,
    상기 사용자의 행동 및 기 정의된 행동 패턴 간의 매칭 결과를 이용해 광고 제공을 변경하는
    광고 시스템.
  9. 제1항에 있어서,
    상기 눈 추적은,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 벗어나는지 여부, 그리고 상기 눈 초점이 상기 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함하는
    광고 시스템.
  10. 제1항에 있어서,
    상기 광고 제공부는,
    상기 제1 사용자 정보의 눈 추적 정보에 기초해 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 향하는 것으로 판단되는 경우에, 상기 제1 광고를 상기 디스플레이 장치를 통해 디스플레이하는
    광고 시스템.
  11. 제8항에 있어서,
    상기 사용자 행동은,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에, 상기 사용자가 고개 또는 몸을 돌리는 행동, 손을 흔드는 행동, 및 상기 디스플레이 장치에 다가가는 행동 중 적어도 하나를 포함하는
    광고 시스템.
  12. 광고 시스템이 광고 및 상품 구매에 관한 서비스를 제공하는 방법으로서,
    카메라의 영상으로부터, 사용자의 성별, 나이, 및 눈 추적(eye tracking) 중 적어도 하나에 관한 제1 사용자 정보, 그리고 사용자의 표정 및 눈 추적에 관한 제2 사용자 정보를 분석하는 단계;
    상기 제1 사용자 정보에 기초해, 상기 사용자를 위한 화제 정보를 판단하는 단계;
    상기 화제 정보에 관련된 제1 광고를 디스플레이 장치를 통해 디스플레이하는 단계;
    상기 사용자가 상기 제1 광고에 집중하는 정도를 나타내는 제1 집중도를 상기 제2 사용자 정보에 기초해 판단하는 단계; 및
    상기 제1 집중도 및 상기 제1 광고에 대한 사용자 표정에 기초해, 상기 제1 광고 보다 더 많은 정보를 포함하는 제2 광고를 상기 디스플레이 장치를 통해 디스플레이하는 단계
    를 포함하는 서비스 제공 방법.
  13. 제12항에 있어서,
    상기 눈 추적은,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 경우에, 상기 사용자의 눈 초점이 상기 디스플레이 장치의 스크린 영역을 벗어나는지 여부, 그리고 상기 눈 초점이 상기 스크린 영역을 얼마나 오랫동안 벗어나는지를 추적하는 것을 포함하는
    서비스 제공 방법.
  14. 제12항에 있어서,
    상기 분석하는 단계는,
    상기 제1 광고가 상기 디스플레이 장치를 통해 디스플레이되는 동안에 상기 사용자가 취하는 행동에 관한 제3 사용자 정보를 분석하는 단계를 포함하고,
    상기 디스플레이하는 단계는,
    상기 제3 사용자 정보에 기초해, 상기 제2 광고의 제공 여부 또는 상기 제1 광고에 관련된 추가 상품 정보의 제공 여부를 결정하는 단계를 포함하는
    서비스 제공 방법.
  15. 제12항에 있어서,
    상기 제1 광고 또는 상기 제2 광고에 관련된 상품에 대한 주문 정보가 입력되는 경우에, 상기 상품에 대한 결제 처리를 수행하는 단계
    를 더 포함하는 서비스 제공 방법.
PCT/KR2018/013020 2017-10-30 2018-10-30 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법 WO2019088661A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020510083A JP2020531987A (ja) 2017-10-30 2018-10-30 人工知能技術を利用して広告及び商品購買に関するサービスを提供する装置、システム、及び方法
EP18871911.6A EP3651103A4 (en) 2017-10-30 2018-10-30 DEVICE, SYSTEM AND METHOD FOR PROVIDING SERVICES RELATED TO ADVERTISING AND PRODUCT PURCHASE USING ARTIFICIAL INTELLIGENCE TECHNOLOGY
US16/639,237 US20200219135A1 (en) 2017-10-30 2018-10-30 Device, system and method for providing service relating to advertising and product purchase by using artificial-intelligence technology
CN201880069618.XA CN111279377A (zh) 2017-10-30 2018-10-30 通过使用人工智能技术提供与广告和产品购买相关的服务的装置、***及方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0142512 2017-10-30
KR20170142512 2017-10-30
KR10-2018-0130748 2018-10-30
KR1020180130748A KR20190049555A (ko) 2017-10-30 2018-10-30 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법

Publications (1)

Publication Number Publication Date
WO2019088661A1 true WO2019088661A1 (ko) 2019-05-09

Family

ID=66333332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013020 WO2019088661A1 (ko) 2017-10-30 2018-10-30 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법

Country Status (1)

Country Link
WO (1) WO2019088661A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075337A1 (ja) * 2019-10-17 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム
WO2022023831A1 (en) * 2020-07-29 2022-02-03 Akhavan Mahdi Smart display application with potential to exhibit collected outdoor information content using iot and ai platforms
CN114779470A (zh) * 2022-03-16 2022-07-22 青岛虚拟现实研究院有限公司 一种增强现实抬头显示***的显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070085121A (ko) * 2004-06-15 2007-08-27 파나소닉 에이비아닉스 코포레이션 이동하는 동안 시청 컨텐츠를 상연하기 위한 휴대용 미디어장치 및 방법
KR20110070666A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 광고 컨텐츠 공급 장치 및 방법
KR20140064412A (ko) * 2012-11-20 2014-05-28 한국전자통신연구원 실시간 시청자 정보 기반 광고 제공 장치 및 방법
KR20150035631A (ko) * 2013-09-27 2015-04-07 에스케이플래닛 주식회사 얼굴인식을 이용한 광고 반응 분석 시스템 및 방법
KR20170046354A (ko) * 2015-10-21 2017-05-02 김영선 모바일 광고플랫폼

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070085121A (ko) * 2004-06-15 2007-08-27 파나소닉 에이비아닉스 코포레이션 이동하는 동안 시청 컨텐츠를 상연하기 위한 휴대용 미디어장치 및 방법
KR20110070666A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 광고 컨텐츠 공급 장치 및 방법
KR20140064412A (ko) * 2012-11-20 2014-05-28 한국전자통신연구원 실시간 시청자 정보 기반 광고 제공 장치 및 방법
KR20150035631A (ko) * 2013-09-27 2015-04-07 에스케이플래닛 주식회사 얼굴인식을 이용한 광고 반응 분석 시스템 및 방법
KR20170046354A (ko) * 2015-10-21 2017-05-02 김영선 모바일 광고플랫폼

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075337A1 (ja) * 2019-10-17 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム
WO2022023831A1 (en) * 2020-07-29 2022-02-03 Akhavan Mahdi Smart display application with potential to exhibit collected outdoor information content using iot and ai platforms
CN114779470A (zh) * 2022-03-16 2022-07-22 青岛虚拟现实研究院有限公司 一种增强现实抬头显示***的显示方法

Similar Documents

Publication Publication Date Title
KR20190049555A (ko) 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법
Gunes et al. Bi-modal emotion recognition from expressive face and body gestures
KR102664008B1 (ko) 시각 정보에 기초한 고객 아이템 추천 방법 및 장치
US8208694B2 (en) Method and system for image and video analysis, enhancement and display for communication
US8723796B2 (en) Multi-user interactive display system
US8810513B2 (en) Method for controlling interactive display system
WO2019088661A1 (ko) 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법
US9349131B2 (en) Interactive digital advertising system
US10559102B2 (en) Makeup simulation assistance apparatus, makeup simulation assistance method, and non-transitory computer-readable recording medium storing makeup simulation assistance program
JP2004227158A (ja) 情報提供装置および情報提供方法
KR20160013266A (ko) 개인화된 광고 선택 시스템 및 방법
Patwardhan et al. Multimodal affect analysis for product feedback assessment
JP2014516490A (ja) パーソナライズされたプログラム選択のシステムおよび方法
Wang et al. A novel dynamic model capturing spatial and temporal patterns for facial expression analysis
US20220383896A1 (en) System and method for collecting behavioural data to assist interpersonal interaction
Beyan et al. Analysis of face-touching behavior in large scale social interaction dataset
WO2019168224A1 (ko) 몰입형 가상피팅 연계 서비스 제공 시스템 및 몰입형 가상피팅 연계 서비스 제공 방법
CN114746882A (zh) 交互感知和内容呈现的***和方法
Rozaliev et al. Recognizing and analyzing emotional expressions in movements
CN115935064A (zh) 用于车辆的配饰推荐方法以及控制方法
WO2021221197A1 (ko) 안면 인식 및 iot 기반 애드큐레이션 사이니지 시스템
Su et al. A simple approach to facial expression recognition
Zaboleeva-Zotova et al. Automated identification of human emotions by gestures and poses
Nethravathi et al. Real-time customer satisfaction analysis using facial expressions and head pose estimation
KR102493790B1 (ko) 인공지능 기반 장소 연계 안면 인식 정보 생성 방법, 장치 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18871911

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018871911

Country of ref document: EP

Effective date: 20200203

ENP Entry into the national phase

Ref document number: 2020510083

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE