WO2020250082A1 - ユーザーの感情に応じた動作を実行する情報処理装置 - Google Patents
ユーザーの感情に応じた動作を実行する情報処理装置 Download PDFInfo
- Publication number
- WO2020250082A1 WO2020250082A1 PCT/IB2020/055189 IB2020055189W WO2020250082A1 WO 2020250082 A1 WO2020250082 A1 WO 2020250082A1 IB 2020055189 W IB2020055189 W IB 2020055189W WO 2020250082 A1 WO2020250082 A1 WO 2020250082A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- information processing
- user
- unit
- processing device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Definitions
- One aspect of the present invention relates to an information processing device and an information processing method.
- one aspect of the present invention is not limited to the above technical fields.
- the technical fields of one aspect of the present invention disclosed in the present specification and the like include semiconductor devices, display devices, light emitting devices, power storage devices, storage devices, electronic devices, lighting devices, input devices, input / output devices, and methods for driving them. , Or their manufacturing methods, can be given as an example.
- the semiconductor device refers to all devices that can function by utilizing the semiconductor characteristics.
- a technique for performing facial expression recognition from a captured image of a face is known.
- facial expression recognition is applied to a technology that automatically captures images at the moment when a person laughs or when a person looks at the camera.
- Patent Document 1 discloses a technique for detecting facial feature points and recognizing facial expressions with high accuracy based on the feature points.
- a person's movements reflect not a little emotions at that time, and even if the person thinks that he / she is doing the same movement, it often appears as a subtle difference.
- the driver has a deep feeling of sadness his / her judgment ability may be impaired and the timing of various driving operations may be slightly delayed.
- the driver encounters some unexpected situation while driving and has a big surprise feeling, he / she loses his / her calm judgment ability and induces an unusual mistake such as a mistake in pressing the accelerator and the brake. There is a risk of doing.
- movements that may be influenced by human emotions are not limited to this.
- the operation of heavy machinery and the operation of equipment on a factory production line are also operations that may be influenced by human emotions.
- One aspect of the present invention is to provide a device or method capable of preventing an unusual operation from being performed due to human emotions.
- one aspect of the present invention is to provide a device or method capable of selecting and executing an appropriate operation according to a person's emotion.
- one aspect of the present invention is to provide a new information processing apparatus.
- one aspect of the present invention is to provide a novel information processing method.
- One aspect of the present invention includes a subject detection unit that detects the user's face, a feature extraction unit that extracts facial features, an emotion estimation unit that estimates the user's emotions from the features, and a first aspect according to the estimated emotions.
- the information generation unit that generates the information of the above, the sensor unit that receives the radio wave from the global positioning system, the first information, and the second information contained in the radio wave transmitted from the sensor unit are received.
- An information processing device including an information processing unit that generates third information according to the first information and the second information, and an information transmission unit that transmits the third information.
- the third information it is preferable to transmit the third information to an external device having an information receiving unit whose position is specified by the global positioning system.
- the feature includes at least one of the user's eye shape, eyebrow shape, mouth shape, line of sight, and complexion.
- the feature extraction is performed by inference using a neural network.
- the emotion includes at least one of anger, sadness, suffering, impatience, anxiety, dissatisfaction, fear, surprise, and emptiness.
- the emotion estimation is performed by inference using a neural network.
- the second information includes the distance between the user and the external device.
- the third information includes the first information.
- the external device includes either a car or a building.
- another aspect of the present invention corresponds to a step of detecting a user's face, a step of extracting facial features from the detected face information, a step of estimating the user's emotion from the features, and emotions.
- the step of generating the first information the step of generating the second information according to the first information based on the first information, and the third information included in the radio wave from the global positioning system. It has a step of determining whether or not to transmit the second information to the outside based on the determination, a step of transmitting the second information to the outside according to the determination, or a step of not transmitting the second information to the outside. It is an information processing method.
- the feature includes at least one of the user's eye shape, eyebrow shape, mouth shape, line of sight, and complexion.
- the feature extraction is performed by inference using a neural network.
- the emotion includes at least one of anger, sadness, suffering, impatience, anxiety, dissatisfaction, fear, surprise, and emptiness.
- the emotion estimation is performed by inference using a neural network.
- the third information includes the distance between the user and the external device.
- the second information includes the first information.
- the external device includes either a car or a building.
- a device or method capable of preventing an unusual operation from being performed due to human emotions.
- a device or method capable of selecting and executing an appropriate operation according to a person's emotions.
- a new information processing device can be provided.
- one aspect of the present invention can provide a novel information processing method.
- FIG. 1 is a block diagram showing a configuration example of an information processing device according to an aspect of the present invention.
- 2A and 2B are diagrams illustrating a neural network used in the information processing apparatus according to one aspect of the present invention.
- FIG. 2C is a diagram showing an example of an output result of a neural network used in the information processing apparatus according to one aspect of the present invention.
- FIG. 3 is a flowchart showing an example of an information processing method according to one aspect of the present invention.
- FIG. 4 is a block diagram showing a configuration example of an information processing device according to one aspect of the present invention.
- 5A to 5F are diagrams showing an example of an electronic device to which one aspect of the present invention can be applied.
- One aspect of the present invention detects a user's face and extracts the features of the user's face from the detected face information. Then, the user's emotion is estimated from the extracted features, and information corresponding to the estimated emotion is generated. The information is received by an external device having an information receiving unit. Further, one aspect of the present invention receives radio waves transmitted from the Global Positioning System (GPS). The radio wave includes the location information of the user and the above-mentioned external device. The information generated by estimating the user's emotion is transmitted according to the location information and received by the above-mentioned external device. As a result, it is possible to prevent unusual or incorrect actions from being performed due to the user's emotions. In addition, it is possible to select and execute an appropriate action according to the emotion of the user.
- GPS Global Positioning System
- the information processing device is a mobile information terminal device such as a mobile phone (including a smartphone) or a tablet terminal, and an external device that receives information transmitted from the mobile information terminal device.
- a mobile information terminal device such as a mobile phone (including a smartphone) or a tablet terminal
- an external device that receives information transmitted from the mobile information terminal device.
- the vehicle has an information receiving unit. Then, consider a case where the user brings the mobile information terminal device into the vehicle and drives the vehicle in a state where the user's face can always be detected and installed.
- Face information includes global information such as facial contours and complexion, as well as the shape and positional relationship of facial parts such as eyes, eyebrows, nose, and mouth, as well as how to open eyes, how to swell the nose, and mouth. It contains a great many features, including local information such as the degree of opening (closing), the angle of the eyebrows, the wrinkles between the eyebrows, and the position of the line of sight.
- the mobile information terminal device continuously detects the user's face to detect changes in the facial expression that reflect the user's emotions while driving. Can be done. Therefore, it is desirable for the personal digital assistant device to detect more facial expressions.
- the information processing device detects the information on the user's face and reads the user's facial expression from the information, that is, extracts the facial features to estimate the user's emotion at that time. can do.
- the emotions estimated by the information processing device are not limited to this.
- the emotions estimated by the information processing apparatus include anger, sadness, surprise, as well as suffering, impatience, anxiety, dissatisfaction, fear, and emptiness.
- the mobile information terminal device installed in the car has the outer corners of the eyes and eyebrows raised from the detected information on the user's face. , The line of sight is tight, the complexion is flushed, and other features are extracted. Then, from the characteristic, it can be estimated that the user has an angry feeling.
- feature extraction and emotion estimation of the user's face can be performed by inference using a neural network.
- the user temporarily suspends the operation.
- the mobile information terminal device installed in the vehicle presumes that the user has an angry feeling as described above, an appropriate action to be taken by the user accordingly.
- Information including for example, slowing down the running speed of the car, temporarily stopping, etc.
- the information receiving unit receives the above-mentioned information, for example, when the vehicle is running, the speed of the vehicle is controlled so as not to exceed a certain level, and when the user is immediately after boarding, the engine is prevented from starting. Measures will be taken. As a result, even if the user has emotions different from those in normal times, it is possible to prevent the user from performing an unusual operation. In addition, it is possible to select and execute an appropriate action according to the emotion of the user.
- the mobile information terminal device installed in the car detects the face of the user. From this information, we extract features such as eyes wide open, mouth wide open, and staring at one point. Then, from the feature, it can be estimated that the user has a surprise feeling.
- the mobile information terminal device installed in the vehicle is presumed to have a surprise feeling by the user as described above, an appropriate action to be taken by the user accordingly.
- measures such as, for example, the car automatically stopping are taken.
- the information processing device receives radio waves transmitted from the global positioning system.
- the radio wave includes position information (that is, information indicating a distance between the user and the car, etc.) between the portable information terminal device and the car specified by the global positioning system.
- the car has information (for example, stopping the car, not starting the engine, etc.) generated by the mobile information terminal device estimating the emotion of the user according to the position information. Send to the information receiver.
- the location information contained in the radio waves transmitted from the Global Positioning System reveals that the user is in a car in which a mobile information terminal device is installed, the user is about to drive or is driving. It is presumed to be in a state. In this case, depending on the user's emotions, starting or continuing driving may hinder safety. Therefore, the information generated by the mobile information terminal device estimating the user's emotions is the information received by the car. It is sent to the department. Then, the vehicle is controlled according to the information (for example, the engine is not started, the traveling speed of the vehicle is prevented from exceeding a certain level, etc.).
- the mobile information terminal device when a user has a mobile information terminal device and is indoors such as a house, the user does not cause an accident due to driving a car having an information receiving unit. Therefore, if it is found from the position information contained in the radio waves transmitted from the Global Positioning System that there is a certain distance or more between the user and the vehicle having the information receiving unit, the mobile information terminal device is the user's feelings. The information generated by estimating is not transmitted to the information receiving unit of the car.
- the information processing device estimates emotions from the facial expression of the user and creates information according to the estimated emotions. Then, the information is transmitted to an external device having an information receiving unit whose position is specified by the global positioning system. However, if the Global Positioning System finds that there is a certain distance or more between the user and the external device, the above information will not be transmitted. If the external device receives the above information, the external device executes the operation according to the information.
- the information processing device operates in cooperation with an external device having an information receiving unit and a global positioning system, so that an operation different from the usual one is caused by the emotion of the user. It can be prevented from being done.
- an appropriate action can be selected and executed according to the user's emotions.
- the information processing device is a portable information terminal device and the external device having an information receiving unit is a car driven by the user, the user feels different from normal times (for example, anger, sadness, surprise, etc.). Even in the state of having (.)), It is possible to always perform safe driving (for example, running at an appropriate speed, pausing, etc.).
- the external device having the information receiving unit may be a building.
- buildings include convenience stores, supermarkets, stores of commercial facilities such as department stores, buildings of public facilities such as banks, schools and hospitals, residential buildings such as houses, apartments and condominiums, and buildings. Examples include office buildings.
- FIG. 1 is a block diagram showing a configuration example of the information processing apparatus 10 according to one aspect of the present invention.
- the information processing device 10 includes a subject detection unit 11, a feature extraction unit 12, an emotion estimation unit 13, an information generation unit 14, a sensor unit 15, an information processing unit 16, and an information transmission unit 17.
- the information processing device 10 can operate in cooperation with the external device 28 having the information receiving unit 18 and the global positioning system 29.
- the subject detection unit 11 has a function of acquiring information on a part or all of the user's face and outputting the information to the feature extraction unit 12.
- an image pickup device equipped with an image sensor can be typically used.
- an infrared image pickup device that irradiates the user's face with infrared rays to take an image may be used.
- the subject detection unit 11 is not limited to an imaging device as long as it can detect a part or all of the face of the subject.
- An optical range finder that measures the distance between the device and a part of the face by infrared rays or the like can also be used.
- a detection device may be used in which the electrodes are brought into contact with the user's face to electrically detect the movement of the muscles of the user's face.
- the feature extraction unit 12 extracts feature points from the face information output from the subject detection unit 11, extracts a part or all of the features of the face from the positions of the feature points, and emotions the extracted feature information. It has a function of outputting to the estimation unit 13.
- the features extracted by the feature extraction unit 12 include, for example, the pupil, iris, cornea, conjunctiva (white eye), inner corner of the eye, outer corner of the eye, and upper part. Examples include eyelids, lower eyelids, eyelashes, eyebrows, eyebrows, inner corners of the eyebrows, and outer corners of the eyebrows.
- Features other than the eyes and their surroundings include the base of the nose, tip of the nose, nostrils, nostrils, lips (upper lip, lower lip), corners of the mouth, clefts, teeth, cheeks, chin, gills, and forehead.
- the feature extraction unit 12 recognizes the shape and position of these facial parts, and extracts the position coordinates of the feature points in each part. Then, the extracted position coordinate data and the like can be output to the emotion estimation unit 13 as information on facial features.
- the feature extraction unit 12 features at least one of eye shape, eyebrow shape, mouth shape, line of sight, and complexion from the face information acquired by the subject detection unit 11. It is preferable to extract.
- various algorithms for extracting feature points from an image or the like acquired by the subject detection unit 11 can be applied.
- algorithms such as SIFT (Scale Invariant Features Transfers), SURF (Speeded Up Robot Features), and HOG (Histograms of Oriented Gradients) can be used.
- feature extraction by the feature extraction unit 12 is preferably performed by inference of a neural network.
- a neural network it is preferable to use a convolutional neural network (CNN: Convolutional Neural Networks).
- CNN Convolutional Neural Networks
- FIG. 2A schematically shows a neural network NN1 that can be used for the feature extraction unit 12.
- the neural network NN1 has an input layer 51, three intermediate layers 52, and an output layer 53.
- the number of the intermediate layers 52 is not limited to three, and may be one or more.
- Data 61 input from the subject detection unit 11 is input to the neural network NN1.
- the data 61 is data including coordinates and values corresponding to the coordinates. Typically, it can be image data including coordinates and gradation values corresponding to the coordinates.
- Data 62 is output from the neural network NN1.
- the data 62 is data including the position coordinates of the feature points described above.
- the neural network NN1 has been learned in advance so as to extract the above-mentioned feature points from data 61 such as image data and output the coordinates thereof.
- the neuron value of the output layer 53 corresponding to the coordinates in which the above-mentioned feature points exist is increased by performing edge processing or the like using various filters in the intermediate layer 52.
- the emotion estimation unit 13 has a function of estimating the user's emotion from the facial feature information input from the feature extraction unit 12 and outputting the estimated emotion information to the information generation unit 14.
- the emotion estimation unit 13 uses information on the facial features of the user to cause the user to have negative emotions (eg, anger, sadness, suffering, impatience, fear, anxiety, dissatisfaction, surprise, irritation, resentment, excitement, or emptiness, etc.). It can be estimated whether or not it holds.). In addition, it is preferable to estimate the degree (level) of having negative emotions.
- negative emotions eg, anger, sadness, suffering, impatience, fear, anxiety, dissatisfaction, surprise, irritation, resentment, excitement, or emptiness, etc.
- the emotion estimation unit 13 can estimate at least one of anger, sadness, suffering, impatience, anxiety, dissatisfaction, fear, surprise, and emptiness.
- the emotion estimation in the emotion estimation unit 13 is performed by inference using a neural network.
- it is preferably carried out using CNN.
- FIG. 2B schematically shows a neural network NN2 that can be used for the emotion estimation unit 13.
- the neural network NN2 has substantially the same configuration as the neural network NN1.
- the number of neurons in the input layer 51 of the neural network NN2 can be smaller than that of the neural network NN1.
- the data 62 input from the feature extraction unit 12 is input to the neural network NN2.
- the data 62 includes information related to the coordinates of the extracted feature points.
- the processed data of the data 62 may be used as the data input to the neural network NN2. For example, a vector connecting any two feature points may be calculated, and this may be obtained for all feature points or some feature points as data to be input to the neural network NN2. Further, the calculated vector may be normalized data.
- the data processed based on the data 62 output by the neural network NN1 will also be referred to as the data 62.
- Data 63 is output from the neural network NN2 to which the data 62 is input.
- the data 63 corresponds to the neuron value output from each neuron in the output layer 53.
- Each neuron in the output layer 53 is associated with one emotion.
- the data 63 is data including neuron values of neurons corresponding to predetermined negative emotions (anger, sadness, suffering, impatience, fear, etc.).
- the neural network NN2 has been learned in advance so as to estimate the degree of negative emotion from the data 62 and output it as a neuron value. Since the relative positional relationship of a plurality of feature points on the user's face can determine the user's facial expression, the neural network NN2 can estimate the emotion held by the user from the facial expression.
- FIG. 2C is a diagram schematically showing data 63.
- the high neuron value corresponding to each emotion indicates the estimated degree of emotion.
- the threshold value T is shown by a broken line. For example, when the height of the neuron value corresponding to each emotion is lower than the threshold value T, it can be determined that the user does not have the emotion or the degree of the emotion is low. On the contrary, when the height of the neuron value corresponding to each emotion exceeds the threshold value T, it can be determined that the degree of the emotion is high.
- the emotion is a mixture of "anger” and “hurry”, and that "anger” is particularly strongly felt.
- the threshold value T1 may be set for any neuron value smaller than the threshold value T
- the threshold value T2 may be set for any neuron value larger than the threshold value T.
- the degree of emotion is "low (calm)", which is between the threshold value T1 and the threshold value T2.
- the degree of emotion is slightly high, and in the case of exceeding the threshold value T2, the degree of emotion is very high. ..
- the emotion estimation unit 13 by configuring the emotion estimation unit 13 to estimate only negative emotions and output the result to the information generation unit 14, the calculation scale of the emotion estimation unit 13 can be reduced, and the calculation can be performed. Such power consumption can be reduced. Further, since the amount of data used by the information generation unit 14 can be reduced, the power consumption related to the transmission of data from the emotion estimation unit 13 to the information generation unit 14 and the calculation in the information generation unit 14 can also be reduced.
- the emotion estimation unit 13 estimates not only negative emotions but also emotions that contradict it, such as joy, gratitude, happiness, familiarity, satisfaction, and love, and outputs the result to the information generation unit 14. You can also do it.
- emotions can be estimated without using a neural network.
- a template matching method, a pattern matching method, or the like may be performed by comparing a part of the image of the user's face acquired by the subject detection unit 11 with the template image and using the similarity. In that case, the structure may not have the feature extraction unit 12.
- the information generation unit 14 has a function of determining or generating information (first information) according to the emotion estimated by the emotion estimation unit 13 and outputting it to the information processing unit 16.
- the first information is information that is the basis of information that is finally transmitted to the external device 28 having the information receiving unit 18 via the information processing unit 16 and the information transmitting unit 17, which will be described later.
- the external device 28 is a car driven by the user. If the emotion estimation unit 13 estimates that the user has a negative emotion that exceeds the threshold value T described above, the information generation unit 14 that receives the estimation result states that "the car has a constant speed. Appropriate actions according to the user's emotions such as “do not exceed”, “decelerate the car”, and "stop the car” are determined or generated as the first information, and output to the information processing unit 16.
- the emotion estimation unit 13 estimates that the negative emotion possessed by the user is below the threshold value T described above, the information generation unit 14 that receives the estimation result "continues driving as it is”.
- the operation to be performed by the user such as is determined or generated as the first information, and is output to the information processing unit 16.
- the first information may be associated with the emotion estimated by the emotion estimation unit 13 in advance.
- information in which the emotion of "anger” and the action of "preventing the car from exceeding a certain speed” may be created in advance and registered in the information generation unit 14.
- the information generation unit 14 can output the operation of "preventing the car from exceeding a certain speed" as the first information. ..
- the information generation unit 14 can instantly output the appropriate first information.
- the sensor unit 15 has a function of receiving radio waves transmitted from the global positioning system 29 and outputting information (second information) contained in the radio waves to the information processing unit 16.
- the radio waves received by the sensor unit 15 from the global positioning system 29 include the position information of the external device 28 having the information processing device 10 and the information receiving unit 18 described later.
- the second information is the above-mentioned location information including at least the distance between the user and the external device 28.
- the sensor unit 15 extracts the second information from the above-mentioned position information included in the radio waves transmitted from the global positioning system 29 and outputs the second information to the information processing unit 16.
- the information processing unit 16 receives the first information output from the information generation unit 14 and the second information output from the sensor unit 15, and determines or generates information (third information) according to the received contents. It has a function of outputting this to the information transmission unit 17.
- the third information is the final information output from the information processing apparatus 10 via the information transmission unit 17 described later, and is the information including the first information.
- the information processing unit 16 determines or generates a third piece of information based on the first piece of information input from the information generation unit 14.
- the third information includes all or at least a part of the first information.
- the information processing unit 16 determines whether or not to output the third information to the information transmission unit 17 based on the second information input from the sensor unit 15. For example, consider a case where the information processing device 10 is a portable information terminal device owned by the user and the external device 28 is a car owned by the user. If the user has a personal digital assistant and is indoors such as a house, the information processing unit 16 has a certain distance or more from the sensor unit 15 between the user and the car (that is, the user gets on board). No second information is entered to indicate that.
- the mobile terminal device does not necessarily have to transmit the third information to the car.
- the information processing unit 16 selects a determination not to output the third information to the information transmission unit 17.
- the information processing unit 16 generates or determines the third information based on the first information input from the information generation unit 14, and based on the second information input from the sensor unit 15. It is determined whether or not to output the generated or determined third information to the information transmission unit 17. Then, when the output determination is selected, the third information is output to the information transmission unit 17.
- the information processing unit 16 may have two arithmetic units. For example, one arithmetic unit determines or generates third information based on the first information input from the information generation unit 14, and the other arithmetic unit determines or generates the third information, and the other arithmetic unit determines the second information input from the sensor unit 15. It is also possible to determine whether or not to output the third information to the information transmission unit 17 based on the above, and to output the third information to the information transmission unit 17 when the output determination is selected.
- the information transmitting unit 17 has a function of transmitting the third information input from the information processing unit 16 to the external device 28 having the information receiving unit 18.
- the information transmitting unit 17 transmits the third information to the external device 28 having the information receiving unit 18 whose position is specified by the global positioning system 29. To do.
- the external device 28 having the information receiving unit 18 for receiving the third information includes either a car or a building.
- the above is a description of a configuration example of the information processing device 10 according to one aspect of the present invention.
- it is possible to provide an information processing device that can prevent an unusual operation from being performed due to the emotion of the user.
- FIG. 3 is a flowchart showing an example of an information processing method according to one aspect of the present invention. A series of processes according to the flowchart can be carried out by the information processing apparatus 10 according to one aspect of the present invention described above.
- step S1 a process of detecting a part or all of the user's face is performed.
- the subject detection unit 11 can perform the processing.
- step S2 a process of extracting a part or all of the facial features from the user's face information detected in step S1 is performed.
- the feature extraction is performed by inference by a neural network.
- the feature extraction unit 12 can perform the processing.
- step S3 a process of estimating the user's emotion from the facial features of the user extracted in step S2 is performed.
- at least one of anger, sadness, suffering, impatience, anxiety, dissatisfaction, fear, surprise, and emptiness can be estimated as the emotion of the user.
- the emotion is estimated by inference by a neural network.
- the emotion estimation unit 13 can perform the processing.
- step S4 a process of determining or generating information (first information) according to the user's emotions estimated in step S3 is performed.
- the first information referred to here corresponds to the first information described in the above ⁇ configuration example of the information processing device>.
- the information generation unit 14 can perform the processing.
- step S5 a process of determining or generating information (second information) based on the first information determined or generated in step S4 is performed.
- the second information includes all or at least a portion of the first information.
- the second information referred to here corresponds to the third information described in the above ⁇ configuration example of the information processing device>.
- the information processing unit 16 can perform the processing.
- step S6 whether or not to transmit the second information determined or generated in step S5 to the outside based on the information (third information) included in the radio waves transmitted from the global positioning system. Performs the process of determining whether or not.
- the global positioning system referred to here corresponds to the global positioning system 29 described in the above ⁇ configuration example of the information processing device>.
- the third information referred to here corresponds to the second information described in the above ⁇ configuration example of the information processing apparatus>.
- the information processing unit 16 can perform the processing.
- step S6 If it is determined in step S6 that the second information is transmitted to the outside, the process of transmitting the second information to the outside is performed according to the determination (step S7).
- the second information is transmitted to an external device having an information receiving unit whose position is specified by the global positioning system.
- the information receiving unit referred to here corresponds to the information receiving unit 18 described in the above ⁇ configuration example of the information processing device>.
- the external device referred to here corresponds to the external device 28 described in the above ⁇ configuration example of the information processing device>.
- the information transmission unit 17 can perform the processing.
- step S6 determines whether the second information is transmitted to the outside. If it is determined in step S6 that the second information is not transmitted to the outside, the second information is not transmitted to the outside according to the determination (step S8).
- the above-mentioned third information is preferably information including the distance between the user and the external device.
- the above-mentioned external device preferably includes either a car or a building.
- This embodiment can be implemented by appropriately combining at least a part thereof with other embodiments described in the present specification.
- the information processing device can be applied as a mobile information terminal device such as a mobile phone (including a smartphone) and a tablet terminal.
- FIG. 4 shows a block diagram of the information processing device 100 illustrated below.
- the information processing device 100 includes a calculation unit 101, a calculation unit 102, a memory module 103, a display module 104, a sensor module 105, a sound module 106, a communication module 108, a battery module 109, a camera module 110, an external interface 111, and the like.
- the calculation unit 102, the memory module 103, the display module 104, the sensor module 105, the sound module 106, the communication module 108, the battery module 109, the camera module 110, the external interface 111, etc. are each connected to the calculation unit 101 via the bus line 107. Has been done.
- the display module 104 can function as an image display unit of an information processing device (for example, a mobile information terminal device such as a mobile phone or a tablet terminal) according to one aspect of the present invention.
- the sound module 106 can function as a call unit or a voice output unit of the information processing device according to one aspect of the present invention.
- the sensor module 105 or the camera module 110 can function as the subject detection unit 11 of the information processing device 10 described in the first embodiment.
- the calculation unit 101, the calculation unit 102, and the memory module 103 can function as a feature extraction unit 12, an emotion estimation unit 13, an information generation unit 14, an information processing unit 16, and the like of the information processing device 10.
- the communication module 108 can function as a sensor unit 15 of the information processing device 10.
- the external interface 111 can function as an information transmission unit 17 of the information processing device 10.
- calculation unit 101 is shown as one block in FIG. 4, it may be configured to include two calculation units.
- the calculation unit 101 functions as the information processing unit 16 of the information processing device 10 described in the first embodiment, one of the above two calculation units is based on the information input from the information generation unit 14.
- the information to be output to the information transmission unit 17 is determined or generated, and the other of the two arithmetic units described above determines or generates the information determined or generated by one of the two arithmetic units based on the information input from the sensor unit 15. It can be configured to determine whether or not to output to the information transmission unit 17.
- the arithmetic unit 101 can function as, for example, a central arithmetic unit (CPU: Central Processing Unit).
- the calculation unit 101 has a function of controlling each component such as the calculation unit 102, the memory module 103, the display module 104, the sensor module 105, the sound module 106, the communication module 108, the battery module 109, the camera module 110, and the external interface 111. Have.
- a signal is transmitted between the calculation unit 101 and each component via the bus line 107.
- the arithmetic unit 101 has a function of processing a signal input from each component connected via the bus line 107, a function of generating a signal output to each component, and the like, and each connected to the bus line 107. You can control the components comprehensively.
- the arithmetic unit 101 performs various data processing and program control by interpreting and executing instructions from various programs by the processor.
- the program that can be executed by the processor may be stored in the memory area of the processor, or may be stored in the memory module 103.
- microprocessors such as a DSP (Digital Signal Processor) and a GPU (Graphics Processing Unit) can be used alone or in combination.
- DSP Digital Signal Processor
- GPU Graphics Processing Unit
- these microprocessors may be configured by PLD (Programmable Logic Device) such as FPGA (Field Programmable Gate Array) or FPAA (Field Programmable Analog Array).
- the calculation unit 101 may have a main memory.
- the main memory can be configured to include a volatile memory such as a RAM (Random Access Memory) and a non-volatile memory such as a ROM (Read Only Memory).
- a volatile memory such as a RAM (Random Access Memory)
- a non-volatile memory such as a ROM (Read Only Memory).
- a DRAM Dynamic Random Access Memory
- a memory space is virtually allocated and used as a work space of the calculation unit 101.
- the operating system, application program, program module, program data, and the like stored in the memory module 103 are loaded into the RAM for execution. These data, programs, program modules, etc. loaded in the RAM are directly accessed and operated by the arithmetic unit 101.
- the ROM can store BIOS (Basic Input / Output System), firmware, etc. that do not require rewriting.
- BIOS Basic Input / Output System
- a mask ROM As the ROM, a mask ROM, OTPROM (One Time Program Read Only Memory), EPROM (Erasable Program Read Only Memory) and the like can be used. Examples of EPROM include UV-EPROM (Ultra-Violet Erasable Program Read Only Memory), EEPROM (Electrically Erasable Program Memory), etc., which enable erasure of stored data by irradiation with ultraviolet rays.
- the calculation unit 102 it is preferable to use a processor specialized in parallel calculation rather than a CPU.
- a processor having a large number (several tens to several hundreds) of processor cores capable of parallel processing such as GPU, TPU (Tensor Processing Unit), and NPU (Neural Processing Unit).
- the arithmetic unit 102 can perform arithmetic particularly related to the neural network at high speed.
- the memory module 103 includes, for example, a flash memory, an MRAM (Magnetoristive Random Access Memory), a PRAM (Phase change Random Access Memory), a ReRAM (Resistive Random Access Memory), a ReRAM (Resistive Random Access Memory), a ReRAM (Resistive Random Access Memory), and a ReRAM (Restable Random Access Memory).
- MRAM Magnetic Random Access Memory
- PRAM Phase change Random Access Memory
- ReRAM Resistive Random Access Memory
- ReRAM Resistive Random Access Memory
- ReRAM Resistive Random Access Memory
- ReRAM Resistive Random Access Memory
- ReRAM Resistive Random Access Memory
- a storage device such as an HDD or SSD that can be attached and detached by a connector via an external interface 111, or a media drive of a recording medium such as a flash memory, a Blu-ray disc, or a DVD can be used as the memory module 103.
- the memory module 103 may not be built in the information processing device 100, and a storage device placed outside may be used as the memory module 103. In that case, it may be configured to be connected via the external interface 111 or to exchange data by wireless communication by the communication module 108.
- the display module 104 has a display panel, a display controller, a source driver, a gate driver, and the like. An image can be displayed on the display surface of the display panel. Further, the display module 104 may further have a projection unit (screen), and the image displayed on the display surface of the display panel may be projected onto the screen. At this time, when a material that transmits visible light is used as the screen, an AR device that displays an image superimposed on the background image can be realized.
- Display elements that can be used in display panels include liquid crystal elements, organic EL elements, inorganic EL elements, LED elements, microcapsules, electrophoresis elements, electrowetting elements, electrofluidic elements, electrochromic elements, MEMS elements, and the like. Display element of can be used.
- a touch panel having a touch sensor function can also be used as the display panel.
- the display module 104 may be configured to include a touch sensor controller, a sensor driver, and the like.
- the touch panel is preferably an on-cell type touch panel in which a display panel and a touch sensor are integrated, or an in-cell type touch panel.
- the on-cell type or in-cell type touch panel can be thin and lightweight. Further, the on-cell type or in-cell type touch panel can reduce the number of parts, so that the cost can be reduced.
- the sensor module 105 has a sensor unit and a sensor controller.
- the sensor controller receives the input from the sensor unit, converts it into a control signal, and outputs it to the calculation unit 101 via the bus line 107.
- error management of the sensor unit may be performed, or calibration processing of the sensor unit may be performed.
- the sensor controller may be configured to include a plurality of controllers that control the sensor unit.
- the sensor unit included in the sensor module 105 preferably includes a photoelectric conversion element that detects visible light, infrared rays, ultraviolet rays, or the like and outputs the detection intensity thereof. At this time, the sensor unit can be called an image sensor unit.
- the sensor module 105 has a light source that emits visible light, infrared rays, or ultraviolet rays in addition to the sensor unit.
- a light source that emits visible light, infrared rays, or ultraviolet rays in addition to the sensor unit.
- the sensor module 105 when the sensor module 105 is used to detect a part of the user's face, by having a light source that emits infrared rays, it is possible to take an image with high sensitivity without making the user feel dazzling.
- the sensor module 105 includes, for example, force, displacement, position, velocity, acceleration, angular velocity, rotation speed, distance, light, liquid, magnetism, temperature, chemical substance, voice, time, hardness, electric field, current, voltage, and electric power. , Radiation, flow rate, humidity, gradient, vibration, odor, or various sensors having a function of measuring infrared rays may be provided.
- the sound module 106 has a voice input unit, a voice output unit, a sound controller, and the like.
- the voice input unit includes, for example, a microphone, a voice input connector, and the like.
- the audio output unit has, for example, a speaker, an audio output connector, and the like.
- the voice input unit and the voice output unit are connected to the sound controller, respectively, and are connected to the calculation unit 101 via the bus line 107.
- the voice data input to the voice input unit is converted into a digital signal by the sound controller and processed by the sound controller and the calculation unit 101.
- the sound controller generates a user-audible analog voice signal in response to a command from the calculation unit 101 and outputs the analog voice signal to the voice output unit.
- An audio output device such as earphones, headphones, or a headset can be connected to the audio output connector of the audio output unit, and the audio generated by the sound controller is output to the device.
- the communication module 108 can communicate via the antenna. For example, it can have a function of receiving the radio wave from the global positioning system 29 described in the first embodiment and outputting the information contained in the radio wave to the information processing unit 16 of the information processing device 10. Further, for example, it may have a function of controlling a control signal for connecting the information processing apparatus 100 to the computer network in response to a command from the arithmetic unit 101 and transmitting the signal to the computer network.
- the information processing device 100 can be connected to the computer network to perform communication. Further, when a plurality of methods are used as the communication method, a plurality of antennas may be provided depending on the communication method.
- a high frequency circuit may be provided in the communication module 108 to transmit and receive RF signals.
- a high-frequency circuit is a circuit for mutually converting an electromagnetic signal and an electric signal in a frequency band defined by the legislation of each country and wirelessly communicating with another communication device using the electromagnetic signal. Several tens of kHz to several tens of GHz are generally used as a practical frequency band.
- the high-frequency circuit connected to the antenna has a high-frequency circuit unit corresponding to a plurality of frequency bands, and the high-frequency circuit unit can have an amplifier (amplifier), a mixer, a filter, a DSP, an RF transceiver, and the like. ..
- a communication standard such as LTE (Long Term Evolution) or a specification standardized by IEEE such as Wi-Fi (registered trademark) or Bluetooth (registered trademark) is used as a communication protocol or communication technology. be able to.
- the communication module 108 may have a function of connecting the information processing device 100 to the telephone line. Further, the communication module 108 may have a tuner that generates a video signal to be output to the display module 104 from the broadcast radio wave received by the antenna.
- the battery module 109 can be configured to include a secondary battery and a battery controller.
- the secondary battery include a lithium ion secondary battery and a lithium ion polymer secondary battery.
- the battery controller has a function of supplying the electric power stored in the battery to each component, a function of receiving the electric power supplied from the outside and charging the battery, a function of controlling the charging operation according to the battery charging state, and the like. be able to.
- the battery controller can be configured to have a BMU (Battery Management Unit) or the like.
- BMU Battery Management Unit
- BMU Battery Management Unit
- the camera module 110 can be configured to include an image sensor and a controller. For example, a still image or a moving image can be taken by pressing the shutter button, operating the touch panel of the display module 104, or the like.
- the captured image or video data can be stored in the memory module 103. Further, the image or video data can be processed by the calculation unit 101 or the calculation unit 102.
- the camera module 110 may have a light source for photographing. For example, a lamp such as a xenon lamp, a light emitting element such as an LED or an organic EL, or the like can be used.
- the light source for photographing the light emitted from the display panel included in the display module 104 may be used, and in that case, not only white light but also light of various colors may be used for photographing.
- the external port of the external interface 111 for example, a configuration in which a transmitter / receiver for optical communication using infrared rays, visible light, ultraviolet rays, etc. is provided, or a configuration in which a transmitter / receiver for RF signals is provided as in the above-mentioned communication module 108.
- the external interface 111 can have a function as the information transmission unit 17 of the information processing device 10 described in the first embodiment, and the information determined or generated by the information processing unit 16 can be obtained. It is possible to transmit to an external device 28 having an information receiving unit 18.
- an external port to which other input components can be connected may be provided.
- examples of the external port included in the external interface 111 include a configuration in which a device such as an input means such as a keyboard or a mouse, an output means such as a printer, or a storage means such as an HDD can be connected via a cable.
- a typical example is a USB terminal.
- the external port may have a LAN connection terminal, a digital broadcast reception terminal, a terminal for connecting an AC adapter, and the like.
- This embodiment can be implemented by appropriately combining at least a part thereof with other embodiments described in the present specification.
- Display devices As electronic devices to which one aspect of the present invention can be applied, display devices, personal computers, image storage devices or image playback devices provided with recording media, mobile phones (including smartphones), game machines including portable types, and mobile data terminals.
- Tablet terminals electronic book terminals, video cameras, cameras such as digital still cameras, goggles type displays (head mount displays), navigation systems, sound reproduction devices (car audio, digital audio players, etc.), copiers, facsimiles, printers , Printer multifunction devices, automatic cash deposit / payment machines (ATMs), automated cellar machines, vending machines, and the like. Specific examples of these electronic devices are shown in FIGS. 5A to 5F.
- FIG. 5A is an example of a mobile phone, which includes a housing 981, a display unit 982, an operation button 983, an external connection port 984, a speaker 985, a microphone 986, a camera 987, and the like.
- the mobile phone includes a touch sensor on the display unit 982. All operations such as making a phone call or inputting characters can be performed by touching the display unit 982 with a finger or a stylus.
- the information processing device and the information processing method according to one aspect of the present invention can be applied to the element for image acquisition (acquisition of user's face information) in the mobile phone.
- FIG. 5B is an example of a portable data terminal, which includes a housing 911, a display unit 912, a speaker 913, a camera 919, and the like.
- Information can be input and output by the touch panel function of the display unit 912.
- characters and the like can be recognized from the image acquired by the camera 919, and the characters can be output as voice by the speaker 913.
- the information processing device and the information processing method according to one aspect of the present invention can be applied to the element for image acquisition (acquisition of user's face information) in the portable data terminal.
- FIG. 5C is an example of a surveillance camera (security camera), which has a support base 951, a camera unit 952, a protective cover 953, and the like.
- the camera unit 952 is provided with a rotation mechanism or the like, and by installing it on the ceiling, it is possible to take an image of the entire circumference.
- the information processing apparatus and information processing method according to one aspect of the present invention can be applied to the elements for image acquisition (acquisition of user's face information) in the camera unit.
- the surveillance camera is a conventional name and does not limit its use.
- a device having a function as a surveillance camera is also called a camera or a video camera.
- FIG. 5D is an example of a video camera, which includes a first housing 971, a second housing 972, a display unit 973, an operation key 974, a lens 975, a connection unit 976, a speaker 977, a microphone 978, and the like.
- the operation key 974 and the lens 975 are provided in the first housing 971, and the display unit 973 is provided in the second housing 972.
- the information processing device and the information processing method according to one aspect of the present invention can be applied to the elements for image acquisition (acquisition of user's face information) in the video camera.
- FIG. 5E is an example of a digital camera, which includes a housing 961, a shutter button 962, a microphone 963, a light emitting unit 967, a lens 965, and the like.
- the information processing device and the information processing method according to one aspect of the present invention can be applied to the elements for image acquisition (acquisition of user's face information) in the digital camera.
- FIG. 5F is an example of a wristwatch-type information terminal, which has a display unit 932, a housing / wristband 933, a camera 939, and the like.
- the display unit 932 includes a touch panel for operating the information terminal.
- the display unit 932 and the housing / wristband 933 have flexibility and are excellent in wearability to the body.
- the information processing device and the information processing method according to one aspect of the present invention can be applied to the elements for image acquisition (acquisition of user's face information) in the information terminal.
- the information processing device is a mobile phone as shown in FIG. 5A.
- the information according to one aspect of the present invention can be obtained by installing the mobile phone at a position where the user's face can be detected.
- safe driving can always be performed regardless of the user's emotions.
- the information processing device that can be applied when driving a car is not limited to the mobile phone as shown in FIG. 5A. It may be a portable data terminal as shown in FIG. 5B, a video camera as shown in FIG. 5D, a digital camera as shown in FIG. 5E, or a digital camera as shown in FIG. 5F. It may be a wristwatch type information terminal such as.
- the information processing device is a mobile phone as shown in FIG. 5A, and the user is inside a building having the information receiving unit 18 described in the first embodiment of the mobile phone.
- the mobile phone can detect the face of the user during a call. For example, when it is estimated from the user's facial expression that the user's emotions suddenly turn into intense anger, the mobile phone sends information to the effect that the call is canceled. Then, the building having the information receiving unit 18 that has received the information can take measures such as forcibly terminating the user's call (for example, transmitting a signal that automatically disconnects the call state). .. As a result, it is possible to prevent deterioration of human relations and loss of opportunities for commercial transactions.
- the information processing device is a mobile phone as shown in FIG. 5A
- the external device 28 having the information receiving unit 18 described in the first embodiment is an automatic teller machine.
- the building for example, a bank, a convenience store, etc.
- the mobile phone presumes that the user has a strong feeling of anxiety from the facial expression of the user.
- the information processing method when the user is near the automatic teller machine, the information prohibiting the use of the mobile phone from the mobile phone to the building where the automated teller machine is installed. Can also be taken, such as being sent. As a result, damage such as the above-mentioned wire fraud can be prevented.
- the information processing device is a surveillance camera as shown in FIG. 5C.
- the surveillance camera is installed at a cash register of a convenience store, and the external device 28 having the information receiving unit 18 described in the first embodiment is a crisis management room of the convenience store.
- the surveillance camera can be used for crisis management. It is also possible to take measures such as sending information requesting the dispatch of support personnel to the room. As a result, it is possible to prevent damage such as the clerk getting into trouble.
- This embodiment can be implemented by appropriately combining at least a part thereof with other embodiments described in the present specification.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Social Psychology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Telephone Function (AREA)
Abstract
ユーザーの感情に応じて適切な動作を選択し、実行させることのできる情報処理装置および情報処 理方法を提供する。 ユーザーの顔を検出し、検出した顔の情報から、ユーザーの顔の特徴を抽出する。そして抽出した 顔の特徴からユーザーの感情を推定し、推定したユーザーの感情に応じた情報を生成する。また、 全地球測位システムから発信される電波に含まれるユーザーおよび情報受信部を有する外部機器の 位置情報に応じて、生成した情報を外部機器へ発信するか否かを判断する。発信する判断がなされ た場合、生成した情報が外部機器へ発信される。そして情報を受信した外部機器は、受信した情報 に基づいた動作を選択・実行する。
Description
本発明の一態様は、情報処理装置および情報処理方法に関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置、入出力装置、それらの駆動方法、またはそれらの製造方法、を一例として挙げることができる。なお、本明細書等において、半導体装置は、半導体特性を利用することで機能し得る装置全般を指す。
顔の撮像画像から、表情認識を行う技術が知られている。例えばデジタルカメラなどにおいて、人が笑った瞬間や、人がカメラに視線を向けた瞬間などに自動的に撮像する技術に、表情認識が応用されている。
表情認識の技術としては、例えば特許文献1に、顔の特徴点を検出し、その特徴点に基づいて高い精度で表情認識する技術が開示されている。
人の動作(行動、行為)にはその時どきの感情が少なからず反映され、本人が同じ動作をしているつもりでも微妙な違いとなって表れる場合が多い。車の運転を例に挙げれば、ドライバーが平常心のときは落ち着いて安全運転を実施することができるが、ドライバーが激しい怒りの感情を有していた場合、我を忘れ、ハンドル操作やアクセルペダルの踏み込み等の運転操作が乱暴になる恐れがある。また、ドライバーが深い悲しみの感情を有していた場合、判断能力が鈍り、種々の運転操作のタイミングに微妙な遅れが生じる恐れがある。また、ドライバーが運転中に何らかの予期せぬ事態に遭遇し、大きな驚きの感情を有していた場合、冷静な判断能力を失い、アクセルとブレーキの踏み間違え等の通常では考えられないミスを誘発する恐れがある。
車の運転等の動作では、わずかな操作ミスが人命に直結する恐れがある。したがって、ドライバーには常に高い集中力と冷静な判断力、および、その時どきの感情に左右されない安定した運転操作の遂行が求められる。しかしながら、上述したようなドライバーの感情の違いに起因する運転操作は、他者から見れば明白であっても、ドライバー本人にとっては自覚が無い場合も多く、ドライバー本人の意志だけで安定した運転操作を実施することが難しい。
なお、ここでは一例として車の運転を挙げたが、人の感情に左右される可能性のある動作はこれに限られない。例えば、重機の操作や、工場の生産ラインの装置の操作なども、人の感情に左右される可能性のある動作である。
本発明の一態様は、人の感情に起因して通常と異なる動作がなされることを未然に防ぐことのできる装置または方法を提供することを課題の一とする。または、本発明の一態様は、人の感情に応じて適切な動作を選択し、実行させることができる装置または方法を提供することを課題の一とする。
または、本発明の一態様は、新規な情報処理装置を提供することを課題の一とする。または、本発明の一態様は、新規な情報処理方法を提供することを課題の一とする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、特許請求の範囲などの記載から抽出することが可能である。
本発明の一態様は、ユーザーの顔を検出する被写体検出部と、顔の特徴を抽出する特徴抽出部と、特徴からユーザーの感情を推定する感情推定部と、推定した感情に応じた第1の情報を生成する情報生成部と、全地球測位システムからの電波を受信するセンサ部と、第1の情報と、センサ部から送信された、電波に含まれる第2の情報と、を受信し、第1の情報および第2の情報に応じた第3の情報を生成する情報処理部と、第3の情報を発信する情報発信部と、を有する情報処理装置である。
また上記において、第3の情報を、全地球測位システムで位置が特定された、情報受信部を有する外部機器に発信することが好ましい。
また上記において、特徴は、ユーザーの目の形状、眉の形状、口の形状、視線、顔色の少なくとも一を含んでいることが好ましい。
また上記において、特徴の抽出は、ニューラルネットワークを用いた推論により行われることが好ましい。
また上記において、感情は、怒り、悲しみ、苦しみ、焦り、不安、不満、恐怖、驚き、空虚の少なくとも一を含んでいることが好ましい。
また上記において、感情の推定は、ニューラルネットワークを用いた推論により行われることが好ましい。
また上記において、第2の情報は、ユーザーと外部機器との間の距離を含んでいることが好ましい。
また上記において、第3の情報は、第1の情報を含んでいることが好ましい。
また上記において、外部機器は、車、建物のいずれかを含んでいることが好ましい。
また、本発明の他の一態様は、ユーザーの顔を検出するステップと、検出した顔の情報から顔の特徴を抽出するステップと、特徴からユーザーの感情を推定するステップと、感情に応じた第1の情報を生成するステップと、第1の情報に基づいて、第1の情報に応じた第2の情報を生成するステップと、全地球測位システムからの電波に含まれる第3の情報に基づいて第2の情報を外部に発信するか否かを判断するステップと、判断に応じて第2の情報を外部に発信するステップ、または第2の情報を外部に発信しないステップと、を有する情報処理方法である。
また上記において、判断するステップの後に、さらに第2の情報を、全地球測位システムで位置が特定された、情報受信部を有する外部機器に発信するステップを有していることが好ましい。
また上記において、特徴は、ユーザーの目の形状、眉の形状、口の形状、視線、顔色の少なくとも一を含んでいることが好ましい。
また上記において、特徴の抽出は、ニューラルネットワークを用いた推論により行われることが好ましい。
また上記において、感情は、怒り、悲しみ、苦しみ、焦り、不安、不満、恐怖、驚き、空虚の少なくとも一を含んでいることが好ましい。
また上記において、感情の推定は、ニューラルネットワークを用いた推論により行われることが好ましい。
また上記において、第3の情報は、ユーザーと外部機器との間の距離を含んでいることが好ましい。
また上記において、第2の情報は、第1の情報を含んでいることが好ましい。
また上記において、外部機器は、車、建物のいずれかを含んでいることが好ましい。
本発明の一態様により、人の感情に起因して通常と異なる動作がなされることを未然に防ぐことのできる装置または方法を提供することができる。または、本発明の一態様により、人の感情に応じて適切な動作を選択し、実行させることのできる装置または方法を提供することができる。
または、本発明の一態様により、新規な情報処理装置を提供することができる。または、本発明の一態様により、新規な情報処理方法を提供することができる。
なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から抽出することが可能である。
図1は、本発明の一態様に係る情報処理装置の構成例を示すブロック図である。
図2Aおよび図2Bは、本発明の一態様に係る情報処理装置で用いるニューラルネットワークを説明する図である。図2Cは、本発明の一態様に係る情報処理装置で用いるニューラルネットワークの出力結果の例を示す図である。
図3は、本発明の一態様に係る情報処理方法の例を示すフローチャートである。
図4は、本発明の一態様に係る情報処理装置の構成例を示すブロック図である。
図5A乃至図5Fは、本発明の一態様を適用できる電子機器の例を示す図である。
図2Aおよび図2Bは、本発明の一態様に係る情報処理装置で用いるニューラルネットワークを説明する図である。図2Cは、本発明の一態様に係る情報処理装置で用いるニューラルネットワークの出力結果の例を示す図である。
図3は、本発明の一態様に係る情報処理方法の例を示すフローチャートである。
図4は、本発明の一態様に係る情報処理装置の構成例を示すブロック図である。
図5A乃至図5Fは、本発明の一態様を適用できる電子機器の例を示す図である。
以下、実施の形態について図面を参照しながら説明する。ただし、実施の形態は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下の実施の形態の記載内容に限定して解釈されるものではない。
なお、本明細書で説明する各図において、各構成の大きさ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。
なお、本明細書等における「第1」、「第2」等の序数詞は、構成要素の混同を避けるために付すものであり、数的に限定するものではない。
(実施の形態1)
本発明の一態様は、ユーザーの顔を検出し、検出した顔の情報からユーザーの顔の特徴を抽出する。そして抽出された特徴からユーザーの感情を推定し、推定された感情に応じた情報を生成する。当該情報は、情報受信部を有する外部機器によって受信される。また、本発明の一態様は、全地球測位システム(GPS:Global Positioning System)から発信された電波を受信する。当該電波には、ユーザーと、前述した外部機器の位置情報が含まれている。ユーザーの感情を推定して生成された情報は、当該位置情報に応じて発信され、前述の外部機器で受信される。これにより、ユーザーの感情に起因して、通常と異なる動作や誤った動作がなされるのを未然に防ぐことができる。また、ユーザーの感情に応じて、適切な動作を選択し、実行させることができる。
本発明の一態様は、ユーザーの顔を検出し、検出した顔の情報からユーザーの顔の特徴を抽出する。そして抽出された特徴からユーザーの感情を推定し、推定された感情に応じた情報を生成する。当該情報は、情報受信部を有する外部機器によって受信される。また、本発明の一態様は、全地球測位システム(GPS:Global Positioning System)から発信された電波を受信する。当該電波には、ユーザーと、前述した外部機器の位置情報が含まれている。ユーザーの感情を推定して生成された情報は、当該位置情報に応じて発信され、前述の外部機器で受信される。これにより、ユーザーの感情に起因して、通常と異なる動作や誤った動作がなされるのを未然に防ぐことができる。また、ユーザーの感情に応じて、適切な動作を選択し、実行させることができる。
例えば、本発明の一態様に係る情報処理装置が、携帯電話(スマートフォンを含む。)、タブレット端末などの携帯情報端末機器であり、当該携帯情報端末機器から発信された情報を受信する外部機器が、情報受信部を有した車であるとする。そして、ユーザーが携帯情報端末機器を車内に持ち込み、ユーザーの顔を常に検出できる状態に設定・設置した状態で運転を行う場合を考える。
顔の情報には、顔の輪郭や顔色などの大局的な情報から、目、眉、鼻、口などの顔の部位の形状や位置関係、および、目の見開き方、鼻孔の膨らみ方、口の開き具合(閉まり具合)、眉の角度、眉間の皺、視線の位置などの局所的な情報に至るまで、非常に多くの特徴が含まれている。また、人の表情はこれら種々の特徴の組み合わせによって形成されているため、携帯情報端末機器がユーザーの顔を検出し続けることで、ユーザーの運転中の感情を反映した表情の変化を検出することができる。そのため、携帯情報端末機器はより多くの顔の表情を検出することが望ましい。
また、人の感情と表情との間には、個人差や程度差はあるが、ある程度の相関関係が存在する。例えば、人は激しい怒りの感情を有しているとき、平時に比べて目尻や眉毛が吊り上がる、視線がきつくなる、顔色が紅潮する、などの特徴が表れることがある。また例えば、人は深い悲しみの感情を有しているとき、平時に比べて目尻や眉毛が下がり気味になる、視線が定まらなくなる、伏し目になる、顔色が青白くなる、などの特徴が表れることがある。また例えば、人は大きな驚きの感情を有しているとき、平時に比べて目の見開き方が大きくなる、口を大きく開く、一点を凝視する、などの特徴が表れることがある。
したがって、本発明の一態様に係る情報処理装置が、ユーザーの顔の情報を検出して当該情報からユーザーの表情を読み取る、すなわち顔の特徴を抽出することで、その時どきのユーザーの感情を推定することができる。
なお、前述した通り、人の感情と表情との間の相関関係には個人差や程度差があり、必ずしも上述の限りではない。また、上述した以外の特徴が表れる場合もある。
また、上記では人の感情として、怒り、悲しみ、驚きの三つを例示したが、本発明の一態様に係る情報処理装置が推定する感情はこの限りではない。本発明の一態様に係る情報処理装置が推定する感情は、怒り、悲しみ、驚きの他、苦しみ、焦り、不安、不満、恐怖、空虚なども含まれる。
例えば、ユーザーが激しい怒りの感情を有した状態で車の運転を行っていた場合、車内に設置された携帯情報端末機器は、検出したユーザーの顔の情報から、目尻や眉毛が吊り上がっている、視線がきつい、顔色が紅潮している、などの特徴を抽出する。そして当該特徴から、ユーザーが怒りの感情を有していることを推定することができる。なお、後述するように、ユーザーの顔の特徴抽出や感情推定は、ニューラルネットワークを用いた推論により行うことができる。
推定されたユーザーの感情が激しい怒りであった場合、ユーザーが運転を継続することは、運転操作ミスや事故につながる危険性を伴う。そのため、このような場合、ユーザーは一旦運転を中断することが好ましい。
本発明の一態様では、車内に設置された携帯情報端末機器が、例えば、上述のようにユーザーが怒りの感情を有していると推定した場合、これに応じてユーザーが取るべき適切な動作(例えば、車の走行速度を落とす、一旦停止する等。)を含む情報を生成し、車が有する情報受信部に発信する。当該情報受信部が前述の情報を受信すると、例えば、車が走行中の場合は車の速度が一定以上出ないように制御する、ユーザーが乗車直後の場合はエンジンがかからないようにする、などの措置が取られる。これにより、ユーザーが平時と異なる感情を有している場合であっても、通常と異なる動作がなされるのを未然に防ぐことができる。また、ユーザーの感情に応じて、適切な動作を選択し、実行させることができる。
また、ユーザーが車の運転操作を誤った場合、例えば、ユーザーが車を前進させようとして誤って後方に発進させてしまった場合、車内に設置された携帯情報端末機器は、検出したユーザーの顔の情報から、目を見開いている、口を大きく開けている、一点を凝視している、などの特徴を抽出する。そして当該特徴から、ユーザーが驚きの感情を有していることを推定することができる。
本発明の一態様では、車内に設置された携帯情報端末機器が、例えば、上述のようにユーザーが驚きの感情を有していると推定した場合、これに応じてユーザーが取るべき適切な動作(例えば、直ちに停止する等。)を含む情報を生成し、車が有する情報受信部に発信する。当該情報受信部が前述の情報を受信すると、例えば、車が自動的に停止する、などの措置が取られる。これにより、ユーザーに急激な感情の変化が生じた場合であっても、通常と異なる動作がなされるのを未然に防ぐことができる。また、ユーザーの感情に応じて、適切な動作を選択し、実行させることができる。
また、本発明の一態様に係る情報処理装置は、全地球測位システムから発信された電波を受信する。上の例の場合、当該電波には、全地球測位システムによって特定された携帯情報端末機器と車の位置情報(すなわち、ユーザーと車との間の距離などを示す情報。)が含まれる。本発明の一態様では、当該位置情報に応じて、携帯情報端末機器がユーザーの感情を推定して生成された情報(例えば、車を停止する、エンジンをかけない等。)を、車が有する情報受信部に発信する。
例えば、全地球測位システムから発信された電波が含む位置情報により、ユーザーが携帯情報端末機器の設置された車内にいることが判明した場合、ユーザーはこれから車を運転しようとしている、あるいは運転中の状態であることが推定される。この場合、ユーザーの感情によっては、運転を開始または継続することが安全に支障をきたす恐れがあるため、携帯情報端末機器がユーザーの感情を推定して生成された情報が、車が有する情報受信部に発信される。そして車に対して、当該情報に従った制御(例えば、エンジンをかけない、車の走行速度が一定以上出ないようにする等。)がかけられる。
一方、例えば、ユーザーが携帯情報端末機器を所持して家などの屋内にいる場合、ユーザーが情報受信部を有する車の運転による事故を起こすことはない。したがって、全地球測位システムから発信された電波が含む位置情報により、ユーザーと情報受信部を有する車との間に一定以上の距離があることが判明した場合は、携帯情報端末機器がユーザーの感情を推定して生成された情報は、車が有する情報受信部に発信されない。
以上のように、本発明の一態様に係る情報処理装置は、ユーザーの表情から感情を推定し、推定した感情に応じた情報を作成する。そして当該情報は、全地球測位システムで位置が特定された、情報受信部を有する外部機器に発信する。ただし、全地球測位システムにより、ユーザーと外部機器との間に一定以上の距離があることが判明した場合には、前述の情報は発信されない。もし外部機器が前述の情報を受信した場合には、外部機器は当該情報に従った動作を実行する。
このように、本発明の一態様に係る情報処理装置は、情報受信部を有する外部機器、および全地球測位システムと連携しながら動作することで、ユーザーの感情に起因して通常と異なる動作がなされるのを未然に防ぐことができる。または、ユーザーの感情に応じて適切な動作を選択し、実行させることができる。例えば、本発明の一態様に係る情報処理装置が携帯情報端末機器、情報受信部を有する外部機器がユーザーの運転する車である場合、ユーザーが平時と異なる感情(例えば、怒り、悲しみ、驚き等。)を有した状態であっても、常に安全な運転(例えば、適切な速度での走行、一時停止等。)を実行することができる。
なお、上では情報受信部を有する外部機器の一例として車を挙げたが、これに限られない。本発明の一態様では、情報受信部を有する外部機器は建物であってもよい。建物の具体的な例としては、コンビニエンスストア、スーパーマーケット、デパート等の商業施設の店舗、銀行、学校、病院等の公共施設の建造物、家、アパート、マンション等の住宅用建造物、ビル等のオフィス用建造物などが挙げられる。
以下では、本発明の一態様のより具体的な例について、図面およびフローチャートを参照して説明する。
<情報処理装置の構成例>
図1は、本発明の一態様に係る情報処理装置10の構成例を示すブロック図である。情報処理装置10は、一例として、被写体検出部11、特徴抽出部12、感情推定部13、情報生成部14、センサ部15、情報処理部16、および情報発信部17を有する。
図1は、本発明の一態様に係る情報処理装置10の構成例を示すブロック図である。情報処理装置10は、一例として、被写体検出部11、特徴抽出部12、感情推定部13、情報生成部14、センサ部15、情報処理部16、および情報発信部17を有する。
また前述したように、情報処理装置10は、情報受信部18を有する外部機器28、および全地球測位システム29と連携しながら動作することができる。
なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることや、一つの機能を複数の構成要素で実現することもあり得る。
〔被写体検出部11〕
被写体検出部11は、ユーザーの顔の一部または全部の情報を取得し、その情報を特徴抽出部12に出力する機能を有する。
被写体検出部11は、ユーザーの顔の一部または全部の情報を取得し、その情報を特徴抽出部12に出力する機能を有する。
被写体検出部11としては、代表的にはイメージセンサを搭載する撮像装置を用いることができる。その場合、赤外線をユーザーの顔に照射して撮像する赤外線撮像装置を用いてもよい。なお、被写体検出部11は、被写体の顔の一部または全部の状態を検出できる装置であれば、撮像装置に限られない。赤外線等によりデバイスと顔の一部との距離を測定する光学測距装置を用いることもできる。また、ユーザーの顔に電極を接触させ、ユーザーの顔の筋肉の動きを電気的に検出する検出装置を用いてもよい。
〔特徴抽出部12〕
特徴抽出部12は、被写体検出部11から出力された顔の情報から、特徴点を抽出し、その特徴点の位置から顔の一部または全部の特徴を抽出し、抽出した特徴の情報を感情推定部13に出力する機能を有する。
特徴抽出部12は、被写体検出部11から出力された顔の情報から、特徴点を抽出し、その特徴点の位置から顔の一部または全部の特徴を抽出し、抽出した特徴の情報を感情推定部13に出力する機能を有する。
被写体検出部11が取得する顔の情報が、目およびその周囲の情報である場合、特徴抽出部12が抽出する特徴としては、例えば瞳孔、虹彩、角膜、結膜(白目)、目頭、目尻、上眼瞼、下眼瞼、まつ毛、眉毛、眉間、眉頭、眉尻などが挙げられる。また、目およびその周囲以外の特徴としては、鼻根、鼻尖、鼻柱、鼻孔、***(上唇、下唇)、口角、口裂、歯、頬、顎、えら、額などがある。特徴抽出部12は、これら顔の部位の形状や位置などを認識し、それぞれの部位における特徴点の位置座標を抽出する。そして、抽出した位置座標のデータ等を顔の特徴の情報として感情推定部13に出力することができる。
なお本発明の一態様では、特徴抽出部12は、被写体検出部11が取得する顔の情報から、目の形状、眉の形状、口の形状、視線、顔色のうちの少なくとも一つを特徴として抽出することが好ましい。
特徴抽出部12による特徴抽出の手法としては、被写体検出部11で取得した画像等から、特徴点を抽出する様々なアルゴリズムを適用することができる。例えば、SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)、HOG(Histograms of Oriented Gradients)などのアルゴリズムを用いることができる。
本発明の一態様では、特徴抽出部12による特徴抽出は、ニューラルネットワークの推論により行われることが好ましい。特に畳み込みニューラルネットワーク(CNN:Convolutional Neural Networks)を用いて行われることが好ましい。以下では、ニューラルネットワークを用いる場合について説明する。
図2Aに、特徴抽出部12に用いることのできるニューラルネットワークNN1を模式的に示す。ニューラルネットワークNN1は、入力層51、三つの中間層52、および出力層53を有する。なお、中間層52の数は三つに限られず、一以上であればよい。
ニューラルネットワークNN1には、被写体検出部11から入力されたデータ61が入力される。データ61は、座標と、その座標に対応する値を含むデータである。代表的には、座標と、その座標に対応する階調値を含む画像データとすることができる。ニューラルネットワークNN1からは、データ62が出力される。データ62は、上述した特徴点の位置座標を含むデータである。
ニューラルネットワークNN1は、画像データ等のデータ61から、上述した特徴点を抽出し、その座標を出力するように、あらかじめ学習されている。ニューラルネットワークNN1では、中間層52で様々なフィルタを用いたエッジ処理などを行うことで、上述した特徴点の存在する座標に対応する出力層53のニューロン値が高くなるよう、学習されている。
〔感情推定部13〕
感情推定部13は、特徴抽出部12から入力される顔の特徴の情報から、ユーザーの感情を推定し、推定した感情の情報を情報生成部14に出力する機能を有する。
感情推定部13は、特徴抽出部12から入力される顔の特徴の情報から、ユーザーの感情を推定し、推定した感情の情報を情報生成部14に出力する機能を有する。
感情推定部13は、ユーザーの顔の特徴の情報を用いて、ユーザーが負の感情(例えば、怒り、悲しみ、苦しみ、焦り、恐怖、不安、不満、驚き、苛立ち、憤り、興奮、または空虚等。)を抱いているか否かを推定することができる。また、負の感情を抱いている場合にその度合い(レベル)を推定することが好ましい。
なお本発明の一態様では、感情推定部13は、怒り、悲しみ、苦しみ、焦り、不安、不満、恐怖、驚き、空虚のうちの少なくとも一つを推定できることが好ましい。
また本発明の一態様では、感情推定部13における感情の推定は、ニューラルネットワークを用いた推論により行われることが好ましい。特に、CNNを用いて行われることが好ましい。
図2Bに、感情推定部13に用いることのできるニューラルネットワークNN2を模式的に示す。ここでは、ニューラルネットワークNN2が、概ねニューラルネットワークNN1と同様の構成を有する例を示している。なお、ニューラルネットワークNN2の入力層51のニューロンの数は、ニューラルネットワークNN1よりも少なくすることができる。
ニューラルネットワークNN2には、特徴抽出部12から入力されたデータ62が入力される。データ62は、抽出した特徴点の座標に係る情報を含む。
また、ニューラルネットワークNN2に入力されるデータとして、データ62を加工したデータを用いてもよい。例えば、任意の二つの特徴点間を結ぶベクトルを算出し、これを全ての特徴点、または一部の特徴点について求めたものを、ニューラルネットワークNN2に入力するデータとしてもよい。また、算出したベクトルを正規化したデータとしてもよい。なお以下では、ニューラルネットワークNN1が出力するデータ62に基づいて、これを加工したデータも、データ62と表記する。
データ62が入力されたニューラルネットワークNN2からは、データ63が出力される。データ63は、出力層53の各ニューロンから出力されるニューロン値に相当する。出力層53の各ニューロンは、それぞれ一つの感情に紐付されている。図2Bに示すように、データ63は、所定の負の感情(怒り、悲しみ、苦しみ、焦り、恐怖等)に対応するニューロンのニューロン値が含まれたデータである。
ニューラルネットワークNN2は、データ62から、負の感情の度合いを推定し、ニューロン値として出力するように、あらかじめ学習されている。ユーザーの顔における複数の特徴点の相対的な位置関係はユーザーの表情を決定することができるため、ニューラルネットワークNN2により、その表情からユーザーの抱いている感情を推定することができる。
図2Cは、データ63について模式的に示した図である。各感情に対応するニューロン値の高さは、推定された感情の度合いの高さを示している。またデータ63には、しきい値Tを破線で示している。例えば、各感情に対応するニューロン値の高さがしきい値Tを下回る場合には、その感情をユーザーが抱いていない、またはその感情の度合いが低いと判定することができる。逆に、各感情に対応するニューロン値の高さがしきい値Tを上回る場合には、その感情の度合いが高いと判定することができる。
例えば、図2Cからは、「怒り」と「焦り」とが混在した感情であること、また特に「怒り」を強く感じていること、を推定することができる。
なお図2Cでは、各感情の度合いの高低を識別するしきい値が一つしか設定されていないが、ニューロン値の大きさに応じて、しきい値を複数設定してもよい。例えば、しきい値Tよりも小さい任意のニューロン値にしきい値T1を、しきい値Tよりも大きい任意のニューロン値にしきい値T2を設定してもよい。これにより、例えば各感情に対応するニューロン値の高さが、しきい値T1を下回る場合には「感情の度合いが低い(落ち着いている)」、しきい値T1としきい値T2の間にある場合には「やや感情の度合いが高い」、しきい値T2を上回る場合には「非常に感情の度合いが高い」、などのように、各感情の度合いの高低をより細かく識別することができる。
このように、感情推定部13が負の感情についてのみを推定し、その結果を情報生成部14に出力する構成とすることで、感情推定部13における演算規模を縮小することができ、演算に係る電力消費を低減することができる。また、情報生成部14で利用するデータ量を削減できるため、感情推定部13から情報生成部14までのデータの伝送、および情報生成部14での演算に係る電力消費も低減することができる。なお、感情推定部13は、負の感情だけでなく、それと相反する感情、例えば喜び、感謝、幸福、親しみ、満足、愛しさ等の感情を推定し、その結果を情報生成部14に出力することもできる。
なお、感情の推定は、ニューラルネットワークを用いずに行うこともできる。例えば、被写体検出部11で取得したユーザーの顔の一部の画像と、テンプレート画像とを比較して、その類似度を用いるテンプレートマッチング法やパターンマッチング法等により行ってもよい。その場合、特徴抽出部12を有さない構成とすることもできる。
〔情報生成部14〕
情報生成部14は、感情推定部13が推定した感情に応じた情報(第1の情報)を決定または生成し、情報処理部16に出力する機能を有する。
情報生成部14は、感情推定部13が推定した感情に応じた情報(第1の情報)を決定または生成し、情報処理部16に出力する機能を有する。
第1の情報は、後述する情報処理部16および情報発信部17を介して、最終的に情報受信部18を有する外部機器28に発信される情報のベースとなる情報である。例えば、外部機器28がユーザーの運転する車である場合を考える。もし感情推定部13が、前述したしきい値Tを上回る負の感情をユーザーが有していると推定した場合には、当該推定結果を受けた情報生成部14は、「車が一定速度を超えないようにする」、「車を減速する」、「車を停止する」などのユーザーの感情に応じた適切な動作を第1の情報として決定または生成し、情報処理部16に出力する。また、もし感情推定部13が、ユーザーが有する負の感情は前述したしきい値Tを下回ると推定した場合には、当該推定結果を受けた情報生成部14は、「このまま運転を継続する」などのユーザーが行うべき動作を第1の情報として決定または生成し、情報処理部16に出力する。
なお第1の情報は、あらかじめ、感情推定部13で推定される感情と紐付されていてもよい。例えば、「怒り」という感情と「車が一定速度を超えないようにする」という動作を紐付させた情報を事前に作成し、情報生成部14に登録しておいてもよい。こうすることで、感情推定部13が「怒り」という感情を推定した場合、情報生成部14は「車が一定速度を超えないようにする」という動作を第1の情報として出力させることができる。このように、あらかじめ各感情とこれらに応じた適切な動作を紐付させた多くの情報(データセット)を作成しておくことで、ユーザーの感情に突然変化が生じたとしても、情報生成部14は瞬時に適切な第1の情報を出力させることができる。
〔センサ部15〕
センサ部15は、全地球測位システム29から発信された電波を受信し、当該電波に含まれる情報(第2の情報)を情報処理部16に出力する機能を有する。
センサ部15は、全地球測位システム29から発信された電波を受信し、当該電波に含まれる情報(第2の情報)を情報処理部16に出力する機能を有する。
センサ部15が全地球測位システム29から受信する電波には、情報処理装置10と後述する情報受信部18を有する外部機器28の位置情報が含まれている。第2の情報は、前述の位置情報のうち、少なくともユーザーと外部機器28との間の距離を含む情報である。センサ部15は、全地球測位システム29から発信された電波が含む前述の位置情報から、第2の情報を抽出し、情報処理部16に出力する。
〔情報処理部16〕
情報処理部16は、情報生成部14から出力された第1の情報およびセンサ部15から出力された第2の情報を受信し、受信内容に応じた情報(第3の情報)を決定または生成し、これを情報発信部17に出力する機能を有する。
情報処理部16は、情報生成部14から出力された第1の情報およびセンサ部15から出力された第2の情報を受信し、受信内容に応じた情報(第3の情報)を決定または生成し、これを情報発信部17に出力する機能を有する。
第3の情報は、後述する情報発信部17を介して、情報処理装置10から出力される最終情報であり、第1の情報を含む情報である。情報処理部16は、情報生成部14から入力される第1の情報に基づいて第3の情報を決定または生成する。第3の情報は、第1の情報のすべて、または少なくともその一部を含む。
また、情報処理部16は、センサ部15から入力される第2の情報に基づいて、第3の情報を情報発信部17に出力するか否かの判断を行う。例えば、情報処理装置10がユーザーの所持する携帯情報端末機器であり、外部機器28がユーザーの所有する車である場合を考える。もしユーザーが携帯情報端末機器を所持して家などの屋内にいる場合、情報処理部16には、センサ部15から、ユーザーと車との間に一定以上の距離がある(すなわち、ユーザーは乗車していない。)ことを示す第2の情報が入力される。
上の場合では、ユーザーがどのような感情を有していたとしても、車の運転による事故を起こすことはない。したがって、携帯端末機器は、必ずしも車に第3の情報を発信する必要はない。このような場合、情報処理部16は、第3の情報を情報発信部17に出力しない判断を選択する。
このように、情報処理部16は、情報生成部14から入力される第1の情報に基づいて第3の情報を生成または決定し、センサ部15から入力される第2の情報に基づいて、生成または決定した第3の情報を情報発信部17に出力するか否かの判断を行う。そして、出力の判断が選択された場合に、第3の情報が情報発信部17に出力される。
なお情報処理部16は、二つの演算部を有していてもよい。例えば、一方の演算部が、情報生成部14から入力される第1の情報に基づいて第3の情報を決定または生成し、他方の演算部が、センサ部15から入力される第2の情報に基づいて情報発信部17に第3の情報を出力するか否かの判断を行い、出力の判断が選択された場合に情報発信部17に第3の情報を出力する構成としてもよい。
〔情報発信部17〕
情報発信部17は、情報処理部16から入力される第3の情報を、情報受信部18を有する外部機器28に発信する機能を有する。
情報発信部17は、情報処理部16から入力される第3の情報を、情報受信部18を有する外部機器28に発信する機能を有する。
情報発信部17は、情報処理部16から第3の情報の入力があった場合、全地球測位システム29で位置が特定された、情報受信部18を有する外部機器28に第3の情報を発信する。なお本発明の一態様では、第3の情報を受信する情報受信部18を有する外部機器28は、車、建物のいずれかを含む。
以上が、本発明の一態様に係る情報処理装置10の構成例についての説明である。当該構成例を適用することで、ユーザーの感情に起因して通常と異なる動作がなされるのを未然に防ぐことのできる情報処理装置を提供することができる。または、ユーザーの感情に応じて適切な動作を選択し、実行させることのできる情報処理装置を提供することができる。
<情報処理方法の例>
図3は、本発明の一態様に係る情報処理方法の例を示すフローチャートである。当該フローチャートに従う一連の処理は、上で説明した本発明の一態様に係る情報処理装置10によって実施することができる。
図3は、本発明の一態様に係る情報処理方法の例を示すフローチャートである。当該フローチャートに従う一連の処理は、上で説明した本発明の一態様に係る情報処理装置10によって実施することができる。
まず初めに、ステップS1にて、ユーザーの顔の一部または全部を検出する処理を行う。情報処理装置10では、被写体検出部11が当該処理を行うことができる。
次に、ステップS2にて、ステップS1で検出したユーザーの顔の情報から、顔の一部または全部の特徴を抽出する処理を行う。なお本発明の一態様では、検出したユーザーの顔の情報から、目の形状、眉の形状、口の形状、視線、顔色のうちの少なくとも一つを特徴として抽出することが好ましい。また特徴の抽出は、ニューラルネットワークによる推論により行われることが好ましい。情報処理装置10では、特徴抽出部12が当該処理を行うことができる。
次に、ステップS3にて、ステップS2で抽出したユーザーの顔の特徴から、ユーザーの感情を推定する処理を行う。なお本発明の一態様では、ユーザーの感情として、怒り、悲しみ、苦しみ、焦り、不安、不満、恐怖、驚き、空虚のうちの少なくとも一つを推定できることが好ましい。また感情の推定は、ニューラルネットワークによる推論により行われることが好ましい。情報処理装置10では、感情推定部13が当該処理を行うことができる。
次に、ステップS4にて、ステップS3で推定したユーザーの感情に応じた情報(第1の情報)を決定または生成する処理を行う。なお、ここで言う第1の情報は、上の<情報処理装置の構成例>の中で説明した第1の情報に相当する。情報処理装置10では、情報生成部14が当該処理を行うことができる。
次に、ステップS5にて、ステップS4で決定または生成した第1の情報に基づく情報(第2の情報)を、決定または生成する処理を行う。本発明の一態様では、第2の情報は、第1の情報のすべて、または少なくともその一部を含む。なお、ここで言う第2の情報は、上の<情報処理装置の構成例>の中で説明した第3の情報に相当する。情報処理装置10では、情報処理部16が当該処理を行うことができる。
次に、ステップS6にて、ステップS5で決定または生成した第2の情報を、全地球測位システムから発信された電波に含まれる情報(第3の情報)に基づいて、外部に発信するか否かを判断する処理を行う。なお、ここで言う全地球測位システムは、上の<情報処理装置の構成例>の中で説明した全地球測位システム29に相当する。また、ここで言う第3の情報は、上の<情報処理装置の構成例>の中で説明した第2の情報に相当する。情報処理装置10では、情報処理部16が当該処理を行うことができる。
ステップS6にて、第2の情報を外部に発信するという判断がなされた場合は、当該判断に応じて、第2の情報を外部に発信する処理を行う(ステップS7)。なお本発明の一態様では、第2の情報は、全地球測位システムで位置が特定された、情報受信部を有する外部機器に発信することが好ましい。なお、ここで言う情報受信部は、上の<情報処理装置の構成例>の中で説明した情報受信部18に相当する。また、ここで言う外部機器は、上の<情報処理装置の構成例>の中で説明した外部機器28に相当する。情報処理装置10では、情報発信部17が当該処理を行うことができる。
一方、ステップS6にて、第2の情報を外部に発信しないという判断がなされた場合は、当該判断に応じて、第2の情報は外部に発信されない(ステップS8)。
なお本発明の一態様では、前述した第3の情報は、ユーザーと外部機器との間の距離を含む情報であることが好ましい。また本発明の一態様では、前述した外部機器は、車、建物のいずれかを含んでいることが好ましい。
以上が、本発明の一態様に係る情報処理方法の例についての説明である。当該処理方法の例を適用することで、ユーザーの感情に起因して通常と異なる動作がなされるのを未然に防ぐことのできる情報処理方法を提供することができる。または、ユーザーの感情に応じて適切な動作を選択して、かつ当該動作を実行させることのできる情報処理方法を提供することができる。
本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
(実施の形態2)
本実施の形態では、本発明の一態様に係る情報処理装置のハードウェア構成の一例について説明する。実施の形態1で説明したように、本発明の一態様に係る情報処理装置は、携帯電話(スマートフォンを含む。)、タブレット端末などの携帯情報端末機器として適用することができる。
本実施の形態では、本発明の一態様に係る情報処理装置のハードウェア構成の一例について説明する。実施の形態1で説明したように、本発明の一態様に係る情報処理装置は、携帯電話(スマートフォンを含む。)、タブレット端末などの携帯情報端末機器として適用することができる。
図4に、以下で例示する情報処理装置100のブロック図を示す。情報処理装置100は、演算部101、演算部102、メモリモジュール103、ディスプレイモジュール104、センサモジュール105、サウンドモジュール106、通信モジュール108、バッテリーモジュール109、カメラモジュール110、および外部インターフェース111等を有する。
演算部102、メモリモジュール103、ディスプレイモジュール104、センサモジュール105、サウンドモジュール106、通信モジュール108、バッテリーモジュール109、カメラモジュール110、外部インターフェース111等は、それぞれバスライン107を介して演算部101と接続されている。
ディスプレイモジュール104は、本発明の一態様に係る情報処理装置(例えば、携帯電話やタブレット端末などの携帯情報端末機器。)の画像表示部として機能することができる。また、サウンドモジュール106は、本発明の一態様に係る情報処理装置の通話部や音声出力部として機能することができる。また、センサモジュール105またはカメラモジュール110は、実施の形態1で説明した情報処理装置10の被写体検出部11として機能することができる。また、演算部101、演算部102、およびメモリモジュール103は、情報処理装置10の特徴抽出部12、感情推定部13、情報生成部14、情報処理部16等として機能することができる。また、通信モジュール108は、情報処理装置10のセンサ部15として機能することができる。また、外部インターフェース111は、情報処理装置10の情報発信部17として機能することができる。
なお、図4では演算部101を一つのブロックとして示しているが、二つの演算部からなる構成としてもよい。例えば、演算部101が実施の形態1で説明した情報処理装置10の情報処理部16として機能する場合、前述の二つの演算部のうちの一方が、情報生成部14から入力される情報に基づいて情報発信部17に出力する情報を決定または生成し、前述した二つの演算部のうちの他方が、センサ部15から入力される情報に基づいて、一方の演算部が決定または生成した情報を情報発信部17に出力するか否かの判断を行う構成とすることができる。
演算部101は、例えば中央演算装置(CPU:Central Processing Unit)として機能することができる。演算部101は、例えば演算部102、メモリモジュール103、ディスプレイモジュール104、センサモジュール105、サウンドモジュール106、通信モジュール108、バッテリーモジュール109、カメラモジュール110、外部インターフェース111等の各コンポーネントを制御する機能を有する。
演算部101と各コンポーネントとは、バスライン107を介して信号の伝達が行われる。演算部101は、バスライン107を介して接続された各コンポーネントから入力される信号を処理する機能、および各コンポーネントへ出力する信号を生成する機能等を有し、バスライン107に接続された各コンポーネントを統括的に制御することができる。
演算部101は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理やプログラム制御を行う。プロセッサにより実行し得るプログラムは、プロセッサが有するメモリ領域に格納されていてもよいし、メモリモジュール103に格納されていてもよい。
演算部101としては、CPUのほか、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等の他のマイクロプロセッサを単独で、または組み合わせて用いることができる。またこれらマイクロプロセッサをFPGA(Field Programmable Gate Array)やFPAA(Field Programmable Analog Array)などといったPLD(Programmable Logic Device)によって実現した構成としてもよい。
演算部101はメインメモリを有していてもよい。メインメモリは、RAM(Random Access Memory)、などの揮発性メモリや、ROM(Read Only Memory)などの不揮発性メモリを備える構成とすることができる。
メインメモリに設けられるRAMとしては、例えばDRAM(Dynamic Random Access Memory)が用いられ、演算部101の作業空間として仮想的にメモリ空間が割り当てられて利用される。メモリモジュール103に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ等は、実行のためにRAMにロードされる。RAMにロードされたこれらのデータやプログラム、プログラムモジュールなどは、演算部101に直接アクセスされ、操作される。
一方、ROMには書き換えを必要としないBIOS(Basic Input/Output System)やファームウェア等を格納することができる。ROMとしては、マスクROMや、OTPROM(One Time Programmable Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)等を用いることができる。EPROMとしては、紫外線照射により記憶データの消去を可能とするUV−EPROM(Ultra−Violet Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリなどが挙げられる。
演算部102としては、CPUよりも並列演算に特化したプロセッサを用いることが好ましい。例えば、GPU、TPU(Tensor Processing Unit)、NPU(Neural Processing Unit)などの、並列処理可能なプロセッサコアを多数(数十~数百個)有するプロセッサを用いることが好ましい。これにより、演算部102は特にニューラルネットワークに係る演算を高速で行うことができる。
メモリモジュール103としては、例えば、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、PRAM(Phase change Random Access Memory)、ReRAM(Resistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)などの不揮発性の記憶素子が適用された記憶装置、またはDRAMやSRAM(Static Random Access Memory)などの揮発性の記憶素子が適用された記憶装置等を用いてもよい。また例えば、ハードディスクドライブ(Hard Disk Drive:HDD)やソリッドステートドライブ(Solid State Drive:SSD)などの記録メディアドライブを用いてもよい。
また、外部インターフェース111を介してコネクタにより脱着可能なHDDまたはSSDなどの記憶装置や、フラッシュメモリ、ブルーレイディスク、DVDなどの記録媒体のメディアドライブをメモリモジュール103として用いることもできる。なお、メモリモジュール103を情報処理装置100に内蔵せず、外部に置かれる記憶装置をメモリモジュール103として用いてもよい。その場合、外部インターフェース111を介して接続される、または通信モジュール108によって無線通信でデータのやりとりをする構成であってもよい。
ディスプレイモジュール104は、表示パネル、ディスプレイコントローラ、ソースドライバ、ゲートドライバ等を有する。表示パネルの表示面に画像を表示することができる。また、ディスプレイモジュール104がさらに投影部(スクリーン)を有し、表示パネルの表示面に表示した画像を、当該スクリーンに投影する方式としてもよい。このとき、スクリーンとして可視光を透過する材料を用いた場合、背景像に重ねて画像を表示するARデバイスを実現できる。
表示パネルに用いることのできる表示素子としては、液晶素子、有機EL素子、無機EL素子、LED素子、マイクロカプセル、電気泳動素子、エレクトロウェッティング素子、エレクトロフルイディック素子、エレクトロクロミック素子、MEMS素子等の表示素子を用いることができる。
また、表示パネルとして、タッチセンサ機能を有するタッチパネルを用いることもできる。その場合、ディスプレイモジュール104が、タッチセンサコントローラ、センサドライバ等を有する構成とすればよい。タッチパネルとしては、表示パネルとタッチセンサが一体となったオンセル型のタッチパネル、またはインセル型のタッチパネルとすることが好ましい。オンセル型またはインセル型のタッチパネルは、厚さが薄く軽量にすることができる。さらにオンセル型またはインセル型のタッチパネルは、部品点数を削減できるため、コストを削減することができる。
センサモジュール105は、センサユニットと、センサコントローラとを有する。センサコントローラは、センサユニットからの入力を受け、制御信号に変換してバスライン107を介して演算部101に出力する。センサコントローラにおいて、センサユニットのエラー管理を行ってもよいし、センサユニットの校正処理を行ってもよい。なお、センサコントローラは、センサユニットを制御するコントローラを複数備える構成としてもよい。
センサモジュール105が有するセンサユニットは、可視光、赤外線、または紫外線等を検出し、その検出強度を出力する光電変換素子を備えることが好ましい。このとき、センサユニットを、イメージセンサユニットと呼ぶことができる。
また、センサモジュール105は、センサユニットに加えて、可視光、赤外線、または紫外線を発する光源を有することが好ましい。特にセンサモジュール105を、ユーザーの顔の一部を検出するために用いる場合には、赤外線を発する光源を有することで、ユーザーに眩しさを感じさせずに、高感度に撮像することができる。
また、センサモジュール105は、例えば、力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい、または赤外線を測定する機能を有する各種センサを備える構成としてもよい。
サウンドモジュール106は、音声入力部、音声出力部、およびサウンドコントローラ等を有する。音声入力部は、例えば、マイクロフォンや音声入力コネクタ等を有する。また音声出力部は、例えば、スピーカや音声出力コネクタ等を有する。音声入力部および音声出力部はそれぞれサウンドコントローラに接続され、バスライン107を介して演算部101と接続する。音声入力部に入力された音声データは、サウンドコントローラにおいてデジタル信号に変換され、サウンドコントローラや演算部101において処理される。一方、サウンドコントローラは、演算部101からの命令に応じて、ユーザーが可聴なアナログ音声信号を生成し、音声出力部に出力する。音声出力部が有する音声出力コネクタには、イヤフォン、ヘッドフォン、ヘッドセット等の音声出力装置を接続可能で、当該装置にサウンドコントローラで生成した音声が出力される。
通信モジュール108は、アンテナを介して通信を行うことができる。例えば、実施の形態1で説明した全地球測位システム29からの電波を受信し、当該電波に含まれる情報を情報処理装置10の情報処理部16に出力する機能を有することができる。また例えば、演算部101からの命令に応じて情報処理装置100をコンピュータネットワークに接続するための制御信号を制御し、当該信号をコンピュータネットワークに発信する機能を有することができる。これによって、インターネット、イントラネット、エクストラネット、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)等のコンピュータネットワークに情報処理装置100を接続させ、通信を行うことができる。また、その通信方法として複数の方法を用いる場合には、アンテナは当該通信方法に応じて複数有していてもよい。
通信モジュール108には、例えば高周波回路(RF回路)を設け、RF信号の送受信を行えばよい。高周波回路は、各国法制により定められた周波数帯域の電磁信号と電気信号とを相互に変換し、当該電磁信号を用いて無線で他の通信機器との間で通信を行うための回路である。実用的な周波数帯域として数十kHz~数十GHzが一般に用いられている。アンテナと接続される高周波回路は、複数の周波数帯域に対応した高周波回路部を有し、高周波回路部は、増幅器(アンプ)、ミキサ、フィルタ、DSP、RFトランシーバ等を有する構成とすることができる。無線通信を行う場合、通信プロトコルまたは通信技術として、LTE(Long Term Evolution)などの通信規格、またはWi−Fi(登録商標)、Bluetooth(登録商標)等のIEEEにより通信規格化された仕様を用いることができる。
また、通信モジュール108は、情報処理装置100を電話回線と接続する機能を有していてもよい。また、通信モジュール108は、アンテナにより受信した放送電波から、ディスプレイモジュール104に出力する映像信号を生成するチューナーを有していてもよい。
バッテリーモジュール109は、二次電池、およびバッテリーコントローラを有する構成とすることができる。二次電池としては、代表的にはリチウムイオン二次電池や、リチウムイオンポリマー二次電池などが挙げられる。バッテリーコントローラは、バッテリーに蓄電される電力を各コンポーネントに供給する機能、外部から供給された電力を受電し、バッテリー充電する機能、バッテリー充電状態に応じて、充電動作を制御する機能、などを有することができる。例えばバッテリーコントローラは、BMU(Battery Management Unit)等を有する構成とすることができる。BMUは電池のセル電圧やセル温度データの収集、過充電および過放電の監視、セルバランサの制御、電池劣化状態の管理、電池残量(State Of Charge:SOC)の算出、故障検出の制御などを行う。
カメラモジュール110は、撮像素子と、コントローラとを有する構成とすることができる。例えばシャッターボタンが押されることや、ディスプレイモジュール104のタッチパネルを操作すること等により、静止画または動画を撮影することができる。撮影された画像または映像データは、メモリモジュール103に格納することができる。また、画像または映像データは、演算部101または演算部102で処理することができる。またカメラモジュール110は、撮影用の光源を有していてもよい。例えばキセノンランプなどのランプ、LEDや有機ELなどの発光素子等を用いることができる。または、撮影用の光源として、ディスプレイモジュール104が有する表示パネルが発する光を利用してもよく、その場合には、白色だけでなく様々な色の光を撮影用に用いてもよい。
外部インターフェース111が有する外部ポートとしては、例えば、赤外線、可視光、紫外線などを用いた光通信用の送受信機を設ける構成や、上述の通信モジュール108のように、RF信号の送受信機を設ける構成が挙げられる。当該構成とすることにより、外部インターフェース111は、実施の形態1で説明した情報処理装置10の情報発信部17としての機能を有することができ、情報処理部16で決定または生成された情報を、情報受信部18を有する外部機器28へ発信することができる。
また、上記構成に加えて、例えば情報処理装置100の筐体に設けられた物理ボタンや、その他の入力コンポーネントが接続可能な外部ポート等を設ける構成としてもよい。この場合、外部インターフェース111が有する外部ポートとしては、例えばキーボードやマウスなどの入力手段、プリンタなどの出力手段、またHDDなどの記憶手段等のデバイスに、ケーブルを介して接続できる構成が挙げられる。代表的には、USB端子などが挙げられる。また、外部ポートとして、LAN接続用端子、デジタル放送の受信用端子、ACアダプタを接続する端子等を有する構成としてもよい。
以上が、本発明の一態様に係る情報処理装置のハードウェア構成の一例についての説明である。
本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
(実施の形態3)
本発明の一態様を適用できる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話(スマートフォンを含む。)、携帯型を含むゲーム機、携帯データ端末(タブレット端末)、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ(ヘッドマウントディスプレイ)、ナビゲーションシステム、音響再生装置(カーオーディオ、デジタルオーディオプレイヤー等)、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機(ATM:Automated Teller Machine)、自動販売機などが挙げられる。これら電子機器の具体例を図5A乃至図5Fに示す。
本発明の一態様を適用できる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話(スマートフォンを含む。)、携帯型を含むゲーム機、携帯データ端末(タブレット端末)、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ(ヘッドマウントディスプレイ)、ナビゲーションシステム、音響再生装置(カーオーディオ、デジタルオーディオプレイヤー等)、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機(ATM:Automated Teller Machine)、自動販売機などが挙げられる。これら電子機器の具体例を図5A乃至図5Fに示す。
図5Aは携帯電話機の一例であり、筐体981、表示部982、操作ボタン983、外部接続ポート984、スピーカ985、マイク986、カメラ987等を有する。当該携帯電話機は、表示部982にタッチセンサを備える。電話をかける、あるいは文字を入力するなどのあらゆる操作は、指やスタイラスなどで表示部982に触れることで行うことができる。当該携帯電話機における画像取得(ユーザーの顔の情報の取得)のための要素に、本発明の一態様に係る情報処理装置および情報処理方法を適用することができる。
図5Bは携帯データ端末の一例であり、筐体911、表示部912、スピーカ913、カメラ919等を有する。表示部912が有するタッチパネル機能により情報の入出力を行うことができる。また、カメラ919で取得した画像から文字等を認識し、スピーカ913で当該文字を音声出力することができる。当該携帯データ端末における画像取得(ユーザーの顔の情報の取得)のための要素に、本発明の一態様に係る情報処理装置および情報処理方法を適用することができる。
図5Cは監視カメラ(防犯カメラ)の一例であり、支持台951、カメラユニット952、保護カバー953等を有する。カメラユニット952には回転機構などが設けられ、天井に設置することで全周囲の撮像が可能となる。当該カメラユニットにおける画像取得(ユーザーの顔の情報の取得)のための要素に、本発明の一態様に係る情報処理装置および情報処理方法を適用することができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば、監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
図5Dはビデオカメラの一例であり、第1筐体971、第2筐体972、表示部973、操作キー974、レンズ975、接続部976、スピーカ977、マイク978等を有する。操作キー974およびレンズ975は第1筐体971に設けられており、表示部973は第2筐体972に設けられている。当該ビデオカメラにおける画像取得(ユーザーの顔の情報の取得)のための要素に、本発明の一態様に係る情報処理装置および情報処理方法を適用することができる。
図5Eはデジタルカメラの一例であり、筐体961、シャッターボタン962、マイク963、発光部967、レンズ965等を有する。当該デジタルカメラにおける画像取得(ユーザーの顔の情報の取得)のための要素に、本発明の一態様に係る情報処理装置および情報処理方法を適用することができる。
図5Fは腕時計型の情報端末の一例であり、表示部932、筐体兼リストバンド933、カメラ939等を有する。表示部932は、情報端末の操作を行うためのタッチパネルを備える。表示部932および筐体兼リストバンド933は可撓性を有し、身体への装着性が優れている。当該情報端末における画像取得(ユーザーの顔の情報の取得)のための要素に、本発明の一態様に係る情報処理装置および情報処理方法を適用することができる。
例えば、本発明の一態様に係る情報処理装置が、図5Aに示すような携帯電話機である場合を考える。例えば、ユーザーが実施の形態1で説明した情報受信部18を有する車を運転する場合、当該携帯電話機をユーザーの顔を検出できる位置に設置しておくことで、本発明の一態様に係る情報処理方法によって、ユーザーの感情によらず常に安全な運転を実行することができる。
なお、車の運転時に適用できる本発明の一態様に係る情報処理装置は、図5Aに示すような携帯電話機に限られない。図5Bに示すような携帯データ端末であってもよいし、図5Dに示すようなビデオカメラであってもよいし、図5Eに示すようなデジタルカメラであってもよいし、図5Fに示すような腕時計型の情報端末であってもよい。
また例えば、本発明の一態様に係る情報処理装置が、図5Aに示すような携帯電話機であり、ユーザーが当該携帯電話機で実施の形態1で説明した情報受信部18を有する建物の内部にて通話を行う場合を考える。この場合、当該携帯電話機は、通話中のユーザーの顔を検出することができる。例えば、当該携帯電話機が、ユーザーの表情からユーザーの感情が突然激しい怒りに転じたと推定した場合、通話を中止する旨の情報を発信する。すると当該情報を受信した情報受信部18を有する建物は、ユーザーの通話を強制的に終了させるなどの措置(例えば、通話状態を自動的に切断する信号を発信する等。)を取ることもできる。これにより、人間関係の悪化や商取引の機会損失などを未然に防ぐことができる。
また例えば、本発明の一態様に係る情報処理装置が、図5Aに示すような携帯電話機であり、実施の形態1で説明した情報受信部18を有する外部機器28が、現金自動預け入れ払い機の設置された建物(例えば、銀行やコンビニエンスストア等。)である場合を考える。例えば、ユーザーが当該携帯電話機にて振り込みを促すメールの受信に気付いたとする。このとき当該携帯電話機は、ユーザーの表情から、ユーザーが強い不安の感情を有していると推定する。すると本発明の一態様に係る情報処理方法により、ユーザーが現金自動預け入れ払い機の近くにいる場合には、当該携帯電話機から現金自動預け入れ払い機の設置された建物に対して使用を禁止する情報が発信されるなどの措置を取ることもできる。これにより、上述した振り込め詐欺などの被害を未然に防ぐことができる。
また例えば、本発明の一態様に係る情報処理装置が、図5Cに示すような監視カメラである場合を考える。例えば、当該監視カメラがコンビニエンスストアのレジに設置されており、実施の形態1で説明した情報受信部18を有する外部機器28が、コンビニエンスストアの危機管理室である場合を考える。例えば、コンビニエンスストアの店員が迷惑な客への対応に苦慮しており、当該監視カメラが、店員の表情から店員が強い苦しみの感情を有していると推定した場合、当該監視カメラから危機管理室に対して応援要員の出動を要請する情報が発信されるなどの措置を取ることもできる。これにより、店員がトラブルに巻き込まれるなどの被害を未然に防ぐことができる。
本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
10:情報処理装置、11:被写体検出部、12:特徴抽出部、13:感情推定部、14:情報生成部、15:センサ部、16:情報処理部、17:情報発信部、18:情報受信部、28:外部機器、29:全地球測位システム、51:入力層、52:中間層、53:出力層、61:データ、62:データ、63:データ、100:情報処理装置、101:演算部、102:演算部、103:メモリモジュール、104:ディスプレイモジュール、105:センサモジュール、106:サウンドモジュール、107:バスライン、108:通信モジュール、109:バッテリーモジュール、110:カメラモジュール、111:外部インターフェース、911:筐体、912:表示部、913:スピーカ、919:カメラ、932:表示部、933:筐体兼リストバンド、939:カメラ、951:支持台、952:カメラユニット、953:保護カバー、961:筐体、962:シャッターボタン、963:マイク、965:レンズ、967:発光部、971:第1筐体、972:第2筐体、973:表示部、974:操作キー、975:レンズ、976:接続部、977:スピーカ、978:マイク、981:筐体、982:表示部、983:操作ボタン、984:外部接続ポート、985:スピーカ、986:マイク、987:カメラ
Claims (18)
- ユーザーの顔を検出する被写体検出部と、
前記顔の特徴を抽出する特徴抽出部と、
前記特徴から前記ユーザーの感情を推定する感情推定部と、
推定した前記感情に応じた第1の情報を生成する情報生成部と、
全地球測位システムからの電波を受信するセンサ部と、
前記第1の情報と、前記センサ部から送信された、前記電波に含まれる第2の情報と、を受信し、前記第1の情報および前記第2の情報に応じた第3の情報を生成する情報処理部と、
前記第3の情報を発信する情報発信部と、を有する、
情報処理装置。 - 請求項1において、
前記第3の情報を、前記全地球測位システムで位置が特定された、情報受信部を有する外部機器に発信する、
情報処理装置。 - 請求項1または請求項2において、
前記特徴は、前記ユーザーの目の形状、眉の形状、口の形状、視線、顔色の少なくとも一を含む、
情報処理装置。 - 請求項1乃至請求項3のいずれか一において、
前記特徴の抽出は、ニューラルネットワークを用いた推論により行われる、
情報処理装置。 - 請求項1乃至請求項4のいずれか一において、
前記感情は、怒り、悲しみ、苦しみ、焦り、不安、不満、恐怖、驚き、空虚の少なくとも一を含む、
情報処理装置。 - 請求項1乃至請求項5のいずれか一において、
前記感情の推定は、ニューラルネットワークを用いた推論により行われる、
情報処理装置。 - 請求項1乃至請求項6のいずれか一において、
前記第2の情報は、前記ユーザーと、前記外部機器と、の間の距離を含む、
情報処理装置。 - 請求項1乃至請求項7のいずれか一において、
前記第3の情報は、前記第1の情報を含む、
情報処理装置。 - 請求項1乃至請求項8のいずれか一において、
前記外部機器は、車、建物のいずれかを含む、
情報処理装置。 - ユーザーの顔を検出するステップと、
検出した前記顔の情報から、前記顔の特徴を抽出するステップと、
前記特徴から、前記ユーザーの感情を推定するステップと、
前記感情に応じた第1の情報を生成するステップと、
前記第1の情報に基づいて、前記第1の情報に応じた第2の情報を生成するステップと、
全地球測位システムからの電波に含まれる第3の情報に基づいて、前記第2の情報を外部に発信するか否かを判断するステップと、
前記判断に応じて、前記第2の情報を前記外部に発信するステップ、または前記第2の情報を前記外部に発信しないステップと、を有する、
情報処理方法。 - 請求項10において、
前記判断するステップの後に、さらに前記第2の情報を、前記全地球測位システムで位置が特定された、情報受信部を有する外部機器に発信するステップを有する、
情報処理方法。 - 請求項10または請求項11において、
前記特徴は、前記ユーザーの目の形状、眉の形状、口の形状、視線、顔色の少なくとも一を含む、
情報処理方法。 - 請求項10乃至請求項12のいずれか一において、
前記特徴の抽出は、ニューラルネットワークを用いた推論により行われる、
情報処理方法。 - 請求項10乃至請求項13のいずれか一において、
前記感情は、怒り、悲しみ、苦しみ、焦り、不安、不満、恐怖、驚き、空虚の少なくとも一を含む、
情報処理方法。 - 請求項10乃至請求項14のいずれか一において、
前記感情の推定は、ニューラルネットワークを用いた推論により行われる、
情報処理方法。 - 請求項10乃至請求項15のいずれか一において、
前記第3の情報は、前記ユーザーと、前記外部機器と、の間の距離を含む、
情報処理方法。 - 請求項10乃至請求項16のいずれか一において、
前記第2の情報は、前記第1の情報を含む、
情報処理方法。 - 請求項10乃至請求項17のいずれか一において、
前記外部機器は、車、建物のいずれかを含む、
情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/617,107 US20220229488A1 (en) | 2019-06-14 | 2020-06-02 | Data Processing Device Executing Operation Based on User's Emotion |
JP2021525402A JPWO2020250082A1 (ja) | 2019-06-14 | 2020-06-02 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-110985 | 2019-06-14 | ||
JP2019110985 | 2019-06-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020250082A1 true WO2020250082A1 (ja) | 2020-12-17 |
Family
ID=73780729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/IB2020/055189 WO2020250082A1 (ja) | 2019-06-14 | 2020-06-02 | ユーザーの感情に応じた動作を実行する情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220229488A1 (ja) |
JP (1) | JPWO2020250082A1 (ja) |
WO (1) | WO2020250082A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101932844B1 (ko) | 2017-04-17 | 2018-12-27 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
KR102282963B1 (ko) * | 2019-05-10 | 2021-07-29 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
KR102293422B1 (ko) | 2020-01-31 | 2021-08-26 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
KR102287704B1 (ko) | 2020-01-31 | 2021-08-10 | 주식회사 하이퍼커넥트 | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017109708A (ja) * | 2015-12-18 | 2017-06-22 | 三菱自動車工業株式会社 | 車両走行支援装置 |
JP2018100936A (ja) * | 2016-12-21 | 2018-06-28 | トヨタ自動車株式会社 | 車載装置及び経路情報提示システム |
WO2019082234A1 (ja) * | 2017-10-23 | 2019-05-02 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6707421B1 (en) * | 1997-08-19 | 2004-03-16 | Siemens Vdo Automotive Corporation | Driver information system |
WO2003100744A1 (fr) * | 2002-05-29 | 2003-12-04 | Mitsubishi Denki Kabushiki Kaisha | Systeme de communication |
US10417483B2 (en) * | 2017-01-25 | 2019-09-17 | Imam Abdulrahman Bin Faisal University | Facial expression recognition |
-
2020
- 2020-06-02 JP JP2021525402A patent/JPWO2020250082A1/ja active Pending
- 2020-06-02 WO PCT/IB2020/055189 patent/WO2020250082A1/ja active Application Filing
- 2020-06-02 US US17/617,107 patent/US20220229488A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017109708A (ja) * | 2015-12-18 | 2017-06-22 | 三菱自動車工業株式会社 | 車両走行支援装置 |
JP2018100936A (ja) * | 2016-12-21 | 2018-06-28 | トヨタ自動車株式会社 | 車載装置及び経路情報提示システム |
WO2019082234A1 (ja) * | 2017-10-23 | 2019-05-02 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220229488A1 (en) | 2022-07-21 |
JPWO2020250082A1 (ja) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020250082A1 (ja) | ユーザーの感情に応じた動作を実行する情報処理装置 | |
US11042728B2 (en) | Electronic apparatus for recognition of a user and operation method thereof | |
KR102329765B1 (ko) | 홍채 기반 인증 방법 및 이를 지원하는 전자 장치 | |
US10825453B2 (en) | Electronic device for providing speech recognition service and method thereof | |
CN110291489A (zh) | 计算上高效的人类标识智能助理计算机 | |
EP3605409B1 (en) | Electronic device and operation method therefor | |
US20220309836A1 (en) | Ai-based face recognition method and apparatus, device, and medium | |
KR102646536B1 (ko) | 전자 장치 및 전자 장치에서 사용자 입력에 기반한 생체 인증 및 지능형 에이전트 기능 수행 방법 | |
CN104408402A (zh) | 人脸识别方法及装置 | |
CN108363982B (zh) | 确定对象数量的方法及装置 | |
CN103886284B (zh) | 人物属性信息识别方法、装置及电子设备 | |
US20180150722A1 (en) | Photo synthesizing method, device, and medium | |
KR20190072066A (ko) | 영상 통화 서비스를 제공하는 단말과 서버 | |
CN111163906A (zh) | 能够移动的电子设备及其操作方法 | |
KR20170100332A (ko) | 화상 통화 방법 및 장치 | |
CN111062248A (zh) | 图像检测的方法、装置、电子设备及介质 | |
KR20200045198A (ko) | 전자 장치 및 전자 장치의 제어 방법 | |
KR102511517B1 (ko) | 음성 입력 처리 방법 및 이를 지원하는 전자 장치 | |
KR20180071156A (ko) | 동영상을 필터링하는 방법 및 장치 | |
KR102399809B1 (ko) | 전자 장치 및 그 제어 방법 | |
EP3762819B1 (en) | Electronic device and method of controlling thereof | |
US20210004702A1 (en) | System and method for generating information for interaction with a user | |
KR102251076B1 (ko) | 실내 이미지를 사용하여 설계도면을 추정하는 방법 | |
US12026949B2 (en) | Accessory pairing based on captured image | |
CN114511779B (zh) | 场景图生成模型的训练方法、场景图生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20822355 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021525402 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20822355 Country of ref document: EP Kind code of ref document: A1 |