WO2022145867A1 - 전자 장치 및 전자 장치 제어 방법 - Google Patents

전자 장치 및 전자 장치 제어 방법 Download PDF

Info

Publication number
WO2022145867A1
WO2022145867A1 PCT/KR2021/019674 KR2021019674W WO2022145867A1 WO 2022145867 A1 WO2022145867 A1 WO 2022145867A1 KR 2021019674 W KR2021019674 W KR 2021019674W WO 2022145867 A1 WO2022145867 A1 WO 2022145867A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
variable
data
measurement variable
measurement
Prior art date
Application number
PCT/KR2021/019674
Other languages
English (en)
French (fr)
Inventor
시리우스아렌코코스탄틴
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202180063768.1A priority Critical patent/CN116261424A/zh
Priority to EP21915665.0A priority patent/EP4186414A4/en
Publication of WO2022145867A1 publication Critical patent/WO2022145867A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • a measurement variable obtained through measurement of a specific value and a latent variable estimated based on this are required.
  • a temperature calculated from a thermistor voltage and a heart rate calculated as a main frequency of an ECG signal may correspond. That is, in a physiological phenomenon, the user's biometric data may correspond to a measurement variable.
  • a latent variable can be defined as a variable that is not directly measured, unlike an observable variable, but is estimated from another variable.
  • biological phenomena may correspond to latent variables.
  • the latent variable may correspond to a sleep stage determined by expert analysis of a polysomnia signal, a stress level determined by classifying a user's behavior, and an emotion determined by classifying a user's face.
  • the present invention provides an electronic device for predicting a latent variable optimized for a user and a method for controlling the same by using a model for predicting a latent variable and a model for predicting a measurement variable differently.
  • An electronic device includes a sensor for acquiring a user's bio-signal; a memory for storing the user's measurement parameters; and receiving the biometric data of a plurality of other users and labeling data corresponding to the biometric data of the other users, predicting the user's biometric data based on the user's biosignals using an unsupervised learning model, and a supervised learning model and a processor for predicting the user's biometric state based on the predicted biometric data of the user, the biometric data of the plurality of other users, and the labeling data using the .
  • the biometric data may be provided as an observed value, and the biometric state may be provided as a latent value.
  • the unsupervised learning model is an electronic device configured to predict the user-measured variable using data output by the supervised learning model as feedback.
  • the processor may operate the unsupervised learning model independently of the labeling data.
  • the processor may obtain the predicted measurement variable of the user based on the user measurement variable and the labeling data by using the supervised learning model.
  • the processor obtains the user's predicted measurement variable based on the user's measurement variable and the learned data, using the unsupervised learning model, the user's predicted measurement variable and the plurality of other users
  • a personalized measurement variable may be obtained based on the measurement variable, and the user's latent variable may be predicted based on the personalized measurement variable and the learned data using the supervised learning model.
  • the processor may acquire the personalized measurement variable based on the user's measurement variable corresponding to the first time point and the user's measurement variable corresponding to the second time point.
  • the processor is, based on a plurality of other user's measured variables of a predetermined physiological phenomenon and labeling data corresponding to the different user's measured variables, a plurality of variables used for prediction of each of the user's measured variable and the user's latent variable of user variables can be obtained.
  • the electronic device may include: an output interface configured to provide an alarm to the user; and an input interface for receiving the user's command, wherein the processor obtains an alarm time for outputting the alarm based on the command input by the user, and based on the predicted latent variable, the alarm The output time can be changed.
  • Predicting the measurement variable may include using data output from the supervised learning model as feedback.
  • Predicting the user's measurement variable may include operating the unsupervised learning model independently of the labeling data.
  • Predicting the user's measurement variable may include, using the supervised learning model, obtaining the user's predicted measurement variable based on the user measurement variable and the labeling data.
  • Predicting the user's latent variable may include: using the unsupervised learning model, obtaining the user's predicted measured variable based on the user's measured variable and learned data; obtain a personalized measurement variable based on the predicted measurement variable of the user and the measurement variable of the plurality of other users; It may include; predicting the user's latent variable based on the personalized measurement variable and the learned data using the supervised learning model.
  • An electronic device and a control method thereof may predict a latent variable optimized for a user by using a model for predicting a latent variable and a model for predicting a measurement variable differently.
  • FIG. 2 is a control block diagram of an electronic device according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a prediction operation of a latent variable through a measurement variable according to an embodiment.
  • 4A is a diagram for explaining operations of an unsupervised learning model for learning a measured variable and a supervised learning model for learning a latent variable, according to an embodiment.
  • 4C is a diagram for explaining a supervised learning model for prediction of a measurement variable and a latent variable according to an embodiment.
  • FIGS. 1A and 1B are diagrams illustrating separation of predictive models of latent variables according to an embodiment.
  • a single latent variable prediction model can be used in predicting the latent variable V12 based on the conventionally measured variable V11.
  • a measurement variable may mean bio-data that can be measured from a user
  • a latent variable may mean a bio-state that can be predicted based on the measurement data
  • the prediction can be performed by separating the measured variable prediction model (M13) and the latent variable prediction model (M14). have.
  • biometric data such as a temperature calculated from the thermistor voltage and a heart rate calculated as a main frequency of an electrocardiogram signal may correspond.
  • the latent variable (V15) may be defined as a variable that is not directly measured but is estimated from other variables.
  • the latent variable may correspond to a user's biological state, such as a sleep stage determined by expert analysis of a polysomnography signal, a stress level determined by classifying a user's behavior, and an emotion determined by classifying a user's face.
  • the electronic device may obtain a measurement variable corresponding to the user's physiological phenomenon through a sensor and calculate the measurement variable based on the sensor (V13).
  • the electronic device may predict the measured variable (V14).
  • V14 the measured variable
  • an unsupervised learning model may be applied when predicting a measurement variable.
  • the unsupervised learning model that predicts the measurement variable does not require labeling data corresponding to the user's physiological phenomenon.
  • the labeling data may refer to reference data used for medical diagnosis of measurement data measured in a specific physiological phenomenon of a user.
  • supervised learning models can be used to predict latent variables.
  • the electronic device may use an unsupervised predictive model to predict a measurement variable, and may use a supervised predictive model to predict a latent variable.
  • FIG. 1 the operation of the present invention described in FIG. 1 is for schematically explaining the present invention, and each operation will be described in detail below.
  • FIG. 2 is a control block diagram of the electronic device 1 according to an embodiment.
  • an electronic device 1 includes a sensor 101 , a communication interface 103 , a memory 102 , an output interface 104 , an input interface 106 , and a processor 104 ( or a plurality of processors).
  • the electronic device 1 may be implemented as a device that can access a server through a network, a computer, or a portable terminal.
  • the computer includes, for example, a laptop equipped with a web browser (WEB BROWSER), a desktop (DESKTOP), a laptop (LAPTOP), a tablet PC, a slate PC, and the like, and the portable terminal has, for example, portability and mobility.
  • Guaranteed wireless communication devices PCS (PERSONAL COMMUNICATION SYSTEM), GSM (GLOBAL SYSTEM FOR MOBILE COMMUNICATIONS), PDC (PERSONAL DIGITAL CELLULAR), PHS (PERSONAL HANDYPHONE SYSTEM), PDA (PERSONAL DIGITAL ASSISTANT), IMT (INTERNATIONAL MOBILE) -2000, CDMA(CODE DIVISION MULTIPLE ACCESS)-2000, W-CDMA(W-CODE DIVISION MULTIPLE ACCESS), WIBRO(WIRELESS BROADBAND INTERNET) terminal, smart phone (SMART PHONE), etc. wireless communication devices and wearable devices such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted devices (HEAD-MOUNTED-DEVICE (HMD)).
  • HEAD-MOUNTED-DEVICE HMD
  • the input interface 106 may be provided in a configuration capable of receiving a user's command.
  • the input interface 106 includes various buttons or switches, a pedal, a keyboard, a mouse, a track-ball, various levers, a handle or a stick, etc. for input by a user. It may include the same hardware device.
  • the input interface 106 may include a graphical user interface (GUI) such as a touch pad for user input, that is, a device that is software.
  • GUI graphical user interface
  • the touch pad may be implemented as a touch screen panel (TSP) to form a layer structure with the display unit.
  • TSP touch screen panel
  • the display unit may also be used as an input unit.
  • the output interface 105 is a cathode ray tube (CRT), a digital light processing (DLP) panel, a plasma display panel (Plasma Display Penal), a liquid crystal display (LCD) panel, an electroluminescence (Electro Luminescence: EL) panel, Electrophoretic Display (EPD) panel, Electrochromic Display (ECD) panel, Light Emitting Diode (LED) panel, or Organic Light Emitting Diode: OLED) may be provided as a panel, but is not limited thereto.
  • CTR cathode ray tube
  • DLP digital light processing
  • Plasma Display Penal plasma display panel
  • LCD liquid crystal display
  • EPD Electrophoretic Display
  • ECD Electrochromic Display
  • LED Light Emitting Diode
  • OLED Organic Light Emitting Diode
  • the output interface 105 may be provided as a speaker for outputting sound to the user or a vibration module for transmitting vibration, and if it is configured to output an alarm to the user, the configuration is not limited.
  • the electronic device 1 is a device capable of performing communication other than the above-described device, there is no limitation on the device.
  • the sensor 101 may acquire a user's measurement variable.
  • the user's measurement variable may mean a biosignal corresponding to a predetermined physiological phenomenon, as will be described later.
  • the sensor 101 may include a light volume meter, an accelerometer, a gyro sensor, a blood oxygen meter, an electrocardiogram, a bioimpedance, a temperature sensor, and the like.
  • the communication interface 103 may receive a plurality of other user's measured variables of a predetermined physiological phenomenon and labeling data corresponding to the different user's measured variables.
  • the measurement variable of another user may mean a user other than the user currently performing prediction of the latent variable.
  • the labeling data may refer to reference data that is a standard in determining the user's biological phenomenon based on the user's measurement variables.
  • the communication interface 103 may include one or more components that enable communication with an external device, for example, is provided to include at least one of a short-range communication interface, a wired communication interface, and a wireless communication interface, and an external device. It is possible to receive a measurement variable of another user and labeling data corresponding to the measurement variable of the other user from the .
  • Memory is a nonvolatile memory device such as cache, READ ONLY MEMORY (ROM), PROGRAMMABLE ROM (PROM), ERASABLE PROGRAMMABLE ROM (EPROM), ELECTRICALLY ERASABLE PROGRAMMABLE ROM (EEPROM), and FLASH MEMORY or RANDOM ACCESS MEMORY ) may be implemented as at least one of a volatile memory device such as a hard disk drive (HDD, HARD DISK DRIVE), and a storage medium such as a CD-ROM, but is not limited thereto.
  • the storage unit may be a memory implemented as a chip separate from the processor described above with respect to the control unit, or may be implemented as a single chip with the processor.
  • the processor 104 may predict a latent variable corresponding to the predetermined physiological phenomenon of the user based on the user's measured variable.
  • the predetermined physiological phenomenon refers to a phenomenon corresponding to sleep phase, apnea, respiratory cycle, circadian rhythm, stress, alertness, drowsiness, cardiac arrhythmia, and the like, but is not limited thereto.
  • Unsupervised learning is a type of machine learning, and may refer to an operation of finding out how data is structured. In unsupervised learning, no target is given for the input value.
  • the processor may predict the user's latent variable based on the learned data by performing supervised learning based on the predicted user measured variable, a plurality of other user's measured variables, and labeling data.
  • SUPERVISED LEARNING is a method of machine learning to infer a function from training data.
  • Training data generally includes properties of input objects in the form of vectors, and desired results for each vector may be included.
  • the processor 104 may predict the user-measured variable by using the supervised learning data as feedback of the unsupervised learning data.
  • the processor 104 uses supervised learning to predict a measurement variable and uses unsupervised learning to predict a latent variable, and even if separate modeling is formed, mutual data can be used as feedback data.
  • the processor 104 may perform unsupervised learning independently of the labeling data. That is, the processor can perform unsupervised learning in predicting the measured variable. In performing unsupervised learning, the measured variable can be predicted by performing learning without reference data only with the user's measured variable without using labeling data. .
  • the processor 104 performs unsupervised learning using the user-measured variable to predict a user-measured variable based on the learned data, and performs unsupervised learning based on the predicted user-measured variable and the plurality of other user-measured variables. can be performed to determine a personalized measurement variable corresponding to the user.
  • the processor 104 may predict a user's latent variable based on the learned data by performing supervised learning based on the personalized measurement variable.
  • the first time point and the second time point may refer to arbitrary time points at which the electronic device acquires data.
  • the processor 104 performs supervised learning based on labeling data corresponding to a plurality of other user's measured variables and other users' measured variables of a predetermined physiological phenomenon, and is used for prediction of each of the user measured variables and user latent variables. It is possible to determine a plurality of user variables to be used.
  • the predetermined physiological phenomenon means a biological phenomenon of the user, and according to an embodiment, an electrocardiogram, a sleep state, etc. may correspond to this.
  • the processor 103 may perform supervised learning based on the measurement variable of another user and the labeling data corresponding to the measurement variable of the other user in order to smoothly predict the measurement variable and the latent variable.
  • the processor 103 may also determine a plurality of user variables in the performed supervised learning.
  • the processor may predict a more personalized latent variable by using the determined user variable to predict the latent variable.
  • the processor 103 performs the above-described operation using a memory (not shown) that stores data for an algorithm or a program reproducing the algorithm for controlling the operation of components in the electronic device 1, and the data stored in the memory. It may be implemented by a processor (not shown) that performs it. In this case, the memory and the processor may be implemented as separate chips. Alternatively, the memory and the processor may be implemented as a single chip.
  • At least one component may be added or deleted according to the performance of the components of the electronic device 1 illustrated in FIG. 2 .
  • the mutual positions of the components may be changed corresponding to the performance or structure of the system.
  • each component shown in FIG. 2 means software and/or hardware components such as a FIELD PROGRAMMABLE GATE ARRAY (FPGA) and an application specific semiconductor (ASIC, APPLICATION SPECIFIC INTEGRATED CIRCUIT).
  • FPGA FIELD PROGRAMMABLE GATE ARRAY
  • ASIC application specific semiconductor
  • APPLICATION SPECIFIC INTEGRATED CIRCUIT
  • FIG. 3 is a flowchart illustrating a prediction operation of a latent variable through a measured variable according to an embodiment
  • FIG. 4A is an unsupervised model for learning a measured variable and a supervised model for learning a latent variable according to an embodiment
  • FIG. 4B is a diagram for explaining an unsupervised learning model for predicting a measured variable according to an embodiment
  • FIG. 4C is a supervised learning model for predicting a measured variable and a latent variable according to an embodiment It is a drawing for explaining.
  • the processor may perform learning based on the measurement variable and the labeling data ( 411 ).
  • the processor may perform supervised learning based on the labeling data ( 412 ). With a value derived as a result of performing the learning in this way, the processor may determine a user variable used for prediction as an intrinsic variable ( 413 ).
  • the processor receiving the measurement variable may perform unsupervised learning ( 414 and 415 ).
  • a plurality of user variables used for prediction may be determined as a measurement variable ( 416 ).
  • the processor can separate and predict the variable used to predict the measured variable and the variable used to predict the latent variable.
  • FIG. 4B is a diagram illustrating unsupervised learning performed by the processor in more detail.
  • the electronic device may receive the measurement variable V41 through the communication interface and the sensor ( S421 ).
  • the processor may calculate the measured variable ( 422 ).
  • the measurement variable corresponding to a specific physiological phenomenon may be measured according to time, so that the processor may determine the measurement variable according to the time series. Accordingly, the processor can calculate the sequence of measurement variables V42.
  • the processor may perform unsupervised learning using the separated variable ( 424 ). Meanwhile, the unsupervised learning performed in this way receives feedback from the measurement variable prediction model ( 426 ), and can be used as an independent variable in the latent variable prediction model ( 425 ).
  • FIG. 4C is a diagram illustrating unsupervised learning performed by the processor in more detail.
  • the processor may receive the data set V45.
  • the data set may include a measurement variable set V45-1 and a labeling data set V45-2 corresponding to the measurement variable.
  • the processor may calculate a measurement variable based on the data set ( 431 ).
  • FIG. 4C may determine a reference variable as labeling data and perform supervised learning.
  • the processor may perform supervised learning based on such an operation, determine a plurality of user variables used for predicting the latent variable ( 433 ), and receive feedback from the latent variable prediction model ( 434 ).
  • 5A is a diagram for explaining an operation of performing personalization of an observation variable according to an exemplary embodiment.
  • Fig. 5B is a diagram showing in detail the operation of performing the personalization described in Fig. 5A.
  • the processor may perform unsupervised learning ( 512 ) using the user-measured variable 511 to predict the user-measured variable based on the learned data ( 513 ).
  • the processor may perform unsupervised learning through online based on individual measurement variables.
  • the processor may predict a measurement variable personalized to each user.
  • the processor may repeat this operation through initialization (514).
  • the processor may determine the personalized measurement variable by performing unsupervised learning based on the user's measurement variable corresponding to the first time point and the user's measurement variable corresponding to the second time point ( 523 ).
  • the result of the measurement variable prediction model may be used ( 522 ).
  • the processor may predict a personalized measurement variable by performing online unsupervised learning ( 524 ).
  • the processor may determine a plurality of user variables used for predicting the observed variable and continuously initialize the processor to repeat the above-described operation ( 525 ).
  • a user variable used to predict a measurement variable may be used to initialize the operation of the processor ( 526 ).
  • the model for predicting the personalized measurement variable described with reference to FIGS. 5A and 5B is only an embodiment of the present invention, and there is no limitation in the operation of the processor for predicting the personalized measurement variable.
  • FIG. 6A is a graph for explaining a measurement variable and a latent variable in a user's sleep situation according to an embodiment
  • FIG. 6B is a diagram illustrating overall modeling for performing the operation of FIG. 6A.
  • 6A is a graph showing contents related to a smart sleep alarm according to an embodiment.
  • human sleep is composed of deep sleep (P63) during deep sleep, and may be expressed as light sleep (P62) when waking up.
  • the time range shown in FIG. 6A may represent the user's desired wake-up time range (T6).
  • the solid line portion D6 indicates the current user's sleep state
  • the dotted line portion indicates the user's sleep state predicted by the above-described supervised and unsupervised models (E6).
  • the G6 point may represent a sleep state with the shallowest depth of sleep in the predicted sleep state, that is, the sleep state closest to the wake-up state.
  • the sleep state shown in FIG. 6A corresponds to the above-described latent variable.
  • an operation of the processor predicting the sleep state of a person as a latent variable will be described in detail.
  • the user's sleep state can be predicted through a method of predicting the measured variable and the latent variable in different learning modeling, as described above.
  • This operation can be performed through FIG. 6B.
  • the predictive model of the sleep stage which is the latent variable (V64, V63)
  • the sleep stage as the latent variable. can be classified as (RNN 2, M63).
  • the RNN 1 RECURRENT NEURAL NETWORK 1 M61, M62
  • the RNN 2 model M63
  • FIG. 7A is a diagram for explaining an operation of predicting a measurement variable in a user's sleep situation according to an exemplary embodiment.
  • latent variables and predicted values can be determined by the sleep stage shown in Fig. 6A.
  • the sleep stage may be determined as a latent variable as a value calculated and predicted based on this input value, rather than a value directly calculated from the PPG and ACC signals.
  • the measurement variable prediction model may be formed based on an ENCODER-DECODER LSTM (LONG SHORT-TERM MEMORY MODELS) model.
  • some signals may be determined as input values and some signals may be determined as reference values.
  • unsupervised learning is performed on the calculated PPG and ACC values and the values determined as reference values among the obtained PPG and ACC values to predict the PPG and ACC values, which are later measured values (M72).
  • the processor may perform an operation based on actual data, and may perform the operation without medical labeling data.
  • the model presented in Fig. 7A can derive personalized measurement variables by directly performing the above-described personalization online for a specific user.
  • 7B is a diagram for explaining an operation of predicting a latent variable in a user's sleep situation according to an embodiment.
  • FIG. 7B shows a model for predicting a latent variable different from that of FIG. 7A, and supervised learning can be performed.
  • Fig. 7B it is possible to extract the sleep state data (V79) from the labeling data (R7, R72), and perform supervised learning based on the PPG and ACC data calculated in Fig. 7A (V76, V77) .
  • the processor can predict the latent variable for the sleep state (V78) (M74).
  • the modeling presented in Fig. 7B can apply a bidirectional network here, and a deep network can be applied here.
  • the processor may predict a latent variable, that is, a sleep state based on the above-described operation, and appropriately perform an operation to be described later to the user.
  • modeling is merely an embodiment for explaining the operation of the present invention, and there is no limitation in the form and implementation method of modeling.
  • 8A and 8B are diagrams for explaining that the processor performs different operations according to predictions of latent variables in a user's sleep situation, according to an embodiment.
  • the processor shows that the electronic devices 1-1 and 1-2 provide an alarm suitable for the user through prediction of the latent variable based on the sleep state data obtained from the sensor.
  • the electronic device 1-2 may determine that the alarm output time range is 5 minutes.
  • the electronic devices 1-1 and 1-2 may determine a change time for outputting the alarm from 7:20 to about 5 minutes.
  • the processor may determine the alarm time output range based on the user's command.
  • the lamp is turned on at 7:17 o'clock before proceeding to deep sleep to reduce the user's can induce mood.
  • the user may provide an alarm suitable for the user without being uniform through the model for predicting the above-described latent variable.
  • FIG. 8B shows an operation of changing an alarm according to a user's physical condition.
  • the user's rest time may be determined from 14:49 to 14:53 (D81).
  • the processor may differently predict the latent variable based on the user's biosignal changed based on the corresponding signal.
  • the processor can change the existing break time from 15:02 to 15:07 and predict (D82).
  • the processor may predict the change of the user's latent variable and change the alarm timing presented in FIG. 8A to suit the user based on this.
  • FIGS. 8A and 8B is only an embodiment for predicting the latent variable performed by the present invention, and there is no limitation in that the processor predicts the latent variable and performs an operation suitable for the user.
  • FIG. 9 is a flowchart illustrating an operation of an electronic device according to an exemplary embodiment.
  • the electronic device may acquire user data through a sensor ( 1001 ).
  • the processor may calculate a measurement variable based on the acquired data ( 1002 ).
  • the processor may classify the calculated measurement variable into an input value and a reference value and perform unsupervised learning to predict the measured variable ( 1003 ).
  • the processor may then predict the latent variable along with the labeling data ( 1005 ).
  • the electronic device may perform an operation of the electronic device optimized for the user using the predicted latent variable ( 1006 ).
  • the computer-readable recording medium includes any type of recording medium in which instructions readable by the computer are stored.
  • ROM read only MEMORY
  • RAM RANDOM ACCESS MEMORY
  • magnetic tape a magnetic disk
  • flash memory an optical data storage device, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Acoustics & Sound (AREA)
  • Dentistry (AREA)

Abstract

일 실시예에 따른 전자 장치는 사용자의 생체 신호를 획득하는 센서; 상기 사용자의 측정 변수를 저장하는 메모리; 및 복수의 다른 사용자의 생체 데이터 및 상기 다른 사용자의 생체 데이터에 대응되는 라벨링 데이터를 수신하고, 비지도 학습 모델을 사용하여 상기 사용자의 생체 신호에 기초한 상기 사용자의 생체 데이터를 예측하고, 지도 학습 모델을 이용하여 상기 사용자의 상기 예측된 생체 데이터, 상기 복수의 다른 사용자의 생체 데이터 및 상기 라벨링 데이터를 기초한 상기 사용자의 생체 상태를 예측하는 프로세서;.를 포함한다.

Description

전자 장치 및 전자 장치 제어 방법
본 발명은 학습 모델링을 이용하여 사용자의 생리학적 현상을 예측하는 전자 장치 및 전자 장치 제어 방법에 관련된 기술이다.
사용자의 생리학적 현상을 측정하기 위해서는 크게 특정 값의 측정을 통하여 얻어지는 측정 변수와 이를 기초로 추정하는 잠재 변수가 필요하다.
생리학적 현상을 측정하기 위한 측정 변수(OBSERVED VALUE)로는 서미스터 전압에서 계산하는 온도 및 심전도 신호의 주요 주파수로 계산되는 심박수가 해당될 수 있다. 즉 생리학적 현상에서는 사용자의 생체 데이터가 측정 변수에 해당 될 수 있다.
잠재 변수(LATENT VALUE)는 관찰 가능한 변수와 달리 직접 측정 되지 않고 다른 변수에서 추정되는 변수로 정의될 수 있다.
생리학적 현상을 측정하기 위한 모델에서는 생체 현상이 잠재 변수에 해당될 수 있다.
잠재 변수를 추정하는 방법은 전문적 인간 분석 또는 수학적 모델을 통해 수행될 수 있다. 잠재 변수에는 수면 다원도 신호의 전문 분석에 의해 결정되는 수면 단계, 사용자의 행동을 분류하여 결정되는 스트레스 수준 및 사용자의 얼굴을 분류하여 결정되는 감정이 해당될 수 있다.
한편 이러한 잠재 변수를 예측하는데 있어서 라벨이 지정된 데이터 세트 및 예측 모델 학습이 필요하다. 즉 잠재 생리 학적 매개 변수를 사용한 데이터 세트 라벨링에는 복잡한 의료 진단 및 수동 라벨링이 필요하다.
한편 이렇게 수집된 데이터를 기초로 한 예측 모델은 라벨링 데이터의 수집이 어렵고 사용자 각각에 최적화된 데이터를 제공하는데 어려움이 있다.
따라서 내측 변수의 예측에 있어서 별도의 데이터에 의존하지 않고 사용자에 최적화된 예측을 제공하는 모델링에 대한 연구가 필요한 실정이다.
본 발명은 잠재 변수를 예측하는 모델과 측정 변수를 예측하는 모델과 달리 사용하여 사용자에 최적화된 잠재 변수를 예측하는 전자 장치 및 그 제어 방법을 제공한다.
일 실시예에 따른 전자 장치는 사용자의 생체 신호를 획득하는 센서; 상기 사용자의 측정 변수를 저장하는 메모리; 및 복수의 다른 사용자의 생체 데이터 및 상기 다른 사용자의 생체 데이터에 대응되는 라벨링 데이터를 수신하고, 비지도 학습 모델을 사용하여 상기 사용자의 생체 신호에 기초한 상기 사용자의 생체 데이터를 예측하고, 지도 학습 모델을 이용하여 상기 사용자의 상기 예측된 생체 데이터, 상기 복수의 다른 사용자의 생체 데이터 및 상기 라벨링 데이터를 기초한 상기 사용자의 생체 상태를 예측하는 프로세서;를 포함한다.
상기 상기 생체 데이터는 측정 변수(observed value)로 마련되고, 상기 생체 상태는 잠재 변수(latent value)로 마련될 수 있다.
상기 비지도 학습 모델은, 상기 지도 학습 모델에 의해 출력된 데이터를 피드백으로 사용하여 상기 상기 사용자 측정 변수를 예측하는 전자 장치.
상기 프로세서는, 상기 라벨링 데이터와 독립적으로 상기 비지도 학습 모델을 작동할 수 있다.
상기 프로세서는, 상기 지도 학습 모델을 이용하여, 상기 사용자 측정 변수 및 상기 라벨링 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득할 수 있다.
상기 프로세서는, 상기 비지도 학습 모델을 이용하여, 상기 사용자의 측정 변수 및 학습된 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득하고, 상기 사용자의 예측된 측정 변수 및 상기 복수의 다른 사용자의 측정 변수를 기초로 개인화된 측정 변수를 획득하고, 상기 지도 학습 모델을 이용하여 상기 개인화된 측정 변수 및 상기 학습된 데이터를 기초로 상기 사용자의 잠재 변수를 예측할 수 있다.
상기 프로세서는, 제1시점에 대응되는 상기 사용자의 측정 변수와 제2시점에 대응되는 상기 사용자의 측정 변수를 기초로 상기 개인화된 측정 변수를 획득할 수 있다.
상기 프로세서는, 미리 결정된 생리학적 현상의 복수의 다른 사용자의 측정 변수 및 상기 다른 사용자의 측정 변수에 대응되는 라벨링 데이터를 기초로 상기 사용자의 측정 변수 및 상기 사용자의 잠재 변수 각각의 예측에 사용되는 복수의 사용자 변수를 획득할 수 있다.
상기 전자 장치는, 상기 사용자에게 알람을 제공하는 출력 인터페이스; 및 상기 사용자의 명령을 입력 받는 입력 인터페이스;를 더 포함하고, 상기 프로세서는, 상기 사용자가 입력한 명령을 기초로 상기 알람을 출력하는 알람 시간을 획득하고, 상기 예측된 잠재 변수에 기초하여 상기 알람이 출력되는 시간을 변경할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 사용자의 생체 신호를 획득하고; 복수의 다른 사용자의 생체 데이터 및 상기 다른 사용자의 생체 데이터에 대응되는 라벨링 데이터를 수신하고; 비지도 학습 모델을 이용하여, 상기 사용자의 생체 신호에 기초하여 상기 사용자의 생체 데이터를 예측하고; 지도 학습 모델을 이용하여, 상기 사용자의 예측된 생체 데이터, 상기 복수의 다른 사용자의 생체 데이터 및 상기 라벨링 데이터를 기초로 상기 사용자의 생체 상태를 예측하는 것;을 포함하고, 상기 생체 데이터는, 상기 사용자의 측정 변수로 마련되고, 상기 생체 상태는, 상기 사용자의 잠재 변수로 마련된다.
상기 측정 변수를 예측하는 것은, 상기 지도 학습 모델로부터 출력된 데이터를 피드백으로 사용하는 것;을 포함할 수 있다.
상기 사용자의 측정 변수를 예측하는 것은, 상기 라벨링 데이터와 독립적으로 상기 비지도 학습 모델을 작동하는 것;을 포함할 수 있다.
상기 사용자의 측정 변수를 예측하는 것은, 상기 지도 학습 모델을 이용하여, 상기 사용자 측정 변수 및 상기 라벨링 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득하는 것;을 포함할 수 있다.
상기 사용자의 잠재 변수를 예측하는 것은, 상기 비지도 학습 모델을 이용하여, 상기 사용자의 측정 변수 및 학습된 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득하고; 상기 사용자의 예측된 측정 변수 및 상기 복수의 다른 사용자의 측정 변수를 기초로 개인화된 측정 변수를 획득하고; 상기 지도 학습 모델을 이용하여 상기 개인화된 측정 변수 및 상기 학습된 데이터를 기초로 상기 사용자의 잠재 변수를 예측하는 것;을 포함할 수 있다.
상기 사용자의 측정 변수를 예측하는 것은, 제1시점에 대응되는 상기 사용자의 측정 변수와 제2시점에 대응되는 상기 사용자의 측정 변수를 기초로 상기 개인화된 측정 변수를 획득하는 것;을 포함할 수 있다.
일 실시예에 따른 전자 장치 및 그 제어 방법은 잠재 변수를 예측하는 모델과 측정 변수를 예측하는 모델을 달리 사용하여 사용자에 최적화된 잠재 변수를 예측할 수 있다.
도1A 및 도 1B는 일 실시예에 따른 잠재 변수의 예측 모델을 나타낸 도면이다.
도2는 일 실시예에 따른 전자 장치의 제어 블록도이다.
도3은 일 실시예에 따른 측정 변수를 통한 잠재 변수의 예측 동작을 나타낸 순서도이다.
도4A는 일 실시예에 따른 측정 변수를 학습하기 위한 비지도 학습 모델 및 잠재 변수를 학습하는 지도 학습 모델의 동작을 설명하기 위한 도면이다.
도4B은 일 실시예에 따른 측정 변수 예측을 위한 비지도 학습 모델을 설명하기 위한 도면이다.
도4C은 일 실시예에 따른 측정 변수 및 잠재 변수의 예측을 위한 지도학습 모델을 설명하기 위한 도면이다.
도5A는 일 실시예에 따른 관측 변수의 개인화를 수행하는 동작을 설명하기 위한 도면이다.
도5B은 도5A에서 설명한 개인화를 수행하는 동작을 상세하게 나타낸 도면이다.
도6A는 일 실시예에 따른 사용자의 수면 상황에서 측정 변수와 잠재 변수를 설명하기 위한 그래프이고, 도6B는 도6A의 동작을 수행하는 전체적인 모델링을 나타낸 도면이다.
도7A은 일 실시예에 따른 사용자의 수면 상황에서 측정 변수를 예측하는 동작을 설명하기 위한 도면이다.
도7B은 일 실시예에 따른 사용자의 수면 상황에서 잠재 변수를 예측하는 동작을 설명하기 위한 도면이다.
도8A 및 도8B는 일 실시예에 따른 프로세서가 사용자 수면 상황에서 잠재 변수의 예측에 따라 동작을 달리하는 것을 설명하기 위한 도면이다.
도9는 일 실시예에 따른 전자 장치의 동작을 설명하는 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1A 및 도1B는 일 실시예에 따른 잠재 변수의 예측 모델이 분리된 것을 나타낸 도면이다.
도1A를 참고하면 기존에는 측정 변수(V11)를 기초로 잠재 변수(V12)를 예측하는데 있어서 하나의 잠재 변수 예측 모델을 이용할 수 있다.
한편 본 명세서에서 측정 변수는 사용자로부터 측정 가능한 생체 데이터를 의미하며 잠재 변수는 측정 데이터를 기초로 예측 될 수 있는 생체 상태를 의미할 수 있다.
다만, 도 1B에 도시된 바와 같이, 이러한 잠재 변수의 예측 과정에서 기존의 일원화된 모델이 아닌 본 발명에서는 측정 변수 예측 모델(M13)과 잠재 변수 예측 모델(M14)을 분리하여 예측을 수행할 수 있다.
측정 변수(V13)는 센서의 측정 및 프로세서의 계산을 통하여 직접적으로 획득되는 변수를 의미할 수 있다.
생리학적 현상을 측정하기 위한 측정 변수로는 서미스터 전압에서 계산하는 온도 및 심전도 신호의 주요 주파수로 계산되는 심박수등의 생체 데이터가 해당될 수 있다.
잠재 변수(V15)는 직접 측정 되지 않고 다른 변수에서 추정되는 변수로 정의될 수 있다.
잠재 변수에는 수면 다원도 신호의 전문 분석에 의해 결정되는 수면 단계, 사용자의 행동을 분류하여 결정되는 스트레스 수준 및 사용자의 얼굴을 분류하여 결정되는 감정 등 사용자의 생체 상태가 해당될 수 있다.
구체적으로 일 실시예에 따른 전자 장치는 사용자의 생리학적 현상에 대응되는 측정 변수를 센서를 통하여 획득하고 이를 기초로 측정 변수를 계산할 수 있다(V13).
계산된 측정 변수에서 전자 장치는 측정 변수를 예측할 수 있다(V14). 후술하는 바와 같이 본 발명에 있어서 측정 변수를 예측할 때에는 비지도학습 모델이 적용될 수 있다.
한편 측정 변수를 예측하는 비지도학습 모델에는 사용자의 생리학적 현상에 대응되는 라벨링 데이터가 요구되지 않는다.
라벨링 데이터는 사용자의 특정 생리학적 현상에서 측정되는 측정 데이터의 의료 진단을 위하여 사용되는 기준 데이터를 의미할 수 있다.
한편 예측된 측정 변수를 기초로 전자 장치는 잠재 변수 예측 모델을 통하여 이후 시점의 잠재 변수를 예측할 수 있다(M14).
한편 잠재 변수를 예측하는데 지도학습 모델이 이용될 수 있다.
지도예측 모델에서는 상술한 라벨링 데이터를 이용하여 학습을 수행할 수 있다.
정리하면 전자 장치는 도1에서 개시된 바와 같이 측정 변수를 예측 하는데 있어서 비지도예측 모델을 이용하고, 잠재 변수를 예측하는데 있어서 지도예측 모델을 이용할 수 있다.
이와 같이 각 변수에 따라 다른 학습 모델을 달리하므로서 측정 모델을 예측하는데 있어서 라벨링 데이터 없이 예측이 가능하며, 후술하는 바와 같이 예측된 측정 변수를 기초로 개인화 동작이 가능하다.
한편 도1에서 설명한 본 발명의 동작은 본 발명을 대략적으로 설명하기 위한 것이며 이하 각 동작에 대해서 아래에서 상세하게 설명한다.
도2는 일 실시예에 따른 전자 장치(1)의 제어 블록도이다.
도2를 참고하면, 일 실시예에 따른 전자 장치(1)는 센서(101), 통신 인터페이스(103), 메모리(102), 출력 인터페이스(104), 입력 인터페이스(106) 및 프로세서(104) (또는 복수의 프로세서)를 포함할 수 있다.
전자 장치(1)는 네트워크를 통해 서버에 접속할 수 있는 장치, 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB BROWSER)가 탑재된 노트북, 데스크톱(DESKTOP), 랩톱(LAPTOP), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(PERSONAL COMMUNICATION SYSTEM), GSM(GLOBAL SYSTEM FOR MOBILE COMMUNICATIONS), PDC(PERSONAL DIGITAL CELLULAR), PHS(PERSONAL HANDYPHONE SYSTEM), PDA(PERSONAL DIGITAL ASSISTANT), IMT(INTERNATIONAL MOBILE TELECOMMUNICATION)-2000, CDMA(CODE DIVISION MULTIPLE ACCESS)-2000, W-CDMA(W-CODE DIVISION MULTIPLE ACCESS), WIBRO(WIRELESS BROADBAND INTERNET) 단말, 스마트 폰(SMART PHONE) 등과 같은 모든 종류의 핸드헬드(HANDHELD) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(HEAD-MOUNTED-DEVICE(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
입력 인터페이스(106)는 사용자의 명령을 입력 받을 수 있는 구성으로 마련될 수 있다.
입력 인터페이스(106)는 입력부는 유저의 입력을 위해 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있다.
또한, 입력 인터페이스(106)는 유저 입력을 위해 터치 패드(touch pad) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패드는 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 디스플레이부와 상호 레이어 구조를 이룰 수 있다.
터치 패드와 상호 레이어 구조를 이루는 터치 스크린 패널(TSP)로 구성되는 경우, 디스플레이부는 입력부로도 사용될 수 있다.
출력 인터페이스(105)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
또한 출력 인터페이스(105)는 사용자에게 소리를 출력하는 스피커 또는 진동을 전달하는 진동 모듈로도 마련될 수 있고, 사용자에게 알람을 출력하는 구성이라면 그 구성의 제한은 없다.
한편 전자 장치(1)는 상술한 장치 이외에도 통신을 수행할 수 있는 장치라면 그 장치에 제한은 없다.
센서(101)은 사용자의 측정 변수를 획득할 수 있다. 사용자의 측정 변수는 후술하는 바와 같이 미리 결정된 생리학적 현상에 대응되는 생체 신호를 의미할 수 있다.
센서(101)은 광 용적 측정기, 가속도계, 자이로 센서, 혈액 산소 측정기, 심전도, 생체 임피던스, 온도 센서 등으로 이루어 질 수 있으며 사용자의 생체 신호를 획득할 수 있는 구성이라면 그 종류의 제한은 없다.
통신 인터페이스(103)은 미리 결정된 생리학적 현상의 복수의 다른 사용자의 측정 변수 및 상기 다른 사용자의 측정 변수에 대응되는 라벨링 데이터를 수신할 수 있다.
다른 사용자의 측정 변수는 현재 잠재 변수의 예측을 수행하는 사용자가 아닌 다른 사용자를 의미할 수 있다.
한편 라벨링 데이터는 사용자의 측정 변수를 기초로 사용자의 생체 현상 판단에 있어 기준이 되는 기준 데이터를 의미할 수 있다.
또한 이러한 라벨링 데이터는 후술하는 바와 같이 지도 학습을 수행하는데 있어 지향이 되는 데이터를 의미할 수 있다.
한편 통신 인터페이스(103)은 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 인터페이스, 유선 통신 인터페이스 및 무선 통신 인터페이스 중 적어도 하나를 포함하도록 마련되며, 외부 장치로부터 다른 사용자의 측정 변수 및 상기 다른 사용자의 측정 변수에 대응되는 라벨링 데이터를 수신할 수 있다.
한편 메모리(102)는 상술한 센서가 획득한 사용자의 측정 변수를 저장하는 구성으로 마련될 수 있다.
메모리는 캐쉬, ROM(READ ONLY MEMORY), PROM(PROGRAMMABLE ROM), EPROM(ERASABLE PROGRAMMABLE ROM), EEPROM(ELECTRICALLY ERASABLE PROGRAMMABLE ROM) 및 플래쉬 메모리(FLASH MEMORY)와 같은 비휘발성 메모리 소자 또는 RAM(RANDOM ACCESS MEMORY)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, HARD DISK DRIVE), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부는 제어부와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
한편 프로세서(104)는 사용자의 측정 변수를 기초로 사용자의 상기 미리 결정된 생리학적 현상에 대응되는 잠재 변수를 예측할 수 있다.
한편 미리 결정된 생리학적 현상은 수면 단계, 무호흡, 호흡 주기, 일주기 리듬, 스트레스, 경보, 졸음 및 심장 부정맥 등에 대응되는 현상을 의미하지만 이에 한정되지 않는다.
프로세서(104)는 사용자 측정 변수를 이용하여 비지도 학습을 수행하여 학습된 데이터를 기초로 사용자 측정 변수를 예측할 수 있다.
비지도 학습(UNSUPERVISED LEARNING)은 기계 학습의 일종으로, 데이터가 어떻게 구성되었는지를 알아내는 동작을 의미할 수 있다. 비지도 학습에서는 입력값에 대한 목표치가 주어지지 않는다.
프로세서는 예측된 상기 사용자 측정 변수, 복수의 다른 사용자의 측정 변수 및 라벨링 데이터를 기초로 지도학습을 수행하여 학습된 데이터를 기초로 상기 사용자의 잠재 변수를 예측할 수 있다.
지도 학습(SUPERVISED LEARNING)은 훈련 데이터(TRAINING DATA)로부터 하나의 함수를 유추해내기 위한　기계 학습(MACHINE LEARNING)의 한 방법이다. 훈련 데이터는 일반적으로 입력 객체에 대한 속성을 벡터 형태로 포함하고 있으며 각각의 벡터에 대해 원하는 결과가 무엇인지 포함될 수 있다.
프로세서(104) (또는 복수의 프로세서)는 지도 학습 데이터를 비지도 학습 데이터의 피드백으로 사용하여 상기 상기 사용자 측정 변수를 예측할 수 있다.
즉 프로세서(104)는 측정 변수를 예측하는데 지도 학습을 이용하고, 잠재 변수를 예측하는데 비지도학습을 이용하는데 별개의 모델링이 형성되더라도 상호 데이터를 피드백 데이터로 활용할 수 있다.
한편 프로세서(104)는, 라벨링 데이터와 독립적으로 비지도학습을 수행할 수 있다. 즉, 프로세서가 측정 변수를 예측하는데 있어서 비지도학습을 수행할 수 있는데, 비지도학습을 수행하는데 있어 라벨링 데이터를 이용하지 않고 사용자의 측정 변수만으로 레퍼런스 데이터 없는 학습을 수행하여 측정 변수를 예측할 수 있다.
프로세서(104)는 사용자 측정 변수를 이용하여 비지도 학습을 수행하여 학습된 데이터를 기초로 사용자 측정 변수를 예측하고, 예측된 상기 사용자 측정 변수 및 상기 복수의 다른 사용자 측정 변수를 기초로 비지도 학습을 수행하여 용자에 대응되는 개인화된 측정 변수를 결정할 수 있다.
즉, 잠재 변수를 예측하기 전에 예측된 측정 변수를 기초로 다른 사용자의 데이터와 비교하여 해당 사용자에 생리학적 현상 판단에 최적화된 개인화된 측정 변수를 결정할 수 있다.
이후 프로세서(104)는 개인화된 측정 변수를 기초로 지도학습을 수행하여 학습된 데이터를 기초로 사용자의 잠재 변수를 예측할 수 있다.
한편 프로세서(104)는 개인화된 측정 변수를 결정하는데 있어서, 제1시점에 대응되는 사용자의 측정 변수와 제2시점에 대응되는 상기 사용자의 측정 변수를 기초로 비지도학습을 수행하여 개인화된 측정 변수를 결정할 수 있다.
제1시점과 제2시점은 전자 장치가 데이터를 획득하는 임의의 시점을 의미할 수 있다.
프로세서(104)는, 미리 결정된 생리학적 현상의 복수의 다른 사용자의 측정 변수 및 다른 사용자의 측정 변수에 대응되는 라벨링 데이터를 기초로 지도학습을 수행하여 사용자 측정 변수 및 사용자 잠재 변수 각각의 예측에 사용되는 복수의 사용자 변수를 결정할 수 있다.
미리 결정된 생리학적 현상은 사용자의 생물학적 현상을 의미하여 일 실시예에 따르면 심전도, 수면 상태 등등이 이에 해당될 수 있다.
즉, 프로세서(103)는 측정 변수 및 잠재 변수의 예측을 원활하게 하기 위하여 다른 사용자의 측정 변수 및 다른 사용자의 측정 변수에 대응되는 라벨링 데이터를 기초로 지도학습을 수행할 수 있다.
프로세서(103)는 또한 수행된 지도학습에서 복수의 사용자 변수를 결정할 수 있다. 프로세서는 이렇게 결정된 사용자 변수를 잠재 변수의 예측에 활용하여 보다 개인화된 잠재 변수를 예측할 수 있다.
프로세서(103)는 전자 장치(1) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도 2에 도시된 전자 장치(1)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2에서 도시된 각각의 구성요소는 소프트웨어 및/또는 FIELD PROGRAMMABLE GATE ARRAY(FPGA) 및 주문형 반도체(ASIC, APPLICATION SPECIFIC INTEGRATED CIRCUIT)와 같은 하드웨어 구성요소를 의미한다.
도3은 일 실시예에 따른 측정 변수를 통한 잠재 변수의 예측 동작을 나타낸 순서도이고, 도4A는 일 실시예에 따른 측정 변수를 학습하기 위한 비지도모델 및 잠재 변수를 학습하는 지도모델의 동작을 설명하기 위한 도면이고, 도4B은 일 실시예에 따른 측정 변수 예측을 위한 비지도학습 모델을 설명하기 위한 도면이고, 도4C은 일 실시예에 따른 측정 변수 및 잠재 변수의 예측을 위한 지도학습 모델을 설명하기 위한 도면이다.
도3과 도4A를 함께 참고하면 프로세서는 측정 변수 및 라벨링 데이터를 기초로 학습을 수행할 수 있다(411).
한편 프로세서는 라벨링 데이터를 기준으로 하여 지도학습을 수행할 수 있다(412). 이렇게 학습을 수행한 결과 도출되는 값으로 프로세서는 내제 변수에 예측에 이용되는 사용자 변수를 결정할 수 있다(413).
한편 측정 변수를 수신한 프로세서는 비지도 학습을 수행할 수 있다(414, 415).
한편 비지도 학습을 수행한 결과 측정 변수에 예측에 이용되는 복수의 사용자 변수를 결정할 수 있다(416).
이와 같은 학습 방법을 통하여 프로세서는 측정 변수를 예측하는데 이용되는 변수와 잠재 변수를 예측하는데 이용되는 변수를 분리하여 예측할 수 있다.
도3과 도4B를 함께 참고하면, 도4B는 프로세서가 수행하는 비지도 학습을 더욱 상세하게 나타낸 도면이다.
구체적으로 전자 장치는 통신 인터페이스 및 센서를 통하여 측정 변수(V41)를 전달받을 수 있다(421).
이렇게 수신한 측정 변수를 기초로 프로세서는 측정 변수를 계산할 수 있다(422).
특정 생리학적 현상에 대응되는 측정 변수는 시간에 따라서 측정될 수 있어 프로세서는 시계열에 따른 측정 변수를 결정할 수 있다. 따라서 프로세서는 측정 변수 시퀀스(V42)를 계산할 수 있다.
한편 프로세서는 이렇게 시계열적으로 획득한 측정 시퀀스를 입력 측정 변수(V43)와 기준 측정 변수(V44)로 분리할 수 있다.
프로세서는 분리된 변수를 이용하여 비지도 학습을 수행할 수 있다(424). 한편 이렇게 수행되는 비지도 학습은 측정 변수 예측 모델로부터 피드백을 받고(426), 잠재 변수를 예측하는 모델에 독립변수로 사용될 수 있다(425).
도3과 도4C를 함께 참고하면, 도4C는 프로세서가 수행하는 비지도 학습을 더욱 상세하게 나타낸 도면이다.
프로세서는 데이터 세트(V45)를 전달 받을 수 있다. 데이터 세트에는 측정 변수 세트(V45-1)가 포함될 수 있고 측정 변수에 대응되는 라벨링 데이터 세트(V45-2)가 포함될 수 있다.
프로세서는 데이터 세트를 기초로 측정 변수를 계산할 수 있다(431).
프로세서는 이러한 동작을 기초로 측정 변수 시퀀스를 결정할 수있다(V46).
도4C는 도4B와 다르게 기준 변수를 라벨링 데이터로 결정하고 지도학습을 수행할 수 있다.
즉, 비지도 학습을 수행하는 도4B에서는 측정 변수를 입력 값과 기준 데이터로 나누어 학습을 수행하였으나, 지도학습을 수행하는 도4C에서는 라벨링 데이터를 기준 데이터로 지도학습을 수행할 수 있다(432).
프로세서는 이러한 동작을 기초로 지도 학습을 수행할 수 있으며, 잠재 변수 예측에 이용되는 복수의 사용자 변수를 결정(433)하고 잠재 변수 예측 모델로부터 피드백을 받을 수 있다(434).
한편 도3, 도4A, 도4B 및 도4C에서 설명한 동작은 본 발명의 지도 학습 및 비지도 학습 각각에 대한 것이며, 프로세서가 지도 학습 및 비지도 학습을 수행하는데 있어서 이용하는 변수 및 피드백을 받는 모델의 제한은 없다.
도5A는 일 실시예에 따른 관측 변수의 개인화를 수행하는 동작을 설명하기 위한 도면이다.
도5B은 도5A에서 설명한 개인화를 수행하는 동작을 상세하게 나타낸 도면이다.
도5A를 참고하면 프로세서는, 사용자 측정 변수(511)를 이용하여 비지도 학습을 수행(512)하여 학습된 데이터를 기초로 사용자 측정 변수를 예측할 수 있다(513).
한편 예측된 사용자 측정 변수 및 복수의 다른 사용자 측정 변수를 기초로 비지도 학습을 수행하여 개인화된 측정 변수를 결정할 수 있다(512).
프로세서는 개인화된 측정 변수를 기초로 상기 지도학습을 수행하여 학습된 데이터를 기초로 사용자의 잠재 변수를 예측할 수 있다(513).
즉, 단계적으로 프로세서는 개인 측정 변수를 기초로 온라인을 통하여 비지도 학습을 수행할 수 있다.
이를 기초로 프로세서는 사용자 각각에 개인화된 측정 변수를 예측할 수 있다.
프로세서는 초기화를 통하여 이와 같은 동작을 반복할 수 있다(514).
구체적으로 도5B를 참고하면, 프로세서는 측정 변수(V51)를 기초로 측정 변수 계산 모델을 통하여 측정 변수를 계산할 수 있다(V52).
프로세서는 획득된 측정 변수의 일부는 입력 값(V52)으로 다른 일부는 기준 값(V53)으로 비지도 학습을 수행할 수 있다.
즉 프로세서는, 제1시점에 대응되는 사용자의 측정 변수와 제2시점에 대응되는 사용자의 측정 변수를 기초로 비지도 학습을 수행하여 개인화된 측정 변수를 결정할 수 있다(523).
한편 프로세서가 온라인 비지도 학습을 수행하는데 있어서 측정 변수 예측 모델의 결과를 이용할 수 있다(522).
한편 프로세서는 온라인 비지도 학습을 수행하여 개인화된 측정 변수를 예측할 수 있다(524).
한편 프로세서는 관측 변수 예측에 이용되는 복수의 사용자 변수를 결정하여 지속적으로 프로세서를 초기화하여 상술한 동작을 반복할 수 있다(525).
한편 프로세서의 동작 초기화에는 측정 변수 예측에 이용되는 사용자 변수를 이용할 수 있다(526).
한편 도5A 및 도5B에서 설명한 개인화된 측정 변수를 예측하는 모델은 본 발명의 일 실시예에 불과하고 프로세서가 개인화된 측정 변수를 예측하는 동작에는 그 제한이 없다.
도6A는 일 실시예에 따른 사용자의 수면 상황에서 측정 변수와 잠재 변수를 설명하기 위한 그래프이고, 도6B는 도6A의 동작을 수행하는 전체적인 모델링을 나타낸 도면이다.
도6A은 일 실시예에 따른 스마트 수면 알람에 관련된 내용을 나타낸 그래프이다.
통상적으로 사람의 수면은 숙면 시 깊은 수면(P63)으로 구성되며 기상 시 얕은 수면(P62)으로 나타낼 수 있다.
한편 도6A에서 나타난 시간의 범위는 사용자가 원하는 기상 시간의 범위를 나타낼 수 있다(T6).
한편 실선 부분(D6)은 현재 사용자의 수면 상태를 나타내고 점선 부분은 상술한 지도 및 비지도 모델로 예측한 사용자의 수면 상태를 예측한 것(E6)을 나타낸다.
한편 G6지점은 예측한 수면 상태에서 수면 깊이가 가장 얕은 즉 기상 상태와 가장 근접한 수면 상태를 나타낼 수 있다.
한편 도6A에서 나타낸 수면 상태는 상술한 잠재 변수에 해당되며, 이하에서는 프로세서가 사람의 수면 상태를 잠재 변수로서 예측하는 동작을 상세하게 설명한다.
한편 사용자의 수면상태는 잠재 변수로서 상술한 바와 같이 측정 변수와 잠재 변수를 각각 다른 학습 모델링에서 예측하는 방법을 통하여 예측할 수 있다.
이러한 동작은 도6B를 통하여 수행될 수 있다.
도6B를 참고하면 잠재 변수(V64, V63)인 수면 단계의 예측 모델을 계산 가능한 측정 변수(V61, V62)의 예측 모델 (RNN 1, M61,M62)로 및 잠재 변수인 수면 단계를 예측하는 모델로 분류될 수 있다(RNN 2, M63).
즉 RNN 1 (RECURRENT NEURAL NETWORK 1 M61, M62) 모델은 계산 가능한 값의 예측 수행하고 RNN 2 모델(M63)은 라벨링 데이터의 지정된 값의 추정을 수행할 수 있다.
특히 RNN 1 모델(M61, M62) 학습을 위한 데이터 세트에는 라벨링 데이터 없이 센서가 획득한 PPG 및 ACC데이터만 요구되며 RNN1모델(M61, M62)은 개인화가 가능하다.
한편 이하에서는 RNN1의 동작 및 RNN2의 동작을 나누어서 설명한다.
도7A은 일 실시예에 따른 사용자의 수면 상황에서 측정 변수를 예측하는 동작을 설명하기 위한 도면이다.
도7A를 참고하면 한편 사람의 수면 상태에서 측정 변수(V71, V75)는 광 혈량계(PPG, PHOTOPLETHYSMOGRAM) 및 가속도(ACC, ACCELEROMETER) 신호로 결정될 수 있다.
한편 잠재 변수 및 예측 값은 도6A에 제시된 수면 단계로 결정될 수 있다.
수면 단계는 PPG 및 ACC 신호에서 직접 계산되는 값이 아닌 이 입력 값을 기초로 연산 및 예측되는 값으로 잠재 변수로 결정될 수 있다.
한편 일 실시예에 따르면 측정 변수 예측 모델은 ENCODER-DECODER LSTM(LONG SHORT-TERM MEMORY MODELS) 모델을 기초로 형성될 수 있다.
도7A을 참고하면 전자 장치가 센서를 통하여 PPG 및 ACC신호를 획득하면 일부 신호는 입력 값으로 일부 신호는 기준 값으로 결정될 수 있다.
즉 일부 PPG 및 ACC신호는 계산을 통하여 RNN1모델에서 인코딩되어 다른 RNN1에 전달 될 수 있다(M71, M72).
여기서는 계산된 PPG 및 ACC값과 획득한 PPG 및 ACC 값 중 기준 값으로 결정된 값을 비지도 학습을 수행하여 이후의 측정 값인 PPG 및 ACC 값을 예측할 수 있다(M72).
한편 도7A에 개시된 동작을 통하여 프로세서는 실제 데이터를 기초로 동작을 수행할 수 있으며, 의료 라벨링 데이터가 없이 동작을 수행할 수 있다.
또한 도7A에 제시된 모델은 직접 특정 사용자를 위해 온라인으로 상술한 개인화를 수행하여 개인화된 측정 변수를 도출할 수 있다.
도7B은 일 실시예에 따른 사용자의 수면 상황에서 잠재 변수를 예측하는 동작을 설명하기 위한 도면이다.
한편 도7B은 도7A과 다른 잠재 변수를 예측하는 모델을 나타낸 것으로서 지도학습을 수행할 수 있다.
따라서 도7B에서는 별도의 라벨링 데이터(R7)가 필요하다
도7B에서는 라벨링 데이터로 수면다원검사(POLYSOMNOGRAPHY) 데이터(R72)를 이용하는 동작을 나타내고 있다.
수면다원검사(POLYSOMNOGRAPHY)는 환자의 수면 중에 발생하는 질환의 원인을 알아내기 위한 검사이며 프로세서는 이러한 검사에서 획득한 데이터를 라벨링 데이터로 이용할 수 있다.
수면다원검사 주로 뇌파와 심전도, 안전도, 근전도, 비디오 촬영을 수행할 수 있다.
즉 도7B를 참고하면 라벨링 데이터(R7, R72)에서 수면 상태에 대한 데이터(V79)를 추출하고, 도7A에서 계산된 PPG 및 ACC데이터를 기초로 지도학습을 수행할 수 있다(V76, V77).
이러한 학습 방법을 통하여 프로세서는 수면 상태(V78)에 대한 잠재 변수에 대한 예측을 수행할 수 있다(M74).
도7B에 제시된 모델링은 여기에 양방향 네트워크를 적용 할 수 있고, 여기에 딥 네트워크를 적용 할 수 있다.
또한 도7B에 제시된 모델링은 학습 과정이 직접적이므로 예측하는 동작 없이 더 깊은 모델을 훈련 할 수 있다.
한편 프로세서는 상술한 동작을 기초로 잠재 변수 즉 수면 상태를 예측하여 후술하는 동작을 사용자에 적합하게 수행할 수 있다.
한편 상술한 모델링은 본 발명의 동작을 설명하기 위한 일 실시예에 불과하며 모델링의 형태 및 구현 방법에는 그 제한이 없다.
도8A 및 도8B는 일 실시예에 따른 프로세서가 사용자 수면 상황에서 잠재 변수의 예측에 따라 동작을 달리하는 것을 설명하기 위한 도면이다.
도8A를 참고하면, 프로세서는 센서로부터 획득한 수면 상태의 데이터를 기초로 전자 장치(1-1, 1-2)가 잠재 변수 예측을 통하여 사용자에 적합한 알람을 제공하는 것을 나타내고 있다.
도8A에서는 전자 장치(1-1, 1-2)가 스마트 워치로 마련된 것을 나타내고 있다.
사용자가 알람 출력 시간을 7시 20분으로 설정한 경우에 센서가 획득한 생리학적 신호에 기초하여 램프의 출력을 7시 17분으로 변경한 동작을 설명하고 있다. 또한 이 경우 전자 장치(1-2)는 알람 출력 시간 범위는 5분으로 결정될 수 있다.
사용자가 기상 알람 시간을 7시 20분으로 입력한 경우 전자 장치(1-1, 1-2)는 7시20분에서 5분 전후로 알람을 출력할 변경 시간을 결정할 수 있다.
즉 프로세서는 사용자의 명령에 기초하여 알람 시간 출력 범위를 결정할 수 있다. 한편 이 경우에 전자 장치(1-2)가 사용자의 수면 상태를 예측하여 7시 20분에 깊은 수면으로 진입하는 것으로 예측한 상황에 깊은 수면으로 진행 전인 7시 17분에 램프를 점등하여 사용자의 기상을 유도할 수 있다.
사용자는 상술한 잠재 변수를 예측하는 모델을 통하여 일률적이지 않고 사용자에 적합한 알람을 제공할 수 있다.
한편 도8B를 참고하면 도8B는 사용자의 신체 상황에 따른 알람을 변경하는 동작을 나타내고 있다.
즉, 평소의 상황에서 사용자의 휴식 시간은 14시 49분에서 14시 53분으로 결정될 수 있다(D81).
한편 사용자가 커피 등을 통한 카페인 섭취, 흡연 및 음주 등의 신체적 신호가 변경된 경우 프로세서는 해당 신호를 기초로 변경된 사용자의 생체 신호를 기초로 잠재 변수 예측을 달리 할 수 있다.
따라서 프로세서는 기존의 휴식 시간을 15시 2분에서 15시 7분으로 변경하여 예측할 수 있다(D82).
프로세서는 이러한 사용자의 잠재 변수의 변경을 예측하고 이를 기초로 도8A에 제시된 알람 시점을 사용자에 맞게 변경할 수 있다.
한편 도8A 및 도8B에서 개시된 동작은 본 발명이 수행하는 잠재 변수 예측에 일 실시예에 불과하고 프로세서가 잠재 변수를 예측하여 사용자에 적합한 동작을 수행하는 것에는 그 제한이 없다.
도9는 일 실시예에 따른 전자 장치의 동작을 설명하는 순서도이다.
도9를 참고하면 전자 장치는 센서를 통하여 사용자 데이터를 획득할 수 있다(1001).
한편 프로세서는 획득한 데이터를 기초로 측정 변수를 계산할 수 있다(1002).
프로세서는 계산된 측정 변수를 기초로 입력 값과 기준 값으로 분류하여 비지도 학습을 수행하여 측정 변수를 예측할 수 있다(1003).
또한 프로세서는 이 과정에서 사용자에 개인화된 측정 변수를 결정할 수 있다(1004).
이후 프로세서는 라벨링 데이터와 함께 잠재 변수를 예측할 수 있다(1005).
또한 전자 장치는 이렇게 예측한 잠재 변수로 사용자에 최적화된 전자 장치의 동작을 수행할 수 있다(1006).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(READ ONLY MEMORY), RAM(RANDOM ACCESS MEMORY), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 사용자의 생체 신호를 획득하는 센서;
    상기 사용자의 측정 변수를 저장하는 메모리; 및
    복수의 다른 사용자의 생체 데이터 및 상기 다른 사용자의 생체 데이터에 대응되는 라벨링 데이터를 수신하고, 비지도 학습 모델을 사용하여 상기 사용자의 생체 신호에 기초한 상기 사용자의 생체 데이터를 예측하고, 지도 학습 모델을 이용하여 상기 사용자의 상기 예측된 생체 데이터, 상기 복수의 다른 사용자의 생체 데이터 및 상기 라벨링 데이터를 기초한 상기 사용자의 생체 상태를 예측하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 상기 생체 데이터는 측정 변수(observed value)로 마련되고,
    상기 생체 상태는 잠재 변수(latent value)로 마련되는 전자 장치.
  3. 제2항에 있어서,
    상기 비지도 학습 모델은,
    상기 지도 학습 모델에 의해 출력된 데이터를 피드백으로 사용하여 상기 상기 사용자 측정 변수를 예측하는 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 라벨링 데이터와 독립적으로 상기 비지도 학습 모델을 작동하는 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 지도 학습 모델을 이용하여, 상기 사용자 측정 변수 및 상기 라벨링 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득하는 전자 장치.
  6. 제2항에 있어서,
    상기 프로세서는,
    상기 비지도 학습 모델을 이용하여, 상기 사용자의 측정 변수 및 학습된 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득하고,
    상기 사용자의 예측된 측정 변수 및 상기 복수의 다른 사용자의 측정 변수를 기초로 개인화된 측정 변수를 획득하고,
    상기 지도 학습 모델을 이용하여 상기 개인화된 측정 변수 및 상기 학습된 데이터를 기초로 상기 사용자의 잠재 변수를 예측하는 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    제1시점에 대응되는 상기 사용자의 측정 변수와 제2시점에 대응되는 상기 사용자의 측정 변수를 기초로 상기 개인화된 측정 변수를 획득하는 전자 장치.
  8. 제2항에 있어서,
    상기 프로세서는,
    미리 결정된 생리학적 현상의 복수의 다른 사용자의 측정 변수 및 상기 다른 사용자의 측정 변수에 대응되는 라벨링 데이터를 기초로 상기 사용자의 측정 변수 및 상기 사용자의 잠재 변수 각각의 예측에 사용되는 복수의 사용자 변수를 획득하는 전자 장치.
  9. 제1항에 있어서,
    상기 사용자에게 알람을 제공하는 출력 인터페이스; 및
    상기 사용자의 명령을 입력 받는 입력 인터페이스;를 더 포함하고,
    상기 프로세서는,
    상기 사용자가 입력한 명령을 기초로 상기 알람을 출력하는 알람 시간을 획득하고,
    상기 예측된 잠재 변수에 기초하여 상기 알람이 출력되는 시간을 변경하는 전자 장치.
  10. 사용자의 생체 신호를 획득하고;
    복수의 다른 사용자의 생체 데이터 및 상기 다른 사용자의 생체 데이터에 대응되는 라벨링 데이터를 수신하고;
    비지도 학습 모델을 이용하여, 상기 사용자의 생체 신호에 기초하여 상기 사용자의 생체 데이터를 예측하고;
    지도 학습 모델을 이용하여, 상기 사용자의 예측된 생체 데이터, 상기 복수의 다른 사용자의 생체 데이터 및 상기 라벨링 데이터를 기초로 상기 사용자의 생체 상태를 예측하는 것;을 포함하고,
    상기 생체 데이터는,
    상기 사용자의 측정 변수로 마련되고,
    상기 생체 상태는,
    상기 사용자의 잠재 변수로 마련되는 전자 장치 제어방법.
  11. 제10항에 있어서,
    상기 측정 변수를 예측하는 것은,
    상기 지도 학습 모델로부터 출력된 데이터를 피드백으로 사용하는 것;을 포함하는 전자 장치 제어방법.
  12. 제11항에 있어서,
    상기 사용자의 측정 변수를 예측하는 것은,
    상기 라벨링 데이터와 독립적으로 상기 비지도 학습 모델을 작동하는 것;을 포함하는 전자 장치 제어방법.
  13. 제10항에 있어서,
    상기 사용자의 측정 변수를 예측하는 것은,
    상기 지도 학습 모델을 이용하여, 상기 사용자 측정 변수 및 상기 라벨링 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득하는 것;을 포함하는 전자 장치 제어 방법.
  14. 제10항에 있어서,
    상기 사용자의 잠재 변수를 예측하는 것은,
    상기 비지도 학습 모델을 이용하여, 상기 사용자의 측정 변수 및 학습된 데이터를 기초로 상기 사용자의 예측된 측정 변수를 획득하고;
    상기 사용자의 예측된 측정 변수 및 상기 복수의 다른 사용자의 측정 변수를 기초로 개인화된 측정 변수를 획득하고;
    상기 지도 학습 모델을 이용하여 상기 개인화된 측정 변수 및 상기 학습된 데이터를 기초로 상기 사용자의 잠재 변수를 예측하는 것;을 포함하는 전자 장치 제어방법.
  15. 제14항에 있어서,
    상기 사용자의 측정 변수를 예측하는 것은,
    제1시점에 대응되는 상기 사용자의 측정 변수와 제2시점에 대응되는 상기 사용자의 측정 변수를 기초로 상기 개인화된 측정 변수를 획득하는 것;을 포함하는 전자 장치 제어방법.
PCT/KR2021/019674 2020-12-30 2021-12-23 전자 장치 및 전자 장치 제어 방법 WO2022145867A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180063768.1A CN116261424A (zh) 2020-12-30 2021-12-23 电子设备和电子设备控制方法
EP21915665.0A EP4186414A4 (en) 2020-12-30 2021-12-23 ELECTRONIC DEVICE AND METHOD FOR CONTROLLING AN ELECTRONIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0187496 2020-12-30
KR1020200187496A KR20220095715A (ko) 2020-12-30 2020-12-30 전자 장치 및 전자 장치 제어 방법

Publications (1)

Publication Number Publication Date
WO2022145867A1 true WO2022145867A1 (ko) 2022-07-07

Family

ID=82117094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019674 WO2022145867A1 (ko) 2020-12-30 2021-12-23 전자 장치 및 전자 장치 제어 방법

Country Status (5)

Country Link
US (1) US20220207298A1 (ko)
EP (1) EP4186414A4 (ko)
KR (1) KR20220095715A (ko)
CN (1) CN116261424A (ko)
WO (1) WO2022145867A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190049430A (ko) * 2017-10-31 2019-05-09 연세대학교 산학협력단 맥파 및 심박변이도를 이용한 통증 분류 방법
KR20190057592A (ko) * 2017-11-20 2019-05-29 한국과학기술연구원 생체신호 데이터 관리 분석 시스템 및 방법
KR20200011818A (ko) * 2018-07-25 2020-02-04 삼성전자주식회사 사용자의 신체 상태를 추정하기 위한 방법 및 디바이스
KR20200123610A (ko) * 2019-04-22 2020-10-30 한국과학기술원 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2923979C (en) * 2012-09-14 2023-06-20 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US20210169417A1 (en) * 2016-01-06 2021-06-10 David Burton Mobile wearable monitoring systems
KR101791029B1 (ko) * 2017-05-31 2017-10-27 주식회사 뷰노 원충성 감염병에 대한 피검체의 감염 여부를 판정하는 방법 및 이를 이용한 장치
EP3840642B1 (en) * 2018-08-21 2024-02-21 Eko Devices, Inc. Systems for determining a physiological or biological state or condition of a subject
CN111449645B (zh) * 2020-03-07 2021-07-06 河南大学 心电图心拍智能分类识别方法
KR102424403B1 (ko) * 2020-06-03 2022-07-22 주식회사 룩시드랩스 사용자 상태를 예측하기 위한 방법 및 그 장치
US20220051039A1 (en) * 2020-08-13 2022-02-17 Arizona Board Of Regents On Behalf Of Arizona State University Biometric identification using electroencephalogram (eeg) signals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20190049430A (ko) * 2017-10-31 2019-05-09 연세대학교 산학협력단 맥파 및 심박변이도를 이용한 통증 분류 방법
KR20190057592A (ko) * 2017-11-20 2019-05-29 한국과학기술연구원 생체신호 데이터 관리 분석 시스템 및 방법
KR20200011818A (ko) * 2018-07-25 2020-02-04 삼성전자주식회사 사용자의 신체 상태를 추정하기 위한 방법 및 디바이스
KR20200123610A (ko) * 2019-04-22 2020-10-30 한국과학기술원 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4186414A4 *

Also Published As

Publication number Publication date
US20220207298A1 (en) 2022-06-30
CN116261424A (zh) 2023-06-13
EP4186414A4 (en) 2024-02-28
KR20220095715A (ko) 2022-07-07
EP4186414A1 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
WO2016133349A1 (ko) 생체 정보를 측정하는 전자 장치 및 방법
WO2017090810A1 (ko) 웨어러블 디바이스 및 그것의 동작방법
WO2016137283A1 (ko) 전자 장치 및 전자 장치에서 신체 측정 부위 자동 인식 가능한 체성분 측정 방법
WO2017191858A1 (ko) 개인 맞춤형 정보를 제공하는 체성분 측정 장치 및 서버
WO2019066502A1 (en) METHOD AND SYSTEM FOR DETECTION OF A HAZARDOUS SITUATION
WO2019107741A1 (ko) 복수의 센서를 이용한 착용 감지 방법 및 이를 구현한 전자 장치
WO2016036114A1 (en) Electronic device and method for measuring vital signal
WO2016178523A1 (en) Method of providing information according to gait posture and electronic device for same
WO2015147383A1 (en) Mobile terminal and method of controlling the same
WO2017082525A1 (ko) 식습관 정보를 제공하는 방법 및 이를 위한 웨어러블 장치
WO2020106060A1 (en) Electronic device and method for obtaining information regarding blood glucose of user
WO2017043857A1 (ko) 어플리케이션 제공 방법 및 이를 위한 전자 기기
WO2020059939A1 (ko) 인공지능 장치
WO2022131657A1 (ko) 운동 가이드를 제공하는 전자 장치 및 그 동작 방법
WO2018174507A1 (ko) 가상현실을 이용한 신경질환 진단 장치 및 방법
WO2018217066A1 (ko) 생체 정보를 측정하는 전자 장치와 이의 동작 방법
WO2018208093A1 (ko) 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
WO2016182200A1 (en) Blood glucose measurement apparatus and blood glucose measurement method thereof
WO2021101073A1 (ko) 생체 데이터를 획득하는 장치 및 그 방법
WO2019164126A1 (ko) 사용자의 심혈관 상태에 대한 정보를 제공하기 위한 전자 장치 및 방법
WO2022158692A1 (ko) 포스 터치를 식별하는 전자 장치 및 그 동작 방법
WO2022145867A1 (ko) 전자 장치 및 전자 장치 제어 방법
WO2024063573A1 (ko) 의과학 및 성분학 기반의 정신 상태 분석 장치, 방법 및 프로그램
WO2024053989A1 (ko) 디지털 영상 인식을 활용한 생활환경 감지 기반의 재활회복 운동 추천 시스템 및 방법
EP3294132A1 (en) Blood glucose measurement apparatus and blood glucose measurement method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915665

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021915665

Country of ref document: EP

Effective date: 20230221

NENP Non-entry into the national phase

Ref country code: DE