WO2022158692A1 - 포스 터치를 식별하는 전자 장치 및 그 동작 방법 - Google Patents
포스 터치를 식별하는 전자 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- WO2022158692A1 WO2022158692A1 PCT/KR2021/017280 KR2021017280W WO2022158692A1 WO 2022158692 A1 WO2022158692 A1 WO 2022158692A1 KR 2021017280 W KR2021017280 W KR 2021017280W WO 2022158692 A1 WO2022158692 A1 WO 2022158692A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- touch
- force touch
- model
- input
- force
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims 2
- 239000013598 vector Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 21
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 101001045744 Sus scrofa Hepatocyte nuclear factor 1-beta Proteins 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Definitions
- the present disclosure relates to an electronic device for identifying a force touch and an operating method thereof.
- the force touch is one of the methods of performing a touch input, and refers to a technology for performing an operation by recognizing the strength of a force applied to the touch screen. According to the force touch, different operations may be performed according to the intensity of the force input by the touch.
- An object of the present disclosure is to solve the above-described problem, and to provide an electronic device for identifying a force touch and an operating method thereof.
- Another object of the present invention is to provide a computer-readable recording medium in which a program for executing the method in a computer is recorded.
- the technical problem to be solved is not limited to the technical problems as described above, and other technical problems may exist.
- a first aspect of the present disclosure is a method for identifying a force touch with respect to a user's touch input in an electronic device, comprising: receiving at least one sample input from the user; step; obtaining characteristic information about the at least one sample input; obtaining a plurality of force touch models for identifying the force touch; acquiring characteristic information on at least one touch input included in the training data used to learn the plurality of force touch models; determining a force touch model for identifying the force touch from among the plurality of force touch models based on the similarity between the feature information obtained with respect to the plurality of force touch models and the feature information about the sample input; and identifying a force touch for the user's touch input based on the determined force touch model.
- a second aspect of the present disclosure provides an electronic device for identifying a force touch with respect to a user's touch input, comprising: a user input unit configured to receive at least one sample input from the user; a memory that stores one or more instructions; and at least one processor executing one or more instructions stored in the memory, wherein the at least one processor is configured to obtain characteristic information for the at least one sample input and to identify the force touch.
- acquiring a touch model acquiring characteristic information on at least one touch input included in training data used for learning the plurality of force touch models, acquiring characteristic information of the plurality of force touch models, and the sample A force touch model for identifying the force touch among the plurality of force touch models is determined based on the similarity between the characteristic information of the input, and based on the determined force touch model, the force touch for the user's touch input is determined. It is possible to provide an electronic device that identifies
- a third aspect of the present disclosure may provide a recording medium in which a program for performing the method of the first aspect is stored.
- a fourth aspect of the present disclosure may provide a computer program product including a computer-readable storage medium in which a program for execution by a computer is recorded.
- FIG. 1 is a diagram illustrating an example of obtaining a model for identifying a force touch according to an embodiment.
- FIG. 2 is a diagram illustrating an example of receiving a sample input according to an embodiment.
- FIG. 3 is a diagram illustrating an example of a force touch model according to an embodiment.
- FIG. 4 is a diagram illustrating an example of comparing characteristic information of a force touch model with characteristic information of a sample input according to an embodiment.
- FIG. 5 is a diagram illustrating an example of selecting two or more force touch models according to an embodiment.
- FIG. 6 is a diagram illustrating an example of identifying a force touch using two or more force touch models according to an embodiment.
- FIG. 7 is a diagram illustrating an example of identifying a force touch using two or more force touch models according to an embodiment.
- FIG. 8 is a block diagram illustrating an internal configuration of an electronic device according to an exemplary embodiment.
- FIG. 9 is a block diagram illustrating an internal configuration of an electronic device according to an exemplary embodiment.
- FIG. 10 is a flowchart illustrating a method of identifying a force touch according to an embodiment.
- FIG. 11 is a diagram illustrating an example of barometric pressure information collected by the electronic device 1000 while a user's touch input is received, according to an embodiment.
- FIG. 12 is a diagram illustrating an example of identifying a force touch based on barometric pressure information according to an embodiment.
- FIG. 13 is a diagram illustrating a configuration arrangement of an electronic device according to an embodiment.
- FIG. 14 is a cross-sectional view illustrating a configuration arrangement of an electronic device according to an exemplary embodiment.
- the processor may consist of one or a plurality of processors.
- the one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
- DSP digital signal processor
- One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
- the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.
- the predefined action rule or artificial intelligence model is characterized in that it is created through learning.
- being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
- Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
- Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
- the artificial intelligence model may be composed of a plurality of neural network layers.
- Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights.
- the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.
- the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), There may be a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), or a Deep Q-Networks, but is not limited to the above-described example.
- DNN Deep Neural Network
- DNN Deep Belief Network
- BBDNN Bidirectional Recurrent Deep Neural Network
- Deep Q-Networks Deep Q-Networks
- FIG. 1 is a diagram illustrating an example of obtaining a model for identifying a force touch according to an embodiment.
- the electronic device 1000 obtains a force touch model for identifying a force touch from a touch input received from a user, and based on the force touch model, responds to the user's touch input. Force Touch can be identified. Also, the electronic device 1000 may perform an operation corresponding to the user's touch input based on the result of identifying the force touch.
- the electronic device 1000 may be a device capable of identifying a force touch in response to a user's touch input and providing a response thereto, and may be implemented in various forms.
- the electronic device 1000 may include a digital camera, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia (PMP) Player), a navigation system, an MP3 player, a vehicle, and the like, but is not limited thereto.
- PDA personal digital assistant
- PMP portable multimedia
- the electronic device 1000 according to an embodiment may be a wearable device that can be worn by a user.
- Wearable devices include accessory type devices (e.g., watches, rings, wristbands, ankle bands, necklaces, eyeglasses, contact lenses), head-mounted-devices (HMDs), textile or clothing-integrated devices (e.g., electronic clothing), a body attachable device (eg, a skin pad), or a bioimplantable device (eg, an implantable circuit).
- accessory type devices e.g., watches, rings, wristbands, ankle bands, necklaces, eyeglasses, contact lenses
- HMDs head-mounted-devices
- textile or clothing-integrated devices e.g., electronic clothing
- a body attachable device eg, a skin pad
- a bioimplantable device eg, an implantable circuit
- an operation corresponding to the identified characteristic (eg, intensity, inclination, touch area, speed) of the force touch may be performed according to the result of the force touch identification.
- the identified characteristic eg, intensity, inclination, touch area, speed
- a force touch may be identified with respect to the touch input, and according to an intensity characteristic of the identified force touch characteristics, the The stronger the intensity, the thicker the line can be drawn.
- the force touch according to an embodiment may be identified as a force touch having different characteristics according to the characteristics of the user's touch input.
- the force touch according to an embodiment may be classified into different classes according to various characteristics, such as intensity, speed, area, etc. of a touch input identified with respect to the force touch, and an operation corresponding to each class is performed can be
- an operation intended by the user is performed in the electronic device 1000 by the user performing a touch input having the characteristic of the force touch corresponding to the class so that the force touch is classified into a class of an operation desired by the user.
- the force touch is classified into classes A (high intensity touch) and B (medium intensity touch) according to the intensity characteristic of the force touch
- the user's touch input belongs to one of the classes A and B. It can be identified as a force touch.
- the force touch may be classified into two or more classes, and may be classified according to various characteristics (eg, speed, touch area) without being limited to intensity.
- the characteristics of the user's desired action and the corresponding force touch may be different from each other.
- a touch input of a woman or a young child having a relatively weak force may have a small intensity value of the measured touch input, unlike a touch input by a man having a relatively strong force.
- the force touch is identified so that an operation according to the user's intention is possible. Accordingly, according to an embodiment, even touch inputs having different strengths may be classified into the same class and the same operation may be performed according to user characteristics.
- the electronic device 1000 uses at least one pre-learned force touch model to perform a desired operation according to a touch input received by the user in consideration of the characteristics of the user's touch input.
- At least one force touch model may be an artificial intelligence model learned in advance based on learning data collected from multiple users having various touch input characteristics. According to the force touch model according to an embodiment, for each force touch characteristic, a corresponding class is determined to suit the user's touch input characteristic, so that a user's desired operation may be performed.
- pre-collected learning data for touch inputs of users having various characteristics may be classified according to the characteristics.
- the learning data may be classified according to the characteristics of the user related to the touch input.
- a force touch model corresponding to a user characteristic of the learning data may be learned from among the plurality of force touch models based on the learning data.
- the learning data includes, as input information for the force touch model, information on characteristics of a touch input (eg, intensity, inclination, touch area, speed), and as correct answer information for the input information, force touch. It may contain information about the class of a touch input (eg, intensity, inclination, touch area, speed), and as correct answer information for the input information, force touch. It may contain information about the class of a touch input (eg, intensity, inclination, touch area, speed), and as correct answer information for the input information, force touch. It may contain information about the class of
- the force touch model according to an embodiment may be trained in advance so that correct answer information can be output with respect to the input information, based on the learning data.
- different force touch models corresponding to different characteristics of a user's touch input may be individually learned. Accordingly, even with respect to a touch input having the same characteristic, different classes of force touch may be determined according to the characteristic of the user's touch input.
- the force touch model may be learned based on training data classified according to various criteria related to characteristics of users, as illustrated in the example shown in FIG. 3 below. According to an embodiment, a plurality of force touch models corresponding to characteristics of different users may be learned based on the classified learning data as in the example shown in FIG. 3 .
- the training data which is used to learn the force touch model according to an embodiment, includes information about characteristics (eg, intensity, inclination, touch area, speed) of a touch input collected with respect to input of various users, and the touch input.
- characteristics eg, intensity, inclination, touch area, speed
- the force touch model may be trained so that a class included in the correct answer information may be determined as output information for a touch input having the characteristics of a touch input of the training data.
- a class that may be determined by the force touch model means a group into which a user's touch input is classified according to a characteristic of the touch input. According to an embodiment, an operation corresponding to the determined class may be performed with respect to the user's touch input.
- the force touch model according to an embodiment may be continuously updated as learning data is continuously collected from various users.
- the example is not limited to the above-described example, and the force touch model may be a pre-trained model according to various methods at various viewpoints.
- the electronic device 1000 obtains a force touch model matching a characteristic of a user's touch input from among pre-learned force touch models, and based on the obtained force touch model, responds to the user's input. , by identifying the force touch, the action can be performed. Accordingly, the electronic device 1000 according to an embodiment may acquire a force touch model corresponding to the characteristics of the user's touch input so that the force touch can be identified according to the characteristics of the user's touch input. Also, the electronic device 1000 may receive at least one sample input from the user and acquire a force touch model corresponding to a characteristic of the user's touch input based on the sample input. Sample according to an embodiment The input may be received from the user for each class of force touch. For example, the electronic device 1000 may request and receive at least one sample input for each class from the user.
- the sample input according to an embodiment is an exemplary touch input of a user for obtaining a force touch model corresponding to a characteristic of the user's touch input.
- the electronic device 1000 may request a user's touch input for determining a characteristic of a class A force touch, and obtain the received user's touch input as a class A sample input.
- a touch input having an intensity according to the user's intention may be input as a sample input for class A so that a force touch having an intensity desired by the user may be classified as class A.
- the electronic device 1000 may acquire characteristic information on a sample input corresponding to each class based on at least one sample input input for each class.
- the feature information may include a feature vector including a value for each dimension with various characteristics (eg, intensity, speed, and size of the touch area) of the touch input as dimensions.
- characteristics eg, intensity, speed, and size of the touch area
- the above-described example is not limited, and the characteristic information may include information on characteristics of a touch input expressed in various ways.
- the electronic device 1000 may use a pre-learned feature extraction model to acquire feature information from information about a sample input.
- the electronic device 1000 according to an embodiment may obtain, for each class, feature information on at least one sample input input from the user by using the feature extraction model.
- the feature extraction model according to an embodiment is different from the force touch model that is learned in response to the characteristics of different touch inputs, so that various characteristics of the touch input can be recognized based on information about the touch input of various characteristics. , can be learned in advance.
- the electronic device 1000 may acquire feature information about at least one sample input acquired for each class using various methods (eg, a lookup table, a function).
- various methods eg, a lookup table, a function.
- the characteristic information of the sample input includes information about the input characteristics of the sample input itself (eg, intensity, speed, touch area, etc.) as well as information obtained by the electronic device 1000 when the sample input is received. Further based on information (eg, information sensed by various sensors), it may be obtained.
- the feature information of the sample input may include information about the input characteristics of the sample input itself in the feature extraction model, as well as information acquired by the electronic device 1000 when the sample input is received (eg, to the barometric pressure sensor).
- the barometric pressure information obtained by the may be obtained by being input as input information together.
- the above-described example is not limited, and the characteristic information of the sample input may be obtained based on various information related to the sample input.
- the electronic device 1000 may obtain characteristic information for each class from characteristic information of at least one sample input.
- the characteristic information for each class may be obtained based on a representative value (eg, an average value, a median value, a mode value) of the characteristic information of at least one sample input. For example, when feature information of at least one sample input obtained for class A includes at least one feature vector, an average value of the at least one feature vector may be obtained as feature information of class A .
- the characteristic information of each class may be obtained according to various methods from the characteristic information of the sample input.
- the electronic device 1000 may obtain at least one force touch model to be used to identify a force touch among a plurality of pre-learned force touch models, based on the characteristic information obtained for each class.
- the electronic device 1000 may obtain characteristic information for each class with respect to each of the plurality of force touch models, and may acquire at least one force touch model based thereon.
- Characteristic information of the force touch model may be obtained for each class based on information about a touch input included in learning data used to learn the force touch model in step 120 .
- the characteristic information of the force touch model may be obtained by inputting information about the touch input included in the training data to the feature extraction model, similarly to the characteristic information of the sample input.
- the characteristic information of the force touch model may be obtained for each class, similarly to the characteristic information of the sample input.
- the characteristic information for each class may be obtained based on a representative value (eg, an average value, a median value, a mode) of the characteristic information obtained with respect to a touch input of at least one piece of learning data.
- a representative value eg, an average value, a median value, a mode
- feature information on a touch input of at least one piece of training data corresponding to class A includes at least one feature vector
- an average value of the at least one feature vector is obtained as feature information of class A
- the characteristic information of each class may be obtained according to various methods from the characteristic information on the touch input of the learning data.
- the force touch model includes not only information on characteristics of the input itself (eg, intensity, speed, size of the touch area) of the touch input, but also various information (eg, barometric pressure information) collected when the touch input is performed. , sensor information) may be learned.
- the feature extraction model according to an embodiment is not limited to information about the characteristics of the input itself of the touch input, and various information collected when the touch input is performed is input as input information, whereby feature information of the force touch model is obtained To be able to be, it may be a pre-trained model.
- the characteristic information of the force touch model may be obtained as various types of information indicating characteristics related to a touch input used for learning the force touch model according to various methods.
- the electronic device 1000 compares the characteristic information of each class acquired with respect to the plurality of force touch models with the characteristic information of each class acquired from the sample input, in step 130 , to determine the degree of similarity between the two characteristic information. can judge According to an embodiment, as the similarity is higher, it may be determined that the model is suitable for identifying a force touch with respect to a user's touch input.
- the degree of similarity may indicate a degree of similarity between two pieces of characteristic information. For example, a degree of similarity between two pieces of feature information may be determined according to a distance between two points (eg, feature vectors) indicated by each feature information. As the distance between the two points increases, the similarity may be determined to have a low value, and as the distance between the two points is closer, the similarity may be determined to have a high value.
- the electronic device 1000 may acquire at least one force touch model suitable for identifying a force touch according to a characteristic of a user's touch input, from among a plurality of force touch models. For example, at least one force touch model determined in an order of high similarity may be used to identify a force touch with respect to a user's touch input.
- the electronic device 1000 may determine two or more force-touch models as models for force-touch identification based on the similarity value. For example, not only the force touch model having the highest similarity value but also the force touch model having the highest similarity value and a similarity value having a difference equal to or less than a reference value may be additionally determined as a model for force touch identification. According to an embodiment, based on the similarity value, when a model other than the highest priority force touch model does not substantially differ from the highest priority similarity value (eg, when the difference is less than or equal to the reference value), the user's It may be desirable to be used for identification of a force touch with respect to a touch input.
- the electronic device 1000 uses two or more force touch models learned based on learning data having characteristics similar to the characteristics of the user's touch input, and thus the characteristics of the user's touch input. It is possible to perform a force-touch identification operation more suitable for .
- a method of identifying a force touch using two or more force touch models will be described in more detail below with reference to FIGS. 4 to 6 .
- the electronic device 1000 may use the finally obtained force touch model to identify a force touch with respect to a subsequent user's touch input. For example, the electronic device 1000 determines the force touch class to which the user's touch input belongs by inputting information about the currently input user's touch input to the force touch model, and performs an operation corresponding to the determined class. can be performed.
- the force touch model is not limited to information about the user's touch input, and is a model learned based on sensor information (eg, barometric pressure information) sensed while the user's touch input is being performed.
- sensor information eg, barometric pressure information
- a force touch with respect to the user's touch input may be identified based on the above-described sensor information in addition to the information about the user's touch input.
- sensor information and information about touch input are concatenated and input to the force touch model, or sensor information and information about touch input are alternately arranged and input to the force touch model, thereby identifying the force touch Results can be output.
- the force touch model may be further learned based on various types of information related to the user's touch input, and based on the various types of information used when learning, the user's touch input A force touch for can be identified.
- Some of the operation of identifying the force touch of the electronic device 1000 according to an embodiment may be instead performed by an external server (not shown).
- the plurality of force touch models may be managed and stored in the server.
- the server stores or continuously updates a plurality of force touch models according to better performance than the electronic device 1000 and a larger capacity to store data, the electronic device 1000 . ) may be more suitable.
- the server may transmit a force-touch identification result to the electronic device 1000 based on at least one force-touch model among a plurality of force-touch models.
- a force-touch model among a plurality of force-touch models.
- information regarding at least one sample input received from the electronic device 1000 (or, specifying information about the sample input) received from the electronic device 1000 is transmitted to the server, so that the force touch model for identifying the user's force touch is generated by the server. can be determined from
- the electronic device 1000 may receive a sample input for each class, and transmit information about the sample input for each class to the server. For example, the electronic device 1000 may transmit information about a sample input received for class A and information about a sample input received for class B to the server.
- the information regarding the sample input transmitted by the electronic device 1000 may include information related to the sample input, received for each class, required for the server to determine the force touch model.
- the information about the sample input may include various types of information indicating characteristics of the sample input (eg, intensity, inclination, touch area, speed, etc.).
- the information about the sample input may include an image including a pixel value indicating the intensity of the sample input for each region of the touch screen in which the sample input is received.
- the server obtains characteristic information of a sample input based on information (eg, information indicating characteristics of a sample input, an image) received from the electronic device 1000 , and based on the characteristic information of the sample input
- information eg, information indicating characteristics of a sample input, an image
- the force touch model may be determined.
- the example is not limited to the above example, and various information related to the sample input received from the electronic device 1000 may be transmitted to the server.
- the server since information about the user's touch input received from the electronic device 1000 is transmitted to the server, the result of the force touch identification with respect to the user's touch input based on the determined force touch model is determined by the electronic device ( 1000) can be transmitted.
- the server receives information about the touch input from the electronic device 1000 , the server acquires a predetermined force touch model with respect to the electronic device 1000 , and based on the obtained force touch model, Force touch for input can be identified.
- the server may transmit information about a class to which the touch input belongs or information about an operation to be performed in response to the touch input to the electronic device 1000 as a result of identifying the force touch with respect to the touch input.
- the electronic device 1000 when information on a class to which a touch input belongs is received from the server, the electronic device 1000 determines an operation corresponding to a class to which the touch input belongs, and executes the determined operation.
- the electronic device 1000 may receive, from the server, information on an operation corresponding to a class to which the touch input belongs.
- an operation corresponding to a class to which the touch input belongs is determined based on the result of the force touch identification, and the electronic device 1000 receives information about the determined operation from the server, the electronic device ( 1000) may execute an operation corresponding to the touch input according to the received information.
- the server first receives from the electronic device 1000 information necessary for determining the above-described operation (eg, an application being executed in the electronic device 1000, a type of an operation executable in the electronic device 1000, etc.), Based on the received information, a class to which the touch input belongs and an operation corresponding to may be determined. For example, the electronic device 1000 transmits, to the server, information necessary for determining a class to which the touch input belongs and an operation corresponding to the class to which the touch input belongs, together with information about the touch input, when requesting the server to identify the force touch for the touch input. can
- the determined force touch model may be transmitted from the server to the electronic device 1000 .
- the electronic device 1000 may identify a force touch with respect to a user's touch input received from the electronic device 1000 thereafter, based on the force touch model.
- the force touch model transmitted from the server to the electronic device 1000 may include a newly generated model (eg, the average model of FIG. 6 ) based on at least one force touch model. .
- the server may determine at least one force touch model based on the feature information about the user's sample input, and generate a new model (eg, average model) from the determined at least one force touch model. have.
- the server may transmit the newly created model to the electronic device 1000 , and the electronic device 1000 may identify the force touch with respect to the user's touch input based on the model received from the server.
- the server determines a plurality of force touch models based on the feature information regarding the user's sample input, and instead of generating a new model from the plurality of force touch models in the server, the plurality of force touch models
- the model may be transmitted to the electronic device 1000 .
- the electronic device 1000 may obtain a model (eg, an ensemble model of FIG. 7 ) for identifying a force touch by using a plurality of force touch models.
- the electronic device 1000 may obtain the ensemble model shown in FIG. 7 hereinafter by using the plurality of force touch models, and use the ensemble model to identify the force touch with respect to the user's touch input. have.
- the electronic device 1000 may perform an operation of identifying a force touch with respect to a user's touch input according to various methods using a resource of a server.
- the force touch may be identified with respect to the user's touch input received thereafter, and according to the identification result, an operation corresponding to the user's touch input This can be done.
- a user's force touch input may be classified into two classes, class A (input received with moderate pressure) and B (input received with strong pressure), by the force touch model, and the user's touch Depending on the class to which the input belongs, different operations may be performed.
- a web page may be displayed on a touch screen, and a user's touch input, for example, a downward drag input may be sensed at the bottom of the screen of the touch screen.
- the electronic device 1000 determines that the user's touch input belongs to class B, as a result of the identification of the force touch for the user's touch input, so that the electronic device 1000 quickly scrolls down the web page according to the user's touch input. action can be performed.
- the electronic device 1000 determines that the user's touch input belongs to class A as a result of the identification of the force touch with respect to the user's touch input
- the electronic device 1000 displays the web page according to the user's touch input as a class B class. It is possible to perform an operation of scrolling downwards relatively slowly than the case.
- the electronic device 1000 may identify a force touch with respect to a user's touch input detected on an application icon of a home screen displayed on the touch screen. As a result of the force touch identification, it is determined that the user's touch input belongs to class B, and thus the electronic device 1000 may perform an operation of displaying detailed information of the application instead of the operation of executing the application. On the other hand, as a result of the force touch identification, it is determined that the user's touch input belongs to the class A, and thus the electronic device 1000 may perform an operation of executing the application.
- FIG. 2 is a diagram illustrating an example of receiving a sample input according to an embodiment.
- the electronic device 1000 may display two classes of classes A and B.
- Sample inputs corresponding to , respectively, may be received from the user through the user interfaces 210 and 220 .
- a touch input applied with a normal pressure may be classified
- a touch input applied with a higher pressure may be classified. Since the intensity of the pressure of the touch input may be determined differently for each user, a class to which the user's touch input belongs may be determined according to the force touch model determined according to the characteristics of the sample input.
- a force touch model for identifying a force touch with respect to a user's touch input may be determined based on the received sample inputs for classes A and B.
- the electronic device 1000 may receive a sample input for class A from the user.
- the electronic device 1000 displays a blue circle several times at random locations while providing a guide message to the user, "Please press the blue circle as usual", so that the user can You can guide to apply a touch input to a location.
- a plurality of blue circles may be displayed at random positions on one screen, respectively, and the user may be guided to apply a touch input at the positions of each blue circle.
- the electronic device 1000 indicates that a touch input is being sensed by an interface change (eg, an animation in which a touch input area changes to various colors, a neon effect in which an edge of the touch input area shines, etc.). ) can be expressed as For example, as shown in the example shown in 230 , as the user inputs a touch, the color of the touched area changes, and when the touch input is completed, all the touch-input areas are converted to different colors and displayed. have. As in the example shown at 240 , when a plurality of blue circles are displayed at the same time, the colors of each circle may be sequentially converted and displayed according to a user's touch input.
- an interface change eg, an animation in which a touch input area changes to various colors, a neon effect in which an edge of the touch input area shines, etc.
- the electronic device 1000 may provide feedback indicating that the sample input has been received to the user through various output means such as sound, vibration, haptic, and display.
- the user may apply a touch input with a normal pressure according to the guide message.
- the user may provide the electronic device 1000 with a sample input having a characteristic desired to be classified as a touch input to which a normal pressure is applied.
- a force touch model is determined according to a sample input having a characteristic desired by the user, so that an operation intended by the user may be performed in response to the force touch.
- the electronic device 1000 may receive a sample input for class B from the user. For example, the electronic device 1000 displays a blue circle several times at random positions while providing a guide message to the user, “Please press the blue circle firmly”, so that the user can apply a higher pressure to various positions. You can guide to apply a touch input.
- a plurality of blue circles may be displayed at random positions, respectively, and the user may be guided to apply a touch input at the positions of each blue circle.
- the user may apply a touch input with a strong pressure according to the guide message.
- the user may provide a sample input having a characteristic desired to be classified as a touch input to which a strong pressure is applied to the electronic device 1000 .
- FIG. 3 is a diagram illustrating an example of a force touch model according to an embodiment.
- the force touch models 1 to K may be pre-trained models based on training data classified according to user characteristics, respectively.
- the learning data collected from various users may be classified according to various criteria such as age, gender, race, weight, and hand for injection, as shown in FIG. 3 .
- the criteria for classifying the learning data according to an embodiment may be determined according to various characteristics of the user that may affect the characteristics of the user's touch input. For example, since the intensity of a touch input that may be applied by a finger may be different according to the user's age, gender, and weight, the age, gender, and weight may be used as a classification criterion for learning data.
- different force touch models may be trained according to each classified training data.
- the force touch model 1 may be learned based on learning data obtained from a teenage male user weighing 10 kg or less.
- the Force Touch Model 2 may be learned based on the learning data obtained from a teenage male user weighing 20 kg to 30 kg.
- the force touch model K may be learned based on learning data obtained from a teenage male user whose thumb is the main finger.
- the force touch models may be pre-trained according to training data classified according to various criteria.
- FIG. 4 is a diagram illustrating an example of comparing characteristic information of a force touch model with characteristic information of a sample input according to an embodiment.
- class-specific feature vectors 411 , 412 , and 413 of a sample input are compared with class-specific feature vectors 421 , 422 , 423 , 431 , 432 , and 433 of the force touch models A and B, respectively.
- a force touch model to be used to identify a force touch among the force touch models A and B may be determined according to the comparison result.
- the feature vectors 421 , 422 , 423 , 431 , 432 , and 433 for each class of the force touch models A and B are features included in the training data used to learn the force touch models A and B, respectively. It may be a representative value of vectors (eg, an average value, a median value, a mode, etc.).
- the training data of the force touch model may include a feature vector of a touch input obtained for each class.
- the feature information may include a feature vector having at least one dimension, and a comparison between the feature information may be performed based on a distance between the feature vectors.
- the feature vectors 421 , 422 , and 423 of the force touch model A may be compared with the feature vectors 411 , 412 , and 413 of the sample input corresponding to each class.
- the feature vectors 421 , 422 , and 423 of the force touch model A and the feature vectors 411 , 412 , and 413 of the sample input may be expressed, and two corresponding to each class. The distance between the vectors may be obtained.
- the feature vectors 431 , 432 , 433 of the force touch model B and the feature vectors 411 , 412 , 413 of the sample input may be expressed, and each class A distance between two corresponding vectors may be obtained.
- a similarity between the force touch model A and feature vectors of the sample input and a similarity between the force touch model B and feature vectors of the sample input may be determined based on the obtained distance.
- the feature vectors 411 , 412 , 413 of the sample input and the feature vectors 421 , 422 , and 423 of the force touch model A are feature vectors for classes A, B, and C, respectively, in turn, , for each class, distances between 411 and 421, 412 and 422, and 413 and 423 may be obtained.
- the force touch model B at 430 , distances between 411 and 431, 412 and 432, 413 and 433 for each class may be obtained.
- the similarity between the two pieces of feature information is smaller as the distance values between the feature vectors obtained for each class are larger. For example, based on an average value of distance values obtained for classes A, B, and C, a degree of similarity between two pieces of feature information may be determined.
- the electronic device 1000 may determine the force touch model B as a model for identifying the user's force touch based on the degree of similarity.
- the electronic device 1000 may identify the force touch using both the force touch models A and B.
- FIG. 5 is a diagram illustrating an example of selecting two or more force touch models according to an embodiment.
- the force touch models A and B may be selected according to a similarity value of a sample input input by a user with the feature information 510 .
- the characteristic information 510 of the sample input may have similar similarities to the characteristic information of the force-touch model A and the characteristic information of the force-touch model B, respectively.
- the feature information 510 of the sample input does not exactly match the feature information of the force touch models A or B, but a similarity value with the feature information of the sample input obtained for the force touch models A and B. As they differ by less than or equal to the reference value, the two models may be selected together as a model for identifying the force touch.
- the electronic device 1000 may identify the force touch by using both the selected force touch models A and B.
- FIG. 6 is a diagram illustrating an example of identifying a force touch using two or more force touch models according to an embodiment.
- the electronic device 1000 may obtain an average model based on the force touch models A to M. According to an embodiment, based on the average model 610 , a force touch with respect to the user's input may be identified.
- the average model 610 may be obtained based on an average or a weighted average value of weight values included in the force touch models A to M, respectively.
- weight values constituting each force touch model may correspond to each other between the force touch models, and the average model 610 may be newly constructed based on an average value between the corresponding weight values.
- the average model 610 may be obtained based on a median value, a mode value, etc. of the weight values, not limited to the above-described average value.
- the average model 610 may be obtained based on the average value, the median value, the mode value, etc. between various types of values that may correspond to each other between the force touch models, not limited to the weight values constituting the force touch model. .
- FIG. 7 is a diagram illustrating an example of identifying a force touch using two or more force touch models according to an embodiment.
- a result of identifying a force touch for a user's touch input may be output by the ensemble model 710 including two or more force touch models selected according to a sample input.
- the electronic device 1000 After at least one force touch model for identifying a force touch is determined, the electronic device 1000 according to an embodiment acquires an ensemble model from the at least one force touch model, and thereafter, with respect to the received user's touch input , according to the ensemble model, it is possible to identify the force touch.
- the ensemble model 710 includes, with respect to a user's input, one output information selected from among a plurality of output information output by two or more force touch models (eg, information about a force touch class). may be output as a result of the force touch being identified.
- one output information selected from among a plurality of output information output by two or more force touch models eg, information about a force touch class.
- the electronic device 1000 may determine information to be output as a force touch identification result based on a plurality of pieces of output information.
- the plurality of pieces of output information may include probability information for each class.
- the probability information according to an embodiment may include a probability value indicating a possibility that the user's touch input belongs to each class.
- the electronic device 1000 may determine output information of the ensemble model 710 based on a probability value included in each output information from among a plurality of output information.
- output information of the ensemble model 710 may be determined based on an average value of probability values for each class included in the plurality of pieces of output information. For example, when the probability values for classes A, B, and C included in the output information of the force touch models A and B are (0.5 0.25 0.25) and (0.3 0.4 0.3), the output information of the ensemble model 710 is, (0.4 0.325 0.275).
- the electronic device 1000 may determine output information of the ensemble model 710 based on a probability value determined to have high accuracy among a plurality of pieces of output information. For example, output information determined to include a high-accuracy probability value among a plurality of output information may be determined as output information of the ensemble model 710 .
- the probability value according to an embodiment may be determined to be more accurate as the difference between the probability value and the other class in the output information is greater, but it is not limited thereto, and the accuracy of the probability value may be determined according to various methods.
- output information of the force touch model A may be determined as output information of the ensemble model. Accordingly, an operation corresponding to the class A may be performed according to output information of the force touch model A.
- the output information of the ensemble model 710 may be determined from a plurality of output information according to various methods, without being limited to the above-described example.
- the electronic device 1000 identifies a force touch based on two or more force touch models according to either the average model 610 shown in FIG. 6 or the ensemble model 710 shown in FIG. 7 . can do. According to an embodiment, one of the average model and the ensemble model may be determined according to the performance of the electronic device 1000 .
- an inference operation in each force touch model may be repeatedly performed as many as the number of force touch models included in the ensemble model. Accordingly, compared to the average model in which one inference operation is performed, the operation by the ensemble model may have a greater amount of computation. Instead, according to the ensemble model, since the output information may be selected by further considering the probability value included in the output information of each force touch model, the accuracy may be higher than that of the average model.
- the electronic device 1000 obtains a force touch model for identifying a force touch according to one of an average model and an ensemble model, in consideration of the performance of the electronic device 1000 from which the force touch model is inferred.
- the force touch may be identified based on the obtained force touch model according to the ensemble model.
- an operation for identifying a force touch according to an average model or an ensemble model is performed in an external device other than the electronic device 1000 (eg, a server, a cloud, etc.)
- the performance of the external device may be determined among the average model and the ensemble model.
- the performance of the above-described device is not limited, and the electronic device 1000 may determine one model from among the average model and the ensemble model based on various criteria.
- FIG. 8 is a block diagram illustrating an internal configuration of the electronic device 1000 according to an embodiment.
- FIG. 9 is a block diagram illustrating an internal configuration of the electronic device 1000 according to an embodiment.
- the electronic device 1000 may include a processor 1300 , a user input unit 1100 , and a memory 1700 . However, not all of the components shown in FIG. 8 are essential components of the electronic device 1000 .
- the electronic device 1000 may be implemented by more components than those illustrated in FIG. 8 , or the electronic device 1000 may be implemented by fewer components than those illustrated in FIG. 8 .
- the electronic device 1000 includes a user input unit 1100 in addition to the processor 1300 , the user input unit 1100 , and the memory 1700 . ), an output unit 1200 , a sensing unit 1400 , a communication unit 1500 , and an A/V input unit 1600 may be further included.
- the user input unit 1100 means a means for a user to input data for controlling the electronic device 1000 .
- the user input unit 1100 includes a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type).
- a tension measurement method a piezo effect method, etc.
- a jog wheel a jog switch, and the like, but is not limited thereto.
- the user input unit 1100 may receive a user's touch input. According to an embodiment, in response to a user's touch input received through the user input unit 1100 , the electronic device 1000 may identify a force touch and perform an operation corresponding to the identified result.
- the output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210 , a sound output unit 1220 , and a vibration motor 1230 . have.
- the output unit 1200 may output information about an operation corresponding to a result of identifying the force touch.
- the display unit 1210 displays and outputs information processed by the electronic device 1000 .
- the display unit 1210 and the touchpad form a layer structure to form a touch screen
- the display unit 1210 may be used as an input device in addition to an output device.
- the display unit 1210 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display ( 3D display) and electrophoretic display (electrophoretic display) may include at least one. Also, depending on the implementation form of the electronic device 1000 , the electronic device 1000 may include two or more display units 1210 .
- the sound output unit 1220 outputs audio data received from the communication unit 1500 or stored in the memory 1700 .
- the vibration motor 1230 may output a vibration signal. Also, the vibration motor 1230 may output a vibration signal when a touch is input to the touch screen.
- the sound output unit 1220 and the vibration motor 1230 may output information about an operation corresponding to a result of identifying the force touch.
- the processor 1300 generally controls the overall operation of the electronic device 1000 .
- the processor 1300 executes programs stored in the memory 1700 , and thus the user input unit 1100 , the output unit 1200 , the sensing unit 1400 , the communication unit 1500 , and the A/V input unit 1600 . ) can be controlled in general.
- the electronic device 1000 may include at least one processor 1300 .
- the electronic device 1000 may include various types of processors, such as a central processing unit (CPU), a graphics processing unit (GPU), and a neural processing unit (NPU).
- CPU central processing unit
- GPU graphics processing unit
- NPU neural processing unit
- the processor 1300 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
- the command may be provided to the processor 1300 from the memory 1700 or may be received through the communication unit 1500 and provided to the processor 1300 .
- the processor 1300 may be configured to execute instructions according to program codes stored in a recording device such as a memory.
- the processor 1300 collects feature information about a sample input received to identify a force touch from the user, and feature information about a touch input included in the training data used for learning a plurality of force touch models. can be obtained.
- the processor 1300 may determine a force touch model for identifying a user's force touch from among a plurality of force touch models, based on the similarity between the obtained two characteristic information.
- the processor 1300 may identify a force touch with respect to a user's touch input based on the determined force touch model, and perform an operation corresponding to the identified result.
- the processor 1300 may obtain an average model or an ensemble model from the determined force touch model, and identify the user's force touch based thereon.
- the processor 1300 may further identify the force touch for the user's touch input based on sensor information (eg, barometric pressure information) collected together while the user's touch input is being received. .
- sensor information eg, barometric pressure information
- the sensing unit 1400 may detect a state of the electronic device 1000 or a state around the electronic device 1000 , and transmit the sensed information to the processor 1300 .
- the sensing unit 1400 includes a geomagnetic sensor 1410 , an acceleration sensor 1420 , a temperature/humidity sensor 1430 , an infrared sensor 1440 , a gyroscope sensor 1450 , and a position sensor. (eg, GPS) 1460 , a barometric pressure sensor 1470 , a proximity sensor 1480 , and at least one of an illuminance sensor 1490 , but is not limited thereto.
- GPS GPS
- the sensing unit 1400 may collect various types of sensing information while a user's touch input is being received, and the collected sensing information is used to identify a force touch with respect to the user's touch input. can be
- the communication unit 1500 may include one or more components that allow the electronic device 1000 to communicate with the server 2000 or an external device (not shown).
- the communication unit 1500 may include a short-range communication unit 1510 , a mobile communication unit 1520 , and a broadcast receiving unit 1530 .
- Short-range wireless communication unit 1510 Bluetooth communication unit, BLE (Bluetooth Low Energy) communication unit, short-range wireless communication unit (Near Field Communication unit), WLAN (Wi-Fi) communication unit, Zigbee (Zigbee) communication unit, infrared ( It may include an IrDA, infrared Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like, but is not limited thereto.
- the mobile communication unit 1520 transmits/receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network.
- the wireless signal may include various types of data according to transmission/reception of a voice call signal, a video call signal, or a text/multimedia message.
- the broadcast receiver 1530 receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel.
- the broadcast channel may include a satellite channel and a terrestrial channel.
- the electronic device 1000 may not include the broadcast receiver 1530 .
- the communication unit 1500 may transmit/receive data for identifying the force touch with an external device (not shown).
- the communication unit 1500 may receive a plurality of pre-trained force touch models from an external server (not shown) in order to identify the force touch.
- the A/V (Audio/Video) input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 , a microphone 1620 , and the like.
- the camera 1610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
- the image captured through the image sensor may be processed through the processor 1300 or a separate image processing unit (not shown).
- the microphone 1620 receives an external sound signal and processes it as electrical voice data.
- An image or audio signal generated by the A/V input unit 1600 may be used to identify a force touch model. For example, while the user's touch input is being received, the electronic device 1000 may further use information obtained based on the image or audio signal generated by the A/V input unit 1600 to respond to the user's touch input. A force touch can be identified.
- the memory 1700 may store a program for processing and controlling the processor 1300 , and may also store data input to or output from the electronic device 1000 .
- the memory 1700 may store various types of data that can be used to identify the force touch.
- the memory 1700 may store a plurality of force touch models for identifying the force touch.
- the memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), and a RAM.
- RAM Random Access Memory
- SRAM Static Random Access Memory
- ROM Read-Only Memory
- EEPROM Electrically Erasable Programmable Read-Only Memory
- PROM Programmable Read-Only Memory
- magnetic memory magnetic disk
- magnetic disk may include at least one type of storage medium among optical disks.
- Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions, for example, may be classified into a UI module 1710 , a touch screen module 1720 , a notification module 1730 , and the like. .
- the UI module 1710 may provide a specialized UI, GUI, or the like that interworks with the electronic device 1000 for each application.
- the touch screen module 1720 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the processor 1300 .
- the touch screen module 1720 according to some embodiments may recognize and analyze a touch code.
- the touch screen module 1720 may be configured as separate hardware including a controller.
- a tactile sensor is an example of a sensor for detecting a touch of a touch screen.
- a tactile sensor refers to a sensor that senses a touch of a specific object to the extent or higher than that felt by a human.
- the tactile sensor may sense various information such as the roughness of the contact surface, the hardness of the contact object, and the temperature of the contact point.
- the user's touch gesture may include tap, touch & hold, double tap, drag, pan, flick, drag and drop, swipe, and the like.
- the notification module 1730 may generate a signal for notifying the occurrence of an event in the electronic device 1000 .
- FIG. 10 is a flowchart illustrating a method of identifying a force touch according to an embodiment.
- the electronic device 1000 may receive at least one sample input from a user.
- the sample input according to an embodiment is an exemplary touch input of a user for acquiring at least one force touch model corresponding to a characteristic of the user.
- an operation corresponding to the force touch may be performed.
- sample inputs respectively corresponding to a plurality of classes that may correspond to different motions may be received from the user.
- the electronic device 1000 may receive the user's sample input for the class A by requesting the user's sample input corresponding to the class A.
- the electronic device 1000 may receive the user's sample input for the class B by requesting the user's sample input corresponding to the class B.
- the electronic device 1000 may receive the user's sample input for the class C by requesting the user's sample input corresponding to the class C. It is not limited to the above-described example, and for a variety of numbers of classes, sample inputs each having different characteristics may be received from the same user.
- Classes A, B, and C may correspond to different operations, respectively, and as the class to which the user's touch input belongs is determined by the force touch model, the operation corresponding to the user's touch input is performed can be
- the electronic device 1000 may acquire feature information for each sample input received in operation 1010 .
- the feature information of the sample input may be obtained by a feature extraction model that has been previously learned to output feature information about the touch input.
- the characteristic information of the sample input is based on sensor information (eg, barometric pressure information) that may be collected while the sample input is input as well as information related to the characteristics of the input itself of the sample input. , can be obtained.
- the feature extraction model used to obtain the feature information of the sample input may be a pre-trained model based on the learning data including the sensor information, etc. described above in addition to the information related to the characteristics of the input itself of the sample input.
- the above-described example is not limited, and the characteristic information of the sample input may be obtained based on various types of information related to the sample input.
- the characteristic information of the sample input may be obtained for each class. For example, for at least one sample input obtained for class A, at least one piece of feature information may be obtained, and a representative value (ex. average value, median) for at least one piece of feature information (ex. feature vector) value, mode, etc.) may be obtained as characteristic information of the sample input for class A. Similarly, for other classes, such as class B and class C, feature information about the sample input may be obtained.
- the electronic device 1000 acquires a plurality of force touch models for force touch identification, and obtains characteristic information on a touch input of learning data used to learn each force touch model. can be obtained
- the plurality of force touch models according to an embodiment may be artificial intelligence models that correspond to different characteristics of a user's touch input, respectively.
- Each force touch model according to an embodiment may be used to identify a force touch received from a user having different touch input characteristics and perform an operation.
- the electronic device 1000 may obtain characteristic information for each force touch model in order to identify the force touch model corresponding to the characteristic information of the user's sample input.
- the characteristic information on the force touch model may be obtained by acquiring characteristic information on a touch input of training data used to learn the force touch model.
- the characteristic information of the force touch model may be obtained according to various methods for obtaining the user's input characteristic corresponding to the force touch model.
- the characteristic information of the sample input is obtained based on sensor information in addition to the sample input
- the characteristic information of the force-touch model is also the same, sensor information detected while the touch input of the learning data is received. It can be obtained further based on
- the force touch model may be a pre-trained model based on a touch input and sensor information.
- the training data used for learning the force touch model may further include sensor information corresponding to the touch input as well as information about the touch input.
- the characteristic information of the force touch model according to an embodiment may be obtained for each class, as in the case of sample input.
- a representative value of the characteristic information of the touch input belonging to the same class may be obtained as the characteristic information of the class.
- the electronic device 1000 may correspond to the characteristic of the user's touch input from among the plurality of force touch models based on the degree of similarity between the two characteristic information obtained in operations 1020 and 1030 . You can acquire a force touch model that can.
- the similarity according to an embodiment may be obtained based on a difference between characteristic information obtained for each class.
- the distance value between the two feature information may be obtained for each class, and the similarity between the two feature information is determined based on a representative value (eg, an average value, a median value, etc.) of the distance values obtained for each class.
- a representative value eg, an average value, a median value, etc.
- the degree of similarity may be obtained according to various methods for obtaining a degree of similarity between feature information.
- two or more force touch models obtained based on the similarity may be used to identify the force touch in step 1050 below.
- the force touch model not only the highest-priority force-touch model among the plurality of force-touch models listed according to the degree of similarity, but also at least one force-touch model that does not differ by more than a reference value from the similarity of the highest-priority force touch model is the force touch model.
- a force touch model for identification it may be additionally obtained.
- the electronic device 1000 identifies a force touch with respect to the user's touch input based on the force touch model obtained in operation 1040, and performs an operation according to the result of the force touch identification. can be done
- the electronic device 1000 according to an embodiment may obtain information about a class corresponding to the user's touch input by inputting information about the user's touch input into the force touch model, and may perform an operation corresponding to the class. have.
- sensor information corresponding to a user's touch input may be further used in step 1050 as well.
- sensor information eg, barometric pressure information
- sensor information sensed by the electronic device 1000 may be input to the force touch model together.
- an average model or an ensemble model may be obtained from the determined force touch models, and based on the obtained models, in operation 1050, a force for a user's touch input A touch may be identified.
- one of the average model and the ensemble model may be obtained based on two or more force touch models according to the performance of the electronic device 1000 .
- the average model according to an embodiment may be obtained based on an average value of each weight value constituting the force touch model.
- the ensemble model may be configured such that output information of the ensemble model is determined based on the information output from each of the two or more force touch models determined in step 1040 .
- the output information may further include information on a probability that each class corresponds to a class of the touch input, and output information of the ensemble model may be determined based on the probability value.
- Output information of the ensemble model according to an embodiment may be determined based on an average value of probability values respectively included in a plurality of output information.
- output information of the ensemble model 610 may be determined based on a probability value determined to have high accuracy among a plurality of pieces of output information. For example, in each output information, the greater the difference between the probability value for each class and the probability value of another class, the higher the accuracy may be determined. Accordingly, output information of the ensemble model may be determined based on the output information determined to have high accuracy based on the probability value.
- FIG. 11 is a diagram illustrating an example of barometric pressure information collected by the electronic device 1000 while a user's touch input is received, according to an embodiment.
- the electronic device 1000 may acquire at least one barometric pressure value measured by the barometric pressure sensor 1470 while the touch input is sensed.
- the barometric pressure information including the barometric pressure value may be input to the force touch model together with the user's touch input information as sensor information, and may be used to identify the force touch.
- the intensity of the user's touch input and the amount of change in the atmospheric pressure value may be proportional to each other, the force touch for the user's touch input may be identified further based on the atmospheric pressure information.
- the barometric pressure value measured by the barometric pressure sensor 1470 may be obtained, for example, in units of hectopascals such as 1008.6, 1008.8, ji, 1011.2, but is not limited thereto, and various units and expression methods are not limited thereto. can be obtained according to However, to indicate one barometric pressure value, as a large number of bits are used, the amount of calculation is increased, so that the amount of calculation can be decreased, as shown in 1110 and 1120 of FIG. According to the contrast difference value, the barometric pressure value may be changed.
- the amount of calculation required to process the barometric pressure value is reduced.
- the electronic device 1000 measures the barometric pressure value using the barometric pressure sensor 1470 after the t point in time when a user's touch input is sensed at time t. can do.
- the barometric pressure information obtained for force touch identification may be obtained based on a difference value between a previously measured barometric pressure value and a currently measured barometric pressure value.
- the barometric pressure value of 1112 may be changed to a difference value between the barometric pressure value of 1112 and the barometric pressure value of 1111 , and barometric pressure information may be obtained based on the changed value. Accordingly, according to an embodiment, as the barometric pressure information is obtained as the difference value between the barometric pressure values, the number of bits used to express the barometric pressure value is reduced, and thus the amount of calculation may be reduced.
- the electronic device 1000 may continuously acquire and store an atmospheric pressure value before the user's touch input is sensed at time t.
- the electronic device 1000 continuously acquires a barometric pressure value, but stores only n (ex. 3) recently acquired barometric pressure values based on the current time point, and whenever a new barometric pressure value is acquired Old barometric pressure values can be deleted.
- the electronic device 1000 detects the user's touch input at time t, based on representative values (eg, average value, median value, etc.) of n barometric pressure values acquired before time t. Accordingly, the barometric pressure value obtained thereafter may be changed. For example, atmospheric pressure values obtained after time t may be changed to a difference value from representative values of n atmospheric pressure values.
- the value measured by the barometric pressure sensor 1470 may continuously change according to the surrounding environment of the electronic device 1000, it is acquired after time t based on the recently acquired barometric pressure value. You can change the barometric pressure. Accordingly, according to an embodiment, as the barometric pressure information is obtained as the difference value between the barometric pressure values, the number of bits used to express the barometric pressure value is reduced, and thus the amount of calculation may be reduced.
- the electronic device 1000 may identify a force touch in response to the user's touch input based on the atmospheric pressure information obtained according to 1110 or 1120, and perform an operation according to the identification result.
- FIG. 12 is a diagram illustrating an example of identifying a force touch based on barometric pressure information according to an embodiment.
- the first force touch model 1110 is configured to output information about a force touch class to which the user's touch input belongs, based on information about the user's touch input. It may be a pre-trained AI model.
- Information about a user's touch input that may be input to the first force touch model 1212 includes the touch position and intensity at which the touch input is sensed at each time point while the user's touch input is received.
- data 1211 in which a touch position and intensity at which a touch input is sensed are displayed on an image having an n x n size may be continuously acquired while a user's touch input is received.
- information about the probability that the user's touch input corresponds to classes A and B is obtained as output information.
- information on the probability that the user's touch input corresponds to class A and class B is expressed as class A probability_touch and class B probability_touch, respectively.
- the second force touch model 1223 does not include information about the user's touch input, and atmospheric pressure among sensor information detected while the user's touch input is received. Based on the information 1222 , it may be an artificial intelligence model trained in advance so that information about the class of the force touch to which the user's touch input belongs may be output.
- the second force touch model 1223 is a result of identifying the force touch based on sensor information expressed in various ways other than the atmospheric pressure information 1222 , and the force touch to which the user's touch input belongs It may be an artificial intelligence model trained in advance so that information about the class of
- the first force touch model 1212 may be a force touch model determined from among a plurality of first force touch models by using a sample input received from a user.
- the second force touch model 1223 may be an artificial intelligence model trained in advance to correspond to the determined first force touch model 1212 . Since the change amount of the barometric pressure value according to an embodiment may be proportional to the intensity of the touch input, it may be desirable to determine a class corresponding to the barometric pressure information according to the characteristics of the user's touch input. Accordingly, the second force touch model 1223 may exist for each of the plurality of first force touch models 1212 , and one or more first force touch models 1212 among the plurality of first force touch models 1212 are determined. Then, a second force touch model 1223 corresponding to each of the first force touch models 1212 may be obtained.
- the force touch is performed based on sensor information related to the touch input in addition to the information about the touch input. can be identified.
- the first force touch model 1212 uses sensor information in addition to the information about the touch input so that the force touch can be identified, without the need for retraining, only the second force touch model As 1223 is additionally used, it may be possible to identify the force touch based on sensor information in addition to information about the touch input.
- the electronic device 1000 when the electronic device 1000 according to an embodiment intends to identify a force touch by further using sensor information related to a touch input, a plurality of second force touch models 1212 and a plurality of second force touch models respectively corresponding to each other By additionally acquiring the force touch model 1223 , the force touch with respect to the user's touch input may be identified.
- the second force touch model 1223 may be trained in advance in the same manner as when the force touch model is learned based on the learning data shown in FIG. 3 .
- Learning data including barometric pressure information collected while the touch input is received for learning the second force touch model 1223 according to an embodiment may be classified according to the characteristics of the user performing the touch input, Based on each classified training data, a plurality of second force touch models 1223 may be trained.
- a corresponding first force touch model 1212 may be determined according to a characteristic of a user used to classify the learning data.
- the second force touch model 1223 is not limited to the above-described example, and based on sensor information related to the touch input, the second force touch model 1223 may be used to identify the force touch for the user's touch input. It could be an intelligence model.
- the electronic device 1000 may acquire the barometric pressure value 1221 continuously measured by the barometric pressure sensor while the user's touch input is received.
- the plurality of barometric pressure values 1221 may include barometric pressure values corresponding to the data 1211 of the touch input, respectively.
- the atmospheric pressure value 1221 may be changed as shown in 1222 according to the example shown in 1110 or 1120 of FIG. 11 .
- the barometric pressure information 1222 may be obtained by continuously arranging the changed barometric pressure value 1221 on the image of the n x n size, which is the same as the image size of the data 1211 of the touch input. .
- the above-described example is not limited, and the barometric pressure information 1222 may include data transformed from the barometric pressure value 1221 into various forms so as to be appropriate to be input to the second force touch model 1220 .
- information on a probability that the user's touch input corresponds to classes A and B, respectively may be obtained as output information.
- information on the probability that the user's touch input corresponds to classes A and B is expressed as a class A probability_barometer and a class B probability_barometer, respectively.
- the second force touch model 1223 may output probability information about the class of the force touch to which the user's touch input belongs according to a function according to Equation 1, instead of the artificial intelligence model.
- Equation 1 b denotes an atmospheric pressure value, and according to a difference between a minimum value and a maximum value of the atmospheric pressure values input to the function, p, which is probability information about the force touch class to which the user's touch input belongs, may be determined. . p may have a value between 0 and 1 depending on the sigmoid function.
- p when classes are divided into classes A and B according to the difference in intensity of the touch input, p may be determined as a probability value of class A, and 1-p may be determined as a probability value of class B. For example, as p is large, the probability of class A classified as a class having a greater intensity may increase. On the other hand, as p is small, the probability of class B classified as a class having a smaller intensity may be greater.
- the atmospheric pressure information 1222 when the probability information is obtained based on the atmospheric pressure information, the atmospheric pressure information 1222 does not need to be changed from the atmospheric pressure value 1221, based on the atmospheric pressure value 1221 Thus, probability information can be obtained.
- a probability value for each class is based on a weighted sum of probability values obtained by the first force touch model 1212 and the second force touch model 1223 .
- the probability that the user's touch input corresponds to the class A may be determined as a weighted sum of the class A probability_touch and the class A probability_barometer.
- the probability that the user's touch input corresponds to the class B may be determined as a weighted sum of the class B probability_touch and the class B probability_barometer.
- the probability value obtained by the second force touch model 1223 may not be used, and so that the probability value of class A can be determined with the probability value obtained by the first force touch model 1212, w1 is 1 and w2 may be determined to be 0. Also, the weight values w3 and w4 for class B may be determined to be 1 and 0, respectively, in the same manner as the probability value of class A.
- predetermined values of w1, w2, w3, and w4 may be used so that the probability value obtained by the second force touch model 1223 may be additionally used.
- the values of w1, w2, w3, and w4 are determined based on the probability value of the first force touch model 1212 and the probability value of the second force touch model 1223. It can be determined in advance through experimentation. For example, as an experiment is performed several times with respect to the electronic device 1000 placed in a predetermined experimental environment, values w1, w2, w3, and w4 from which optimal probability values can be obtained may be predetermined.
- the values of w1, w2, w3, and w4 may be adjusted to appropriate values.
- the values of w1, w2, w3, and w4 are not limited to the above-described examples, and may be determined according to various methods as values from which optimal probability values can be obtained.
- the electronic device 1000 that can identify the force touch may be configured as shown in FIGS. 13 and 14 below. have.
- FIG. 13 is a diagram illustrating a configuration arrangement of an electronic device according to an embodiment.
- the housing of the electronic device 1000 may be formed of a first plate 1010a and a second plate 1010b.
- the housing according to an embodiment includes an outer surface including internal components (eg, a processor, an output unit, a sensing unit, a communication unit, a memory, an A/V input unit, etc.) of the electronic device 1000 including the barometric pressure sensor 1470 .
- the air pressure sensor 1470 may detect a change in air pressure in the space of the housing and provide it to the processor 1300 .
- the barometric pressure sensor 1470 may be located at least partially in the space of the housing.
- the barometric pressure sensor 1470 may be located in a space in which at least a portion of the space of the housing is sealed.
- the first plate 1010a may face the first direction, and the second plate 1010b may face the second direction.
- the first plate 1010a and the second plate 1010b may include side members (not shown) surrounding the space between the two plates.
- the side member may be separated from or partially coupled to the first plate 1010a or the second plate 1010b.
- the first plate 1010a and the second plate 1010b may be coupled as side members to form a housing of the electronic device 1000 . At least a portion of the space in the housing may be formed so that fluid does not communicate with the outside of the housing.
- the display unit 1210 may be exposed through at least a portion of the first plate 1010a and located inside the housing.
- the display unit 1210 may include a Touch Panel 1060a, a TSP FPCB 1060b, and a TSP IC 1060c.
- the Touch Panel 1060a is a touchable transparent panel, and is connected to the TSP FPCB 1060b, and the TSP IC 1060c may be mounted on the TSP FPCB 1060b.
- the second plate 1010b has a barometer sensor 1470 (eg, a barometer sensor 1470) capable of detecting a change in air pressure in a space in the housing generated by the combination of the first plate 1010a and the second plate 1010b.
- a barometer sensor 1470 eg, a barometer sensor 1470
- an air pressure sensor 1470 may be provided.
- the barometric pressure sensor 1470 may be located in at least a portion of the space within the housing. At least a portion of the space in the housing may be sealed, and the barometric pressure sensor 1470 may be located in the sealed space.
- the second plate 1010b may include a main PCB 1080b on which the barometric pressure sensor 1470 and an application processor (MCUAP) 1080a are mounted.
- the processor 1300 may include an MCUAP 1080a and a Main PCB 1080b.
- the TSP FPCB (1060b) and the Main PCB (1080b) may be connected by connectors (male (1011), female (1012)).
- the second plate 1010b may include a battery 1091 , a SUB PCB 1092 , and a USB port 1020a.
- the battery 1091 may be charged with power supplied from the outside through the USB port 1020a that can be connected to the outside, and may be discharged according to the use of the electronic device 1000 .
- the SUB PCB 1092 may refer to a PCB other than the Main PCB 1080b on which the MCUAP 1080a is mounted.
- the SUB PCB 1092 may not be implemented in the electronic device 1000 depending on the type of the electronic device 1000 .
- the AP 1080a may further include various types of processing units.
- the AP 1080a may further include a graphics processing unit (GPU) 1080aa, a neural network processing unit (NPU) 1080ab, a tensor processing unit (TPU) 1080ac, and the like.
- the AP 1080a may use various processing units such as the GPU 1080aa, the NPU 1080ab, and the TPU 1080ac to perform an operation for identifying the force touch of the touch input according to an embodiment.
- FIG. 14 is a cross-sectional view illustrating a configuration arrangement of the electronic device 1000 according to an exemplary embodiment.
- the TSP IC 1060c may check a location where the touch input is generated.
- the TSP IC 1060c may transmit that a touch input has occurred in the TSP Panel 1060a to the MCUAP 1080a of the processor 1300 and may additionally transmit a location where the touch input is generated.
- the APMCU 1080a may be mounted on the Main PCB 1080b.
- the Barometer Sensor 1470 eg, the barometric pressure sensor 1470
- the barometric pressure sensor 1470 may transmit the sensed barometric pressure value to the APMCU 1080a. According to an embodiment, based on the barometric pressure value sensed by the barometric pressure sensor 1370, the force touch for the user's touch input according to the above-described embodiment of FIG. 12 may be identified.
- a force touch input matching the user's intention may be identified.
- a force touch input suitable for the user's intention may be identified.
- the device-readable storage medium may be provided in the form of a non-transitory storage medium.
- 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
- the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
- the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
- Computer program products may be traded between sellers and buyers as commodities.
- the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
- a portion of the computer program product eg, a downloadable app
- a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
- unit may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Push-Button Switches (AREA)
Abstract
사용자로부터 적어도 하나의 샘플 입력을 수신하고, 적어도 하나의 샘플 입력에 대한 특징 정보를 획득하고, 포스 터치를 식별하기 위한 복수의 포스 터치 모델을 획득하고, 복수의 포스 터치 모델의 학습에 이용된 학습 데이터에 포함된 적어도 하나의 터치 입력에 대한 특징 정보를 획득하고, 복수의 포스 터치 모델에 대하여 획득된 특징 정보 및 샘플 입력에 대한 특징 정보 간의 유사도에 기초하여, 복수의 포스 터치 모델 중에서 포스 터치를 식별하기 위한 포스 터치 모델을 결정하고, 결정된 포스 터치 모델에 기초하여, 사용자의 터치 입력에 대한 포스 터치를 식별하는, 전자 장치에서, 사용자의 터치 입력에 대하여 포스 터치를 식별하는 방법이 제공된다.
Description
본 개시는, 포스 터치를 식별하는 전자 장치 및 그 동작 방법에 관한 것이다.
포스 터치란, 터치 입력을 수행하는 방식 중 하나로서, 터치 스크린에 대하여 가해지는 힘의 강도를 인식하여 동작을 수행하는 기술을 뜻한다. 포스 터치에 의하면, 터치 입력되는 힘의 강도에 따라서, 서로 다른 동작이 수행될 수 있다.
포스 터치에 따른 동작이, 사용자의 의도에 맞게 수행되려면, 사용자의 터치 입력의 특성을 사용자의 의도에 맞게 판단하는 것이 필요하다.
따라서, 사용자의 의도에 맞게 포스 터치를 적절히 식별하기 위한 구체적인 방법을 제시하고자 한다.
본 개시가 해결하고자 하는 과제는 전술한 문제를 해결하기 위한 것으로서, 포스 터치를 식별하는 전자 장치 및 그 동작 방법을 제공하기 위한 것이다.
또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 전자 장치에서, 사용자의 터치 입력에 대하여 포스 터치를 식별하는 방법에 있어서, 상기 사용자로부터 적어도 하나의 샘플 입력을 수신하는 단계; 상기 적어도 하나의 샘플 입력에 대한 특징 정보를 획득하는 단계; 상기 포스 터치를 식별하기 위한 복수의 포스 터치 모델을 획득하는 단계; 상기 복수의 포스 터치 모델의 학습에 이용된 학습 데이터에 포함된 적어도 하나의 터치 입력에 대한 특징 정보를 획득하는 단계; 상기 복수의 포스 터치 모델에 대하여 획득된 특징 정보 및 상기 샘플 입력에 대한 특징 정보 간의 유사도에 기초하여, 상기 복수의 포스 터치 모델 중에서 상기 포스 터치를 식별하기 위한 포스 터치 모델을 결정하는 단계; 및 상기 결정된 포스 터치 모델에 기초하여, 상기 사용자의 터치 입력에 대한 포스 터치를 식별하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 제2 측면은, 사용자의 터치 입력에 대하여 포스 터치를 식별하는 전자 장치에 있어서, 상기 사용자로부터 적어도 하나의 샘플 입력을 수신하는 사용자 입력부; 하나 이상의 명령어들(instructions)을 저장하는 메모리; 및 상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 샘플 입력에 대한 특징 정보를 획득하고, 상기 포스 터치를 식별하기 위한 복수의 포스 터치 모델을 획득하고, 상기 복수의 포스 터치 모델의 학습에 이용된 학습 데이터에 포함된 적어도 하나의 터치 입력에 대한 특징 정보를 획득하고, 상기 복수의 포스 터치 모델에 대하여 획득된 특징 정보 및 상기 샘플 입력에 대한 특징 정보 간의 유사도에 기초하여, 상기 복수의 포스 터치 모델 중에서 상기 포스 터치를 식별하기 위한 포스 터치 모델을 결정하고, 상기 결정된 포스 터치 모델에 기초하여, 상기 사용자의 터치 입력에 대한 포스 터치를 식별하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 제3 측면은, 제1 측면의 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 제공할 수 있다.
또한, 본 개시의 제4 측면은, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)를 제공할 수 있다.
도 1은 일 실시 예에 의한 포스 터치를 식별하기 위한 모델을 획득하는 일 예를 나타낸 도면이다.
도 2는 일 실시 예에 의한 샘플 입력을 수신하는 일 예를 나타낸 도면이다.
도 3은 일 실시 예에 의한 포스 터치 모델의 일 예를 나타낸 도면이다.
도 4는 일 실시 예에 의한 포스 터치 모델의 특징 정보와 샘플 입력의 특징 정보를 비교하는 일 예를 나타낸 도면이다.
도 5는 일 실시 예에 의한 2개 이상의 포스 터치 모델을 선택하는 일 예를 나타낸 도면이다.
도 6은 일 실시 예에 의한 2개 이상의 포스 터치 모델을 이용하여 포스 터치를 식별하는 일 예를 나타낸 도면이다.
도 7은 일 실시 예에 의한 2개 이상의 포스 터치 모델을 이용하여 포스 터치를 식별하는 일 예를 나타낸 도면이다.
도 8은 일 실시 예에 의한 전자 장치의 내부 구성을 설명하기 위한 블록도이다.
도 9는 일 실시 예에 의한 전자 장치의 내부 구성을 설명하기 위한 블록도이다.
도 10은 일 실시 예에 의한 포스 터치를 식별하는 방법을 나타낸 순서도이다.
도 11은 일 실시 예에 의한 사용자의 터치 입력이 수신되는 동안 전자 장치(1000)에서 수집된 기압 정보의 일 예를 나타낸 도면이다.
도 12는 일 실시 예에 의한 기압 정보에 기초하여, 포스 터치를 식별하는 일 예를 나타낸 도면이다.
도 13는 일 실시 예에 의한 전자 장치의 구성 배치를 나타낸 도면이다.
도 14는 일 실시 예에 따른 전자 장치의 구성 배치를 나타낸 단면도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시 예에 의한 포스 터치를 식별하기 위한 모델을 획득하는 일 예를 나타낸 도면이다.
도 1을 참조하면, 일 실시 예에 의한 전자 장치(1000)는 사용자로부터 수신된 터치 입력으로부터 포스 터치를 식별하기 위한, 포스 터치 모델을 획득하고, 포스 터치 모델에 기초하여, 사용자의 터치 입력에 대해 포스 터치를 식별할 수 있다. 또한, 전자 장치(1000)는, 포스 터치를 식별한 결과에 기초하여, 사용자의 터치 입력에 대응하는 동작을 수행할 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 사용자의 터치 입력에 대응하여 포스 터치를 식별하고, 이에 대한 응답을 제공할 수 있는 장치일 수 있으며, 다양한 형태로 구현될 수 있다. 예를 들어, 전자 장치(1000)는, 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 차량(vehicle) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 일 실시 예에 의한 전자 장치(1000)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔목 밴드, 발목 밴드, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 포스 터치를 식별한 결과에 따라서, 포스 터치에 대하여 식별된 특성(ex. 강도, 기울기, 터치 영역, 속도)에 대응하는 동작이 수행될 수 있다. 예를 들면, 전자 장치(1000)에서, 사용자의 터치 입력에 따라 선이 그려지는 경우, 터치 입력에 대하여 포스 터치가 식별될 수 있고, 식별된 포스 터치의 특성 중 강도 특성에 따라, 터치 입력의 강도가 강할수록, 굵은 선이 그려질 수 있다.
일 실시 예에 의한 포스 터치는, 사용자의 터치 입력의 특성에 따라, 서로 다른 특성을 가진 포스 터치로 식별될 수 있다. 또한, 일 실시 예에 의한 포스 터치는, 포스 터치에 대하여 식별된, 터치 입력의 강도, 속도, 영역 등 다양한 특성에 따라, 서로 다른 클래스로 분류될 수 있고, 각각의 클래스에 대응되는 동작이 수행될 수 있다. 일 실시 예에 의하면 포스 터치가 사용자가 원하는 동작의 클래스로 분류되도록, 사용자가 상기 클래스와 대응되는 포스 터치의 특성을 가진 터치 입력을 수행함으로써, 전자 장치(1000)에서 사용자가 의도하는 동작이 수행될 수 있다.
예를 들어, 포스 터치의 강도 특성에 따라서, 포스 터치가 클래스 A(강한 강도의 터치) 및 B(중간 강도의 터치)로 분류되는 경우, 사용자의 터치 입력은, 클래스 A 및 B 중 하나에 속하는 포스 터치로서 식별될 수 있다. 상술한 예에 한하지 않고, 포스 터치는, 2개 이상의 클래스로 분류될 수 있으며, 강도에 한하지 않고, 다양한 특성(ex. 속도, 터치 영역)에 따라서 분류될 수도 있다.
일 실시 예에 의하면, 사용자의 터치 입력의 특성에 따라서, 사용자가 원하는 동작과 대응되는 포스 터치의 특성이 서로 다를 수 있다. 예를 들어, 상대적으로 약한 힘을 가진 여성이나 어린 아이의 터치 입력은, 상대적으로 강한 힘을 가진 남성에 의한 터치 입력과는 달리, 측정되는 터치 입력의 강도 값이 작을 수 있다. 그러나, 측정된 터치 입력의 강도 값이 크거나 작더라도, 사용자의 의도에 따른 동작이 가능하도록, 포스 터치가 식별됨이 바람직하다. 따라서, 일 실시 예에 의하면, 서로 다른 강도의 터치 입력에 대해서도, 사용자의 특성에 따라, 동일한 클래스로 분류되고, 동일한 동작이 수행될 수 있다.
일 실시 예에 의한 전자 장치(1000)는 사용자의 터치 입력의 특성을 고려하여, 사용자에 의해 수신된 터치 입력에 따라 사용자가 원하는 동작을 수행할 수 있도록, 미리 학습된 적어도 하나의 포스 터치 모델을 이용할 수 있다. 일 실시 예에 의한 적어도 하나의 포스 터치 모델은, 다양한 터치 입력의 특성을 가진 여러 사용자로부터 수집된 학습 데이터에 기초하여, 미리 학습된 인공지능 모델일 수 있다. 일 실시 예에 의한 포스 터치 모델에 의하면, 각각의 포스 터치의 특성에 대해, 사용자의 터치 입력의 특성에 적합하도록, 대응되는 클래스가 결정됨으로써, 사용자가 원하는 동작이 수행될 수 있다.
일 실시 예에 의하면, 다양한 특성(ex. 나이, 성별, 인종, 체중, 주사용 손, 주사용 손가락)을 가진 사용자들의 터치 입력에 대해 미리 수집된 학습 데이터들이, 그 특성에 따라서, 각각 분류될 수 있다. 일 실시 예에 의하면, 터치 입력과 관련된 사용자의 특성에 따라서, 학습 데이터들이 분류될 수 있다. 또한, 학습 데이터에 기초하여, 복수의 포스 터치 모델 중에서, 상기 학습 데이터의 사용자의 특성과 대응되는 포스 터치 모델이 학습될 수 있다.
일 실시 예에 의한 학습 데이터는, 포스 터치 모델에 대한 입력 정보로서, 터치 입력의 특성(ex. 강도, 기울기, 터치 영역, 속도)에 관한 정보와, 상기 입력 정보에 대한 정답 정보로서, 포스 터치의 클래스에 관한 정보를 포함할 수 있다.
일 실시 예에 의한 포스 터치 모델은, 학습 데이터에 기초하여, 상기 입력 정보에 대하여 정답 정보가 출력될 수 있도록, 미리 학습될 수 있다. 일 실시 예에 의하면, 사용자의 서로 다른 터치 입력의 특성과 각각 대응되는 서로 다른 포스 터치 모델이 개별적으로 학습될 수 있다. 따라서, 동일한 특성을 가진 터치 입력에 대하여도, 사용자의 터치 입력의 특성에 따라, 서로 다른 포스 터치의 클래스가 결정될 수 있다.
일 실시 예에 의한 포스 터치 모델은, 이하 도 3에 도시된 예와 같이, 사용자들의 특성과 관련된 다양한 기준에 따라서, 분류된, 학습 데이터에 기초하여 학습될 수 있다. 일 실시 예에 의하면, 도 3에 도시된 예와 같이 분류된 학습 데이터에 기초하여, 서로 다른 사용자들의 특성에 대응되는 복수 개의 포스 터치 모델이 학습될 수 있다.
일 실시 예에 의한 포스 터치 모델이 학습되는데 이용되는, 학습 데이터는, 다양한 사용자들의 입력에 대하여 수집된 터치 입력의 특성(ex. 강도, 기울기, 터치 영역, 속도)에 관한 정보와, 상기 터치 입력의 특성을 가진 입력에 대한 정답 정보로서, 포스 터치의 클래스에 관한 정보를 포함할 수 있다. 따라서, 포스 터치 모델은, 학습 데이터의 터치 입력의 특성을 가지는 터치 입력에 대하여, 정답 정보에 포함된 클래스가 출력 정보로서 결정될 수 있도록, 학습될 수 있다.
일 실시 예에 의한 포스 터치 모델에 의해 결정될 수 있는 클래스는, 터치 입력의 특성에 따라, 사용자의 터치 입력이 분류되는 그룹을 뜻한다. 일 실시 예에 의하면, 사용자의 터치 입력에 대하여 결정된 클래스와 대응되는 동작이 수행될 수 있다.
일 실시 예에 의한 포스 터치 모델은, 다양한 사용자로부터 학습 데이터가 지속적으로 수집됨에 따라서, 지속적으로 갱신될 수 있다. 상술한 예에 한하지 않고, 포스 터치 모델은, 여러 시점에서 다양한 방법에 따라 미리 학습된 모델일 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 미리 학습된 포스 터치 모델 중에서, 사용자의 터치 입력의 특성에 매칭되는 포스 터치 모델을 획득하고, 획득된 포스 터치 모델에 기초하여, 사용자의 입력에 대해, 포스 터치를 식별함으로써, 동작을 수행할 수 있다. 따라서, 일 실시 예에 의한 전자 장치(1000)는, 사용자의 터치 입력의 특성에 맞게 포스 터치를 식별할 수 있도록, 사용자의 터치 입력의 특성에 대응되는 포스 터치 모델을 획득할 수 있다. 또한, 전자 장치(1000)는, 사용자로부터 적어도 하나의 샘플 입력을 수신하고, 샘플 입력에 기초하여, 사용자의 터치 입력의 특성에 대응되는 포스 터치 모델을 획득할 수 있다.일 실시 예에 의한 샘플 입력은, 포스 터치의 클래스 별로, 사용자로부터 수신될 수 있다. 예를 들어, 전자 장치(1000)는, 각 클래스에 대한 적어도 하나의 샘플 입력을 사용자에 요청하여, 수신할 수 있다. 일 실시 예에 의한 샘플 입력은, 사용자의 터치 입력의 특성에 대응되는 포스 터치 모델을 획득하기 위한 사용자의 예시적인 터치 입력이다.
일 실시 예에 의하면, 전자 장치(1000)는, 클래스 A의 포스 터치의 특성을 결정하기 위한, 사용자의 터치 입력을 요청하고, 수신된 사용자의 터치 입력을 클래스 A의 샘플 입력으로서 획득할 수 있다. 예를 들어, 클래스 A에 대해, 사용자가 원하는 강도를 가진 포스 터치가 클래스 A로 분류될 수 있도록, 사용자의 의도에 따른 강도를 가진 터치 입력이 클래스 A에 대한 샘플 입력으로서 입력될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 110에서, 각 클래스에 대하여 입력된 적어도 하나의 샘플 입력에 기초하여, 각 클래스와 대응되는 샘플 입력에 대한 특징 정보를 획득할 수 있다. 일 실시 예에 의한 특징 정보는, 터치 입력에 대한 여러가지 특성(ex. 강도, 속도, 터치 영역의 크기)을 각각 차원으로 하여, 각 차원에 대해 값을 포함하는, 특징 벡터를 포함할 수 있다. 상술한 예에 한하지 않고, 특징 정보는, 다양한 방법으로 표현된 터치 입력의 특성에 관한 정보를 포함할 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 샘플 입력에 관한 정보로부터, 특징 정보를 획득하기 위하여, 미리 학습된 특징 추출 모델을 이용할 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 특징 추출 모델을 이용하여, 사용자로부터 입력된 적어도 하나의 샘플 입력에 대한 특징 정보를, 각각의 클래스에 대하여 획득할 수 있다. 일 실시예에 의한 특징 추출 모델은, 서로 다른 터치 입력의 특성에 대응하여 학습되는 포스 터치 모델과는 달리, 터치 입력의 다양한 특성이 인식될 수 있도록, 다양한 특성의 터치 입력에 관한 정보에 기초하여, 미리 학습될 수 있다.
상술한 예에 한하지 않고, 전자 장치(1000)는, 다양한 방법(ex. 룩업 테이블, 함수)을 이용하여, 각 클래스에 대해 획득된 적어도 하나의 샘플 입력에 대한 특징 정보를 획득할 수도 있다.
일 실시 예에 의한 샘플 입력의 특징 정보는, 샘플 입력 자체의 입력 특성에 관한 정보(ex. 강도, 속도, 터치 영역 등)뿐만 아니라, 샘플 입력이 수신될 때, 전자 장치(1000)에서 획득된 정보(ex. 다양한 센서에 의해 감지된 정보)에 더 기초하여, 획득될 수 있다. 예를 들면, 샘플 입력의 특징 정보는, 특징 추출 모델에, 샘플 입력 자체의 입력 특성에 관한 정보뿐만 아니라, 샘플 입력이 수신될 때, 전자 장치(1000)에서 획득된 정보(ex. 기압 센서에 의해 획득된 기압 정보)가 함께 입력 정보로서 입력됨으로써, 획득될 수 있다. 상술한 예에 한하지 않고, 샘플 입력의 특징 정보는, 샘플 입력과 관련된 다양한 정보에 기초하여 획득될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 적어도 하나의 샘플 입력의 특징 정보로부터, 각 클래스에 대한 특징 정보를 획득할 수 있다. 일 실시 예에 의한 각 클래스에 대한 특징 정보는, 적어도 하나의 샘플 입력의 특징 정보의 대표값(ex. 평균값, 중간값, 최빈값)에 기초하여 획득될 수 있다. 예를 들어, 클래스 A에 대하여 획득된, 적어도 하나의 샘플 입력의 특징 정보가 적어도 하나의 특징 벡터를 포함하는 경우, 상기 적어도 하나의 특징 벡터의 평균값이, 클래스 A의 특징 정보로서 획득될 수 있다. 상술한 예에 한하지 않고, 각 클래스의 특징 정보는, 샘플 입력의 특징 정보로부터, 다양한 방법에 따라서 획득될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 각 클래스에 대해 획득된 특징 정보에 기초하여, 미리 학습된 복수의 포스 터치 모델 중에서, 포스 터치를 식별하기 위해 이용할 적어도 하나의 포스 터치 모델을 획득할 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 복수의 포스 터치 모델 각각에 대하여, 각각의 클래스에 대한 특징 정보를 획득하고, 이에 기초하여, 적어도 하나의 포스 터치 모델을 획득할 수 있다.
일 실시 예에 의한 포스 터치 모델의 특징 정보는, 120에서, 포스 터치 모델이 학습되는데 이용된 학습 데이터에 포함된 터치 입력에 관한 정보에 기초하여, 각각의 클래스 별로 획득될 수 있다. 예를 들면, 포스 터치 모델의 특징 정보는, 샘플 입력의 특징 정보와 동일하게, 학습 데이터에 포함된 터치 입력에 관한 정보가 특징 추출 모델에 입력됨으로써, 획득될 수 있다.
일 실시 예에 의한 포스 터치 모델의 특징 정보는, 샘플 입력의 특징 정보와 동일하게, 각 클래스 별로 획득될 수 있다. 일 실시 예에 의한 각 클래스에 대한 특징 정보는, 적어도 하나의 학습 데이터의 터치 입력에 대해 획득된 특징 정보의 대표값(ex. 평균값, 중간값, 최빈값)에 기초하여 획득될 수 있다. 예를 들어, 클래스 A와 대응되는, 적어도 하나의 학습 데이터의 터치 입력에 대한 특징 정보가 적어도 하나의 특징 벡터를 포함하는 경우, 상기 적어도 하나의 특징 벡터의 평균값이, 클래스 A의 특징 정보로서 획득될 수 있다. 상술한 예에 한하지 않고, 각 클래스의 특징 정보는, 학습 데이터의 터치 입력에 대한 특징 정보로부터, 다양한 방법에 따라서 획득될 수 있다.
일 실시 예에 의하면, 포스 터치 모델은 터치 입력의 입력 자체의 특성(ex. 강도, 속도, 터치 영역의 크기)에 관한 정보뿐만 아니라, 터치 입력이 수행될 때 수집된 다양한 정보(ex. 기압 정보, 센서 정보)에 기초하여, 학습될 수도 있다. 일 실시 예에 의한 특징 추출 모델은, 터치 입력의 입력 자체의 특성에 관한 정보에 한하지 않고, 터치 입력이 수행될 때 수집된 다양한 정보가 입력 정보로서 입력됨으로써, 포스 터치 모델의 특징 정보가 획득될 수 있도록, 미리 학습된 모델일 수 있다.
상술한 예에 한하지 않고, 포스 터치 모델의 특징 정보는, 다양한 방법에 따라서, 포스 터치 모델이 학습되는데 이용된 터치 입력과 관련된 특성을 나타내는 다양한 형태의 정보로서 획득될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 130에서, 복수의 포스 터치 모델에 대하여 획득된 각 클래스의 특징 정보와 샘플 입력으로부터 획득된 각 클래스의 특징 정보를 비교하여, 두 특징 정보 간의 유사도를 판단할 수 있다. 일 실시 예에 의하면, 유사도가 높을수록, 사용자의 터치 입력에 대하여, 포스 터치를 식별하기에 적합한 모델인 것으로 판단될 수 있다. 일 실시 예에 의한 유사도는, 두 특징 정보가 비슷한 정도를 나타낼 수 있다. 예를 들어, 두 특징 정보 간의 유사도는, 각각의 특징 정보가 나타내는 두 점(ex. 특징 벡터) 사이의 거리에 따라 결정될 수 있다. 두 점 사이의 거리가 멀수록 유사도는 낮은 값으로 결정될 수 있고, 두 점 사이의 거리가 가까울수록, 유사도는 높은 값으로 결정될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 유사도에 따라서, 복수 개의 포스 터치 모델 중에서, 사용자의 터치 입력의 특성에 맞게 포스 터치를 식별하는데 적합한, 적어도 하나의 포스 터치 모델을 획득할 수 있다. 예를 들어, 유사도가 높은 순서에 따라 결정된, 적어도 하나의 포스 터치 모델이, 사용자의 터치 입력에 대하여, 포스 터치가 식별되는데 이용될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 유사도 값에 기초하여, 2개 이상의 포스 터치 모델을 포스 터치 식별을 위한 모델로 결정할 수 있다. 예를 들면, 유사도 값이 가장 높은 포스 터치 모델뿐만 아니라, 가장 높은 유사도 값과 차이가 기준값 이하인 유사도 값을 가지는 포스 터치 모델도, 추가적으로 포스 터치 식별을 위한 모델로 결정될 수 있다. 일 실시 예에 의하면, 유사도 값을 기준으로, 최우선 순위의 포스 터치 모델이 아닌 모델도, 최우선 순위의 유사도 값과의 차이가 실질적으로 나지 않는 경우(ex. 차이가 기준값 이하인 경우)에는, 사용자의 터치 입력에 대한 포스 터치의 식별에 이용됨이 바람직할 수 있다.
따라서, 일 실시 예에 의하면, 전자 장치(1000)는, 사용자의 터치 입력의 특성과 유사한 특성을 가진 학습 데이터에 기초하여 학습된, 2개 이상의 포스 터치 모델을 이용함으로써, 사용자의 터치 입력의 특성에 더 적합한 포스 터치의 식별 동작을 수행할 수 있다. 일 실시 예에서, 2개 이상의 포스 터치 모델을 이용하여 포스 터치를 식별하는 방법은, 이하 도 4 내지 도 6에서 더 자세히 설명하기로 한다.
일 실시 예에 의한 전자 장치(1000)는, 최종적으로 획득된 포스 터치 모델을 이용하여, 이후 입력된 사용자의 터치 입력에 대해 포스 터치를 식별할 수 있다. 예를 들면, 전자 장치(1000)는, 포스 터치 모델에, 현재 입력된 사용자의 터치 입력에 관한 정보를 입력함으로써, 사용자의 터치 입력이 속하는 포스 터치의 클래스를 결정하고, 결정된 클래스에 대응하는 동작을 수행할 수 있다.
또한, 일 실시 예에 의한 포스 터치 모델이, 사용자의 터치 입력에 관한 정보에 한하지 않고, 사용자의 터치 입력이 수행되는 동안에 감지된 센서 정보(ex. 기압 정보)에 더 기초하여, 학습된 모델인 경우, 사용자의 터치 입력에 관한 정보에 더해, 상술한 센서 정보에 기초하여, 사용자의 터치 입력에 대한 포스 터치가 식별될 수 있다. 예를 들면, 센서 정보와 터치 입력에 관한 정보가 이어붙여져서(concatenate) 포스 터치 모델에 입력되거나, 센서 정보와 터치 입력에 관한 정보가 교대로 배열되어 포스 터치 모델에 입력됨으로써, 포스 터치의 식별 결과가 출력될 수 있다.
상술한 예에 한하지 않고, 포스 터치 모델은, 사용자의 터치 입력과 관련된 다양한 종류의 정보에 더 기초하여, 학습될 수 있으며, 학습될 때 이용된 다양한 종류의 정보에 기초하여, 사용자의 터치 입력에 대한 포스 터치가 식별될 수 있다.
일 실시 예에 의한 전자 장치(1000)의 포스 터치를 식별하는 동작 중 일부는, 외부의 서버(미도시)에 의해 대신 수행될 수 있다.
일 실시 예에 의하면, 복수 개의 포스 터치 모델은, 서버에서 관리되고 저장될 수 있다. 일 실시 예에 의한 서버는, 전자 장치(1000)에 비해 성능이 더 좋고, 데이터를 저장할 수 있는 용량이 더 큼에 따라, 복수 개의 포스 터치 모델을 저장하거나, 지속적으로 업데이트하는데, 전자 장치(1000)보다 더 적합할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)의 요청에 따라서, 서버는 복수 개의 포스 터치 모델 중 적어도 하나의 포스 터치 모델에 기초하여, 포스 터치를 식별한 결과를 전자 장치(1000)로 전달할 수 있다. 예를 들면, 전자 장치(1000)에서 수신된 적어도 하나의 샘플 입력에 관한 정보(또는, 샘플 입력에 대한 특정징 정보)가 서버에 전송됨으로써, 사용자의 포스 터치를 식별하기 위한 포스 터치 모델이 서버에서 결정될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 각각의 클래스에 대하여, 샘플 입력을 수신하고, 각 클래스에 대한 샘플 입력에 관한 정보를 서버로 전송할 수 있다. 예를 들어, 전자 장치(1000)는 클래스 A에 대하여 수신된 샘플 입력에 관한 정보 및 클래스 B에 대하여 수신된 샘플 입력에 관한 정보를, 서버로 전송할 수 있다.
일 실시 예에 의한 전자 장치(1000)에 의해 전송되는, 샘플 입력에 관한 정보는, 서버가 포스 터치 모델을 결정하는데 필요한, 각각의 클래스 별로 수신된, 샘플 입력과 관련된 정보를 포함할 수 있다. 예를 들면, 샘플 입력에 관한 정보는, 샘플 입력의 특징(ex. 강도, 기울기, 터치 영역, 속도 등)을 나타내는 다양한 형태의 정보를 포함할 수 있다. 또한, 샘플 입력에 관한 정보는, 샘플 입력이 수신된 터치 스크린의 영역별로, 샘플 입력의 강도를 나타내는 픽셀 값을 포함하는, 이미지를 포함할 수 있다.
일 실시 예에 의한 서버는, 전자 장치(1000)로부터 수신된 정보(ex. 샘플 입력의 특징을 나타내는 정보, 이미지)에 기초하여, 샘플 입력의 특징 정보를 획득하고, 샘플 입력의 특징 정보에 기초하여, 포스 터치 모델을 결정할 수 있다. 상술한 예에 한하지 않고, 전자 장치(1000)에서 수신된 샘플 입력과 관련된 다양한 정보가 서버로 전송될 수 있다.
또한, 이후 전자 장치(1000)에서 수신된 사용자의 터치 입력에 관한 정보가 서버로 전송됨으로써, 상기 결정된 포스 터치 모델에 기초하여, 사용자의 터치 입력에 대해 포스 터치가 식별된 결과가, 전자 장치(1000)로 전송될 수 있다. 일 실시 예에 의한 서버는, 전자 장치(1000)로부터 터치 입력에 관한 정보를 수신함에 따라서, 전자 장치(1000)에 대하여 미리 결정된 포스 터치 모델을 획득하고, 획득된 포스 터치 모델에 기초하여, 터치 입력에 대한 포스 터치를 식별할 수 있다.
일 실시 예에 의한, 서버는, 터치 입력에 대해 포스 터치가 식별된 결과로서, 터치 입력이 속하는 클래스에 관한 정보 또는 터치 입력에 대응하여 실행될 동작에 관한 정보를 전자 장치(1000)로 전송할 수 있다.
예를 들어, 전자 장치(1000)에서, 서버로부터 터치 입력이 속하는 클래스에 관한 정보가 수신된 경우, 전자 장치(1000)는, 터치 입력이 속하는 클래스와 대응되는 동작을 결정하고, 결정된 동작을 실행할 수 있다.
또 다른 예로, 전자 장치(1000)는, 서버로부터, 터치 입력이 속하는 클래스와 대응되는 동작에 관한 정보를 수신할 수도 있다. 서버에 의해, 포스 터치가 식별된 결과에 기초하여, 터치 입력이 속하는 클래스와 대응되는 동작이 결정되고, 전자 장치(1000)가, 상기 결정된 동작에 관한 정보를 서버로부터 수신하는 경우, 전자 장치(1000)는, 수신된 정보에 따라 터치 입력에 대응하는 동작을 실행할 수 있다.
이때, 서버는, 상술한 동작을 결정하는데 필요한 정보(ex. 전자 장치(1000)에서 실행 중인 어플리케이션, 전자 장치(1000)에서 실행 가능한 동작의 종류 등)를 전자 장치(1000)로부터 먼저 수신하고, 수신된 정보에 기초하여, 터치 입력이 속하는 클래스와 대응되는 동작을 결정할 수 있다. 예를 들면, 전자 장치(1000)는, 서버에 터치 입력에 대한 포스 터치 식별을 요청할 때, 터치 입력에 관한 정보와 함께, 터치 입력이 속하는 클래스와 대응되는 동작을 결정하는데 필요한 정보를 서버로 전송할 수 있다.
또 다른 예로, 서버에서 사용자의 포스 터치를 식별하기 위한 포스 터치 모델이 서버에서 결정되면, 결정된 포스 터치 모델이 서버에서 전자 장치(1000)로 전송될 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 포스 터치 모델에 기초하여, 이후 전자 장치(1000)에서 수신된 사용자의 터치 입력에 대한 포스 터치를 식별할 수 있다. 일 실시 예에 의한 서버에서 전자 장치(1000)로 전송된 포스 터치 모델은, 적어도 하나의 포스 터치 모델에 기초하여 새롭게 생성된 모델(예를 들면, 이하 도 6의 평균 모델)을 포함할 수 있다. 일 실시 예에 의한 서버는, 사용자의 샘플 입력에 관한 특징 정보에 기초하여, 적어도 하나의 포스 터치 모델을 결정하고, 결정된 적어도 하나의 포스 터치 모델로부터 새로운 모델(ex. 평균 모델)을 생성할 수 있다. 서버는, 새로 생성된 모델을 전자 장치(1000)로 전송할 수 있고, 전자 장치(1000)는, 서버로부터 수신된 모델에 기초하여, 사용자의 터치 입력에 대해 포스 터치를 식별할 수 있다.
또한, 일 실시 예에 의한 서버는, 사용자의 샘플 입력에 관한 특징 정보에 기초하여, 복수 개의 포스 터치 모델을 결정하고, 서버에서 복수 개의 포스 터치 모델로부터 새로운 모델을 생성하는 대신, 복수 개의 포스 터치 모델을 전자 장치(1000)로 전송할 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 복수 개의 포스 터치 모델을 이용하여, 포스 터치를 식별하기 위한 모델(예를 들면, 이하 도 7의 앙상블 모델)을 획득할 수 있다. 예를 들면, 전자 장치(1000)는, 복수 개의 포스 터치 모델을 이용하여, 이하 도 7에 도시된 앙상블 모델을 획득하고, 앙상블 모델을 이용하여, 사용자의 터치 입력에 대해 포스 터치를 식별할 수 있다.
상술한 예에 한하지 않고, 전자 장치(1000)는, 서버의 자원을 이용하여, 다양한 방법에 따라 사용자의 터치 입력에 대한 포스 터치를 식별하는 동작을 수행할 수 있다.
일 실시 예에 의하면, 사용자의 샘플 입력에 의해 결정된 포스 터치 모델에 기초하여, 이후 수신되는 사용자의 터치 입력에 대하여 포스 터치가 식별될 수 있고, 식별 결과에 따라, 사용자의 터치 입력과 대응되는 동작이 수행될 수 있다.
예를 들어, 사용자의 포스 터치 입력이, 포스 터치 모델에 의해, 클래스 A(보통의 압력으로 수신된 입력) 및 B(강한 압력으로 수신된 입력)의 두가지 클래스로 분류될 수 있고, 사용자의 터치 입력이 속하는 클래스에 따라서, 서로 다른 동작이 수행될 수 있다.
일 예로, 브라우저 어플리케이션에서 웹 페이지가 터치 스크린에 표시되고, 터치 스크린의 화면 하단에서, 사용자의 터치 입력, 예를 들면, 아래쪽으로 드래그하는 터치 입력이 감지될 수 있다. 이때, 전자 장치(1000)는, 사용자의 터치 입력에 대한 포스 터치의 식별 결과, 사용자의 터치 입력이 클래스 B에 속하는 것으로 판단함에 따라, 사용자의 터치 입력에 따라서, 웹 페이지를 빠르게 아래쪽으로 스크롤하는 동작을 수행할 수 있다. 반면에, 전자 장치(1000)는, 사용자의 터치 입력에 대한 포스 터치의 식별 결과, 사용자의 터치 입력이 클래스 A에 속하는 것으로 판단하는 경우, 사용자의 터치 입력에 따라서, 웹 페이지를, 클래스 B의 경우보다는 상대적으로 느리게 아래쪽으로 스크롤하는 동작을 수행할 수 있다.
또 다른 예로, 전자 장치(1000)는, 터치 스크린에 표시된, 홈 화면의 어플리케이션 아이콘에 대해 감지된 사용자의 터치 입력에 대하여 포스 터치를 식별할 수 있다. 전자 장치(1000)는, 포스 터치의 식별 결과, 사용자의 터치 입력이 클래스 B에 속하는 것으로 판단함에 따라서, 어플리케이션을 실행하는 동작 대신에, 어플리케이션의 상세 정보를 표시하는 동작을 수행할 수 있다. 반면에, 전자 장치(1000)는, 포스 터치의 식별 결과, 사용자의 터치 입력이 클래스 A에 속하는 것으로 판단함에 따라서, 어플리케이션을 실행하는 동작을 수행할 수 있다.
상술한 예에 한하지 않고, 사용자의 터치 입력에 대하여, 포스 터치가 식별된 결과에 따라, 다양한 종류의 동작이 수행될 수 있다.
도 2는 일 실시 예에 의한 샘플 입력을 수신하는 일 예를 나타낸 도면이다.
일 실시 예에 의한 포스 터치 입력이, 클래스 A 및 B의 두가지 클래스로 분류되고, 각각의 클래스에 대응되는 동작이 수행될 수 있는 경우, 전자 장치(1000)는, 클래스 A 및 B의 두 가지 클래스와 각각 대응되는 샘플 입력을, 210 및 220에 도시된 사용자 인터페이스를 통하여, 사용자로부터 수신할 수 있다. 예를 들어, 클래스 A에 대하여, 보통(normal)의 압력으로 가해진 터치 입력이 분류될 수 있고, 클래스 B에 대하여, 더 큰 압력으로 가해진 터치 입력이 분류될 수 있다. 터치 입력의 압력의 세기는 사용자 마다 다르게 판단될 수 있으므로, 샘플 입력의 특징에 따라 결정된 포스 터치 모델에 따라서, 사용자의 터치 입력이 속하는 클래스가 결정될 수 있다.
일 실시 예에 의하면, 클래스 A 및 B에 대하여 수신된 샘플 입력에 기초하여, 사용자의 터치 입력에 대한 포스 터치를 식별하기 위한, 포스 터치 모델이 결정될 수 있다.
도 2를 참조하면, 210에서, 일 실시 예에 의한 전자 장치(1000)는, 클래스 A에 대한 샘플 입력을 사용자로부터 수신할 수 있다. 예를 들면, 전자 장치(1000)는, 사용자에게 "파란원을 평소와 같이 눌러주세요"란 가이드 메시지를 제공하면서, 파란 원을 랜덤한 위치에 여러 번 표시하여, 사용자가 보통의 압력으로, 여러 위치에 터치 입력을 가하도록 가이드할 수 있다. 또는, 240에 도시된 예와 같이, 복수 개의 파란 원들이 한 화면에서, 각각 랜덤한 위치에 표시되어, 사용자가 각각의 파란 원의 위치에서 터치 입력을 가하도록 가이드될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 터치 입력이 감지되고 있는 중이라는 것을 인터페이스의 변화(ex. 터치 입력된 영역이 여러가지 컬러로 변화되는 애니메이션, 터치 입력된 영역의 가장자리가 빛나는 네온 효과 등)로 표시할 수 있다. 예를 들어, 230에 도시된 예와 같이, 사용자가 터치를 입력함에 따라서, 터치 입력된 영역의 색상이 바뀌고, 터치 입력이 완료될 때, 터치 입력된 모든 영역이 다른 색상으로 변환되어 표시될 수 있다. 240에 도시된 예와 같이, 복수 개의 파란원들이 동시에 표시되어 있는 경우, 사용자의 터치 입력에 따라 순차적으로, 각 원들의 색상이 변환되어 표시될 수 있다.
또한, 전자 장치(1000)는, 샘플 입력을 위한 사용자의 터치 입력 수신이 완료된 경우, 사운드, 진동, 햅틱, 디스플레이 등 다양한 출력 수단을 통해, 사용자에게 샘플 입력의 수신이 완료되었음을 나타내는 피드백을 제공할 수 있다.
일 실시 예에 의하면, 터치 스크린의 랜덤한 위치에 원이 표시될 때마다, 가이드 메시지에 따라서, 사용자는 보통의 압력으로 터치 입력을 가할 수 있다. 사용자는, 보통의 압력이 가해진 터치 입력으로 분류되기를 원하는 특징을 가지는 샘플 입력을 전자 장치(1000)에 제공할 수 있다. 따라서, 사용자가 원하는 특징을 가지는 샘플 입력에 따라, 포스 터치 모델이 결정됨으로써, 포스 터치에 대응하여, 사용자가 의도하는 동작이 수행될 수 있다.
마찬가지로, 220에서, 일 실시 예에 의한 전자 장치(1000)는, 클래스 B에 대한 샘플 입력을 사용자로부터 수신할 수 있다. 예를 들면, 전자 장치(1000)는, 사용자에게 "파란원을 세게 눌러주세요"란 가이드 메시지를 제공하면서, 파란 원을 랜덤한 위치에 여러 번 표시하여, 사용자가 더 센 압력으로, 여러 위치에 터치 입력을 가하도록 가이드할 수 있다. 또는, 240에 도시된 예와 같이, 복수 개의 파란 원들이 각각 랜덤한 위치에 표시되어, 사용자가 각각의 파란 원의 위치에서 터치 입력을 가하도록 가이드될 수 있다.
일 실시 예에 의하면, 터치 스크린의 랜덤한 위치에 원이 표시될 때마다, 가이드 메시지에 따라서, 사용자는 센 압력으로 터치 입력을 가할 수 있다. 사용자는, 센 압력이 가해진 터치 입력으로 분류되기를 원하는 특징을 가지는 샘플 입력을 전자 장치(1000)에 제공할 수 있다.
도 3은 일 실시 예에 의한 포스 터치 모델의 일 예를 나타낸 도면이다.
도 3을 참조하면, 일 실시 예에 의한 포스 터치 모델 1 내지 K는 각각 사용자의 특성에 따라 분류된 학습 데이터에 기초하여, 미리 학습된 모델일 수 있다.
일 실시 예에 따라 다양한 사용자들로부터 수집된 학습 데이터는, 도 3에 도시된 바와 같이, 나이, 성별, 인종, 체중, 주사용 손 등 다양한 기준에 따라서, 분류될 수 있다. 일 실시 예에 의한 학습 데이터가 분류되는 기준은, 사용자의 터치 입력의 특성에 영향을 줄 수 있는 사용자의 다양한 특성에 따라 결정될 수 있다. 예를 들어, 사용자의 나이, 성별 및 체중에 따라서, 손가락에 의해 가해질 수 있는 터치 입력의 강도가 서로 다를 수 있으므로, 나이, 성별 및 체중은, 학습 데이터의 분류 기준으로 이용될 수 있다. 또한, 각각 분류된 학습 데이터에 따라서, 서로 다른 포스 터치 모델이 학습될 수 있다.
예를 들어, 10대, 10kg 이하의 남자 사용자로부터 획득된 학습 데이터에 기초하여, 포스 터치 모델 1이 학습될 수 있다. 또한, 10대, 20kg 내지 30kg의 남자 사용자로부터 획득된 학습 데이터에 기초하여, 포스 터치 모델 2가 학습될 수 있다. 또한, 10대, 엄지 손가락이 주 사용 손가락인 남자 사용자로부터 획득된 학습 데이터에 기초하여, 포스 터치 모델 K가 학습될 수 있다.
상술한 예에 한하지 않고, 포스 터치 모델들은, 다양한 기준에 따라 분류된 학습 데이터에 따라서, 미리 학습될 수 있다.
도 4는 일 실시 예에 의한 포스 터치 모델의 특징 정보와 샘플 입력의 특징 정보를 비교하는 일 예를 나타낸 도면이다.
도 4을 참조하면, 샘플 입력의 클래스 별 특징 벡터들(411, 412, 413)은 각각 포스 터치 모델 A 및 B의 클래스 별 특징 벡터들(421, 422, 423, 431, 432, 433)과 비교될 수 있다. 일 실시 예에 의하면, 비교 결과에 따라, 포스 터치 모델 A 및 B 중에서, 포스 터치를 식별하는데 이용될, 포스 터치 모델이 결정될 수 있다.
일 실시 예에 의한 포스 터치 모델 A 및 B의 클래스 별 특징 벡터들(421, 422, 423, 431, 432, 433)은, 포스 터치 모델 A 및 B가 각각 학습되는데 이용된 학습 데이터에 포함된 특징 벡터들의 대표값(ex. 평균값, 중간값, 최빈값 등)일 수 있다. 일 실시 예에 의한 포스 터치 모델의 학습 데이터는, 각 클래스 별로 획득된, 터치 입력의 특징 벡터를 포함할 수 있다.
일 실시 예에 의한 특징 정보는, 적어도 하나의 차원을 가진 특징 벡터를 포함할 수 있고, 특징 정보들 간 비교는, 특징 벡터들 간의 거리에 기초하여, 수행될 수 있다.
일 실시 예에 의하면, 포스 터치 모델 A의 특징 벡터들(421, 422, 423)은, 각각의 클래스와 대응되는, 샘플 입력의 특징 벡터들(411, 412, 413)과 비교될 수 있다. 일 실시 예에 의하면, 420에서, 포스 터치 모델 A의 특징 벡터들(421, 422, 423)과, 샘플 입력의 특징 벡터들(411, 412, 413)이 표현될 수 있고, 클래스 별로 대응되는 두 벡터들 간의 거리가 획득될 수 있다. 또한, 포스 터치 모델 B도 마찬가지로, 430에서, 포스 터치 모델 B의 특징 벡터들(431, 432, 433)과, 샘플 입력의 특징 벡터들(411, 412, 413)이 표현될 수 있고, 클래스 별로 대응되는 두 벡터들 간의 거리가 획득될 수 있다.
일 실시 예에 의하면, 상기 획득된 거리에 기초하여, 포스 터치 모델 A 및 샘플 입력의 특징 벡터들 간의 유사도 및 포스 터치 모델 B 및 샘플 입력의 특징 벡터들 간의 유사도가 결정될 수 있다.
예를 들면, 샘플 입력의 특징 벡터들(411, 412, 413) 및 포스 터치 모델 A의 특징 벡터들(421, 422, 423)이 각각 차례대로, 클래스 A, B, C에 대한 특징 벡터들인 경우, 클래스 별로, 411 및 421, 412 및 422, 413 및 423 간의 거리가 획득될 수 있다. 포스 터치 모델 B에 대하여도, 마찬가지로, 430에서, 클래스 별로, 411 및 431, 412 및 432, 413 및 433 간의 거리가 획득될 수 있다.
일 실시 예에 의하면, 클래스 별로 획득된 특징 벡터들 간의 거리 값들이 클수록, 두 특징 정보 간의 유사도가 작은 것으로 판단될 수 있다. 예를 들면, 클래스 A, B, C에 대하여 획득된 거리 값들의 평균 값에 기초하여, 두 특징 정보 간의 유사도가 판단될 수 있다.
420 및 430을 참조하면, 특징 벡터들 간의 거리들이 포스 터치 모델 A에 비해, 포스 터치 모델 B가 더 짧음에 따라서, 포스 터치 모델 B의 유사도가 포스 터치 모델 A의 유사도에 비해 더 높은 것으로 판단될 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 유사도에 기초하여, 포스 터치 모델 B를 사용자의 포스 터치를 식별하기 위한 모델로 결정할 수 있다.
다만, 두 유사도 값 간의 차이가 기준값 이하인 경우, 일 실시 예에 의한 전자 장치(1000)는, 포스 터치 모델 A 및 B를 모두 이용하여, 포스 터치를 식별할 수도 있다.
도 5는 일 실시 예에 의한 2개 이상의 포스 터치 모델을 선택하는 일 예를 나타낸 도면이다.
도 5를 참조하면, 사용자에 의해 입력된 샘플 입력의 특징 정보(510)와의 유사도 값에 따라서, 포스 터치 모델 A 및 B가 선택될 수 있다.
일 실시 예에 의한 샘플 입력의 특징 정보(510)는, 도 5에 도시된 바와 같이, 포스 터치 모델 A의 특징 정보 및 포스 터치 모델 B의 특징 정보와, 각각 비슷한 유사도를 가질 수 있다. 일 실시 예에 의하면, 샘플 입력의 특징 정보(510)가 포스 터치 모델 A 또는 B의 특징 정보와 정확하게 매칭되지 않고, 포스 터치 모델 A 및 B에 대하여 획득된, 샘플 입력의 특징 정보와의 유사도 값들이 기준값 이하로 차이남에 따라, 두 모델은 포스 터치를 식별하기 위한 모델로서, 함께 선택될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 선택된 포스 터치 모델 A 및 B를 모두 이용하여, 포스 터치를 식별할 수 있다.
도 6은는 일 실시 예에 의한 2개 이상의 포스 터치 모델을 이용하여 포스 터치를 식별하는 일 예를 나타낸 도면이다.
도 6을 참조하면, 유사도에 기초하여, 포스 터치 모델 A 내지 M이 선택된 경우, 전자 장치(1000)는 포스 터치 모델 A 내지 M에 기초하여, 평균 모델을 획득할 수 있다. 일 실시 예에 의하면, 평균 모델(610)에 기초하여, 사용자의 입력에 대한 포스 터치가 식별될 수 있다.
일 실시 예에 의한 평균 모델(610)은, 포스 터치 모델 A 내지 M에 각각 포함된 가중치 값들의 평균 또는 가중치 평균 값에 기초하여, 획득될 수 있다. 예를 들면, 각각의 포스 터치 모델을 구성하는 가중치 값들이 포스 터치 모델 간에 각각 대응될 수 있고, 서로 대응되는 가중치 값들 간의 평균값에 기초하여, 평균 모델(610)이 새롭게 구성될 수 있다. 또한, 상술한 평균값에 한하지 않고, 가중치 값들의 중간 값, 최빈 값 등에 기초하여, 평균 모델(610)이 획득될 수도 있다. 또한, 포스 터치 모델을 구성하는 가중치 값에 한하지 않고, 포스 터치 모델 간에 서로 대응될 수 있는 다양한 종류의 값들 간의 평균값 또는 중간 값, 최빈 값 등에 기초하여, 평균 모델(610)이 획득될 수 있다.
도 7은 일 실시 예에 의한 2개 이상의 포스 터치 모델을 이용하여 포스 터치를 식별하는 일 예를 나타낸 도면이다.
도 7을 참조하면, 샘플 입력에 따라 선택된, 2개 이상의 포스 터치 모델을 포함하는 앙상블 모델(710)에 의해, 사용자의 터치 입력에 대한 포스 터치가 식별된 결과가 출력될 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 포스 터치를 식별하기 위한 적어도 하나의 포스 터치 모델이 결정된 후, 적어도 하나의 포스 터치 모델로부터 앙상블 모델을 획득함으로써, 이후 수신된 사용자의 터치 입력에 대하여, 앙상블 모델에 따라, 포스 터치를 식별할 수 있다.
일 실시 예에 의한 앙상블 모델(710)은, 사용자의 입력에 대해, 2개 이상의 포스 터치 모델에 의해 출력된 복수 개의 출력 정보(ex. 포스 터치의 클래스에 관한 정보) 중에서, 선택된 하나의 출력 정보를 포스 터치가 식별된 결과로서, 출력할 수 있다.
일 실시 예에 의한 전자 장치(1000)는 711에서, 복수 개의 출력 정보에 기초하여, 포스 터치의 식별 결과로서 출력될 정보를 결정할 수 있다. 일 실시 예에 의한 복수 개의 출력 정보는, 각각의 클래스에 대한 확률 정보를 포함할 수 있다. 일 실시 예에 의한 확률 정보는, 사용자의 터치 입력이 각 클래스에 속할 가능성을 나타내는 확률 값을 포함할 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 복수 개의 출력 정보 중에서, 각 출력 정보에 포함된 확률 값에 기초하여, 앙상블 모델(710)의 출력 정보를 결정할 수 있다.
일 실시 예에 의하면, 복수 개의 출력 정보에 포함된 각 클래스에 대한 확률 값들의 평균값에 기초하여, 앙상블 모델(710)의 출력 정보가 결정될 수 있다. 일 예로, 포스 터치 모델 A, B의 출력 정보에 포함된 클래스 A, B, C에 대한 확률 값이 (0.5 0.25 0.25) 및 (0.3 0.4 0.3) 인 경우, 앙상블 모델(710)의 출력 정보는, (0.4 0.325 0.275)을 포함할 수 있다.
또 다른 예로, 전자 장치(1000)는 복수 개의 출력 정보에서 정확도가 높은 것으로 판단되는 확률 값에 기초하여, 앙상블 모델(710)의 출력 정보를 결정할 수 있다. 예를 들어, 복수 개의 출력 정보 중 정확도가 높은 확률 값을 포함하는 것으로 판단되는 출력 정보가, 앙상블 모델(710)의 출력 정보로 결정될 수 있다. 일 실시 예에 의한 확률 값은, 출력 정보 내의 다른 클래스와의 확률 값의 차이가 클수록 정확하다고 판단될 수 있으나, 이에 한하지 않고, 다양한 방법에 따라, 확률 값의 정확도가 판단될 수 있다.
일 예로, 포스 터치 모델 A 및 B의 출력 정보에 포함된 클래스 A, B, C에 대한 확률 값이 각각 (0.5 0.25 0.25) 및 (0.3 0.4 0.3) 인 경우, 포스 터치 A의 출력 정보의 정확도가 더 높은 것으로 판단됨에 따라서, 포스 터치 모델 A의 출력 정보가 앙상블 모델의 출력 정보로 결정될 수 있다. 따라서, 포스 터치 모델 A의 출력 정보에 따라, 클래스 A에 대응되는 동작이 수행될 수 있다.
상술한 예에 한하지 않고, 다양한 방법에 따라서, 복수 개의 출력 정보로부터 앙상블 모델(710)의 출력 정보가 결정될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 도 6에 의한 평균 모델(610) 또는 도 7에 의한 앙상블 모델(710) 중 어느 하나에 따라서, 2개 이상의 포스 터치 모델에 기초한, 포스 터치를 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)의 성능에 따라서, 평균 모델 및 앙상블 모델 중 하나의 방식이 결정될 수 있다.
일 실시 예에 의한 앙상블 모델에 따르면, 앙상블 모델에 포함된 포스 터치 모델의 개수만큼 각각의 포스 터치 모델에서의 추론 동작이 반복적으로 수행될 수 있다. 따라서, 한번의 추론 동작이 수행되는 평균 모델에 비해 앙상블 모델에 의한 동작은 연산량이 더 클 수 있다. 대신, 앙상블 모델에 의하면, 각각의 포스 터치 모델의 출력 정보에 포함된 확률 값을 더 고려하여, 출력 정보가 선택될 수 있으므로, 평균 모델에 비해 더 정확도가 높을 수 있다.
일 실시 예에 의한 전자 장치(1000)는 포스 터치 모델이 추론되는 전자 장치(1000)의 성능을 고려하여, 평균 모델 및 앙상블 모델 중 하나에 따라, 포스 터치를 식별하기 위한 포스 터치 모델을 획득할 수 있다. 예를 들면, 전자 장치(1000)의 성능이 앙상블 모델을 처리하기에 적합하다고 판단되는 경우, 앙상블 모델에 따라, 획득된 포스 터치 모델에 의하여, 포스 터치가 식별될 수 있다.
일 실시 예에 의한, 평균 모델 또는 앙상블 모델에 따른 포스 터치를 식별하기 위한 동작이 전자 장치(1000)가 아닌 다른 외부 장치(ex. 서버, 클라우드 등)에서 수행되는 경우에는, 상기 외부 장치의 성능을 고려하여, 평균 모델 및 앙상블 모델 중에서, 하나의 모델이 결정될 수 있다.
상술한 장치의 성능에 한하지 않고, 전자 장치(1000)는, 다양한 기준에 기초하여, 평균 모델 및 앙상블 모델 중에서, 하나의 모델을 결정할 수 있다.
도 8은 일 실시 예에 의한 전자 장치(1000)의 내부 구성을 설명하기 위한 블록도이다.
도 9는 일 실시 예에 의한 전자 장치(1000)의 내부 구성을 설명하기 위한 블록도이다.
도 8을 참조하면, 전자 장치(1000)는, 프로세서(1300), 사용자 입력부(1100) 및 메모리(1700)를 포함할 수 있다. 그러나, 도 8에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 8에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 8에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
예를 들면, 전자 장치(1000)는 도 9에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 프로세서(1300), 사용자 입력부(1100) 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시 예에 의한 사용자 입력부(1100)는, 사용자의 터치 입력을 수신할 수 있다. 일 실시 예에 의하면, 사용자 입력부(1100)를 통해 수신된 사용자의 터치 입력에 대해, 전자 장치(1000)는 포스 터치를 식별하고, 식별된 결과에 대응되는 동작을 수행할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다. 일 실시 예에 의한 출력부(1200)는, 포스 터치를 식별한 결과에 대응되는 동작에 관한 정보를 출력할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(1000)의 구현 형태에 따라 전자 장치(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 진동 모터(1230)는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다. 일 실시 예에 의한 음향 출력부(1220) 및 진동 모터(1230)는, 포스 터치를 식별한 결과에 대응되는 동작에 관한 정보를 출력할 수 있다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
전자 장치(1000)는 적어도 하나의 프로세서(1300)를 포함할 수 있다. 예를 들면, 전자 장치(1000)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), NPU(Neural Processing Unit) 등의 다양한 종류의 프로세서를 포함할 수 있다.
프로세서(1300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(1700)로부터 프로세서(1300)에 제공되거나, 통신부(1500)를 통해 수신되어 프로세서(1300)로 제공될 수 있다. 예를 들면 프로세서(1300)는 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 명령을 실행하도록 구성될 수 있다.
일 실시 예에 의한 프로세서(1300)는 사용자로부터 포스 터치를 식별하기 위해 수신된 샘플 입력에 대해 특징 정보와, 복수의 포스 터치 모델의 학습에 이용된 학습 데이터에 포함된 터치 입력에 대한 특징 정보를 획득할 수 있다. 또한, 프로세서(1300)는, 상기 획득된 두 특징 정보 간의 유사도에 기초하여, 복수의 포스 터치 모델 중에서, 사용자의 포스 터치를 식별하기 위한 포스 터치 모델을 결정할 수 있다. 일 실시 예에 의한 프로세서(1300)는 결정된 포스 터치 모델에 기초하여, 사용자의 터치 입력에 대해 포스 터치를 식별하고, 식별된 결과에 대응되는 동작을 수행할 수 있다.
일 실시 예에 의한 프로세서(1300)는 포스 터치 모델이 2개 이상이 결정되는 경우, 결정된 포스 터치 모델로부터 평균 모델 또는 앙상블 모델을 획득하고, 이에 기초하여 사용자의 포스 터치를 식별할 수 있다.
또한, 일 실시 예에 의한 프로세서(1300)는, 사용자의 터치 입력이 수신되는 동안 함께 수집된 센서 정보(ex. 기압 정보)에 더 기초하여, 사용자의 터치 입력에 대한 포스 터치를 식별할 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Geomagnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 의한 센싱부(1400)는, 사용자의 터치 입력이 수신되는 동안, 다양한 종류의 센싱 정보를 수집할 수 있고, 수집된 센싱 정보는, 사용자의 터치 입력에 대한 포스 터치를 식별하는데 이용될 수 있다.
통신부(1500)는, 전자 장치(1000)가 서버(2000) 또는 외부 장치(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
일 실시 예에 의한, 통신부(1500)는 포스 터치를 식별하기 위한 데이터를 외부 장치(미도시)와 송수신할 수 있다. 예를 들어, 통신부(1500)는, 포스 터치를 식별하기 위하여 미리 학습된 복수의 포스 터치 모델을 외부의 서버(미도시)로부터 수신할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다.
일 실시 예에 의한 A/V 입력부(1600)에 의해 생성된 영상 또는 음성 신호는, 포스 터치 모델을 식별하는데 이용될 수 있다. 예를 들면, 전자 장치(1000)는, 사용자의 터치 입력이 수신되는 동안, A/V 입력부(1600)에서 생성된 영상 또는 음성 신호에 기초하여 획득된 정보를 더 이용하여, 사용자의 터치 입력에 대한 포스 터치를 식별할 수 있다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
일 실시 예에 의한 메모리(1700)는 포스 터치를 식별하는데 이용될 수 있는 다양한 종류의 데이터를 저장할 수 있다. 예를 들면, 메모리(1700)는, 포스 터치를 식별하기 위한 복수 개의 포스 터치 모델을 저장할 수 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다.
도 10은 일 실시 예에 의한 포스 터치를 식별하는 방법을 나타낸 순서도이다.
도 10을 참조하면, 단계 1010에서, 일 실시 예에 의한 전자 장치(1000)는, 사용자로부터 적어도 하나의 샘플 입력을 수신할 수 있다. 일 실시 예에 의한 샘플 입력은, 사용자의 특성과 대응되는 적어도 하나의 포스 터치 모델을 획득하기 위한 사용자의 예시적인 터치 입력이다. 일 실시 예에 의하면, 획득된 포스 터치 모델에 기초하여, 이후에 전자 장치(1000)에서 수신된 사용자의 터치 입력에 대한 포스 터치가 식별됨에 따라, 포스 터치에 대응하는 동작이 수행될 수 있다.
일 실시 예에 의하면, 서로 다른 동작과 대응될 수 있는 복수 개의 클래스에 각각 대응되는 샘플 입력이 사용자부터 수신될 수 있다. 예를 들면, 전자 장치(1000)는, 클래스 A에 대응되는 사용자의 샘플 입력을 요청함으로써, 클래스 A에 대한 사용자의 샘플 입력을 수신할 수 있다. 또한, 전자 장치(1000)는, 클래스 B에 대응되는 사용자의 샘플 입력을 요청함으로써, 클래스 B에 대한 사용자의 샘플 입력을 수신할 수 있다. 또한, 전자 장치(1000)는, 클래스 C에 대응되는 사용자의 샘플 입력을 요청함으로써, 클래스 C에 대한 사용자의 샘플 입력을 수신할 수 있다. 상술한 예에 한하지 않고, 다양한 개수의 클래스에 대해, 각각 서로 다른 특성을 가진 샘플 입력이 동일한 사용자로부터 수신될 수 있다.
일 실시 예에 의한 클래스 A, B, C는 각각 서로 다른 동작과 대응될 수 있고, 포스 터치 모델에 의해, 사용자의 터치 입력이 속한 클래스가 결정됨에 따라서, 사용자의 터치 입력에 대응하는 동작이 수행될 수 있다.
단계 1020에서, 일 실시 예에 의한 전자 장치(1000)는, 단계 1010에서 수신된 각각의 샘플 입력에 대한 특징 정보를 획득할 수 있다. 일 실시 예에 의한 샘플 입력의 특징 정보는, 터치 입력에 대한 특징 정보를 출력하도록 미리 학습된 특징 추출 모델에 의하여, 획득될 수 있다.
또한, 일 실시 예에 의하면, 샘플 입력의 특징 정보는, 샘플 입력의 입력 자체의 특성과 관련된 정보뿐만 아니라, 샘플 입력이 입력되는 동안 수집될 수 있는 센서 정보(ex. 기압 정보)에 더 기초하여, 획득될 수 있다. 이 경우, 샘플 입력의 특징 정보를 획득하는데 이용되는 특징 추출 모델은, 샘플 입력의 입력 자체의 특성과 관련된 정보에 더해, 상술한 센서 정보 등을 더 포함한 학습 데이터에 기초하여, 미리 학습된 모델일 수 있다.
상술한 예에 한하지 않고, 샘플 입력의 특징 정보는, 샘플 입력과 관련된 다양한 종류의 정보에 기초하여 획득될 수 있다.
일 실시 예에 의한 샘플 입력의 특징 정보는, 각각의 클래스 별로 획득될 수 있다. 예를 들어, 클래스 A에 대해 획득된 적어도 하나의 샘플 입력에 대하여, 적어도 하나의 특징 정보가 획득될 수 있고, 적어도 하나의 특징 정보(ex. 특징 벡터)에 대한 대표 값(ex. 평균값, 중간값, 최빈값 등)이 클래스 A에 대한 샘플 입력의 특징 정보로서 획득될 수 있다. 마찬가지로, 클래스 B 및 클래스 C 등 다른 클래스에 대하여도, 샘플 입력에 대한 특징 정보가 획득될 수 있다.
단계 1030에서, 일 실시 예에 의한 전자 장치(1000)는, 포스 터치 식별을 위한 복수의 포스 터치 모델을 획득하고, 각각의 포스 터치 모델이 학습되는데 이용된 학습 데이터의 터치 입력에 대한 특징 정보를 획득할 수 있다.
일 실시 예에 의한 복수의 포스 터치 모델은, 각각 서로 다른 사용자의 터치 입력의 특성과 대응되는, 인공지능 모델일 수 있다. 일 실시 예에 의한 각각의 포스 터치 모델은, 서로 다른 터치 입력 특성을 가지는, 사용자로부터 수신된 포스 터치를 식별하고 동작을 수행하는데 이용될 수 있다.
일 실시 예에 의한 전자 장치(1000)는 사용자의 샘플 입력의 특징 정보와 대응되는, 포스 터치 모델을 식별하기 위하여, 각각의 포스 터치 모델에 대한 특징 정보를 획득할 수 있다. 일 실시 예에 의한 포스 터치 모델에 대한 특징 정보는, 포스 터치 모델이 학습되는데 이용된 학습 데이터의 터치 입력에 대한 특징 정보를 획득함으로써, 획득될 수 있다. 상술한 예에 한하지 않고, 포스 터치 모델에 대한 특징 정보는, 포스 터치 모델과 대응되는 사용자의 입력 특성을 획득할 수 있는 다양한 방법에 따라서, 획득될 수 있다.
일 실시 예에 의한 샘플 입력의 특징 정보가, 샘플 입력에 더하여, 센서 정보에 더 기초하여 획득된 경우, 포스 터치 모델의 특징 정보도 동일하게, 학습 데이터의 터치 입력이 수신되는 동안 감지된 센서 정보에 더 기초하여 획득될 수 있다. 이 경우, 포스 터치 모델은, 터치 입력 및 센서 정보에 기초하여 미리 학습된 모델일 수 있다. 예를 들면, 포스 터치 모델의 학습에 이용된 학습 데이터는, 터치 입력에 관한 정보뿐만 아니라, 터치 입력에 대응하는 센서 정보를 더 포함할 수 있다.
일 실시 예에 의한 포스 터치 모델의 특징 정보는, 샘플 입력의 경우와 동일하게, 각각의 클래스 별로 획득될 수 있다. 일 실시 예에 의한 학습 데이터의 터치 입력과 대응되는 클래스 정보에 따라서, 동일한 클래스에 속하는 터치 입력의 특징 정보에 대한 대표 값이, 클래스의 특징 정보로서 획득될 수 있다.
단계 1040에서, 일 실시 예에 의한 전자 장치(1000)는, 단계 1020 및 단계 1030에서, 획득된 두 특징 정보 간의 유사도에 기초하여, 복수의 포스 터치 모델 중에서, 사용자의 터치 입력의 특성과 대응될 수 있는 포스 터치 모델을 획득할 수 있다.
일 실시 예에 의한 유사도는, 각각의 클래스 별로 획득된, 특징 정보 간의 차이에 기초하여, 획득될 수 있다. 예를 들면, 두 특징 정보 간의 거리값이 각각의 클래스 별로 획득될 수 있고, 각 클래스 별로 획득된 거리값들의 대표값(ex. 평균값, 중간값 등)에 기초하여, 두 특징 정보 간의 유사도가 판단될 수 있다. 일 예로, 거리값들의 대표값이 클수록 유사도가 낮은 것으로 판단될 수 있다. 상술한 예에 한하지 않고, 특징 정보 간의 유사한 정도를 획득하기 위한 다양한 방법에 따라서, 유사도가 획득될 수 있다.
일 실시 예에 의하면, 유사도에 기초하여 획득된 2개 이상의 포스 터치 모델이 이하 단계 1050에서, 포스 터치를 식별하는데 이용될 수 있다. 일 실시 예에 의하면, 유사도에 따라 나열된 복수 개의 포스 터치 모델 중 최우선 순위의 포스 터치 모델뿐 아니라, 최우선 순위의 포스 터치 모델의 유사도와 기준값 이상 차이가 나지 않는 적어도 하나의 포스 터치 모델이, 포스 터치 식별을 위한 포스 터치 모델로서, 추가적으로 획득될 수 있다.
단계 1050에서, 일 실시 예에 의한 전자 장치(1000)는 단계 1040에서 획득된 포스 터치 모델에 기초하여, 사용자의 터치 입력에 대한 포스 터치를 식별하고, 포스 터치가 식별된 결과에 따라서, 동작을 수행할 수 있다. 일 실시 예에 의한 전자 장치(1000)는 사용자의 터치 입력에 관한 정보를 포스 터치 모델에 입력함으로써, 사용자의 터치 입력과 대응되는 클래스에 관한 정보를 획득하고, 클래스와 대응되는 동작을 수행할 수 있다.
일 실시 예에 의하면, 단계 1020 및 1030에서 특징 정보가 획득될 때, 센서 정보가 더 이용된 경우, 단계 1050에서도, 사용자의 터치 입력에 대응되는 센서 정보가 더 이용될 수 있다. 일 실시 예에 의하면, 사용자의 터치 입력이 수신되는 동안, 전자 장치(1000)에서 감지된 센서 정보(ex. 기압 정보)가 함께 포스 터치 모델에 입력될 수 있다.
단계 1040에서, 2개 이상의 포스 터치 모델이 결정된 경우, 결정된 포스 터치 모델들로부터, 평균 모델 또는 앙상블 모델이 획득될 수 있고, 획득된 모델에 기초하여, 단계 1050에서, 사용자의 터치 입력에 대한 포스 터치가 식별될 수 있다. 일 실시 예에 의하면, 전자 장치(1000)의 성능에 따라서, 평균 모델 및 앙상블 모델 중 하나의 모델이, 2개 이상의 포스 터치 모델에 기초하여 획득될 수 있다.
일 실시 예에 의한 평균 모델은, 포스 터치 모델을 구성하는 각각의 가중치 값들의 평균값에 기초하여, 획득될 수 있다.
또한, 앙상블 모델은, 단계 1040에서 결정된, 2개 이상의 포스 터치 모델에서 각각 출력된 정보에 기초하여, 앙상블 모델의 출력 정보가 결정되도록, 구성될 수 있다. 일 실시 예에 의한 출력 정보는, 각각의 클래스가 터치 입력의 클래스에 해당될 확률에 관한 정보를 더 포함할 수 있고, 확률 값에 기초하여, 앙상블 모델의 출력 정보가 결정될 수 있다.
일 실시 예에 의한 앙상블 모델의 출력 정보는, 복수 개의 출력 정보에 각각 포함된 확률 값들의 평균값에 기초하여, 결정될 수 있다.
또한, 일 실시 예에 의하면 복수 개의 출력 정보에서 정확도가 높은 것으로 판단되는 확률 값에 기초하여, 앙상블 모델(610)의 출력 정보가 결정될 수 있다. 예를 들면, 각각의 출력 정보에서, 각 클래스에 대한 확률 값과 다른 클래스의 확률 값 간의 차이가 클수록 정확도가 높은 것으로 판단될 수 있다. 따라서, 확률 값에 기초하여, 정확도가 높다고 판단되는 출력 정보에 기초하여, 앙상블 모델의 출력 정보가 결정될 수 있다.
도 11은 일 실시 예에 의한 사용자의 터치 입력이 수신되는 동안 전자 장치(1000)에서 수집된 기압 정보의 일 예를 나타낸 도면이다.
일 실시 예에 의한 전자 장치(1000)는, 사용자의 터치 입력이 감지되면, 터치 입력이 감지되는 동안에 기압 센서(1470)에 의하여 측정된 적어도 하나의 기압 값을 획득할 수 있다. 일 실시 예에 의한 기압 값을 포함하는 기압 정보는, 센서 정보로서 사용자의 터치 입력에 관한 정보와 함께 포스 터치 모델에 입력되어, 포스 터치가 식별되는데 이용될 수 있다. 일 실시 예에 의하면, 사용자의 터치 입력의 강도와 기압 값의 변화량이 서로 비례할 수 있으므로, 기압 정보에 더 기초하여, 사용자의 터치 입력에 대한 포스 터치가 식별될 수 있다.
일 실시 예에 의한 기압 센서(1470)에 의하여 측정된 기압 값은, 예를 들면, 1008.6, 1008.8, 쪋, 1011.2 등의 헥토파스칼 단위로 획득될 수 있으나, 이에 한하지 않고, 다양한 단위 및 표현 방식에 따라 획득될 수 있다. 다만, 하나의 기압 값을 나타내는데, 많은 수의 비트가 이용됨에 따라, 연산량이 증가되므로, 연산량이 감소될 수 있도록, 이하 도 11의 1110 및 1120에 각각 도시된 바와 같이, 기압 값의 변화량 또는 기준값 대비 차이값에 따라서, 기압 값이 변경될 수 있다. 일 실시 예에 따라 터치 입력에 의해 변화될 수 있는 기압 값의 범위는, 상대적으로 작으므로, 변화량 또는 기준값 대비 차이값으로, 기압 값을 변경하는 경우, 기압 값을 처리하는데 소요되는 연산량이 감소될 수 있다.
도 11의 1110을 참조하면, 일 실시 예에 의한 전자 장치(1000)는, t 시점에서, 사용자의 터치 입력이 감지됨에 따라서, t 시점 이후에, 기압 센서(1470)를 이용하여 기압 값을 측정할 수 있다. 일 실시 예에 의한 포스 터치 식별을 위해 획득되는 기압 정보는, 이전에 측정된 기압값과 현재 측정된 기압값과의 차이값에 기초하여, 획득될 수 있다. 예를 들어, 1112의 기압 값은, 1112의 기압 값과 1111의 기압 값 간의 차이값으로 변경되고, 변경된 값에 기초하여, 기압 정보가 획득될 수 있다. 따라서, 일 실시 예에 의하면, 기압 값 간의 차이값으로 기압 정보가 획득됨에 따라, 기압 값을 표현하는데 이용되는 비트 수가 감소되므로, 연산량이 감소될 수 있다.
도 11의 1120을 참조하면, 일 실시 예에 의한 전자 장치(1000)는, 사용자의 터치 입력이 t 시점에서 감지되기 이전부터, 지속적으로 기압값을 획득하여, 저장해둘 수 있다.
예를 들면, 전자 장치(1000)는 지속적으로 기압값을 획득하되, 현재 시점을 기준으로 최근에 획득된 n개(ex. 3개)의 기압값만을 저장하고, 새로운 기압값이 획득될 때마다 오래된 기압 값은 삭제할 수 있다. 일 실시 예에 의한 전자 장치(1000)는 t 시점에서, 사용자의 터치 입력을 감지함에 따라서, t 시점 이전에 획득된 n개의 기압값에 대한 대표값(ex. 평균값, 중간값 등)을 기준으로 하여, 이후 획득되는 기압 값을 변경할 수 있다. 예를 들면, t 시점 이후에 획득된 기압값들은, n개의 기압값의 대표값과의 차이값으로 변경될 수 있다.
일 실시 예에 의하면, 전자 장치(1000)의 주변 환경에 따라서, 기압 센서(1470)에 의해 측정되는 값은 지속적으로 변화될 수 있으므로, 최근에 획득된 기압값을 기준으로, t 시점 이후에 획득된 기압값을 변경할 수 있다. 따라서, 일 실시 예에 의하면, 기압 값 간의 차이값으로 기압 정보가 획득됨에 따라, 기압 값을 표현하는데 이용되는 비트 수가 감소되므로, 연산량이 감소될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 1110 또는 1120에 따라 획득된 기압 정보에 기초하여, 사용자의 터치 입력에 대한 포스 터치를 식별하고, 식별 결과에 따라 동작을 수행할 수 있다.
도 12는 일 실시 예에 의한 기압 정보에 기초하여, 포스 터치를 식별하는 일 예를 나타낸 도면이다.
도 12를 참조하면, 일 실시 예에 의한 제1 포스 터치 모델(1110)은, 사용자의 터치 입력에 관한 정보에 기초하여, 사용자의 터치 입력이 속하는 포스 터치의 클래스에 관한 정보가 출력될 수 있도록 미리 학습된 인공지능 모델일 수 있다.
일 실시 예에 의한 제1 포스 터치 모델(1212)에 입력될 수 있는, 사용자의 터치 입력에 관한 정보는, 사용자의 터치 입력이 수신되는 동안, 각 시점 마다 터치 입력이 감지된 터치 위치 및 강도를 나타내는, 연속된 데이터들(1211)을 포함할 수 있다. 예를 들면, 터치 입력이 감지된 터치 위치 및 강도가 n x n 크기의 이미지 상에 표시된 데이터들(1211)이, 사용자의 터치 입력이 수신되는 동안에, 연속적으로 획득될 수 있다.
일 실시 예에 의한 제1 포스 터치 모델(1212)에, 터치 입력에 관한 정보(1211)가 입력됨에 따라서, 사용자의 터치 입력이 클래스 A, B에 각각 해당될 확률에 관한 정보가 출력 정보로서 획득될 수 있다. 도 12에서, 사용자의 터치 입력이 클래스 A, B에 해당될 확률에 관한 정보는, 각각 클래스 A 확률_터치, 클래스 B 확률_터치로 표현되었다.
일 실시 예에 의한 제2 포스 터치 모델(1223)는, 제1 포스 터치 모델(1212)과는 달리, 사용자의 터치 입력에 관한 정보 없이, 사용자의 터치 입력이 수신되는 동안에 감지된 센서 정보 중 기압 정보(1222)에 기초하여, 사용자의 터치 입력이 속하는 포스 터치의 클래스에 관한 정보가 출력될 수 있도록 미리 학습된 인공지능 모델일 수 있다.
상술한 예에 한하지 않고, 제2 포스 터치 모델(1223)은, 기압 정보(1222) 외에 다양하게 표현된 센서 정보에 기초하여, 포스 터치를 식별한 결과로서, 사용자의 터치 입력이 속하는 포스 터치의 클래스에 관한 정보가 출력될 수 있도록 미리 학습된 인공지능 모델일 수도 있다.
일 실시 예에 의한 제1 포스 터치 모델(1212)은, 사용자로부터 수신된 샘플 입력을 이용하여, 복수 개의 제1 포스 터치 모델 중에서, 결정된 포스 터치 모델일 수 있다. 또한, 제2 포스 터치 모델(1223)은, 결정된 제1 포스 터치 모델(1212)과 대응되도록 미리 학습된 인공지능 모델일 수 있다. 일 실시 예에 의한 기압값의 변화량은, 터치 입력의 강도에 비례할 수 있으므로, 사용자의 터치 입력의 특성에 따라서, 기압 정보에 대응되는 클래스가 결정됨이 바람직할 수 있다. 따라서, 제2 포스 터치 모델(1223)은, 복수의 제1 포스 터치 모델(1212) 별로 존재할 수 있고, 복수의 제1 포스 터치 모델(1212) 중 하나 이상의 제1 포스 터치 모델(1212)이 결정되면, 각각의 제1 포스 터치 모델(1212)과 대응되는, 제2 포스 터치 모델(1223)이 획득될 수 있다.
일 실시 예에 의하면, 제1 포스 터치 모델(1212)에 더해 제2 포스 터치 모델(1223)이 더 이용됨으로써, 터치 입력에 관한 정보에 더해 터치 입력과 관련된 센서 정보에 더 기초하여, 포스 터치가 식별될 수 있다. 일 실시 예에 의하면, 제1 포스 터치 모델(1212)이, 터치 입력에 관한 정보에 더하여 센서 정보를 더 이용하여, 포스 터치가 식별될 수 있도록, 재학습될 필요 없이, 단지 제2 포스 터치 모델(1223)이 추가적으로 이용됨으로써, 터치 입력에 관한 정보에 더해 센서 정보에 더 기초한 포스 터치의 식별이 가능할 수 있다. 따라서, 일 실시 예에 의한 전자 장치(1000)는 터치 입력과 관련된 센서 정보를 더 이용하여, 포스 터치를 식별하고자 하는 경우, 복수의 제1 포스 터치 모델(1212)과 각각 대응되는 복수의 제2 포스 터치 모델(1223)을 추가적으로 획득하여, 사용자의 터치 입력에 대한 포스 터치를 식별할 수 있다.
일 실시 예에 의한 제2 포스 터치 모델(1223)은, 도 3에 도시된 학습 데이터에 기초하여 포스 터치 모델이 학습되는 경우와 동일하게, 미리 학습될 수 있다. 일 실시 예에 의한 제2 포스 터치 모델(1223)이 학습되기 위한, 터치 입력이 수신되는 동안 수집된 기압 정보를 포함하는 학습 데이터는, 터치 입력을 수행하는 사용자의 특성에 따라 분류될 수 있고, 각각 분류된 학습 데이터에 기초하여, 복수의 제2 포스 터치 모델(1223)이 학습될 수 있다. 일 실시 예에 의한 제2 포스 터치 모델(1223)은, 학습 데이터가 분류되는데 이용된 사용자의 특성에 따라서, 대응되는 제1 포스 터치 모델(1212)이 결정될 수 있다.
상술한 예에 한하지 않고, 제2 포스 터치 모델(1223)은, 터치 입력과 관련된 센서 정보에 더 기초하여, 사용자의 터치 입력에 대한 포스 터치를 식별할 수 있도록, 다양한 방법에 따라 학습된 인공지능 모델일 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 사용자의 터치 입력이 수신되는 동안에 기압 센서에 의해 연속적으로 측정된 기압 값(1221)을 획득할 수 있다. 일 실시 예에 의한 복수 개의 기압 값(1221)은, 터치 입력의 데이터들(1211)과 각각 대응되는 기압 값들을 포함할 수 있다.
연산량 감소를 위해, 기압 값(1221)은 도 11의 1110 또는 1120 에 도시된 예에 따라 1222와 같이 변경될 수 있다. 일 실시 예에 의한 기압 정보(1222)는, 터치 입력의 데이터들(1211)의 이미지 크기와 동일한, n x n의 크기의 이미지 상에 변경된 기압 값(1221)이 연속적으로 배열됨에 따라서, 획득될 수 있다. 상술한 예에 한하지 않고, 기압 정보(1222)는, 제2 포스 터치 모델(1220)에 입력되기에 적절하도록, 기압 값(1221)으로부터 다양한 형태로 변형된 데이터를 포함할 수 있다.
일 실시 예에 의한 제2 포스 터치 모델(1223)에, 기압 정보(1222)가 입력됨에 따라서, 사용자의 터치 입력이 클래스 A, B에 각각 해당될 확률에 관한 정보가 출력 정보로서 획득될 수 있다. 도 11에서, 사용자의 터치 입력이 클래스 A, B에 해당될 확률에 관한 정보는, 각각 클래스 A 확률_기압계, 클래스 B 확률_ 기압계로 표현되었다.
일 실시 예에 의한 제2 포스 터치 모델(1223)는, 인공지능 모델 대신, 이하 수학식 1에 따른 함수에 따라, 사용자의 터치 입력이 속하는 포스 터치의 클래스에 관한 확률 정보를 출력할 수 있다.
수학식 1에서 b는, 기압 값을 나타내며, 함수에 입력되는 기압 값들의 최소 값 및 최대 값의 차이에 따라서, 사용자의 터치 입력이 속하는 포스 터치의 클래스에 관한 확률 정보인, p가 결정될 수 있다. p는 시그모이드 함수에 따라, 0에서 1 사이의 값을 가질 수 있다.
일 실시 예에 의하면, 터치 입력의 강도 차이에 따라서, 클래스 A, B로 클래스가 나뉘는 경우, p가 클래스 A의 확률 값으로, 1-p가 클래스 B의 확률 값으로 결정될 수 있다. 예를 들어, p가 클수록, 강도가 더 큰 클래스로 분류된 클래스 A의 확률이 커질 수 있다. 반면, p가 작을수록, 강도가 더 작은 클래스로 분류된 클래스 B의 확률이 더 커질 수 있다.
일 실시 예에 의한 수학식 1에 따른 함수에 따라서, 기압 정보에 기초한, 확률 정보가 획득되는 경우, 기압 값(1221)으로부터 기압 정보(1222)가 변경될 필요없이, 기압 값(1221)에 기초하여, 확률 정보가 획득될 수 있다.
일 실시 예에 의하면, 제1 포스 터치 모델(1212) 및 제2 포스 터치 모델(1223)의 출력 정보인, 클래스 A 확률_터치, 클래스 B 확률_터치, 클래스 A 확률_기압계, 클래스 B 확률_ 기압계에 기초하여, 사용자의 터치 입력이 각 클래스에 해당될 확률 값이 결정될 수 있다.
일 실시 예에 의하면, 도 12에 도시된 바와 같이, 각 클래스에 대한 확률 값은, 제1 포스 터치 모델(1212) 및 제2 포스 터치 모델(1223)에 의해 획득된 확률 값들의 가중치 합에 기초하여 획득될 수 있다. 예를 들어, 사용자의 터치 입력이, 클래스 A에 해당될 확률은, 클래스 A 확률_터치 및 클래스 A 확률_기압계의 가중치 합으로 결정될 수 있다. 또한, 사용자의 터치 입력이, 클래스 B에 해당될 확률은, 클래스 B 확률_터치 및 클래스 B 확률_기압계의 가중치 합으로 결정될 수 있다.
일 실시 예에 의한 각각의 확률 값에 적용되는 가중치 값인 w1, w2, w3, w4는, 각각의 확률 값에 대한 정확도에 따라서, 결정될 수 있다. 일 실시 예에 의하면, w1+w2=1 및 w3+w4=1의 조건이 만족하도록, w1, w2, w3, w4의 값이 결정될 수 있다.
예를 들어, 클래스 A 확률_터치의 확률 값과, 클래스 B 확률_터치의 확률 값 간의 차이가 기준값 이하상인 경우, 제1 포스 터치 모델(1212)에 의해 획득된 확률 값들의 정확도가 높은 것으로 판단될 수 있다. 따라서, 제2 포스 터치 모델(1223)에 의해 획득된 확률 값은 이용되지 않을 수 있으며, 제1 포스 터치 모델(1212)에 의해 획득된 확률 값으로 클래스 A의 확률 값이 결정될 수 있도록, w1는 1, w2는 0으로 결정될 수 있다. 또한, 클래스 B에 대한 가중치 값인 w3 및 w4도, 클래스 A의 확률 값과 동일하게, 각각 1 및 0으로 결정될 수 있다.
반면에, 클래스 A 확률_터치의 확률 값과, 클래스 B 확률_터치의 확률 값 간의 차이가 기준값 이하상인 경우에는, 제1 포스 터치 모델(1212)에 의해 획득된 확률 값들의 정확도가 낮은 것으로 판단될 수 있다. 따라서, 제2 포스 터치 모델(1223)에 의해 획득된 확률 값이 추가적으로 이용될 수 있도록, 미리 결정된 w1, w2, w3, w4의 값이 이용될 수 있다.
일 실시 예에 의한 w1, w2, w3, w4의 값은 제1 포스 터치 모델(1212)에 의해 확률 값 및 제2 포스 터치 모델(1223)의 확률 값에 기초하여, 최적의 확률 값이 획득될 수 있도록, 실험을 통해, 미리 결정될 수 있다. 예를 들면, 소정의 실험 환경에 놓인 전자 장치(1000)에 대하여, 여러 번 실험이 수행됨에 따라, 최적의 확률 값이 획득될 수 있는, w1, w2, w3, w4 값이 미리 결정될 수 있다.
또한, 일 실시 예에 의하면, 전자 장치(1000)의 기압이 변화됨에 따라서, 기압 센서에 의해 측정된 값의 신뢰도가 변화되는 경우, w1, w2, w3, w4의 값은, 적절한 값으로 조절될 수도 있다. 상술한 예에 한하지 않고, w1, w2, w3, w4의 값은, 최적의 확률 값이 획득될 수 있는 값으로, 다양한 방법에 따라서, 결정될 수 있다.
일 실시 예에 의한 기압 센서(1470)에 의해 획득된 기압 정보에 기초하여, 포스 터치를 식별할 수 있는 전자 장치(1000)는, 이하의 도 13 및 도 14에 도시된 예와 같이 구성될 수 있다.
도 13는 일 실시 예에 의한 전자 장치의 구성 배치를 나타낸 도면이다.
도 13을 참조하면, 일 실시 예에 의한 전자 장치(1000)의 하우징은 제1 플레이트(1010a)와 제2 플레이트(1010b)로 형성될 수 있다. 일 실시 예에 의한 하우징은, 기압 센서(1470)를 포함한, 전자 장치(1000)의 내부 구성들(ex. 프로세서, 출력부, 센싱부, 통신부, 메모리, A/V 입력부 등)을 포함하는 겉면의 케이스를 나타낸다. 기압 센서(1470)는 하우징의 공간 내에서 기압변화를 감지하고 이를 프로세서(1300)로 제공할 수 있다. 기압 센서(1470)는 하우징의 공간 내에 적어도 일부에 위치할 수 있다. 기압센서(1470)는 하우징의 공간 내의 적어도 일부가 밀봉된 공간에 위치할 수 있다.
제1 플레이트(1010a)는 제1 방향을 향하고, 제2 플레이트(1010b)는 제2 방향을 향할 수 있다. 제1 플레이트(1010a)와 제2 플레이트(1010b)는 두 개의 플레이트 사이의 공간을 둘러싸는 측면부재(미도시)를 포함할 수 있다. 측면부재는 제1 플레이트(1010a) 또는 제2 플레이트(1010b)로부터 분리되거나, 부분적으로 결합될 수 있다. 제1 플레이트(1010a)와 제2 플레이트(1010b)는 측면부재로 결합되어 전자 장치(1000)의 하우징을 형성할 수 있다. 하우징 내의 공간의 적어도 일부는, 하우징의 외부와 유체가 통하지 않도록 형성될 수 있다.
일 실시 예에 따른, 디스플레이부(1210)는 제1 플레이트(1010a)의 적어도 일부를 통해 노출되고, 하우징의 내부에 위치할 수 있다. 디스플레이부 (1210)는 Touch Panel(1060a), TSP FPCB(1060b) 및 TSP IC(1060c)를 포함할 수 있다. Touch Panel(1060a)은, 터치가 가능한 투명 패널로, TSP FPCB(1060b)와 연결되어 있고, TSP FPCB(1060b)에는 TSP IC(1060c)가 실장될 수 있다.
일 실시 예에 따른, 제2 플레이트(1010b)에는 제1 플레이트(1010a)와 제2 플레이트(1010b)의 결합에 의해 생성된 하우징 내의 공간에서의 기압변화를 감지할 수 있는 barometer sensor(1470(예컨대, 기압 센서(1470)))가 구비될 수 있다. 기압센서(1470)는 하우징 내의 공간의 적어도 일부에 위치할 수 있다. 하우징 내의 공간의 적어도 일부가 밀봉될 수 있고, 기압센서(1470)는 밀봉된 공간에 위치할 수 있다.
일 실시 예에 따른, 제2 플레이트(1010b)는 기압센서(1470)와 MCUAP(Application processor, 1080a)가 실장되는 Main PCB(1080b)를 구비할 수 있다. 프로세서(1300)는 MCUAP(1080a)와 Main PCB(1080b)를 포함할 수 있다. TSP FPCB(1060b)와 Main PCB(1080b)는 커넥터(male(1011), female(1012))로 연결될 수 있다. 제2 플레이트(1010b)는 배터리(1091), SUB PCB(1092) 및 USB Port(1020a)를 구비할 수 있다. 배터리(1091)는, 외부와 연결이 가능한 USB Port(1020a)를 통해 외부로부터 공급되는 전원으로 충전되고, 전자 장치(1000)의 사용에 따라 방전될 수 있다. SUB PCB(1092)는, MCUAP(1080a)가 실장된 Main PCB(1080b)를 제외한 PCB를 의미할 수 있다. SUB PCB(1092)는 전자 장치(1000)의 종류에 따라 전자 장치(1000)에 구현되지 않을 수 있다.
일 실시 예에 따른 AP(1080a)는, 여러 종류의 프로세싱 유닛을 더 포함할 수 있다. 예를 들면, AP(1080a)는 GPU(Graphics processing unit, 1080aa), NPU(Neural Network processing unit, 1080ab), TPU(Tensor processing unit, 1080ac) 등을 더 포함할 수 있다. AP(1080a)는, GPU(1080aa), NPU(1080ab), TPU(1080ac) 등 여러 프로세싱 유닛들을 이용하여, 일 실시 예에 의한 터치 입력의 포스 터치를 식별하기 위한 동작을 수행할 수 있다.
도 14는 일 실시 예에 따른 전자 장치(1000)의 구성 배치를 나타낸 단면도이다.
도 14를 참조하면, TSP Panel(1060a)의 상부에서 터치 입력이 발생하면, TSP IC(1060c)는 터치 입력이 발생된 위치를 확인할 수 있다. TSP IC(1060c)는 TSP Panel(1060a)에 터치 입력이 발생하였음을 프로세서(1300)의 MCUAP(1080a)로 전달하고, 추가적으로 터치 입력이 발생된 위치도 전달할 수 있다. APMCU(1080a)는 Main PCB(1080b)에 실장될 수 있다. Barometer Sensor(1470, (예컨대, 기압센서(1470)))는 TSP Panel(1060a)의 상부에서 발생된 터치 입력에 의한 기압 값을 센싱할 수 있다. 기압센서(1470)는 센싱된 기압 값을 APMCU(1080a)로 전달할 수 있다. 일 실시 예에 의하면, 기압센서(1370)에 의해 센싱된 기압 값에 기초하여, 상술한 도 12의 실시 예에 따른, 사용자의 터치 입력에 대한 포스 터치가 식별될 수 있다.
일 실시 예에 의하면, 사용자의 입력 특성과 매칭될 수 있는 포스 터치 모델에 따라, 포스 터치를 식별함에 따라, 사용자의 의도에 맞는 포스 터치 입력이 식별될 수 있다.
개시된 실시 예들의 적어도 하나에 의하면, 사용자의 특성과 매칭될 수 있는 모델에 따라, 포스 터치를 식별함에 따라, 사용자의 의도에 맞는 포스 터치 입력이 식별될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (15)
- 전자 장치에서, 사용자의 터치 입력에 대하여 포스 터치를 식별하는 방법에 있어서,상기 사용자로부터 적어도 하나의 샘플 입력을 수신하는 단계;상기 적어도 하나의 샘플 입력에 대한 특징 정보를 획득하는 단계;상기 포스 터치를 식별하기 위한 복수의 포스 터치 모델을 획득하는 단계;상기 복수의 포스 터치 모델의 학습에 이용된 학습 데이터에 포함된 적어도 하나의 터치 입력에 대한 특징 정보를 획득하는 단계;상기 복수의 포스 터치 모델에 대하여 획득된 특징 정보 및 상기 샘플 입력에 대한 특징 정보 간의 유사도에 기초하여, 상기 복수의 포스 터치 모델 중에서 상기 포스 터치를 식별하기 위한 포스 터치 모델을 결정하는 단계; 및상기 결정된 포스 터치 모델에 기초하여, 상기 사용자의 터치 입력에 대한 포스 터치를 식별하는 단계를 포함하는, 방법.
- 제1항에 있어서,상기 적어도 하나의 샘플 입력의 특징 정보 및 상기 복수의 포스 터치 모델에 대해 획득된 특징 정보는, 상기 포스 터치가 분류되는 복수 개의 클래스 별로 획득되는, 방법.
- 제1항에 있어서, 상기 유사도에 기초하여, 상기 복수의 포스 터치 모델 중에서, 2개 이상의 포스 터치 모델이 결정된 경우, 상기 2개 이상의 포스 터치 모델에 기초하여, 상기 포스 터치를 식별하기 위한 모델이 획득되고,상기 획득된 모델은상기 2개 이상의 포스 터치 모델을 구성하는 각각의 가중치 값들의 평균값에 기초하여 획득된 평균 모델 또는상기 2개 이상의 포스 터치 모델에서 각각 출력된 정보에 기초하여, 결정된 출력 정보를 출력하는, 앙상블 모델 중 하나인, 방법.
- 제3항에 있어서, 상기 출력된 정보는, 상기 포스 터치가 분류되는 복수개의 클래스 별로 결정된 확률 값을 포함하고,상기 출력된 정보에 대한 평가 결과는,상기 출력된 정보에 포함된, 각각의 클래스에 대한 확률 값에 기초하여, 판단되는, 방법.
- 제3항에 있어서, 상기 전자 장치의 성능에 기초하여,상기 평균 모델 및 상기 앙상블 모델 중 하나가 결정되고, 상기 결정된 결과에 기초하여, 상기 포스 터치를 식별하기 위한 모델이 획득되는, 방법.
- 제1항에 있어서, 상기 결정된 포스 터치 모델은,상기 사용자의 터치 입력에 관한 정보에 기초하여, 상기 터치 입력에 대하여 포스 터치를 식별한 결과를 출력하는, 제1 포스 터치 모델 및상기 사용자의 터치 입력이 수신되는 동안 상기 전자 장치에서 수집된 센서 정보에 기초하여, 상기 터치 입력에 대하여 포스 터치를 식별한 결과를 출력하는 제2 포스 터치 모델을 포함하는, 방법.
- 제6항에 있어서, 상기 제1 포스 터치 모델의 출력 정보의 정확도 및 상기 제2 포스 터치 모델의 출력 정보의 정확도에 기초하여, 상기 출력 정보들에 각각 적용되는 가중치들이 결정되고,상기 결정된 가중치들이 각각 적용된 출력 정보들의 합에 기초하여, 상기 터치 입력에 대한 포스 터치가 식별되는, 방법.
- 사용자의 터치 입력에 대하여 포스 터치를 식별하는 전자 장치에 있어서,상기 사용자로부터 적어도 하나의 샘플 입력을 수신하는 사용자 입력부;하나 이상의 명령어들(instructions)을 저장하는 메모리; 및상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며,상기 적어도 하나의 프로세서는,상기 적어도 하나의 샘플 입력에 대한 특징 정보를 획득하고,상기 포스 터치를 식별하기 위한 복수의 포스 터치 모델을 획득하고,상기 복수의 포스 터치 모델의 학습에 이용된 학습 데이터에 포함된 적어도 하나의 터치 입력에 대한 특징 정보를 획득하고,상기 복수의 포스 터치 모델에 대하여 획득된 특징 정보 및 상기 샘플 입력에 대한 특징 정보 간의 유사도에 기초하여, 상기 복수의 포스 터치 모델 중에서 상기 포스 터치를 식별하기 위한 포스 터치 모델을 결정하고,상기 결정된 포스 터치 모델에 기초하여, 상기 사용자의 터치 입력에 대한 포스 터치를 식별하는, 전자 장치.
- 제8항에 있어서,상기 적어도 하나의 샘플 입력의 특징 정보 및 상기 복수의 포스 터치 모델에 대해 획득된 특징 정보는, 상기 포스 터치가 분류되는 복수 개의 클래스 별로 획득되는, 전자 장치.
- 제8항에 있어서, 상기 유사도에 기초하여, 상기 복수의 포스 터치 모델 중에서, 2개 이상의 포스 터치 모델이 결정된 경우, 상기 2개 이상의 포스 터치 모델에 기초하여, 상기 포스 터치를 식별하기 위한 모델이 획득되고,상기 획득된 모델은상기 2개 이상의 포스 터치 모델을 구성하는 각각의 가중치 값들의 평균값에 기초하여 획득된 평균 모델 또는상기 2개 이상의 포스 터치 모델에서 각각 출력된 정보에 기초하여, 결정된 출력 정보를 출력하는, 앙상블 모델 중 하나인, 전자 장치.
- 제10항에 있어서, 상기 출력된 정보는, 상기 포스 터치가 분류되는 복수개의 클래스 별로 결정된 확률 값을 포함하고,상기 출력된 정보에 대한 평가 결과는,상기 출력된 정보에 포함된, 각각의 클래스에 대한 확률 값에 기초하여, 판단되는, 전자 장치.
- 제10항에 있어서, 상기 전자 장치의 성능에 기초하여,상기 평균 모델 및 상기 앙상블 모델 중 하나가 결정되고, 상기 결정된 결과에 기초하여, 상기 포스 터치를 식별하기 위한 모델이 획득되는, 전자 장치.
- 제8항에 있어서, 상기 결정된 포스 터치 모델은,상기 사용자의 터치 입력에 관한 정보에 기초하여, 상기 터치 입력에 대하여 포스 터치를 식별한 결과를 출력하는, 제1 포스 터치 모델 및상기 사용자의 터치 입력이 수신되는 동안 상기 전자 장치에서 수집된 센서 정보에 기초하여, 상기 터치 입력에 대하여 포스 터치를 식별한 결과를 출력하는 제2 포스 터치 모델을 포함하는, 전자 장치.
- 제13항에 있어서, 상기 제1 포스 터치 모델의 출력 정보의 정확도 및 상기 제2 포스 터치 모델의 출력 정보의 정확도에 기초하여, 상기 출력 정보들에 각각 적용되는 가중치들이 결정되고,상기 결정된 가중치들이 각각 적용된 출력 정보들의 합에 기초하여, 상기 터치 입력에 대한 포스 터치가 식별되는, 전자 장치.
- 컴퓨터로 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서,상기 저장 매체는,전자 장치가 상기 사용자로부터 적어도 하나의 샘플 입력을 수신하는 단계;상기 적어도 하나의 샘플 입력에 대한 특징 정보를 획득하는 단계;포스 터치를 식별하기 위한 복수의 포스 터치 모델을 획득하는 단계;상기 복수의 포스 터치 모델의 학습에 이용된 학습 데이터에 포함된 적어도 하나의 터치 입력에 대한 특징 정보를 획득하는 단계;상기 복수의 포스 터치 모델에 대하여 획득된 특징 정보 및 상기 샘플 입력에 대한 특징 정보 간의 유사도에 기초하여, 상기 복수의 포스 터치 모델 중에서 상기 포스 터치를 식별하기 위한 포스 터치 모델을 결정하는 단계; 및상기 결정된 포스 터치 모델에 기초하여, 상기 사용자의 터치 입력에 대한 포스 터치를 식별하는 단계를 포함하는, 전자 장치가 수행하는 명령어들(instructions)을 포함하는 컴퓨터 프로그램 제품.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21921451.7A EP4266160A4 (en) | 2021-01-21 | 2021-11-23 | ELECTRONIC DEVICE FOR IDENTIFYING A TOUCH FORCE AND ITS OPERATING METHOD |
US18/224,868 US20230359541A1 (en) | 2021-01-21 | 2023-07-21 | Electronic device for identifying force touch and method for operating same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210008918A KR20220105941A (ko) | 2021-01-21 | 2021-01-21 | 포스 터치를 식별하는 전자 장치 및 그 동작 방법 |
KR10-2021-0008918 | 2021-01-21 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/224,868 Continuation US20230359541A1 (en) | 2021-01-21 | 2023-07-21 | Electronic device for identifying force touch and method for operating same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022158692A1 true WO2022158692A1 (ko) | 2022-07-28 |
Family
ID=82549526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2021/017280 WO2022158692A1 (ko) | 2021-01-21 | 2021-11-23 | 포스 터치를 식별하는 전자 장치 및 그 동작 방법 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230359541A1 (ko) |
EP (1) | EP4266160A4 (ko) |
KR (1) | KR20220105941A (ko) |
WO (1) | WO2022158692A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4099142A4 (en) | 2021-04-19 | 2023-07-05 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE AND METHOD OF OPERATION |
WO2024039219A1 (ko) * | 2022-08-19 | 2024-02-22 | 삼성전자 주식회사 | 전자 장치 및 전자 장치의 학습을 위한 학습 모델 결정 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101350782B1 (ko) * | 2012-06-13 | 2014-01-16 | 포항공과대학교 산학협력단 | 데이터 샘플링 방법 및 장치 |
KR20190001434A (ko) * | 2017-06-27 | 2019-01-04 | 삼성전자주식회사 | 발화 인식 모델을 선택하는 시스템 및 전자 장치 |
KR20200014510A (ko) * | 2018-08-01 | 2020-02-11 | 삼성에스디에스 주식회사 | 기계 학습 기반의 예측 서비스 제공 방법 및 그 장치 |
KR20200142374A (ko) * | 2019-06-12 | 2020-12-22 | 삼성전자주식회사 | 입력 데이터에 근거한 ai 모델 선택 방법 및 그에 따른 방법을 수행하는 디스플레이 장치 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020201831A1 (en) * | 2019-03-29 | 2020-10-08 | Rapt Ip Limited | Unwanted touch management in touch-sensitive devices |
CN111061394B (zh) * | 2019-11-26 | 2021-08-13 | 北京航空航天大学 | 触摸力度识别方法及其模型的训练方法、装置和电子*** |
-
2021
- 2021-01-21 KR KR1020210008918A patent/KR20220105941A/ko active Search and Examination
- 2021-11-23 WO PCT/KR2021/017280 patent/WO2022158692A1/ko unknown
- 2021-11-23 EP EP21921451.7A patent/EP4266160A4/en active Pending
-
2023
- 2023-07-21 US US18/224,868 patent/US20230359541A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101350782B1 (ko) * | 2012-06-13 | 2014-01-16 | 포항공과대학교 산학협력단 | 데이터 샘플링 방법 및 장치 |
KR20190001434A (ko) * | 2017-06-27 | 2019-01-04 | 삼성전자주식회사 | 발화 인식 모델을 선택하는 시스템 및 전자 장치 |
KR20200014510A (ko) * | 2018-08-01 | 2020-02-11 | 삼성에스디에스 주식회사 | 기계 학습 기반의 예측 서비스 제공 방법 및 그 장치 |
KR20200142374A (ko) * | 2019-06-12 | 2020-12-22 | 삼성전자주식회사 | 입력 데이터에 근거한 ai 모델 선택 방법 및 그에 따른 방법을 수행하는 디스플레이 장치 |
Non-Patent Citations (2)
Title |
---|
LIU YONG; GAO SHUO; HUANG ANBIAO; ZHU JIE; XU LIJUN; NATHAN AROKIA: "Ensemble Learning-Based Technique for Force Classifications in Piezoelectric Touch Panels", IEEE SENSORS JOURNAL, IEEE, USA, vol. 20, no. 16, 13 April 2020 (2020-04-13), USA, pages 9540 - 9549, XP011799730, ISSN: 1530-437X, DOI: 10.1109/JSEN.2020.2987768 * |
See also references of EP4266160A4 * |
Also Published As
Publication number | Publication date |
---|---|
EP4266160A1 (en) | 2023-10-25 |
EP4266160A4 (en) | 2024-07-10 |
US20230359541A1 (en) | 2023-11-09 |
KR20220105941A (ko) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018143630A1 (ko) | 상품을 추천하는 디바이스 및 방법 | |
WO2018117428A1 (en) | Method and apparatus for filtering video | |
WO2020080773A1 (en) | System and method for providing content based on knowledge graph | |
WO2018212538A1 (en) | Electronic device and method of detecting driving event of vehicle | |
WO2017043857A1 (ko) | 어플리케이션 제공 방법 및 이를 위한 전자 기기 | |
WO2020153750A1 (ko) | 전자 장치에서 어플리케이션 목록 제공 방법 및 장치 | |
WO2022158692A1 (ko) | 포스 터치를 식별하는 전자 장치 및 그 동작 방법 | |
WO2020159147A1 (ko) | 전자 장치 및 전자 장치의 그래픽 객체 제어 방법 | |
WO2016105166A1 (en) | Device and method of controlling wearable device | |
EP3238012A1 (en) | Device and method of controlling wearable device | |
WO2020091505A1 (en) | Electronic device and method for intelligent interaction thereof | |
WO2020130691A1 (en) | Electronic device and method for providing information thereof | |
WO2021101051A1 (en) | Electronic device for converting handwriting input to text and method of operating the same | |
WO2020091248A1 (ko) | 음성 명령에 응답하여 컨텐츠를 표시하기 위한 방법 및 그 전자 장치 | |
WO2019245331A1 (ko) | 텍스트 입력 디바이스 및 그 방법 | |
WO2020167006A1 (en) | Method of providing speech recognition service and electronic device for same | |
WO2022097862A1 (en) | Method of controlling display and electronic device supporting the same | |
WO2020085643A1 (en) | Electronic device and controlling method thereof | |
WO2021101006A1 (ko) | 외부 객체의 반사 이미지의 위치에 기반하여 컨텐츠를 제공하는 전자 장치 및 전자 장치의 동작 방법 | |
WO2020213935A1 (en) | Electronic device and method for controlling flexible display | |
WO2020141945A1 (en) | Electronic device for changing characteristics of display according to external light and method therefor | |
EP3545685A1 (en) | Method and apparatus for filtering video | |
WO2016111588A1 (en) | Electronic device and method for representing web content for the electronic device | |
WO2018124464A1 (ko) | 전자 장치 및 전자 장치의 검색 서비스 제공 방법 | |
WO2020171549A1 (en) | Apparatus for searching for content using image and method of controlling same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21921451 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021921451 Country of ref document: EP Effective date: 20230720 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |