KR20220003197A - Electronic apparatus and method for controlling thereof - Google Patents
Electronic apparatus and method for controlling thereof Download PDFInfo
- Publication number
- KR20220003197A KR20220003197A KR1020200080732A KR20200080732A KR20220003197A KR 20220003197 A KR20220003197 A KR 20220003197A KR 1020200080732 A KR1020200080732 A KR 1020200080732A KR 20200080732 A KR20200080732 A KR 20200080732A KR 20220003197 A KR20220003197 A KR 20220003197A
- Authority
- KR
- South Korea
- Prior art keywords
- audio
- image
- user
- electronic device
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 사용자 상태에 따라 다양한 사운드를 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.The present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device that provides various sounds according to a user state, and a control method thereof.
근래에는 다양한 전자 제품이 사운드를 제공하고 있으며, 일반적으로는, 미리 녹음된 음원 파일을 재생하여 사운드를 제공한다. 한편, 최근에는 사용자 혹은 주변 상황에 맞는 맞춤형 서비스에 대한 사용자 니즈가 증가하고 있다. 다만, 종래의 전자 제품은 미리 녹음된 음악을 재생하므로 사용자의 상태를 실시간으로 고려한 맞춤형 서비스를 제공하기 어려우며, 다양한 사운드를 제공하기 위해서는 다수의 음원 파일이 필요하므로 이에 따라 리소스 소비가 크다는 문제가 있다.Recently, various electronic products provide sound, and in general, sound is provided by playing a pre-recorded sound source file. Meanwhile, in recent years, user needs for customized services tailored to users or their surroundings are increasing. However, since conventional electronic products play pre-recorded music, it is difficult to provide a customized service that considers the user's condition in real time. .
이에 따라, 사용자의 현재 상태를 고려하여 사운드를 제공하며, 사용자의 청각적 경험을 극대화하기 위한 기술에 대한 필요성이 대두된다.Accordingly, there is a need for a technology for providing sound in consideration of the user's current state and maximizing the user's auditory experience.
본 발명이 해결하고자 하는 일 기술적 과제는, 사용자의 상태에 대응되는 오디오를 출력하는 전자 장치를 제공하는 것이다.One technical problem to be solved by the present invention is to provide an electronic device that outputs audio corresponding to a user's state.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치에 있어서, 디스플레이; 스피커; 적어도 하나의 회로를 포함하는 통신 인터페이스; 및 프로세서;를 포함하고, 상기 프로세서는, 제1 영상을 디스플레이하도록 상기 디스플레이를 제어하고, 상기 제1 영상이 디스플레이되는 동안 상기 통신 인터페이스를 통해 외부 장치로부터 사용자 상태와 관련된 정보를 획득하고, 상기 사용자 상태와 관련된 정보를 바탕으로 상기 사용자 상태에 대응되는 오디오를 생성하고, 상기 생성된 오디오에 대응되는 제2 영상을 생성하고, 상기 제1 영상을 상기 제2 영상으로 변경하여 디스플레이하도록 상기 디스플레이를 제어하고, 상기 생성된 오디오를 출력하도록 상기 스피커를 제어하는 전자 장치가 제공될 수 있다.According to an exemplary embodiment of the present disclosure for solving the above technical problem, an electronic device includes: a display; speaker; a communication interface comprising at least one circuit; and a processor, wherein the processor controls the display to display a first image, obtains information related to a user state from an external device through the communication interface while the first image is displayed, and the user Controls the display to generate audio corresponding to the user state based on the state-related information, generate a second image corresponding to the generated audio, and change the first image to the second image and display it and an electronic device for controlling the speaker to output the generated audio.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 제1 영상을 디스플레이하는 단계; 상기 제1 영상이 디스플레이되는 동안 외부 장치로부터 사용자 상태와 관련된 정보를 획득하는 단계; 상기 사용자 상태와 관련된 정보를 바탕으로 상기 사용자 상태에 대응되는 오디오를 생성하고, 상기 생성된 오디오에 대응되는 제2 영상을 생성하는 단계; 및 상기 제1 영상을 상기 제2 영상으로 변경하여 디스플레이하고, 상기 생성된 오디오를 출력하는 단계;를 포함하는 제어 방법이 제공될 수 있다.According to another exemplary embodiment of the present disclosure for solving the above-described technical problem, there is provided a method of controlling an electronic device, the method comprising: displaying a first image; acquiring information related to a user state from an external device while the first image is displayed; generating an audio corresponding to the user state based on the information related to the user state, and generating a second image corresponding to the generated audio; and changing the first image to the second image, displaying the changed image, and outputting the generated audio.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions of the problems of the present disclosure are not limited to the above-described solutions, and solutions that are not mentioned will be clearly understood by those of ordinary skill in the art to which the present disclosure belongs from the present specification and the accompanying drawings. will be able
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 사용자 상태에 대응되는 오디오를 제공함으로써, 사용자에게 다양한 청각적 경험을 제공할 수 있다. 이에 따라, 사용자의 만족도가 향상될 수 있다.According to various embodiments of the present disclosure as described above, the electronic device may provide various auditory experiences to the user by providing audio corresponding to the user state. Accordingly, user satisfaction may be improved.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.In addition, the effects obtainable or predicted by the embodiments of the present disclosure are to be disclosed directly or implicitly in the detailed description of the embodiments of the present disclosure. For example, various effects predicted according to embodiments of the present disclosure will be disclosed in the detailed description to be described later.
도 1은 본 개시의 일 실시 예에 따른 영상 및 오디오를 제공하는 전자 장치의 기본 컨셉을 도시한 것이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3a는 본 개시의 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다.
도 3b는 본 개시의 다른 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 사운드 특성에 따라 정의되는 오디오 유형을 도시한 테이블이다.
도 5a는 본 개시의 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 5b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 5c는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 6a는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 6b는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다.
도 8a는 본 개시의 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.
도 8b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.
도 8c는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.1 illustrates a basic concept of an electronic device that provides images and audio according to an embodiment of the present disclosure.
2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
3A is a diagram for describing an audio generation method according to an embodiment of the present disclosure.
3B is a diagram for describing an audio generation method according to another embodiment of the present disclosure.
4 is a table illustrating audio types defined according to sound characteristics according to an embodiment of the present disclosure.
5A is a diagram for describing an audio providing method according to an embodiment of the present disclosure.
5B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure.
5C is a diagram for explaining an audio providing method according to another embodiment of the present disclosure.
6A is a diagram for describing an audio providing method according to another embodiment of the present disclosure.
6B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure.
7 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
8A is a diagram for explaining an operation of an audio providing system according to an embodiment of the present disclosure.
8B is a diagram for explaining an operation of an audio providing system according to another embodiment of the present disclosure.
8C is a diagram for explaining an operation of an audio providing system according to another embodiment of the present disclosure.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the present disclosure will be described in detail.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in the embodiments of the present disclosure are selected as currently widely used general terms as possible while considering the functions in the present disclosure, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, etc. . In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding disclosure. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, rather than the simple name of the term.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Embodiments of the present disclosure may be subjected to various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutes included in the disclosed spirit and scope. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "consisting of" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other It should be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present disclosure pertains can easily implement them. However, the present disclosure may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present disclosure in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
도 1은 본 개시의 일 실시 예에 따른 영상 및 오디오를 제공하는 전자 장치의 기본 컨셉을 도시한 것이다.1 illustrates a basic concept of an electronic device that provides images and audio according to an embodiment of the present disclosure.
전자 장치(100)는 제1 영상(11)을 디스플레이할 수 있다. 전자 장치(100)는 제1 영상(11)에 대응되는 제1 오디오(21)를 출력할 수 있다. 이 때, 전자 장치(100)는 외부 장치(200)로부터 사용자 상태와 관련된 정보를 획득할 수 있다. 여기서, 사용자 상태와 관련된 정보는 사용자의 생체 정보(예로, 심박수, 뇌파, 심전도, 근전도), 움직임 정보 및 사용자에 대한 컨텍스트 정보 중 적어도 하나를 포함할 수 있다. 또한, 외부 장치(200)는 웨어러블 장치(wearable device)일 수 있다. 예로, 전자 장치(100)는 사용자가 착용중인 외부 장치(200)로부터 사용자의 심박수 정보를 획득할 수 있다.The
전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 제2 오디오(22)를 생성할 수 있다. 예로, 전자 장치(100)는 사용자의 심박수 정보를 바탕으로 사용자가 수면 상태임을 식별하고, 수면 상태에 대응되는 제2 오디오(22)를 생성할 수 있다. 구체적으로, 전자 장치(100)는 오디오의 다양한 특성을 고려하여 제2 오디오(22)를 생성할 수 있다. 여기서, 오디오의 특성은 템포(tempo), 멜로디(melody), 하모니(harmony), 코드(chord), 리듬(rhythm), 키(key), 주파수를 포함할 수 있다. 예로, 전자 장치(100)는 제1 오디오(21)에 비해 템포가 작은 제2 오디오(22)를 생성할 수 있다. 한편, 이상에서는 전자 장치(100)가 외부 장치(200)로부터 수신된 사용자 상태와 관련된 정보를 바탕으로 사용자 상태를 식별하는 것으로 설명하였으나, 전자 장치(100)는 외부 장치(200)로부터 사용자의 상태 정보(즉, 사용자가 수면중이라는 정보)를 수신하고, 사용자의 상태 정보를 바탕으로 제2 오디오(22)를 생성할 수도 있다.The
그리고, 전자 장치(100)는 생성된 제2 오디오(22)에 대응되는 제2 영상(12)을 생성할 수 있다. 예로, 제1 영상(11)이 파도가 치는 바다의 모습을 나타내는 영상인 경우, 제2 오디오(22)의 템포가 제1 오디오(21)의 템포보다 작으면, 전자 장치(100)는 제1 영상(11)보다 파도의 크기가 줄어든 제2 영상(12)을 생성할 수 있다. 이와 같이, 전자 장치(100)는 제1 영상(11)에 포함된 UI 엘리먼트(즉, 파도)를 특성(예로, 크기, 길이, 높이, 색상, 효과 등)을 변경하여 제2 영상(12)을 생성할 수 있다.In addition, the
전자 장치(100)는 제1 영상(11)을 제2 영상(12)으로 변경하여 디스플레이할 수 있다. 또한, 전자 장치(100)는 제1 오디오(21)를 제2 오디오(22)로 변경하여 출력할 수 있다. 이에 따라, 전자 장치(100)는 사용자의 현재 상태에 대응되는 영상 및 오디오를 제공할 수 있다.The
한편, 도 1에서는 제1 영상(11) 및 제2 영상(12)의 컨텐츠가 동일하되, 제1 영상(11) 및 제2 영상(12) 각각에 포함된 UI 엘리먼트가 상이한 것을 예로 들었으나, 이에 한정되는 것은 아니며, 제1 영상(11) 및 제2 영상(12)의 컨텐츠가 상이할 수도 있다.Meanwhile, in FIG. 1 , the content of the
한편, 전자 장치(100)는 디지털 TV 또는 모니터 등으로 구현될 수 있으나, 그 종류에 특별한 제한이 있는 것은 아니다. 예로, 전자 장치(100)는 스피커 장치로 구현될 수도 있다. 또한, 외부 장치(200)는 웨어러블 장치, 스마트 폰 또는 태플릿 PC 등으로 구현될 수 있으나, 그 종류에 특별한 제한이 있는 것은 아니다.Meanwhile, the
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다. 도 2를 참조하면, 전자 장치(100)는 통신 인터페이스(110), 디스플레이(120), 스피커(130), 메모리(140), 카메라(150), 마이크(160) 및 프로세서(170)를 포함할 수 있다. 이하에서는 각 구성에 대하여 설명하도록 한다.2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure. Referring to FIG. 2 , the
통신 인터페이스(110)는 외부 장치(200) 또는 서버 장치와의 통신을 수행하기 위한 구성이다. 통신 인터페이스(110)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(110)는 와이파이(Wi-Fi)칩, 블루투스 칩을 포함할 수 있다. 전자 장치(100)는 통신 인터페이스(110)를 통해 외부 장치(200)로부터 사용자 상태와 관련된 정보를 획득할 수 있다.The
디스플레이(120)는 영상을 출력할 수 있다. 구체적으로, 디스플레이(120)는 프로세서(170)의 제어에 의하여 메모리(140)에 기 저장된 영상을 출력할 수 있다. 또한, 디스플레이(120)는 UI 엘리먼트를 출력할 수 있다. 디스플레이(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이(120)는 플렉서블 디스플레이, 투명 디스플레이 등으로 구현될 수 있다. 다만, 본 개시에 따른 디스플레이(120)가 특정한 종류에 한정되는 것은 아니다.The
스피커(130)는 오디오를 출력할 수 있다. 특히, 스피커(130)는 프로세서(170)에 의해 생성된 오디오를 출력할 수 있다. 또한, 스피커(130)는 통신 인터페이스(110)를 통해 서버 장치로부터 수선되는 오디오를 출력할 수 있다.The
메모리(140)는 오디오 데이터를 저장할 수 있다. 특히, 메모리(140)는 미디(MIDI: Musical Instrument Digital Interface) 데이터 및 오디오 클립(audio clip)을 포함할 수 있다. 오디오 클립은 사운드폰트(soundfont) 포맷으로 메모리(140)에 저장될 수 있다.The
메모리(140)는 전자 장치(100)에 관한 적어도 하나의 명령이 저장할 수 있다. 특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(140)는 오디오 생성을 위한 신경망 모델(Neural Network Model)을 저장할 수 있다. 그리고, 메모리(140)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(140)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(140)는 플래시 메모리 (Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.The
메모리(140)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다. 메모리(140)는 오브젝트를 인식 또는 식별하기 위한 신경망 모델을 저장할 수 있다. 특히, 신경망 모델은 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU, NPU 등)에 의해 실행될 수 있다. 예로, 메모리(140)는 사용자 상태와 관련된 정보를 바탕으로 시퀀스를 생성하도록 학습된 신경망 모델을 저장할 수 있다. 여기서, 시퀀스(sequence)란, 오디오를 구성하는 단위 별로 음계, 길이, 시간 등의 정보를 기록한 데이터 셋(data set)을 의미한다.The
한편, 본 개시에서 메모리(140)라는 용어는 메모리(140), 프로세서(170) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.Meanwhile, in the present disclosure, the
카메라(150)는 사용자를 촬영하기 위한 구성이다. 프로세서(170)는 카메라(150)를 통해 획득된 사용자를 촬상한 영상을 바탕으로 사용자 상태와 관련된 정보를 획득할 수 있다.The
마이크(160)는 사용자 음성을 획득하기 위한 구성이다. 프로세서(170)는 마이크(160)를 통해 획득된 사용자 음성을 바탕으로 사용자 상태와 관련된 정보를 획득할 수 있다.The
프로세서(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(170)는 상술한 바와 같은 통신 인터페이스(110), 디스플레이(120) 및 스피커(130)를 포함하는 전자 장치(100)의 구성과 연결되며, 메모리(140)에 저장된 적어도 하나의 명령을 실행하여 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.The
프로세서(170)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(170)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(170)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.The
이하에서는 프로세서(170)에 의한 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 동작에 대해 설명한다.Hereinafter, an operation of the
프로세서(170)는 제1 영상을 디스플레이하도록 디스플레이(120)를 제어할 수 있다.The
프로세서(170)는 제1 영상이 디스플레이되는 동안 통신 인터페이스(110)를 통해 외부 장치로부터 사용자 상태와 관련된 정보를 획득할 수 있다.The
프로세서(170)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성할 수 있다. 구체적으로, 프로세서(170)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태를 식별하고, 식별된 사용자 상태에 대응되는 오디오를 생성할 수 있다. 이 때, 프로세서(170)는 사용자 상태와 관련된 정보를 바탕으로 오디오의 유형을 결정하고, 결정된 유형에 대응되는 오디오를 생성할 수 있다. 여기서, 오디오의 유형은 템포, 멜로디, 하모니, 코드 및 리듬 중 적어도 하나를 포함하는 오디오의 특성을 바탕으로 정의될 수 있다. 또한, 사용자 상태와 관련된 정보는 제1 상태 정보 및 제2 상태 정보를 포함할 수 있다. 이 때, 프로세서(170)는 제1 상태 정보를 바탕으로 오디오의 제1 특성(예로, 템포)를 결정하고, 제2 상태 정보를 바탕으로 오디오의 제2 특성(예로, 리듬)을 결정할 수 있다. 또는, 프로세서(170)는 사용자 상태와 관련된 정보를 오디오를 생성하도록 학습된 신경망 모델에 입력하여 오디오를 획득할 수 있다.The
한편, 프로세서(170)는 제1 영상이 디스플레이되는 동안 날씨 정보를 획득할 수 있다. 그리고, 프로세서(170)는 사용자 상태와 관련된 정보 및 날씨 정보를 바탕으로 오디오를 생성할 수 있다.Meanwhile, the
그리고, 사용자 상태와 관련된 정보는 외부 장치에 의해 획득되는 사용자의 생체 정보를 포함할 수 있다. 예로, 사용자의 생체 정보는 사용자의 심박수 정보를 포함할 수 있다. In addition, the information related to the user state may include the user's biometric information obtained by an external device. For example, the user's biometric information may include the user's heart rate information.
한편, 프로세서(170)는 카메라(150)를 통해 사용자를 촬상한 이미지를 획득하고, 획득된 이미지를 분석하여 사용자 상태에 관련된 정보를 획득할 수 있다. 예로, 프로세서(170)는 촬상한 이미지를 분석하여 사용자의 움직임 정보를 획득할 수 있다.Meanwhile, the
한편, 프로세서(170)는 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다. 이 때, 프로세서(170)는 생성된 오디오의 특성을 바탕으로 제2 영상을 생성할 수 있다. 제2 영상이 메모리(140)에 저장된 경우, 프로세서(170)는 생성된 오디오의 특성을 바탕으로 메모리(140)에 저장된 제2 영상을 식별할 수 있다. 여기서, 제2 영상은 적어도 하나의 UI 엘리먼트를 포함하고, 적어도 하나의 UI 엘리먼트는 생성된 오디오를 바탕으로 변경될 수 있다.Meanwhile, the
그리고, 프로세서(170)는 제1 영상을 제2 영상으로 변경하여 디스플레이하도록 디스플레이(120)를 제어하고, 생성된 오디오를 출력하도록 스피커(130)를 제어할 수 있다.In addition, the
특히, 본 개시에 따른 인공지능과 관련된 기능은 프로세서(170)와 메모리(140)를 통해 동작된다. 프로세서(170)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(140)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. In particular, the functions related to artificial intelligence according to the present disclosure are operated through the
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.A predefined action rule or artificial intelligence model is characterized in that it is created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden. Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system. Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.AI models can be created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden. The artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between the operation result of a previous layer and the plurality of weights. The plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.
인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.The artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Generative Adversarial Network (GAN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or Deep Q-Networks, but is not limited to the above example.
도 3a는 본 개시의 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다. 도 3a를 참조하면, 프로세서(170)는 시퀀스 생성 모듈(171) 및 사운드 생성 모듈(172)를 포함할 수 있다. 3A is a diagram for describing an audio generation method according to an embodiment of the present disclosure. Referring to FIG. 3A , the
전자 장치(100)는 시퀀스 생성 모듈(171)에 사용자 상태와 관련된 정보를 입력하여 복수의 시퀀스(sequence)를 획득할 수 있다. 여기서, 시퀀스(sequence)란, 오디오를 구성하는 단위 별로 음계, 길이, 시간 등의 정보를 기록한 데이터 셋(data set)이다. 예로, 시퀀스는 어떤 음을 어떤 타이밍에 어떤 길이로 재생할 지에 대한 정보를 포함할 수 있다. 본 개시에서 시퀀스는 악보 정보라 지칭하기도 한다. 일 예로, 시퀀스는 4마디 단위의 악보 정보를 의미할 수 있다.The
시퀀스 생성 모듈(171)은 신경망 모델로 구현될 수 있다. 구체적으로, 시퀀스 생성 모듈(171)은 사용자 상태와 관련된 정보를 바탕으로 시퀀스를 생성하도록 학습된 신경망 모델로 구현될 수 있다. 이 때, 전자 장치(100)는 시퀀스 생성 모듈(171)에 사용자 상태와 관련된 정보를 입력하여 사용자 상태와 관련된 정보에 대응되는 복수의 시퀀스(sequence)를 획득할 수 있다.The
또한, 시퀀스 생성 모듈(171)은 사용자 상태와 관련된 정보 별로 매칭되는 오디오 특성에 기초하여 시퀀스를 생성할 수 있다. 예를 들어, 시퀀스 생성 모듈(171)은 사용자의 심박수에 기초하여 오디오의 높낮이를 결정하고, 결정된 높낮이에 기초하여 시퀀스를 생성할 수 있다. 또는, 시퀀스 생성 모듈(171)은 사용자의 모션 정보(또는 움직임 정보)에 기초하여 오디오의 템포를 결정하고, 결정된 템포에 기초하여 시퀀스를 생성할 수 있다. Also, the
전자 장치(100)는 획득된 복수의 시퀀스를 사운드 생성 모듈(172)에 입력하여 오디오를 획득할 수 있다. 사운드 생성 모듈(172)은 모듈레이터(173), 신디사이저(174) 및 샘플러(175)를 포함할 수 있다. 모듈레이터(modulator)(173)는 LFO(Low Frequency Oscillator)를 이용하여 소리를 변조할 수 있다. 신디사이저(synthesize)(174)는 음계에 해당되는 사운드를 생성할 수 있다. 샘플러(sampler)(175)는 미리 녹음된 네이처(Nature), 텍스쳐(texture), 타악기(perc) 등의 사운드를 제공할 수 있다. The
모듈레이터(173), 신디사이저(174) 및 샘플러(175)는 시퀀스에 기초하여 각각 사운드를 생성하며, 전자 장치(100)는 모듈레이터(173), 신디사이저(174) 및 샘플러(175)에 의해 각각 생성된 사운드를 바탕으로 오디오를 생성할 수 있다. 예로, 전자 장치(100)는 모듈레이터(173), 신디사이저(174) 및 샘플러(175)에 의해 각각 생성된 사운드를 조합하여 오디오를 생성할 수 있다. The
이와 같이, 전자 장치(100)는 미리 녹음된 리소스를 바탕으로 오디오를 생성하는 것이 아니라 사용자 상태와 관련된 정보를 바탕으로 시퀀스를 생성하고, 생성된 시퀀스를 바탕으로 오디오를 생성할 수 있다. 따라서, 리소스를 저장하기 위한 메모리(140) 공간이 절약될 수 있다.As such, the
한편, 상술한 시퀀스 생성 모듈(171) 및 사운드 생성 모듈(172)은 소프트웨어로 구현될 수 있으며, 또는, 소프트웨어와 하드웨어가 결합된 형태로 구현될 수 있다. Meanwhile, the above-described
도 3b는 본 개시의 다른 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다. 도 3b를 참조하면, 메모리(140)는 MIDI 데이터(141) 및 오디오 클립(142)을 저장할 수 있다.3B is a diagram for describing an audio generation method according to another embodiment of the present disclosure. Referring to FIG. 3B , the
MIDI 데이터(141)는 오디오 클립(142)의 재생 시점에 대한 정보를 포함할 수 있다. 예로, MIDI 데이터(141)는 어떤 시간에 어떤 오디오 클립(142)을 재생할 지에 대한 데이터를 포함할 수 있다. 한편, MIDI 데이터(141)는 다양한 성분 별 MIDI 데이터를 포함할 수 있다. 예로, MIDI 데이터(141)는 멜로디, 코드, 리듬, 앰비언트에 대한 MIDI 데이터를 포함할 수 있다.The
오디오 클립(142)은 MIDI 데이터(141)의 각 성분에 대응되는 오디오 데이터를 포함할 수 있다. 예로, 오디오 클립(142)은 멜로디 클립, 코드 클립, 리듬 클립, 앰비언트 클립을 포함할 수 있다.The
전자 장치(100)는 MIDI 데이터(141) 및 오디오 클립(142)을 바탕으로 오디오를 생성할 수 있다. 예로, 전자 장치(100)는 MIDI 데이터(141)에 포함된 복수의 MIDI 데이터 중 일부를 랜덤하게 식별하고, 식별된 MIDI 데이터 및 이에 대응되는 오디오 클립을 바탕으로 오디오를 생성할 수 있다.The
이와 같이, 전자 장치(100)는 메모리(140)에 미리 저장된 MIDI 데이터(141) 및 오디오 클립(142)을 이용하여 오디오를 생성할 수 있다. 이에 따라, 오디오 생성을 위한 프로세서(170)의 연산량이 감소할 수 있다. 따라서, 프로세서(170)의 연산량이 기설정된 값 이하인 경우에도, 전자 장치(100)는 오디오를 생성할 수 있다.As such, the
도 4는 본 개시의 일 실시 예에 따른 사운드 특성에 따라 정의되는 오디오 유형을 도시한 테이블이다.4 is a table illustrating audio types defined according to sound characteristics according to an embodiment of the present disclosure.
전자 장치(100)는 미리 정의된 오디오 유형을 바탕으로 오디오를 생성할 수 있다. 구체적으로, 전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 미리 정의된 오디오 유형 중 하나의 유형을 식별하고, 식별된 유형에 대응되는 오디오를 생성할 수 있다. 이 때, 오디오 유형은 사운드의 다양한 특성에 따라 정의될 수 있다. 여기서, 사운드 특성은 tempo, melody, harmony, rhythm 및 key를 포함할 수 있다.The
구체적으로, 도 4에 도시된 테이블(40)을 참조하면, 오디오 유형은 제1 유형(41), 제2 유형(42) 및 제3 유형(43)을 포함할 수 있다. 이 때, 제1 유형(41)은 사용자가 수면 상태일 때 대응되는 유형이며, 제2 유형(42)은 사용자가 휴식 상태일 때 대응되는 유형이며, 제3 유형(43)은 사용자가 활동적인 상태일 때 대응되는 유형일 수 있다. 예로, 전자 장치(100)는 외부 장치(200)로부터 사용자가 수면 상태라는 정보를 획득하면, 제1 유형(41)에 해당하는 사운드를 생성할 수 있다. 한편, 도 4에서는 세 개의 유형을 도시하였으나, 본 개시에 따른 오디오 유형의 개수가 이에 제한되는 것은 아님을 밝혀둔다.Specifically, referring to the table 40 shown in FIG. 4 , the audio type may include a
이하에서는 본 개시의 다양한 실시 예에 따른 오디오 제공 방법에 대하여 설명하도록 한다.Hereinafter, an audio providing method according to various embodiments of the present disclosure will be described.
도 5a는 본 개시의 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 구체적으로 도 5a는 사용자(1)가 수면 상태일 때 오디오 제공 방법을 도시한 도면이다.5A is a diagram for describing an audio providing method according to an embodiment of the present disclosure. Specifically, FIG. 5A is a diagram illustrating a method of providing audio when the
전자 장치(100)는 사용자(1)와 관련된 상태 정보를 바탕으로 오디오를 생성하여 출력할 수 있다. 구체적으로, 전자 장치(100)는 제1 오디오(51)를 출력하는 동안 사용자(1)의 수면 상태를 감지할 수 있다. 이 때, 전자 장치(100)는 사용자(1)가 착용한 외부 장치(200)로부터 전송되는 사용자(1)의 생체 정보를 바탕으로 사용자(1)의 수면 상태를 감지할 수 있다. 예로, 전자 장치(100)는 외부 장치(200)로부터 전송되는 사용자(1)의 심박수가 기설정된 값보다 작으면 사용자(1)가 수면 상태인 것으로 식별할 수 있다. 또한, 전자 장치(100)는 외부 장치(200)로부터 전송되는 사용자(1)의 심박수, 호흡수 및 혈압수 등을 바탕으로 사용자(1)의 보다 상세한 수면 상태를 감지할 수 있다(예로, 얕은 수면 상태인지 깊은 수면 상태인지).The
사용자(1)가 수면 상태인 것으로 감지되면, 전자 장치(100)는 제2 오디오(52)를 생성할 수 있다. 구체적으로, 전자 장치(100)는 사용자(1)가 수면 상태에 대응되는 제2 오디오(52)를 생성할 수 있다. 이 때, 제2 오디오(52)는 도 4의 제1 유형(41)에 대응되는 오디오일 수 있다. 또한, 제2 오디오(52)의 템포는 제1 오디오(51)의 템포보다 작을 수 있다. 제2 오디오(52)가 생성되면, 전자 장치(100)는 제1 오디오(51)를 제2 오디오(52)로 변경하여 출력할 수 있다. 한편, 디스플레이(120)를 통해 영상이 표시되는 동안 사용자(1)가 수면 상태인 것으로 감지되면, 전자 장치(100)는 생성된 제2 오디오(52)에 대응되는 영상을 생성할 수 있다. 그리고, 전자 장치(100)는 사용자(1)의 수면 상태가 감지되기 전에 표시되던 영상을 새롭게 생성된 영상으로 변경하여 표시할 수 있다. 여기서, 새롭게 생성된 영상 및 사용자(1)의 수면 상태가 감지되기 전에 표시되던 영상은 동일한 컨텐츠에 대한 영상이되, 각각 포함한 UI 엘리먼트가 상이한 영상일 수 있다. 또는, 생성된 영상 및 사용자(1)의 수면 상태가 감지되기 전에 표시되던 영상은 상이한 컨텐츠에 대한 영상일 수 있다.When it is detected that the
한편, 이상에서는 사용자(1)의 상태에 따라 디스플레이(120)에 의해 표시되는 영상이나 영상에 포함된 UI 엘리먼트가 변경되는 것으로 설명하였다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 사용자(1)가 수면 상태인 것으로 감지되면, 디스플레이(120)를 오프시킬 수 있다. 이 때, 전자 장치(100)는 사용자(1)의 수면 상태에 대응되는 오디오를 생성하여 출력할 수 있다.Meanwhile, in the above, it has been described that an image displayed by the
도 5b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 구체적으로, 도 5b는 사용자(1)가 전자 장치(100)에서 제공되는 영상 컨텐츠를 시청하면서 운동하는 모습을 도시한 도면이다.5B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure. Specifically, FIG. 5B is a diagram illustrating a state in which the
전자 장치(100)는 운동 관련 영상 컨텐츠를 디스플레이할 수 있다. 이 때, 전자 장치(100)는 사용자(1)와 관련된 상태 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 외부 장치(200)를 통해 사용자(1)의 생체 정보를 획득하거나, 카메라(150)를 통해 사용자(1)의 움직임 정보를 획득할 수 있다. 전자 장치(100)는 사용자(1)와 관련된 상태 정보를 바탕으로 사용자(1)가 활동 상태임을 식별할 수 있다. 예로, 전자 장치(100)는 사용자(1)의 심박수가 기설정된 값 이상으로 감지되면, 사용자(1)가 활동 상태임을 식별할 수 있다. 또는, 전자 장치(100)는 카메라(150)를 통해 획득되는 사용자(1)를 촬영한 영상을 분석하여 사용자(1)가 활동 상태임을 식별할 수 있다.The
사용자(1)가 활동 상태라고 식별되면, 전자 장치(100)는 활동적인 상황에 대응되는 오디오를 생성하여 출력할 수 있다. 예로, 전자 장치(100)는 도 4의 제3 유형(43)에 해당하는 오디오를 생성하여 출력할 수 있다. 이 때, 전자 장치(100)에 의해 생성되는 오디오의 템포는 도 5a의 제2 오디오(52)의 템포보다 클 수 있다.When it is identified that the
한편, 전자 장치(100)는 카메라(150)를 통해 획득되는 사용자(1)를 촬영한 영상을 분석하여 사용자(1)의 자세 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 사용자(1)의 자세 정보를 바탕으로 오디오를 출력할 수 있다. 예로, 전자 장치(100)는 표시되는 영상에 포함된 오브젝트(ob)의 자세 정보와 사용자(1)의 자세 정보가 서로 대응되면, 제1 오디오를 출력할 수 있다. 반면에, 전자 장치(100)는 표시되는 영상에 포함된 오브젝트(ob)의 자세 정보와 사용자(1)의 자세 정보가 서로 대응되지 않으면, 제2 오디오를 출력할 수 있다. 이 때, 제2 오디오의 템포는 제1 오디오의 템포보다 클 수 있다.Meanwhile, the
도 5c는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 구체적으로, 도 5c는 반려 동물(2)과 관련된 상태 정보를 바탕으로 오디오를 제공하는 방법을 설명하기 위한 도면이다.5C is a diagram for explaining an audio providing method according to another embodiment of the present disclosure. Specifically, FIG. 5C is a diagram for explaining a method of providing audio based on status information related to the
전자 장치(100)는 영상을 디스플레이하며, 영상과 관련된 오디오를 출력할 수 있다. 영상이 디스플레이되는 동안, 전자 장치(100)는 반려 동물(2)의 상태와 관련된 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 카메라(150)를 통해 획득되는 반려 동물(2)을 촬영한 영상을 분석할 수 있다. 이 때, 전자 장치(100)는 신경망 모델을 이용하여 반려 동물(2)을 행동을 분석할 수 있다. 또는 전자 장치(100)는 마이크(160)를 통해 획득되는 음성을 분석하여 반려 동물(2)의 상태와 관련된 정보를 획득할 수 있다. 예로, 반려 동물(2)이 전자 장치(100)에서 디스플레이되는 영상을 바라보고 짖는 것으로 감지되면, 전자 장치(100)는 진정시키기 위한 오디오를 생성하여 출력할 수 있다. 예로, 전자 장치(100)는 도 4의 제2 유형(42)에 해당하는 오디오를 생성하여 출력할 수 있다. 한편, 도 5c에서는 전자 장치(100)가 반려 동물(2)의 상태와 관련된 정보를 바탕으로 오디오를 제공하는 것을 예로 들었으나, 전자 장치(100)는 사용자(1)의 상태와 관련된 정보를 바탕으로도 오디오를 제공할 수 있음은 물론이다.The
이상에서는 전자 장치(100) 주변의 사용자(1) 또는 반려 동물(2)의 상태와 관련된 정보(또는 컨텍스트 정보)에 기초하여 오디오를 생성 및 출력하는 방법에 대하여 설명하였다. 한편, 전자 장치(100)는 디스플레이되는 컨텐츠나 날씨 정보에 기초하여 오디오를 출력할 수 있다.In the above, a method of generating and outputting audio based on information (or context information) related to the state of the
도 6a는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 도 6a를 참조하면, 전자 장치(100)는 앰비언트 모드(ambient mode)로 동작할 수 있다. 앰비언트 모드일 때 전자 장치(100)는 벽면의 배경 이미지, 날씨 정보, 아트웍(artwork) 또는 UI 엘리먼트(61)를 포함하는 영상을 표시할 수 있다. 또한, 전자 장치(100)는 영상을 표시하면서 오디오를 출력할 수 있다. 한편, 전자 장치(100)는 기설정된 시간 간격으로 UI 엘리먼트(61)를 변경하여 디스플레이할 수 있다. 디스플레이되는 UI 엘리먼트(61)가 변경되면, 전자 장치(100)는 변경된 UI 엘리먼트(61)를 바탕으로 오디오를 생성할 수 있다. 예로, 활성화 표시되는 UI 엘리먼트(61)의 개수가 제1 개수이면, 전자 장치(100)는 제1 템포의 오디오를 생성하여 출력할 수 있다. 그리고, 활성화 표시되는 UI 엘리먼트(61)의 개수가 제1 개수보다 큰 제2 개수이면, 전자 장치(100)는 제1 템포보다 큰 제2 템포의 오디오를 생성하여 출력할 수 있다.6A is a diagram for describing an audio providing method according to another embodiment of the present disclosure. Referring to FIG. 6A , the
도 6b는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 도 6b를 참조하면, 전자 장치(100)는 날씨 정보에 대응되는 영상을 디스플레이할 수 있다. 이 때, 전자 장치(100)는 날씨 정보를 바탕으로 오디오를 생성하여 출력할 수 있다. 예로, 전자 장치(100)는 제1 날씨에 대응되는 영상을 디스플레이하는 경우, 도 4의 제1 유형(41)에 해당하는 오디오를 생성하여 출력할 수 있다. 현재 날씨 정보가 제1 날씨로부터 제2 날씨로 변경되면, 전자 장치(100)는 제2 날씨에 대응되는 영상을 디스플레이할 수 있다. 이 때, 전자 장치(100)는 도 4의 제3 유형(43)에 해당하는 오디오를 생성하여 출력할 수 있다. 다만 이는 일 실시 예에 불과하며 전자 장치(100)는 날씨 정보에 따라 다양한 유형의 오디오를 생성할 수 있다.6B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure. Referring to FIG. 6B , the
한편, 전자 장치(100)의 크기 또는 폼 팩터(form factor)에 따라 전자 장치(100)가 생성하는 오디오의 특성이 달라질 수 있다. 예로, 전자 장치(100)의 크기가 커질수록 전자 장치(100)에 의해 생성되는 오디오의 주파수가 작아질 수 있다. 다만 이는 일 실시 예에 불과하며, 전자 장치(100)에 의해 생성되는 오디오의 특성은 전자 장치(100)의 크기에 따라 다양하게 변경될 수 있다.Meanwhile, characteristics of audio generated by the
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다. 전자 장치(100)는 제1 영상을 디스플레이할 수 있다(S710). 전자 장치(100)는 제1 영상이 디스플레이되는 동안 외부 장치로부터 사용자 상태와 관련된 정보를 획득할 수 있다(S720). 외부 장치는 웨어러블 장치(예로, 스마트 워치)일 수 있다. 이 때, 사용자 상태와 관련된 정보는 외부 장치에 의해 획득되는 사용자의 생체 정보를 포함할 수 있다. 또는, 전자 장치(100)는 사용자를 촬상한 이미지를 획득하고, 획득된 이미지를 분석하여 사용자 상태에 관련된 정보를 획득할 수 있다.7 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure. The
전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성하고, 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다(S730). 이 때, 전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 오디오의 유형을 결정하고, 결정된 유형에 대응되는 오디오를 생성할 수 있다. 오디오의 유형은, 템포, 멜로디, 하모니, 코드 및 리듬 중 적어도 하나를 포함하는 오디오의 특성을 바탕으로 정의될 수 있다. 예로, 전자 장치(100)는 도 4에 도시된 바와 같이 제1 유형(41), 제2 유형(42) 및 제3 유형(43)의 오디오를 생성할 수 있다.The
사용자 상태와 관련된 정보는 제1 상태 정보 및 제2 상태 정보를 포함할 수 있다. 이 때, 전자 장치(100)는 제1 상태 정보를 바탕으로 오디오의 템포를 결정하고, 제2 상태 정보를 바탕으로 오디오의 리듬을 결정할 수 있다. 또한, 전자 장치(100)는 사용자 상태와 관련된 정보를 오디오를 생성하도록 학습된 신경망 모델에 입력하여 오디오를 획득할 수 있다.The information related to the user state may include first state information and second state information. In this case, the
전자 장치(100)는 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다(S740). 제2 영상은 적어도 하나의 UI 엘리먼트를 포함할 수 있다. 이 때, 적어도 하나의 UI 엘리먼트는 생성된 오디오를 바탕으로 변경될 수 있다.The
도 8a는 본 개시의 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다. 오디오 제공 시스템(800)은 제1 전자 장치(810) 및 제2 전자 장치(820)를 포함할 수 있다. 제1 전자 장치(810)는 도 1의 전자 장치(100)에 대응되며, 제2 전자 장치(920) 도 1의 외부 장치(200)에 대응될 수 있다.8A is a diagram for explaining an operation of an audio providing system according to an embodiment of the present disclosure. The audio providing
제1 전자 장치(810)는 제1 영상을 디스플레이할 수 있다(S810). 제1 전자 장치(810)가 제1 영상을 디스플레이하는 동안 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 획득할 수 있다(S820). 그리고, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 제1 전자 장치(810)로 전송할 수 있다.The first
제1 전자 장치(810)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성하고(S840). 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다(S850). 그리고, 제1 전자 장치(810)는 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다(S860). 제1 전자 장치(810)는 도 5a 내지 도 5c에서 설명한 바와 같이 사용자 상태에 대응되는 오디오를 생성하고, 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다. The first
도 8b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.8B is a diagram for explaining an operation of an audio providing system according to another embodiment of the present disclosure.
오디오 제공 시스템(800)은 제1 전자 장치(810), 제2 전자 장치(820) 및 서버 장치(830)를 포함할 수 있다.The audio providing
제1 전자 장치(810)는 제1 영상을 디스플레이할 수 있다(S811). 제1 전자 장치(810)가 제1 영상을 디스플레이하는 동안, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 획득할 수 있다(S821). 그리고, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 서버 장치(830)로 전송할 수 있다(S831). 서버 장치(830)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성할 수 있다(S841). 이 때, 서버 장치(830)는 도 1 내지 도 6b에서의 전자 장치(100)와 같이 오디오를 생성할 수 있다. 그리고, 서버 장치(830)는 생성된 오디오를 제1 전자 장치(810)로 전송할 수 있다(S851).The first
제1 전자 장치(810)는 서버 장치(830)에 의해 생성된 오디오에 대응되는 제2 영상을 식별할 수 있다(S861). 이 때, 제1 전자 장치(810)는 메모리에 저장된 다수의 오디오 중 서버 장치(830)에 의해 생성된 오디오에 대응되는 제2 영상을 식별할 수 있다. 또는, 제1 전자 장치(810)는 서버 장치(830)에 의해 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다. 그리고, 제1 전자 장치(810)는 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다(S871).The first
한편, 서버 장치(830)는 사용자 상태와 관련된 정보를 제1 전자 장치(810)로부터 수신할 수 있다. 예로, 도 8c와 같이, 제1 전자 장치(810)는 제1 영상을 디스플레이할 수 있다(S812). 제1 전자 장치(810)가 제1 영상을 디스플레이하는 동안, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 획득할 수 있다(S822). 그리고, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 제1 전자 장치(810)로 전송할 수 있다(S832). 제1 전자 장치(810)는 사용자 상태와 관련된 정보를 서버 장치(830)로 전송할 수 있다(S842). 서버 장치(830)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성할 수 있다(S852). 그리고, 서버 장치(830)는 생성된 오디오를 제1 전자 장치(810)로 전송할 수 있다(S862). 제1 전자 장치(810)는 생성된 오디오에 대응되는 제2 영상을 식별하고(S872), 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다Meanwhile, the
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.Meanwhile, the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. In some cases, the embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.Meanwhile, computer instructions for performing the processing operation according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium. When the computer instructions stored in the non-transitory computer-readable medium are executed by the processor, the processing operation according to the above-described various embodiments may be performed by a specific device.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.The non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device. Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.Meanwhile, the device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as For example, the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, the method according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones). In the case of online distribution, at least a portion of the computer program product (eg, a downloadable app) is stored at least on a machine-readable storage medium, such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present disclosure have been illustrated and described, but the present disclosure is not limited to the specific embodiments described above, and it is common in the technical field pertaining to the present disclosure without departing from the gist of the present disclosure as claimed in the claims. Various modifications can be made by those having the knowledge of
100: 전자 장치 110: 통신 인터페이스
120: 디스플레이
130: 스피커
140: 메모리
150: 카메라
160: 마이크
170: 프로세서
200: 외부 장치
800: 오디오 제공 시스템
810: 제1 전자 장치 820: 제2 전자 장치
830: 서버 장치100: electronic device 110: communication interface
120: display 130: speaker
140: memory 150: camera
160: microphone 170: processor
200: external device 800: audio providing system
810: first electronic device 820: second electronic device
830: server device
Claims (20)
디스플레이;
스피커;
적어도 하나의 회로를 포함하는 통신 인터페이스; 및
프로세서;를 포함하고,
상기 프로세서는,
제1 영상을 디스플레이하도록 상기 디스플레이를 제어하고,
상기 제1 영상이 디스플레이되는 동안 상기 통신 인터페이스를 통해 외부 장치로부터 사용자 상태와 관련된 정보를 획득하고,
상기 사용자 상태와 관련된 정보를 바탕으로 상기 사용자 상태에 대응되는 오디오 및 상기 오디오에 대응되는 제2 영상을 생성하고,
상기 제1 영상을 상기 제2 영상으로 변경하여 디스플레이하도록 상기 디스플레이를 제어하고, 상기 생성된 오디오를 출력하도록 상기 스피커를 제어하는
전자 장치.In an electronic device,
display;
speaker;
a communication interface comprising at least one circuit; and
processor; including;
The processor is
Control the display to display a first image,
While the first image is displayed, information related to a user state is obtained from an external device through the communication interface,
generating an audio corresponding to the user status and a second image corresponding to the audio based on the information related to the user status;
controlling the display to change the first image into the second image to display, and controlling the speaker to output the generated audio
electronic device.
상기 프로세서는,
상기 사용자 상태와 관련된 정보를 바탕으로 상기 오디오의 유형을 결정하고, 상기 결정된 유형에 대응되는 상기 오디오를 생성하는
전자 장치.According to claim 1,
The processor is
determining the type of the audio based on information related to the user state, and generating the audio corresponding to the determined type
electronic device.
상기 오디오의 유형은,
템포, 멜로디, 하모니, 코드 및 리듬 중 적어도 하나를 포함하는 상기 오디오의 특성을 바탕으로 정의되는
전자 장치.3. The method of claim 2,
The type of audio is
defined based on characteristics of the audio including at least one of tempo, melody, harmony, chord, and rhythm
electronic device.
상기 사용자 상태와 관련된 정보는 제1 상태 정보 및 제2 상태 정보를 포함하고,
상기 프로세서는,
상기 제1 상태 정보를 바탕으로 상기 오디오의 템포를 결정하고,
상기 제2 상태 정보를 바탕으로 상기 오디오의 리듬을 결정하고,
상기 결정된 템포 및 상기 결정된 리듬을 바탕으로 상기 오디오를 생성하는
전자 장치.According to claim 1,
The information related to the user state includes first state information and second state information,
The processor is
determining the tempo of the audio based on the first state information,
determining the rhythm of the audio based on the second state information,
generating the audio based on the determined tempo and the determined rhythm
electronic device.
상기 프로세서는,
상기 사용자 상태와 관련된 정보를 오디오를 생성하도록 학습된 신경망 모델에 입력하여 상기 오디오를 획득하는
전자 장치.According to claim 1,
The processor is
Obtaining the audio by inputting information related to the user state into a neural network model trained to generate audio
electronic device.
상기 제1 영상 및 상기 제2 영상은 각각 적어도 하나의 UI 엘리먼트를 포함하고,
상기 프로세서는,
상기 생성된 오디오를 바탕으로 상기 적어도 하나의 UI 엘리먼트를 변경하는
전자 장치.According to claim 1,
Each of the first image and the second image includes at least one UI element,
The processor is
changing the at least one UI element based on the generated audio
electronic device.
상기 외부 장치는 웨어러블 장치이고,
상기 프로세서는,
상기 제1 영상이 디스플레이되는 동안 상기 외부 장치로부터 상기 사용자의 생체 정보를 획득하는
전자 장치.According to claim 1,
The external device is a wearable device,
The processor is
acquiring the user's biometric information from the external device while the first image is displayed
electronic device.
상기 프로세서는,
상기 사용자를 촬상한 이미지를 획득하고, 상기 획득된 이미지를 분석하여 상기 사용자 상태에 관련된 정보를 획득하는
전자 장치.According to claim 1,
The processor is
acquiring an image of the user, and analyzing the acquired image to obtain information related to the user's state
electronic device.
상기 사용자 상태와 관련된 정보는,
상기 사용자의 수면 상태 정보, 심박수 정보 및 움직임 정보 중 적어도 하나를 포함하는
전자 장치.According to claim 1,
Information related to the user status,
including at least one of sleep state information, heart rate information, and movement information of the user
electronic device.
상기 프로세서는,
상기 제1 영상이 디스플레이되는 동안 날씨 정보를 획득하고,
상기 사용자 상태와 관련된 정보 및 상기 날씨 정보를 바탕으로 상기 오디오를 생성하는
전자 장치.According to claim 1,
The processor is
Obtaining weather information while the first image is displayed,
generating the audio based on the information related to the user status and the weather information
electronic device.
제1 영상을 디스플레이하는 단계;
상기 제1 영상이 디스플레이되는 동안 외부 장치로부터 사용자 상태와 관련된 정보를 획득하는 단계;
상기 사용자 상태와 관련된 정보를 바탕으로 상기 사용자 상태에 대응되는 오디오 및 상기 오디오에 대응되는 제2 영상을 생성하는 단계; 및
상기 제1 영상을 상기 제2 영상으로 변경하여 디스플레이하고, 상기 생성된 오디오를 출력하는 단계;를 포함하는
제어 방법.A method for controlling an electronic device, comprising:
displaying a first image;
acquiring information related to a user state from an external device while the first image is displayed;
generating audio corresponding to the user status and a second image corresponding to the audio based on the information related to the user status; and
changing the first image to the second image, displaying the changed image, and outputting the generated audio;
control method.
상기 오디오를 생성하는 단계는,
상기 사용자 상태와 관련된 정보를 바탕으로 상기 오디오의 유형을 결정하고, 상기 결정된 유형에 대응되는 상기 오디오를 생성하는
제어 방법.12. The method of claim 11,
The step of generating the audio includes:
determining the type of the audio based on information related to the user state, and generating the audio corresponding to the determined type
control method.
상기 오디오의 유형은,
템포, 멜로디, 하모니, 코드 및 리듬 중 적어도 하나를 포함하는 상기 오디오의 특성을 바탕으로 정의되는
제어 방법.13. The method of claim 12,
The type of audio is
defined based on characteristics of the audio including at least one of tempo, melody, harmony, chord, and rhythm
control method.
상기 사용자 상태와 관련된 정보는 제1 상태 정보 및 제2 상태 정보를 포함하고,
상기 오디오를 생성하는 단계는,
상기 제1 상태 정보를 바탕으로 상기 오디오의 템포를 결정하고,
상기 제2 상태 정보를 바탕으로 상기 오디오의 리듬을 결정하는
제어 방법.12. The method of claim 11,
The information related to the user state includes first state information and second state information,
The step of generating the audio includes:
determining the tempo of the audio based on the first state information,
determining the rhythm of the audio based on the second state information
control method.
상기 오디오를 생성하는 단계는,
상기 사용자 상태와 관련된 정보를 오디오를 생성하도록 학습된 신경망 모델에 입력하여 상기 오디오를 획득하는
제어 방법.12. The method of claim 11,
The step of generating the audio includes:
Obtaining the audio by inputting information related to the user state into a neural network model trained to generate audio
control method.
상기 제1 영상 및 상기 제2 영상은 각각 적어도 하나의 UI 엘리먼트를 포함하고,
상기 적어도 하나의 UI 엘리먼트는 상기 생성된 오디오를 바탕으로 변경되는
제어 방법.12. The method of claim 11,
Each of the first image and the second image includes at least one UI element,
The at least one UI element is changed based on the generated audio.
control method.
상기 외부 장치는 웨어러블 장치이고,
상기 사용자 상태와 관련된 정보는 상기 외부 장치에 의해 획득되는 상기 사용자의 생체 정보를 포함하는
제어 방법.12. The method of claim 11,
The external device is a wearable device,
The information related to the user status includes the user's biometric information obtained by the external device
control method.
상기 사용자 상태와 관련된 정보를 획득하는 단계는,
상기 사용자를 촬상한 이미지를 획득하고, 상기 획득된 이미지를 분석하여 상기 사용자 상태에 관련된 정보를 획득하는
제어 방법.12. The method of claim 11,
The step of obtaining information related to the user state comprises:
acquiring an image of the user, and analyzing the acquired image to obtain information related to the user's state
control method.
상기 사용자 상태와 관련된 정보는,
상기 사용자의 수면 상태 정보, 심박수 정보 및 움직임 정보 중 적어도 하나를 포함하는
제어 방법.12. The method of claim 11,
Information related to the user status,
including at least one of sleep state information, heart rate information, and movement information of the user
control method.
상기 제1 영상이 디스플레이되는 동안 날씨 정보를 획득하는 단계;를 더 포함하고,
상기 오디오를 생성하는 단계는,
상기 사용자 상태와 관련된 정보 및 상기 날씨 정보를 바탕으로 상기 오디오를 생성하는
제어 방법.
12. The method of claim 11,
Further comprising; acquiring weather information while the first image is displayed;
The step of generating the audio includes:
generating the audio based on the information related to the user status and the weather information
control method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200080732A KR20220003197A (en) | 2020-07-01 | 2020-07-01 | Electronic apparatus and method for controlling thereof |
PCT/KR2021/006322 WO2022005016A1 (en) | 2020-07-01 | 2021-05-21 | Electronic device and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200080732A KR20220003197A (en) | 2020-07-01 | 2020-07-01 | Electronic apparatus and method for controlling thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220003197A true KR20220003197A (en) | 2022-01-10 |
Family
ID=79316399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200080732A KR20220003197A (en) | 2020-07-01 | 2020-07-01 | Electronic apparatus and method for controlling thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20220003197A (en) |
WO (1) | WO2022005016A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130071873A (en) * | 2011-12-21 | 2013-07-01 | 삼성전자주식회사 | Content playing apparatus and control method thereof |
KR101978743B1 (en) * | 2012-10-19 | 2019-08-29 | 삼성전자주식회사 | Display device, remote controlling device for controlling the display device and method for controlling a display device, server and remote controlling device |
US20150081210A1 (en) * | 2013-09-17 | 2015-03-19 | Sony Corporation | Altering exercise routes based on device determined information |
KR20170003145A (en) * | 2015-06-30 | 2017-01-09 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
KR102113634B1 (en) * | 2018-02-07 | 2020-05-21 | 장준석 | Virtual reality head mounted display for showing user's status and user status display method and content control method using the system |
-
2020
- 2020-07-01 KR KR1020200080732A patent/KR20220003197A/en unknown
-
2021
- 2021-05-21 WO PCT/KR2021/006322 patent/WO2022005016A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022005016A1 (en) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10409380B2 (en) | Dynamic haptic conversion system | |
CN109785820B (en) | Processing method, device and equipment | |
US11398223B2 (en) | Electronic device for modulating user voice using artificial intelligence model and control method thereof | |
US10171858B2 (en) | Utilizing biometric data to enhance virtual reality content and user response | |
KR102299764B1 (en) | Electronic device, server and method for ouptting voice | |
KR102395515B1 (en) | Touch Event Processing Method and electronic device supporting the same | |
US20180285641A1 (en) | Electronic device and operation method thereof | |
US10482902B2 (en) | Method and system to evaluate and quantify user-experience (UX) feedback | |
US20220130392A1 (en) | Electronic device and control method thereof | |
US9607595B2 (en) | System and method for creation of musical memories | |
CN113939870A (en) | Technique for learning valid music features for generation and retrieval based applications | |
US20210232863A1 (en) | Electronic device and controlling method of electronic device | |
KR20180097382A (en) | Method and apparatus for providing vibration in electronic device | |
KR20210086008A (en) | Method and apparatus for personalizing content recommendation model | |
KR102396794B1 (en) | Electronic device and Method for controlling the electronic device thereof | |
KR20220093653A (en) | Electronic apparatus and method for controlling thereof | |
KR20220003197A (en) | Electronic apparatus and method for controlling thereof | |
JP7482620B2 (en) | DATA GENERATION METHOD, DATA DISPLAY METHOD, DATA GENERATION DEVICE, AND DATA DISPLAY SYSTEM | |
KR20220023639A (en) | Electronic apparatus and method for controlling thereof | |
KR20230061776A (en) | Electronic apparatus and method for controlling thereof | |
US11593426B2 (en) | Information processing apparatus and information processing method | |
KR20200069251A (en) | Electronic device and operating method for providing a conversational game | |
KR20230055947A (en) | Wearable device for providing multi-modality and operating method thereof | |
CN116456035B (en) | Enhanced vibration prompting method and electronic equipment | |
US10824866B2 (en) | System, method, and apparatus for augmented reality implementation |