KR102248208B1 - A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device - Google Patents

A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device Download PDF

Info

Publication number
KR102248208B1
KR102248208B1 KR1020190136818A KR20190136818A KR102248208B1 KR 102248208 B1 KR102248208 B1 KR 102248208B1 KR 1020190136818 A KR1020190136818 A KR 1020190136818A KR 20190136818 A KR20190136818 A KR 20190136818A KR 102248208 B1 KR102248208 B1 KR 102248208B1
Authority
KR
South Korea
Prior art keywords
sound
user
surrounding environment
processor
hearing
Prior art date
Application number
KR1020190136818A
Other languages
Korean (ko)
Inventor
한창용
Original Assignee
주식회사 세이포드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 세이포드 filed Critical 주식회사 세이포드
Priority to KR1020190136818A priority Critical patent/KR102248208B1/en
Application granted granted Critical
Publication of KR102248208B1 publication Critical patent/KR102248208B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Headphones And Earphones (AREA)

Abstract

Provided is a sound device comprising one or more inputs, an internal component, one or more outputs, and a housing configured to receive the input, the internal component, and the output; the input comprises an inner microphone that senses the surrounding environment information within a user's ear canal in a state in which the ear canal is blocked by a sound device; the internal component comprises a processor that controls the inner microphone; the output comprises a speaker that outputs a reproduced content as a sound signal; and outputting the sound signal of a corrected content based on the sound information sensed from the inner microphone. Therefore, the present invention is capable of allowing a higher quality sound to be outputted.

Description

음향 기기 및 이를 이용한 주변 환경 정보 및 사용자의 청각 상태를 반영하여 음향을 보정할 수 있는 방법{A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device}A sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device}

본 발명은 음향기기에 관한 것으로써, 사용자가 음향기기를 착용한 상태에서 실제로 인지할 수 있는 주변 환경을 센싱하여 음향의 보정을 수행할 수 있고, 사용자의 주변 환경 정보 및 청각 상태 정보를 모두 고려하여 음향을 보정함으로써 고품질의 음향을 출력할 수 있는 음향기기에 관한 것이다.The present invention relates to a sound device, and it is possible to perform sound correction by sensing the surrounding environment that the user can actually recognize while wearing the sound device, and consider both the user's surrounding environment information and the hearing state information. It relates to a sound device capable of outputting high-quality sound by correcting the sound.

헤드폰/이어폰은 전기적인 신호를 소리로 만드는 음향기기의 일종으로 소형화에 의한 몇 가지 특수성을 제외하면 스피커와 구성이 유사하다. 이어폰의 경우 귀걸이형과 이너이어형으로 분류하며, 최근에는 블루투스 기능이 강화된 귀걸이형 헤드셋, 노이즈 캔슬링 헤드폰 및 이어폰 등이 출시되고 있고, 무선 방식의 이어폰 제품의 시장이 확대되고 있다. 더욱 고품질의 음향을 즐기고자 하는 소비자의 욕구를 만족시키기 위하여 기기 자체의 성능 향상, 노이즈 캔슬링 기능 도입, 외이도 폐쇄를 통한 음향 집중도 향상, 골전도 방식 적용 등 다양한 각도로 헤드폰/이어폰의 성능이 향상되고 있다. 그러나, 나아가, 사용자의 청각 상태와 실시간으로 변화하는 주변 환경 정보를 반영하여 음향 신호의 품질을 보강하기 위한 기술도 개발되고 있다. 그러나 종래 기술들은 이어폰이나 헤드폰과 페어링된 외부 기기에서 측정된 정보를 이용하거나, 주변의 노이즈가 차단된 특수한 환경에서 측정된 사람의 청각 정보를 이용하거나, 이어폰이나 헤드폰의 외측에 마련된 마이크 등을 통해 측정된 주변 정보를 이용하여 음향 신호를 보정한다. 위와 같은 방식으로 측정된 주변 환경 정보는 이어폰이나 헤드폰으로 막힌 상태에서 외이도를 통해 고막에 전달되는 주변 환경 정보와는 차이가 날 수 밖에 없어 실제 이어폰이나 헤드폰을 쓴 상태에서 주변 환경 소음등의 환경 정보들에 의해 왜곡될 수 있는 음향의 변화를 정확하게 반영하는 데는 한계가 있다.Headphones/earphones are a type of sound device that turns electrical signals into sound, and they are similar in composition to speakers except for some specialty due to miniaturization. Earphones are classified into earring type and inner ear type. Recently, earring type headsets with enhanced Bluetooth function, noise canceling headphones, and earphones have been released, and the market of wireless earphone products is expanding. In order to satisfy consumers' desire to enjoy more high-quality sound, the performance of the headphones/earphones is improved in various angles such as improving the performance of the device itself, introducing a noise canceling function, improving sound concentration through the closure of the ear canal, and applying the bone conduction method. have. However, further, a technology for reinforcing the quality of an acoustic signal by reflecting the user's hearing state and information on the surrounding environment that changes in real time is also being developed. However, conventional techniques use information measured by an external device paired with earphones or headphones, use human hearing information measured in a special environment where surrounding noise is blocked, or through a microphone provided outside of earphones or headphones. The acoustic signal is corrected using the measured surrounding information. The surrounding environment information measured in the above manner is inevitably different from the surrounding environment information transmitted to the eardrum through the ear canal when clogged with earphones or headphones. There is a limit to accurately reflecting the changes in sound that may be distorted by the field.

대한민국특허등록공보 제10-1659410호Korean Patent Registration Publication No. 10-1659410 대한민국특허공개공보 제10-2011-0105422호Korean Patent Laid-Open Publication No. 10-2011-0105422

본 발명은 실제 기기 사용중에 사용자의 귀로 실제적으로 전달되는 주변 환경 소음 등의 정보들을 센싱할 수 있는 음향기기를 제공하고자 하는데 일 목적이 있다.An object of the present invention is to provide a sound device capable of sensing information, such as ambient noise, which is actually transmitted to a user's ear while using the device.

또한, 실제 사용자의 귀로 전달되는 주변 환경 정보와 사용자의 청각 정보를 고려하여 음향을 보정함으로써 사용자에게 최적화된 고품질의 음향을 출력할 수 있는 음향기기를 제공하는데 일 목적이 있다.In addition, an object of the present invention is to provide a sound device capable of outputting a high-quality sound optimized for a user by correcting the sound in consideration of the surrounding environment information transmitted to the user's ear and the user's hearing information.

실시예는, 하나 이상의 입력; 내부 컴포넌트; 하나 이상의 출력; 및 상기 입력, 상기 내부 컴포넌트 및 상기 출력을 수용하도록 구성된 하우징;을 포함하고, 상기 입력은 음향기기에 의해 외이도가 막힌 상태에서 사용자의 외이도 내에서 주변 환경 정보들을 센싱하는 내측 마이크로폰을 포함하고, 상기 내부 컴포넌트는 상기 내측 마이크론폰을 제어하는 프로세서를 포함하고, 상기 출력은 재생되는 콘텐츠를 음향 신호로 출력하는 스피커를 포함하고, 상기 내측 마이크로폰으로부터 센싱된 소리 정보에 기초하여 보정된 콘텐츠의 음향 신호가 출력되는 음향기기를 제공할 수 있다.In embodiments, one or more inputs; Internal components; One or more outputs; And a housing configured to receive the input, the internal component, and the output, wherein the input includes an inner microphone that senses surrounding environment information in the user's ear canal while the ear canal is blocked by a sound device, wherein the The internal component includes a processor that controls the inner microphone, and the output includes a speaker that outputs the reproduced content as an sound signal, and the sound signal of the corrected content based on the sound information sensed from the inner microphone is It is possible to provide an output sound device.

다른 측면에서, 상기 하우징은, 이어 접촉 부분과 이어 비 접촉 부분으로 구성되고 적어도 부분적으로 사용자의 외이도 내에 삽입되거나 상기 사용자의 귀 내에 들어맞도록 형성된 이어 인터페이스 부분을 포함하고, 상기 내측 마이크로폰은 상기 이어 비 접촉 부분에 설치되는 음향기기를 제공할 수 있다. In another aspect, the housing comprises an ear interface portion consisting of an ear contacting portion and an ear non-contacting portion and at least partially inserted into the ear canal of the user or configured to fit within the ear of the user, and the inner microphone comprises the ear It is possible to provide an audio device installed in a non-contact part.

다른 측면에서, 상기 프로세서는, 이벤트의 감지에 응답하여 소정의 시간 동안 상기 내측 마이크로폰을 통해 상기 주변 환경 정보들을 센싱하는 음향기기를 제공할 수 있다.In another aspect, the processor may provide a sound device that senses the surrounding environment information through the inner microphone for a predetermined time in response to detection of an event.

다른 측면에서, 상기 프로세서는 음향기기의 착용 감지라는 이벤트의 감지에 응답하여 소정의 시간 동안 상기 내측 마이크로폰을 통해 상기 주변 환경 정보들을 센싱하는 음향기기를 제공할 수 있다.In another aspect, the processor may provide a sound device that senses the surrounding environment information through the inner microphone for a predetermined time in response to detection of an event such as detection of wearing of the sound device.

다른 측면에서, 상기 프로세서는, 상기 콘텐츠의 종료 또는 일시 중단을 야기하는 이벤트에 응답하여 소정의 시간 동안 상기 내측 마이크로폰을 통해 상기 주변 환경 정보들을 센싱하는 음향기기를 제공할 수 있다.In another aspect, the processor may provide a sound device that senses the surrounding environment information through the inner microphone for a predetermined time in response to an event that causes the content to end or suspend.

다른 측면에서, 상기 내측 마이크로폰으로부터 센싱된 소리 정보 및/또는 상기 사용자의 청각 상태 정보에 기초하여 보정된 콘텐츠 음향 신호가 출력되는 음향기기를 제공할 수 있다.In another aspect, a sound device for outputting a corrected content sound signal based on sound information sensed from the inner microphone and/or the user's hearing state information may be provided.

또 다른 측면에서, 내측 마이크로폰과 프로세서 그리고 스피커를 포함하는 음향기기가 호스트 디바이스와 페어링되고, 상기 프로세서는 미리 설정된 이벤트를 감지하면 상기 내측 마이크로폰을 통해 상기 음향기기에 의해 폐쇄된 외이도 내부에서 주변 환경 정보를 검출하고, 상기 프로세서는 상기 사용자의 청각 상태 정보가 미리 저장된 경우, 상기 내측 마이크로폰에 의해 측정된 주변환경 정보와 상기 청각 상태 정보 모두를 이용하여 재생할 콘텐츠의 음향 신호를 보정하고, 상기 프로세서는 상기 사용자의 청각 상태 정보가 미리 저장되지 않은 경우, 상기 주변 환경 정보에만 기초하여 재생할 콘텐츠의 음향 신호를 보정하며, 상기 음향기기는 상기 스피커를 통해 보정된 음향 신호를 출력하는 음향 기기를 이용한 주변 환경 정보 및 청각 상태를 고려하여 음향을 보정할 수 있는 방법을 제공할 수도 있다.In another aspect, when a sound device including an inner microphone, a processor, and a speaker is paired with a host device, and the processor detects a preset event, information about the surrounding environment inside the ear canal closed by the sound device through the inner microphone When the user's hearing state information is stored in advance, the processor corrects the sound signal of the content to be reproduced using both the ambient environment information measured by the inner microphone and the auditory state information, and the processor If the user's hearing state information is not previously stored, the sound signal of the content to be played is corrected based only on the surrounding environment information, and the sound device is the surrounding environment information using an acoustic device that outputs the corrected sound signal through the speaker. And a method capable of correcting sound in consideration of an auditory state.

또 다른 측면에서, 내측 마이크로폰과 프로세서 그리고 스피커를 포함하는 음향기기가 호스트 디바이스와 페어링되고, 상기 프로세서는 사용자에 의한 상기 음향기기의 착용을 감지하면 상기 내측 마이크로폰을 통해 상기 음향기기에 의해 폐쇄된 외이도 내부에서 주변 환경 정보를 검출하고, 상기 프로세서는 주변 환경 정보에 따른 센싱된 소리의 크기가 기준치 이상인지 여부를 판단하고, 상기 프로세서는 상기 센싱된 소리의 크기가 기준치 이상인 경우, 상기 사용자의 청각 상태 정보의 저장 여부를 판단하고, 상기 프로세서는 상기 사용자의 청각 상태 정보가 저장된 경우, 저장된 청각 상태 정보 및 상기 센싱된 소리에 기초하여 콘텐츠의 음향 신호를 보정하여 출력하는 음향 기기를 이용한 주변 환경 정보 및 청각 상태를 고려하여 음향을 보정할 수 있는 방법을 제공할 수도 있다.In another aspect, a sound device including an inner microphone, a processor, and a speaker is paired with a host device, and the processor detects the wearing of the sound device by the user, and the external ear canal closed by the sound device through the inner microphone The surrounding environment information is detected internally, the processor determines whether the sensed sound level according to the surrounding environment information is greater than or equal to a reference value, and the processor determines the user's hearing state when the sensed sound level is greater than or equal to the reference value. It is determined whether the information is stored, and when the user's hearing state information is stored, the processor corrects and outputs the sound signal of the content based on the stored auditory state information and the sensed sound, and surrounding environment information using an acoustic device. It is also possible to provide a method for correcting the sound in consideration of the auditory state.

또 다른 측면에서, 상기 프로세서는 상기 센싱된 소리의 크기가 기준치 미만인 경우, 상기 사용자의 청각 상태 정보의 저장 여부를 판단하고, 상기 프로세서는 상기 사용자의 청각 상태 정보가 저장된 경우, 저장된 청각 상태 정보에 기초하여 상기 콘텐츠의 음향 신호를 보정하여 출력하고, 상기 프로세서는 상기 사용자의 청각 상태 정보가 저장되지 않은 경우, 상기 콘텐츠의 무 보정된 음향 신호를 출력하는 음향 기기를 이용한 주변 환경 정보 및 청각 상태를 고려하여 음향을 보정할 수 있는 방법을 제공할 수도 있다.In another aspect, when the sensed sound level is less than a reference value, the processor determines whether to store the user's hearing status information, and the processor determines whether the user's hearing status information is stored, the stored hearing status information Based on the correction and output of the sound signal of the content, the processor, when the user's hearing state information is not stored, the surrounding environment information and the hearing state using an acoustic device that outputs an uncorrected sound signal of the content Considering it is possible to provide a way to correct the sound.

또 다른 측면에서, 상기 프로세서는 상기 사용자의 청각 상태 정보가 저장되지 않은 경우, 청력 테스트를 수행하고, 상기 프로세서는 상기 청력 테스트에 기초하여 상기 콘텐츠의 음향 신호를 보정하여 출력하고, 상기 청력 테스트의 결과는 상기 음향기기 착용상태에서 주변 환경 소음이 주는 상기 콘텐츠의 음향 신호의 정도와 상기 사용자의 청력 상태에 대한 정보를 모두 포함하는 음향 기기를 이용한 주변 환경 정보 및 청각 상태를 고려하여 음향을 보정할 수 있는 방법을 제공할 수도 있다.In another aspect, when the user's hearing state information is not stored, the processor performs a hearing test, and the processor corrects and outputs the audio signal of the content based on the hearing test, and the hearing test The result is that the sound is corrected in consideration of the surrounding environment information and the hearing state using an acoustic device including both the level of the sound signal of the content and the information on the user's hearing state when the sound device is worn. You can also provide a way to do it.

본 발명은 이어폰 혹은 헤드폰을 사용하여 외부환경과 공간적으로 분리된 사용자의 귀로 실제 전달되는 주변 환경 정보를 센싱할 수 있는 음향기기를 제공할 수 있다.The present invention can provide a sound device capable of sensing surrounding environment information actually transmitted to a user's ear that is spatially separated from the external environment by using earphones or headphones.

또한, 실제 사용자의 귀로 전달되는 주변 환경 정보와 사용자의 청각 정보를 고려하여 음향을 보정함으로써 보다 고품질의 음향을 출력할 수 있는 음향기기를 제공할 수 있다.In addition, it is possible to provide a sound device capable of outputting higher quality sound by correcting the sound in consideration of the surrounding environment information transmitted to the user's ear and the user's hearing information.

또한, 사용자의 청각 상태나 귀 응답 특성을 고려하여 콘텐츠의 음향을 보정함으로써 사용자의 귀에 최적화된 사운드를 생성할 수 있다.In addition, it is possible to generate a sound optimized for the user's ear by correcting the sound of the content in consideration of the user's hearing condition or ear response characteristics.

또한, 특정 이벤트에 응답하여 외이도 내의 소리를 센싱함으로써 보다 정확하게 주변 환경 정보를 센싱할 수 있다.In addition, by sensing the sound in the ear canal in response to a specific event, it is possible to more accurately sense the surrounding environment information.

또한, 음향기기를 착용한 사용자에서 현재 위치에 따른 주변의 환경 소음 상태에 따라서 음향이 보정되는 방식으로 사용자의 청각정보만으로 음향을 보정하는 방법과 비교할 때, 보다 정확하게 주변 환경 소음에 의해 왜곡되는 음향을 보정할 수 있고, 그런 소음 환경 하에서도 사용자의 음향 보정에 필요한 청각 상태 정보들을 정확하게 측정할 수 있다.In addition, compared to the method of correcting the sound only with the user's auditory information in a manner in which the sound is corrected according to the environmental noise condition of the surrounding environment according to the current location in the user wearing the sound device, the sound that is distorted by the ambient noise Can be corrected, and even under such a noisy environment, the auditory state information required for the user's acoustic correction can be accurately measured.

도 1은 본 발명의 일 실시예에 따른 한 쌍의 음향기기를 단순화한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 한 쌍의 음향기기에 대한 사시도를 예시한다.
도 3은 본 발명의 다른 실시예에 따른 한 쌍의 음향기기에 대한 사시도이다.
도 4는 외이도 차폐에 의해 주변 환경 변화의 변화를 나타내는 것이다.
도 5는 본 발명의 일 실시예에 따른 주변 환경 정보 및 사용자의 청각 상태를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법에 대한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 주변 환경 정보 및 사용자의 청각 상태를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법에 대한 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 주변 환경 정보 및 사용자의 청각 상태를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법에 대한 흐름도이다.
1 is a simplified block diagram of a pair of sound devices according to an embodiment of the present invention.
2 illustrates a perspective view of a pair of sound equipment according to an embodiment of the present invention.
3 is a perspective view of a pair of sound equipment according to another embodiment of the present invention.
Figure 4 shows the change in the surrounding environment changes by the shielding of the ear canal.
5 is a flowchart illustrating a method of correcting and outputting a sound of a content by reflecting information on a surrounding environment and a user's hearing state according to an embodiment of the present invention.
6 is a flowchart illustrating a method of correcting and outputting a sound of a content by reflecting information on a surrounding environment and a user's hearing state according to another embodiment of the present invention.
7 is a flowchart illustrating a method of correcting and outputting a sound of a content by reflecting information on a surrounding environment and a user's hearing state according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.Since the present invention can apply various transformations and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms. In the following embodiments, terms such as first and second are used for the purpose of distinguishing one constituent element from other constituent elements rather than a limiting meaning. In addition, expressions in the singular include plural expressions unless the context clearly indicates otherwise. In addition, terms such as include or have means that the features or components described in the specification are present, and do not preclude the possibility of adding one or more other features or components in advance. In addition, in the drawings, the size of components may be exaggerated or reduced for convenience of description. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of description, and thus the present invention is not necessarily limited to what is shown.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when describing with reference to the drawings, the same or corresponding constituent elements are assigned the same reference numerals, and redundant descriptions thereof will be omitted. .

도 1은 본 발명의 일 실시예에 따른 한 쌍의 음향기기를 단순화한 블록도이다.1 is a simplified block diagram of a pair of sound devices according to an embodiment of the present invention.

도 1을 참조하면, 한 쌍의 음향기기(100a, 100b) 각각은 하나 이상의 입력(110), 내부 컴포넌트(120), 및 하나 이상의 출력(130)을 포함할 수 있다. Referring to FIG. 1, each of a pair of sound devices 100a and 100b may include one or more inputs 110, internal components 120, and one or more outputs 130.

일부 실시예에서, 하나 이상의 입력(110)은 마이크로폰 입력일 수 있다. 다양한 실시예들에서, 하나 이상의 입력(110)은 사용자의 터치를 등록하는 하나 이상의 버튼 또는 센서일 수 있다. 또한, 가속계 또는 용량성 센서가 입력(110)으로서 이용될 수 있고, 예를 들어, 사용자에 의해 활성화되어 전화를 받거나 음향기기(100)로 하여금 페어링 모드로 진입할 것으로 명령할 수 있고, 음향기기(100)로 하여금 주변 소리의 센싱, 청각 테스트, 이어(ear) 응답 특성 분석 기능 수행을 요구하는 명령을 할 수도 있고, 이는 음향기기(100) 중 적어도 하나에서 빛으로 표시될 수 있다.In some embodiments, one or more inputs 110 may be microphone inputs. In various embodiments, the one or more inputs 110 may be one or more buttons or sensors that register a user's touch. In addition, an accelerometer or a capacitive sensor may be used as the input 110, for example, activated by a user to receive a call or command the audio device 100 to enter the pairing mode, and the audio device A command requesting the 100 to perform a function of sensing ambient sound, an auditory test, and analyzing ear response characteristics may be issued, which may be displayed as light in at least one of the audio devices 100.

다양한 실시예들에서, 하나 이상의 내부 컴포넌트(120)는 스피커(121), 재충전가능한 배터리, 프로세서(122) 및/또는 다른 회로부 및 컴포넌트를 포함할 수 있다.In various embodiments, one or more of the internal components 120 may include a speaker 121, a rechargeable battery, a processor 122, and/or other circuitry and components.

다양한 실시예들에서, 하나 이상의 출력(130)은 스피커로부터의 오디오, 빛 또는 다른 표시자일 수 있다. 일부 실시예들에서, 표시광은 착신호, 배터리 충전 레벨, 페어링 모드, 주변 소리의 센싱 모드, 청각 정보 센싱 모드 또는 다른 기능을 표시할 수 있다.In various embodiments, one or more of the outputs 130 may be audio, light or other indicators from a speaker. In some embodiments, the display light may indicate an incoming call, a battery charge level, a pairing mode, a sensing mode of ambient sound, a sensing mode of auditory information, or another function.

일부 실시예들에서, 한 쌍의 음향기기(100a, 100b) 각각은 입력(110)과 출력(130) 디바이스 둘 모두일 수 있는 무선 통신 장치를 포함할 수 있다. 무선 통신 장치는 한 쌍의 음향기기(100a, 100b)로 하여금 스마트폰과 같은 오디오 재생기로부터 오디오 신호를 수신할 수 있도록 할 수 있다. 일부 실시예에서, 무선 통신 장치는 한 쌍의 음향기기(100a, 100b)로 하여금 스마트폰에 센싱된 주변 소리 정보를 전달하도록 할 수 있다. 일부 실시예에서, 무선 통신 장치는 한 쌍의 음향기기(100a, 100b)로 하여금 스마트폰에 생성한 음향 보정 정보를 전달하도록 할 수 있다. In some embodiments, each of the pair of audio devices 100a and 100b may include a wireless communication device that may be both an input 110 and an output 130 device. The wireless communication device may enable a pair of sound devices 100a and 100b to receive an audio signal from an audio player such as a smartphone. In some embodiments, the wireless communication device may cause the pair of sound devices 100a and 100b to transmit the sensed ambient sound information to the smartphone. In some embodiments, the wireless communication device may cause the pair of sound devices 100a and 100b to transmit the generated sound correction information to the smartphone.

일부 실시예들에서, 한 쌍의 음향기기(100a, 100b) 중 하나 이상은 수신 디바이스(예컨대, 스마트폰과 같은 호스트 디바이스)로 하여금, 한정되는 것은 아니나, 전화 호의 연결, 전화 호의 연결 해제, 오디오 재생의 일시 정지, 오디오 재생의 빨리 감기 또는 되감기, 또는 스피커나 마이크로폰 신호의 음소거와 같은 하나 이상의 기능을 수행하도록 명령할 수 있는 통신 신호를 전송할 수 있는 통신장치를 포함할 수 있다. 무선 통신장치는 프로토콜 중 블루투스®, 저 전력 블루투스®, 또는 지그비와 같은 임의의 단거리 저 전력 통신 프로토콜을 채용할 수 있다. 다만, 이에 제한되는 것은 아니고, 무선 통신장치가 아닌 유선 통신장치가 채용되거나 유무선 혼합 방식의 통신장치가 채용될 수도 있다.In some embodiments, at least one of the pair of audio devices 100a, 100b allows a receiving device (eg, a host device such as a smartphone) to, but is not limited to, connection of a phone call, disconnection of a phone call, audio It may include a communication device capable of transmitting a communication signal capable of instructing to perform one or more functions, such as pausing playback, fast forward or rewinding audio playback, or muting a speaker or microphone signal. The wireless communication device may employ any short-range low-power communication protocol such as Bluetooth®, low-power Bluetooth®, or ZigBee among the protocols. However, the present invention is not limited thereto, and a wired communication device other than a wireless communication device may be employed, or a wired/wireless hybrid communication device may be employed.

도 2는 본 발명의 일 실시예에 따른 한 쌍의 음향기기에 대한 사시도를 예시한다. 도 2 및 도 3에 따르면 예시적으로 음향기기 중 이어폰을 도시한 것이나 이에 제한되는 것은 아니고 헤드폰이 될 수 있으며, 다양한 음향기기 중 어느 하나가 될 수 있다.2 illustrates a perspective view of a pair of sound equipment according to an embodiment of the present invention. According to FIGS. 2 and 3, an earphone is illustrated as an exemplary sound device, but the present invention is not limited thereto, and may be a headphone, and may be any one of various sound devices.

음향기기(100)는 이어 인터페이스 부분(101) 및 지주 부분(102)을 갖는 하우징으로 구비한다. 이어 인터페이스 부분(101)은 이어 접촉 부분(101a)과 이어 비 접촉 부분(101b)을 포함한다. 이어 인터페이스 부분(101)은 적어도 부분적으로 사용자의 귀 내에 들어맞도록 형성될 수 있고 비폐쇄적일 수 있다. 이어 비 접촉 부분(101b)은 음향 메시(103)가 구비될 수 있다. 음향 메시(103)는 이어 인터페이스 부분(101) 상에 들어맞고, 내부 스피커로부터 사용자의 귀로 소리가 나아가게 할 수 있다. 일부 실시예들은, 전화에 응답하거나, 재생을 일시 정지 또는 음소거 시키거나, 청각 보정 기능을 수행하거나, 다른 기능들을 수행하는 데 사용될 수 있는 하나 이상의 사용자 입력을 가질 수 있으나 이에 제한되는 것은 아니다.The sound device 100 is then provided as a housing having an interface portion 101 and a post portion 102. The ear interface portion 101 includes an ear contact portion 101a and an ear non-contact portion 101b. The interface portion 101 may then be formed to at least partially fit within the user's ear and may be non-closed. Subsequently, the non-contact portion 101b may be provided with an acoustic mesh 103. The acoustic mesh 103 then fits on the interface portion 101 and may allow sound to propagate from the internal speaker to the user's ears. Some embodiments may have one or more user inputs that may be used to answer a phone call, pause or mute playback, perform an auditory correction function, or perform other functions, but are not limited thereto.

도면에 도시되지 않았지만, 음향기기(100)가 유선으로 통신 및/또는 전력을 수신하는 경우 스마트폰 등 음향을 재생하는 외부 기기와의 연결을 위한 케이블을 구비할 수도 있다.Although not shown in the drawings, when the audio device 100 receives communication and/or power through a wire, a cable for connection with an external device that reproduces sound, such as a smart phone, may be provided.

도 3은 본 발명의 다른 실시예에 따른 한 쌍의 음향기기에 대한 사시도이다.3 is a perspective view of a pair of sound equipment according to another embodiment of the present invention.

도 2에서 예시한 음향기기와의 차이점으로는 음향기기(100)의 이어 인터페이스 부분(101) 중 적어도 일부 또는 이어 인터페이스 부분(101) 및 지주 부분(102)의 적어도 일부가 외이도 내부에 삽입되는 형태로 형성되어 폐쇄적일 수 있는 것이다.The difference from the sound device illustrated in FIG. 2 is that at least a part of the ear interface part 101 of the sound device 100 or at least part of the ear interface part 101 and the post part 102 is inserted into the ear canal. It can be closed by being formed of.

음향기기(100)의 입력(110)은 외이도 내부에서 주변 환경의 소리를 센싱할 수 있는 내측 마이크로폰(111)을 포함할 수 있다. 내측 마이크로폰(111)은 이어 비 접촉 부분(101b)에 설치될 수 있다. 일부 실시예에서, 내측 마이크로폰(111)은 음향 메시(103)에 설치될 수 있다.The input 110 of the audio device 100 may include an inner microphone 111 capable of sensing the sound of the surrounding environment inside the ear canal. The inner microphone 111 may then be installed on the non-contact portion 101b. In some embodiments, the inner microphone 111 may be installed on the acoustic mesh 103.

사용자가 음향기기(100)를 착용하면 내측 마이크로폰(111)은 외이도 내에서 주변 환경 정보들을 센싱할 수 있다. 보다 상세하게는, 음향기기(100)의 적어도 일부가 외이도 내부에 삽입되는 경우, 내측 마이크로폰(111)은 고막과 음향기기(100) 사이의 외이도 내 공간에서 실제 음향에 영향을 줄 수 있는 주변 환경의 소리를 센싱할 수 있다.When the user wears the audio device 100, the inner microphone 111 may sense information about the surrounding environment within the ear canal. More specifically, when at least a part of the sound device 100 is inserted into the ear canal, the inner microphone 111 is a surrounding environment that can affect the actual sound in the space within the ear canal between the eardrum and the sound device 100. You can sense the sound of.

일부 실시예에 따르면, 내측 마이크로폰(111)은 음향기기(100)로부터 발생된 테스트 신호가 사용자의 고막에 전달되고 그 후 반사된 반사음을 센싱할 수도 있다. 그리고, 프로세서(122)는 반사음을 분석하는 방식으로 사용자의 청력을 테스트할 수도 있다.According to some embodiments, the inner microphone 111 may sense the reflected sound after the test signal generated from the sound device 100 is transmitted to the eardrum of the user. In addition, the processor 122 may test the user's hearing ability by analyzing the reflected sound.

다양한 실시예들에 따르면, 음향기기(100)의 입력(110)은 사용자 주변 환경 정보, 예를 들어 음향기기 주변의 소리를 센싱 및/또는 노이즈 소거를 수행하기 위한 적어도 하나의 외측 마이크로폰(112)을 포함할 수 있다. 외측 마이크로폰(112)이 복수 개로 구비되면, 이들은 서로 공조하여 빔포밍 기능을 수행할 수도 있다.According to various embodiments, the input 110 of the sound device 100 includes at least one outer microphone 112 for sensing and/or eliminating noise from surrounding environment information of the user, for example, sound around the sound device. It may include. When a plurality of outer microphones 112 are provided, they may perform a beamforming function by cooperating with each other.

음향기기(100)의 입력(110)은 광학 외이도 센서(119)를 포함할 수 있다. 광학 외이도 센서(119)는 LED 또는 수직 공동 표면 방출 레이저(VCSEL) 디바이스를 포함하지만 이에 한정되지 않는 임의의 유형의 광학 센서를 사용할 수 있다. 추가적인 실시예들은 사용자의 귀의 존재 및/또는 음향기기(100)의 배향을 검출하기 위하여 하나 이상의 용량성 센서 및/또는 가속도계를 포함할 수 있다. 사용자의 귀의 존재를 검출하는 것은 청각 보정 기능의 수행할지를 결정하는 것과 같은 특징적인 경우에 유용할 수 있지만, 이에 한정하지 않고 사용자가 통화를 수락하거나 사용자가 한 쌍의 음향기기(100) 중 어느 하나의 음향기기의 사용을 멈추고 다른 하나의 음향기기를 사용하기 시작할 때를 결정하는 것과 같은 경우에도 적용될 수 있다.The input 110 of the sound device 100 may include an optical ear canal sensor 119. The optical ear canal sensor 119 may use any type of optical sensor including, but not limited to, an LED or vertical cavity surface emitting laser (VCSEL) device. Additional embodiments may include one or more capacitive sensors and/or accelerometers to detect the presence of the user's ear and/or the orientation of the audio device 100. Detecting the presence of the user's ear may be useful in a characteristic case such as determining whether to perform the auditory correction function, but is not limited thereto, and the user accepts the call or the user accepts any one of the pair of audio devices 100 This can also be applied in cases such as deciding when to stop using an audio device of a company and start using another audio device.

도 5는 본 발명의 일 실시예에 따른 사용자의 청각 상태 및 주변 환경 정보를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법에 대한 흐름도이다.5 is a flowchart illustrating a method of correcting and outputting a sound of content by reflecting a user's hearing state and surrounding environment information according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 사용자의 청각 상태 및 주변 환경 정보를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법(S100)은 음향기기와 호스트 디바이스가 서로 페어링되는 단계(S110), 사용자의 음향기기 착용이 감지되는지 판단하는 단계(S120), 음향기기의 착용이 감지되면 음향기기에 의해 외이도가 막힌 상태에서 내측 마이크로폰을 통해 외이도 내부에서 주변 환경 정보를 센싱하는 단계(S130), 사용자의 청각 상태 정보의 저장 여부를 판단하는 단계(S140), 사용자의 청각 상태 정보가 저장된 경우 청각 상태 정보 및 내측 마이크로폰을 통해 센싱된 주변 환경 정보에 기초하여 콘텐츠의 음향을 보정하는 단계(S141), 사용자의 청각 상태 정보가 저장되지 않은 경우 주변 환경 정보에 기초하여 콘텐츠의 음향을 보정하는 단계(S143) 및 보정된 음향 신호를 출력하는 단계(S142)를 포함할 수 있다.Referring to FIG. 5, in a method (S100) of correcting and outputting the sound of content by reflecting the user's hearing state and surrounding environment information according to an embodiment of the present invention, the sound device and the host device are paired with each other (S110). ), determining whether the user's wearing of the sound device is detected (S120), sensing the surrounding environment information inside the ear canal through the inner microphone while the ear canal is blocked by the sound device when the wearing of the sound device is detected (S130) , Determining whether to store the user's hearing state information (S140), if the user's hearing state information is stored, correcting the sound of the content based on the hearing state information and the surrounding environment information sensed through the inner microphone (S141) ), when the user's hearing state information is not stored, correcting the sound of the content based on the surrounding environment information (S143) and outputting the corrected sound signal (S142).

각 단계를 보다 상세하게 설명한다.Each step will be described in more detail.

음향기기와 호스트 디바이스가 서로 페어링되는 단계(S110)Step of pairing the audio device and the host device with each other (S110)

음향기기(100)는 스마트폰과 같은 호스트 디바이스와 무선 및/또는 유선으로 연결되어 서로 페어링될 수 있다.The audio device 100 may be connected to a host device such as a smart phone wirelessly and/or wired to be paired with each other.

사용자의 음향기기 착용이 감지되는지 판단하는 단계(S120)Determining whether the user's wearing of the audio device is detected (S120)

사용자가 음향기기(100)를 착용한다. 프로세서(122)는 광학 외이도 센서(119)의 센싱 결과에 기초하여 사용자의 음향기기(100) 착용 여부를 판단할 수 있다.The user wears the audio device 100. The processor 122 may determine whether the user wears the acoustic device 100 based on the sensing result of the optical ear canal sensor 119.

음향기기의 착용이 감지되면 음향기기에 의해 외이도가 막힌 상태에서 내측 마이크로폰을 통해 외이도 내부에서 주변 환경 정보를 센싱하는 단계(S130)When the wearing of the sound device is detected, sensing surrounding environment information inside the ear canal through the inner microphone while the ear canal is blocked by the sound device (S130)

음향기기(100)의 착용이 감지되면 프로세서(122)는 내측 마이크로폰(111)으로부터 소정의 시간 동안 외이도 내부에서 주변의 환경 정보를 센싱할 수 있다. 주변의 환경 정보는 주변의 소리가 될 수 있다. 일부 실시예에서, 주변의 환경 정보는 주변의 소음이 될 수 있다.When the wearing of the audio device 100 is detected, the processor 122 may sense surrounding environment information inside the external ear canal for a predetermined time from the inner microphone 111. The surrounding environment information can be the surrounding sound. In some embodiments, the surrounding environment information may be ambient noise.

다양한 실시예들에서, 프로세서(122)는 음향기기(100)의 착용이 감지된 후 소정의 시간 동안 외이도 내부에서 주변의 환경 정보를 센싱하는 중에 음향기기(100)에 마련된 입력 버튼 및/또는 터치의 조작이 발생하는 경우 외이도 내부에서 주변의 환경 정보를 센싱하는 과정을 재 수행할 수 있다. 이는 사용자가 음향기기(100)를 착용할 때, 착용의 편안함 등을 위해 음향기기(100)를 다시 고쳐 착용할 수 있다. 이 경우 음향기기(100)에 의한 외이도의 폐쇄 정도가 달라질 수 있고 그에 따라 주변의 환경 정보가 음향기기(100)를 통해 외이도 내부로 전달되는 정도가 달라질 수 있기 때문이다.In various embodiments, the processor 122 detects the wearing of the sound device 100 and touches the input button and/or touch of the sound device 100 while sensing surrounding environment information inside the ear canal for a predetermined period of time. When the manipulation of occurs, the process of sensing surrounding environment information inside the ear canal may be performed again. When the user wears the sound device 100, the sound device 100 may be refurbished and worn for comfort in wearing. In this case, the degree of closure of the ear canal by the audio device 100 may vary, and accordingly, the degree to which information about the surrounding environment is transmitted to the interior of the ear canal through the audio device 100 may vary.

프로세서(122)는 외이도 내부에서 주변의 환경 정보를 센싱하기 전 스피커(121)를 통해 주변의 환경 정보의 센싱 동작의 수행을 알리는 음성 안내 및/또는 알림음을 출력한 후 외이도 내부에서 주변의 환경 정보를 센싱할 수 있으나 이에 제한되는 것은 아니다.The processor 122 outputs a voice guidance and/or a notification sound notifying the execution of the sensing operation of the surrounding environment information through the speaker 121 before sensing the surrounding environment information inside the ear canal, and then the surrounding environment inside the ear canal. Information can be sensed, but is not limited thereto.

사용자의 청각 상태 정보의 저장 여부를 판단하는 단계(S140)Determining whether to store the user's hearing state information (S140)

사용자의 청각 상태 정보가 미리 저장되었는지 여부를 판단할 수 있다. 사용자의 청각 상태 정보는 의료 기관 등에서 정밀하게 측정된 사용자의 청각 상태 정보가 될 수 있다. 다만, 이에 제한되는 것은 아니고 후술할 음향기기(100)를 통해서 측정된 사용자의 청각 상태 정보가 될 수도 있다.It may be determined whether or not the user's hearing state information has been previously stored. The user's hearing state information may be the user's hearing state information precisely measured in a medical institution. However, the present invention is not limited thereto, and may be information on a user's hearing state measured through the audio device 100 to be described later.

청각 상태 정보는 음향기기(100)의 메모리 상에 미리 저장되거나, 음향기기(100)와 페어링된 스마트폰과 같은 호스트 디바이스에 미리 저장될 수 있다.The auditory state information may be stored in advance on a memory of the sound device 100 or may be previously stored in a host device such as a smartphone paired with the sound device 100.

사용자의 청각 상태 정보가 저장된 경우 청각 상태 정보 및 내측 마이크로폰을 통해 센싱된 주변 환경 정보에 기초하여 콘텐츠의 음향을 보정하는 단계(S141)When the user's hearing status information is stored, correcting the sound of the content based on the hearing status information and the surrounding environment information sensed through the inner microphone (S141)

사용자의 청각 상태 정보가 미리 저장된 경우라면, 저장된 청각 상태 정보와 외이도 내부에서 센싱된 주변의 환경 정보에 기초하여 콘텐츠의 음향 신호를 보정할 수 있다.If the user's auditory state information is previously stored, the audio signal of the content may be corrected based on the stored auditory state information and surrounding environment information sensed inside the ear canal.

사용자의 청각 상태 정보가 저장되지 않은 경우 주변 환경 정보에 기초하여 콘텐츠의 음향을 보정하는 단계(S143)If the user's hearing state information is not stored, correcting the sound of the content based on the surrounding environment information (S143)

사용자의 청각 상태 정보가 미리 저장되지 않은 경우라면, 외이도 내부에서 센싱된 주변의 환경 정보에만 기초하여 콘텐츠의 음향 신호를 보정할 수 있다.If the user's auditory state information is not previously stored, the acoustic signal of the content may be corrected based only on the surrounding environment information sensed inside the ear canal.

보정된 음향 신호를 출력하는 단계(S142)Outputting the corrected sound signal (S142)

음향기기(100)는 S141 또는 S143 단계에서 음향 신호가 보정된 콘텐츠를 재생하여 출력할 수 있다.The sound device 100 may reproduce and output content for which the sound signal is corrected in step S141 or S143.

음향기기(100)는 페어링된 스마트폰으로부터 음향 신호를 수신하고, 그 후 수신한 음향 신호를 보정하고 보정된 음향 신호를 스피커(121)를 통해 출력할 수 있다. The sound device 100 may receive an sound signal from the paired smartphone, correct the received sound signal, and output the corrected sound signal through the speaker 121.

다른 측면에서, 스마트폰은 보정한 음향 신호를 음향기기(100)로 전송하여 음향기기(100)로 하여금 보정된 음향 신호를 출력하도록 할 수도 있다.In another aspect, the smartphone may transmit the corrected sound signal to the sound device 100 to cause the sound device 100 to output the corrected sound signal.

음향 신호의 보정과 관련하여, 예를 들어 청각 정보의 분석 결과 사용자가 저음이 잘 안들리는 경우라면 전체 불륨을 키우는 것이 아닌 특정 저음의 크기를 높임으로써 음향 신호를 보정할 수 있다. 다른 예로, 사람 목소리에 너무 민감하게 반응하는 사용자에게는 사람 목소리 대역을 낮춰주는 음향 보정을 통해 전반적으로 다른 저음이나 고음이 잘 들리도록 할 수 있다. 다만, 이에 제한되는 것은 아니다.Regarding the correction of the acoustic signal, for example, if the user cannot hear the low tone as a result of the analysis of the auditory information, the acoustic signal can be corrected by increasing the size of a specific low tone rather than increasing the entire volume. As another example, a user who responds too sensitively to a human voice may be able to hear a different low or high tone overall through sound correction that lowers the human voice band. However, it is not limited thereto.

실시예는, 사용자의 청각 상태 정보를 미리 측정하여 저장할 수 있다. 그리고, 시시각각 변화하는 주변 환경 정보를 센싱하고 미리 저장된 청각 상태 정보 및 주변 환경 정보 또는 주변 환경 정보만으로 콘텐츠의 음향 신호를 보정하여 출력할 수 있다.In the embodiment, information on a user's hearing state may be measured and stored in advance. In addition, it is possible to sense the information about the surrounding environment that changes from time to time, and correct and output the sound signal of the content using only the previously stored auditory state information and the surrounding environment information or the surrounding environment information.

또한, 개인의 청력을 측정하는 것은 꽤 오랜 시간이 걸리는 과정으로써 개인의 청력 상태 정보는 미리 저장하여 이용하고, 단시간에 측정 가능한 주변 환경 정보를 수시로 측정하여 음향 신호를 보정하는데 이용할 수 있다. 따라서, 주변 환경 및 개인의 청력 상태를 모두를 고려하여 빠르게 음향 신호를 보정하여 출력할 수 있으므로 사용자에게 실시간으로 고품질의 음향 신호를 제공할 수 있다.In addition, measuring an individual's hearing is a process that takes quite a long time, and the individual's hearing state information can be stored and used in advance, and information on the surrounding environment that can be measured in a short time can be measured and used to correct an acoustic signal. Accordingly, it is possible to quickly correct and output an acoustic signal in consideration of both the surrounding environment and the individual's hearing condition, thereby providing a high-quality acoustic signal to a user in real time.

도 6은 본 발명의 다른 실시예에 따른 사용자의 주변 환경 정보 및 청각 상태를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법에 대한 흐름도이다.6 is a flowchart illustrating a method of correcting and outputting a sound of a content by reflecting information about a user's surrounding environment and an auditory state according to another embodiment of the present invention.

도 6을 참조하면, 본 발명의 다른 실시예에 따른 사용자의 주변 환경 정보 및 청각 상태를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법(S200)은 음향기기와 호스트 디바이스가 서로 페어링되는 단계(S210), 사용자의 음향기기 착용이 감지되는지 판단하는 단계(S220), 음향기기의 착용이 감지되면 외이도 내부에서 주변 환경 정보를 센싱하는 단계(S230), 센싱된 주변 환경 정보가 미리 설정된 기준치 이상인지 여부를 판단하는 단계(S240). 센싱된 주변 환경 정보가 미리 설정된 기준치 이상인 경우 청각 상태 정보가 저장되어 있는지 여부를 판단하는 단계(S241), 청각 상태 정보가 저장된 경우 청각 상태 정보 및 주변 환경 정보에 기초하여 콘텐츠의 음향 신호를 보정하는 단계(S242), 청각 상태 정보가 저장되지 않은 경우 청력 테스트를 수행하는 단계(S244), 청력 테스트의 결과에 기초하여 콘텐츠의 음향 신호를 보정하는 단계(S245) 및 보정된 콘텐츠의 음향 신호를 출력하는 단계(S243)를 포함할 수 있다. 또한, 센싱된 주변 환경 정보가 미리 설정된 기준치 이하인 경우 청각 상태 정보가 저장되어 있는지 여부를 판단하는 단계(S250), 청각 상태 정보가 저장된 경우 청각 상태 정보에 기초하여 콘텐츠의 음향 신호를 보정하는 단계(S251), 보정된 음향 신호를 출력하는 단계(S252), 청각 상태 정보가 저장되지 않은 경우 무 보정된 음향 신호를 출력하는 단계(S253)를 포함할 수 있다.Referring to FIG. 6, in a method (S200) of correcting and outputting the sound of content by reflecting the user's surrounding environment information and hearing state according to another embodiment of the present invention, the sound device and the host device are paired with each other (S210). ), determining whether the user's wearing of the sound device is detected (S220), sensing information about the surrounding environment inside the ear canal when the wearing of the sound device is detected (S230), whether the sensed surrounding environment information is greater than or equal to a preset reference value The step of determining (S240). When the sensed surrounding environment information is greater than or equal to a preset reference value, determining whether the auditory state information is stored (S241), when the auditory state information is stored, correcting the acoustic signal of the content based on the auditory state information and the surrounding environment information. Step (S242), if the hearing state information is not stored, performing a hearing test (S244), correcting the sound signal of the content based on the result of the hearing test (S245), and outputting the corrected sound signal of the content It may include a step (S243). In addition, when the sensed surrounding environment information is less than a preset reference value, determining whether the auditory state information is stored (S250), when the auditory state information is stored, correcting the sound signal of the content based on the auditory state information ( S251), outputting the corrected sound signal (S252), and outputting an uncorrected sound signal (S253) when the auditory state information is not stored.

각 단계를 보다 상세하게 설명한다.Each step will be described in more detail.

음향기기와 호스트 디바이스가 서로 페어링되는 단계(S210)Step of pairing the audio device and the host device with each other (S210)

음향기기(100)는 스마트폰과 같은 호스트 디바이스와 무선 및/또는 유선으로 연결되어 서로 페어링될 수 있다.The audio device 100 may be connected to a host device such as a smart phone wirelessly and/or wired to be paired with each other.

사용자의 음향기기 착용이 감지되는지 판단하는 단계(S220)Determining whether the user's wearing of the audio device is detected (S220)

사용자가 음향기기(100)를 착용한다. 프로세서(122)는 광학 외이도 센서(119)의 센싱 결과에 기초하여 사용자의 음향기기(100) 착용 여부를 판단할 수 있다.The user wears the audio device 100. The processor 122 may determine whether the user wears the acoustic device 100 based on the sensing result of the optical ear canal sensor 119.

음향기기의 착용이 감지되면 음향기기에 의해 외이도가 막힌 상태에서 내측 마이크로폰을 통해 외이도 내부에서 주변 환경 정보를 센싱하는 단계(S230)When the wearing of the sound device is detected, sensing surrounding environment information inside the ear canal through the inner microphone while the ear canal is blocked by the sound device (S230)

음향기기(100)의 착용이 감지되면 프로세서(122)는 내측 마이크로폰(111)으로부터 소정의 시간 동안 외이도 내부에서 주변 환경 정보를 센싱할 수 있다.When the wearing of the audio device 100 is detected, the processor 122 may sense the surrounding environment information inside the external ear canal from the inner microphone 111 for a predetermined period of time.

센싱된 주변 환경 정보가 미리 설정된 기준치 이상인지 여부를 판단하는 단계(S240)Determining whether the sensed surrounding environment information is greater than or equal to a preset reference value (S240)

프로세서(122)는 내측 마이크로폰(111)으로부터 센싱된 외이도 내부의 소리의 크기가 미리 설정된 기준치 이상인지 여부를 판단할 수 있다.The processor 122 may determine whether the volume of the sound inside the ear canal sensed by the inner microphone 111 is equal to or greater than a preset reference value.

주변 환경의 소음 정보가 소정의 크기 이상이 되면, 사용자가 실제로 듣게되는 음향 신호는 왜곡될 수 있다.When noise information of the surrounding environment exceeds a predetermined size, an acoustic signal that the user actually hears may be distorted.

센싱된 주변 환경 정보가 미리 설정된 기준치 이상인 경우 청각 상태 정보가 저장되어 있는지 여부를 판단하는 단계(S241)When the sensed surrounding environment information is greater than or equal to a preset reference value, determining whether the auditory state information is stored (S241)

프로세서(122)는 사용자의 청각 상태 정보가 미리 저장되었는지 여부를 판단할 수 있다. 사용자의 청각 상태 정보는 의료 기관 등에서 정밀하게 측정된 사용자의 청각 상태 정보가 될 수 있다. 다만, 이에 제한되는 것은 아니고 후술할 음향기기(100)를 통해서 측정된 사용자의 청각 상태 정보가 될 수도 있다.The processor 122 may determine whether or not the user's hearing state information has been previously stored. The user's hearing state information may be the user's hearing state information precisely measured in a medical institution. However, the present invention is not limited thereto, and may be information on a user's hearing state measured through the audio device 100 to be described later.

청각 상태 정보는 음향기기(100)의 메모리 상에 미리 저장되거나, 음향기기(100)와 페어링된 스마트폰과 같은 호스트 디바이스에 미리 저장될 수 있다.The auditory state information may be stored in advance on a memory of the sound device 100 or may be previously stored in a host device such as a smartphone paired with the sound device 100.

청각 상태 정보가 저장된 경우 청각 상태 정보 및 주변 환경 정보에 기초하여 콘텐츠의 음향 신호를 보정하는 단계(S242)If the auditory state information is stored, correcting the sound signal of the content based on the auditory state information and the surrounding environment information (S242)

사용자의 청각 상태 정보가 미리 저장된 경우라면, 저장된 청각 상태 정보와 S230단계에서 측정된 외이도 내부에서의 주변의 환경 정보에 기초하여 콘텐츠의 음향 신호를 보정할 수 있다.If the user's auditory state information is previously stored, the audio signal of the content may be corrected based on the stored auditory state information and the surrounding environment information inside the ear canal measured in step S230.

청각 상태 정보가 저장되지 않은 경우 청력 테스트를 수행하는 단계(S244)Step of performing a hearing test when the hearing state information is not stored (S244)

S242 단계서와는 달리, 청각 상태 정보가 저장되지 않은 경우라면 청력 테스트를 수행할 수 있다. Unlike in step S242, if the hearing state information is not stored, a hearing test may be performed.

이와 같은 경우, 청력 테스트를 통해 측정된 사용자의 청력 상태 정보에는 사용자의 고유의 청력 상태와 주변 환경에 의한 청력 영향이 모두 포함될 수 있다.In this case, the user's hearing state information measured through the hearing test may include both the user's own hearing state and the hearing effect caused by the surrounding environment.

청력 테스트 수행 방법은 예시적으로 다음과 같으나 이에 제한되는 것은 아니다.The method of performing the hearing test is as follows, but is not limited thereto.

프로세서(122)는 S230 단계에서 센싱된 주변 환경 정보에 기초하여 복수의 청각 테스트 신호 중 어느 하나를 선택하여 스피커(121)를 통해 선택된 청각 테스트 신호를 재생할 수 있다.The processor 122 may select any one of a plurality of auditory test signals based on the surrounding environment information sensed in step S230 and reproduce the selected auditory test signal through the speaker 121.

여기서의 청각 테스트 신호는 음향기기(100)의 메모리 내에 미리 저장된 청각 테스트 신호가 될 수 있다. 일부 실시예에서, 프로세서(122)는 센싱된 음향 신호를 예시적으로 음향기기(100)와 페어링된 스마트폰으로 전송하고, 그 후 스마트폰에 의해 수신된 청각 테스트 신호를 스피커(121)를 통해 재생할 수도 있다.Here, the auditory test signal may be an auditory test signal previously stored in the memory of the audio device 100. In some embodiments, the processor 122 transmits the sensed acoustic signal to a smartphone paired with the acoustic device 100 by way of example, and then transmits the auditory test signal received by the smartphone through the speaker 121. You can also play it.

외이도 내부에서 센싱된 주변 환경의 소리의 크기, 소리의 주파수의 분석에 따라 판별된 외부 소리의 특성을 고려하여, 미리 지정된 복수의 청각 테스트 신호 중 어느 하나가 선택될 수 있다.Any one of a plurality of predetermined auditory test signals may be selected in consideration of the characteristics of the external sound determined according to the analysis of the sound level of the surrounding environment sensed inside the ear canal and the frequency of the sound.

외부의 노이즈가 거의 없는 장소에서 사용자의 청각을 테스트하는 것이 바람직할 수 있으나, 사용자가 음향기기를 사용하는 공간은 위와 같은 조건을 만족하지 못하는 공간일 수 있다. 따라서, 적절한 사용자의 청각 테스트를 위해서 음향기기를 사용하는 사용자가 현재 어떤 환경에 위치하는지에 관한 것은 청각 테스트를 함에 있어서 중요한 고려 요소 중 하나이다. 따라서, 실시예는 다양한 청각 테스트 신호 중 현재 검출되는 주변 환경 정보에 기초하여 어느 하나의 청각 테스트 신호를 선택하고 선택된 청각 테스트 신호를 이용하여 사용자의 청각 테스트를 수행할 수 있다.Although it may be desirable to test the user's hearing in a place where there is little external noise, a space in which the user uses an audio device may be a space that does not satisfy the above conditions. Therefore, in order to properly test the user's hearing, what environment the user who uses the audio device is currently in is one of the important factors to consider in performing the auditory test. Accordingly, the embodiment may select one of the various auditory test signals based on the currently detected surrounding environment information, and perform the user's auditory test using the selected auditory test signal.

또한, 사용자가 음향기기를 착용함에 따라 사용자의 외이도는 소정의 강도로 폐쇄된다. 또한, 음향기기의 형상, 음향기기의 착용 타입, 사용자의 귀의 형상과 외이도의 형상 등 다양한 요소에 의해서 사용자의 외이도 차폐 정도가 달라질 수 있다. 이러한 외이도 폐쇄는 주변의 환경과 외이도 내부의 환경의 결정적인 차이를 제공할 수 있다. 이는 도 4에 예시적으로 도시된 바와 같이 실제 외부에 존재하는 환경과 음향기기를 착용한 사용자가 실제 귀로 느끼는 환경의 차이를 불러일으킨다. 따라서, 사용자에게 최적의 음향을 제공하기 위해서는 사용자가 실제 귀로 느끼는 환경의 정보를 정확하게 검출하는 것이 중요함을 알 수 있다.In addition, as the user wears the audio device, the user's ear canal is closed with a predetermined strength. In addition, the degree of shielding of the user's external ear canal may vary depending on various factors such as the shape of the sound device, the type of wearing the sound device, the shape of the user's ear and the shape of the ear canal. This closure of the ear canal can provide a decisive difference between the surrounding environment and the environment inside the ear canal. As illustrated by way of example in FIG. 4, this causes a difference between an environment that actually exists outside and an environment that a user wearing a sound device feels with an actual ear. Therefore, it can be seen that it is important to accurately detect the environment information that the user actually feels with his/her ears in order to provide the user with an optimal sound.

음향기기(100)를 통해 청각 테스트 신호가 출력되는 중 사용자는 음향기기(100)에 마련된 입력 버튼 및/또는 터치의 조작을 통해 들을 수 있는 소리인지 아닌지 여부에 대한 스스로의 판단을 입력할 수 있다. 일부 실시예에서, 사용자는 음향기기(100)와 페어링된 스마트폰과 같은 호스트 디바이스에 스스로의 판단을 입력할 수도 있다.While the audio test signal is output through the audio device 100, the user can input his or her own judgment as to whether or not the sound can be heard through manipulation of an input button and/or a touch provided in the audio device 100. . In some embodiments, the user may input his/her own judgment in a host device such as a smart phone paired with the audio device 100.

예시적으로, 사용자는 청각 테스트 신호가 출력되는 동안에 소리가 감지되는 경우에만 음향기기(100)에 또는 스마트폰에 미리 설정된 입력 신호를 전달할 수 있다.For example, the user may transmit a preset input signal to the audio device 100 or to the smartphone only when sound is detected while the auditory test signal is output.

음향기기(100)의 프로세서(122)는 사용자의 입력 신호에 기초하여 사용자의 청각 상태를 분석할 수 있다. 다른 측면에서, 프로세서(122)는 사용자의 입력 신호에 대한 정보를 스마트폰에 전달함으로써 스마트폰에 마련된 어플리케이션으로 하여금 수신된 사용자의 입력 신호에 대한 정보에 기초하여 사용자의 청각 상태를 분석하게 할 수도 있다.The processor 122 of the audio device 100 may analyze the user's hearing state based on the user's input signal. In another aspect, the processor 122 may cause an application provided in the smartphone to analyze the user's hearing state based on the received information on the user's input signal by transmitting information on the user's input signal to the smartphone. have.

음향기기(100)에 마련된 메모리 또는 스마트폰에서는 복수의 외이도 내부에서 센싱된 주변 환경 정보들과 이들에 각각 매칭된 사용자의 청각 상태 정보를 저장할 수 있다.A memory or a smartphone provided in the audio device 100 may store surrounding environment information sensed inside a plurality of ear canals and information on a user's hearing state matched to each of the plurality of external ear canals.

전술한 실시예에 따라 사용자의 청력을 테스트는 하는 과정은 다소 시간이 걸릴 수 있다. 그러나, 특정 공간에서 일정 수준 이상의 소음이 존재하고, 이러한 특정 공간이 사용자가 일하는 장소나 작업장 등과 같이 사용자가 오랜 시간 머무르는 장소라면, 해당 공간에서 사용자가 소음 환경하에서 스스로의 청력 상태를 측정하고 이를 반영하여 음향 신호를 보정하고자 하는 욕구는 충분히 위 시간을 감내할 수 있을 정도가 될 수 있다. 이 경우, 일반적인 조용한 환경하에서 청력 검사 결과와 달리, 소음 환경하 청력검사 결과는 음향기기를 착용한 상태에서 주변환경 소음들이 외이도내에 음향왜곡을 주는 정보들과 개인 청력상태에 대한 정보 모두 다 포함하게 된다. The process of testing the user's hearing according to the above-described embodiment may take some time. However, if there is noise above a certain level in a specific space, and this specific space is a place where the user stays for a long time, such as a place where the user works or a workplace, the user measures and reflects his or her hearing status in the noisy environment in that space. Thus, the desire to correct the acoustic signal can be enough to endure the above time. In this case, unlike the results of hearing tests in a normal quiet environment, the results of hearing tests in a noisy environment include both information on the individual hearing condition and information on the individual hearing condition caused by ambient noises to distort the sound in the ear canal while wearing a sound device. do.

청력 테스트의 결과에 기초하여 콘텐츠의 음향 신호를 보정하는 단계(S245)Correcting the sound signal of the content based on the result of the hearing test (S245)

프로세서(122)는 청력 테스트의 결과에 기초하여 콘텐츠의 음향 신호를 보정할 수 있다.The processor 122 may correct the sound signal of the content based on the result of the hearing test.

전술한 청력 테스트에 기초하여 분석된 사용자의 청력 상태 정보는 음향기기(100) 및/또는 호스트 디바이스에 저장될 수 있고, 전술한 도 5 및 도 6에서의 청각 상태 정보 또는 후술할 도 7에서의 청각 상태 정보로 활용될 수도 있다.The user's hearing state information analyzed based on the above-described hearing test may be stored in the audio device 100 and/or the host device, and the hearing state information in FIGS. 5 and 6 described above or in FIG. 7 to be described later. It can also be used as auditory state information.

보정된 콘텐츠의 음향 신호를 출력하는 단계(S243)Outputting an acoustic signal of the corrected content (S243)

음향기기(100)는 S242 또는 S245 단계에서 음향 신호가 보정된 콘텐츠를 재생하여 출력할 수 있다.The sound device 100 may reproduce and output content for which the sound signal is corrected in step S242 or S245.

센싱된 주변 환경 정보가 미리 설정된 기준치 이상이 아닌 경우 청각 상태 정보가 저장되어 있는지 여부를 판단하는 단계(S250)If the sensed surrounding environment information is not more than a preset reference value, determining whether the auditory state information is stored (S250)

센싱된 주변 환경 소음이 미리 설정된 기준치 미만인 경우, 사용자가 듣게 되는 콘텐츠의 음향 신호가 주변 소음에 의한 왜곡되지 않는다. 따라서, 주변 환경 정보를 고려한 음향 신호의 보정이 아닌 사용자의 청력 상태에 기초한 음향 신호의 보정만으로도 사용자는 고품질의 음향 신호를 들을 수 있다.When the sensed ambient noise is less than a preset reference value, the sound signal of the content that the user hears is not distorted by the ambient noise. Therefore, a user can hear a high-quality sound signal only by correcting the sound signal based on the user's hearing condition, not correcting the sound signal in consideration of surrounding environment information.

청각 상태 정보가 저장된 경우 청각 상태 정보에 기초하여 콘텐츠의 음향 신호를 보정(S251)하여 이를 출력(S252)하고, 청각 상태 정보가 저장되지 않은 경우 무 보정된 음향 신호를 출력(S253)할 수 있다.When the auditory state information is stored, the audio signal of the content is corrected (S251) based on the auditory state information and output (S252), and when the auditory state information is not stored, an uncorrected sound signal may be output (S253). .

도 7은 본 발명의 또 다른 실시예에 따른 사용자의 청각 상태 및 주변 환경 정보를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법에 대한 흐름도이다.7 is a flowchart illustrating a method of correcting and outputting a sound of a content by reflecting a user's hearing state and surrounding environment information according to another embodiment of the present invention.

도 7을 참조하면, 본 발명의 또 다른 실시예에 따른 사용자의 청각 상태 및 주변 환경 정보를 반영하여 콘텐츠의 음향을 보정하여 출력하는 방법(S300)은 음향기기와 호스트 디바이스가 서로 페어링되는 단계(S310), 미리 설정된 이벤트의 발생 여부를 판단하는 단계(S330), 이벤트의 발생이 확인되면 음향기기에 의해 외이도가 막힌 상태에서 내측 마이크로폰을 통해 외이도 내부에서 주변 환경 정보를 센싱하는 단계(S340), 사용자의 청각 상태 정보의 저장 여부를 판단하는 단계(S350), 사용자의 청각 상태 정보가 저장된 경우 청각 상태 정보 및 내측 마이크로폰을 통해 센싱된 주변 환경 정보에 기초하여 콘텐츠의 음향을 보정하는 단계(S351), 사용자의 청각 상태 정보가 저장되지 않은 경우 주변 환경 정보에 기초하여 콘텐츠의 음향을 보정하는 단계(S353) 및 보정된 음향 신호를 출력하는 단계(S352)를 포함할 수 있다.Referring to FIG. 7, in a method (S300) of correcting and outputting the sound of content by reflecting the user's hearing state and surrounding environment information according to another embodiment of the present invention, a step in which a sound device and a host device are paired with each other ( S310), determining whether a preset event has occurred (S330), and when the occurrence of the event is confirmed, sensing surrounding environment information inside the ear canal through an inner microphone while the external ear canal is blocked by a sound device (S340), Determining whether to store the user's hearing state information (S350), if the user's hearing state information is stored, correcting the sound of the content based on the hearing state information and the surrounding environment information sensed through the inner microphone (S351) , If the user's hearing state information is not stored, correcting the sound of the content based on the surrounding environment information (S353) and outputting the corrected sound signal (S352).

각 단계를 구체적으로 설명하기에 앞서 이전 실시예와 공통된 단계에 대한 상세한 설명은 생략한다.Before describing each step in detail, a detailed description of steps common to the previous embodiment will be omitted.

미리 설정된 이벤트의 발생 여부를 판단하는 단계(S330) 및 외이도 내부에서 주변 환경 정보를 센싱하는 단계(S340)Determining whether a preset event has occurred (S330) and sensing surrounding environment information inside the ear canal (S340)

프로세서(122)는 미리 설정된 적어도 하나의 이벤트의 발생 여부를 모니터링할 수 있다. 여기서의 이벤트는 다양할 수 있으나 예시적으로 다음과 같다.The processor 122 may monitor whether at least one preset event occurs. Events here may vary, but are illustratively as follows.

1) 이벤트는 프로세서(122)가 음향기기의 착용을 감지하는 이벤트가 될 수 있다.1) The event may be an event in which the processor 122 detects the wearing of the audio device.

프로세서(122)는 음향기기(100)의 착용이 감지된 후에 최초 콘텐츠를 재생하기 전에 외이도 내부에서의 주변 환경 정보를 센싱할 수 있다. The processor 122 may sense information about the surrounding environment inside the ear canal before the first content is played after the sound device 100 is detected to be worn.

다른 측면에서, 음향기기(100)를 통해 최초 콘텐츠의 음향이 재생 중인 경우에도 내측 마이크로폰(111)을 통해 외이도 내측에서 센싱되는 주변 환경 정보를 센싱할 수 있다. 다만, 음향이 재생 중일 때는 재생 중인 음향 신호 또한 내측 마이크로폰(111)에서 센싱되므로 주변 환경 정보를 정확히 센싱하기 어려울 수 있다. In another aspect, even when the sound of the original content is being reproduced through the audio device 100, the surrounding environment information sensed from the inside of the ear canal may be sensed through the inner microphone 111. However, when the sound is being reproduced, since the sound signal being reproduced is also sensed by the inner microphone 111, it may be difficult to accurately sense the surrounding environment information.

2) 이벤트는 프로세서(122)가 음향기기(100)에서 출력되는 콘텐츠의 음향의 종료 또는 일시 중단을 야기하는 이벤트가 될 수 있다.2) The event may be an event that causes the processor 122 to terminate or temporarily suspend the sound of the content output from the audio device 100.

구체적인 예를 들면, 노래가 재생 중인 경우 재생 중인 노래가 종료되거나 일시 정지될 수 있다. 프로세서(122)는 재생 중인 노래가 종료되면 다음 콘텐츠가 재생될 때까지 또는 재생 중인 노래가 일시 종료되는 시구간 동안 내측 마이크로폰(111)을 통해 외이도 내부에서의 주변 환경 정보를 센싱할 수 있다. For a specific example, when a song is being played, the currently playing song may be terminated or paused. When the playing song is finished, the processor 122 may sense the surrounding environment information inside the ear canal through the inner microphone 111 until the next content is played or during a time period in which the playing song is temporarily ended.

일부 실시예에서, 특정 이벤트라 함은 음향기기(100)를 통해 미리 설정된 사용자의 입력이 발생하는 경우이다. 이러한 입력은, 외이도 내부에서 주변 환경 정보를 센싱, 재생되는 콘텐츠를 변경, 콘텐츠 재생의 중지, 스피커나 마이크로폰의 음소거, 전화 발신이나 수신을 위한 전화 연결 등의 기능이 수행되기 위한 입력이 될 수 있으나 이에 제한되는 것은 아니다.In some embodiments, a specific event is a case in which a preset user input occurs through the audio device 100. Such an input may be an input for performing functions such as sensing surrounding environment information inside the ear canal, changing the content being played, stopping content playback, muting the speaker or microphone, and connecting a phone to make or receive a call. It is not limited thereto.

프로세서(122)는 미리 설정된 사용자의 입력을 수신하면 내측 마이크로폰(111)을 통해 외이도 내부에서 주변 환경 정보를 센싱할 수 있다.When receiving a preset user input, the processor 122 may sense surrounding environment information inside the ear canal through the inner microphone 111.

일부 실시예에서, 음향기기(100) 그리고 음향기기(100)와 페어링된 스마트폰과 같은 호스트 디바이스의 상호 작용에 의해 주변 환경 정보가 반영될 수도 있다.In some embodiments, surrounding environment information may be reflected by the interaction of the audio device 100 and a host device such as a smart phone paired with the audio device 100.

예를 들면, 스마트폰에서 백그라운드로 실행되는 어플리케이션은 스마트폰에서 실행중인 예시적인 음악 재생 어플리케이션과 연동하여 콘텐츠의 종료와 다음 콘텐츠의 재생을 감지할 수 있다. 그리고, 어플리케이션은 이러한 감지 정보를 음향기기(100)로 전달함으로써 음향기기(100)의 프로세서(122)로 하여금 내측 마이크로폰(111)을 구동하도록 제어할 수도 있다.For example, an application running in the background on a smartphone may detect the end of content and playback of the next content in connection with an exemplary music playback application running on the smartphone. In addition, the application may control the processor 122 of the sound device 100 to drive the inner microphone 111 by transmitting the sensing information to the sound device 100.

내측 마이크로폰(111)을 통해 센싱된 외이도 내부에서의 주변 환경 정보에 대한 분석 결과에 기초하여 콘텐츠의 음향을 보정하여 음향기기(100)에서 콘텐츠가 재생되도록 할 수 있다.The sound of the content may be corrected based on the analysis result of the surrounding environment information inside the external ear canal sensed through the inner microphone 111 so that the audio device 100 can reproduce the content.

다양한 실시예들에서, 프로세서(122)는 외측 마이크로폰(112)으로부터 주변 환경을 센싱하여 이를 분석할 수 있다. 프로세서(122)는 미리 등록된 주변 환경과 매칭되는 주변 환경 정보가 센싱되면, 주변 환경의 센싱 시점 이전에 수집된 외이도 내부에서의 주변 환경 정보와 현재 수집된 주변 환경 정보의 차이에 기초하여 외이도 폐쇄정도를 결정하고 이에 기초하여 출력중인 콘텐츠의 음향 크기를 조절할 수 있다. In various embodiments, the processor 122 may sense the surrounding environment from the outer microphone 112 and analyze it. When the surrounding environment information matching the pre-registered surrounding environment is sensed, the processor 122 closes the ear canal based on the difference between the surrounding environment information inside the ear canal collected before the sensing time of the surrounding environment and the currently collected surrounding environment information. It is possible to determine the degree and adjust the sound level of the content being output based on this.

예를 들어, 미리 등록된 주변 환경이 특정 사람의 목소리인 경우를 가정한다. 프로세서(122)는 외측 마이크로폰(112)으로부터 수집된 주변 환경의 분석 결과 미리 등록된 특정 사람의 목소리가 센싱된 것으로 판단하면, 특정 사람의 목소리의 센싱 시점 이전에 수집된 외이도 내부에서의 주변 환경 정보에 따른 외이도를 통해 고막에 전달되는 주변 노이즈의 크기와 현재 수집된 주변 환경 정보에 따른 주변 노이즈의 크기를 서로 비교하여 외이도 폐쇄정도를 결정한다. 그리고, 폐쇄 정도에 따라 콘텐츠 음향의 크기의 감소 정도가 달라질 수 있다. 예를 들어, 폐쇄 정도가 클수록 콘텐츠 음향의 크기는 더욱 감소할 수 있다. 일부 실시예에서, 프로세서(122)는 미리 설정된 소정의 시간 동안만 콘텐츠 음향의 크기를 줄여 콘텐츠를 재생할 수 있다. 일부 실시예에서, 전술한 특정 사람의 목소리는 음향기기를 사용하는 사용자의 목소리가 될 수 있고, 특정 사람이 미리 설정된 단어나 문장을 말하는 목소리가 될 수도 있다.For example, it is assumed that the surrounding environment registered in advance is the voice of a specific person. When the processor 122 determines that the voice of a specific person registered in advance is sensed as a result of the analysis of the surrounding environment collected from the outer microphone 112, the surrounding environment information inside the ear canal collected before the sensing time of the voice of the specific person The degree of closure of the ear canal is determined by comparing the size of the ambient noise transmitted to the eardrum through the ear canal according to and the size of the ambient noise according to the currently collected surrounding environment information. In addition, the degree of reduction in the size of the content sound may vary according to the degree of closure. For example, as the degree of closure increases, the size of the content sound may further decrease. In some embodiments, the processor 122 may reproduce the content by reducing the size of the content sound only for a predetermined period of time. In some embodiments, the above-described specific person's voice may be a voice of a user using an audio device, or a voice of a specific person speaking a preset word or sentence.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable to those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks. medium), and a hardware device specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device can be changed to one or more software modules to perform the processing according to the present invention, and vice versa.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Specific implementations described in the present invention are examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings exemplarily represent functional connections and/or physical or circuit connections. It may be referred to as a connection, or circuit connections. In addition, if there is no specific mention such as “essential” or “importantly”, it may not be an essential component for the application of the present invention.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, although the detailed description of the present invention has been described with reference to a preferred embodiment of the present invention, the spirit of the present invention described in the claims to be described later if one of ordinary skill in the relevant technical field or those of ordinary skill in the relevant technical field And it will be understood that various modifications and changes can be made to the present invention within a range not departing from the technical field. Accordingly, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be determined by the claims.

Claims (10)

하나 이상의 입력;
내부 컴포넌트;
하나 이상의 출력; 및
상기 입력, 상기 내부 컴포넌트 및 상기 출력을 수용하도록 구성된 하우징;을 포함하고,
상기 입력은 음향기기에 의해 외이도가 막힌 상태에서 사용자의 외이도 내에서 주변 환경 정보들을 센싱하는 내측 마이크로폰을 포함하고,
상기 내부 컴포넌트는 상기 내측 마이크로폰을 제어하는 프로세서를 포함하고,
상기 출력은 재생되는 콘텐츠를 음향 신호로 출력하는 스피커를 포함하고,
호스트 디바이스와 페어링되고,
상기 프로세서는 사용자에 의한 상기 음향기기의 착용을 감지하면 상기 내측 마이크로폰을 통해 상기 음향기기에 의해 폐쇄된 외이도 내부에서 주변 환경 정보를 검출하고,
상기 프로세서는 주변 환경 정보에 따른 센싱된 소리의 크기가 기준치 이상인지 여부를 판단하고,
상기 프로세서는 상기 센싱된 소리의 크기가 기준치 이상인 경우, 상기 사용자의 청각 상태 정보의 저장 여부를 판단하고,
상기 프로세서는 상기 사용자의 청각 상태 정보가 저장된 경우, 저장된 청각 상태 정보 및 상기 센싱된 소리에 기초하여 콘텐츠의 음향 신호를 보정하여 출력하는
음향기기.
One or more inputs;
Internal components;
One or more outputs; And
A housing configured to receive the input, the internal component, and the output; and
The input includes an inner microphone that senses surrounding environment information within the user's ear canal while the ear canal is blocked by a sound device,
The internal component includes a processor for controlling the inner microphone,
The output includes a speaker that outputs the reproduced content as an acoustic signal,
Is paired with the host device,
When the processor detects the wearing of the sound device by the user, the processor detects surrounding environment information inside the ear canal closed by the sound device through the inner microphone,
The processor determines whether the sensed sound level according to the surrounding environment information is greater than or equal to a reference value,
The processor determines whether to store the user's hearing state information when the sensed sound level is greater than or equal to a reference value,
When the user's auditory state information is stored, the processor corrects and outputs the audio signal of the content based on the stored auditory state information and the sensed sound.
Sound equipment.
제1 항에 있어서,
상기 하우징은,
이어 접촉 부분과 이어 비 접촉 부분으로 구성되고 적어도 부분적으로 사용자의 외이도 내에 삽입되거나 상기 사용자의 귀 내에 들어맞도록 형성된 이어 인터페이스 부분을 포함하고,
상기 내측 마이크로폰은 상기 이어 비 접촉 부분에 설치되는
음향기기.
The method of claim 1,
The housing,
An ear interface portion composed of an ear contact portion and an ear non-contact portion and is at least partially inserted into the user's ear canal or formed to fit within the user's ear,
The inner microphone is installed on the non-contact portion of the ear
Sound equipment.
제1 항에 있어서,
상기 프로세서는,
이벤트의 감지에 응답하여 소정의 시간 동안 상기 내측 마이크로폰을 통해 상기 주변 환경 정보들을 센싱하는
음향기기.
The method of claim 1,
The processor,
Sensing the surrounding environment information through the inner microphone for a predetermined time in response to detection of an event
Sound equipment.
제3 항에 있어서,
상기 프로세서는 음향기기의 착용 감지라는 이벤트의 감지에 응답하여
소정의 시간 동안 상기 내측 마이크로폰을 통해 상기 주변 환경 정보들을 센싱하는
음향기기.
The method of claim 3,
The processor is in response to detection of an event called wear detection of the sound device
Sensing the surrounding environment information through the inner microphone for a predetermined time
Sound equipment.
제3 항에 있어서,
상기 프로세서는,
상기 콘텐츠의 종료 또는 일시 중단을 야기하는 이벤트에 응답하여 소정의 시간 동안 상기 내측 마이크로폰을 통해 상기 주변 환경 정보들을 센싱하는
음향기기.
The method of claim 3,
The processor,
Sensing the surrounding environment information through the inner microphone for a predetermined time in response to an event that causes the content to end or suspend
Sound equipment.
삭제delete 제1 항에 있어서,
상기 프로세서는 상기 사용자의 청각 상태 정보가 미리 저장되지 않은 경우, 상기 주변 환경 정보에만 기초하여 재생할 콘텐츠의 음향 신호를 보정하는
음향기기.
The method of claim 1,
When the user's hearing state information is not previously stored, the processor corrects the sound signal of the content to be played based only on the surrounding environment information.
Sound equipment.
내측 마이크로폰과 프로세서 그리고 스피커를 포함하는 음향기기가 호스트 디바이스와 페어링되고,
상기 프로세서는 사용자에 의한 상기 음향기기의 착용을 감지하면 상기 내측 마이크로폰을 통해 상기 음향기기에 의해 폐쇄된 외이도 내부에서 주변 환경 정보를 검출하고,
상기 프로세서는 주변 환경 정보에 따른 센싱된 소리의 크기가 기준치 이상인지 여부를 판단하고,
상기 프로세서는 상기 센싱된 소리의 크기가 기준치 이상인 경우, 상기 사용자의 청각 상태 정보의 저장 여부를 판단하고,
상기 프로세서는 상기 사용자의 청각 상태 정보가 저장된 경우, 저장된 청각 상태 정보 및 상기 센싱된 소리에 기초하여 콘텐츠의 음향 신호를 보정하여 출력하는
음향 기기를 이용한 주변 환경 정보 및 청각 상태를 고려하여 음향을 보정할 수 있는 방법.
A sound device including an inner microphone, a processor, and a speaker is paired with the host device,
When the processor detects the wearing of the sound device by the user, the processor detects surrounding environment information inside the ear canal closed by the sound device through the inner microphone,
The processor determines whether the sensed sound level according to the surrounding environment information is greater than or equal to a reference value,
The processor determines whether to store the user's hearing state information when the sensed sound level is greater than or equal to a reference value,
When the user's auditory state information is stored, the processor corrects and outputs the audio signal of the content based on the stored auditory state information and the sensed sound.
A method for correcting sound in consideration of surrounding environment information and hearing conditions using an acoustic device.
제8 항에 있어서,
상기 프로세서는 상기 센싱된 소리의 크기가 기준치 미만인 경우, 상기 사용자의 청각 상태 정보의 저장 여부를 판단하고,
상기 프로세서는 상기 사용자의 청각 상태 정보가 저장된 경우, 저장된 청각 상태 정보에 기초하여 상기 콘텐츠의 음향 신호를 보정하여 출력하고,
상기 프로세서는 상기 사용자의 청각 상태 정보가 저장되지 않은 경우, 상기 외이도 내부에서 센싱된 주변의 환경 정보에만 기초하여 콘텐츠의 음향 신호를 보정하는
음향 기기를 이용한 주변 환경 정보 및 청각 상태를 고려하여 음향을 보정할 수 있는 방법.
The method of claim 8,
When the sensed sound level is less than a reference value, the processor determines whether to store the user's hearing state information,
When the user's auditory state information is stored, the processor corrects and outputs the audio signal of the content based on the stored auditory state information,
When the user's hearing state information is not stored, the processor corrects the sound signal of the content based only on surrounding environment information sensed inside the ear canal.
A method for correcting sound in consideration of surrounding environment information and hearing conditions using an acoustic device.
제8 항에 있어서,
상기 프로세서는 상기 사용자의 청각 상태 정보가 저장되지 않은 경우, 청력 테스트를 수행하고,
상기 프로세서는 상기 청력 테스트에 기초하여 상기 콘텐츠의 음향 신호를 보정하여 출력하고,
상기 청력 테스트의 결과는 상기 음향기기의 착용상태에서 주변 환경 소음이 주는 상기 콘텐츠의 음향 신호의 정도와 상기 사용자의 청력 상태에 대한 정보를 모두 포함하는
음향 기기를 이용한 주변 환경 정보 및 청각 상태를 고려하여 음향을 보정할 수 있는 방법.

The method of claim 8,
If the user's hearing state information is not stored, the processor performs a hearing test,
The processor corrects and outputs the sound signal of the content based on the hearing test,
The result of the hearing test includes both the level of the sound signal of the content and the information on the user's hearing state when the sound device is worn.
A method for correcting sound in consideration of surrounding environment information and hearing conditions using an acoustic device.

KR1020190136818A 2019-10-30 2019-10-30 A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device KR102248208B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190136818A KR102248208B1 (en) 2019-10-30 2019-10-30 A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190136818A KR102248208B1 (en) 2019-10-30 2019-10-30 A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device

Publications (1)

Publication Number Publication Date
KR102248208B1 true KR102248208B1 (en) 2021-05-04

Family

ID=75914078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190136818A KR102248208B1 (en) 2019-10-30 2019-10-30 A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device

Country Status (1)

Country Link
KR (1) KR102248208B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105422A (en) 2010-03-19 2011-09-27 주식회사 바이오사운드랩 Apparatus for sound converting having function of hearing correction
KR101659410B1 (en) 2015-04-08 2016-09-23 김제금 Sound optimization device and method about combination of personal smart device and earphones
KR20180044964A (en) * 2015-08-31 2018-05-03 누라 홀딩스 프러프라이어테리 리미티드 Personalization of auditory stimuli
KR102002784B1 (en) * 2018-07-27 2019-07-23 주식회사 파인테크닉스 Microphone embedded earphone

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105422A (en) 2010-03-19 2011-09-27 주식회사 바이오사운드랩 Apparatus for sound converting having function of hearing correction
KR101659410B1 (en) 2015-04-08 2016-09-23 김제금 Sound optimization device and method about combination of personal smart device and earphones
KR20180044964A (en) * 2015-08-31 2018-05-03 누라 홀딩스 프러프라이어테리 리미티드 Personalization of auditory stimuli
KR102002784B1 (en) * 2018-07-27 2019-07-23 주식회사 파인테크닉스 Microphone embedded earphone

Similar Documents

Publication Publication Date Title
US10810989B2 (en) Method and device for acute sound detection and reproduction
US8259984B2 (en) Headset with on-ear detection
EP3081011B1 (en) Name-sensitive listening device
US8199942B2 (en) Targeted sound detection and generation for audio headset
US7986791B2 (en) Method and system for automatically muting headphones
EP2202998B1 (en) A device for and a method of processing audio data
US10382853B2 (en) Method and device for voice operated control
US10491981B1 (en) Acoustic in ear detection for a hearable device
US20080158000A1 (en) Autodetect of user presence using a sensor
US20130170656A1 (en) Electronic device and headset with speaker seal evaluation capabilities
CN106851460B (en) Earphone and sound effect adjusting control method
JP2009152666A (en) Sound output control device, sound reproducing device, and sound output control method
CN112019975B (en) Ambient and aggregate acoustic dosimetry
KR102133004B1 (en) Method and device that automatically adjust the volume depending on the situation
US20220122605A1 (en) Method and device for voice operated control
WO2008128173A1 (en) Method and device for voice operated control
US20130044888A1 (en) Audio device and audio producing method
KR101659410B1 (en) Sound optimization device and method about combination of personal smart device and earphones
KR102248208B1 (en) A Sound device, and a method for correcting sound in consideration of surrounding environment information and the user's hearing condition using the sound device
JP4226142B2 (en) Sound playback device
KR101737270B1 (en) Automatic directional-gain control Hearing Aids aid automatic control system for direction of sound
US11206502B1 (en) System and method for evaluating an ear seal using normalization
US10623845B1 (en) Acoustic gesture detection for control of a hearable device
WO2022042862A1 (en) Earphone device and method for earphone device
WO2023160286A1 (en) Noise reduction parameter adaptation method and apparatus

Legal Events

Date Code Title Description
GRNT Written decision to grant