KR102505719B1 - 음성 인식이 가능한 디스플레이 장치 및 방법 - Google Patents

음성 인식이 가능한 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR102505719B1
KR102505719B1 KR1020160103151A KR20160103151A KR102505719B1 KR 102505719 B1 KR102505719 B1 KR 102505719B1 KR 1020160103151 A KR1020160103151 A KR 1020160103151A KR 20160103151 A KR20160103151 A KR 20160103151A KR 102505719 B1 KR102505719 B1 KR 102505719B1
Authority
KR
South Korea
Prior art keywords
noise
user
type
input
guide information
Prior art date
Application number
KR1020160103151A
Other languages
English (en)
Other versions
KR20180018146A (ko
Inventor
유종욱
송명석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160103151A priority Critical patent/KR102505719B1/ko
Priority to US15/624,038 priority patent/US10762897B2/en
Publication of KR20180018146A publication Critical patent/KR20180018146A/ko
Application granted granted Critical
Publication of KR102505719B1 publication Critical patent/KR102505719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L21/00—Vacuum gauges
    • G01L21/02—Vacuum gauges having a compression chamber in which gas, whose pressure is to be measured, is compressed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G10L2021/0208—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

음성 인식이 가능한 디스플레이 장치 및 방법이 개시된다.　 본 발명에 따르면, 원격 제어 장치의 제어 명령에 따라 동작을 수행하는 디스플레이 장치에서 음성 인식을 수행하는 방법은 원격 제어 장치로부터 전송된 사용자 음성을 포함하는 오디오 신호를 입력받는 단계, 입력된 오디오 신호의 신호 특징을 추출하는 단계, 기저장된 복수의 노이즈 유형별 신호 특성을 참조하여 추출된 신호 특징과 관련된 노이즈 유형을 식별하는 단계 및 식별된 노이즈 유형에 대응되는 가이드 정보를 출력하는 단계를 포함한다.　 이에 따라, 디스플레이 장치는 사용자에게 음성 인식에 적합한 발화 음성 입력 가이드를 제공하여 발화 음성에 대한 음성 인식 성능을 향상시킬 수 있다.

Description

음성 인식이 가능한 디스플레이 장치 및 방법{Electronic device and method for recognizing voice of speech}
본 발명은 디스플레이 장치 및 방법에 관한 것으로써, 보다 상세하게는 입력된 오디오 신호에 포함된 음성 신호에 대한 음성 인식을 수행하는 디스플레이 장치 및 방법에 관한 것이다.
음성 신호를 이용하여 각종 디스플레이 장치를 제어하는 음성 인식 기술이 널리 이용되고 있다. 일반적으로, 음성 인식 기술은 하드웨어 또는 소프트웨어 장치나 시스템에서 음성 신호가 입력되면, 입력된 음성 신호로부터 사용자의 발화 음성에 대한 의도를 파악하고, 그에 따른 동작을 수행하는 기술을 말한다.
그러나, 이 같은 음성 인식 기술은 사용자의 발화 음성에 대한 음성 신호 뿐만 아니라, 주변 환경에서 발생하는 각종 소리까지 인식하게 되어 사용자의 발화 음성에 대한 음성 인식을 올바르게 수행하지 못하거나, 잘못 인식된 음성 인식 결과에 의해 사용자가 의도하는 동작과 상이한 동작을 수행하는 문제가 발생한다.
즉, 종래의 음성 인식 기술은 사용자의 발화와 주변 환경에 의해 발생하는 소리를 포함하는 오디오 신호가 입력될 경우, 사용자의 발화 음성에 적합한 음성 인식 성능이 저하되는 문제가 있다.
따라서, 이 같은 음성 인식 성능 저하 문제를 개선하기 위해서, 종래에는 전처리 수행 단계에서 입력된 오디오 신호에 포함된 노이즈를 제거하거나 신호 크기를 조정하여 음성 인식 성능을 개선하기 위한 방법에 연구 개발되고 있다.
그럼에도 불구하고, 사용자의 발화 음성에 대한 음성 신호보다 주변 환경에서 발생한 소리에 의한 노이즈 신호의 세기가 큰 오디오 신호가 입력될 경우, 사용자의 발화 음성에 적합한 음성 인식을 수행하지 못지 못하는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 디스플레이 장치에서 입력된 오디오 신호로부터 사용자의 발화 음성에 적합한 음성 인식을 수행하도록 함을 목적으로 한다.
나아가, 본 발명은 사용자에게 음성 인식에 적합한 발화 음성 입력 가이드를 제공하도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 명령에 따라 동작을 수행하는 디스플레이 장치에서 음성 인식을 수행하는 방법은 상기 원격 제어 장치로부터 전송된 사용자 음성을 포함하는 오디오 신호를 입력받는 단계, 상기 입력된 오디오 신호의 신호 특징을 추출하는 단계, 기저장된 복수의 노이즈 유형별 신호 특성을 참조하여 상기 추출된 신호 특징과 관련된 노이즈 유형을 식별하는 단계 및 상기 식별된 노이즈 유형에 대응되는 가이드 정보를 출력하는 단계를 포함한다.
그리고, 상기 식별된 노이즈 유형이 사용자 근접 발화에 의해 입력되는 노이즈 유형이면, 이격 발화 유도를 위한 가이드 정보를 출력할 수 있다.
또한, 상기 출력하는 단계는, 상기 식별된 노이즈 유형이 주변 기기로부터 출력되는 오디오가 삽입되는 노이즈 유형이면, 상기 주변 기기 제어 유도를 위한 가이드 정보를 출력할 수 있다.
그리고, 상기 출력하는 단계는, 상기 식별된 노이즈 유형이 주변 환경 소음에 의해 발생되는 노이즈 유형이면 발화 장소 변경을 위한 가이드 정보를 출력할 수 있다.
또한, 상기 식별하는 단계는, 상기 오디오 신호를 구성하는 복수의 프레임 중 연속된 적어도 두 개의 프레임의 특징값과 상기 복수의 노이즈 유형 중 제1 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상이면, 상기 제1 노이즈 유형을 상기 오디오 신호에 포함된 노이즈의 유형으로 식별하며, 상기 복수의 프레임 및 상기 복수의 노이즈 유형의 특징값은, 주파수 특성을 나타내는 MFCC(Mel-Frequency Cepstral Coefficients) 값일 수 있다.
그리고, 제 1 항에 있어서, 상기 디스플레이 장치는, 복수의 노이즈 유형 각각에 대응되는 신호 특성 및 상기 복수의 노이즈 유형 각각에 대한 가이드 정보가 매칭된 테이블을 저장하며, 상기 출력하는 단계는, 상기 식별된 노이즈 유형과 매칭된 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력할 수 있다.
또한, 상기 식별하는 단계는,복수의 마이크를 통해 오디오 신호가 입력되면, 상기 복수의 오디오 신호가 입력되는 시간 차이에 기초하여 상기 복수의 오디오 신호의 각도를 검출하고, 상기 검출된 각도 중 기설정된 임계 각도 미만의 각도로 검출된 오디오 신호에 대해서 노이즈 유형을 식별할 수 있다.
그리고, 상기 식별하는 단계는, 상기 복수의 마이크 중 기설정된 마이크를 통해 입력된 오디오 신호에 대해서 노이즈 유형을 식별할 수 있다.
또한, 상기 노이즈 유형의 식별 및 상기 가이드 정보 출력 동작은, 상기 오디오 신호에 포함된 음성 신호에 대한 음성 인식을 수행하는 전처리 과정이 수행되기 전에 수행될 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 원격 제어 장치의 제어 명령에 따라 동작을 수행하는 디스플레이 장치는 상기 원격 제어 장치로부터 전송된 사용자 음성을 포함하는 오디오 신호를 입력받는 입력부, 상기 입력된 오디오 신호에 대한 가이드 정보를 출력하는 출력부 및 상기 입력된 오디오 신호의 신호 특징을 추출하며, 기저장된 복수의 노이즈 유형별 신호 특성을 참조하여 상기 추출된 신호 특징과 관련된 노이즈 유형을 식별하고, 상기 식별된 노이즈 유형에 대응되는 가이드 정보를 출력하도록 상기 출력부를 제어하는 프로세서를 포함한다.
그리고, 상기 프로세서는, 상기 식별된 노이즈 유형이 사용자 근접 발화에 의해 입력되는 노이즈 유형이면, 이격 발화 유도를 위한 가이드 정보를 출력하도록 상기 출력부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 식별된 노이즈 유형이 주변 기기로부터 출력되는 오디오가 삽입되는 노이즈 유형이면, 상기 주변 기기 제어 유도를 위한 가이드 정보를 출력하도록 상기 출력부를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 식별된 노이즈 유형이 주변 환경 소음에 의해 발생되는 노이즈 유형이면 발화 장소 변경을 위한 가이드 정보를 출력하도록 상기 출력부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오디오 신호를 구성하는 복수의 프레임 중 연속된 적어도 두 개의 프레임의 특징값과 상기 복수의 노이즈 유형 중 제1 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상이면, 상기 제1 노이즈 유형을 상기 오디오 신호에 포함된 노이즈의 유형으로 판단하며, 상기 복수의 프레임 및 상기 복수의 노이즈 유형의 특징값은, 주파수 특성을 나타내는 MFCC(Mel-Frequency Cepstral Coefficients) 값일 수 있다.
그리고, 복수의 노이즈 유형 각각에 대응되는 신호 특성 및 상기 복수의 노이즈 유형 각각에 대한 가이드 정보가 매칭된 테이블을 저장하는 저장부를 더 포함하며, 상기 프로세서는 상기 식별된 노이즈 유형과 매칭된 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력하도록 상기 출력부를 제어할 수 있다.
또한, 복수의 마이크를 포함하는 입력부를 더 포함하며, 상기 프로세서는, 상기 복수의 마이크를 통해 복수의 오디오 신호가 입력되면, 상기 복수의 오디오 신호가 입력되는 시간 차이에 기초하여 상기 복수의 오디오 신호의 각도를 검출하고, 상기 검출된 각도 중 임계 각도 미만의 각도로 검출된 오디오 신호에 대해서 노이즈 유형을 식별할 수 있다.
그리고, 복수의 마이크를 포함하는 입력부를 더 포함하며, 상기 프로세서는, 상기 복수의 마이크 중 기설정된 마이크를 통해 입력된 오디오 신호를 제외한 나머지 신호를 노이즈 신호로 판단할 수 있다.
또한, 상기 프로세서는, 상기 오디오 신호에 포함된 음성 신호에 대한 음성 인식을 수행하는 전처리 과정이 수행되기 전, 상기 노이즈 유형의 식별 및 상기 가이드 정보에 대한 출력을 제어할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 사용자에게 음성 인식에 적합한 발화 음성 입력 가이드를 제공하여 발화 음성에 대한 음성 인식 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 음성 인식이 가능한 디스플레이 장치에 대한 개략적인 블록도,
도 2는 본 발명의 일 실시예에 따른 오디오 신호에 포함된 노이즈에 대한 노이즈 유형을 식별하기 위한 노이즈 모델을 저장하는 저장부의 예시도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 입력된 오디오 신호의 유형에 기초하여 가이드 정보를 제공하는 제1 실시예,
도 4는 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 입력된 오디오 신호의 유형에 기초하여 가이드 정보를 제공하는 제2 실시예,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 입력된 오디오 신호의 유형에 기초하여 가이드 정보를 제공하는 제3 실시예,
도 6은 본 발명의 일 실시예에 따른 음성 인식이 가능한 디스플레이 장치의 세부 블록도,
도 7은 본 발명의 일 실시예에 따른 원격 제어 장치의 블록도,
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 음성 인식을 수행하는 방법의 제1 흐름도,
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 오디오 신호에 포함된 노이즈 신호에 대한 유형을 판단하는 방법의 흐름도,
도 10은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 음성 인식을 수행하는 방법의 제2 흐름도,
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치에서 복수의 오디오 신호 중 노이즈 유형 판단을 위한 오디오 신호를 결정하기 위한 방법의 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 음성 인식이 가능한 디스플레이 장치에 대한 개략적인 블록도이다.
도 1에 도시된 바와 같이, 디스플레이 장치(100)는 사용자의 발화 음성에 대한 음성 인식이 가능하며, 원격 제어 명령(200)에 따라 동작을 수행하는 장치로써, 예를 들어, 스마트 TV와 같은 장치가 될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 음성 인식이 가능한 스마트폰, 테블릿 PC 등과 같은 휴대용 단말 장치 혹은 디스플레이 장치(100)의 동작을 제어하는 원격 제어 장치 혹은 디스플레이 장치(100)로 컨텐츠를 제공하는 셋탑 박스와 같은 단말 장치가 될 수 있다.　 이 같은 디스플레이 장치(100)는 입력부(110), 저장부(120) 및 프로세서(130) 및 출력부(140)를 포함한다.
입력부(110)는 디스플레이 장치(100)의 동작을 제어하는 원격 제어 장치(200)로부터 사용자의 발화 음성에 대한 음성 신호가 포함된 오디오 신호를 입력받으며, 출력부(120)는 입력된 오디오 신호에 대한 가이드 정보를 출력한다. 디스플레이 장치(100)로 오디오 신호를 전송하는 원격 제어 장치(200)는 하기에서 상세히 설명하도록 한다.
저장부(120)는 기정의된 복수의 노이즈 유형별 신호 특성을 저장한다.　 여기서, 노이즈 유형별 신호 특성은 숨 소리, 바람 소리, 음악 소리, 주변 환경에서 발생하는 생활 잡음 등의 신호로부터 산출된 특징값이다.　 이 같은 노이즈 유형별 특징값은 주파수 특성을 나타내는 MFCC(Mel-Frequency Cepstral Coefficients) 값이다. 또한, 저장부(120)는 복수의 노이즈 유형별 신호 특성 및 복수의 노이즈 유형 각각에 대한 가이드 정보가 매칭된 테이블을 저장할 수 있다.　 이 같은 저장부(120)는 하기에서 상세히 설명하도록 한다.
프로세서(140)는 디스플레이 장치(100)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다.　 특히, 프로세서(140)는 입력부(110)를 통해 입력된 오디오 신호의 신호 특징을 추출하며, 저장부(130)에 기저장된 복수의 노이즈 유형별 신호 특성을 참조하여 기추출된 신호 특징과 관련된 노이즈 유형을 식별한다.　 이후, 프로세서(140)는 식별된 노이즈 신호의 유형에 대응되는 가이드 정보를 출력하도록 출력부(120)를 제어한다.　 이에 따라, 출력부(120)는 디스플레이 장치(100)에서 인식 가능한 음성 신호로 사용자의 발화 음성이 입력될 수 있는 가이드 정보를 출력할 수 있다.
구체적으로, 원격 제어 장치(200)는 마이크(미도시)를 통해 사용자의 발화 음성이 입력되면, 입력된 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 디스플레이 장치(100)로 전송한다. 이에 따라, 입력부(110)는 원격 제어 장치(200)로부터 전송된 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 입력받을 수 있다.　 그러나, 본 발명은 이에 한정되지 않으며, 입력부(110)는 디스플레이 장치(100)에 구비된 마이크(111) 혹은 또다른 주변 기기(미도시)로부터 사용자의 발화 음성에 대한 음성 신호가 포함된 오디오 신호를 입력받을 수 있다.
사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호가 입력되면, 입력부(110)는 입력된 오디오 신호를 기설정된 시간 단위의 프레임으로 나누어 프로세서(140)로 출력한다.　
따라서, 프로세서(140)는 프레임 단위의 오디오 신호로부터 특징값을 추출한다.　 입력된 오디오 신호를 구성하는 복수의 프레임의 특징값이 추출되면, 프로세서(140)는 복수의 프레임별 특징값과 기저장된 노이즈 유형별 특징값의 유사도를 판단하여 기설정된 임계값 이상의 유사도를 갖는 노이즈 유형을 오디오 신호에 포함된 노이즈 신호의 유형으로 식별한다.
구체적으로, 프로세서(140)는 오디오 신호를 구성하는 복수의 프레임 중 연속된 적어도 두 개의 프레임의 특징값과 기저장된 복수의 노이즈 유형 중 제1 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상이면, 제1 노이즈 유형을 입력된 오디오 신호에 포함된 노이즈의 유형으로 식별할 수 있다.
여기서, 복수의 프레임 및 복수의 노이즈 유형의 특징값은 MFCC(Mel-Frequency Cepstral Coefficients) 값이 될 수 있다.　 그러나, 본 발명은 이에 한정되지 않으며, Centroid, Roll-off, 밴드 스펙트럼 에너지, Low energy ratio, Zero crossing rate, Octave band energy와 같은 공지된 특징값 추출 알고리즘을 이용할 수 있다.
여기서, MFCC는 프레임 단위의 오디오 신호의 파워 스펙트럼을 표현하는 방법 중 하나로써, 비선형적인 Mel 스케일의 주파수 도메인에서 로그 파워 스펙트럼에 코사인 변환(Cosine Transform)을 취하여 획득되는 특징 벡터이다.
Centroid는 프레임 단위의 오디오 신호에 대한 주파수 영역에서 주파수 성분들의 중심값을 나타내는 값이며, Roll-off는 프레임 단위의 오디오 신호의 주파수 영역 중 85%의 주파수 성분을 포함하는 주파수 영역을 나타내는 값이다.□ 그리고,□ 밴드 스펙트럼 에너지(Band Spectrum Energy)는 프레임 단위의 오디오 신호에 대한 주파수 대역에 에너지가 얼마나 퍼져 있는지를 나타내는 값이다.
Low energy ratio는 프레임 단위의 오디오 신호에 대한 주파수 대역에의 낮은 에너지의 비율을 나타내는 것이며, Zero crossing rate은 시간 도메인 상에 프레임 단위의 오디오 신호의 값이 양수와 음수로 교차되는 정도를 나타낸 것이다.□ 그리고, Octave band energy는 프레임 단위의 오디오 신호에 대한 주파수 대역에서 높은 주파수 성분의 에너지를 나타내는 것이다.□
실시예에 따라, 프로세서(140)는 아래 <수학식 1>과 같은 코사인 유사도 알고리즘을 이용하여 복수의 프레임의 특징값과 기저장된 복수의 노이즈 유형별 특징값 간의 유사도를 산출할 수 있다.
Figure 112016078723569-pat00001
여기서, A는 노이즈 모델에 포함된 복수의 노이즈 유형 중 제1 노이즈 유형의 특징값이며, B는 오디오 신호를 구성하는 복수의 프레임 중 제1 프레임의 추출된 특징값이 될 수 있다.
이 같은 코사인 유사도 알고리즘을 이용하여 제1 노이즈 유형과 제1 프레임 간의 유사도가 산출되면, 프로세서(130)는 산출된 유사도와 기설정된 임계값을 비교하여 유사도가 기설정된 임계값 이상이면, 제1 프레임의 오디오 신호에 제1 노이즈 유형의 오디오 신호가 포함된 것으로 판단한다.
만약, 유사도가 기설정된 임계값 미만이면, 프로세서(140)는 전술한 코사인 유사도 알고리즘을 이용하여 노이즈 모델이 포함된 복수의 노이즈 유형 중 제2 노이즈 유형의 특징값과 제1 프레임의 특징값 간의 유사도를 산출하고, 산출된 유사도가 기설정된 임계값 이상인지 여부를 판단한다.　 판단 결과, 유사도가 기설정된 임계값 이상이면, 프로세서(140)는 제1 프레임의 오디오 신호에 제2 노이즈 유형의 노이즈가 포함된 것으로 판단할 수 있다.
이 같은 수행 동작을 통해 오디오 신호를 구성하는 복수의 프레임 중 연속된 적어도 2 개의 프레임에 노이즈 신호가 포함된 것으로 판단되면, 프로세서(140)는 적어도 2 개의 프레임에 포함된 노이즈의 노이즈 유형에 대응되는 가이드 정보를 획득하여 제공할 수 있다.
실시예에 따라, 복수의 프레임 중 연속된 제1 및 제2 프레임의 특징값이 추출될 수 있다.　 그리고, 제1 프레임의 특징값과 복수의 노이즈 유형 중 제1 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상이며, 제2 프레임의 특징값과 제1 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상일 수 있다.
이 경우, 프로세서(140)는 입력부(110)를 통해 입력된 오디오 신호에 노이즈가 포함된 것으로 판단할 수 있으며, 오디오 신호에 포함된 노이즈를 제1 노이즈 유형으로 식별할 수 있다.　
이 같은 실시예를 통해 오디오 신호에 포함된 노이즈에 대한 노이즈 유형이 식별되면, 프로세서(140)는 식별된 노이즈 유형과 관련된 가이드 정보를 획득하고, 획득된 가이드 정보를 출력하도록 출력부(120)를 제어한다.　 전술한 바와 같이, 저장부(120)는 복수의 노이즈 유형별 특징값 및 복수의 노이즈 유형 각각에 대한 가이드 정보가 매칭된 테이블을 저장하할 수 있다.
따라서, 프로세서(140)는 저장부(120)에 기저장된 복수의 노이즈 유형별 가이드 정보를 참조하여 오디오 신호에 포함된 노이즈의 노이즈 유형에 대응되는 가이드 정보를 획득하고, 획득된 가이드 정보를 출력하도록 출력부(120)를 제어할 수 있다.　
이에 따라, 출력부(120)는 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력할 수 있다.　 이 같은 가이드 정보가 출력되면, 사용자는 해당 가이드 정보에 기초하여 재발화를 수행함으로써, 디스플레이 장치(100)는 음성 인식이 가능한 사용자의 음성 신호를 포함하는 오디오 신호를 입력받을 수 있다.
일 실시예에 따라, 프로세서(140)는 식별된 노이즈 유형이 사용자 근접 발화에 의해 입력되는 노이즈 유형이면, 기저장된 복수의 노이즈 유형별 가이드 정보를 참조하여 이격 발화 유도를 위한 가이드 정보를 출력하도록 출력부(120)를 제어할 수 있다.
이에 따라, 출력부(120)는 이격 발화 유도를 위한 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력하며, 사용자는 이 같은 가이드 정보에 기초하여 원격 제어 장치(200)와 일정 거리 간격을 두고 재발화를 할 수 있다.
또다른 실시예에 따라, 프로세서(140)는 식별된 노이즈 유형이 오디오 출력 장치와 같은 주변 기기로부터 출력되는 오디오가 삽입된 노이즈 유형이면, 주변 기기 제어 유도를 위한 가이드 정보를 출력하도록 출력부(120)를 제어할 수 있다.
이에 따라, 출력부(120)는 주변 기기 제어 유도를 위한 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력하며, 사용자는 이 같은 가이드 정보에 기초하여 오디오가 출력되는 주변 기기의 볼륨을 조정한 후, 원격 제어 장치(200)를 통해 재발화를 할 수 있다.
또다른 실시예에 따라, 프로세서(140)는 식별된 노이즈 유형이 주변 환경 소음에 의해 발생되는 노이즈 유형이면, 발화 장소 변경을 위한 가이드 정보를 출력하도록 출력부(120)를 제어할 수 있다.
이에 따라, 출력부(120)는 발화 장소 변경을 위한 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력하며, 사용자는 이 같은 가이드 정보에 기초하여 이전 발화한 지점에서 다른 지점으로 이동한 후, 원격 제어 장치(200)를 통해 재발화할 수 있다.한편, 입력부(110)는 복수의 마이크(111)를 포함할 수 있으며, 복수의 마이크(111)를 통해 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 입력받을 수 있다.　 이 같이, 복수의 마이크(111)를 통해 오디오 신호가 입력되면, 프로세서(140)는 복수의 마이크(111)를 통해 입력된 복수의 오디오 신호 중 일부 오디오 신호를 노이즈 신호로 판단한다.　 즉, 프로세서(140)는 복수의 마이크(111)를 통해 복수의 오디오 신호가 입력되면, 다음과 같은 실시예에 기초하여 복수의 오디오 신호 중 하나의 오디오 신호를 노이즈 유형 판단을 위한 오디오 신호로 선택하고, 나머지 오디오 신호를 노이즈 신호로 결정할 수 있다.
일 실시예에 따라, 프로세서(140)는 복수의 마이크(111)를 통해 입력되는 복수의 오디오 신호의 시간 차이에 기초하여 복수의 오디오 신호별 각도를 검출한다.　 실시예에 따라, 프로세서(140)는 빔포밍(Beam Forming) 기술을 이용하여 복수의 마이크(111)를 통해 입력되는 오디오 신호를 방향을 판단하고, 그 판단된 방향에 기초하여 복수의 오디오 신호에 대한 각도를 검출할 수 있다.　 이 같이, 복수의 마이크(111)를 통해 입력된 오디오 신호별 각도가 검출되면, 프로세서(140)는 복수의 오디오 신호별로 추출된 각도와 기설정된 임계 각도를 비교하여 기설정된 임계 각도 미만의 각도로 검출된 오디오 신호를 제외한 나머지 신호를 노이즈 신호로 판단할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 프로세서(140)는 복수의 오디오 신호별로 추출된 각도 중 각도 크기가 가장 적은 오디오 신호를 제외한 나머지 오디오 신호를 노이즈 신호로 판단할 수 있다.
또다른 실시예에 따라, 프로세서(140)는 복수의 마이크(111) 중 기설정된 마이크(111)를 통해 입력된 오디오 신호를 제외한 나머지 오디오 신호를 노이즈 신호로 판단할 수 있다.　 즉, 프로세서(140)는 복수의 마이크(111) 중 기설정된 마이크(111)를 통해 입력된 오디오 신호를 노이즈 유형 판단을 위한 오디오 신호를 선택하고, 나머지 마이크(111)를 통해 입력된 오디오 신호를 노이즈 신호로 판단할 수 있다.
이 같이, 복수의 오디오 신호 중 노이즈 유형을 판단할 오디오 신호가 선택되면, 프로세서(140)는 전술한 일련의 동작을 수행하여 오디오 신호에 노이즈 신호가 있는지 여부를 판단하고, 오디오 신호에 포함된 노이즈에 대한 노이즈 유형을 식별하여 식별된 노이즈 유형에 대응되는 가이드 정보를 제공할 수 있다.
한편, 프로세서(140)는 전술한 오디오 신호에 포함된 노이즈에 대한 노이즈 유형을 식별하고, 식별된 노이즈 유형에 대응되는 가이드 정보를 출력하도록 출력부(120)를 제어하는 처리 동작을 오디오 신호에 대한 음성 인식을 수행하는 전처리 과정이 수행되기 전에 수행한다.
따라서, , 프로세서(140)는 입력된 오디오 신호에 노이즈 신호가 없는 것으로 판단되거나, 혹은 가이드 정보가 제공된 이후 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호에 노이즈가 없는 것으로 판단되면, 전처리 과정을 수행하여 해당 오디오 신호에 대한 음성 인식을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호에 포함된 노이즈에 대한 노이즈 유형을 식별하기 위한 노이즈 모델을 저장하는 저장부의 예시도이다.
도 2에 도시된 바와 같이, 저장부(130)는 복수의 노이즈 유형별 특징값을 포함하는 노이즈 모델(131)을 저장할 수 있다.　 도시된 바와 같이, 노이즈 모델(131)는 제1 내지 제3 노이즈 유형(131-1~131-3)별 특징값을 포함할 수 있다.　 예를 들어, 제1 노이즈 유형(131-1)의 특징값은 숨 소리에 대한 값이 될 수 있으며, 제2 노이즈 유형(131-2)의 특징값은 노래 소리에 대한 값이 될 수 있으며, 제3 노이즈 유형(131-3)의 특징값은 주변 환경에서 발생하는 생활 잡음 소리에 대한 값이 될 수 있다.　
따라서, 프로세서(140)는 전술한 바와 같이, 입력된 오디오 신호를 구성하는 프레임별 특징값과 노이즈 모델(131)에 포함된 제1 내지 제3 노이즈 유형(131-1~131-3)별 특징값 간의 유사도를 판단하여, 제1 내지 제3 노이즈 유형 중 기설정된 임계값 이상의 유사도를 갖는 노이즈 유형을 오디오 신호에 포함된 노이즈의 유형으로 식별할 수 있다.
한편, 노이즈 모델(131)은 제1 내지 제3 노이즈 유형(131-1~131-3) 각각에 대응되는 가이드 정보를 더 포함할 수 있다.　 따라서, 프로세서(140)는 입력된 오디오 신호에 포함된 노이즈의 유형이 식별되면, 식별된 노이즈 유형에 대응되는 가이드 정보를 획득하고, 그 획득한 가이드 정보를 출력부(120)를 통해 UI 및 오디오 중 적어도 하나로 출력할 수 있다.
한편, 저장부(130)는 도시된 바와 같이, 복수의 오디오 신호의 유형별 특징값을 포함하는 비정상 음성 모델(132)을 저장할 수 있다.　 여기서, 비정상 음성 모델(132)은 노이즈 모델(131)에 포함된 복수의 노이즈 유형별 노이즈가 포함되지 않은 오디오 신호에 대한 음성 인식 가능 여부를 판단하기 위한 모델이 될 수 있다.　　 이 같은 비정상 음성 모델(132)에 포함된 제1 내지 제3 오디오 신호의 유형(132-1~132-3)은 사용자의 발화 음성에 대한 음성 인식이 가능한 수준보다 작거나 큰 경우에 해당되는 오디오 신호이거나 혹은 무음 신호가 될 수 있다.　 따라서, 비정상 음성 모델(132)는 이 같은 제1 내지 제3 오디오 신호의 유형(132-1~132-3)별 특징값 및 제1 내지 제3 오디오 신호의 유형(132-1~132-3)별 가이드 정보를 포함할 수 있다.
따라서, 프로세서(140)는 전술한 바와 같이, 비정상 음성 모델(132)에 포함된 제1 내지 제3 오디오 신호의 유형(132-1~132-3)별 특징값에 기초하여 입력된 오디오 신호의 유형을 식별하고, 식별된 오디오 신호의 유형에 대한 가이드 정보를 제공할 수 있다.
뿐만 아니라, 프로세서(140)는 저장부(130)에 저장된 노이즈 모델(131)에 포함된 제1 내지 제3 노이즈 유형(131-1~131-3)별 특징값과 비정상 음성 모델(132)에 포함된 제1 내지 제3 오디오 신호의 유형(132-1~132-3)별 특징값에 기초하여 입력된 오디오 신호의 유형을 판단하고, 그 판단된 오디오 신호의 유형에 적합한 가이드 정보를 제공할 수 있다.
이하에서는, 본 발명에 따른 디스플레이 장치(100)에서 입력된 오디오 신호의 유형에 기초하여 가이드 정보를 제공하는 실시예에 대해서 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 입력된 오디오 신호의 유형에 기초하여 가이드 정보를 제공하는 제1 실시예이다.
전술한 바와 같이, 프로세서(140)는 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호가 입력되면, 입력된 오디오 신호를 구성하는 프레임별 특징값을 추출하고, 추출된 프레임별 특징값과 저장부(130)에 기저장된 노이즈 모델에 포함된 복수의 노이즈 유형별 특징값 간의 유사도가 기설정된 임계값 이상인지 여부를 판단한다.
이때, 프로세서(140)는 도 2에서 설명한 바와 같이, 저장부(130)에 기저장된 비정상 음성 모델에 포함된 복수의 오디오 신호의 유형별 특징값 간의 유사도가 기설정된 임계값 이상인지 여부를 더 판단할 수 있다.
판단 결과, 입력된 오디오 신호를 구성하는 복수의 프레임 중 연속된 2 개의 프레임의 특징값과 복수의 노이즈 유형 중 숨 소리 관련 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상인 것으로 판단될 수 있다.　 이 같은 노이즈 유형의 노이즈가 오디오 신호에 포함된 것으로 판단되면, 프로세서(140)는 오디오 신호에 포함된 노이즈의 유형으로 판단된 숨 소리 관련 노이즈 유형으로부터 가이드 정보를 획득하여 제공한다.
따라서, 디스플레이 장치(100)는 도 3에 도시된 바와 같이, 기획득한 가이드 정보에 기초하여 '마이크와 일정 간격을 두고 말씀하세요.'라는 UI(310)를 화면상에 디스플레이할 수 있다.　 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 스피커(미도시)를 통해 '마이크와 일정 간격을 두고 말씀하세요.'라는 오디오를 출력할 수 있다.
이에 따라, 사용자는 디스플레이 장치(100)에서 출력된 가이드 정보에 따라 음성 인식이 가능한 원격 제어 장치(200)와 일정 간격을 두고 재발화를 할 수 있다.　 따라서, 디스플레이 장치(100)는 가이드 정보에 기초하여 재발화된 발화 음성에 대한 오디오 신호를 원격 제어 장치(200)로부터 입력받아 음성 인식을 수행함으로써, 사용자의 발화 음성에 대한 음성 인식률을 향상시킬 수 있다.
도 4는 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 입력된 오디오 신호의 유형에 기초하여 가이드 정보를 제공하는 제2 실시예이다.
전술한 바와 같이, 프로세서(140)는 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호가 입력되면, 입력된 오디오 신호를 구성하는 프레임별 특징값을 추출하고, 추출된 프레임별 특징값과 저장부(130)에 기저장된 노이즈 모델에 포함된 복수의 노이즈 유형별 특징값 간의 유사도가 기설정된 임계값 이상인지 여부를 판단한다.
이때, 프로세서(140)는 도 2에서 설명한 바와 같이, 저장부(130)에 기저장된 비정상 음성 모델에 포함된 복수의 오디오 신호의 유형별 특징값 간의 유사도가 기설정된 임계값 이상인지 여부를 더 판단할 수 있다.
판단 결과, 입력된 오디오 신호를 구성하는 복수의 프레임 중 연속된 2 개의 프레임의 특징값과 복수의 노이즈 유형 중 음악 소리 관련 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상인 것으로 판단될 수 있다.　 이 같은 노이즈 유형의 노이즈가 오디오 신호에 포함된 것으로 판단되면, 프로세서(140)는 오디오 신호에 포함된 노이즈의 유형으로 판단된 음악 소리 관련 노이즈 유형으로부터 가이드 정보를 획득하여 제공한다.
따라서, 디스플레이 장치(100)는 도 4에 도시된 바와 같이, 기획득한 가이드 정보에 기초하여 '음악 소리를 줄이고 말씀해주세요.'라는 UI(410)를 화면상에 디스플레이할 수 있다.　 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 스피커(미도시)를 통해 '음악 소리를 중이고 말씀해주세요.'라는 오디오를 출력할 수 있다.
이에 따라, 사용자는 디스플레이 장치(100)에서 출력된 가이드 정보에 따라 주변 기기(미도시)에서 출력되는 음악의 볼륨을 조정한 후, 원격 제어 장치(200)를 이용하여 재발화를 할 수 있다.　 따라서, 디스플레이 장치(100)는 가이드 정보에 기초하여 재발화된 발화 음성에 대한 오디오 신호를 원격 제어 장치(200)로부터 입력받아 음성 인식을 수행함으로써, 사용자의 발화 음성에 대한 음성 인식률을 향상시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 입력된 오디오 신호의 유형에 기초하여 가이드 정보를 제공하는 제3 실시예이다.
전술한 바와 같이, 프로세서(140)는 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호가 입력되면, 입력된 오디오 신호를 구성하는 프레임별 특징값을 추출하고, 추출된 프레임별 특징값과 저장부(130)에 기저장된 노이즈 모델에 포함된 복수의 노이즈 유형별 특징값 간의 유사도가 기설정된 임계값 이상인지 여부를 판단한다.
이때, 프로세서(140)는 도 2에서 설명한 바와 같이, 저장부(130)에 기저장된 비정상 음성 모델에 포함된 복수의 오디오 신호의 유형별 특징값 간의 유사도가 기설정된 임계값 이상인지 여부를 더 판단할 수 있다.
판단 결과, 입력된 오디오 신호를 구성하는 복수의 프레임 중 연속된 2 개의 프레임의 특징값과 복수의 노이즈 유형 중 숨 소리 관련 노이즈 유형의 특징값 간의 유사도가 기설정된 제1 임계값 이상인 것으로 판단될 수 있다.　
또한, 입력된 오디오 신호를 구성하는 복수의 프레임 중 연속된 2 개의 프레임의 특징값과 복수의 오디오 신호에 대한 유형 중 제1 오디오 신호에 대한 유형의 특징값 간의 유사도가 기설정된 제2 임계값 이상인 것으로 판단될 수 있다.
여기서, 제1 오디오 신호는 디스플레이 장치(100)에서 음성 인식이 가능한 음성 신호보다 큰 음성 신호를 나타내는 신호가 될 수 있다.　 그리고, 제1 오디오 신호에 대한 유형의 음성 신호를 포함하는 것으로 판단된 2 개의 프레임은 숨 소리 관련 노이즈 유형의 노이즈 신호를 포함하는 것으로 판단된 2 개의 프레임과 상이하거나 동일할 수 있다.
이 같은 숨 소리 관련 노이즈 유형의 노이즈 신호 및 제1 오디오 신호 유형의 음성 신호가 오디오 신호에 포함된 것으로 판단되면, 프로세서(140)는 숨 소리 관련 노이즈 신호의 유형 및 제1 오디오 신호 유형으로부터 각각의 가이드 정보를 획득한다.
따라서, 디스플레이 장치(100)는 도 5에 도시된 바와 같이, 기획득한 각각의 가이드 정보에 기초하여 '마이크와 일정 간격을 두고 작게 말씀해주세요.'라는 UI(510)를 화면상에 디스플레이할 수 있다.　 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 스피커(미도시)를 통해 '마이크와 일전 간격을 두고 작게 말씀해주세요.'라는 오디오를 출력할 수 있다.
이에 따라, 사용자는 디스플레이 장치(100)에서 출력된 가이드 정보에 따라 원격 제어 장치(200)와 일정 간격 떨어진 상태에서 이전 발화보다 작게 재발화를 할 수 있다.　 따라서, 디스플레이 장치(100)는 가이드 정보에 기초하여 재발화된 발화 음성에 대한 오디오 신호를 원격 제어 장치(200)로부터 입력받아 음성 인식을 수행함으로써, 사용자의 발화 음성에 대한 음성 인식률을 향상시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 음성 인식이 가능한 디스플레이 장치의 세부 블록도이다.
도 6에 도시된 바와 같이, 디스플레이 장치(100)는 전술한 입력부(110), 출력부(120), 저장부(130) 및 프로세서(140) 구성 외에도 통신부(150), 음성 처리부(160), 촬영부(170), 감지부(180) 및 신호 처리부(190)를 더 포하할 수 있다.
먼저, 입력부(110)는 전술한 바와 같이, 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 입력받는 적어도 하나의 마이크(111)를 포함할 수 있다.　 뿐만 아니라, 입력부(110)는 조작부(112), 터치 입력부(113) 및 사용자 입력부(114)를 더 포함할 수 있다.　 마이크(111)는 음성 신호를 포함하는 오디오 신호가 입력되면, 입력된 오디오 신호를 기설정된 시간 단위의 프레임으로 구분하여 프로세서(140)로 출력할 수 있다.　 따라서, 프로세서(140)는 마이크(111)를 통해 입력된 오디오 신호를 구성하는 각각의 프레임으로부터 특징값을 추출할 수 있다.
조작부(113)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있으며, 터치 입력부(113)는 후술할 디스플레이부(121)가 터치 스크린 형태로 구현될 경우, 디스플레이부(121)와 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(113)는 후술할 디스플레이부(121)를 통해 디스플레이된 아이콘에 대한 터치 명령을 입력받을 수 있다.□
사용자 입력부(114)는 원격 제어 장치(200)로부터 IR 신호 혹은 RF 신호를 입력받을 수 있다. 여기서, IR 혹은 RF 신호는 디스플레이 장치(100)의 동작을 제어하기 위한 제어 신호 혹은 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호가 될 수 있다.
따라서, 프로세서(130)는 사용자 입력부(117)를 통해 입력된 IR 신호 혹은 RF 신호에 기초하여 디스플레이 장치(100)의 동작을 제어하거나, 음성 인식 관련 동작을 수행할 수 있다.
통신부(150)는 적어도 하나의 주변 단말 장치(미도시)와 데이터 통신을 수행한다. 일 실시예에 따라, 통신부(150)는 사용자의 발화 음성에 대한 음성 신호를 음성 인식 서버(미도시)로 전송하며, 음성 인식 서버(미도시)로부터 인식된 텍스트 형태의 음성 인식 결과를 수신할 수 있다. 또다른 실시예에 따라, 통신부(150)는 웹 서버(미도시)와 데이터 통신을 수행하여 사용자 명령에 대응되는 컨텐츠 혹은 컨텐츠 관련 검색 결과를 수신할 수 있다.
이 같은 통신부(150)는 도시된 바와 같이, 근거리 통신 모듈(151), 무선 랜 모듈 등의 무선 통신 모듈(152)과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터(153)를 포함할 수 있다.
근거리 통신 모듈(151)은 디스플레이 장치(100)와 주변 단말 장치(미도시) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(151)은 블루투스(Bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
또한, 무선 통신 모듈(142)이란 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(150)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터(153)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(153)는 커넥터(153)에 연결된 유선 케이블을 통해 컨텐츠 제공 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 컨텐츠 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(153)는 커넥터(153)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
음성 처리부(160)는 입력부(110)를 통해 입력된 오디오 신호 중 노이즈 신호를 포함하지 않는 것으로 판단된 신호로부터 음성 구간에 대한 음성 인식을 수행한다. 구체적으로, 음성 처리부(160)는 입력된 오디오 신호로부터 음성 구간이 검출되면, 검출된 음성 구간에 대해서 음성 구간을 제외한 나머지 구간에 대한 신호를 감쇄시키고, 음성 구간의 신호를 증폭시키는 전처리 과정을 수행 후, 증폭된 음성 구간에 대해서 STT(Speech to Text) 알고리즘과 같은 음성 인식 알고리즘을 이용하여 사용자의 발화 음성에 대한 음성 인식을 수행할 수 있다.
촬영부(170)는 사용자 명령에 따라, 정지 영상 또는 동영상을 촬영하기 위한 것으로써, 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
감지부(180)는 디스플레이 장치(100)의 다양한 동작 상태 및 사용자 인터렉션을 감지한다. 특히, 감지부(180)는 사용자가 디스플레이 장치(100)를 파지하고 있는 파지 상태를 감지할 수 있다. 구체적으로, 디스플레이 장치(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이때, 감지부(180)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 움직임 또는 중력 방향을 기준으로 사용자가 파지하고 있는 디스플레이 장치(100)의 기울기 등을 감지할 수 있다.
신호 처리부(190)는 프로세서(140)의 제어 명령에 따라, 통신부(150)를 통해 수신된 컨텐츠 혹은 저장부(130)에 저장된 컨텐츠의 영상 데이터 및 오디오 데이터를 처리하기 위한 구성 요소가 될 수 있다. 구체적으로, 신호 처리부(190)는 컨텐츠에 포함된 영상 데이터에 대해서, 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환 및 해상도 변환 등과 같은 다양한 영상 처리를 수행할 수 있다. 또한, 신호 처리부(180)는 컨텐츠에 포함된 오디오 데이터에 대해서,디코딩, 증폭, 노이즈 필터링 등과 같은 다양한 오디오 신호 처리를 수행할 수 있다.　
한편, 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력하는 출력부(120)는 디스플레이부(121) 및 오디오 출력부(122) 중 적어도 하나를 통해 가이드 정보를 출력할 수 있다. 즉, 디스플레이부(121)는 가이드 정보를 UI 형태를 디스플레이하며, 오디오 출력부(122)는 가이드 정보에 대한 오디오 데이터를 가청음 형태로 출력할 수 있다.
뿐만 아니라, 디스플레이부(121)는 신호 처리부(190)에 의해 영상 신호 처리된 영상 데이터를 디스플레이하며, 오디오 출력부(122)는 신호 처리부(190)에 의해 오디오 신호 처리된 오디오 데이터를 가청음 형태로 출력할 수 있다.
한편, 가이드 정보를 UI 형태로 디스플레하거나 컨텐츠의 영상 데이터를 디스플레이하는 디스플레이부(121)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다. 특히, 디스플레이부(121)는 터치 입력부(113)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.
한편, 전술한 프로세서(140)는 CPU(141), ROM(142), RAM(143) 및 GPU(145)를 포함할 수 있으며, CPU(141), ROM(142), RAM(143) 및 GPU(145))는 버스(136)를 통해 서로 연결될 수 있다.
CPU(141)는 메모리(130)에 액세스하여, 저장부(130)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(141)는 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(142)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(141)는 ROM(142)에 저장된 명령어에 따라 저장부(130)에 저장된 OS를 RAM(143)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(141)는 저장부(130)에 저장된 각종 프로그램을 RAM(143)에 복사하고, RAM(143)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(144)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(144)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
이 같은 프로세서(140)는 전술한 다양한 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 프로세서(140)의 동작은 저장부(130)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(130)는 ROM(142), RAM(143) 또는 디스플레이 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
지금까지, 본 발명에 따른 음성 인식이 가능한 디스플레이 장치(100)의 각 구성 및 동작에 대해서 상세히 설명하였다.　
이하에서는, 전술한 바와 같이, 사용자의 발화 음성을 입력받으며, 입력된 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 디스플레이 장치(100)로 전송하는 원격 제어 장치(200)의 각 구성에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 원격 제어 장치의 블록도이다.
원격 제어 장치(200)는 디스플레이 장치(100)의 동작을 제어하는 제어 장치이다. 즉, 원격 제어 장치(200)는 사용자 명령이 입력되면, 입력된 사용자 명령에 대응되는 제어 신호를 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 원격 제어 장치(200)로부터 수신된 제어 신호에 기초하여 동작을 수행한다.뿐만 아니라, 원격 제어 장치(200)는 마이크(미도시)를 통해 사용자의 발화 음성을 입력받으며, 입력된 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 디스플레이 장치(100)는 원격 제어 장치(200)로부터 전송된 오디오 신호가 입력되면, 전술한 바와 같이, 입력된 오디오 신호에 포함된 노이즈에 대한 노이즈 유형을 식별하고, 식별된 노이즈 유형에 대응되는 가이드 정보를 제공할 수 있다.
이와 같이, 사용자 명령에 대응되는 제어 신호 및 사용자의 발화 음성에 대한 오디오 신호 중 적어도 하나를 디스플레이 장치(100)로 전송하는 원격 제어 장치(200)는 도 7에 도시된 바와 같이, 음성 처리부(210), 사용자 인터페이스부(220), 통신부(230) 및 프로세서(240) 를 포함한다.
음성 처리부(210)는 적어도 하나의 마이크(미도시)를 통해 입력된 발화 음성에 대한 음성 신호를 생성한다. 구체적으로, 음성 처리부(210)는 마이크(미도시)를 통해 아날로그 형태의 사용자 발화 음성이 입력되면, 입력된 발화 음성을 샘플링하여 디지털 신호로 변환한다.
사용자 인터페이스부(220)는 사용자 명령을 입력받기 위한 구성으로써, 특히, 음성 인식 모드로 진입하기 위한 사용자 명령을 입력받을 수 있다. 이 같은 사용자 인터페이스부(220)는 터치 패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키 패드(Key Pad) 또는 터치 스크린 형태로 구현될 수 있다.
터치 스크린 형태로 구현될 경우, 사용자 인터페이스부(120)는 후술할 출력부(170)의 디스플레이부(171)를 통해 디스플레이되는 UI 화면 중 선택된 UI 화면을 사용자 명령으로 입력받을 수 있다.
통신부(230)는 블루투스, 지그비, 적외선 통신, RF 통신 등과 같은 근거리 무선 통신 방식에 따라 디스플레이 장치(100)와 무선 통신을 수행하여 사용자 인터페이스부(220)를 통해 입력된 사용자 명령에 대응되는 제어 신호를 디스플레이 장치(100)로 전송한다. 따라서, 디스플레이 장치(100)는 원격 제어 장치(200)로부터 사용자 명령에 대응되는 제어 신호가 수신되면, 수신된 제어 신호에 대응되는 동작을 수행할 수 있다.
한편, 통신부(230)는 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 디스플레이 장치(100)로 전송할 수 있다. 이 경우, 디스플레이 장치(100)는 전술한 바와 같이, 입력된 오디오 신호에 포함된 노이즈에 대한 노이즈 유형을 식별하고, 식별된 노이즈 유형에 대응되는 가이드 정보를 제공할 수 있다.
프로세서(240)는 원격 제어 장치(200)를 구성하는 각 구성에 대한 전반적인 동작을 제어한다. 특히, 프로세서(240)는 마이크(미도시)를 통해 사용자의 발화 음성이 입력되면, 입력된 발화 음성에 대한 신호 처리를 수행하고, 신호 처리된 음성 신호를 포함하는 오디오 신호를 디스플레이 장치(100)로 전송하도록 음성 처리부(210) 및 통신부(230)를 제어할 수 있다.
따라서, 통신부(230)는 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호를 디스플레이 장치(100)로 전송하며, 디스플레이 장치(100)는 전술한 바와 같이, 입력된 오디오 신호에 포함된 노이즈에 대한 노이즈 유형을 식별하고, 식별된 노이즈 유형에 대응되는 가이드 정보를 제공할 수 있다.
한편, 프로세서(240)는 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호로부터 노이즈 유형을 식별하고, 식별된 노이즈 유형 정보를 통신부(230)를 통해 디스플레이 장치(100)로 전송할 수 있다.
오디오 신호로부터 노이즈 유형을 식별하는 처리 동작은 전술한 디스플레이 장치(100)에서 오디오 신호로부터 노이즈 유형을 식별하는 처리 동작과 동일하다.
즉, 본 발명은 원격 제어 장치(200)에서 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호로부터 노이즈 유형을 식별하고, 식별된 노이즈 유형 정보를 디스플레이 장치(100)로 전송할 수 있다.
이 경우, 디스플레이 장치(100)는 원격 제어 장치(200)로부터 수신된 노이즈 유형 정보에 기초하여 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호에 포함된 노이즈의 유형에 대응되는 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력할 수 있다.
또한, 본 발명은 디스플레이 장치(100)의 동작을 제어하는 원격 제어 장치(200)에서 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호로부터 노이즈 유형을 식별하고, 식별된 노이즈 유형에 대응되는 가이드 정보를 제공할 수 있다.
구체적으로, 원격 제어 장치(200)가 전술한 구성 외에 디스플레이부(251) 및 오디오 출력부(252)를 포함하는 출력부(250)를 더 포함할 수 있다. 이 경우, 프로세서(240)는 사용자의 발화 음성에 대한 음성 신호를 포함하는 오디오 신호로부터 노이즈 유형을 식별하고, 기저장된 복수의 노이즈 유형별 가이드 정보 중 식별된 노이즈 유형에 대응되는 가이드 정보를 출력하도록 출력부(250)를 제어할 수 있다. 이 같은 제어 명령에 따라, 출력부(250)는 디스플레이부(251) 및 오디오 출력부(252) 중 적어도 하나를 통해 식별된 노이즈 유형에 대응되는 가이드 정보를 출력할 수 있다. 즉, 디스플레이부(251)는 가이드 정보를 UI 형태로 디스플레이하며, 오디오 출력부(252)는 가이드 정보에 대한 오디오 데이터를 가청음 형태로 출력할 수 있다.
한편, 입력된 발화 음성에 대한 음성 신호를 포함하는 오디오 신호로부터 노이즈 유형을 식별하는 처리 동작은 전술한 디스플레이 장치(100)에서 오디오 신호로부터 노이즈 유형을 식별하고, 식별된 노이즈 유형에 대응되는 가이드 정보를 제공하는 처리 동작과 동일하므로 상세한 설명은 생략하도록 한다.
이하에서는 본 발명에 따른 디스플레이 장치(100)에서 음성 신호를 포함하는 오디오 신호에 대한 음성 인식을 수행하는 방법에 대해서 상세히 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 음성 인식을 수행하는 방법의 제1 흐름도이다.
도 8에 도시된 바와 같이, 디스플레이 장치(100)는 원격 제어 장치(200)로부터 사용자의 발화 음성에 대한 음성 신호가 포함된 오디오 신호가 입력되면, 입력된 오디오 신호의 신호 특징을 추출한다(S710,S720).　
이후, 디스플레이 장치(100)는 기저장된 복수의 노이즈 유형별 신호 특성을 참조하여 입력된 오디오 신호로부터 추출된 신호 특징과 관련된 노이즈 유형을 판단한다 (S730).　 판단 결과, 입력된 오디오 신호에 포함된 노이즈 신호의 유형이 판단되지 않으면, 디스플레이 장치(100)는 입력된 오디오 신호에 포함된 음성 신호로부터 음성 인식을 수행한다(S740).　 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 입력된 오디오 신호에 노이즈 신호가 없는 것으로 판단되면, 오디오 신호에 포함된 음성 신호로부터 음성 인식을 수행할 수 있다.
한편, 입력된 오디오 신호에 포함된 노이즈의 유형이 판단되면, 디스플레이 장치(100)는 오디오 신호에 포함된 노이즈에 대한 노이즈 유형에 대응되는 가이드 정보를 획득하여 제공한다(S750).　
구체적으로, 디스플레이 장치(100)는 오디오 신호에 포함된 노이즈 신호에 대한 노이즈 유형에 대응되는 가이드 정보를 UI 형태로 디스플레이하거나 스피커를 통해 오디오를 출력할 수 있다.
일 실시예에 따라, 디스플레이 장치(100)는 식별된 노이즈 유형이 사용자 근접 발화에 의해 입력되는 노이즈 유형이면, 이격 발화 유도를 위한 가이드 정보를 UI 및 오디오 중 적어도 하나를 통해 출력할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 식별된 노이즈 유형이 주변 기기로부터 출력되는 오디오가 삽입되는 노이즈 유형이면, 주변 기기 제어 유도를 위한 가이드 정보를 UI 및 오디오 중 적어도 하나를 통해 출력할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 식별된 노이즈 유형이 주변 환경 소음에 의해 발생되는 노이즈 유형이면 발화 장소 변경을 위한 가이드 정보를 UI 및 오디오 중 적어도 하나를 통해 출력할 수 있다.
이 같은 가이드 정보가 출력되면, 사용자는 해당 가이드 정보에 기초하여 재발화를 수행한다.　 따라서, 디스플레이 장치(100)는 가이드 정보에 기초하여 재발화된 발화 음성에 대한 오디오 신호를 입력받아 음성 인식을 수행함으로써, 사용자의 발화 음성에 대한 음성 인식률을 향상시킬 수 있다.
이하에서는, 디스플레이 장치(100)에서 오디오 신호에 포함된 노이즈에 대한 유형을 판단하는 방법에 대해서 상세히 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 오디오 신호에 포함된 노이즈 신호에 대한 유형을 판단하는 방법의 흐름도이다.
도 9에 도시된 바와 같이, 디스플레이 장치(100)는 음성 신호를 포함하는 오디오 신호가 입력되면, 입력된 오디오 신호를 복수의 프레임 단위로 구성하고, 복수의 프레임별 오디오 신호에 대한 특징값을 추출한다(S810).
여기서, 복수의 프레임별 특징값은 MFCC(Mel-Frequency Cepstral Coefficients) 값이 될 수 있다.　 그러나, 본 발명은 이에 한정되지 않으며, Centroid, Roll-off, 밴드 스펙트럼 에너지, Low energy ratio, Zero crossing rate, Octave band energy와 같은 공지된 특징값 추출 알고리즘을 이용할 수 있다.
이 같이, 입력된 오디오 신호를 구성하는 복수의 프레임의 특징값이 추출되면, 디스플레이 장치(100)는 복수의 프레임별 특징값과 기저장된 노이즈 모델에 포함된 노이즈 유형별 특징값의 유사도를 판단한다(S820).　 실시예에 따라, 디스플레이 장치(100)는 전술한 <수학식 1>과 같은 코사인 유사도 알고리즘을 이용하여 복수의 프레임의 특징값과 기저장된 노이즈 모델에 포함된 복수의 노이즈 유형별 특징값 간의 유사도를 산출할 수 있다.
이후, 디스플레이 장치(100)는 복수의 프레임별 특징값과 기저장된 노이즈 모델에 포함된 노이즈 유형별 특징값 간의 유사도와 기설정된 임계값을 비교한다(S830).　 비교 결과, 기설정된 임계값 이상의 유사도를 갖는 노이즈 유형이 있는 것으로 판단되면, 디스플레이 장치(100)는 기설정된 임계값 이상의 유사도를 갖는 노이즈 유형을 오디오 신호에 포함된 노이즈 신호의 유형으로 판단하고, 그 판단된 노이즈 유형에 대응되는 가이드 정보를 획득한다(S840).
구체적으로, 디스플레이 장치(100)는 복수의 프레임 중 제1 프레임의 특징값이 추출되면, 코사인 유사도 알고리즘을 이용하여 노이즈 모델에 포함된 복수의 노이즈 유형의 특징값 간의 유사도를 판단한다.　
예를 들어, 복수의 노이즈 유형 중 제1 노이즈 유형과 제1 프레임 간의 유사도가 산출되면, 디스플레이 장치(100)는 산출된 유사도와 기설정된 임계값을 비교하여 유사도가 기설정된 임계값 이상이면, 제1 프레임의 오디오 신호에 제1 노이즈 유형의 오디오 신호가 포함된 것으로 판단한다.
만약, 유사도가 기설정된 임계값 미만이면, 디스플레이 장치(100)는 전술한 코사인 유사도 알고리즘을 이용하여 노이즈 모델이 포함된 복수의 노이즈 유형 중 제2 노이즈 유형의 특징값과 제1 프레임의 특징값 간의 유사도를 산출하고, 산출된 유사도가 기설정된 임계값 이상인지 여부를 판단한다.　 판단 결과, 유사도가 기설정된 임계값 이상이면, 디스플레이 장치(100)는 제1 프레임의 오디오 신호에 제2 노이즈 유형의 오디오 신호가 포함된 것으로 판단할 수 있다.
이 같은 일련의 수행 동작을 통해 오디오 신호를 구성하는 복수의 프레임 중 연속된 적어도 2 개의 프레임에 노이즈 신호가 포함된 것으로 판단되면, 디스플레이 장치(100)는 적어도 2 개의 프레임에 포함된 노이즈 신호의 노이즈 유형에 대응되는 가이드 정보를 획득한다.　 이후, 디스플레이 장치(100)는 획득된 가이드 정보를 UI 형태로 디스플레이하거나 스피커를 통해 오디오를 출력할 수 있다.
이 같은 가이드 정보가 출력되면, 사용자는 해당 가이드 정보에 기초하여 재발화를 수행한다.　 따라서, 디스플레이 장치(100)는 가이드 정보에 기초하여 재발화된 발화 음성에 대한 오디오 신호를 입력받아 음성 인식을 수행함으로써, 사용자의 발화 음성에 대한 음성 인식률을 향상시킬 수 있다.
도 10은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 음성 인식을 수행하는 방법의 제2 흐름도이다.
도 10에 도시된 바와 같이, 디스플레이 장치(100)는 사용자의 발화 음성에 대한 음성 신호가 포함된 오디오 신호가 복수의 마이크를 통해 입력되면, 복수의 마이크를 통해 입력된 각각의 오디오 신호로부터 노이즈 신호를 판단한다(S910,S920).
즉, 디스플레이 장치(100)는 복수의 마이크를 통해 복수의 오디오 신호가 입력되면, 다음과 같은 실시예에 기초하여 복수의 오디오 신호 중 하나의 오디오 신호를 노이즈 유형 판단을 위한 오디오 신호로 선택하고, 나머지 오디오 신호를 노이즈 신호로 결정할 수 있다.
일 실시예에 따라, 디스플레이 장치(100)는 복수의 마이크를 통해 입력되는 복수의 오디오 신호의 시간 차이에 기초하여 복수의 오디오 신호별 각도를 검출하고, 검출된 각도에 기초하여 복수의 오디오 신호 중 노이즈 유형 판단을 위한 오디오 신호를 결정하고 나머지 오디오 신호를 노이즈 신호로 판단할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 복수의 마이크 중 기설정된 마이크를 통해 입력된 오디오 신호를 제외한 나머지 오디오 신호를 노이즈 신호로 판단할 수 있다.
이후, 디스플레이 장치(100)는 복수의 오디오 신호 중 노이즈 유형 판단을 위한 오디오 신호로 판단된 오디오 신호로부터 신호 특징을 추출한다(S930).　 이후, 디스플레이 장치(100)는 추출된 신호 특징과 기저장된 노이즈 모델을 비교하여 오디오 신호에 포함된 노이즈 신호의 유형을 판단한다(S940).　 판단 결과, 입력된 오디오 신호에 포함된 노이즈 신호의 유형이 판단되지 않으면, 디스플레이 장치(100)는 입력된 오디오 신호에 포함된 음성 신호로부터 음성 인식을 수행한다(S950).　 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 입력된 오디오 신호에 노이즈 신호가 없는 것으로 판단되면, 오디오 신호에 포함된 으성 신호로부터 음성 인식을 수행할 수 있다.
한편, 입력된 오디오 신호에 포함된 노이즈 신호의 유형이 판단되면, 디스플레이 장치(100)는 오디오 신호에 포함된 노이즈 신호에 대한 노이즈 유형에 대응되는 가이드 정보를 획득하여 제공한다(S960).
구체적으로, 디스플레이 장치(100)는 오디오 신호에 포함된 노이즈 신호에 대한 노이즈 유형에 대응되는 가이드 정보를 UI 형태로 디스플레이하거나 스피커를 통해 오디오를 출력할 수 있다.
이 같은 가이드 정보가 출력되면, 사용자는 해당 가이드 정보에 기초하여 재발화를 수행한다.　 따라서, 디스플레이 장치(100)는 가이드 정보에 기초하여 재발화된 발화 음성에 대한 오디오 신호를 입력받아 음성 인식을 수행함으로써, 사용자의 발화 음성에 대한 음성 인식률을 향상시킬 수 있다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치에서 복수의 오디오 신호 중 노이즈 유형 판단을 위한 오디오 신호를 결정하기 위한 방법의 흐름도이다.
도 11에 도시된 바와 같이, 디스플레이 장치(100)는 사용자의 발화 음성에 대한 음성 신호가 포함된 오디오 신호가 복수의 마이크를 통해 입력되면, 복수의 마이크를 통해 입력되는 복수의 오디오 신호의 시간 차이에 기초하여 복수의 오디오 신호별 각도를 검출한다(S1010).　
실시예에 따라, 프로세서(140)는 빔포밍(Beam Forming) 기술을 이용하여 복수의 마이크(111)를 통해 입력되는 오디오 신호를 방향을 판단하고, 그 판단된 방향에 기초하여 복수의 오디오 신호에 대한 각도를 검출할 수 있다.
이 같은 실시예를 통해 복수의 오디오 신호 각각에 대한 각도가 검출되면, 디스플레이 장치(100)는 각각의 오디오 신호별로 검출된 각도와 기설정된 임계값을 비교한다(S1020).　 이후, 디스플레이 장치(100)는 오디오 신호별로 검출된 각도와 기설정된 임계값 비교를 통해 기설정된 임계값 미만의 각도가 검출된 오디오 신호를 노이즈 유형 판단을 위한 신호로 결정하고, 나머지 오디오 신호를 노이즈 신호로 결정한다(S1030,S1040).
이후, 디스플레이 장치(100)는 복수의 오디오 신호 중 기설정된 임계값 미만의 각도가 검출된 오디오 신호의 특징값과 기저장된 노이즈 모델에 포함된 복수의 노이즈 유형별 특징값의 유사도를 비교하여 오디오 신호에 포함된 노이즈 신호의 유형을 판단하고, 그 판단된 노이즈 유형에 대응되는 가이드 정보를 제공할 수 있다.
상술한 바와 같은 디스플레이 장치(100)에서 음성을 인식하는 방법은, 상술한 바와 같은 음성 인식을 수행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다.□ 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 입력부 120,250 : 출력부
130 : 저장부 140,240 : 프로세서
150,230 : 통신부 160,210 : 음성 처리부
170 : 촬영부 180 : 감지부
190 : 신호 처리부 220 : 사용자 인터페이스부

Claims (18)

  1. 원격 제어 장치의 제어 명령에 따라 동작을 수행하는 디스플레이 장치에서 사용자 음성 입력에 대응한 기능을 수행하는 방법에 있어서,
    상기 원격 제어 장치로부터 상기 사용자 음성 입력에 대응하는 데이터를 수신하는 단계;
    상기 수신된 데이터로부터 상기 입력된 사용자 음성 입력에 대응하는 특징을 획득하는 단계; 및
    상기 획득한 특징과 기저장된 복수의 노이즈 유형별 특성간 비교에 기초하여 상기 획득한 특징에 대응하는 노이즈 유형이 있으면, 상기 대응하는 노이즈 유형과 관련된 가이드 정보를 출력하는 단계;를 포함하고,
    상기 출력하는 단계는,
    상기 대응하는 노이즈 유형이 사용자 근접 음성 입력에 기초한 노이즈 유형이면, 이격 음성 입력의 가이드에 대응하는 가이드 정보를 출력하는 음성 인식 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 출력하는 단계는,
    상기 대응하는 노이즈 유형이 주변 기기로부터 출력되는 오디오가 삽입되는 노이즈 유형이면, 상기 주변 기기 제어 유도를 위한 가이드 정보를 출력하는 것을 특징으로 하는 음성 인식 방법.
  4. 제 1 항에 있어서,
    상기 출력하는 단계는,
    상기 대응하는 노이즈 유형이 주변 환경 소음에 의해 발생되는 노이즈 유형이면 발화 장소 변경을 위한 가이드 정보를 출력하는 것을 특징으로 하는 음성 인식 방법.
  5. 제 1 항에 있어서,
    상기 데이터를 구성하는 복수의 프레임 중 연속된 적어도 두 개의 프레임의 특징값과 상기 복수의 노이즈 유형 중 제1 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상이면, 상기 제1 노이즈 유형을 상기 사용자 음성 입력에 포함된 노이즈의 유형으로 식별하는 단계;를 포함하고,
    상기 복수의 프레임 및 상기 복수의 노이즈 유형의 특징값은,
    주파수 특성을 나타내는 MFCC(Mel-Frequency Cepstral Coefficients) 값인 것을 특징으로 하는 음성 인식 방법.
  6. 제 1 항에 있어서,
    상기 디스플레이 장치는,
    복수의 노이즈 유형 각각에 대응되는 특성 및 상기 복수의 노이즈 유형 각각에 대한 가이드 정보가 매칭된 테이블을 저장하며,
    상기 출력하는 단계는,
    상기 대응하는 노이즈 유형과 매칭된 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력하는 것을 특징으로 하는 음성 인식 방법.
  7. 제 1 항에 있어서,
    복수의 마이크를 통해 상기 사용자 음성 입력이 입력되면, 각 마이크를 통해 상기 사용자 음성 입력이 입력되는 시간 차이에 기초하여 상기 각 마이크를 통해 입력되는 사용자 음성 입력의 각도를 검출하는 단계; 및
    상기 검출된 각도 중 기설정된 임계 각도 미만의 각도로 검출된 사용자 음성 입력에 대해서 노이즈 유형을 식별하는 단계;를 포함하는 것을 특징으로 하는 음성 인식 방법.
  8. 제 1 항에 있어서,
    상기 복수의 마이크 중 기설정된 마이크를 통해 입력된 사용자 음성 입력에 대해서 노이즈 유형을 식별하는 단계;를 포함하는 것을 특징으로 하는 음성 인식 방법.
  9. 제 1 항에 있어서,
    상기 가이드 정보 출력 동작은,
    상기 사용자 음성 입력에 대한 음성 인식을 수행하는 전처리 과정이 수행되기 전에 수행되는 것을 특징으로 하는 음성 인식 방법.
  10. 원격 제어 장치의 제어 명령에 따라 동작을 수행하는 디스플레이 장치에 있어서,
    상기 원격 제어 장치로부터 사용자 음성 입력에 대응하는 데이터를 수신하는 입력부;
    가이드 정보를 출력하는 출력부; 및
    상기 수신된 데이터로부터 상기 입력된 사용자 음성 입력에 대응하는 특징을 획득하고, 상기 획득한 특징과 기저장된 복수의 노이즈 유형별 특성간 비교에 기초하여 상기 획득한 특징에 대응하는 노이즈 유형이 있으면, 상기 대응하는 노이즈 유형과 관련된 가이드 정보를 출력하도록 상기 출력부를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 대응하는 노이즈 유형이 사용자 근접 음성 입력에 기초한 노이즈 유형이면, 이격 음성 입력의 가이드에 대응하는 가이드 정보를 출력하도록 상기 출력부를 제어하는 디스플레이 장치.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 프로세서는,
    상기 대응하는 노이즈 유형이 주변 기기로부터 출력되는 오디오가 삽입되는 노이즈 유형이면, 상기 주변 기기 제어 유도를 위한 가이드 정보를 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  13. 제 10 항에 있어서,
    상기 프로세서는,
    상기 대응하는 노이즈 유형이 주변 환경 소음에 의해 발생되는 노이즈 유형이면 발화 장소 변경을 위한 가이드 정보를 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 제 10 항에 있어서,
    상기 프로세서는,
    상기 데이터를 구성하는 복수의 프레임 중 연속된 적어도 두 개의 프레임의 특징값과 상기 복수의 노이즈 유형 중 제1 노이즈 유형의 특징값 간의 유사도가 기설정된 임계값 이상이면, 상기 제1 노이즈 유형을 상기 사용자 음성 입력에 포함된 노이즈의 유형으로 판단하며,
    상기 복수의 프레임 및 상기 복수의 노이즈 유형의 특징값은,
    주파수 특성을 나타내는 MFCC(Mel-Frequency Cepstral Coefficients) 값인 것을 특징으로 하는 디스플레이 장치.
  15. 제 10 항에 있어서,
    복수의 노이즈 유형 각각에 대응되는 특성 및 상기 복수의 노이즈 유형 각각에 대한 가이드 정보가 매칭된 테이블을 저장하는 저장부;를 더 포함하며,
    상기 프로세서는
    상기 대응하는 노이즈 유형과 매칭된 가이드 정보를 UI 및 오디오 중 적어도 하나로 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  16. 제 10 항에 있어서,
    상기 입력부는, 복수의 마이크를 포함하고,
    상기 프로세서는,
    상기 복수의 마이크를 통해 상기 사용자 음성 입력이 입력되면, 각 마이크를 통해 상기 사용자 음성 입력이 입력되는 시간 차이에 기초하여 상기 각 마이크를 통해 입력되는 사용자 음성 입력의 각도를 검출하고, 상기 검출된 각도 중 임계 각도 미만의 각도로 검출된 사용자 음성 입력에 대해서 노이즈 유형을 식별하는 것을 특징으로 하는 디스플레이 장치.
  17. 제 10 항에 있어서,
    상기 입력부는, 복수의 마이크를 포함하고,
    상기 프로세서는,
    상기 복수의 마이크 중 기설정된 마이크를 제외한 나머지 마이크를 통해 입력된 사용자 음성 입력을 노이즈로 판단하는 것을 특징으로 하는 디스플레이 장치.
  18. 제 10 항에 있어서,
    상기 프로세서는,
    상기 사용자 음성 입력에 대한 음성 인식을 수행하는 전처리 과정이 수행되기 전에, 상기 가이드 정보에 대한 출력을 제어하는 것을 특징으로 하는 디스플레이 장치.
KR1020160103151A 2016-08-12 2016-08-12 음성 인식이 가능한 디스플레이 장치 및 방법 KR102505719B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160103151A KR102505719B1 (ko) 2016-08-12 2016-08-12 음성 인식이 가능한 디스플레이 장치 및 방법
US15/624,038 US10762897B2 (en) 2016-08-12 2017-06-15 Method and display device for recognizing voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160103151A KR102505719B1 (ko) 2016-08-12 2016-08-12 음성 인식이 가능한 디스플레이 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180018146A KR20180018146A (ko) 2018-02-21
KR102505719B1 true KR102505719B1 (ko) 2023-03-03

Family

ID=61160374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160103151A KR102505719B1 (ko) 2016-08-12 2016-08-12 음성 인식이 가능한 디스플레이 장치 및 방법

Country Status (2)

Country Link
US (1) US10762897B2 (ko)
KR (1) KR102505719B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102658808B1 (ko) 2024-02-14 2024-04-19 주식회사 빛가람시스템 Stt 기반 디스플레이 화면 원격 제어 방법, 장치 및 시스템

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685652B1 (en) * 2018-03-22 2020-06-16 Amazon Technologies, Inc. Determining device groups
CN108597499B (zh) * 2018-04-02 2020-09-25 联想(北京)有限公司 语音处理方法以及语音处理装置
CN111261152A (zh) * 2018-12-03 2020-06-09 西安易朴通讯技术有限公司 智能交互***
KR20210078682A (ko) * 2019-12-19 2021-06-29 삼성전자주식회사 전자장치 및 그 제어방법
WO2021141332A1 (ko) * 2020-01-06 2021-07-15 삼성전자(주) 전자장치 및 그 제어방법
CN111210836B (zh) * 2020-03-09 2023-04-25 成都启英泰伦科技有限公司 一种麦克风阵列波束形成动态调整方法
CN112151054B (zh) * 2020-09-07 2024-02-13 北京达佳互联信息技术有限公司 音频降噪处理方法、装置、服务器及存储介质
US11948569B2 (en) 2021-07-05 2024-04-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20230006999A (ko) * 2021-07-05 2023-01-12 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102406560B1 (ko) * 2021-12-08 2022-06-09 주식회사 세븐포인트원 인공지능 기반 대상자의 치매 검사 정확도 향상을 위한 아웃바운드 콜 처리 방법, 장치 및 시스템

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57118299A (en) * 1981-01-14 1982-07-23 Nissan Motor Voice load driver
KR100399590B1 (ko) * 1998-12-30 2003-11-15 주식회사 대우일렉트로닉스 헤드폰 사용을 위한 주변음 인식이 가능한 텔레비젼
JP4438144B2 (ja) * 1999-11-11 2010-03-24 ソニー株式会社 信号分類方法及び装置、記述子生成方法及び装置、信号検索方法及び装置
ATE388542T1 (de) * 1999-12-13 2008-03-15 Broadcom Corp Sprach-durchgangsvorrichtung mit sprachsynchronisierung in abwärtsrichtung
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7243068B2 (en) * 2004-09-10 2007-07-10 Soliloquy Learning, Inc. Microphone setup and testing in voice recognition software
KR100705563B1 (ko) 2004-12-07 2007-04-10 삼성전자주식회사 입력 레벨 자동 조절을 위한 음성 인식 시스템 및 이를이용한 음성 인식 방법
WO2007023660A1 (ja) * 2005-08-24 2007-03-01 Matsushita Electric Industrial Co., Ltd. 音識別装置
US8751327B2 (en) * 2006-03-20 2014-06-10 Amazon Technologies, Inc. Facilitating content generation via messaging system interactions
US8140325B2 (en) * 2007-01-04 2012-03-20 International Business Machines Corporation Systems and methods for intelligent control of microphones for speech recognition applications
US8036375B2 (en) * 2007-07-26 2011-10-11 Cisco Technology, Inc. Automated near-end distortion detection for voice communication systems
KR20100029591A (ko) 2008-09-08 2010-03-17 엘지이노텍 주식회사 다중 마이크를 이용한 차량 내 음성인식 시스템
KR101616054B1 (ko) 2009-04-17 2016-04-28 삼성전자주식회사 음성 검출 장치 및 방법
JP5304571B2 (ja) * 2009-09-24 2013-10-02 沖電気工業株式会社 集音装置、音響通信システム及びプログラム
JP5174068B2 (ja) * 2010-03-11 2013-04-03 株式会社東芝 信号分類装置
CN102934160A (zh) * 2010-03-30 2013-02-13 Nvoq股份有限公司 用于提高音频质量的听写客户端反馈
JP5647455B2 (ja) 2010-07-30 2014-12-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 音声に含まれる吸気音を検出する装置、方法、及びプログラム
KR101675144B1 (ko) 2010-08-24 2016-11-10 현대모비스 주식회사 음성 인식 안내 시스템 및 방법
US20120278075A1 (en) * 2011-04-26 2012-11-01 Sherrie Ellen Shammass System and Method for Community Feedback and Automatic Ratings for Speech Metrics
US9934780B2 (en) * 2012-01-17 2018-04-03 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch
US9131295B2 (en) * 2012-08-07 2015-09-08 Microsoft Technology Licensing, Llc Multi-microphone audio source separation based on combined statistical angle distributions
KR20140057831A (ko) 2012-11-05 2014-05-14 김삼녀 입으로 부는 바람을 이용한 스마트폰의 제어방법
CA2897883A1 (en) 2013-01-14 2014-07-17 University Health Network Mask and method for breathing disorder identification, characterization and/or diagnosis
US9197930B2 (en) * 2013-03-15 2015-11-24 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover in an audience monitoring system
WO2015059947A1 (ja) * 2013-10-22 2015-04-30 日本電気株式会社 音声検出装置、音声検出方法及びプログラム
JP6482911B2 (ja) * 2014-07-01 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
KR102246900B1 (ko) * 2014-07-29 2021-04-30 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
US9972322B2 (en) * 2016-03-29 2018-05-15 Intel Corporation Speaker recognition using adaptive thresholding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102658808B1 (ko) 2024-02-14 2024-04-19 주식회사 빛가람시스템 Stt 기반 디스플레이 화면 원격 제어 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US10762897B2 (en) 2020-09-01
KR20180018146A (ko) 2018-02-21
US20180047390A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
KR102505719B1 (ko) 음성 인식이 가능한 디스플레이 장치 및 방법
KR102446392B1 (ko) 음성 인식이 가능한 전자 장치 및 방법
KR102444061B1 (ko) 음성 인식이 가능한 전자 장치 및 방법
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6143975B1 (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
KR102623272B1 (ko) 전자 장치 및 이의 제어 방법
US9484029B2 (en) Electronic apparatus and method of speech recognition thereof
US20190019513A1 (en) Information processing device, information processing method, and program
EP3535754B1 (en) Improved reception of audio commands
EP2925005A1 (en) Display apparatus and user interaction method thereof
US10831440B2 (en) Coordinating input on multiple local devices
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
KR102206866B1 (ko) 전자 장치 및 전자 장치에서 촬영 방법
KR102527278B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR20200129297A (ko) 전자 장치, 사용자 단말 및 이들의 제어 방법
KR20160133305A (ko) 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
US11972762B2 (en) Electronic apparatus and controlling method thereof
KR20200043128A (ko) 전자장치 및 그 제어방법
KR20210011637A (ko) 컨텐츠를 재생하는 전자 장치 및 그 제어 방법
JP2015194766A (ja) 音声認識装置および音声認識方法
JP2016156877A (ja) 情報処理装置、情報処理方法およびプログラム
KR102622350B1 (ko) 전자 장치 및 그 제어 방법
KR20210071664A (ko) 전자장치 및 그 제어방법
KR20210080788A (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right