KR20150069535A - 단말 상에서 음성 제어 동작을 수행하기 위한 방법 및 장치 - Google Patents
단말 상에서 음성 제어 동작을 수행하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20150069535A KR20150069535A KR1020140178219A KR20140178219A KR20150069535A KR 20150069535 A KR20150069535 A KR 20150069535A KR 1020140178219 A KR1020140178219 A KR 1020140178219A KR 20140178219 A KR20140178219 A KR 20140178219A KR 20150069535 A KR20150069535 A KR 20150069535A
- Authority
- KR
- South Korea
- Prior art keywords
- microphone
- signal
- state
- terminal
- application
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005236 sound signal Effects 0.000 claims abstract description 92
- 238000012544 monitoring process Methods 0.000 claims abstract description 43
- 230000008859 change Effects 0.000 claims abstract description 34
- 230000003213 activating effect Effects 0.000 claims abstract description 18
- 230000007704 transition Effects 0.000 claims description 81
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 36
- 238000012545 processing Methods 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002041 carbon nanotube Substances 0.000 description 1
- 229910021393 carbon nanotube Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/38—Releasing-devices separate from shutter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
본 발명의 실시예는 단말 상에서 음성 제어 동작을 수행하기 위한 방법 및 장치를 제시하며, 오디오 기술 분야에 관한 것이다. 이러한 방법은: 단말 상에서 애플리케이션을 시작하고 단말 상에서 마이크로폰을 활성화하는 단계; 활성화된 마이크로폰의 신호 상태를 모니터링하는 단계; 및 마이크로폰의 신호 상태가 전이될 때, 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계를 포함한다. 본 발명에서는, 단말 애플리케이션 상에서 동작을 수행하기 위해 마이크로폰에 의해 픽업되는 주변 환경 잡음의 변화가 이용됨으로써, 오디오 신호를 획득하는데 있어서 주변 환경 잡음의 간섭을 피하게 되고, 사용자의 키 누르는 동작을 줄이며, 사용자 경험을 개선하게 된다.
Description
본 발명의 실시예는 오디오 기술 분야에 관한 것이며, 특히 단말 상에서 음성 제어 동작을 수행하기 위한 방법 및 장치에 관한 것이다.
대부분의 기존 단말, 예를 들어 모바일 폰 또는 태블릿 컴퓨터에는 터치스크린이 장착되어 있다. 거의 모든 동작, 예를 들어 사진촬영시 셔터 동작, 및 비디오 캡쳐 동안의 슈팅 키를 누르는 동작 등은 스크린 상에서 완료된다. 사용자가 단말의 애플리케이션 기능 상에서 동작을 수행하는 경우, 사진 촬영이든 비디오 캡쳐이든, 사용자가 맨손으로 모바일 폰을 안정적으로 유지한 후에 적어도 한 개의 손가락은 동작 키를 누르기 위해 사용가능한 상태이어야 한다. 이러한 키가 사용가능한 손가락에 의한 동작을 하기에 불편한 위치에 있다면, 동작이 곤란한 경우가 발생할 수 있다; 예를 들어, 사용자가 셀카(selfie)를 찍기 위해 모바일 폰의 후방 카메라를 이용할 때, 터치스크린 상에서 가상 키를 정확히 찾기 어려운 경우가 있다. 종래 기술에서는, 키를 누르는 것이 어려운 문제를 해결하기 위해 음성 제어가 제공되지만; 잡음이 많은 주변 환경에서는, 비교적 강한 간섭에 의해 음성 제어에 있어서 음성 인식률이 쉽게 떨어질 수 있어, 동작을 위한 제어 명령이 실패로 끝날 수 있다.
본 발명의 실시예는 단말 상에서 음성 제어 동작을 수행하기 위한 방법 및 장치를 제시하며, 이는 단말 상에서 동작을 수행하기 위한 제어 명령을 출력해야 할지 여부를 결정하기 위해 마이크로폰에 의해 수집되는 주변 환경 잡음의 상황 변화를 이용한다. 이에 따라, 단말 상의 동작이 효율적이고 편리해진다.
제1 양상에 따르면, 본 발명의 일 실시예는 단말 상에서 음성 제어 동작을 수행하기 위한 방법을 제시하며, 이러한 방법은 다음의 단계를 포함한다:
상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하는 단계;
활성화된 상기 마이크로폰의 신호 상태를 모니터링하는 단계; 및
상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계.
제1 양상을 참조할 때, 이러한 제1 양상의 가능한 제1 구현 방식으로서, 활성화된 상기 마이크로폰의 신호 상태를 모니터링하는 단계는:
활성화된 상기 마이크로폰을 이용함으로써 오디오 신호를 수집하고 상기 오디오 신호의 스케치 값(sketch value)을 계산하는 단계; 및
상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인지 여부를 결정하는 단계로서, 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인 경우, 상기 마이크로폰의 신호 상태는 제1 상태이며; 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 미만인 경우, 상기 마이크로폰의 신호 상태는 제2 상태인, 결정 단계를 더 포함하고,
이에 따라, 상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는:
상기 마이크로폰의 신호 상태가 상기 제1 상태로부터 상기 제2 상태로 전이되거나 상기 제2 상태로부터 상기 제1 상태로 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계를 더 포함한다.
제1 양상의 가능한 제1 구현 방식을 참조할 때, 이러한 제1 양상의 가능한 제2 구현 방식으로서, 상기 오디오 신호의 스케치 값을 계산하는 단계는: 상기 오디오 신호의 신호 에너지 값, 또는 신호 진폭 값, 또는 신호 에너지의 변동(fluctuation) 값, 또는 신호 진폭의 변동 값을 계산하는 단계를 포함한다.
제1 양상, 또는 이러한 제1 양상의 가능한 제1 구현 방식, 또는 제1 양상의 가능한 제2 구현 방식을 참조할 때, 제1 양상의 가능한 제3 구현 방식으로서, 다수의 마이크로폰이 제공되며:
이에 따라, 상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하는 단계는:
상기 단말 상에서 상기 애플리케이션을 시작하고 상기 단말 상에서 상기 다수의 마이크로폰 중 적어도 2개의 마이크로폰을 활성화하는 단계를 더 포함한다.
제1 양상의 가능한 제3 구현 방식을 참조할 때, 이러한 제1 양상의 가능한 제4 구현 방식으로서, 활성화된 상기 마이크로폰의 신호 상태를 모니터링하는 단계는:
활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태를 모니터링하는 단계를 더 포함하고;
상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는:
활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 적어도 2개의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계를 더 포함한다.
제1 양상의 가능한 제4 구현 방식을 참조할 때, 이러한 제1 양상의 가능한 제5 구현 방식으로서, 활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 적어도 2개의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계는:
활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 상기 적어도 2개의 신호 상태가 사전설정 시간 간격 내에서 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계를 더 포함한다.
제1 양상 또는 이러한 제1 양상의 가능한 제1 구현 방식 내지 제5 구현 방식 중 임의의 하나를 참조할 때, 이러한 제1 양상의 가능한 제6 구현 방식으로서, 상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는:
상기 마이크로폰의 신호 상태가 전이될 때 타이밍을 수행하며, 사전설정 기간 t가 만료될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계를 더 포함한다.
제1 양상 또는 이러한 제1 양상의 가능한 제1 구현 방식 내지 제6 구현 방식 중 임의의 하나를 참조할 때, 이러한 제1 양상의 가능한 제7 구현 방식으로서, 상기 방법은, 상기 마이크로폰의 신호 상태가 전이될 때, 기간 t가 만료된 후 상기 제어 명령이 출력되도록 유도하기 위한 프롬프트 정보를 전송하는 단계를 더 포함하며, 상기 프롬프트 정보는 음성 프롬프트, 진동 프롬프트, 텍스트 프롬프트, 또는 광 프롬프트이다.
제1 양상 또는 이러한 제1 양상의 가능한 제1 구현 방식 내지 제7 구현 방식 중 임의의 하나를 참조할 때, 이러한 제1 양상의 가능한 제8 구현 방식으로서, 상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하는 단계는: 상기 단말 상에서 상기 애플리케이션을 시작하고, 사전설정 기간 이후에 상기 단말 상에서 상기 마이크로폰을 활성화하는 단계를 더 포함한다.
제2 양상에 따르면, 본 발명의 일 실시예는 마이크로폰을 포함하는 단말을 제공하며, 이러한 단말은 다음의 장치를 더 포함한다:
상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하도록 구성되는 시작 유닛;
활성화된 상기 마이크로폰의 신호 상태를 모니터링하도록 구성되는 모니터링 유닛; 및
상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 구성되는 작동 유닛.
제2 양상을 참조할 때, 이러한 제2 양상의 가능한 제1 구현 방식으로서, 상기 모니터링 유닛은:
활성화된 상기 마이크로폰을 이용함으로써 오디오 신호를 수집하도록 구성되는 수집 서브유닛;
수집된 상기 오디오 신호의 스케치 값을 계산하도록 구성되는 계산 서브유닛; 및
상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인지 여부를 결정하도록 구성되는 결정 서브유닛으로서, 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인 경우, 상기 마이크로폰의 신호 상태는 제1 상태이며; 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 미만인 경우, 상기 마이크로폰의 신호 상태는 제2 상태인, 결정 서브유닛을 포함하고,
이에 따라 상기 작동 유닛은:
상기 마이크로폰의 신호 상태가 상기 제1 상태로부터 상기 제2 상태로 전이될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 구성되거나; 또는
상기 마이크로폰의 신호 상태가 상기 제2 상태로부터 상기 제1 상태로 전이될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 구성된다.
제2 양상의 가능한 제1 구현 방식을 참조할 때, 이러한 제2 양상의 가능한 제2 구현 방식으로서, 상기 계산 서브유닛은:
상기 오디오 신호의 신호 에너지 값을 계산하도록 구성되는 에너지 계산 서브유닛; 또는
상기 오디오 신호의 신호 진폭 값을 계산하도록 구성되는 진폭 계산 서브유닛; 또는
상기 오디오 신호의 신호 에너지의 변동 값을 계산하도록 구성되는 에너지 변동 계산 서브유닛; 또는
상기 오디오 신호의 신호 진폭의 변동 값을 계산하도록 구성되는 진폭 변동 계산 서브유닛을 포함한다.
제2 양상 또는 이러한 제2 양상의 가능한 제1 구현 방식, 또는 제2 양상의 가능한 제2 구현 방식을 참조할 때, 이러한 제2 양상의 가능한 제3 구현 방식으로서, 다수의 마이크로폰이 제공되며:
이에 따라, 상기 시작 유닛은:
상기 단말 상에서 상기 다수의 마이크로폰 중 적어도 2개의 마이크로폰을 활성화하도록 구성되는 활성화 서브유닛을 포함한다.
제2 양상의 가능한 제3 구현 방식을 참조할 때, 이러한 제2 양상의 가능한 제4 구현 방식으로서, 상기 모니터링 유닛은 활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태를 모니터링하도록 구성되고;
이에 따라 상기 작동 유닛은, 활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 적어도 2개의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 더 구성된다.
제2 양상의 가능한 제4 구현 방식을 참조할 때, 이러한 제2 양상의 가능한 제5 구현 방식으로서, 상기 작동 유닛은, 활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 상기 적어도 2개의 신호 상태가 사전설정 시간 간격 내에서 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 더 구성된다.
제2 양상 또는 이러한 제2 양상의 가능한 제1 구현 방식 내지 제5 구현 방식 중 임의의 하나를 참조할 때, 이러한 제2 양상의 가능한 제6 구현 방식으로서, 상기 작동 유닛은, 상기 마이크로폰의 신호 상태가 전이될 때 타이밍을 수행하며, 사전설정 기간 t가 만료될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 더 구성된다.
제2 양상 또는 이러한 제2 양상의 가능한 제1 구현 방식 내지 제6 구현 방식 중 임의의 하나를 참조할 때, 이러한 제2 양상의 가능한 제7 구현 방식으로서, 상기 장치는:
상기 마이크로폰의 신호 상태가 전이될 때, 기간 t가 만료된 후 상기 제어 명령이 출력되도록 유도하기 위한 프롬프트 정보를 전송하도록 구성된 프롬프팅 유닛을 더 포함하며, 상기 프롬프트 정보는 음성 프롬프트, 진동 프롬프트, 텍스트 프롬프트, 또는 광 프롬프트이다.
제2 양상 또는 이러한 제2 양상의 가능한 제1 구현 방식 내지 제7 구현 방식 중 임의의 하나를 참조할 때, 이러한 제2 양상의 가능한 제8 구현 방식으로서, 상기 활성화 서브유닛은, 상기 단말 상에서 시작 유닛이 애플리케이션을 시작한 후 사전설정 기간 이후에 상기 단말 상에서 상기 마이크로폰을 활성화하도록 더 구성된다.
본 발명의 실시예에서는, 단말 애플리케이션 상에서 동작을 수행하기 위해 마이크로폰에 의해 픽업되는 주변 환경 잡음의 변화가 이용됨으로써, 오디오 신호를 획득하는데 있어서 주변 환경 잡음의 간섭을 피하게 되고, 사용자의 키 누르는 동작에 의해 유발되는 문제를 줄이게 된다. 부가적으로, 단말 상에 다수의 마이크로폰이 있는 경우, 명령의 출력은 적어도 2개의 마이크로폰의 신호 상태 전이에 의해 결정되며, 이는 정확한 동작에 도움이 되고 사용자의 작동 과정 중에 한 손으로 오작동하는 것에 의해 유발되는 트리거 동작을 피할 수 있게 된다.
본 발명의 실시예의 기술적 해결 수단을 보다 명확히 기술하기 위해, 다음에서는 종래 기술 또는 실시예를 기술하는데 필요한 첨부 도면에 대해 간략히 소개한다. 다음의 설명에서 첨부 도면은 본 발명의 일부 실시예를 단지 예시하는 것임이 명백하며, 통상의 기술자라면 별다른 어려움 없이 이러한 첨부 도면으로부터 다른 도면을 유도할 수 있을 것이다.
도 1은 본 발명이 구현되는 단말의 블록도이다.
도 2는 도 1의 단말(100)의 시스템 아키텍처의 블록도이다.
도 3은 본 발명의 일 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 장치의 블록도이다.
도 5는 도 4에서의 본 발명의 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 장치의 모니터링 유닛의 블록도이다.
도 6은 도 4에서의 본 발명의 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 장치의 계산 서브유닛의 블록도이다.
도 7은 본 발명의 일 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 또 다른 장치의 블록도이다.
도 1은 본 발명이 구현되는 단말의 블록도이다.
도 2는 도 1의 단말(100)의 시스템 아키텍처의 블록도이다.
도 3은 본 발명의 일 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 장치의 블록도이다.
도 5는 도 4에서의 본 발명의 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 장치의 모니터링 유닛의 블록도이다.
도 6은 도 4에서의 본 발명의 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 장치의 계산 서브유닛의 블록도이다.
도 7은 본 발명의 일 실시예에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 또 다른 장치의 블록도이다.
다음 내용은 본 발명의 실시예의 첨부 도면을 참조하여 본 발명의 실시예의 기술적 해결 수단에 대해 명확히 설명한다. 기술된 실시예는 본 발명의 모든 실시예가 아니라 그 일부에 불과함이 명백하다. 특별한 어려움 없이 본 발명의 실시예에 기초하여 통상의 기술자가 얻게 되는 모든 다른 실시예도 본 발명의 보호 범위에 속하게 될 것이다.
도 1을 참조하면 본 발명이 구현되는 단말(100)의 블록도를 나타낸다. 단말(100)은 데이터 처리 디바이스, 예를 들면 태블릿 컴퓨터, 개인 휴대 정보 단말, 셀룰러 폰, 네트워크 어플라이언스, 카메라, 스마트폰, EGPRS(Enhanced General Packet Radio Service) 모바일 폰, 네트워크 기지국, 미디어 플레이어, 내비게이션 디바이스, 이메일 디바이스, 게임 컨트롤 센터, 전자 사진 프레임, 또는 데이터 카드, 혹은 이러한 데이터 처리 디바이스 또는 기타 다른 데이터 처리 디바이스의 임의의 둘 이상의 조합일 수 있다.
단말(100)은 터치 감응 디스플레이(102)를 포함한다. 터치 감응 디스플레이(102)는 액정 디스플레이(LCD), 발광 다이오드(LED), 탄소 나노튜브 디스플레이 또는 기타 다른 특정 디스플레이일 수 있다. 터치 감응 디스플레이(102)는 사용자의 터치 및/또는 촉각 터치에 감응하고 디스플레이 및 터치 반응을 통합하는 디바이스일 수 있다. 터치 감응 디스플레이(102)는 멀티 포인트 터치 감응 응답 기능을 포함할 수 있고, 여기서 멀티 포인트 터치 감응 응답이란 터치 감응 디스플레이(102)가 압력과 관련된 데이터의 처리를 포함하여 다수의 동시 터치 포인트, 각각의 터치 포인트의 영역 및/또는 위치를 처리할 수 있음을 의미한다. 이러한 멀티 포인트 터치 기능으로 인하여 여러 개의 손가락의 제스처 또는 움직임을 이용하여 단말(100)과 상호작용하는 것이 간편해진다. 단말(100)은 터치 감응 디스플레이(102) 상에 하나 이상의 그래픽 사용자 인터페이스를 표시하여 사용자에게 다양한 시스템 오브젝트에 대한 액세스를 제공하고 정보를 사용자에게 전달할 수 있게 된다. 그래픽 사용자 인터페이스는 하나 이상의 선택적 오브젝트, 즉 디스플레이 오브젝트를 포함할 수 있다. 디스플레이 오브젝트는 사용자에게 기능을 가능하게 하는 포털을 그래픽 방식으로 제공한다. 선택적인 오브젝트는 디바이스 기능, 애플리케이션, 윈도우, 파일, 알람, 이벤트 또는 기타 다른 식별가능한 시스템 오브젝트를 포함한다.
단말(100)은 다수의 디바이스, 예를 들면 폰 디바이스, 이메일 디바이스, 네트워크 데이터 통신 디바이스, Wi-Fi 기지국 디바이스, 및 미디어 처리 디바이스 등의 기능을 구현할 수 있다. 몇몇 구현 방식으로서, 특정 디스플레이 오브젝트가 사용자 인터페이스의 메뉴바 상에 표시될 수 있다. 몇몇 구현 방식으로서, 이러한 디바이스 기능은 최상위층 그래픽 사용자 인터페이스로부터 액세스가능하다. 예를 들어, 디바이스에 대응하는 기능이 터치에 의해 호출(invoke)될 수 있다.
일부 시나리오에서는, 단말(100)의 디바이스 기능이 호출된 후, 단말(100)의 그래픽 사용자 인터페이스가 변화하거나 확대되거나 다른 사용자 인터페이스 또는 사용자 인터페이스 엘리먼트로 대체되어 사용자가 대응하는 디바이스 기능과 연관된 특정 기능에 액세스하고 이를 작동시키는 것을 돕게 된다. 예를 들어, 폰 오브젝트 상의 사용자 터치에 응답하여, 터치 감응 디스플레이(102)의 그래픽 사용자 인터페이스는 다양한 폰 기능과 관련된 디스플레이 오브젝트를 제시할 수 있다. 마찬가지로, 이메일 오브젝트를 터치하면 그래픽 사용자 인터페이스가 다양한 이메일 기능과 관련된 디스플레이 오브젝트를 제시하게 될 수 있다; 웹 오브젝트를 터치하면 그래픽 사용자 인터페이스가 웹 페이지 브라우징 기능과 관련된 디스플레이 오브젝트를 제시하게 될 수 있다; 미디어 플레이어 오브젝트를 터치하면 그래픽 사용자 인터페이스가 다양한 미디어 처리 기능과 관련된 디스플레이 오브젝트를 제시하할 수 있다.
몇몇 다른 시나리오에서는, 도 1에서 최상위층 그래픽 사용자 인터페이스의 환경 또는 상태가 단말(100)의 하부 근방에 있는 버튼(120) 또는 가상 홈 키를 누름으로써 복원될 수 있다. 몇몇 다른 시나리오에서는, 각각의 대응하는 디바이스 기능이 터치 감응 디스플레이(102) 상에 표시되는 대응하는 "메인 인터페이스" 디스플레이 오브젝트를 가질 수 있고, 도 1의 그래픽 사용자 인터페이스 환경이 이러한 "메인 인터페이스" 디스플레이 오브젝트를 누름으로써 복원될 수 있다. 몇몇 다른 시나리오에서는, 단말(100)의 최상위층 그래픽 사용자 인터페이스가 또 다른 디스플레이 오브젝트(104), 예를 들면 단문 메시지 서비스(SMS) 오브젝트, 캘린더 오브젝트, 사진 오브젝트, 카메라 오브젝트, 계산기 오브젝트, 주식 오브젝트, 날씨 오브젝트, 맵 오브젝트, 노트패드 오브젝트, 시계 오브젝트, 주소록 오브젝트, 또는 설정 오브젝트를 포함할 수 있다. 예를 들어 맵 오브젝트를 터치하면, 맵 도시 기능, 위치 기반 서비스 환경 및 지원 기능을 호출할 수 있다. 마찬가지로, 임의의 디스플레이 오브젝트(104)를 선택하게 되면, 대응하는 오브젝트 환경 및 기능을 호출할 수 있다. 도 1의 단말(100)의 시스템 아키텍처(200)인 도 2를 참조하면, 단말(100)의 시스템 아키텍처(200)는 메모리 인터페이스(202), 하나 이상의 프로세서(204) 및 주변 장치 인터페이스(206)를 포함할 수 있고, 프로세서(204)는 데이터 프로세서, 이미지 프로세서 및/또는 중앙 처리 장치를 포함한다. 메모리 인터페이스(202), 하나 이상의 프로세서(204) 및/또는 주변 장치 인터페이스(206)는 독립형 컴포넌트이거나 하나 이상의 집적 회로에 통합될 수 있다. 시스템 아키텍처(200)의 컴포넌트는 하나 이상의 통신 버스 또는 신호 케이블을 이용하여 연결될 수 있다. 센서, 디바이스 및 서브시스템은 주변 장치 인터페이스(206)에 연결되어 단말의 다양한 기능의 구현에 도움이 될 수 있다. 예를 들어, 모션 센서(210), 광 센서(212), 및 위치 센서(214)가 주변 장치 인터페이스(206)에 연결되어 단말의 동작 감지 기능, 주변 광도 감지 기능, 및 위치 감지 기능 등의 기능을 구현하는데 도움이 될 수 있고, 서로 협조함으로써 특정 기능을 구현하게 될 수 있다. 기타 다른 보조 센서(216), 예컨대 위치결정 시스템(예를 들면, GPS 수신기), 온도 센서, 바이오인식 센서, 기압 센서, 및 고도 센서 또한 주변 장치 인터페이스(206)에 연결되어 단말의 다양한 관련 기능을 구현하는데 도움이 될 수 있다. 단말(100)의 시스템 아키텍처(200)는 카메라 서브시스템(200)을 더 포함한다. 카메라 서브시스템(220)은 전하 결합 소자(CCD) 또는 상보형 금속 산화막 반도체(CMOS) 광 센서 등의 광 센서(212)를 이용하여 카메라 서브시스템이 대응하는 이미지 획득 기능을 구현하는데 도움을 줄 수 있다. 단말(100)의 시스템 아키텍처(200)는 무선 통신 서브시스템(224)을 더 포함한다. 무선 통신 서브시스템(224)은 단말에 무선 통신 기능을 제공한다. 무선 통신 서브시스템(224)은 무선 주파수 수신기 및 송신기, 및/또는 광학(예컨대 적외선) 수신기 및 송신기를 포함할 수 있다. 단말(100)의 시스템 아키텍처(200)는 오디오 서브시스템(226)을 더 포함한다. 오디오 서브시스템(226)은 단말의 사운드 픽업 기능 또는 오디오 신호 재생 기능을 구현하는데 이용된다. 오디오 서브시스템(226)은 앞서 언급한 사운드 픽업 기능 및 오디오 신호 재생 기능을 구현하는데 도움이 되도록 라우드스피커(228) 및 마이크로폰(230)을 포함한다. 특히, 마이크로폰(230)은 사운드 신호를 전기 신호로 변환하는 에너지 변환기이다. 즉, 사운드 진동이 마이크로폰의 다이어프램에 도달하면, 마이크로폰 내부의 자석이 변화하는 전류를 생성하게 되어, 이러한 변화하는 전류가 증폭 처리를 위해 후방 사운드 처리 회로로 전달된다; 이와 같이, 마이크로폰은 공기 중의 변화하는 압력파를 변화하는 전기 신호로 변환한다. 단말(100)의 시스템 아키텍처는 I/O 서브시스템(240)을 더 포함한다. I/O 서브시스템(240)은 단말(100)이 입/출력 제어를 구현할 수 있게 한다. I/O 서브시스템(240)은 터치스크린 컨트롤러(242) 및/또는 기타 다른 (하나 이상의) 입력 컨트롤러(244)를 포함할 수 있다. 터치스크린 컨트롤러(242)는 터치스크린(246)에 연결될 수 있다. 터치스크린(246) 및 터치스크린 컨트롤러(242)는 터치 및 이러한 터치의 움직임 또는 중단을 검출하기 위해 다수의 터치 감응 기술 중 임의의 기술을 이용할 수 있고, 이러한 터치 감응 기술은 용량성, 저항성, 적외선 및 탄성 표면파 기술, 그리고 기타 다른 근접 센서 어레이 또는 하나 이상의 터치 포인트의 결정을 구현하기 위해 터치스크린(246)을 이용하는 기타 다른 컴포넌트를 포함하지만 이에 제한되지 않는다. 입력 컨트롤러(244)는 기타 다른 입력/제어 디바이스(248)에 연결될 수 있다. 이러한 입력/제어 디바이스(248)는 하나 이상의 버튼, 로커 스위치, 엄지 로터리 스위치, 적외선 포트, USB 포트 및/또는 스타일러스와 같은 탭-선택(tap-and-select) 디바이스일 수 있다. 부가적으로, 터치스크린(246)은 또한 단말 상에 입력 제어를 구현하기 위해 가상 버튼 및/또는 키보드를 제시하는데 이용될 수 있다. 단말(100)의 시스템 아키텍처(200)의 메모리 인터페이스(202)는 메모리(250)에 연결될 수 있다. 메모리(250)는 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 예컨대 하나 이상의 디스크 저장 장치, 하나 이상의 광학 저장 장치 및/또는 플래시 메모리 등일 수 있다. 이러한 메모리는 기본적인 시스템 서비스를 처리하고 하드웨어 종속 태스크를 수행하는데 이용되는 명령을 포함할 수 있는 운영 체제(252)를 저장할 수 있다. 메모리(250)는 다수의 실행가능 프로그램을 더 저장할 수 있고, 이러한 실행가능 프로그램은 음악 재생 프로그램(254), 웹 브라우징 프로그램(256), 이미지 처리 프로그램(258), 음성 통신 프로그램(260), SMS 통신 프로그램(262), 파일 인덱싱/탐색 프로그램(264), 그래픽 사용자 인터페이스 생성 프로그램(266), 또는 다양한 기능을 갖는 기타 다른 애플리케이션일 수 있다.
상기 내용은 예시적인 단말(100) 및 이러한 단말의 시스템 아키텍처(200)를 소개한다. 본 발명에 따라 단말 상에서 음성 제어 동작을 수행하기 위한 방법은 이러한 단말에 적용된다. 다음의 내용은 상기 예시적인 단말(100)에 기초하여 본 발명의 특정 실시예를 소개한다.
실시예
1
도 3에 도시된 바와 같이, 본 발명의 일 실시예는 단말 상에서 음성 제어 동작을 수행하기 위한 방법을 제공하며, 이러한 방법은 다음의 단계를 포함한다:
S301. 단말 상에서 애플리케이션을 시작하고 단말 상에서 마이크로폰을 활성화하는 단계.
사용자는 키를 누르거나, 터치하거나 기타 다른 수단에 의해 단말 상에서 애플리케이션을 트리거링하며, 이에 의해 시작된 애플리케이션이 준비 단계로 진입하게 된다. 본원에서 애플리케이션은 단말 상의 사진촬영 프로그램, 녹화 프로그램, 또는 카메라 프로그램일 수 있고, 또한 알람 시계 프로그램일 수 있으며, 나아가 트리거 제어 명령에 의해 작동될 수 있는 모든 기타 다른 프로그램일 수 있다. 즉, 일단 애플리케이션이 시작되면, 애플리케이션은 준비 또는 대비 모드로 진입하고, 현재 동작 상태를 변경하도록 애플리케이션 상에서 동작을 수행하기 위해 이후의 트리거 제어 명령을 기다린다. 예를 들어 상기 단말(100)에 대하여 특정 애플리케이션 시나리오에서는, 사용자가 단말(100)의 시스템 아키텍처(200) 상의 터치스크린(246) 또는 기타 입력/제어 디바이스(248)를 이용함으로써 단말(100) 상에서 애플리케이션을 트리거링할 수 있다. 애플리케이션은 단말(100)의 시스템 아키텍처(200) 상에서 주변 장치 인터페이스(206)에 연결되는 카메라 서브시스템(220), 오디오 서브시스템(226) 등일 수 있다.
본 발명에서는 사용자의 작동을 용이하게 하기 위해서, 시작되어 준비 단계로 진입하는 애플리케이션을 현재 동작 상태를 변경하도록 트리거링해야 하는지에 대한 근거로서, 마이크로폰을 모니터링함으로써 픽업되는 진폭 변화, 상황 변화 등이 이용된다. 특히, 단말 상의 적어도 하나의 마이크로폰이 활성화되어, 마이크로폰은 신호 수집 모드, 즉 주변 환경의 오디오 신호가 수집되는 모드로 진입하게 되고, 여기서 주변 환경의 오디오 신호는 주변 환경으로부터의 임의의 오디오 신호일 수 있다.
S302. 활성화된 마이크로폰의 신호 상태를 모니터링하는 단계.
단말 상에서 시작된 애플리케이션이 음성 제어 동작 모드로 진입하면, 단말 상의 마이크로폰이 활성화되고 신호 수집 모드로 진입한다. 이러한 모드의 마이크로폰은 주변 환경의 사운드를 모니터링하기 위한 주변 환경 사운드 모니터링 디바이스로 이용된다. 즉, 사운드가 주변 환경으로부터 수집되고 단말의 주위 환경의 사운드 상황이 픽업된다. 주위 환경이 비교적 잡음이 많은 경우, 비교적 높은 레벨로, 예를 들면 보다 높은 전압 또는 전류 레벨로 주변 환경 사운드 모니터링 결과가 출력되거나, 현재 사운드 환경을 나타내는 디지털 신호가 출력된다. 주위 환경이 비교적 조용한 경우, 비교적 낮은 레벨로, 예를 들면 보다 낮은 전압 또는 전류 레벨로 주변 환경 사운드 모니터링 결과가 출력되거나, 현재 사운드 환경을 나타내는 디지털 신호가 출력된다. 대안으로서, 절대적으로 조용한 주변 환경에서는, 어떠한 신호도 출력되지 않거나 마이크로폰이 위치하는 환경의 현재 사운드 상황을 나타내기 위해 단지 디지털 잡음 신호만이 출력된다. 마이크로폰이 이러한 신호를 출력하는지 여부, 또는 마이크로폰에 의해 출력되는 신호의 진폭은 마이크로폰의 신호 상태라 지칭된다. 선택적으로, 마이크로폰의 신호 상태는 레지스터 또는 메모리에 직접 저장될 수 있거나, 평활화, 잡음 감소, 및 평균화(value averaging) 등의 방식으로 처리된 후 레지스터 또는 메모리에 저장될 수 있다.
S303. 마이크로폰의 신호 상태가 전이될 때, 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계.
마이크로폰의 신호 상태가 획득된 후, 단말은 마이크로폰의 신호 상태를 실시간으로 모니터링하고 모니터링 결과에 따라 시작된 애플리케이션의 다음 실행 동작을 활성화한다. 선택적으로, 단계(S202)에서 획득한 마이크로폰의 신호 상태가 원래 상태이고, 이러한 원래 상태가 실시간으로 모니터링된다. 실제의 애플리케이션 시나리오에서, 마이크로폰의 신호는 사용자 동작 및 주변 환경에 따라 달라진다. 여기서는, 근거로서 S102에서 기록된 마이크로폰의 신호 상태를 이용하고 그러한 근거에 따라 마이크로 폰에 의해 수집되는 오디오 신호가 변화하는지 여부를 모니터링한다. 이러한 변화는 마이크로폰의 새로운 상태를 획득하기 위해 처리된다. 주변 환경의 잡음이 제어가능하지 않기 때문에, 변화하는 주변 환경에서 마이크로폰에 의해 수집되는 오디오 신호의 볼륨 또한 제어가능하지 않다. 그러므로, 이러한 오디오 신호는 실시간으로 마이크로폰의 신호 상태를 판독하도록 처리될 필요가 있다. 여기서 처리는 수많은 방법을 이용하여 구현될 수 있고, 처리 결과로서 복잡한 주변 환경의 잡음이 시스템에서 식별가능하고 판독가능할 수 있게 된다. 예를 들어, 임계치가 사전설정되고 복잡한 주변 환경의 오디오 신호가 단순히 분류되어, 분류 이후의 변화가 시스템에서 식별되고 판독될 수 있게 된다. 선택적인 구현 방식으로서, 마이크로폰의 신호 상태가 원래 상태의 사전설정 임계치에 근거하여 분류될 수 있다. 모니터링에 의해 마이크로폰의 신호 상태가 원래 상태에 근거하여 사전설정 임계치를 지나는 것으로 밝혀지면, 이는 하나의 상태 전이로서 판독된다. 선택적으로, 이러한 사전설정 임계치는 주변 환경 잡음의 상황에 따라 자가 조절될 수 있다. 주변 환경이 비교적 조용한 경우, 임계치는 비교적 작은 값으로 설정될 수 있다; 주변 환경이 비교적 잡음이 많은 경우, 임계치는 비교적 큰 값으로 설정될 수 있다. 이런 방식으로, 마이크로폰을 모니터링하는 보다 양호한 판독 능력이 상이한 주변 환경 조건에서 달성된다. 이러한 판독 능력으로 인해 단말은 마이크로폰의 신호 상태의 변화를 정확히 판독할 수 있게 된다. 단말이 마이크로폰의 신호 상태의 변화를 판독한 후, 현재 동작 상태를 변경하도록 시작된 애플리케이션 상에서 애플리케이션 동작을 수행하기 위해 트리거 제어 명령이 출력되고, 이로써 단말 상에서 마이크로폰을 이용함으로써 단말의 애플리케이션 기능 상에서 그러한 동작을 구현하게 된다.
본 발명의 이러한 실시예에 의해 제공되는 단말 상에서 음성 제어 동작을 수행하기 위한 방법에서는, 단말 상의 애플리케이션이 시작되고 단말 상의 마이크로폰이 활성화되며, 마이크로폰에 의해 수집되는 오디오 신호를 이용하고 이러한 신호의 상태를 모니터링함으로써 애플리케이션 상에서 동작을 수행하기 위해 제어 명령을 출력해야 하는지 여부를 결정한다. 본 발명의 이러한 실시예에서는, 단말 애플리케이션 상에서 동작을 수행하기 위해 마이크로폰에 의해 픽업되는 주변 환경 잡음의 변화가 이용됨으로써, 오디오 신호를 획득하는데 있어서 주변 환경 잡음의 간섭을 피하게 되고, 사용자의 키 누르는 동작에 의해 유발되는 문제를 줄이게 된다.
특히 단계(S301)에서 기술된 바와 같이, 단말 상의 애플리케이션이 시작되고 단말 상의 마이크로폰이 활성화되며, 여기서 마이크로폰의 활성화는 단말 상의 애플리케이션이 시작되는 것과 동시에 트리거링되어 단말이 음성 제어 동작 모드로 진입하게 될 수 있다; 마이크로폰의 활성화는 또한 단말 상의 애플리케이션이 시작된 후 소정 기간 트리거링될 수 있다; 마이크로폰의 활성화는 또한 사용자에 의해 수동으로 트리거링될 수 있다. 그러므로, 단말은 음성 제어 동작 모드로 진입한다; 선택적으로, 마이크로폰은 애플리케이션이 시작된 후 사전설정 기간 내에 음성 제어 동작 모드로 진입할 수 있고, 이는 사용자에게 동작 전에 준비를 할 수 있는 충분한 시간을 제공하며 사용자가 단말을 간편하고 유연하게 작동할 수 있게 한다. 특히, 단말 상의 적어도 하나의 마이크로폰이 활성화되어, 마이크로폰은 신호 수집 모드, 즉 주변 환경의 오디오 신호가 수집되는 모드로 진입하게 되고, 여기서 주변 환경의 오디오 신호는 주변 환경으로부터의 임의의 오디오 신호일 수 있다.
단계(S302)에서 기술된 바와 같은, 활성화된 마이크로폰의 신호 상태를 모니터링하는 단계는:
활성화된 마이크로폰을 이용함으로써 오디오 신호를 수집하고 오디오 신호의 에너지 값을 계산하는 단계; 및
에너지 값이 사전설정 임계치 이상인지 여부를 결정하는 단계로서, 결정의 결과 오디오 신호의 에너지 값이 사전설정 임계치 이상인 경우, 마이크로폰의 신호 상태는 제1 상태이며; 결정의 결과 오디오 신호의 에너지 값이 사전설정 임계치 미만인 경우, 마이크로폰의 신호 상태는 제2 상태인, 결정 단계를 더 포함한다.
단계(S303)에서 기술된 바와 같은, 마이크로폰의 신호 상태가 전이될 때, 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는:
마이크로폰의 신호 상태가 제1 상태로부터 제2 상태로 전이되거나 제2 상태로부터 제1 상태로 전이될 때, 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계를 더 포함한다.
단말 상에서 시작된 애플리케이션이 음성 제어 동작 모드로 진입하면, 단말 상의 마이크로폰이 활성화되고 신호 수집 모드로 진입하며, 단말은 음성 제어 동작 모드로 진입한다. 이러한 모드에서 마이크로폰은 주변 환경 사운드를 모니터링하기 위한 사운드 환경 모니터링 디바이스로서 이용된다. 즉, 주변 환경으로부터 사운드가 수집되고 단말의 주위 환경의 사운드 상황이 픽업된다. 주위 환경이 비교적 잡음이 많은 경우, 비교적 높은 레벨로, 예를 들면 보다 높은 전압 또는 전류 레벨로 주변 환경 사운드 모니터링 결과가 출력되거나, 현재 사운드 환경을 나타내는 디지털 신호가 출력된다. 주위 환경이 비교적 조용한 경우, 비교적 낮은 레벨로, 예를 들면 보다 낮은 전압 또는 전류 레벨로 사운드 모니터링 결과가 출력되거나, 현재 사운드 환경을 나타내는 디지털 신호가 출력된다. 대안으로서, 절대적으로 조용한 주변 환경에서는, 어떠한 신호도 출력되지 않거나 마이크로폰이 위치하는 환경의 현재 사운드 상황을 나타내기 위해 단지 디지털 잡음 신호만이 출력된다. 마이크로폰이 이러한 신호를 출력하는지 여부, 또는 마이크로폰에 의해 출력되는 신호의 진폭은 마이크로폰의 신호 상태라 지칭된다. 선택적인 구현 방식으로서, 본 발명의 이러한 실시예에서는, 마이크로폰의 복잡하고 변화가능한 신호 상태가 사전설정 임계치에 따라 단순히 분류되어, 분류된 신호 상태가 시스템에서 식별되고 판독될 수 있게 된다. 선택적으로, 이러한 사전설정 임계치는 주변 환경 잡음의 상황에 따라 조절될 수 있다; 마이크로폰의 신호 상태가 단말에 의해 획득된 후, 단말은 마이크로폰의 신호 상태를 실시간으로 모니터링하고 모니터링 결과에 따라 시작된 애플리케이션의 다음 실행 동작을 활성화한다. 선택적으로, 마이크로폰의 원래 신호 상태가 일례로서 이용된다. 이러한 신호 상태는 에너지 값이 상기 사전설정 임계치보다 크거나 같은 경우 제1 상태이고, 신호 상태는 에너지 값이 상기 사전설정 임계치보다 작은 경우 제2 상태이다. 특히 이러한 상태 분류는 한편으로 복잡한 주변 환경의 잡음에 따라 출력되는 마이크로폰의 신호 상태가 시스템에 의해 분류되고 판독될 수 있게 하기 위함이며, 다른 한편으로는 상태 분류에 의해 마이크로폰이 위치하는 환경의 잡음 레벨을 직접적으로 제시하고자 하는 것이다. 예를 들어, 마이크로폰의 신호 상태가 제1 상태인 경우, 현재 잡음 레벨이 비교적 높은 것으로 가정한다. 마이크로폰의 신호 상태가 제2 상태인 경우, 현재 잡음 레벨이 비교적 낮은 것으로 가정한다. 선택적으로, 마이크로폰의 획득된 원래 신호 상태는 레지스터 또는 메모리에 직접 저장될 수 있거나, 평활화, 잡음 감소, 및 평균화 등의 방식으로 처리된 후 레지스터 또는 메모리에 저장될 수 있다. 마이크로폰의 신호 상태가 획득된 후, 마이크로폰의 신호 상태가 실시간으로 모니터링된다. 마이크로폰의 신호 상태의 변화가 사전설정 임계치를 지나는 것으로 밝혀지면, 즉 마이크로폰의 신호 상태가 보다 높은 잡음 레벨의 제1 상태로부터 보다 낮은 잡음 레벨의 제2 상태로 전이하거나, 또는 마이크로폰의 신호 상태가 보다 낮은 잡음 레벨의 제2 상태로부터 보다 높은 잡음 레벨의 제1 상태로 전이하는 것으로 밝혀지면; 특히 마이크로폰의 신호 상태가 전이 이전에 사전설정 임계치보다 높고 마이크로폰의 신호 상태가 전이 이후에 사전설정 임계치보다 낮은 경우, 또는 마이크로폰의 신호 상태가 전이 이전에 사전설정 임계치보다 낮고 마이크로폰의 신호 상태가 전이 이후에 사전설정 임계치보다 높은 경우, 일단 상기 상태 전이가 단말에 의해 모니터링되면 단말은 현재 동작 상태를 변경하도록 시작된 애플리케이션 상에서 애플리케이션 동작을 수행하기 위해 트리거 제어 명령을 출력하며, 이에 의해 단말 상에서 마이크로폰을 이용함으로써 단말의 애플리케이션 기능 상에서 동작을 구현하게 된다. 실제의 애플리케이션 시나리오에서, 이러한 상태 전이는 단말 상에서 마이크로폰에 대한 사용자의 제어에 따라 구현될 수 있다. 예를 들어, 단말에 의해 판독되는 마이크로폰의 원래 신호 상태가 보다 낮은 잡음 레벨의 제2 상태인 경우, 이는 사용자가 마이크로폰을 차단하여 사운드 픽업 채널이 폐쇄 상태에 있기 때문일 수 있다; 또는 단말에 의해 판독되는 마이크로폰의 원래 신호 상태가 보다 높은 잡음 레벨의 제1 상태인 경우, 이는 사용자가 마이크로폰을 차단하지 않아 사운드 픽업 채널이 개방 상태에 있기 때문일 수 있다. 선택적으로, 실제의 애플리케이션 시나리오에서는, 마이크로폰의 신호 상태 전이는 여러 이유로 인해 유발될 수 있고, 예를 들면 폐쇄된 사운드 픽업 채널이 이제 개방되어 마이크로폰의 신호 상태가 제2 상태로부터 제1 상태로 전이하거나; 개방된 사운드 픽업 채널이 이제 폐쇄되어 마이크로폰의 신호 상태가 제1 상태로부터 제2 상태로 전이하거나; 또는 주변 환경 잡음이 갑자기 급격하게 변화하고 이러한 변화가 갑작스런 강하 또는 상승이어서 마이크로폰의 신호 상태가 전이하게 될 수 있다.
나아가 선택적으로, 특정 구현 과정 동안, 마이크로폰에 의해 수집되는 오디오 신호의 스케치 값을 계산하는 단계는 특히: 계산되는 것이 신호 에너지 값이거나, 계산되는 것이 신호 진폭 값이거나, 계산되는 것이 신호 에너지의 변동(fluctuation) 값이거나, 또는 계산되는 것이 신호 진폭의 변동 값이며; 계산에 의해 획득되는 오디오 신호는 마이크로폰의 신호 상태를 반영하기 위해 이용된다.
본 발명의 이러한 실시예에 의해 제공되는 단말 상에서 음성 제어 동작을 수행하기 위한 방법에서는, 마이크로폰에 의해 수집되는 오디오 신호를 이용하고 이러한 신호의 상태를 모니터링함으로써 애플리케이션 상에서 동작을 수행하기 위해 제어 명령을 출력해야 하는지 여부를 결정한다. 본 발명의 이러한 실시예에서는, 단말 애플리케이션 상에서 동작을 수행하기 위해 마이크로폰에 의해 픽업되는 주변 환경 잡음의 변화가 이용됨으로써, 오디오 신호를 획득하는데 있어서 주변 환경 잡음의 간섭을 피하게 되고, 사용자의 키 누르는 동작에 의해 유발되는 문제를 줄이게 된다.
본 발명의 상기 실시예 중 임의의 것에 기초하여, 본 발명의 이러한 실시예는 단말 상에서 음성 제어 동작을 수행하기 위한 또 다른 방법을 제공한다.
본 발명의 상기 실시예 중 임의의 것에 기초하여, 추가로 본 발명의 이러한 실시예에서는, 다수의 마이크로폰이 제공된다.
이에 따라, 단말 상에서 애플리케이션을 시작하고 단말 상에서 마이크로폰을 활성화하는 단계는:
단말 상에서 애플리케이션을 시작하고 단말 상에서 다수의 마이크로폰 중 적어도 2개의 마이크로폰을 활성화하는 단계를 더 포함한다.
이러한 경우, 다수의 마이크로폰은 마이크로폰 어레이를 이룬다. 다수의 마이크로폰이 활성화될 때, 모니터링되는 것은 다수의 활성화된 마이크로폰으로 이루어진 마이크로폰 어레이의 신호 상태이다. 적어도 하나의 마이크로폰의 신호 상태가 전이할 때, 애플리케이션 상에서 동작을 수행하기 위해 제어 명령이 출력된다. 선택적으로, 적어도 2개의 마이크로폰의 신호 상태가 전이할 때 애플리케이션 상에서 동작을 수행하기 위해 제어 명령이 출력될 수 있다.
본 발명의 이러한 실시예에서, 다수의 마이크로폰이 단말 상에서 마이크로폰 어레이를 이루는 경우, 마이크로폰 어레이의 신호 상태가 모니터링된다. 적어도 2개의 마이크로폰의 신호 상태가 전이될 때 제어 명령이 출력된다. 명령의 출력이 단지 하나의 마이크로폰의 신호 상태 전이에 의해 결정되는 것이 비해, 본 발명의 이러한 실시예에서는, 명령의 출력이 적어도 2개의 마이크로폰의 신호 상태 전이에 의해 결정되며, 이는 동작의 정확성에 도움이 되고 사용자의 작동 과정 중에 한 손으로 오작동하는 것에 의해 유발되는 트리거 동작을 피할 수 있게 된다.
나아가 선택적으로, 본 발명의 이러한 실시예에서는, 적어도 2개의 마이크로폰의 원래 신호 상태가 전이되는 경우, 선택적으로 이러한 적어도 2개의 마이크로폰은 동시에 전이할 수 있으며, 또한 사전설정 간격으로 전이할 수 있다. 사전설정 간격은 실제 실험값에 따라 획득되며, 시간 간격을 설정하는 목적은 디바이스에 오차 허용 능력을 제공하고자 하는 것이다. 디바이스의 마이크로폰은 일반적으로 단말의 상이한 위치에 배치되므로, 사운드 소스의 위치가 한 마이크로폰에 비교적 가깝고 다른 마이크로폰으로부터는 비교적 떨어져 있는 경우, 마이크로폰의 신호 상태의 전이 시간은 상이하다. 이러한 간격은 짧다. 그러나, 시간 간격이 설정되지 않으면, 단말이 비교적 민감한 경우, 디바이스가 제어 명령을 올바르게 수행할 수 없는 경우가 생길 수 있다. 그러므로, 시간 간격이 설정되고, 순차적으로 시간 간격 내에 발생되는 마이크로폰의 신호 상태 전이가 동시/동일 전이라고 간주되며, 이는 디바이스의 허용 오차 능력을 개선할 수 있고 이용을 용이하게 할 수 있다.
앞선 실시예에 의해 발생되는 기술적 효과에 기초하여, 제어 명령의 출력을 트리거링하기 위해 다수의 마이크로폰의 신호 상태가 동시에 전이할 수 있고 사전설정 간격으로 전이할 수도 있으며, 이는 작동 과정 중에 사용자에게 편의성 및 다양성을 제공하는데 도움이 되며, 나아가 사용자 경험을 개선하게 된다.
나아가 선택적으로, 본 발명의 이러한 실시예에서는, 마이크로폰의 신호 상태가 전이된다고 모니터링될 때, t초 후에 제어 명령이 출력되도록 유도하기 위해 프롬프트 정보가 전송된다. 이러한 프롬프트 정보는 음성 프롬프트, 진동 프롬프트, 텍스트 프롬프트, 또는 광 프롬프트, 또는 사용자에게 촉구하는데 이용될 수 있는 여타 임의의 방식일 수 있으며, 여기서 t는 실험값이다.
앞선 실시예에 의해 발생되는 기술적 효과에 기초하여, 프롬프트 정보의 부가는 사용자가 단말의 동작의 전송 시간을 명확히 알 수 있게 함으로써, 사용자의 오작동에 의해 유발되는 제어 명령의 트리거링을 방지하게 된다. 그러므로, 사용자는 단말 상에서 보다 편리하고 유연한 동작을 수행하게 되며, 사용자 경험이 한층 개선된다.
앞선 실시예 중 임의의 것에 기초하여, 선택적인 구현 방식으로서, 기술적 해결 수단은 다음의 방법을 더 포함할 수 있다:
단계(S302)에 기술된 바와 같이, 활성화된 마이크로폰의 신호 상태를 모니터링하는 방법에서, 이러한 방법은 활성화된 마이크로폰을 이용하여 오디오 신호를 수집하고 오디오 신호의 스케치 값을 계산하는 것을 포함한다. 오디오 신호의 스케치 값은 특히 다음과 같을 수 있다: 계산되는 것이 신호 에너지 값이거나, 계산되는 것이 신호 진폭 값이거나, 계산되는 것이 신호 에너지의 변동 값이거나, 또는 계산되는 것이 신호 진폭의 변동 값이고; 선택적으로 본 발명의 이러한 실시예에서는 오디오 신호의 계산된 스케치 값이 신호 에너지 값이다.
본 발명의 이러한 실시예에서는, 단말 상의 사진촬영 애플리케이션이 특정 예시를 위한 일례로 선택된다. 달리 말하면, 사용자는 단말의 사진촬영 기능을 시작하고, 이러한 시작 동작은 단말의 마이크로폰이 신호 수집 모드로 진입하도록 트리거링하여, 단말이 오디오 신호를 수집하고 오디오 신호의 신호 에너지 값을 계산하게 되며, 이에 의해 마이크로폰의 신호 상태를 결정하고 마이크로폰의 신호 상태를 기록하게 된다. 이러한 경우, 단말의 카메라는 사진촬영 준비 상태에 있고, 시스템이 사진촬영 동작을 수행하기 위해 셔터를 누르는 제어 명령을 전송하기를 기다린다.
오디오 신호가 활성화된 마이크로폰에 의해 수집된 후, 본 발명의 이러한 실시예에서는, 마이크로폰에 의해 수집되는 오디오 신호의 신호 에너지 값 
이 계산되며, 이는 특히 다음의 수식을 이용하여 수행된다:
여기서, n은 마이크로폰의 일련 번호를 나타내고, i는 신호 분석을 위해 시스템에 의해 이용되는 분석 프레임 번호를 나타낸다. 이러한 분석 프레임의 길이는 경험에 따라 설정될 수 있고, 즉 신호 에너지 값 
은 경험에 따른 간격마다 하나의 계산을 수행함으로써 획득된다. 여기서, k는 분석 프레임에서 수집되는 신호 샘플링 시점의 시리얼 번호를 나타내며(1≤k≤K), 여기서 K의 값은 320일 수 있고, 
는 k번째 샘플링 시점의 진폭 값을 나타낸다.
계산된 신호 에너지 값 
은 사전설정 임계치 T1과 비교된다. 
인 경우, 마이크로폰은 제1 상태에 있는 것으로 결정된다; 
인 경우, 마이크로폰은 제2 상태에 있는 것으로 결정된다. 이러한 결정에 의해 획득되는 마이크로폰의 원래 신호 상태가 기록되고 저장된다.
이에 따라, 단계(S303)에서 기술된 바와 같은, 마이크로폰의 신호 상태가 전이될 때 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는 특히 다음과 같다:
마이크로폰의 기록된 신호 상태가 모니터링된다; 선택적으로 하나의 마이크로폰이 제공될 수 있고 또한 다수의 마이크로폰이 제공될 수도 있다. 다수의 마이크로폰이 있는 경우, 이러한 마이크로폰 중 적어도 2개의 마이크로폰이 활성화된다. 이러한 적어도 2개의 마이크로폰은 마이크로폰 어레이를 이루며, 적어도 2개의 마이크로폰의 신호 상태가 모니터링된다. 적어도 하나 또는 적어도 2개의 마이크로폰의 신호 상태가 전이될 때, 사진촬영 애플리케이션 상에서 셔터 동작을 수행하기 위해 제어 명령이 출력된다. 특정한 구현 과정 중에, 사전설정 임계치 T1이 전이가 발생하는지 여부를 결정하기 위한 임계치로서 이용된다. 신호 에너지 값의 변화가 사전설정된 임계치 T1을 지나면, 이는 하나의 전이의 발생으로 간주된다. 특히, 마이크로폰의 신호 상태를 모니터링하는 과정 중에 마이크로폰에 의해 수집되는 신호 에너지 값이 변할 수 있다; 이러한 변화가 사전설정 임계치 내인 경우, 즉 사전설정 임계치보다 크거나 같은 신호 에너지 값이 변화 후에도 사전설정 임계치보다 크거나 같은 경우, 또는 사전설정 임계치보다 작은 신호 에너지 값이 변화 후에도 사전설정 임계치보다 작은 경우, 상태는 전이되지 않는다; 그러나, 원래 사전설정 임계치보다 큰 신호 에너지 값이 전이 후에 사전설정 임계치보다 작거나, 또는 원래 사전설정 임계치보다 작은 신호 에너지 값이 전이 후에 사전설정 임계치보다 큰 경우에는, 상태 전이가 발생한 것으로 간주된다. 시스템이 모니터링에 의해 이러한 상태 전이를 감지하게 되면, 사진촬영 애플리케이션 상에서 사진촬영 동작을 수행하도록 셔터를 트리거링하는 제어 명령이 출력됨으로써, 마이크로폰을 이용하여 단말 상에서 사진촬영 기능 상의 동작을 구현하게 된다.
본 발명의 이러한 실시예에서는, 애플리케이션 상에서 동작을 트리거링하기 위해 마이크로폰에 의해 픽업되는 주변 환경 잡음의 오디오 신호의 신호 에너지 값의 변화가 이용되며, 이에 의해 주변 환경 잡음의 간섭을 피하는 한편 단말 애플리케이션 상에서 동작을 수행하기 위해 주변 환경 잡음을 충분히 이용하게 됨으로써, 사용자의 키 누르는 동작에 의해 유발되는 문제를 줄이고 단말 상에서 보다 편리하고 유연한 동작이 가능해진다.
앞선 실시예 중 임의의 것에 기초하여, 또 다른 선택적인 구현 방식으로서, 기술적 해결 수단은 다음의 방법을 더 포함할 수 있다:
단계(S302)에서 기술된 바와 같이, 활성화된 마이크로폰의 신호 상태를 모니터링하는 방법에 있어서, 이러한 방법은 활성화된 마이크로폰을 이용하여 오디오 신호를 수집하고 오디오 신호의 스케치 값을 계산하는 것을 포함한다. 오디오 신호의 스케치 값은 특히 다음과 같을 수 있다: 계산되는 것이 신호 에너지 값이거나, 계산되는 것이 신호 진폭 값이거나, 또는 계산되는 것이 신호 에너지의 변동 값이거나, 또는 계산되는 것이 신호 진폭의 변동 값이고; 선택적으로 본 발명의 이러한 실시예에서는 오디오 신호의 계산된 스케치 값이 신호 에너지의 변동 값이다.
앞선 구현 방식과 마찬가지로, 이러한 구현 방식에서는, 단말 상의 사진촬영 애플리케이션이 또한 특정 예시를 위한 일례로 선택된다. 달리 말하면, 사용자는 단말의 사진촬영 기능을 시작하고, 이러한 시작 동작은 단말의 마이크로폰이 신호 수집 모드로 진입하도록 트리거링하여, 단말이 오디오 신호를 수집하고 오디오 신호의 신호 에너지 값을 계산하게 되며, 이에 의해 마이크로폰의 신호 상태를 결정하고 마이크로폰의 신호 상태를 기록하게 된다. 이러한 경우, 단말의 카메라는 사진촬영 준비 상태에 있고, 시스템이 사진촬영 동작을 수행하기 위해 셔터를 누르는 제어 명령을 전송하기를 기다린다.
오디오 신호가 활성화된 마이크로폰에 의해 수집된 후, 본 발명의 이러한 실시예에서는, 마이크로폰에 의해 수집되는 오디오 신호의 신호 에너지의 변동 값 
이 계산되며, 이는 특히 다음의 단계를 수행함으로써 구현된다:
첫 번째 단계로, 마이크로폰에 의해 수집되는 오디오 신호의 신호 에너지 값 
이 계산되며, 이는 특히 다음의 수식을 이용하여 수행된다:
여기서, n은 마이크로폰의 일련 번호를 나타내고, i는 신호 분석을 위해 시스템에 의해 이용되는 분석 프레임 번호를 나타낸다. 이러한 분석 프레임의 길이는 경험에 따라 설정될 수 있고, 즉 신호 에너지 값 
은 경험에 따른 간격마다 하나의 계산을 수행함으로써 획득된다. 여기서, k는 분석 프레임에서 수집되는 신호 샘플링 시점의 시리얼 번호를 나타내며(1≤k≤K), 여기서 K의 값은 320일 수 있고, 
는 k번째 샘플링 시점의 진폭 값을 나타낸다.
두 번째 단계로, 신호 에너지의 이동 평균 값 
이 다음과 같이 계산되며, 여기서 α는 업데이트 계수이고 0<α<1이며; 선택적으로, 본 발명의 이러한 실시예에서 α=0.97이다:
세 번째 단계로, 신호 에너지의 변동 값 
이 다음과 같이 계산된다:
계산된 신호 에너지 값 
이 사전설정 임계치 T2와 비교된다. 
인 경우, 마이크로폰은 제1 상태에 있는 것으로 결정된다;
본 발명의 이러한 실시예에서는, 애플리케이션 상에서 동작을 트리거링하기 위해 마이크로폰에 의해 픽업되는 주변 환경 잡음의 오디오 신호의 신호 에너지 변동 값의 변화가 이용되며, 이에 의해 주변 환경 잡음의 간섭을 피하는 한편 단말 애플리케이션 상에서 동작을 수행하기 위해 주변 환경 잡음을 충분히 이용하게 됨으로써, 사용자의 키 누르는 동작에 의해 유발되는 문제를 줄이고 단말 상에서 보다 편리하고 유연한 동작이 가능해진다.
실시예
2
도 4에 도시된 바와 같이, 본 발명의 일 실시예는 단말 상에서 음성 제어 동작을 수행하기 위한 장치를 제공하며, 이러한 장치는 마이크로폰, 및:
단말 상에서 애플리케이션을 시작하고 단말 상에서 마이크로폰을 활성화하도록 구성되는 시작 유닛(401);
활성화된 마이크로폰의 신호 상태를 모니터링하도록 구성되는 모니터링 유닛(403); 및
마이크로폰의 신호 상태가 전이될 때, 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 구성되는 작동 유닛(405)을 포함한다.
특히 본 발명의 이러한 실시예에서, 사용자는 키를 누르거나, 터치하거나 기타 다른 수단에 의해 단말 상에서 애플리케이션을 트리거링하며, 이에 의해 시작된 애플리케이션이 준비 단계로 진입하게 된다. 본원에서 애플리케이션은 단말 상의 사진촬영 프로그램, 녹화 프로그램, 또는 카메라 프로그램일 수 있고, 또한 알람 시계 프로그램일 수 있으며, 나아가 트리거 제어 명령에 의해 작동될 수 있는 모든 기타 다른 프로그램일 수 있다. 즉, 일단 애플리케이션이 시작되면, 애플리케이션은 준비 또는 대비 모드로 진입하고, 애플리케이션 상에서의 동작을 위해 이후의 트리거 제어 명령을 기다리며, 이러한 명령에 의해 현재 동작 상태가 변경되는 것이다. 예를 들어 상기 단말(100)에 대하여 특정 애플리케이션 시나리오에서는, 사용자가 단말(100)의 시스템 아키텍처(200) 상의 터치스크린(246) 또는 기타 입력/제어 디바이스(248)를 이용함으로써 단말(100) 상에서 애플리케이션을 트리거링할 수 있다. 애플리케이션은 단말(100)의 시스템 아키텍처(200) 상에서 주변 장치 인터페이스(206)에 연결되는 카메라 서브시스템(220), 오디오 서브시스템(226) 등일 수 있다.
본 발명의 이러한 실시예에서 사용자의 작동을 용이하게 하기 위해서, 모니터링 유닛은 마이크로폰에 의해 픽업되는 신호의 진폭 변화 또는 기타 다른 상황 변화를 모니터링하고, 이는 시작되어 준비 단계로 진입하는 애플리케이션 상에서 동작을 수행하기 위해 명령을 출력하도록 작동 유닛을 트리거링하게 된다. 특히, 시작 유닛(401)은 단말 상에서 적어도 하나의 마이크로폰을 활성화하여, 마이크로폰이 신호 수집 모드로, 즉 주변 환경의 오디오 신호가 수집되는 모드로 진입하게 되고, 여기서 주변 환경의 오디오 신호는 주변 환경으로부터의 임의의 오디오 신호일 수 있다.
특히 도 5를 참조하면, 모니터링 유닛(403)은:
활성화된 마이크로폰을 이용함으로써 오디오 신호를 수집하도록 구성되는 수집 서브유닛(4031);
오디오 신호의 스케치 값을 계산하도록 구성되는 계산 서브유닛(4033); 및
오디오 신호의 스케치 값이 사전설정 임계치 이상인지 여부를 결정하도록 구성되는 결정 서브유닛(4035)으로서, 결정의 결과 오디오 신호의 스케치 값이 사전설정 임계치 이상인 경우, 마이크로폰의 신호 상태는 제1 상태이며; 결정의 결과 오디오 신호의 스케치 값이 사전설정 임계치 미만인 경우, 마이크로폰의 신호 상태는 제2 상태인, 결정 서브유닛(4035)을 포함할 수 있고
이에 따라 작동 유닛(405)은:
마이크로폰의 신호 상태가 제1 상태로부터 제2 상태로 전이될 때 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 구성되거나; 또는
마이크로폰의 신호 상태가 제2 상태로부터 제1 상태로 전이될 때 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 구성된다.
시작 유닛이 애플리케이션을 시작하고 단말로 하여금 음성 제어 동작 모드로 진입하도록 하면, 활성화 유닛이 마이크로폰을 활성화하고 마이크로폰이 신호 수집 모드로 진입하도록 한다. 이러한 모드에서 마이크로폰은 주변 환경 사운드를 모니터링하기 위한 사운드 환경 모니터링 디바이스로서 이용된다. 즉, 수집 서브유닛은 주변 환경으로부터 사운드를 수집하고 단말의 주위 환경의 사운드 상황을 픽업한다. 주위 환경이 비교적 잡음이 많은 경우, 비교적 높은 레벨로, 예를 들면 보다 높은 전압 또는 전류 레벨로 주변 환경 사운드 모니터링 결과가 출력되거나, 현재 사운드 환경을 나타내는 디지털 신호가 출력된다. 주위 환경이 비교적 조용한 경우, 비교적 낮은 레벨로, 예를 들면 보다 낮은 전압 또는 전류 레벨로 사운드 모니터링 결과가 출력되거나, 현재 사운드 환경을 나타내는 디지털 신호가 출력된다. 대안으로서, 절대적으로 조용한 주변 환경에서는, 어떠한 신호도 출력되지 않거나 마이크로폰이 위치하는 환경의 현재 사운드 상황을 나타내기 위해 단지 디지털 잡음 신호만이 출력된다. 마이크로폰이 이러한 신호를 출력하는지 여부, 또는 마이크로폰에 의해 출력되는 신호의 진폭은 마이크로폰의 신호 상태라 지칭된다. 본 발명의 이러한 실시예에서는, 결정 서브유닛이 사전설정 임계치에 따라 마이크로폰의 복잡하고 변화가능한 신호 상태를 단순히 분류하고, 즉 오디오 신호의 스케치 값이 사전설정 임계치 이상인지 여부를 결정하고, 그 결정 결과가 오디오 신호의 스케치 값이 사전설정 임계치 이상인 경우, 마이크로폰의 신호 상태는 제1 상태이며; 결정의 결과 오디오 신호의 스케치 값이 사전설정 임계치 미만인 경우, 마이크로폰의 신호 상태는 제2 상태이며, 이에 의해 결정되고 분류된 신호 상태가 시스템에서 식별되고 판독될 수 있게 된다. 선택적으로, 결정 서브유닛에 의해 획득된 이러한 사전설정 임계치는 주변 환경 잡음의 상황에 따라 조절될 수 있다; 마이크로폰의 신호 상태를 단말이 획득한 후, 모니터링 유닛은 마이크로폰의 신호 상태를 실시간으로 모니터링하고, 작동 유닛은 모니터링 결과에 따라 대응하는 동작을 수행하도록 트리거링된다. 마이크로폰의 복잡하고 변화가능한 신호 상태는 사전설정 임계치에 따라 단순히 분류된다. 특히 이러한 상태 분류는 한편으로 복잡한 주변 환경의 잡음에 따라 출력되는 마이크로폰의 신호 상태가 시스템에 의해 분류되고 판독될 수 있게 하기 위함이며, 다른 한편으로는 상태 분류에 의해 마이크로폰이 위치하는 환경의 잡음 레벨을 직접적으로 제시하고자 하는 것이다. 예를 들어, 마이크로폰의 신호 상태가 제1 상태인 경우, 현재 잡음 레벨이 비교적 높은 것으로 가정한다. 마이크로폰의 신호 상태가 제2 상태인 경우, 현재 잡음 레벨이 비교적 낮은 것으로 가정한다. 선택적으로, 마이크로폰의 획득된 원래 신호 상태는 레지스터 또는 메모리에 직접 저장될 수 있거나, 평활화, 잡음 감소, 및 평균화 등의 방식으로 처리된 후 레지스터 또는 메모리에 저장될 수 있다. 마이크로폰의 신호 상태가 획득된 후, 모니터링 유닛은 마이크로폰의 신호 상태를 실시간으로 모니터링한다. 마이크로폰의 신호 상태의 변화가 사전설정 임계치를 지나는 것으로 밝혀지면, 즉 마이크로폰의 신호 상태가 보다 높은 잡음 레벨의 제1 상태로부터 보다 낮은 잡음 레벨의 제2 상태로 전이하거나, 또는 마이크로폰의 신호 상태가 보다 낮은 잡음 레벨의 제2 상태로부터 보다 높은 잡음 레벨의 제1 상태로 전이하는 것으로 밝혀지면; 특히 마이크로폰의 신호 상태가 전이 이전에 사전설정 임계치보다 높고 마이크로폰의 신호 상태가 전이 이후에 사전설정 임계치보다 낮은 경우, 또는 마이크로폰의 신호 상태가 전이 이전에 사전설정 임계치보다 낮고 마이크로폰의 신호 상태가 전이 이후에 사전설정 임계치보다 높은 경우, 일단 상기 상태 전이가 단말에 의해 모니터링되면 작동 유닛은 현재 동작 상태를 변경하도록 시작된 애플리케이션 상에서 애플리케이션 동작을 수행하기 위해 트리거 제어 명령을 출력하며, 이에 의해 단말 상에서 마이크로폰을 이용함으로써 단말의 애플리케이션 기능 상에서 동작을 구현하게 된다. 실제의 애플리케이션 시나리오에서, 이러한 상태 전이는 단말 상에서 마이크로폰에 대한 사용자의 제어에 따라 구현될 수 있다. 예를 들어, 단말에 의해 판독되는 마이크로폰의 원래 신호 상태가 보다 낮은 잡음 레벨의 제2 상태인 경우, 이는 사용자가 마이크로폰을 차단하여 사운드 픽업 채널이 폐쇄 상태에 있기 때문일 수 있다; 또는 단말에 의해 판독되는 마이크로폰의 원래 신호 상태가 보다 높은 잡음 레벨의 제1 상태인 경우, 이는 사용자가 마이크로폰을 차단하지 않아 사운드 픽업 채널이 개방 상태에 있기 때문일 수 있다. 선택적으로, 실제의 애플리케이션 시나리오에서는, 마이크로폰의 신호 상태 전이는 여러 이유로 인해 유발될 수 있고, 예를 들면 폐쇄된 사운드 픽업 채널이 이제 개방되어 마이크로폰의 신호 상태가 제2 상태로부터 제1 상태로 전이하거나; 개방된 사운드 픽업 채널이 이제 폐쇄되어 마이크로폰의 신호 상태가 제1 상태로부터 제2 상태로 전이하거나; 또는 주변 환경 잡음이 갑자기 급격하게 변화하고 이러한 변화가 갑작스런 강하 또는 상승이어서 마이크로폰의 신호 상태가 전이하게 될 수 있다.
특히 도 6을 참조하면, 계산 서브유닛(4033)은:
오디오 신호의 신호 에너지 값을 계산하도록 구성되는 에너지 계산 서브유닛(4033a); 또는
오디오 신호의 신호 진폭 값을 계산하도록 구성되는 진폭 계산 서브유닛(4033b); 또는
오디오 신호의 신호 에너지의 변동 값을 계산하도록 구성되는 에너지 변동 계산 서브유닛(4033c); 또는
오디오 신호의 신호 진폭의 변동 값을 계산하도록 구성되는 진폭 변동 계산 서브유닛(4033d)을 포함할 수 있다.
특정 구현 과정 동안, 마이크로폰에 의해 수집되는 오디오 신호의 스케치 값을 계산하는 것은: 신호 에너지 값의 계산이거나, 신호 진폭 값의 계산이거나, 신호 에너지의 변동 값의 계산이거나, 또는 신호 진폭의 변동 값의 계산일 수 있으며; 이와 같이, 대응하는 계산 서브유닛은 오디오 신호의 대응하는 스케치 값에 대해 계산을 수행한다.
선택적으로, 활성화 서브유닛은, 다수의 마이크로폰이 제공되는 경우, 단말 상에서 다수의 마이크로폰 중 적어도 2개의 마이크로폰을 활성화하도록 구성되며; 이에 따라, 모니터링 유닛은 적어도 2개의 활성화된 마이크로폰의 신호 상태를 모니터링하도록 더 구성되고; 이에 따라, 작동 유닛은 적어도 2개의 활성화된 마이크로폰의 신호 상태에서 적어도 2개의 신호 상태가 전이될 때, 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 구성된다.
선택적으로, 작동 유닛은 적어도 2개의 활성화된 마이크로폰의 신호 상태에서 적어도 2개의 신호 상태가 사전설정 시간 간격 내에서 전이될 때, 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 더 구성된다.
선택적으로, 작동 유닛은 마이크로폰의 신호 상태가 전이될 때 타이밍을 수행하며, 사전설정 기간 t가 만료될 때 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 더 구성된다.
앞선 실시예에 기초하면, 도 7을 참조할 때 장치는: 마이크로폰의 신호 상태가 전이될 때, 기간 t가 만료된 후 제어 명령이 출력되도록 유도하기 위한 프롬프트 정보를 전송하도록 구성된 프롬프팅 유닛(407)을 더 포함할 수 있고, 여기서 프롬프트 정보는 음성 프롬프트, 진동 프롬프트, 텍스트 프롬프트, 또는 광 프롬프트이다.
앞선 실시예에 기초하면, 선택적으로 활성화 서브유닛은 시작 유닛이 단말 상에서 애플리케이션을 시작한 후 사전설정 기간 이후에 단말 상에서 마이크로폰을 활성화하도록 더 구성된다.
본 발명의 이러한 실시예에서는, 단말 애플리케이션 상에서 동작을 수행하기 위해 마이크로폰에 의해 픽업되는 주변 환경 잡음의 변화가 이용됨으로써, 오디오 신호를 획득하는데 있어서 주변 환경 잡음의 간섭을 피하게 되고, 사용자의 키 누르는 동작에 의해 유발되는 문제를 줄이게 된다. 부가적으로, 단말 상에 다수의 마이크로폰이 있는 경우, 명령의 출력은 적어도 2개의 마이크로폰의 신호 상태 전이에 의해 결정되며, 이는 정확한 동작에 도움이 되고 사용자의 작동 과정 중에 한 손으로 오작동하는 것에 의해 유발되는 트리거 동작을 피할 수 있게 된다. 나아가, 제어 명령의 출력을 트리거링하도록 다수의 마이크로폰의 신호 상태가 동시에 전이할 수 있고 사전설정 간격으로 전이할 수도 있으며, 이는 작동 과정 중에 사용자에게 편의성 및 다양성을 제공하는데 도움이 되며, 나아가 사용자 경험을 개선하게 된다.
Claims (18)
- 단말 상에서 음성 제어 동작을 수행하기 위한 방법으로서,
상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하는 단계;
활성화된 상기 마이크로폰의 신호 상태를 모니터링하는 단계; 및
상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계
를 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제1항에 있어서,
활성화된 상기 마이크로폰의 신호 상태를 모니터링하는 단계는:
활성화된 상기 마이크로폰을 이용함으로써 오디오 신호를 수집하고 상기 오디오 신호의 스케치 값(sketch value)을 계산하는 단계; 및
상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인지 여부를 결정하는 단계로서, 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인 경우, 상기 마이크로폰의 신호 상태는 제1 상태이며; 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 미만인 경우, 상기 마이크로폰의 신호 상태는 제2 상태인, 결정 단계를 더 포함하고,
이에 따라, 상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는:
상기 마이크로폰의 신호 상태가 상기 제1 상태로부터 상기 제2 상태로 전이되거나 상기 제2 상태로부터 상기 제1 상태로 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계를 더 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제2항에 있어서,
상기 오디오 신호의 스케치 값을 계산하는 단계는: 상기 오디오 신호의 신호 에너지 값, 또는 신호 진폭 값, 또는 신호 에너지의 변동(fluctuation) 값, 또는 신호 진폭의 변동 값을 계산하는 단계를 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제1항에 있어서,
다수의 마이크로폰이 제공되며:
이에 따라, 상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하는 단계는:
상기 단말 상에서 상기 애플리케이션을 시작하고 상기 단말 상에서 상기 다수의 마이크로폰 중 적어도 2개의 마이크로폰을 활성화하는 단계를 더 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제4항에 있어서,
활성화된 상기 마이크로폰의 신호 상태를 모니터링하는 단계는:
활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태를 모니터링하는 단계를 더 포함하고;
상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는:
활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 적어도 2개의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계를 더 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제5항에 있어서,
활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 적어도 2개의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계는:
활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 상기 적어도 2개의 신호 상태가 사전설정 시간 간격 내에서 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하는 단계
를 더 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제1항에 있어서,
상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계는:
상기 마이크로폰의 신호 상태가 전이될 때 타이밍을 수행하며, 사전설정 기간 t가 만료될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하는 단계를 더 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제1항에 있어서,
상기 방법은, 상기 마이크로폰의 신호 상태가 전이될 때, 기간 t가 만료된 후 상기 제어 명령이 출력되도록 유도하기 위한 프롬프트 정보를 전송하는 단계를 더 포함하며, 상기 프롬프트 정보는 음성 프롬프트, 진동 프롬프트, 텍스트 프롬프트, 또는 광 프롬프트인, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 제1항에 있어서,
상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하는 단계는: 상기 단말 상에서 상기 애플리케이션을 시작하고, 사전설정 기간 이후에 상기 단말 상에서 상기 마이크로폰을 활성화하는 단계를 더 포함하는, 단말 상에서 음성 제어 동작을 수행하기 위한 방법. - 마이크로폰을 포함하는 단말로서,
상기 단말 상에서 애플리케이션을 시작하고 상기 단말 상에서 마이크로폰을 활성화하도록 구성되는 시작 유닛;
활성화된 상기 마이크로폰의 신호 상태를 모니터링하도록 구성되는 모니터링 유닛; 및
상기 마이크로폰의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 구성되는 작동 유닛
을 더 포함하는, 마이크로폰을 포함하는 단말. - 제10항에 있어서,
상기 모니터링 유닛은:
활성화된 상기 마이크로폰을 이용함으로써 오디오 신호를 수집하도록 구성되는 수집 서브유닛;
수집된 상기 오디오 신호의 스케치 값을 계산하도록 구성되는 계산 서브유닛; 및
상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인지 여부를 결정하도록 구성되는 결정 서브유닛으로서, 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 이상인 경우, 상기 마이크로폰의 신호 상태는 제1 상태이며; 결정의 결과 상기 오디오 신호의 스케치 값이 사전설정 임계치 미만인 경우, 상기 마이크로폰의 신호 상태는 제2 상태인, 결정 서브유닛을 포함하고,
이에 따라 상기 작동 유닛은:
상기 마이크로폰의 신호 상태가 상기 제1 상태로부터 상기 제2 상태로 전이될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 구성되거나; 또는
상기 마이크로폰의 신호 상태가 상기 제2 상태로부터 상기 제1 상태로 전이될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 구성되는, 마이크로폰을 포함하는 단말. - 제11항에 있어서,
상기 계산 서브유닛은:
상기 오디오 신호의 신호 에너지 값을 계산하도록 구성되는 에너지 계산 서브유닛; 또는
상기 오디오 신호의 신호 진폭 값을 계산하도록 구성되는 진폭 계산 서브유닛; 또는
상기 오디오 신호의 신호 에너지의 변동 값을 계산하도록 구성되는 에너지 변동 계산 서브유닛; 또는
상기 오디오 신호의 신호 진폭의 변동 값을 계산하도록 구성되는 진폭 변동 계산 서브유닛
을 포함하는, 마이크로폰을 포함하는 단말. - 제10항에 있어서,
다수의 마이크로폰이 제공되며:
이에 따라, 상기 시작 유닛은:
상기 단말 상에서 상기 다수의 마이크로폰 중 적어도 2개의 마이크로폰을 활성화하도록 구성되는 활성화 서브유닛을 포함하는, 마이크로폰을 포함하는 단말. - 제13항에 있어서,
상기 모니터링 유닛은 활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태를 모니터링하도록 구성되고;
이에 따라 상기 작동 유닛은, 활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 적어도 2개의 신호 상태가 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 더 구성되는, 마이크로폰을 포함하는 단말. - 제14항에 있어서,
상기 작동 유닛은, 활성화된 상기 적어도 2개의 마이크로폰의 마이크로폰 신호 상태에서 상기 적어도 2개의 신호 상태가 사전설정 시간 간격 내에서 전이될 때, 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 상기 제어 명령을 출력하도록 더 구성되는, 마이크로폰을 포함하는 단말. - 제10항에 있어서,
상기 작동 유닛은, 상기 마이크로폰의 신호 상태가 전이될 때 타이밍을 수행하며, 사전설정 기간 t가 만료될 때 상기 애플리케이션의 현재 동작 상태를 변경하기 위한 제어 명령을 출력하도록 더 구성되는, 마이크로폰을 포함하는 단말. - 제10항에 있어서,
상기 장치는:
상기 마이크로폰의 신호 상태가 전이될 때, 기간 t가 만료된 후 상기 제어 명령이 출력되도록 유도하기 위한 프롬프트 정보를 전송하도록 구성된 프롬프팅 유닛을 더 포함하며, 상기 프롬프트 정보는 음성 프롬프트, 진동 프롬프트, 텍스트 프롬프트, 또는 광 프롬프트인, 마이크로폰을 포함하는 단말. - 제10항에 있어서,
상기 활성화 서브유닛은, 상기 단말 상에서 상기 애플리케이션이 시작된 후 사전설정 기간 이후에 상기 단말 상에서 상기 마이크로폰을 활성화하도록 더 구성되는, 마이크로폰을 포함하는 단말.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310687006.6 | 2013-12-13 | ||
| CN201310687006.6A CN104715757A (zh) | 2013-12-13 | 2013-12-13 | 一种终端声控操作方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150069535A true KR20150069535A (ko) | 2015-06-23 |
Family
ID=52146095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140178219A KR20150069535A (ko) | 2013-12-13 | 2014-12-11 | 단말 상에서 음성 제어 동작을 수행하기 위한 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20150170672A1 (ko) |
| EP (1) | EP2884385A1 (ko) |
| JP (1) | JP6023780B2 (ko) |
| KR (1) | KR20150069535A (ko) |
| CN (1) | CN104715757A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190067902A (ko) * | 2016-10-27 | 2019-06-17 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 사운드 처리 방법 및 장치 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9521497B2 (en) * | 2014-08-21 | 2016-12-13 | Google Technology Holdings LLC | Systems and methods for equalizing audio for playback on an electronic device |
| US9411440B2 (en) * | 2014-08-22 | 2016-08-09 | Qualcomm Incorporated | Digital ultrasonic emitting base station |
| KR20170010494A (ko) * | 2015-07-20 | 2017-02-01 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| US9858948B2 (en) * | 2015-09-29 | 2018-01-02 | Apple Inc. | Electronic equipment with ambient noise sensing input circuitry |
| CN106199620B (zh) * | 2016-07-11 | 2018-09-21 | 广东欧珀移动通信有限公司 | 数据处理方法、数据处理***及终端设备 |
| CN106412295A (zh) * | 2016-09-29 | 2017-02-15 | 努比亚技术有限公司 | 一种基于虚拟按键的移动终端 |
| CN106534578A (zh) * | 2016-12-09 | 2017-03-22 | 联想(北京)有限公司 | 电子设备及其声音控制方法 |
| CN109147776A (zh) * | 2017-06-19 | 2019-01-04 | 丽宝大数据股份有限公司 | 具有声控功能的显示装置及声控时机指示方法 |
| CN108540672A (zh) * | 2018-06-22 | 2018-09-14 | 西安易朴通讯技术有限公司 | 吹气触发方法及终端设备 |
| CN109065058B (zh) | 2018-09-30 | 2024-03-15 | 合肥鑫晟光电科技有限公司 | 语音通信方法、装置及*** |
| CN111182209A (zh) * | 2019-12-31 | 2020-05-19 | 维沃移动通信有限公司 | 拍照提示的方法及电子设备 |
| CN114979355A (zh) * | 2022-05-30 | 2022-08-30 | 维沃移动通信有限公司 | 麦克风的控制方法、装置及电子设备 |
| CN116935893A (zh) * | 2023-09-13 | 2023-10-24 | 杭州艾力特数字科技有限公司 | 一种声音识别告警方法、***、电子设备及介质 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3225356B2 (ja) * | 1989-11-29 | 2001-11-05 | コニカ株式会社 | スチルビデオカメラ |
| JP4574780B2 (ja) * | 2000-02-23 | 2010-11-04 | オリンパス株式会社 | 音声記録装置 |
| WO2005045807A1 (ja) * | 2003-11-05 | 2005-05-19 | Sanyo Electric Co., Ltd. | 電子機器 |
| JP4757173B2 (ja) * | 2006-11-17 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| US7817914B2 (en) * | 2007-05-30 | 2010-10-19 | Eastman Kodak Company | Camera configurable for autonomous operation |
| US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
| KR101605347B1 (ko) * | 2009-12-18 | 2016-03-22 | 삼성전자주식회사 | 휴대단말의 외부 출력 제어 방법 및 장치 |
| JP2011198348A (ja) * | 2010-02-24 | 2011-10-06 | Sanyo Electric Co Ltd | 録音装置 |
| JP5843207B2 (ja) * | 2010-03-19 | 2016-01-13 | ディジマーク コーポレイション | 直観的コンピューティング方法及びシステム |
| US8359020B2 (en) * | 2010-08-06 | 2013-01-22 | Google Inc. | Automatically monitoring for voice input based on context |
| JP5701007B2 (ja) * | 2010-10-19 | 2015-04-15 | キヤノン株式会社 | 監視カメラ装置及び監視カメラ装置の制御方法 |
| US9269399B2 (en) * | 2011-06-13 | 2016-02-23 | Voxx International Corporation | Capture, syncing and playback of audio data and image data |
| TW201316328A (zh) * | 2011-10-14 | 2013-04-16 | Hon Hai Prec Ind Co Ltd | 聲音反饋裝置及其工作方法 |
| JP2013156768A (ja) * | 2012-01-27 | 2013-08-15 | Sharp Corp | 入力インターフェース装置、電子機器、携帯端末機器、プログラムおよび記録媒体 |
| US9142215B2 (en) * | 2012-06-15 | 2015-09-22 | Cypress Semiconductor Corporation | Power-efficient voice activation |
| US9319513B2 (en) * | 2012-07-12 | 2016-04-19 | International Business Machines Corporation | Automatic un-muting of a telephone call |
| KR20140116618A (ko) * | 2013-03-25 | 2014-10-06 | 삼성전자주식회사 | 알람 제어 방법 및 이를 지원하는 전자 장치 |
| US9134952B2 (en) * | 2013-04-03 | 2015-09-15 | Lg Electronics Inc. | Terminal and control method thereof |
-
2013
- 2013-12-13 CN CN201310687006.6A patent/CN104715757A/zh active Pending
-
2014
- 2014-12-11 KR KR1020140178219A patent/KR20150069535A/ko not_active Application Discontinuation
- 2014-12-11 EP EP14197372.7A patent/EP2884385A1/en not_active Ceased
- 2014-12-11 US US14/567,243 patent/US20150170672A1/en not_active Abandoned
- 2014-12-12 JP JP2014251445A patent/JP6023780B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190067902A (ko) * | 2016-10-27 | 2019-06-17 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 사운드 처리 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150170672A1 (en) | 2015-06-18 |
| JP2015135667A (ja) | 2015-07-27 |
| EP2884385A1 (en) | 2015-06-17 |
| CN104715757A (zh) | 2015-06-17 |
| JP6023780B2 (ja) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150069535A (ko) | 단말 상에서 음성 제어 동작을 수행하기 위한 방법 및 장치 | |
| JP7142783B2 (ja) | 音声制御方法及び電子装置 | |
| JP6196398B2 (ja) | タッチボタン及び指紋認証を実現する装置、方法、端末機器、並びにプログラム及び記録媒体 | |
| CN108538291A (zh) | 语音控制方法、终端设备、云端服务器及*** | |
| KR101933642B1 (ko) | 조작 명령의 실행을 트리거링하기 위한 방법 및 장치 | |
| CN111371949A (zh) | 应用程序切换方法、装置、存储介质与触控终端 | |
| US10965859B2 (en) | Smart watch-based mobile terminal camera control method and control system | |
| CN106371643B (zh) | 触控芯片失效处理方法及装置 | |
| WO2016191938A1 (zh) | 通过触控板调节移动终端拍照焦距的方法和移动终端 | |
| KR20150090162A (ko) | 비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체 | |
| CN106371802A (zh) | 终端音量控制方法及装置 | |
| US9921796B2 (en) | Sharing of input information superimposed on images | |
| CN103955274A (zh) | 应用控制方法和装置 | |
| WO2023202525A1 (zh) | 功能启动方法、用户界面及电子设备 | |
| CN105607738B (zh) | 确定单手模式的方法及装置 | |
| CN108111750B (zh) | 一种变焦调节方法、移动终端及计算机可读存储介质 | |
| CN108234738B (zh) | 音量调节方法、装置、终端及存储介质 | |
| KR20150126192A (ko) | 전자 장치 및 전자 장치에서 촬영 방법 | |
| CN112509596B (zh) | 唤醒控制方法、装置、存储介质及终端 | |
| CN106488168B (zh) | 电子终端中采集的画面的角度切换方法及装置 | |
| CN106598445A (zh) | 输出通讯消息的方法及装置 | |
| JP2018521368A (ja) | 指紋識別方法、装置、プログラム及び記録媒体 | |
| CN107948876A (zh) | 控制音箱设备的方法、装置及介质 | |
| CN106411640B (zh) | 视频通信故障检测方法、装置及源通信终端 | |
| US10708405B2 (en) | Electronic apparatus, control device, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E601 | Decision to refuse application |