KR20140099702A - 이동통신 단말기 및 그 동작방법 - Google Patents

이동통신 단말기 및 그 동작방법 Download PDF

Info

Publication number
KR20140099702A
KR20140099702A KR1020130012429A KR20130012429A KR20140099702A KR 20140099702 A KR20140099702 A KR 20140099702A KR 1020130012429 A KR1020130012429 A KR 1020130012429A KR 20130012429 A KR20130012429 A KR 20130012429A KR 20140099702 A KR20140099702 A KR 20140099702A
Authority
KR
South Korea
Prior art keywords
sound
user
voice
image
module
Prior art date
Application number
KR1020130012429A
Other languages
English (en)
Inventor
송화전
정호영
이윤근
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130012429A priority Critical patent/KR20140099702A/ko
Priority to US14/018,068 priority patent/US9100492B2/en
Publication of KR20140099702A publication Critical patent/KR20140099702A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Databases & Information Systems (AREA)

Abstract

실시 예는, 설정 영역의 영상을 촬영하는 카메라모듈, 사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출하는 마이크모듈 및 상기 영상에서 사용자 입술 위치를 추정하며, 상기 사용자 입술 위치에 대응하는 상기 음향세기 중 음성세기 및 상기 음향발생위치 중 음성발생위치를 추출하여, 상기 음성세기 및 상기 음성발생위치 중 적어도 하나를 기초로 상기 사용자 음성을 인식하는 제어모듈을 포함하는 이동통신 단말기를 제공한다.

Description

이동통신 단말기 및 그 동작방법{A mobile communication terminal and the operating method}
실시 예는, 이동통신 단말기 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 사용자 음성을 포함하는 음향 입력시, 사용자 음성을 인식하기 용이한 이동통신 단말기 및 그 동작방법에 관한 것이다.
최근 스마트라는 어두가 붙은 장치들이 대거 출시되고 있다. 이중 스마트폰과 스마트 TV가 가장 큰 시장을 형성하고 있으며, 이러한 기기들을 기반하여 많은 서비스들이 출시되고 있다. 특히, 스마트 인터페이스를 위해 음성인식시스템은 기본으로 이러한 기기에 탑재되어 출시되고 있으며, 이러한 기능을 기기에 탑재함으로써 가장 최선의 기술을 가진 제품이라는 등의 홍보 수단으로 가장 널리 활용하고 있다.
그러나, 음성인식 시스템에서 일차적으로 중요한 부분은 사용자가 발화한 음성을 정확하게 검출하는 것이다. 무한히 많은 주변 소음으로부터 실제 사용자 음성을 완벽하게 검출하는 것은 불가능하지만 현재 출시된 기기에 기본으로 탑재된 센서 등을 효과적이고 종합적으로 활용한다면 오류를 최소화할 수 있을 것이다.
현재 스마트 TV나 스마트폰에는 여러 개의 마이크와 1개 또는 2개의 카메라가 부착되는 것이 거의 보편화되고 있다. 이를 통해 잡음에 강인한 음성을 받아 들여 잡음을 제거하여 음성인식에 활용하며, 또한 카메라를 이용하여 얼굴인식 및 제스처 인식 등의 기술을 활용한 서비스를 제공하고 있다.
예전부터 영상인식에 기반한 lip-reading 기술(독순술)이 제안되어 잡음이 있는 상황에서는 보다 정확한 음성검출과 음성인식을 수행하는 방법이 개발되어 왔다. 이와 같은 방식의 대부분은 얼굴을 인식한 후 입술을 인식하고 입술의 변화를 추적하여 이 정보로 음성인식의 보조 수단으로 사용되어 왔다. 그러나, 조명이 어두운 곳 등의 조명 잡음이 있은 곳에서는 입술의 움직임을 추적할 수가 없다.
최근 들어, 음성인식과 영상인식에 기반한 lip-reading 기술(독순술)에 대한 연구가 진행 중에 있다.
실시 예의 목적은, 사용자 음성을 포함하는 음향 입력시, 사용자 음성을 인식하기 용이한 이동통신 단말기 및 그 동작방법에 관한 것이다.
제1 실시 예에 따른 이동통신 단말기는, 설정 영역의 영상을 촬영하는 카메라모듈, 사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출하는 마이크모듈 및 상기 영상에서 사용자 입술 위치를 추정하며, 상기 사용자 입술 위치에 대응하는 상기 음향세기 중 음성세기 및 상기 음향발생위치 중 음성발생위치를 추출하여, 상기 음성세기 및 상기 음성발생위치 중 적어도 하나를 기초로 상기 사용자 음성을 인식하는 제어모듈을 포함할 수 있다.
제1 실시 예에 따른 이동통신 단말기의 동작방법은, 설정 영역의 영상을 촬영하는 단계, 사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출하는 단계, 상기 영상에서 사용자 입술 위치를 추정하는 단계, 상기 음향세기 및 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성세기 및 음성발생위치를 추출하는 단계 및 상기 음성세기 및 상기 음성발생위치 중 적어도 하나를 기초로 상기 사용자 음성을 인식하는 단계를 포함할 수 있다.
제2 실시 예에 따른 이동통신 단말기는, 영상 통화시, 사용자 영상을 추출하는 카메라모듈, 사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출하는 마이크모듈 및 상기 사용자 영상에 포함된 사용자 입술 위치를 추정하고, 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성발생위치 및 상기 음향세기 중 상기 음성발생위치에 대응하는 음성세기를 추출하여 상기 사용자 음성을 인식하고, 상기 사용자 영상과 상기 사용자 음성을 믹싱(mixing)한 영상 데이터를 생성하는 제어모듈을 포함할 수 있다.
실시 예에 따른 이동통신 단말기 및 그 동작방법은, 잡음(노이즈 성분)이 많은 환경에서 사용자 음성을 포함하는 음향 입력시, 음향세기 및 음향발생위치를 추출하고, 카메라모듈에서 촬영된 영상에서 사용자 입술 위치를 추정하여, 음향세기 중 사용자 음성에 대응하는 음성세기 및 음향발생위치 중 사용자 음성에 대응하는 음성발생위치를 추출하여 사용자 음성을 인식함으로써, 사용자 음성에 대한 인식율을 향상시킬 수 있으며, 통화모드 또는 음성인식기능 실행 시, 사용자 음성에 대한 품질을 향상시킬 수 있는 이점이 있다.
또한, 실시 예에 따른 이동통신 단말기 및 그 동작방법은, 사용자 음성 검출을 통해 잡음을 제거함으로써 데이터 통신으로 전달되는 packet의 양도 상당부분 감소시킬 수 있는 이점이 있다.
또한, 실시 예에 따른 이동통신 단말기 및 그 동작방법은, 이동통신 단말기 내에 설치된 복수의 센서들로부터 입력된 센서값을 이용하여, 사용자 음성을 정확하게 인식 및 검출할 수 있는 이점이 있다.
도 1은 제1 실시 예에 따른 이동통신 단말기의 제어구성을 나타낸 제어블록도이다.
도 2는 제1 실시 예에 따른 이동통신 단말기의 동작방법을 나타낸 순서도이다.
도 3은 제2 실시 예에 따른 이동통신 단말기의 제어구성을 나타낸 제어블록도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 특허청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 특허청구범위에 의해 정의되는 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 1은 제1 실시 예에 따른 이동통신 단말기의 제어구성을 나타낸 제어블록도이다.
도 1을 참조하면, 이동통신 단말기는, 입력모듈(10), 카메라모듈(20), 마이크모듈(30) 및 제어모듈(40)을 포함할 수 있다.
실시 예에서, 이동통신 단말기는 스마트 폰(smart phone)인 것으로 설명하지만, 스마트 폰 이외에 휴대폰, 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 카메라, 네비게이션, 타블렛 컴퓨터(tablet computer), 이북(e-book) 단말기 등이 포함될 수 있으며, 이에 한정을 두지 않는다.
입력모듈(10)은 사용자 입력부(12) 및 디스플레이부(14) 중 적어도 하나를 포함할 수 있으며, 이 외에도 이동통신 단말기의 동작을 제어할 수 있는 모든 종류의 입력 장치를 포함할 수 있으며, 이에 한정을 두지 않는다.
사용자 입력부(12)는 사용자의 푸시 또는 터치 조작에 의해 명령 또는 임의의 정보를 입력받을 수 있는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다.
또한, 사용자 입력부(12)는 키를 회전시키는 조그 휠 또는 조그 방식이나 조이스틱과 같이 조작하는 방식이나, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(14)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
디스플레이부(14)는 단말기에서 처리되는 정보를 표시 출력한다. 예를 들어 이동통신 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
그리고, 이동통신 단말기가 영상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(14)와 사용자 입력부(12)가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(14)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
만일, 디스플레이부(14)가 터치스크린으로 구성되는 경우, 터치 디스플레이 패널, 터치 디스플레이 패널 제어기 등을 포함할 수 있다. 이 경우, 터치 디스플레이 패널은 외부에 부착되는 투명한 패널로서, 이동통신 단말기의 내부 버스에 연결될 수 있다. 터치 디스플레이 패널은 접촉 결과를 주시하고 있다가, 터치입력이 있는 경우 대응하는 신호들을 터치 디스플레이 패널 제어기로 보낸다.
터치스크린 패널 제어기는 그 신호들을 처리한 다음 대응하는 데이터를 제어모듈(50)로 전송하여, 제어모듈(50)에서 터치입력이 있었는지 여부와 터치스크린의 어느 영역이 터치 되었는지 여부를 알 수 있도록 한다.
디스플레이부(14)는 전자종이(e-Paper)로 구성될 수도 있다. 전자종이(e-Paper)는 일종의 반사형 디스플레이로서, 기존의 종이와 잉크처럼 높은 해상도, 넓은 시야각, 밝은 흰색 배경으로 우수한 시각 특성을 가진다.
전자종이(e-Paper)는 플라스틱, 금속, 종이 등 어떠한 기판상에도 구현이 가능하고, 전원을 차단한 후에도 화상이 유지되고 백라이트(back light) 전원이 없어 이동통신 단말기의 배터리 수명이 오래 유지될 수 있다. 전자종이로는 정전화가 충전된 반구형 트위스트 볼을 이용하거나, 전기영동법 및 마이크로 캡슐 등을 이용할 수 있다.
이외에도 디스플레이부(14)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다.
그리고, 이동통신 단말기의 구현 형태에 따라 디스플레이부(14)가 2개 이상 존재할 수도 있다. 예를들어, 이동통신 단말기에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.
실시 예에서 입력모듈(10)은 사용자로부터 발화된 사용자 음성을 포함하는 음향을 입력받을 수 있는 실행 명령 및 종료 명령을 입력하는 것으로 설명하지만, 상술한 기능을 모두 수행할 수 있으며, 이에 한정을 두지 않는다.
카메라모듈(20)은 입력모듈(10)로부터 실행 명령 입력시, 제어모듈(40)에 의해 동작되며 설정 영역의 영상을 촬영한다.
이때, 카메라모듈(20)은 적어도 하나의 카메라를 포함할 수 있으며, 개수 및 장착 위치에 대하여 한정을 두지 않는다.
마이크모듈(30)은 사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출할 수 있다.
즉, 마이크모듈(30)은 통화모드, 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부에서 입력된 상기 음향을 입력받아 추출된 상기 음향세기 및 상기 음향발생위치를 포함하는 입체 음향 영상을 생성한다.
여기서, 마이크모듈(30)은 적어도 하나의 마이크 또는 3d 마이크 어레이일 수 있으며, 이 외에 외부에서 입력되는 상기 음향을 인식할 수 있는 다른 장치일 수 있으며, 이에 한정을 두지 않는다.
실시 예에서, 카메라모듈(20) 및 마이크모듈(30)은 별도의 모듈로 나타내었으나, 하나의 모듈로 형성될 수 있으며, 이에 한정을 두지 않는다.
제어모듈(40)은 입력모듈(10)로부터 상기 실행 명령 입력시, 카메라모듈(20) 및 마이크모듈(30)이 연동되도록 제어할 수 있다.
즉, 제어모듈(40)은 카메라모듈(20)에서 촬영된 상기 영상에서 사용자 입술 위치를 추정하는 추정부(42), 마이크모듈(30)에서 추출된 상기 음향세기 및 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성세기 및 음성발생위치를 추출하는 추출부(44) 및 상기 음성세기 및 상기 음성발생위치를 기초로 상기 사용자 음성을 인식하는 인식부(46)를 포함할 수 있다.
또한, 제어모듈(40)은 상기 음향세기 및 상기 음향발생위치 또는 상기 음성세기 및 상기 음성발생위치에 포함된 노이즈(noise) 성분을 필터링하는 필터부(48)를 포함할 수 있다.
실시 에에서 필터부(48)는 제어모듈(40)에만 포함된 것으로 나타내었으나, 마이크모듈(30)에도 포함될 수 있으며, 이에 한정을 두지 않는다.
추정부(42)는 상기 영상에서 사용자 얼굴 영상을 추출한 후, 상기 사용자 얼굴 영상에서 움직임 및 깊이 중 적어도 하나의 변화 여부를 통하여 상기 사용자 입술 위치를 추정할 수 있다.
즉, 추정부(42)는 상기 사용자 음성이 발화되는 과정에서 사용자 입술의 움직임 및 깊이 중 적어도 하나의 변화를 추정함으로써, 상기 사용자 입술 위치를 추정할 수 있다.
이후, 추출부(44)는 상기 사용자 입술 위치에 대응하는 상기 음성발생위치 및 상기 음성발생위치에서의 상기 음성세기를 추출할 수 있다.
따라서, 인식부(46)는 설정된 사용자 음성 인식 알고리즘에 상기 음성세기를 적용하여 상기 사용자 음성을 인식할 수 있다.
이와 같이, 제1 실시 예에 따른 이동통신 단말기는 잡음이 많은 환경 상에서도 사용자 음성을 영상에서 사용자 입술 위치, 음성세기 및 음성발생위치를 추출하여 정확하게 인식할 수 있는 이점이 있다.
또한, 제1 실시 예에 따른 이동통신 단말기는, 음성인식모드 및 통화모드에서 사용자 음성을 인식하기 용이한 이점이 있다.
도 2는 제1 실시 예에 따른 이동통신 단말기의 동작방법을 나타낸 순서도이다.
도 2를 참조하면, 이동통신 단말기는 사용자에 의해 실행 명령이 입력되면(S110), 설정 영역의 영상을 촬영한다(S120).
즉, 제어모듈(40)은 사용자에 의해 입력모듈(10)로부터 실행 명령이 입력되면 카메라모듈(20)을 동작시켜 설정 영역의 영상을 촬영한다.
여기서, 상기 영상에는 사용자 영상이 포함될 수 있다.
이동통신 단말기는 사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출한다(S130).
즉, 제어모듈(40)은 상기 실행 명령에 따라 마이크모듈(30)을 카메라모듈(20)과 연동시켜, 사용자 음성을 포함하는 음향 입력시 음향세기 및 음향발생위치를 추출한다.
이후, 이동통신 단말기는 상기 영상에서 사용자 입술 위치를 추정하며(S140), 상기 음향세기 및 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성세기 및 음성발생위치를 추출한다(S150).
즉, 제어모듈(40)은 상기 영상에 포함된 상기 사용자 영상에서 움직임 및 깊이 중 적어도 하나의 변화 위치를 추정하여 사용자 입술 위치를 추정할 수 있다.
이후, 제어모듈(40)은 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성발생위치 및 상기 음성발생위치에 대응하는 음성세기를 추출할 수 잇다.
이동통신 단말기는 상기 음성발생위치 및 상기 음성세기 중 적어도 하나를 기초로 상기 사용자 음성을 인식할 수 있다(S160).
즉, 제어모듈(40)은 상기 음성발생위치 및 상기 음성세기 중 적어도 하나를 기초로 설정된 사용자 음성 인식 알고리즘을 이용하여 상기 사용자 음성을 인식할 수 있다.
실시 예에서, 제어모듈(40)은 상기 음향세기 및 상기 음향발생위치 또는 상기 음성세기 및 상기 음성발생위치에 포함된 노이즈 성분을 필터링할 수 있으며, 이에 대하여 한정을 두지 않는다.
도 3은 제2 실시 예에 따른 이동통신 단말기의 제어구성을 나타낸 제어블록도이다.
도 3을 참조하면, 이동통신 단말기는, 입력모듈(110), 카메라모듈(120), 마이크모듈(130), 센서모듈(140), 통신모듈(150) 및 제어모듈(160)을 포함할 수 있다.
실시 예에서, 이동통신 단말기는 스마트 폰(smart phone)인 것으로 설명하지만, 스마트 폰 이외에 휴대폰, 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 카메라, 네비게이션, 타블렛 컴퓨터(tablet computer), 이북(e-book) 단말기 등이 포함될 수 있으며, 이에 한정을 두지 않는다.
입력모듈(110)은 사용자 입력부(112) 및 디스플레이부(114) 중 적어도 하나를 포함할 수 있으며, 이 외에도 이동통신 단말기의 동작을 제어할 수 있는 모든 종류의 입력 장치를 포함할 수 있으며, 이에 한정을 두지 않는다.
사용자 입력부(112)는 사용자의 푸시 또는 터치 조작에 의해 명령 또는 임의의 정보를 입력받을 수 있는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다.
또한, 사용자 입력부(112)는 키를 회전시키는 조그 휠 또는 조그 방식이나 조이스틱과 같이 조작하는 방식이나, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(114)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
디스플레이부(114)는 단말기에서 처리되는 정보를 표시 출력한다. 예를 들어 이동통신 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
그리고, 이동통신 단말기가 영상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(114)와 사용자 입력부(112)가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(114)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
만일, 디스플레이부(114)가 터치스크린으로 구성되는 경우, 터치 디스플레이 패널, 터치 디스플레이 패널 제어기 등을 포함할 수 있다. 이 경우, 터치 디스플레이 패널은 외부에 부착되는 투명한 패널로서, 이동통신 단말기의 내부 버스에 연결될 수 있다. 터치 디스플레이 패널은 접촉 결과를 주시하고 있다가, 터치입력이 있는 경우 대응하는 신호들을 터치 디스플레이 패널 제어기로 보낸다.
터치스크린 패널 제어기는 그 신호들을 처리한 다음 대응하는 데이터를 제어모듈(160)로 전송하여, 제어모듈(160)에서 터치입력이 있었는지 여부와 터치스크린의 어느 영역이 터치 되었는지 여부를 알 수 있도록 한다.
디스플레이부(114)는 전자종이(e-Paper)로 구성될 수도 있다. 전자종이(e-Paper)는 일종의 반사형 디스플레이로서, 기존의 종이와 잉크처럼 높은 해상도, 넓은 시야각, 밝은 흰색 배경으로 우수한 시각 특성을 가진다.
전자종이(e-Paper)는 플라스틱, 금속, 종이 등 어떠한 기판상에도 구현이 가능하고, 전원을 차단한 후에도 화상이 유지되고 백라이트(back light) 전원이 없어 이동통신 단말기의 배터리 수명이 오래 유지될 수 있다. 전자종이로는 정전화가 충전된 반구형 트위스트 볼을 이용하거나, 전기영동법 및 마이크로 캡슐 등을 이용할 수 있다.
이외에도 디스플레이부(114)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다.
그리고, 이동통신 단말기의 구현 형태에 따라 디스플레이부(114)가 2개 이상 존재할 수도 있다. 예를들어, 이동통신 단말기에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.
실시 예에서 입력모듈(110)은 사용자로부터 발화된 사용자 음성을 포함하는 음향을 입력받을 수 있는 실행 명령 및 종료 명령을 입력하는 것으로 설명하지만, 상술한 기능을 모두 수행할 수 있으며, 이에 한정을 두지 않는다.
카메라모듈(120)은 입력모듈(110)로부터 실행 명령 입력시, 제어모듈(160)에 의해 동작되며 설정 영역의 영상을 촬영한다.
이때, 카메라모듈(120)은 적어도 하나의 카메라를 포함할 수 있으며, 개수 및 장착 위치에 대하여 한정을 두지 않는다.
마이크모듈(130)은 사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출할 수 있다.
즉, 마이크모듈(30)은 통화모드, 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부에서 입력된 상기 음향을 입력받아 추출된 상기 음향세기 및 상기 음향발생위치를 포함하는 입체 음향 영상을 생성한다.
여기서, 마이크모듈(130)은 적어도 하나의 마이크 또는 3d 마이크 어레이일 수 있으며, 이 외에 외부에서 입력되는 상기 음향을 인식할 수 있는 다른 장치일 수 있으며, 이에 한정을 두지 않는다.
실시 예에서, 카메라모듈(120) 및 마이크모듈(130)은 별도의 모듈로 나타내었으나, 하나의 모듈로 형성될 수 있으며, 이에 한정을 두지 않는다.
센서모듈(140)은 이동통신 단말기의 개폐 상태, 이동통신 단말기의 위치, 사용자 접촉 유무 등과 같이 이동통신 단말기의 현 상태를 감지하여 이동통신 단말기의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센서모듈(140)은 감지센서(142), 압력센서(144), 모션 센서(146) 및 조도 센서(148) 등을 포함할 수 있다.
감지센서(142)는 이동통신 단말기로 접근하는 물체나, 이동통신 단말기의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다.
감지센서(142)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다.
압력센서(144)는 이동통신 단말기에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다.
압력센서(144)는 사용환경에 따라 이동통신 단말기에서 압력의 검출이 필요한 부위에 설치될 수 있다.
만일, 압력센서(144)가 디스플레이부(114)에 설치되는 경우, 압력센서(144)에서 출력되는 신호에 따라, 디스플레이부(114)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다.
또한, 압력센서(144)에서 출력되는 신호에 따라, 압력터치 입력시 디스플레이부(114)에 가해지는 압력의 크기도 알 수 있다.
모션 센서(146)는 가속도 센서, 자이로 센서 등을 이용하여 이동통신 단말기의 위치나 움직임 등을 감지한다.
모션 센서(146)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다.
가속도 센서에는, 자동차의 에어백 시스템에 내장되어 충돌을 감지하는데 사용하는 큰 값의 가속도를 측정하는 것부터, 사람 손의 미세한 동작을 인식하여 게임 등의 입력 수단으로 사용하는 미세한 값의 가속도를 측정하는 것까지 다양한 종류가 있다.
가속도 센서는 보통 2축이나 3축을 하나의 패키지에 실장하여 구성되며, 사용 환경에 따라서는 Z축 한 축만 필요한 경우도 있다. 따라서, 어떤 이유로 Z축 방향 대신 X축 또는 Y축 방향의 가속도 센서를 써야 할 경우에는 별도의 조각 기판을 사용하여 가속도 센서를 주 기판에 세워서 실장할 수도 있다.
또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
조도 센서(148)는 외부 밝기를 측정할 수 있으며, 조도 센서(48)는 입력모듈(110)로부터 영상 통화 명령 입력시, 사용자 영상 및 외부 영상 중 적어도 하나의 영상에서 사용자 및 외부 물체가 카메라모듈(120)에서 인식이 용이하도록 조절할 수 있도록 할 수 있다.
제어모듈(160)은 통상적으로 각 모듈의 동작을 제어하며 이동통신 단말기의 전반적인 동작을 제어할 수 있다.
실시 예에서 제어모듈(160)은 입력모듈(110)로부터 영상 통화에 대한 실행 명령시, 카메라모듈(120) 및 마이크모듈(130)이 연동되도록 제어할 수 있다.
즉, 제어모듈(160)은 카메라모듈(120)에서 촬영된 상기 영상에서 사용자 입술 위치를 추정하는 추정부(162), 마이크모듈(130)에서 추출된 상기 음향세기 및 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성세기 및 음성발생위치를 추출하는 추출부(164) 및 상기 음성세기 및 상기 음성발생위치를 기초로 상기 사용자 음성을 인식하는 인식부(166)를 포함할 수 있다.
또한, 제어모듈(160)은 상기 음향세기 및 상기 음향발생위치 또는 상기 음성세기 및 상기 음성발생위치에 포함된 노이즈(noise) 성분을 필터링하는 필터부(168)를 포함할 수 있다.
실시 에에서 필터부(168)는 제어모듈(160)에만 포함된 것으로 나타내었으나, 마이크모듈(130)에도 포함될 수 있으며, 이에 한정을 두지 않는다.
추정부(162)는 상기 영상에서 사용자 얼굴 영상을 추출한 후, 상기 사용자 얼굴 영상에서 움직임 및 깊이 중 적어도 하나의 변화 여부를 통하여 상기 사용자 입술 위치를 추정할 수 있다.
즉, 추정부(162)는 상기 사용자 음성이 발화되는 과정에서 사용자 입술의 움직임 및 깊이 중 적어도 하나의 변화를 추정함으로써, 상기 사용자 입술 위치를 추정할 수 있다.
이후, 추출부(164)는 상기 사용자 입술 위치에 대응하는 상기 음성발생위치 및 상기 음성발생위치에서의 상기 음성세기를 추출할 수 있다.
따라서, 인식부(166)는 설정된 사용자 음성 인식 알고리즘에 상기 음성세기를 적용하여 상기 사용자 음성을 인식할 수 있다.
또한, 제어모듈(160)은 센서모듈(140)에 포함된 감지센서(142), 압력센서(144), 모션센서(146) 및 조도센서(148) 중 적어도 하나의 센서를 동작시켜 센싱값을 전달받을 수 있다.
예를 들어, 제어모듈(160)은 영상 통화시, 조도센서(48)에서 센싱값, 즉 밝기가 입력되는 경우, 상기 밝기에 대응하여 설정된 추정 알고리즘을 적용하여 상기 영상에 포함된 사용자 영상에서 색상, 움직임 및 깊이 중 적어도 하나가 변화되는 위치를 상기 사용자 입술 위치로 추정할 수 있다.
즉, 제어모듈(160)은 외부 밝기에 따라 상기 사용자 영상에서 사용자 얼굴 영상이 뚜렷하거나, 또는 희미해지는 경우 얼굴 윤곽을 추정하여 상기 사용자 입술 위치를 추정할 수 있다.
또한, 제어모듈(160)은 통화 명령 입력시, 감지센서(142), 압력센서(144) 및 모션센서(146) 중 적어도 하나로부터 입력된 센싱값, 예를 들어 이동통신 단말기 위치, 터치 압력 및 사용자 모션에 대한 센싱값을 기초로 상기 사용자 입술 위치를 추정하며 상기 사용자 입술 위치에 대응하는 음성세기 및 음성발생위치를 추출하여, 사용자 음성을 인식할 수 있다
이후, 제어모듈(160)은 상기 사용자 영상 및 상기 사용자 음성 정보를 믹싱(mixing)한 상기 영상 데이터를 통신모듈(150)을 통하여 외부로 전송한다.
또한, 제어모듈(160)은 입력모듈(110)로부터 영상 통화에 대응하는 종료 명령 입력시 각 모듈의 동작을 정지시킨다.
실시 예에 따른 이동통신 단말기는 영상 통화 또는 음성 통화시 카메라모듈, 3d 마이크모듈 및 복수의 센서를 통하여 통화 장소의 상황에 따라 우선 순위를 정하여 사용자 음성 및 영상에 대하여 외부 잡음에 강인한 사용자 음성을 인식하기 용이한 이점이 있다.
이상 본 발명의 바람직한 실시 예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위에 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.
10: 입력모듈 20: 카메라모듈
30: 마이크모듈 40: 제어모듈

Claims (23)

  1. 설정 영역의 영상을 촬영하는 카메라모듈;
    사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출하는 마이크모듈; 및
    상기 영상에서 사용자 입술 위치를 추정하며, 상기 사용자 입술 위치에 대응하는 상기 음향세기 중 음성세기 및 상기 음향발생위치 중 음성발생위치를 추출하여, 상기 음성세기 및 상기 음성발생위치 중 적어도 하나를 기초로 상기 사용자 음성을 인식하는 제어모듈;을 포함하는 이동통신 단말기.
  2. 제 1 항에 있어서,
    상기 음향을 입력받는 실행 명령 및 종료 명령 중 적어도 하나를 입력하는 입력모듈;을 포함하는 이동통신 단말기.
  3. 제 2 항에 있어서,
    상기 입력모듈은,
    터치 디스플레이 패널 및 키패드 중 적어도 하나를 포함하는 이동통신 단말기.
  4. 제 1 항에 있어서,
    상기 카메라모듈은,
    상기 제어모듈의 제어에 따라 상기 설정 영역의 영상을 촬영하는 이동통신 단말기.
  5. 제 1 항에 있어서,
    상기 마이크모듈은,
    상기 제어모듈의 제어에 따라 상기 카메라모듈과 연동되며, 입력된 상기 음향에 대응하는 상기 음향세기 및 상기 음향발생위치를 포함하는 입체 음향 영상을 추출하는 이동통신 단말기.
  6. 제 1 항에 있어서,
    상기 마이크모듈은,
    적어도 하나의 마이크 또는 3d 마이크 어레이인 이동통신 단말기.
  7. 제 1 항에 있어서,
    상기 음향을 입력받는 실행 명령 및 종료 명령 중 적어도 하나를 입력하는 입력모듈;을 포함하고,
    상기 제어모듈은,
    상기 실행 명령 입력시, 상기 카메라모듈 및 상기 마이크모듈을 동작시켜 상기 영상, 상기 음향세기 및 상기 음향발생위치를 전달받는 이동통신 단말기.
  8. 제 1 항에 있어서,
    상기 제어모듈은,
    상기 영상에서 상기 사용자 입술 위치를 추정하는 추정부;
    상기 음향세기 및 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 상기 음성세기 및 상기 음성발생위치를 추출하는 추출부; 및
    상기 음성세기 및 상기 음성발생위치를 기초로 상기 사용자 음성을 인식하는 인식부;를 포함하는 이동통신 단말기.
  9. 제 8 항에 있어서,
    상기 제어모듈은,
    상기 음향세기 및 상기 음향발생위치 또는 상기 음성세기 및 상기 음성발생위치에 포함된 노이즈 성분을 필터링하는 필터부;를 포함하는 이동통신 단말기.
  10. 설정 영역의 영상을 촬영하는 단계;
    사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출하는 단계;
    상기 영상에서 사용자 입술 위치를 추정하는 단계; 및
    상기 음향세기 및 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성세기 및 음성발생위치를 추출하는 단계; 및
    상기 음성세기 및 상기 음성발생위치 중 적어도 하나를 기초로 상기 사용자 음성을 인식하는 단계;를 포함하는 이동통신 단말기의 동작방법.
  11. 제 10 항에 있어서,
    상기 촬영 단계 이전에, 실행 명령이 입력되는 단계;를 포함하는 이동통신 단말기의 동작방법.
  12. 제 10 항에 있어서,
    상기 추정 단계는,
    상기 영상에 포함된 사용자 얼굴 영상 중 움직임 및 깊이 중 적어도 하나가 변경되는 위치를 상기 사용자 입술 위치로 추정하는 이동통신 단말기의 동작방법.
  13. 제 10 항에 있어서,
    상기 추출 단계는,
    상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 상기 음성발생위치를 추출하고, 상기 음향세기 중 상기 음성발생위치에 대응하는 상기 음성세기를 추출하는 이동통신 단말기의 동작방법.
  14. 영상 통화시, 사용자 영상을 추출하는 카메라모듈;
    사용자 음성을 포함하는 음향 입력시, 상기 음향에 대응하는 음향세기 및 음향발생위치를 추출하는 마이크모듈; 및
    상기 사용자 영상에 포함된 사용자 입술 위치를 추정하고, 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 음성발생위치 및 상기 음향세기 중 상기 음성발생위치에 대응하는 음성세기를 추출하여 상기 사용자 음성을 인식하고, 상기 사용자 영상과 상기 사용자 음성을 믹싱(mixing)한 영상 데이터를 생성하는 제어모듈;을 포함하는 이동통신 단말기.
  15. 제 14 항에 있어서,
    상기 영상 통화에 대한 실행 명령 및 종료 명령을 입력하는 입력모듈;을 포함하는 이동통신 단말기.
  16. 제 15 항에 있어서,
    상기 입력모듈은,
    터치 디스플레이 패널 및 키 패드 중 적어도 하나를 포함하는 이동통신 단말기.
  17. 제 14 항에 있어서,
    상기 카메라모듈은,
    적어도 하나의 마이크 또는 3d 마이크 어레이인 이동통신 단말기.
  18. 제 14 항에 있어서,
    상기 마이크 모듈은,
    상기 제어모듈의 제어에 따라 상기 카메라모듈과 연동되며, 입력된 상기 음향에 대응하는 상기 음향세기 및 상기 음향발생위치를 포함하는 입체 음향 영상을 추출하는 이동통신 단말기.
  19. 제 14 항에 있어서,
    상기 영상 통화에 대한 실행 명령 및 종료 명령을 입력하는 입력모듈;을 포함하고,
    상기 제어모듈은,
    상기 실행 명령 입력시, 상기 카메라모듈 및 상기 3d 마이크모듈을 동작시켜 상기 사용자 영상, 상기 음향세기 및 상기 음향발생위치를 전달받는 이동통신 단말기.
  20. 제 14 항에 있어서,
    상기 제어모듈은,
    상기 사용자 영상에서 상기 사용자 입술 위치를 추정하는 추정부;
    상기 음향세기 및 상기 음향발생위치 중 상기 사용자 입술 위치에 대응하는 상기 음성세기 및 상기 음성발생위치를 추출하는 추출부; 및
    상기 음성세기 및 상기 음성발생위치를 기초로 상기 사용자 음성을 인식하는 인식부;를 포함하는 이동통신 단말기.
  21. 제 20 항에 있어서,
    상기 음향세기 및 상기 음향발생위치 또는 상기 음성세기 및 상기 음성발생위치에 포함된 노이즈 성분을 필터링하는 필터부;를 포함하는 이동통신 단말기.
  22. 제 20 항에 있어서,
    상기 추정부는,
    상기 사용자 영상에서 색상, 움직임 및 깊이 중 적어도 하나의 변화를 기초로 상기 사용자 입술 위치를 추정하는 이동통신 단말기.
  23. 제 14 항에 있어서,
    상기 제어모듈의 제어에 따라 상기 영상 데이터를 외부로 전송하는 통신모듈;을 포함하는 이동통신 단말기.
KR1020130012429A 2013-02-04 2013-02-04 이동통신 단말기 및 그 동작방법 KR20140099702A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130012429A KR20140099702A (ko) 2013-02-04 2013-02-04 이동통신 단말기 및 그 동작방법
US14/018,068 US9100492B2 (en) 2013-02-04 2013-09-04 Mobile communication terminal and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130012429A KR20140099702A (ko) 2013-02-04 2013-02-04 이동통신 단말기 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20140099702A true KR20140099702A (ko) 2014-08-13

Family

ID=51259649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130012429A KR20140099702A (ko) 2013-02-04 2013-02-04 이동통신 단말기 및 그 동작방법

Country Status (2)

Country Link
US (1) US9100492B2 (ko)
KR (1) KR20140099702A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202015009625U1 (de) 2014-08-04 2018-11-07 Lg Chem, Ltd. Superabsorbierendes Polymer

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223278B1 (ko) * 2014-05-22 2021-03-05 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US10748542B2 (en) * 2017-03-23 2020-08-18 Joyson Safety Systems Acquisition Llc System and method of correlating mouth images to input commands
WO2019061292A1 (zh) * 2017-09-29 2019-04-04 深圳传音通讯有限公司 一种终端降噪方法及终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553037B2 (en) * 2002-08-14 2013-10-08 Shawn Smith Do-It-Yourself photo realistic talking head creation system and method
KR100790177B1 (ko) * 2006-04-28 2008-01-02 삼성전자주식회사 휴대단말기에서 이미지 디스플레이 방법 및 장치
JP4265676B2 (ja) * 2007-05-15 2009-05-20 船井電機株式会社 テレビジョン装置
US8131322B2 (en) * 2008-09-19 2012-03-06 Apple Inc. Enabling speaker phone mode of a portable voice communications device having a built-in camera
US8363512B2 (en) * 2009-02-27 2013-01-29 Honda Motors Method and apparatus for estimating sound source
KR20110066628A (ko) 2009-12-11 2011-06-17 한국전자통신연구원 독순술을 이용한 휴대전화용 문자 입력 장치 및 방법
US8635066B2 (en) 2010-04-14 2014-01-21 T-Mobile Usa, Inc. Camera-assisted noise cancellation and speech recognition
US20110311144A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Rgb/depth camera for improving speech recognition
JP5700963B2 (ja) * 2010-06-29 2015-04-15 キヤノン株式会社 情報処理装置およびその制御方法
US9588668B2 (en) * 2011-07-21 2017-03-07 Imerj, Llc Methods of displaying a second view

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202015009625U1 (de) 2014-08-04 2018-11-07 Lg Chem, Ltd. Superabsorbierendes Polymer

Also Published As

Publication number Publication date
US20140221043A1 (en) 2014-08-07
US9100492B2 (en) 2015-08-04

Similar Documents

Publication Publication Date Title
CN109829456B (zh) 图像识别方法、装置及终端
CN109976570B (zh) 数据传输方法、装置及显示装置
KR101661969B1 (ko) 휴대 단말기 및 그 동작 제어방법
CN110992327A (zh) 镜头脏污状态的检测方法、装置、终端及存储介质
WO2019205735A1 (zh) 数据传输方法、装置、显示屏及显示装置
CN110288689B (zh) 对电子地图进行渲染的方法和装置
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN114170349A (zh) 图像生成方法、装置、电子设备及存储介质
KR20140099702A (ko) 이동통신 단말기 및 그 동작방법
EP3435283A1 (en) Method and device for optical fingerprint recognition, and computer-readable storage medium
WO2023019077A1 (en) Electronic device for tracking objects
KR20140104220A (ko) 투명 디스플레이를 이용하는 전자장치에서 화면전환 방법 및 장치
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN111354378B (zh) 语音端点检测方法、装置、设备及计算机存储介质
CN115150542B (zh) 一种视频防抖方法及相关设备
US9996186B2 (en) Portable device and method for defining restricted area within touch panel
CN111127541A (zh) 车辆尺寸的确定方法、装置及存储介质
CN111179628B (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN110263695B (zh) 人脸部位的位置获取方法、装置、电子设备及存储介质
KR20160005862A (ko) 이동 단말기 및 그 제어방법
CN111741266B (zh) 图像显示方法、装置、车载设备及存储介质
CN114779920A (zh) 一种基于生物识别的全车窗手势控制***及其控制方法
CN114594885A (zh) 应用图标的管理方法、装置、设备及计算机可读存储介质
KR101651470B1 (ko) 휴대 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid