KR101046022B1 - 인체 움직임 및 인간 음성을 이용한 원격 조정 장치 - Google Patents

인체 움직임 및 인간 음성을 이용한 원격 조정 장치 Download PDF

Info

Publication number
KR101046022B1
KR101046022B1 KR1020090020689A KR20090020689A KR101046022B1 KR 101046022 B1 KR101046022 B1 KR 101046022B1 KR 1020090020689 A KR1020090020689 A KR 1020090020689A KR 20090020689 A KR20090020689 A KR 20090020689A KR 101046022 B1 KR101046022 B1 KR 101046022B1
Authority
KR
South Korea
Prior art keywords
voice
human body
image signal
remote control
command code
Prior art date
Application number
KR1020090020689A
Other languages
English (en)
Other versions
KR20100102354A (ko
Inventor
김현
김호겸
송인택
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020090020689A priority Critical patent/KR101046022B1/ko
Publication of KR20100102354A publication Critical patent/KR20100102354A/ko
Application granted granted Critical
Publication of KR101046022B1 publication Critical patent/KR101046022B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/02—Automatically-operated arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 신체 일부분의 움직임 및 음성을 인식하고 그에 따라 TV 등과 같은 장치의 동작을 제어하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치가 개시된다. 상기 원격 조정 장치는, 인체의 움직임을 검출한 이미지 신호를 생성하는 카메라 모듈; 상기 카메라 모듈에서 생성된 이미지 신호로부터 인체 움직임의 방향 및 크기를 산출하는 이미지 신호 처리부; 인간 음성을 검출한 음성신호를 생성하는 마이크로 폰; 상기 마이크로폰에서 생성된 음성신호로부터 음성 패턴을 산출하는 음성신호 처리부; 및 상기 이미지 신호 처리부에서 산출된 인체 움직임의 방향과 크기 및 상기 음성신호 처리부에서 산출된 음성 패턴에 따른 명령코드를 생성하는 명령코드 생성부를 포함한다.
Figure R1020090020689
원격 조정, 리모콘, 움직임, 벡터, 음성, 포인터

Description

인체 움직임 및 인간 음성을 이용한 원격 조정 장치{REMOTE CONTROLLER USING MOTION OF HUMAN BODY AND HUMAN VOICE}
본 발명은 TV 등에 사용되는 원격 조정 장치에 관한 것으로, 더욱 상세하게는 손 등의 인간의 신체 일부의 움직임 및 인간의 목소리에 따라 대상 장치를 조정할 수 있는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치에 관한 것이다.
최근 TV 디스플레이 장치 분야에서는 디스플레이 화면의 디지털화 고선명화 뿐만 아니라 여러가지 다른 기능들의 융합화 또는 복합화가 급속도로 진행되고 있다. 이에 따라, 외부의 주변 디지털 가전 기기와의 연결이 다양해지고 있으며 이들과 주고 받는 신호의 형태도 다양해지고 있다. 향후에는 가전 기기 뿐만 아니라 조명 기기, 가스 기기, 난방 기기, 방범 기기 등을 연결하여 홈 네트워킹을 구성하고 제어하기 위한 주 제어장치로 TV가 사용될 전망이다.
예를 들어, 종래의 전통적인 TV는 안테나로부터 수신되는 지상파 방송 또는 케이블을 통해 수신되는 케이블 방송을 디스플레이하는 방송 디스플레이장치로만 적용되었다. 그러나 최근의 TV는, 그에 연결되는 주변 가전 기기들이 급속도로 디 지털화가 진행되면서, 다양한 포맷의 디지털 입력 신호를 표시할 수 있는 복합 디스플레이 장치의 역할이 요구되고 있다. 예를 들어, 최근 TV는 전통적인 아날로그 방송 신호 뿐만 아니라 디지털 방송 신호, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface) 및 PC 입력 등 다양한 포맷의 입력신호를 디스플레이 하도록 요구되고 있다.
이러한, TV의 역할이 복잡화 됨에 따라 TV의 동작을 위해 무선 리모콘이 수행해야 할 기능들이 점점 더 증가하게 되며, 그에 따라 무선 리모콘이 갖는 입력 키들의 수도 크게 증가하게 됨으로써, 사용자가 복잡화된 리모콘 사용에 불편함을 크게 느끼게 된다. 이러한 리모콘 기능의 복잡화는 어린이나 노약자에게 더욱 큰 불편함을 가중시킬 수 있다. 또한, 종래 리모콘의 경우 리모콘의 보관장소를 기억하지 못하여 TV 시청시마다 리모콘을 찾아야 하는 불편함이 있었으며, 리모콘의 전원으로 이용되는 건전지가 수명을 다하면 교환해야 하는 등 환경 친화적이지 못한 문제점도 있다.
본 발명은 사용자의 신체 일부분의 움직임 및 음성을 인식하고 그에 따라 TV 등과 같은 장치의 동작을 제어하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치를 제공하는 것을 해결하고자 하는 기술적 과제로 한다.
상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,
인체의 움직임을 검출한 이미지 신호를 생성하는 카메라 모듈;
상기 카메라 모듈에서 생성된 이미지 신호로부터 인체 움직임의 방향 및 크기를 산출하는 이미지 신호 처리부;
인간 음성을 검출한 음성신호를 생성하는 마이크로 폰;
상기 마이크로폰에서 생성된 음성신호로부터 음성 패턴을 산출하는 음성신호 처리부; 및
상기 이미지 신호 처리부에서 산출된 인체 움직임의 방향과 크기 및 상기 음성신호 처리부에서 산출된 음성 패턴에 따른 명령코드를 생성하는 명령코드 생성부를 포함하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치를 제공한다.
본 발명의 바람직한 실시형태에서, 상기 이미지 신호 처리부는, 상기 카메라 모듈에서 생성된 이미지 신호로부터 인체의 움직임을 나타내는 움직임 벡터를 결정 함으로써 상기 인체 움직임의 방향 및 크기를 산출할 수 있다.
이 실시형태에서, 상기 명령코드 생성부는, 상기 이미지 신호 처리부에서 산출된 인체 움직임의 크기가 사전 설정된 임계값보다 큰 경우에 상기 명령코드를 생성하는 것이 바람직하다.
본 발명의 다른 실시형태에서, 상기 명령코드 생성부는, 상기 마이크로폰에서 생성된 음성신호로부터 산출된 음성 패턴 중 기저장된 음성 패턴과 일치하는 음성패턴이 존재하는 경우에 상기 명령코드를 생성하는 것이 바람직하다.
이 실시형태는, 상기 기저장된 음성 패턴을 저장하기 위한 데이터 저장부를 더 포함할 수 있다.
본 발명의 다른 실시형태는, 상기 이미지 신호 처리부에서 산출된 인체 움직임의 방향 및 크기에 따라 변동되는 위치를 갖는 마우스 포인터를 생성하는 포인터 생성부를 더 포함할 수 있다.
이 실시형태에서, 상기 포인터 생성부는, 상기 이미지 신호 처리부에서 사전 설정된 시간 동안 인체 움직임의 방향 및 크기가 산출되지 않거나, 상기 음성신호 처리부에서 사전 설정된 실행에 해당하는 음성패턴이 산출되는 경우, 화면상에 마우스 포인터가 위치한 기능을 실행하는 명령을 출력하는 것이 바람직하다.
본 발명에 따르면, 단순히 인체 일부분의 움직임과 인간의 음성에 따라 원격 조정이 가능함으로써 종래의 리모콘에 적용되는 복잡한 키 입력을 생략하고 사용자의 편의성을 증대시킬 수 있는 효과가 있다. 더하여, 본 발명에 따르면, 원격 조정에 인체 움직임 뿐만 아니라 음성을 사용함으로써 움직임 검출이 어려운 어두운 환경에서도 원격 조정이 가능한 효과가 있다. 또한, 본 발명에 따르면, 별도의 리모콘 장치를 제작하기 위한 플라스틱 재료 및 리모콘 장치용 건전지 등이 필요하지 않으므로 종래의 리모콘에 비해 더욱 환경 친화적인 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.
도 1은 본 발명의 일실시형태에 따른 원격 조정 장치의 블록 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일실시형태에 따른 원격 조정 장치는, 인체의 움직임을 검출하고 이를 처리하는 카메라 모듈(11) 및 이미지 신호 처리 부(12)와, 인간 음성을 검출하고 이를 처리하는 마이크로폰(13) 및 음성신호 처리부(15)와, 상기 이미지 신호 처리부(12) 또는 음성신호 처리부(15)에 의한 신호 처리 결과에 따라 원격 조정 대상을 조정하기 위한 명령에 대응되는 코드를 생성하는 명령코드 생성부(16)를 포함할 수 있다.
이에 더하여, 본 발명의 일실시형태는, 마이크로폰(13)에서 출력되는 아날로그 음성신호를 디지털 음성신호로 변환하는 아날로그/디지털 변환기(ADC)(14)와, 상기 원격 조정에 필요한 사전 설정된 데이터를 저장하는 데이터 저장부(17)와, TV와 같은 디스플레이 장치에 요구될 수 있는 마우스 포인터와 같은 포인터를 생성하는 포인터 생성부(18)를 더 포함할 수 있다.
상기 카메라 모듈(11)은 입력되는 빛을 집광하는 렌즈(11)와 렌즈에 의해 초점이 형성되는 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(112)를 포함할 수 있다. 상기 카메라 모듈(11)은 도 2에 도시된 바와 같이, 원격 조정의 대상이 되는 TV의 프레임 상단에 설치될 수 있다. 상기 카메라 모듈(11)은 원격 조정 대상이 되는 장치의 전방에 위치한 사용자의 신체 움직임을 검출한다. 바람직하게 이 신체 움직임은 사용자의 손의 움직임(40)일 수 있다. 사람의 손은, 신체에 무리를 주지 않는 범위 내에서 식별하기에 충분한 크기의 움직임과 방향성을 제공할 수 있으므로, 상기 카메라 모듈(11)에 의해 검출되는 신체의 움직임은 사용자의 손의 움직임(40)인 것이 바람직하다.
상기 이미지 신호 처리부(12)는 상기 카메라 모듈(11)에서 생성된 이미지 신호로부터 인체 움직임의 방향 및 크기를 산출한다. 즉, 상기 이미지 신호 처리부(12)는 카메라 모듈(11)로부터 입력되는 이미지 신호에서 움직임이 발생하는 영역(도 2에 도시된 손에 해당되는 영역)을 식별하고 이 움직임이 발생하는 영역의 움직임(도 2의 손움직임(40))의 방향과 크기를 움직임 벡터로 산출한다.
바람직하게 이미지 신호 처리부(12)는 산출된 움직임양의 크기(또는 움직임 벡터의 크기)가 사전 설정된 임계값보다 작은 경우, 이 움직임은 원격 조정을 위한 움직임이 아닌 것으로 판단하고 무시할 수 있으며, 산출된 움직임양의 크기가 사전 설정된 임계값보다 큰 경우 사용자가 원격 조정을 위한 움직임을 입력한 것으로 판단하고 해당 움직임의 방향과 크기를 명령 코드 생성부(16)로 전달할 수 있다. 이를 통해 상기 명령 코드 생성부(16)는 사전 설정된 상기 임계값보다 큰 움직임양을 갖는 움직임에 대해서 명령 코드를 생성할 수 있게 된다.
상기 마이크로폰(13)은 원격 조정을 위한 사용자의 음성을 검출하여 검출된 음성에 상응하는 전기적인 음성신호를 생성할 수 있다. 상기 마이크로폰(12)은 도 2에 도시한 바와 같이, 원격 조정의 대상이 되는 TV의 프레임 상단에 전술한 카메라 모듈(11)과 나란하게 설치될 수 있다.
통상 마이크로폰(13)에서 생성된 음성신호는 아날로그 신호이다. 따라서, 디지털 신호처리가 이루어지는 후단의 음성신호 처리부(15)에 입력될 수 있도록 아날로그/디지털 변환기(ADC)(14)가 구비될 수 있다. 상기 아날로그/디지털 변환 기(ADC)(14)는 마이크로폰(13)에서 출력되는 아날로그 음성신호를 디지털 신호로 변환한다.
상기 음성신호 처리부(15)는, 입력되는 음성신호로부터 음성 패턴을 산출한다. 바람직하게, 상기 음성신호 처리부(15)는 마이크로폰(13)을 통해 검출된 음성에 대한 음성신호로부터 산출한 음성 패턴과 사전에 미리 저장해둔 음성패턴을 서로 비교하고 서로 일치하는 음성패턴이 존재하지 않는 경우 산출된 음성패턴을 무시하고 삭제할 수 있다. 반면, 서로 일치하는 음성패턴이 존재하는 경우, 검출된 해당 음성이 원격조정을 위해 사용자가 입력한 음성으로 판단하여 출력하고, 명령코드 생성부(16)는 해당 음성패턴에 대응되는 명령 코드를 출력한다.
한편, 동일한 단어를 발음하는데에도 사람마다 서로 다른 음성패턴이 나타날 수 있으므로, 음성명령에 해당하는 표현을 사용자가 사전에 미리 발음하여 사용자의 음성패턴을 데이터 저장부(17)에 저장해둘 수 있다.
상기 명령 코드 생성부(16)는 상기 이미지 신호 처리부(12)에서 산출된 인체 움직임의 방향과 크기 및 상기 음성신호 처리부(12)에서 산출된 음성 패턴에 따른 명령코드를 생성할 수 있다. 전술한 바와 같이, 상기 이미지 신호 처리부(12)에서 산출된 인체 움직임양과 사전 설정된 임계값을 비교하는 동작을 수행하는 경우, 상기 명령 코드 생성부(16)는 상기 이미지 신호 처리부(12)에서 산출된 인체 움직임의 크기가 사전 설정된 임계값보다 큰 경우에 명령코드를 생성할 수 있다. 유사하 게, 상기 음성신호 처리부(15)가 상기 마이크로폰(13)에서 생성된 음성신호로부터 산출된 음성 패턴과 기저장된 음성 패턴을 비교하는 동작을 수행하는 경우, 상기 명령 코드 생성부(16)는 사전 설정된 음성패턴과 일치하는 음성패턴이 산출된 경우에 명령코드를 생성할 수 있다.
상기 포인터 생성부(18)는, 원격 조정의 대상이 되는 장치가 TV 등의 디스플레이 장치인 경우 디스플레이 상에 아이콘이나 메뉴들을 선택하는데 사용되는 마우스 포인터를 생성할 수 있다. 즉, 상기 포인터 생성부(18)는, 상기 이미지 신호 처리부(12)에서 산출된 인체 움직임의 방향 및 크기에 따라 변동되는 위치를 갖는 포인터를 생성할 수 있다.
바람직하게, 상기 포인터 생성부는(18), 상기 이미지 신호 처리부(12)에서 사전 설정된 시간 동안 인체 움직임의 방향 및 크기가 산출되지 않거나, 상기 음성신호 처리부(15)에서 사전 설정된 실행에 해당하는 음성패턴이 산출되는 경우, 현재 포인터 좌표에 의해 선택된 기능을 실행하는 명령을 출력할 수 있다.
상기 명령 코드 생성부(16)에서 생성되는 명령코드나 상기 포인터 생성부(18)에 의해 생성되는 포인터 위치 좌표는 원격조정의 대상이 되는 TV의 제어부(20)로 입력되고 TV의 제어부(20)는 해당 명령코드에 따른 동작을 수행하거나 디스플레이 되는 포인터의 위치 좌표에 따라 포인터를 이동시킬 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 작용 및 효과를 더욱 상세하게 설명하기로 한다.
도 3은 본 발명의 일실시형태에 따른 음성신호 및 이미지 신호 처리 방법을 도시한 플로차트이다.
먼저, 본 발명의 일실시형태에 따른 음성신호 처리 방법에 대해 설명한다. 마이크로폰(13)에서 사용자 인식을 검출한 음성 신호가 아날로그/디지털 변환기(14)에 의해 디지털 변환되어 음성신호 처리부로 입력되면(S11), 음성신호 처리부(15)는 입력된 음성신호에서 음성패턴을 산출한다(S12). 이어, 음성신호 처리부(15)는 데이터 저장부(17)에 미리 저장해둔 음성패턴과 입력된 음성신호에서 산출한 음성패턴을 비교하여 일치 여부를 판단한다(S13). 예를 들어, 상기 데이터 저장부에 사전 저장된 음성 패턴들은 “전원 켜기”, “전원 끄기”와 같은 전원 관리를 위한 음성 패턴과, “채널”, “위로”, “아래로”와 같이 채널 변경을 위한 음성 패턴과, “볼륨”, “작게”, “크게”와 같이 볼륨 변경을 위한 음성 패턴과, “6번”, “7번”, “9번”, “11번”, “24번”, “100번”　등과 같이 채널 번호를 직접 변경하기 위한 음성 패턴을 포함할 수 있다. 이외에 화면 조정, 비디오 입력 장치 선택을 위한 “메뉴”, “부가 기능” 등과 같은 음성 패턴을 포함할 수 있다. 이어, 음성신호 처리부(15)는, 사전에 미리 녹음되어 저장된 음성 패턴이 입력되었는지 판단하여 사전 저장된 음성 패턴이 입력된 경우에는 해당 음성 패턴을 명령코드 생성에 사용될 음성 패턴으로 결정한다(S14). 이어, 상기 음성신호 처 리부(15)는 명령 코드 생성부(16)로 결정된 음성 패턴에 상응하는 신호를 전달하고, 명령 코드 생성부(16)는 입력받은 음성패턴에 대응되는 명령 코드를 생성하여 원격 조정 대상인 TV의 제어부(20)로 전송한다(S15). TV 제어부(20)는 명령코드를 해석하고(S31) 해석된 명령을 수행한다(S32).
다음으로, 본 발명의 일실시형태에 따른 이미지 신호 처리 방법에 대해 설명한다. 먼저, 렌즈(111)를 투과하여 이미지 센서(112)에 결상된 검출 영상은 프레임 단위의 이미지 신호의 형태로 이미지 신호 처리부(12)에 입력된다(S21). 이미지 신호 처리부(12)는 입력되는 이미지 신호를 이용하여 이미지 신호 상에서 움직임을 갖는 영역의 움직임 벡터를 산출한다. 전술한 바와 같이, 인체의 부위 중 손이 움직임을 크게 자연스럽게 표시할 수 있으므로 사용자는 손을 이용하여 원격조정을 위한 움직임을 표현하는 것이 바람직하다. 이 경우, 이미지 신호 처리부는(12) 손의 움직임 벡터를 이미지 처리 기술분야에서 널리 알려진 연속한 두 이미지 프레임들의 차분 연산으로부터 부분 움직임 벡터(local motion vector)를 구하는 기법을 이용함으로써 간단히 산출할 수 있다. 손이 아닌 다른 신체 부위(예를 들어, 머리, 다리, 상체, 혹은 몸 전체)의 움직임 등은 부분 움직임 벡터를 구하기 위한 이미지의 영역 크기를 손 크기로 제한하고 움직임 벡터가 발생하는 영역의 개수가 둘 이상이면 손 크기가 아닌 다른 영역을 다른 신체 부위로 간주하는 방식으로 구별할 수 있다. 또한, 손의 움직임의 양이 일정한 크기 이상이 되어야만 원격 조정을 위한 움직임으로 간주하기 위해, 검출된 손의 움직임 벡터의 크기와 비교할 수 있는 임계값을 사전에 설정해 둘 수 있다. 이미지 신호 처리부(12)는 산출된 움직임 벡터의 크기와 사전 설정해 둔 임계값을 비교하고(S23), 산출된 움직임 벡터의 크기가 임계값보다 클 때 해당 움직임 벡터를 원격 제어에 적용할 움직임 벡터로 결정한다(S24). 이미지 신호 처리부(12)는 원격 제어에 적용하도록 결정된 움직임 벡터에 상응하는 신호를 명령 코드 생성부(16)로 전달하고, 상기 명령 코드 생성부(16)는 입력받은 움직임 벡터에 대응되는 명령코드를 생성하여 TV 제어부(20)로 전달한다. 예를 들어, 명령 코드 생성에 움직임 벡터의 크기 뿐만 아니라 방향(부호)를 함께 이용할 수 있다. 움직임 벡터가 양의 값인지, 아니면 음의 값인지를 구별하며 수평 방향으로 움직임이 있는지, 수직 방향으로 움직임이 있는지, 대각선 방향으로 움직임이 있는지, 혹은 회전 방향으로 움직임이 있는지를 구별해 이에 해당하는 명령 코드를 발생한다. 예를 들어, 대각선 방향으로 손의 움직임이 있는 경우 채널 변경 모드 진입 명령으로 해석하며 회전 방향으로 손의 움직임이 있는 경우 볼륨 조절 모드 진입 명령으로 해석한다. 채널 변경 모드 진입 후 수직 위 방향으로 손의 움직임이 있을 경우 채널을 위로 변경하고 수직 아래 방향으로 손의 움직임이 있을 경우 채널을 아래로 변경한다. 볼륨 조절 모드 진입 후 수평 오른쪽 방향으로 손의 움직임이 있을 경우 음량을 크게 변경하고 수평 왼쪽 방향으로 손의 움직임이 있을 경우 음량을 작게 변경할 수도 있다. 이어, TV 제어부(20)는 명령코드 생성부로 부터 입력받은 명령코드를 해석하고(S31) 해석된 명령을 수행한다(S32).
이와 같이 본 발명은, 인간의 신체와 음성을 함께 사용하여 원격 조정 장치를 구현함으로써, 밤에 조명이 어두운 환경에서도 음성만을 이용하여 용이하게 조정 대상 장치의 동작을 제어할 수 있다. 또한, 신체의 움직임만을 사용하는 원격 조정장치에 비해 본 발명은 신체의 움직임과 음성을 조합해서 사용함으로써 더욱 많은 명령들을 만들어 낼 수 있으므로, 최근의 가전 기기들의 융복합화로 인한 TV 장치의 다양한 기능들을 보다 쉽게 제어할 수 있게 된다.
도 4는 본 발명의 일실시형태에 따른 원격 조정 장치에서 채널 변경과 음량 조절을 수행하는 적용예를 도시한 도면이다.
도 4의 (a)에 도시된 것과 같이, 사용자가 TV(21) 시청 중 “채널”이라는 말을 하면 마이크로폰(13)은 이를 검출하여 음성신호를 출력하고, 음성신호 처리부(15)에서 음성신호를 해석해 음성 패턴을 산출하여 사전 저장된 음성 패턴과 비교하여 일치됨을 확인한 후 명령 코드 생성부(16)는 볼륨 변경 모드에 진입하라는 명령에 해당하는 명령 코드를 생성하여 TV 제어부(20)로 전달한다. 명령 코드를 전달 받은 TV 제어부(20)는 이를 해석한 후 채널 변경을 표시하기 위한 화살표 아이콘(61)을 TV 화면에 표시하는 명령을 수행할 수 있다. 이어 사용자가 손을 위로 움직이면, 카메라 모듈(11)에서 이 손의 움직임을 검출한 이미지 신호를 출력하고 이미지 신호 처리부(12)는 이를 입력받아 움직임 벡터를 생성하여 그 크기를 임계값과 비교한 후 원격 조정을 위한 움직임으로 결정하며, 명령 코드 생성부(16)는 손을 위로 움직이는 것에 상응하는 높은 쪽의 채널 변경을 위한 명령 코드를 생성하여 TV 제어부(20)로 전달한다. TV 제어부(20)는 이를 해석하여 TV를 조정함으로써 채널이 높은 쪽으로 변경되며 표시 화면에는 위쪽 방향 화살표가 깜박거릴 수 있다. 반대로 손을 아래로 움직이면, 본 발명의 원격 조정 장치는 이를 인식하여 채널을 낮은 방향으로 변경하며 그 때 마다 표시 화면에는 아래쪽 방향 화살표가 깜박거려 사용자에게 채널 변경을 시각적으로 알려 주도록 할 수 있다.
이와 유사하게, 도 4의 (b)에 도시된 바와 같이, 사용자가 TV 시청 중 “볼륨”이라는 말을 하면 마이크로폰(13)은 이를 검출하여 음성신호를 출력하고, 음성신호 처리부(15)에서 음성신호를 해석해 음성 패턴을 산출하여 사전 저장된 음성 패턴과 비교하여 일치됨을 확인한 후 명령 코드 생성부(16)는 볼률 변경 모드에 진입하라는 명령에 해당하는 명령 코드를 생성하여 TV 제어부(20)로 전달한다. 명령 코드를 전달 받은 TV 제어부(20)는 이를 해석한 후 볼륨 변경을 나타내기 위한 음량크기 표시를 TV 화면에 표시하는 명령을 수행할 수 있다. 이어 사용자가 손을 오른쪽으로 움직이면, 카메라 모듈(11)에서 이 손의 움직임을 검출한 이미지 신호를 출력하고 이미지 신호 처리부(12)는 이를 입력받아 움직임 벡터를 생성하여 그 크기를 임계값과 비교한 후 원격 조정을 위한 움직임으로 결정하며, 명령 코드 생성부(16)는 손을 오른쪽으로 움직이는 것에 상응하는 볼륨 증가를 위한 명령 코드를 생성하여 TV 제어부(20)로 전달한다. TV 제어부(20)는 이를 해석하여 TV를 조정함으로써 볼륨이 증가하고 표시 화면에는 음량이 증가함을 표시할 수 있다. 반대로 손을 왼쪽으로 움직이면, 본 발명의 원격 조정 장치는 이를 인식하여 볼륨을 감소시키며 표시 화면에는 볼륨이 감소함을 시각적으로 알려 주도록 할 수 있다.
도 5는 본 발명의 일실시형태에 따른 원격 조정 장치에서 마우스 포인터를 구현하는 일례를 도시한 도면이다. 도 5에 도시한 바와 같이, 사용자가 손을 위치(A)에서 위치(B)로 움직인 경우 이미지 신호 처리부(12)는 이 움직임을 검출한 카메라 모듈(11)로부터 출력되는 이미지 신호로부터 수평 움직임 벡터(Mx)와 수직 움직임 벡터(My)를 산출한다. 포인터 생성부(18)는 산출된 움직임 벡터(Mx　와 My)에 의해 포인터(51)가 이동하는 명령 코드를 생성하여 이를 TV 제어부(20)에 전송하면, TV 제어부(20)는 이를 이용해 현재 TV 화면에 표시된 마우스 포인터(51)를 사용자가 요구하는 만큼 해당 위치로 이동해 화면에 표시하게 할 수 있다. 위치(A)에서 위치(B)로 이동하는 경우 움직임 벡터(Mx)의 부호는 음이고 움직임 벡터(My)의 부호는 양으로 정의한다. 위치(A)에서 위치(C)로 이동하는 경우 움직임 벡터(Mx, My)의 부호 모두 양으로 정의한다. 즉, 수평 방향에서 오른쪽으로의 움직임과 수직 방향에서 위로의 움직임을 부호 양으로 정의하고 반대로 수평 왼쪽 움직임과 수직 아래로 움직임을 부호 음으로 정의할 수 있다. 마우스 포인터(51)의 초기 위치는 항상 TV 화면의 중심으로 설정하며 마우스 포인터(51)의 이동이 발생하면 그 위치를 기준으로 다음 위치로 사용자의 입력만큼 마우스 포인터(51)를 이동시킬 수 있다.
도 6은 본 발명의 일실시형태에 따른 원격 조정 장치에서 마우스 포인터 기 능을 이용해 TV 화면(21) 상에서 다양한 부가 기능들을 선택하는 일례를 도시한 도면이다. 예를 들어, TV 시청 중 “부가 기능”　이라는 사용자의 음성 입력이 발생하면, 음성 신호 처리부(15)와 명령 코드 생성부(16)는 전술한 과정에 따라 그에 해당하는 명령 코드를 발생시킨다. TV 제어부(20)에 이렇게 발생된 명령 코드를 전송하면 TV 제어부(20)는 수신된 명령 코드를 해석해 TV 화면(21)에 도 6과 같은 부가 기능 화면을 표시하게 된다. 최근 급속히 진행되고 있는 디지털 가전 기기들의 융복합화로 TV 장치는 단순한 TV 시청뿐만 아니라 도 6에서 도시한 바와 같은 다양한 멀티미디어 기능들과 네트워크 기능들을 수행하는 서버 장치로도 활용될 수 있다. 이 경우, TV 화면에 표시된 다양한 부가 기능들의 선택은 전술한 도 5에서 도시한 바와 같은 마우스 포인터 기능을 이용해 쉽게 구현할 수 있다. 사용자의 손 움직임에 따라 마우스 포인터(51)가 이동해 해당 부가 기능 아이콘(61) 위에 위치하면 사용자가 “실행”　이라는 말을 함으로써 해당 부가 기능을 수행하는 모드로 진입할 수 있다. 또 다른 방법으로, 마우스 포인터(51)가 이동해 해당 부가 기능 아이콘 위에 위치한 후 소정 시간동안 아무런 입력이 없으면 해당 아이콘의 기능을 수행하는 모드로 진입하게 할 수도 있다. 이외에 “취소”, “돌아가기”　등의 음성 패턴들을 이용함으로써 부가 기능의 수행 및 취소, 다른 부가 기능으로의 변경 등을 자유로이 수행할 수도 있다. TV 화면의 UI(User Interface) 구성에 따라서는 “취소”, “돌아가기”　등의 메뉴는 각각의 부가 기능의 서브 메뉴에서 아이콘으로 표시해 해당 아이콘을 마우스 포인터 기능을 활용해 선택함으로써 그 기능을 수행할 수도 있다.
본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시형태에 따른 원격 조정 장치의 블록 구성도이다.
도 2는 본 발명의 일실시형태에 따른 원격 조정 장치를 TV에 적용한 일례를 도시한 도면이다.
도 3은 본 발명의 일실시형태에 따른 음성신호 및 이미지 신호 처리 방법을 도시한 플로차트이다.
도 4는 본 발명의 일실시형태에 따른 원격 조정 장치에서 채널 변경과 음량 조절을 수행하는 적용예를 도시한 도면이다.
도 5는 본 발명의 일실시형태에 따른 원격 조정 장치에서 마우스 포인터를 구현하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시형태에 따른 원격 조정 장치에서 마우스 포인터 기능을 이용해 TV 화면 상에서 다양한 부가 기능들을 선택하는 일례를 도시한 도면이다.
*도면의 주요 부분에 대한 부호의 설명*
10: 원격 제어 장치 11: 카메라 모듈
111: 렌즈 112: 이미지 센서
12: 이미지 신호 처리부 13: 마이크로폰
14: 아날로그/디지털 변환기 15: 음성 신호 처리부
16: 명령 코드 생성부 17: 데이터 저장부
18: 포인터 생성부

Claims (7)

  1. 인체의 움직임을 검출한 이미지 신호를 생성하는 카메라 모듈;
    상기 카메라 모듈에서 생성된 이미지 신호로부터 인체 움직임의 방향 및 크기를 산출하는 이미지 신호 처리부;
    인간 음성을 검출한 음성신호를 생성하는 마이크로 폰;
    상기 마이크로폰에서 생성된 음성신호로부터 음성 패턴을 산출하는 음성신호 처리부;
    상기 이미지 신호 처리부에서 산출된 인체 움직임의 방향과 크기 및 상기 음성신호 처리부에서 산출된 음성 패턴에 따른 명령코드를 생성하는 명령코드 생성부; 및
    상기 이미지 신호 처리부에서 산출된 인체 움직임의 방향 및 크기에 따라 변동되는 마우스 포인터를 생성하는 포인터 생성부를
    를 포함하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치.
  2. 제1항에 있어서, 상기 이미지 신호 처리부는,
    상기 카메라 모듈에서 생성된 이미지 신호로부터 인체의 움직임을 나타내는 움직임 벡터를 결정함으로써 상기 인체 움직임의 방향 및 크기를 산출하는 것을 특징으로 하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치.
  3. 제2항에 있어서, 상기 명령코드 생성부는,
    상기 이미지 신호 처리부에서 산출된 인체 움직임의 크기가 사전 설정된 임계값보다 큰 경우에 상기 명령코드를 생성하는 것을 특징으로 하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치.
  4. 제1항에 있어서, 상기 명령코드 생성부는,
    상기 마이크로폰에서 생성된 음성신호로부터 산출된 음성 패턴 중 기저장된 음성 패턴과 일치하는 음성패턴이 존재하는 경우에 상기 명령코드를 생성하는 것을 특징으로 하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치.
  5. 제4항에 있어서,
    상기 기저장된 음성 패턴을 저장하기 위한 데이터 저장부를 더 포함하는 것을 특징으로 하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치.
  6. 삭제
  7. 제1항에 있어서, 상기 포인터 생성부는,
    상기 이미지 신호 처리부에서 사전 설정된 시간 동안 인체 움직임의 방향 및 크기가 산출되지 않거나, 상기 음성신호 처리부에서 사전 설정된 실행에 해당하는 음성패턴이 산출되는 경우, 화면상에 마우스 포인터가 위치한 기능을 실행하는 명령을 출력하는 것을 특징으로 하는 인체 움직임 및 인간 음성을 이용한 원격 조정 장치.
KR1020090020689A 2009-03-11 2009-03-11 인체 움직임 및 인간 음성을 이용한 원격 조정 장치 KR101046022B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090020689A KR101046022B1 (ko) 2009-03-11 2009-03-11 인체 움직임 및 인간 음성을 이용한 원격 조정 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090020689A KR101046022B1 (ko) 2009-03-11 2009-03-11 인체 움직임 및 인간 음성을 이용한 원격 조정 장치

Publications (2)

Publication Number Publication Date
KR20100102354A KR20100102354A (ko) 2010-09-24
KR101046022B1 true KR101046022B1 (ko) 2011-07-01

Family

ID=43007463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090020689A KR101046022B1 (ko) 2009-03-11 2009-03-11 인체 움직임 및 인간 음성을 이용한 원격 조정 장치

Country Status (1)

Country Link
KR (1) KR101046022B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135974A (ko) 2016-04-29 2019-12-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
WO2020130383A1 (ko) * 2018-12-19 2020-06-25 삼성전자주식회사 전자 장치 및 그의 제어 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3413575A1 (en) 2011-08-05 2018-12-12 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and electronic apparatus applying the same
US20130033644A1 (en) * 2011-08-05 2013-02-07 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101414577B1 (ko) * 2012-11-12 2014-07-03 한남대학교 산학협력단 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법
KR20150012677A (ko) * 2013-07-26 2015-02-04 엘지전자 주식회사 멀티미디어 장치 및 그의 사용자 명령 예측 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030090737A (ko) * 2001-04-30 2003-11-28 최병득 특정 형태의 도형 인식을 통한 원격 제어장치 및 방법
KR20040017576A (ko) * 2002-08-22 2004-02-27 주식회사휴웰테크놀로지 마이크가 설치된 리모콘 및 그 시스템
KR20060125368A (ko) * 2005-06-02 2006-12-06 주식회사 대우일렉트로닉스 음성 인식 기능을 갖는 리모컨
KR20080031967A (ko) * 2005-08-22 2008-04-11 삼성전자주식회사 움직임 패턴 식별 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030090737A (ko) * 2001-04-30 2003-11-28 최병득 특정 형태의 도형 인식을 통한 원격 제어장치 및 방법
KR20040017576A (ko) * 2002-08-22 2004-02-27 주식회사휴웰테크놀로지 마이크가 설치된 리모콘 및 그 시스템
KR20060125368A (ko) * 2005-06-02 2006-12-06 주식회사 대우일렉트로닉스 음성 인식 기능을 갖는 리모컨
KR20080031967A (ko) * 2005-08-22 2008-04-11 삼성전자주식회사 움직임 패턴 식별 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135974A (ko) 2016-04-29 2019-12-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
WO2020130383A1 (ko) * 2018-12-19 2020-06-25 삼성전자주식회사 전자 장치 및 그의 제어 방법
US11908464B2 (en) 2018-12-19 2024-02-20 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Also Published As

Publication number Publication date
KR20100102354A (ko) 2010-09-24

Similar Documents

Publication Publication Date Title
KR101046022B1 (ko) 인체 움직임 및 인간 음성을 이용한 원격 조정 장치
CN107147769B (zh) 基于移动终端的设备控制方法、装置和移动终端
KR102147346B1 (ko) 디스플레이 장치 및 그의 동작 방법
JP5829390B2 (ja) 情報処理装置、および情報処理方法
JP5998861B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8112719B2 (en) Method for controlling gesture-based remote control system
JP4720874B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP4796209B1 (ja) 表示装置、制御装置、テレビジョン受像機、表示装置の制御方法、プログラム及び記録媒体
US9250707B2 (en) Image display apparatus and method for operating the same
US20100302357A1 (en) Gesture-based remote control system
CN112866772B (zh) 一种显示设备及声像人物定位追踪方法
EP2237131A1 (en) Gesture-based remote control system
JP2018036902A (ja) 機器操作システム、機器操作方法および機器操作プログラム
CN111343495A (zh) 一种显示设备及播放终端中音乐的方法
CN111835969A (zh) 一种控制摄像头角度的交互方法及显示设备
KR20090066367A (ko) 대화형 ｔｖ를 위한 마우스 기능을 갖는 리모컨과 그제어방법
EP2256590A1 (en) Method for controlling gesture-based remote control system
JP2006268212A (ja) 命令入力装置
CN112073663A (zh) 音频增益调节方法、视频聊天方法及显示设备
CN111445427B (zh) 视频图像处理方法以及显示设备
CN113485580A (zh) 显示设备、触控笔检测方法、***、设备及存储介质
KR20130079096A (ko) 전자 장치 및 그의 제어 방법
KR101992193B1 (ko) 적어도 하나 이상의 네트워크 인터페이스로 연결된 멀티미디어 디바이스 및 그 제어 방법
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
KR102420916B1 (ko) 영상표시기기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee