KR20130105321A - 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 - Google Patents

제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20130105321A
KR20130105321A KR1020130008540A KR20130008540A KR20130105321A KR 20130105321 A KR20130105321 A KR 20130105321A KR 1020130008540 A KR1020130008540 A KR 1020130008540A KR 20130008540 A KR20130008540 A KR 20130008540A KR 20130105321 A KR20130105321 A KR 20130105321A
Authority
KR
South Korea
Prior art keywords
gesture
processing
amount
unit
gesture recognition
Prior art date
Application number
KR1020130008540A
Other languages
English (en)
Other versions
KR101437760B1 (ko
Inventor
타카요시 야마시타
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20130105321A publication Critical patent/KR20130105321A/ko
Application granted granted Critical
Publication of KR101437760B1 publication Critical patent/KR101437760B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

과제
제스처 인식 장치에서, 반복 조작을 인식함에 의해, 유저의 조작성을 향상시킨다.
해결 수단
본 발명의 제스처 인식 장치(1)는, 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 이에 대응하는 처리를 특정하는 제스처 인식부(22)와, 처리 실행 주체가 실행하여야 할 상기 처리의 처리 실행량을 결정하는 실행량 결정부(24)를 구비하고, 실행량 결정부(24)는, 지시체의 형태의 변화에 의거하여, 처리 실행량을 결정한다.

Description

제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체{GESTURE RECOGNITION APPARATUS, ELECTRONIC DEVICE, GESTURE RECOGNITION METHOD, AND COMPUTER-READABLE RECORDING MEDIUM FOR CONTROL PROGRAM}
본 발명은, 제스처를 인식하는 제스처 인식 장치, 전자기기, 제스처 인식 방법, 제어 프로그램, 및, 기록 매체에 관한 것이다.
근래, 제스처 인식 기술은, 인간과 컴퓨터와의 커뮤니케이션 수단으로서, 지능 로봇, 게임, 시뮬레이션, 생산 기술 등, 다양한 분야에서 응용되고, 발전하여 왔다. 구체적으로는, 제스처 인식 장치는, 비디오 카메라(촬상부) 등에 의해, 장치에 대해 지시를 보내는 피사체의 움직임을 촬영하여 얻어진 동화를 화상 처리하여, 상기 피사체의 일련의 특정한 움직임(이하, 제스처)를 인식한다. 또한, 장치에 대해 지시를 보내는 피사체를, 이하, 지시체(指示體)라고 칭한다. 지시체는, 예를 들면, 동물(특히 사람)의 손(手), 손가락(指), 팔(腕), 전신(全身), 또는, 물체 등이다.
컴퓨터는, 제스처 인식 장치에 의해 인식된, 상기 지시체의 제스처의 종류에 응한 다양한 처리를 실행할 수 있다.
구체적으로는, 제스처 인식 장치는, 동화(動畵)의 어느 프레임과 어느 프레임을 비교하여, 지시체가 어디부터 어디로 이동하였는지, 즉, 프레임 사이의 변화량을 구하여 지시체의 움직임(이동 방향 등)을 인식함에 의해, 제스처를 인식할 수 있다.
예를 들면, 특허 문헌 1에는, 피사체의 특정 부위의 왕복 운동을 검출하는 제스처 검출 방법 및 장치가 개시되어 있다.
또한, 특허 문헌 2에는, 2매의 지시체(피사체)의 화상으로부터 제스처를 인식한 장치, 및, 이 제스처 입력에 의해, 유저 인터페이스로 표시된 화상 오브젝트를 조작하는 방법이 개시되어 있다. 또한, 특허 문헌 2에서는, 지시체까지의 거리를 측정 가능한 카메라를 이용함에 의해, 지시체의 안길이(奧行)에 관한 움직임으로부터 제스처를 인식하는 것이 기재되어 있다.
특허 문헌 1 : 일본국 특개2005-352531호 공보(2005년 12월 22일 공개) 특허 문헌 2 : 일본국 특표2011-517357호 공보(2011년 06월 02일 공표)
그러나, 상기 종래의 구성에서는, 이하의 문제가 생긴다. 즉, 다수 표시된 선택 가지(選擇肢) 오브젝트(특허 문헌 2의 예에서는 화상 오브젝트) 중에서 목적하는 오브젝트를 선택하기 위해 지시를 입력한 입력 디바이스로서는, 종래의 제스처 인식 장치는 부적합하다는 문제가 생긴다.
유저는, 일반적인 키보드(예를 들면, 십자키) 등으로도, 목적하는 오브젝트에 도착할 때까지, 커서를 이동시키기 위한 조작(십자키 압하 등)를 반복하여 행한다. 이와 마찬가지로, 제스처 인식 장치에서는, 유저는, 커서가 목적하는 오브젝트에 도착할 때까지, 커서를 이동시키기 위한 제스처를 반복하여 행하여야 한다.
종래, 선택 가지 오브젝트의 일람 표시 레이아웃에 의해, 목적하는 오브젝트에 도달하기까지의 선택 조작 회수를 줄이는 궁리가 행하여지고 있다. 그러나, 반복 조작을 행하는 것을 완전히 회피하는 것은 불가능하여, 여전히, 제스처를 입력하는(지시체를 움직이는) 행위를 반복하여 행하는 것은, 유저에 있어서 번거로운 조작이다.
본 발명은, 상기한 문제점을 감안하여 이루어진 것이고, 그 목적은, 단순한 제스처 입력에 의거하여, 반복 조작을 인식함에 의해, 유저의 조작성을 향상시키는, 제스처 인식 장치, 전자기기, 제스처 인식 방법, 제어 프로그램, 및, 기록 매체를 실현하는 것에 있다.
본 발명의 제스처 인식 장치는, 상기 과제를 해결하기 위해, 촬상된 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 인식한 제스처에 대응하는 처리를, 처리 실행 주체가 실행하여야 할 처리로서 특정하는 제스처 인식 수단과, 상기 제스처 인식 수단에 의해 특정된, 상기 처리 실행 주체가 실행하여야 할 처리의 처리 실행량을 결정하는 처리 실행량 결정 수단을 구비하고, 상기 처리 실행량 결정 수단은, 촬상된 지시체의 형태의 변화에 의거하여, 상기 처리 실행량을 결정하는 것을 특징으로 하고 있다.
상기 구성에 의하면, 우선, 제스처 인식 수단이, 촬상된 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 인식한 제스처에 대응하는 처리를 특정한다. 제스처에 대응하는 처리란, 처리 실행 주체에 실행시켜야 할 처리인 것을 가리킨다. 처리 실행 주체란, 유저에 의해 지시된 제스처에 대응하는 처리를 실행하는 주체를 가리킨다.
계속해서, 처리 실행량 결정 수단은, 촬상된 지시체의 형태의 변화에 의거하여, 제스처 인식 수단에 의해 특정된 처리의 처리 실행량을 결정한다. 처리 실행량이란, 상기 처리 실행 주체가, 상기 처리에 관해 어느 정도의 양을 실행하면 좋은지를 나타내는 정보이다.
즉, 제스처 인식 장치는, 지시체를 촬상한 동화를 처리함에 의해, 처리 실행 주체에 실행시키는 처리의 내용을 특정하는 것에 더하여, 그 처리를 실행하여야 할 양을 결정하는 것이 가능해진다.
이에 의해, 유저는, 지시체를 이동시켜서 제스처를 입력하는 것에 더하여, 지시체의 형태를 변화만 시켜서, 간단하게, 상기 제스처로 지시한 처리를 어느 정도 행하면 좋은지를 제스처 인식 장치에 대해 지정할 수 있다. 즉, 유저는, 상기 제스처를 몇 번이나 반복 입력하는 것에 대신하여, 지시체의 형태를 변화시키는 단순한 동작을 입력함에 의해, 같은 처리를 반복하여 행하는 것을 제스처 인식 장치(처리 실행 주체)에 대해 지시할 수 있다.
예를 들면, 종래, 커서를 좌(左)로 10회 이동시킨다는 처리를 처리 실행 주체에 시키고 싶은 경우에, 당해 처리에 대응하는 제스처(예를 들면, 지시체를 좌로 움직이는 동작)를 10회 행하여야 하였다. 이에 대해, 본 발명의 제스처 인식 장치에 의하면, 유저는, 지시체를 「좌로에 움직이는」 동작 1회와, 지시체의 형태에 변화를 붙이는 동작 1회를 행하는 것만으로 끝난다(여기서는, 예를 들면, 「10회」라는 처리 실행량에 대응하는 변화를 붙이는 것이 된다).
결과로서, 유저의 조작성을 향상시키는 것이 가능해지는 효과를 달성한다.
또한, 상기 제스처 인식 장치는, 지시체를 촬상하여 얻어진 동화의 각 프레임으로부터, 그 지시체의 형태의 변화량을 특정하는 형태 감시 수단을 구비하고, 상기 처리 실행량 결정 수단은, 상기 형태 감시 수단에 의해 특정된 변화량에 비례하여, 상기 처리 실행량을 결정하는 것이 바람직하다.
상기 구성에 의하면, 형태 감시 수단은, 형태를 변화시키고 있는 지시체를 감시하고, 그 변화량을 특정한다. 처리 실행량 결정 수단은, 변화량이 크면 클수록, 처리 실행량이 많아지도록 결정하는 것이 가능해진다.
따라서 유저는, 지시체의 형태의 변화량을 조절함에 의해, 그 반복량(처리 실행량)을, 처리 실행 주체에 대해 간단하게 지정하는 것이 가능해진다. 예를 들면, 지시체의 변화량을 원래의 10배로 하면, 1회의 처리를, 10회 반복 처리 시키도록, 제스처 인식 장치를 통하여, 처리 실행 주체에 대해 지시하는 것이 가능하다.
결과로서, 유저의 조작성을 향상시키는 것이 가능해진다는 효과를 달성한다.
보다 상세하게는, 상기 형태 감시 수단은, 미리 정하여진 상기 지시체의 기준의 형태(예를 들면, 도 9 및 도 13의 기준선(49))과, 촬상된 상기 지시체의 최신의 형태를 비교함에 의해, 상기 변화량을 특정하여도 좋다.
상기 구성에 의하면, 형태 감시 수단은, 촬상된 최신의 지시체의 형태가 어떻게 변화하는지를 나타내는 변화량을, 미리 정해져 있는 절대적인 기준의 지시체의 형태와의 비교에 의해, 구할 수 있다. 따라서, 변화량을 특정하는 처리를 단순화하는 것이 가능하다.
또는, 상기 형태 감시 수단은, 상기 제스처 인식 수단에 의해 제스처가 인식된 시점의 상기 지시체의 형태(예를 들면, 도 14 및 도 15의 시작 형태(s))와, 촬상된 상기 지시체의 최신의 형태를 비교함에 의해, 상기 변화량을 특정하여도 좋다.
상기 구성에 의하면, 형태 감시 수단은, 유저가 제스처 입력을 위해 지시체를 이동시키는 동작을 마친 후, 계속해서 유저가 처리 실행량을 지정하기 위해 지시체의 형태를 변화시키는 동작을 감시한다. 형태 감시 수단은, 지시체의 이동이 종료된 때 지시체의 형태를 최초의 형태(시작 형태)로 간주하고, 이 때 이후에 지시체가 어떻게 변화하는지를 변화량으로서 특정한다.
즉, 유저가, 지시체를 이동시키는 동작을 마친 후부터, 처리 실행량을 지정하기 위해 지시체를 움직였던 양이, 형태 감시 수단에 의해 직접적으로 변화량으로서 특정되고, 처리 실행량 결정 수단에 의해 직접적으로 처리 실행량으로 변환된다.
따라서 처리 실행량을 지정하기 위한 동작과, 그 결과 처리 실행 주체가 처리를 반복한 양이 유저의 감각에 의해 한층 일치하고, 유저에 있어서 보다 직감적인 유저 인터페이스를 실현할 수 있다.
또한, 상기 처리 실행량 결정 수단은, 상기 처리 실행 주체의 처리 실행량의 최대치에 대응하는, 미리 정하여진 기준의 최종 형태(예를 들면, 도 13 및 도 15의 최종 형태(e))에서의 최대 변화량(예를 들면, 도 13 및 도 15의 θall)에 대해, 상기 형태 감시 수단에 의해 특정된 최신의 형태에서의 변화량(예를 들면, 도 13 및 도 15의 θt)이 차지하는 비율에 의거하여, 상기 처리 실행량을 결정하여도 좋다.
상기 구성에서는, 처리 실행 주체의 처리 실행량의 최대치가 미리 결정되어 있고, 유저는, 지시체의 형태를 어디까지 변화시키면, 가장 많이 처리 실행 주체에 처리를 실행시키는지를 파악하고 있다. 즉, 기준의 최종 형태를 파악하고 있다.
처리 실행량 결정 수단은, 유저가 변화시킨 지시체의 형태의 변화량이, 기준의 최종 형태의 최대 변화량에 대해 몇 % 도달하고 있는지에 응하여, 실제로, 처리 실행 주체에 실행시키는 처리 실행량을 결정한다.
이와 같이, 처리 실행량의 최대치에 대한 최대 변화량이 미리 정해져 있는 구성에서는, 유저는, 지시체의 형태를 어느 정도 변화시키면, 처리를 어느 정도의 량 실행시킬 수 있는지를 예측하는 것이 가능해진다.
또한, 상기 형태 감시 수단은, 상기 지시체의 기울기가 변화하는 각도를 상기 변화량으로서 특정하여도 좋다. 또한, 상기 형태 감시 수단은, 상기 지시체로서의 손가락의 기울기의 변화량을 특정하여도 좋다.
상기 구성에 의하면, 유저는, 손가락의 기울기를 바꾸는 간단한 동작에 의해, 처리 실행량을 제스처 인식 장치(처리 실행 주체)에 대해 지정할 수 있다.
또한, 상기 처리 실행량 결정 수단은, 상기 형태 감시 수단에 의해 특정된, 상기 지시체에서의 최신의 형태의 변화량이, 상기 지시체에서의 직전의 형태의 변화량을 하회하는 경우에, 상기 처리 실행 주체에 의한 처리의 실행의 정지를 결정하여도 좋다.
지시체의 최신의 형태의 변화량이, 상기 지시체에서의 직전의 형태의 변화량을 하회한다는 것은, 유저는, 지금까지 진행하여 온 지시체의 형태의 변화를 되돌려서, 원래의 지시체의 형태(기준의 형태 또는 시작 형태)에 접근하였다는 것을 의미한다.
유저에 있어서, 진행하여 온 동작을 원래로 되돌리는 동작부터는, 지금까지 실행되어 온 처리를 정지시킨다는 결과에 결부되기 쉽다.
이와 같이, 처리 실행의 정지를 지시하기 위한 유저 인터페이스를 유저에 있어서 보다 직감적인 것으로 할 수 있다.
또는, 상기 형태 감시 수단은, 상기 지시체의 이동 방향과 반대의 진행 방향을 향하여 변화하는, 상기 지시체의 형태의 변화량을 부(負)의 수(數)에 의해 특정하고, 상기 처리 실행량 결정 수단은, 상기 형태 감시 수단에 의해 특정된, 상기 지시체에서의 최신의 형태의 변화량이, 부의 수인 경우에, 상기 제스처 인식 수단에 의해 특정된 상기 처리의 원래의 진행 방향과 반대의 진행 방향에서의 처리 실행량을 결정하여도 좋다.
지시체에서의 최신의 형태의 변화량이, 부의 수라는 것은, 유저가 제스처 입력을 위해 지시체를 이동시킨 방향과는 반대의 방향을 향하여, 지시체의 형태를 변화시켰다는 것을 의미한다.
유저에 있어서, 지금까지와 반대의 방향으로 지시체를 진행한다는 동작부터는, 지금까지의 진행 방향과는 반대의 방향으로 처리를 진행시킨다는 결과에 결부되기 쉽다.
이와 같이, 처리의 진행 방향을 반대측으로 전환하는 것을 지시하기 위한 유저 인터페이스를 유저에 있어서 보다 직감적인 것으로 할 수 있다.
또한, 상기 처리 실행량 결정 수단은, 상기 처리 실행 주체가, 상기 제스처 인식 수단에 의해 특정된 처리를 실행하여야 할 회수를, 상기 처리 실행량으로서 결정하여도 좋다.
또는, 상기 처리 실행량 결정 수단은, 상기 제스처 인식 수단에 의해 특정된 처리가, 배치된 복수의 선택 가지의 어느 하나에 맞추어진 포커스를 다른 선택 가지로 천이시키는 처리인 경우에, 선택 가지 몇 개 걸러서 포커스를 천이시키는지를 나타내는 선택 가지의 개수를, 상기 처리 실행량으로서 결정하여도 좋다.
상술한 바와 같이 본 발명의 제스처 인식 장치에서, 상기 처리 실행량 결정 수단은, 상기 형태 감시 수단에 의해 특정된, 촬상된 상기 지시체로서의 손가락의 기울기가 변화할 때의 각도의 변화량에 비례하여 상기 처리 실행량을 결정하고, 상기 처리 실행량이란, 상기 제스처 인식 수단에 의해 특정된 처리가, 배치된 복수의 선택 가지의 어느 하나에 맞추어진 포커스를 다른 선택 가지로 천이시키는 처리인 경우에, 선택 가지 몇 개 걸러서 포커스를 천이시키는지를 나타내는 선택 가지의 개수라도 좋다.
또한, 상기 처리 실행량 결정 수단은, 상기 이동을 시작한 상기 지시체의 형태의 변화에 의거하여 상기 처리 실행량을 결정하는 것이 바람직하다.
이에 의해, 유저는, 제스처 입력의 이동에 이용한 지시체를, 계속해서, 그대로 처리 실행량을 지정하기 위한 동작에 이용할 수 있다.
또는, 상기 처리 실행량 결정 수단은, 상기 이동을 시작한 상기 지시체와는 다른, 촬상된 제 2의 지시체의 형태의 변화에 의거하여 상기 처리 실행량을 결정하여도 좋다.
복수의 지시체를 이용함에 의해, 처리 실행량을 지정하기 위한 동작의 표현력이 증가하고, 보다 상세히, 또는, 보다 다단계적으로, 처리 실행량을 지정하는 것이 가능해진다.
또한, 상술한 제스처 인식 장치와, 상기 지시체를 촬상한 촬상 화상을 상기 제스처 인식 장치에 공급하는 촬상부와, 상기 제스처 인식 장치에 의해 특정된 처리를, 상기 제스처 인식 장치에 의해 결정된 처리 실행량에 따라 실행하는 처리 실행 주체를 구비하고 있는 전자기기도 본원 발명의 범주에 들어간다.
상기 전자기기에서, 상기 제스처 인식 장치에 의해 특정된 처리가, 배치된 복수의 선택 가지의 어느 하나에 맞추어진 포커스를 다른 선택 가지로 천이시키는 처리인 경우에, 상기 제스처 인식 장치에 의해 결정된 처리 실행량은, 선택 가지 몇 개 걸러서 포커스를 천이시키는지를 나타내는 선택 가지의 개수이고, 상기 처리 실행 주체는, 상기 제스처 인식 장치에 의해 결정된 선택 가지의 개수에 따라, 당해 개수마다의 각 선택 가지로 포커스를 천이시켜도 좋다.
본 발명의 제스처 인식 방법은, 상기 과제를 해결하기 위해, 촬상된 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 인식한 제스처에 대응하는 처리를, 처리 실행 주체가 실행하여야 할 처리로서 특정하는 제스처 인식 스텝과, 상기 제스처 인식 스텝에 특정된, 상기 처리 실행 주체가 실행하여야 할 처리의 처리 실행량을 결정하는 처리 실행량 결정 스텝을 포함하고, 상기 처리 실행량 결정 스텝에서는, 촬상된 지시체의 형태의 변화에 의거하여, 상기 처리 실행량을 결정하는 것을 특징으로 하고 있다.
또한, 상기 제스처 인식 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 수단으로서 동작시킴에 의해 상기 제스처 인식 장치를 컴퓨터에 실현시키는 제스처 인식 장치의 제어 프로그램, 및, 그것을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.
본 발명의 제스처 인식 장치는, 상기 과제를 해결하기 위해, 촬상된 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 인식한 제스처에 대응하는 처리를, 처리 실행 주체가 실행하여야 할 처리로서 특정하는 제스처 인식 수단과, 상기 제스처 인식 수단에 의해 특정된, 상기 처리 실행 주체가 실행하여야 할 처리의 처리 실행량을 결정하는 처리 실행량 결정 수단을 구비하고, 상기 처리 실행량 결정 수단은, 촬상된 지시체의 형태의 변화에 의거하여, 상기 처리 실행량을 결정하는 것을 특징으로 하고 있다.
본 발명의 제스처 인식 방법은, 상기 과제를 해결하기 위해, 촬상된 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 인식한 제스처에 대응하는 처리를, 처리 실행 주체가 실행하여야 할 처리로서 특정하는 제스처 인식 스텝과, 상기 제스처 인식 스텝에 특정된, 상기 처리 실행 주체가 실행하여야 할 처리의 처리 실행량을 결정하는 처리 실행량 결정 스텝을 포함하고, 상기 처리 실행량 결정 스텝에서는, 촬상된 지시체의 형태의 변화에 의거하여, 상기 처리 실행량을 결정하는 것을 특징으로 하고 있다.
단순한 제스처 입력에 의거하여, 반복 조작을 인식하는 것이 가능해지고, 결과로서, 유저의 조작성이 향상한다는 효과를 달성한다.
도 1은 디지털 텔레비전(전자기기)에 탑재된, 본 발명의 한 실시 형태에서의 제스처 인식 장치의 주요부 구성을 도시하는 블록도.
도 2는 제스처 인식 장치에 공급되는 동화의 1프레임의 한 구체예를 도시하는 도면이고, 시작 인식부의 동작을 설명하는 도면.
도 3은 지시체 검출부에 공급되는 지시체 포함 영역의 한 구체예를 도시하는 도면이고, 지시체 검출부의 동작을 설명하는 도면.
도 4는 제스처 인식부(22)가 추미하는 프레임상의 지시체 기준점의 한 구체예를 도시하는 도면.
도 5는 제스처 인식부(22)가 추미하는 프레임상의 지시체 기준점의 한 구체예를 도시하는 도면.
도 6은 제스처 규칙 기억부에 기억되어 있는 제스처 규칙의 데이터 구조 및 구체예를 도시하는 도면.
도 7은 제스처 인식부가 제스처를 인식한 직후, 형태 감시부(23)에 공급된 프레임의 한 구체예를 도시하는 도면.
도 8은 형태 감시부가, 감시 대상의 손가락의 기울기를 특정하기 위한, 손가락의 주축을 특정하는 방법의 한 구체예를 도시하는 도면.
도 9는 형태 감시부가, 손가락의 기울기를 특정하는 방법의 한 구체예를 도시하는 도면.
도 10은 인식된 제스처에 따라, 처리 실행 주체가 처리를 실행한 결과, 얻어지는 표시 화면의 한 구체예를 도시하는 도면.
도 11은 인식된 제스처에 따라, 처리 실행 주체가 처리를 실행한 결과, 얻어지는 표시 화면의 한 구체예를 도시하는 도면.
도 12는 제스처 인식 장치가 실행하는 제스처 인식 처리 및 처리 실행 주체가 실행하는 오브젝트 처리의 흐름을 도시하는 플로 차트.
도 13은 본 발명의 다른 실시 형태에서의 처리 실행량 결정 방법을 설명하는 도면.
도 14는 본 발명의 다른 실시 형태에서의 처리 실행량 결정 방법을 설명하는 도면.
도 15는 본 발명의 다른 실시 형태에서의 처리 실행량 결정 방법을 설명하는 도면.
도 16은 제스처 입력시의 이동 방향에 대한 형태 변화의 진행 방향을 고려하여, 처리 실행의 정지를 결정하는 방법을 설명하는 도면.
도 17은 제스처 입력시의 이동 방향에 대한 형태 변화의 진행 방향을 고려하여, 실행하여야 할 처리의 진행 방향을 결정하는 방법을 설명하는 도면.
도 18은 형태 감시부가 감시하는, 지시체의 형태의 변화량에 관한 다른 예를 도시하는 도면.
도 19는 형태 감시부가 감시하는, 지시체의 형태의 변화량에 관한 다른 예를 도시하는 도면.
도 20은 형태 감시부가 감시하는, 지시체의 형태의 변화량에 관한 다른 예를 도시하는 도면.
도 21은 형태 감시부가 감시하는, 지시체의 형태의 변화량에 관한 다른 예를 도시하는 도면.
도 22는 본 발명의 제스처 인식 장치를 다른 전자기기에 탑재한 양상을 도시하는 도면.
도 23은 본 발명의 제스처 인식 장치를 다른 전자기기에 탑재한 양상을 도시하는 도면.
도 24는 본 발명의 제스처 인식 장치를 다른 전자기기에 탑재한 양상을 도시하는 도면.
≪실시 형태 1≫
본 발명의 실시 형태에 관해, 도면에 의거하여 설명하면 이하와 같다.
이하에서 설명하는 실시 형태에서는, 본 발명의 제스처 인식 장치를, 처리 실행 주체로서의 표시 장치에 적용한 경우에 관해 설명한다. 처리 실행 주체란, 본 발명의 제스처 인식 장치에 의해 인식된 제스처에 대응하는 처리를 실행하는 주체를 가리킨다. 표시 장치는, 예를 들면, 이것으로 한정되지 않지만, 디지털 텔레비전, 태블릿 PC(Personal Computer), 스마트 폰, 휴대 전화, 전자 서적 리더, 전자 수첩, PDA(Personal Digital Assistant), 퍼스널 컴퓨터, 노트 퍼스널 컴퓨터, 디지털 카메라, 디지털 비디오 카메라, 가정용 게임기, 휴대용 게임기, 디지털 포토 프레임 등이다. 또한, 본 발명의 제스처 인식 장치는, 이들의 표시 장치와 접속하는, 처리 실행 주체로서의, 녹화 재생 장치(BD(Blu-ray Disc) 레코더, DVD(Digital Versatile Disc) 레코더) 등에 적용되어도 좋다.
이하의 설명에서는, 한 예로서, 본 발명의 제스처 인식 장치를 디지털 텔레비전에 적용한 경우에 관해 설명한다.
또한, 이하의 도면에서 동일 또는 상당하는 부분에는, 동일한 참조 부호를 붙이는 것으로 하고, 그들의 설명은 중복해서 행하지 않는다. 또한, 도면에서 길이, 크기 및 폭 등의 치수 관계 및 형상은, 도면의 명료화와 간략화를 위해 적절하게 변경되어 있고, 실제의 치수 및 형상을 나타내지는 않는다.
[제스처 인식 장치의 구성]
도 1은, 표시 장치로서의 디지털 텔레비전에 탑재된, 본 발명의 한 실시 형태에서의 제스처 인식 장치의 주요부 구성을 도시하는 블록도이다.
우선, 디지털 텔레비전의 하드웨어 구성에 관해 설명하면, 도 1에 도시하는 바와 같이, 디지털 텔레비전(100)은, 적어도, 제어부(10), 기억부(11), 촬상부(12) 및 표시부(13)를 구비하는 구성으로 되어 있다. 그 밖에도, 디지털 텔레비전(100)은, 디지털 텔레비전의 일반적인 기능을 구비하고 있지만, 이 중 본 발명에 직접 관계가 없는 부분에 관해서는 기재를 생략하였다.
촬상부(12)는, 디지털 텔레비전(100)의 주변(특히, 전방)을 촬상하고, 지시체의 움직임을 잡기 위한 동화를 얻는 것이다. 촬상부(12)는, 예를 들면, CCD(Charge Coupled Devices) 카메라 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 카메라 등으로 실현되지만, 그 밖의 촬상 장치를 촬상부(12)로서 이용하여도 좋다. 촬상부(12)가 촬상하여 얻어진 동화는, 디지털 텔레비전(100)에 탑재된 제스처 인식 장치(1)에 공급된다. 예를 들면, 유저는, 촬상부(12)의 앞에서, 지시체(손가락, 얼굴, 전신, 또는, 도구 등)를 움직인다. 이에 의해, 유저는, 제스처 인식 장치(1)에 대해 제스처를 입력할 수 있다.
표시부(13)는, 디지털 텔레비전(100)(제스처 인식 장치(1), 또는, 디지털 텔레비전(100)에서, 디지털 텔레비전의 일반적인 기능을 실현하는 표시 장치(2))이 처리한 정보를 표시하는 것이다. 예를 들면, 표시부(13)는, 유저가 디지털 텔레비전(100)을 조작하기 위한 조작 화면을 GUI(Graphical User Interface) 화면으로서 표시한다. 표시부(13)는, 디지털 텔레비전(100)이 처리 가능한, 화상(동화 또는 정지화) 또는 아이콘을 일람 표시한다. 표시부(13)는, 화상 또는 아이콘 외에도, 유저가 선택 가능하는, 여러가지의 선택 가지 오브젝트(이하, 오브젝트라고 칭한다)를 일람 표시할 수 있다. 표시부(13)는, 예를 들면, LCD(액정 디스플레이) 등의 표시 장치로 구성된다.
기억부(11)는, (1) 디지털 텔레비전(100)의 제어부(10)가 실행하는 제어 프로그램, (2) 제어부(10)가 실행하는 OS 프로그램, (3) 제어부(10)가, 제스처 인식 장치(1) 또는 표시 장치(2)가 가지는 각종 기능을 실행하기 위한 어플리케이션 프로그램, 및, (4) 그 어플리케이션 프로그램을 실행할 때에 판독하는 각종 데이터를 비(非)일시적으로 기억하는 것이다. 또는, (5) 제어부(10)가 각종 기능을 실행하는 과정에서 연산에 사용하는 데이터 및 연산 결과 등을 일시적으로 기억하는 것이다. 예를 들면, 상기한 (1) 내지 (4)의 데이터는, ROM(read only memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically EPROM), HDD(Hard Disc Drive) 등의 불휘발성 기억 장치에 기억된다. 예를 들면, 상기한 (5)의 데이터는, RAM(Random Access Memory) 등의 휘발성 기억 장치에 기억된다. 어느 데이터를 어느 기억 장치에 기억하는지에 관해서는, 디지털 텔레비전(100)의 사용 목적, 편리성, 비용, 물리적인 제약 등으로부터 적절히 결정된다. 예를 들면, 촬상부(12)에 의해 촬상되어 얻어진 동화 데이터는, 제스처 인식 장치(1)가 처리할 수 있도록, 휘발성 기억 장치에서 실현된 기억부(11)에 일시적으로 보존된다. 한편, 제스처 인식 장치(1)가 제스처를 인식하기 위해 필요한 규칙 등은, 불휘발성 기억 장치에서 실현되는 기억부(11)에 비일시적으로 보존된다. 또한, 예를 들면, 표시 장치(2)(디지털 텔레비전(100))이 표시부(13)에 표시한 오브젝트의 데이터는, 불휘발성 기억 장치에서 실현된 기억부(11)에 비일시적으로 보존된다.
제어부(10)는, 디지털 텔레비전(100)이 구비하는 각 부분을 통괄 제어하는 것이다. 제스처 인식 장치(1)를 실현하기 위한 기능 블록으로서, 제어부(10)는, 적어도, 제스처 인식부(22), 형태 감시부(23) 및 실행량 결정부(24)를 구비하고 있다. 또한, 제어부(10)는, 제스처 인식 장치(1)를 실현하기 위한 기능 블록으로서, 시작 인식부(20) 및 지시체 검출부(21)를 구비하고 있어도 좋다.
또한, 제어부(10)는, 표시 장치(2)(디지털 텔레비전)를 실현하기 위한 기능 블록으로서, 오브젝트 처리부(25)를 구비하고 있어도 좋다.
상술한 제어부(10)의 각 기능 블록은, CPU(central processing unit) 등이, ROM(read only memory), NVRAM(non-Volatile random access memory) 등으로 실현된 불휘발성 기억 장치에 기억되어 있는 프로그램을 RAM(random access memory) 등의 휘발성 기억 장치에 판독하여 실행함으로써 실현할 수 있다.
다음에, 디지털 텔레비전(100)의 제어부(10)가 실현하는 각종 기능에 관해, 이하에 상세히 기술한다.
(본 발명의 제스처 인식 장치(1)에서의 제스처 인식 기능)
시작 인식부(20)는, 제스처 입력의 시작을 인식하는 것이다.
디지털 텔레비전(100)에 전원이 들어가 있는 동안, 촬상부(12)는, 항상, 동화의 촬영을 계속해서 있다. 즉, 유저가 제스처를 입력하고 있는(의도적으로 지시체를 움직이고 있는) 경우도, 유저가 제스처를 입력하지 않는(의도적으로 지시체를 움직이지 않는) 경우도, 항상, 촬상부(12)로부터 동화가 공급된다. 따라서 전자(前者)의 경우를, 후자와 구별하여, 전자의 경우만, 동화를 처리하고 제스처 인식 처리를 실행하는 것이 바람직하다. 이에 의해, 처리 부하가 높은 제스처 인식 처리가, 불필요한 동화의 프레임에 대해 필요없이 실행되는 것을 회피할 수 있기 때문이다.
시작 인식부(20)는, 제스처 인식부(22)에 의해 인식된다, 디지털 텔레비전(100)에 대해 제스처가 입력될 때의 움직임이란 종류가 다른 특수한 움직임을 인식한다. 그리고, 시작 인식부(20)는, 이 특수한 움직임을, 제스처 인식 장치(1)에 대해 입력된, 제스처 입력의 시작을 알리는 의도(合圖)로서 인식한다.
도 2는, 제스처 인식 장치(1)에 공급되는 동화의 1프레임의 한 구체예를 도시하는 도면이고, 시작 인식부(20)의 동작을 설명하는 도면이다.
본 실시 형태에서는, 한 예로서, 시작 인식부(20)는, 유저가 손가락 또는 손을 미세하게 흔드는 움직임을, 제스처 입력 시작의 의도로서 인식한다.
보다 구체적으로는, 시작 인식부(20)는, 촬상부(12)로부터 순서대로 공급되어 오는 동화의 각 프레임을 순차적으로 처리하여, 프레임 사이 차분을 순차적으로 구하여 간다. 시작 인식부(20)는, 구한 프레임 사이의 차분치를 기억부(11)에 일시적으로 격납하여 누적하여 간다. 이 차분치의 누적치가 소정치를 초과한 때, 시작 인식부(20)는, 제스처 입력 시작의 의도가 입력되었다고 인식한다.
예를 들면, 도 2에 도시하는 바와 같이, 유저가 촬상부(12)의 앞에서, 일정 기간, 손가락을 좌우로 미세하게 흔들었다고 한다. 시작 인식부(20)는, 프레임 사이를 비교하여, 영역(40)에 변화가 심한 부분을 인지한다. 이에 의해, 시작 인식부(20)는, 제스처 입력 시작의 의도가 입력되었다고 인식할 수 있다.
본 실시 형태에서는, 또한, 시작 인식부(20)는, 이 일정 이상의 차분치의 누적이 인지된 영역(40)을, 지시체가 포함되어 있는 지시체 포함 영역(40)으로서 특정하는 것이 바람직하다.
이에 의해, 하류의 공정에서의 각 기능부(특히, 지시체 검출부(21))의 처리 효율을 향상시키는 것이 가능하다. 하류의 공정에서의 각 기능부는, 지시체의 움직임을 인식하기 위해, 우선, 지시체를 특정하는 처리를 행한다. 지시체를 특정하기 위해 주사하는 영역이, 프레임 전체로부터 지시체 포함 영역(40)으로 조여지면, 지시체 검출부(21)의 처리 효율이 현격하게 향상하는 것은 분명하다.
지시체 검출부(21)는, 제스처 입력을 행하는 지시체를 검출하는 것이다.
제스처 인식 장치(1)는, 지시체가 어떤 움직임을 행하는지에 의해 입력된 제스처를 인식하는 장치이기 때문에, 움직임을 추미(追尾)하여야 할 대상이 프레임상의 어디에 있는지를 특정할 필요가 있다. 지시체 검출부(21)는, 추미 대상의 지시체 영역을 검출한다.
도 3의 (a) 및 (b)는, 지시체 검출부(21)에 공급되는 지시체 포함 영역(40)의 한 구체예를 도시하는 도면이고, 지시체 검출부(21)의 동작을 설명하는 도면이다.
본 실시 형태에서는, 지시체는, 유저의 손가락이고, 유저는, 손가락을 촬상부(12)의 앞에서 움직여서 제스처를 입력한다. 따라서, 본 실시 형태에서는, 지시체 검출부(21)는, 도 3의 (a) 또는 (b)에 도시하는 바와 같이, 지시체 포함 영역(40)에 포함되는 유저의 손가락의 영역을, 지시체 영역(41)으로서 검출한다.
지시체 검출부(21)가, 지시체 영역(41)을 검출하는 방법으로는, 이것으로는 한정되지 않지만, 이하의 방법을 들 수 있다. 예를 들면, 지시체 검출부(21)는, snake법 등의 윤곽 추출 수법에 의해 지시체 영역(41)을 검출하여도 좋다(도 3의 (a)의 파선 테두리 영역). 또는, 지시체 검출부(21)는, HSV색 공간에서 살색 모델을 이용하여, 살색의 영역을 지시체 영역(41)으로서 검출하여도 좋다(도 3의 (b)의 망점 영역).
이에 의해, 하류의 공정에서의 각 기능부((특히, 제스처 인식부(22))는, 제스처 인식을 위해 추미하여야 할 지시체를 지시체 영역(41)에 명확하게 조여넣을 수 있다.
또한, 본 실시 형태에서는, 지시체 검출부(21)는, 지시체 영역(41)에 포함된 1점을, 지시체 기준점(42)으로서 검출하는 것이 바람직하다. 본 실시 형태에서는, 한 예로서, 지시체 검출부(21)는, 손가락의 선단(先端)을 지시체 기준점(42)으로서 검출한다.
이에 의해, 제스처 인식부(22)는, 제스처 인식을 위해 추미하여야 할 지시체를, 지시체 영역(41)이 아니고, 지시체 기준점(42)으로서 명확하게 조여넣을 수 있다. 지시체를 추미하는 대상이, 지시체 영역(41)으로부터 지시체 기준점(42)에 조여지면, 제스처 인식부(22)의 처리 효율이 현격하게 향상하는 것은 분명하다.
제스처 인식부(22)는, 지시체의 움직임으로부터 제스처를 인식하고, 제스처에 대응하는 지시 내용을 특정하는 것이다. 본 실시 형태에서는, 각 제스처에는, 각각, 디지털 텔레비전(100)이 실행하여야 할 처리가 대응지어져 있다. 따라서, 제스처 인식부(22)는, 인식한 제스처에 대응하는, 디지털 텔레비전(100)이 실행하는 처리의 내용을 특정한다.
도 4 내지 도 6은, 제스처 인식부(22)의 동작을 설명하는 도면이다. 도 4 및 도 5는, 제스처 인식부(22)가 추미하는 프레임상의 지시체 기준점(42)의 한 구체예를 도시하는 도면이다. 도 6은, 제스처 규칙 기억부(30)에 기억되어 있는 제스처 규칙의 데이터 구조 및 구체예를 도시하는 도면이다.
본 실시 형태에서는, 한 예로서, 제스처 인식부(22)는, 지시체의 상하 좌우의 이동을 제스처로서 인식한다. 즉, 제스처 인식부(22)는, 도 4에 도시하는 바와 같이, 지시체가, 「좌로 이동」, 「우로 이동」, 「상으로 이동」, 및, 「하로 이동」의 4종류의 제스처를 인식한다. 제스처 인식부(22)는, 「원을 그리는」 등, 상기 4종류로 한정되지 않고, 다른 제스처를 인식하여도 좋다.
구체적으로는, 제스처 인식부(22)는, 지시체 검출부(21)에 의해 검출된 지시체 기준점(42)을 추미하고, 동화의 각 프레임을 순차적으로 처리한다. 그리고, 제스처 인식부(22)는, 지시체 기준점(42)의 이동 방향과, 이동 거리를 순차적으로 구한다. 이동 거리는, 지시체 기준점(42)의 위치에 관해 프레임 사이 차분을 구함으로써 얻어진다. 제스처 인식부(22)는, 구한 지시체 기준점(42)의 이동 거리를 기억부(11)에 일시적으로 격납하여 누적하여 간다. 이 이동 거리의 누적치가 소정치를 초과한 때, 제스처 인식부(22)는, 상기 구한 이동 방향으로의 지시체의 이동이 행하여진 것을 인식한다.
예를 들면, 도 5에 도시하는 예에서는, 제스처 인식부(22)는, 지시체 기준점(42)이, 원래의 위치(흰원)로부터, 현재의 위치(검은원)로 이동함에 의해, 지시체 기준점(42)의 「이동」과, 그 이동 방향(43)을 인식한다.
도 4에서의 좌향의 화살표, 즉, 이동 방향(43)은, 이 프레임상에서는(촬상부(12)에서 보아), 지시체 기준점(42)이 우로 이동하고 있는 것을 나타내고 있다. 한편, 이동 방향(43)은, 지시체를 움직이고 있는 본인인 유저에 의해, 지시체를 좌로 움직이고 있다고 인식된 방향이다. 따라서, 제스처 인식부(22)는, 지시체(지시체 기준점(42))의 이동 방향을, 이동 방향(43) 특정한 경우에는, 「좌로 이동」의 제스처가 입력되었다고 인식한다. 반대 방향, 즉, 이동 방향(44)을, 지시체 기준점(42)의 이동 방향이라고 구한 경우에는, 제스처 인식부(22)는, 「우로 이동」의 제스처가 입력되었다고 인식한다.
또한, 제스처의 종류별은, 여기서는, 도시하지 않지만, 식별 정보에 의해 식별되어도 좋다. 예를 들면, 「좌로 이동」, 「우로 이동」, 「상으로 이동」, 및, 「하로 이동」의 제스처에는, 각각, 「00」, 「01」, 「10」, 및, 「11」등의 식별 정보가 할당되어 있어도 좋다. 이 경우, 이동 방향(43)(도 4 및 도 5)이 특정되면, 제스처 인식부(22)는, 「00」의 제스처가 입력되었다고 인식한다.
다음에, 제스처 인식부(22)는, 인식한 제스처에 대응하는 지시 내용, 즉, 디지털 텔레비전(100)이 실행하여야 할 처리의 내용을 특정한다. 본 실시 형태에서는, 제스처 인식부(22)는, 제스처 규칙 기억부(30)에 기억되어 있는 제스처 규칙(도 6)에 따라, 입력된 제스처에 대응하는 처리를 특정한다.
도 6에 도시하는 바와 같이, 제스처 규칙 기억부(30)는, 제스처 인식부(22)가 인식한 제스처의 종류마다, 디지털 텔레비전(100)에 의해 실행되는 처리가 대응지어져 있다. 또한, 도 6에서는, 제스처 규칙을 테이블 형식으로 나타내고 있지만, 이것은, 제스처 규칙 기억부(30)에 기억된 제스처 규칙의 데이터 구조를 테이블로 한정하는 것을 의도(意圖)하고 있지 않다.
도 6에 도시하는 예에서는, 이동 방향(43)에 의거한 「좌로 이동」의 제스처에는, 처리「포커스를 오브젝트 1개분 『좌』로 천이시키는」만 대응지어져 있다. 따라서 지시체가, 이동 방향(43)에 따라 이동한 경우에는, 제스처 인식부(22)는, 「좌로 이동」의 제스처를 인식하고, 디지털 텔레비전(100)이 실행하여야 할 처리는, 「포커스를 오브젝트 1개분 『좌』로 천이시키는」 것이라고 특정한다.
형태 감시부(23)는, 지시체의 형태의 변화를 감시, 그 변화량을 특정하는 것이다. 형태 감시부(23)는, 제스처 인식부(22)에 의한 제스처 인식의 처리가 시작된 후에, 지시체의 형태의 감시를 시작하여도 좋고, 제스처 인식부(22)가 제스처를 인식한 후에, 지시체의 형태의 감시를 시작하여도 좋다. 또한, 형태 감시부(23)는, 유저가, 제스처를 입력하기 위해 움직이고 있던 상기 지시체(손가락)의 형태 변화를 감시하여도 좋고, 상기 지시체와 동(同) 프레임에 찍혀 있는 다른 지시체(제 2의 지시체)의 형태 변화를 감시하여도 좋다.
본 실시 형태에서는, 우선 제스처 인식부(22)가 제스처를 인식하고, 그 후에, 이번에는, 형태 감시부(23)가, 당해 제스처를 입력하기 위해 움직이고 있던(이동하고 있던) 동 지시체의 형태 변화를 감시하는 것으로 한다. 즉, 유저는, 제스처 입력을 위해, 지시체를 상하 좌우의 어느 하나의 방향으로 이동시킨 후, 금후는, 동 지시체의 형태를 변화시킨다. 본 발명에서, 지시체의 형태를 변화시키는 동작은, 앞서 입력한 제스처에 대응하는 처리를 어느 정도의 량(量) 반복하는지를 지시하기 위한 처리 실행량 지정 동작이다. 본 발명에서, 유저는, 같은 제스처를 반복하여 입력하는 것에 대신하여, 상기 처리 실행량 지정 동작을 하나 행하는 것만으로, 반복 처리를 디지털 텔레비전(100)에 대해 지시할 수 있다.
도 7 내지 도 9는, 형태 감시부(23)의 동작을 설명하는 도면이다. 도 7은, 제스처 인식부(22)가 제스처를 인식한 직후, 제스처 인식 장치(1)에 입력된 프레임의 한 구체예를 도시하는 도면이다. 도 8은, 형태 감시부(23)가, 지시체의 형태로서의 손가락의 기울기를 구하기 위한, 손가락의 주축(主軸)을 특정하는 방법의 한 구체예를 도시하는 도면이다. 도 9는, 형태 감시부(23)가, 손가락의 기울기를 구하는 방법의 한 구체예를 도시하는 도면이다.
본 실시 형태에서는, 형태 감시부(23)는, 한 예로서, 제스처 입력을 위한 이동을 마친 지시체, 즉, 유저의 손가락의 기울기의 변화를, 형태의 변화로서 감시한다.
우선, 형태 감시부(23)는, 도 7에 도시하는 바와 같이, 제스처 인식부(22)가 제스처를 인식한 직후의 프레임으로부터, 시작 대상이 되는 지시체를 특정한다. 여기서는, 형태 감시부(23)는, 시작 인식부(20)에 의해 특정된 지시체 포함 영역(40)과, 지시체 검출부(21)에 의해 특정된 지시체 영역(41)을 취득한다. 지시체 영역(41)은, 여기서는, 방금 전까지 제스처 입력을 행하고 있던 유저의 손가락이다.
다음에, 본 실시 형태에서는, 형태 감시부(23)는, 유저의 손가락의 기울기를 구하기 위해, 감시 대상의 손가락의 기준이 되는 주축을 특정한다. 형태 감시부(23)가, 손가락의 주축을 구하는 방법은 이것으로 한정되지 않지만, 예를 들면, 이하의 방법이 생각된다.
도 8에 도시하는 바와 같이, 형태 감시부(23)는, 지시체 포함 영역(40)에서 지시체 영역(41) 중, 돌기물의 형상(손가락의 형상)을 갖는 돌기 부분(41')을 특정하고, 이 돌기 부분의 외접 사각형을 주목 영역(45)으로서 잘라낸다(切出). 그리고, 형태 감시부(23)는, 주목 영역(45)에서의 돌기 부분(41')의 중심(重心)(46)을 구한다. 형태 감시부(23)는, 중심(46)을 통과하는 직선(47)을 정의한다. 중심(46)을 통과하는 직선(47)은 무수하게 있기 때문에, 본 실시 형태에서는, 한 예로서, 형태 감시부(23)는, 중심(46)을 통과하는 직선(47)을, 중심(46)을 수직으로 통과하는 직선(47)을 기준으로 하여 5도 간격으로 정의하여도 좋다. 계속해서, 형태 감시부(23)는, 정의한 각 직선(47)중, 주목 영역(45)에서, 돌기 부분(41')과 겹쳐지는 선분의 길이가 가장 길어지는 직선(47)을, 손가락의 주축으로서 특정한다. 도 8에 도시하는 예에서는, 형태 감시부(23)는, 돌기 부분(41')과 겹쳐지는 선분의 길이가 가장 길어지는 직선으로서, 굵은 직선(47)을, 주축(48)으로 특정한다.
최후로, 형태 감시부(23)는, 이상과 같이 구한 손가락의 주축(48)과, 기준이 되는 각도를 갖는 직선이 이루는 각도를 구함에 의해, 감시 대상인 지시체(유저의 손가락)의 기울기를 얻을 수 있다. 그리고, 상기 각도의 변화를 감시함에 의해, 형태의 변화, 즉, 손가락의 기울기의 변화를 감시할 수 있다.
본 실시 형태에서는, 한 예로서, 형태 감시부(23)는, 도 9에 도시하는 바와 같이, 프레임에 대해 수직한 선을, 기준선(49)으로 정의한다. 여기서는, 형태 감시부(23)는, 기준선(49)이 기울기(θs)를 0도로 간주한다. 그리고, 형태 감시부(23)는, 어느 시점(t)의 프레임에서 상기한 바와 같이 하여 구한 손가락의 주축(48)과, 기준선(49)이 이루는 각도(θt)를 구한다. 형태 감시부(23)는, 구한 각도(θt)를, 상기 시점(t)의 손가락의 기울기로서 얻는다.
유저는, 디지털 텔레비전(100)에 실행시키고 싶은 처리 실행량에 응하여, 서서히 손가락을 기울일 수 있다. 손가락을 기울이는 동작을 찍은 동화의 각 프레임은 순서대로 촬상부(12)로부터 제스처 인식 장치(1)에 공급된다.
형태 감시부(23)는, 프레임(t, t+1, t+2, …)마다 순차적으로 지의 주축(48)을 구하고, 손가락의 기울기의 변화를 감시한다. 형태 감시부(23)는, 구한 손가락의 기울기(θt)를 실행량 결정부(24)에 순서대로 통지한다.
또한, 형태 감시부(23)는, 상기한 예로 한정되지 않고, 예를 들면, 지시체 영역(41)에 대해, 타원 피팅법을 이용함에 의해, 손가락의 기울기를 구하여도 좋다.
실행량 결정부(24)는, 형태 감시부(23)에 의해 구하여진 지시체의 형태에 응하여, 디지털 텔레비전(100)에 실행시키는 처리의 양(이하, 처리 실행량)을 결정하는 것이다. 실행량 결정부(24)는, 처리 실행량을, 어떤 단위로 표현하여도 좋다. 예를 들면, 실행량 결정부(24)는, 처리의 실행 회수를 처리 실행량으로서 결정하여도 좋고, 처리 대상이 되는 오브젝트의 개수를 처리 실행량으로서 결정하여도 좋다.
본 실시 형태에서는, 도 6에 도시하는 바와 같이, 디지털 텔레비전(100)에 실행시키는 처리는, 포커스(커서)를 오브젝트(선택 가지) 1개분, 어떠한 방향로 천이시키는 처리이다. 그래서, 실행량 결정부(24)는, 본 실시 형태에서는, 형태 감시부(23)에 의해 구하여진 손가락의 기울기에 응하여, 「포커스를 오브젝트 1개분 소정 방향으로 천이시키는」 처리를 연속해서 실행하는 회수(처리 실행 회수)를, 처리 실행량으로서 결정한다. 또한, 실행량 결정부(24)는, 형태 감시부(23)에 의해 구하여진 손가락의 기울기에 응하여, 「포커스를 오브젝트 소정 개수분 소정 방향로 천이시키는」 처리를 실행할 때의, 상기 「오브젝트 소정 개수」를 처리 실행량으로서 결정하여도 좋다.
실행량 결정부(24)에 의해, 상기 처리 실행 회수가 결정된 경우에는, 디지털 텔레비전(100)은, 「포커스를 오브젝트 1개분 소정 방향으로 천이시키는」 처리를, 결정된 처리 실행 회수분만큼 연속해서 실행한다.
또한, 실행량 결정부(24)에 의해, 상기 「오브젝트 소정 개수」가 결정된 경우에는, 디지털 텔레비전(100)은, 결정된 오브젝트 개수분만큼, 상기 소정 방향으로 포커스를 천이시킨다.
또한, 실행량 결정부(24)가 처리 실행량을 결정하기 위해서는, 형태의 변화량, 즉, 손가락의 기울기(형태 변화량)와, 그것에 응한 처리 실행량과의 상관 관계가 미리 규정되어 있을 필요가 있다.
형태 상관 기억부(31)에는, 지시체의 형태의 변화량과, 처리 실행량과의 상관 관계가 기억되어 있다. 형태 상관 기억부(31)가 기억한 상관 관계의 정보는, 대응 테이블의 형태로 실현되어도 좋고, 계산식의 형태로 실현되어도 좋다. 어느 것으로 하여도, 실행량 결정부(24)는, 형태 상관 기억부(31)에 기억되어 있는 상관 관계의 정보를 참조함에 의해, 얻어진 형태의 변화량에 의거하여, 처리 실행량을 결정할 수 있다.
실행량 결정부(24)가 처리 실행량을 결정하는 방법은, 이것으로는 한정되지 않지만, 예를 들면, 이하의 방법이 생각된다.
제스처 입력이 끝나고, 계속해서 유저는, 지시체인 손가락을 기울이는 동작을 행하고 있다고 한다. 이때의 어느 시점(t)에서, 당해 시점(t)의 프레임이 촬상부(12)에서 얻어진다.
형태 감시부(23)는, 상기 시점(t)의 상기 손가락의 기울기(θt)를 구한다.
실행량 결정부(24)는, 하기한 소정의 계산식에 따라, 손가락의 기울기(θt)로부터, 시점(t)에서의 처리 실행량(Mt)을 결정한다.
Mt=α×θt
여기서, α는, 미리 정하여진 계수이다. 상기 계산식 및 계수(α)는, 형태 상관 기억부(31)에 기억되어 있고, 실행량 결정부(24)에 의해 판독된다. 이와 같이, 상기 계산식에 따르면, 실행량 결정부(24)는, 유저가 손가락을 기울일수록, 처리 실행량을 많게 결정할 수 있다.
예를 들면, 계수(α)가, '0.5(회)'로 정해져 있고, 형태 감시부(23)에 의해 구하여진 시점(t)의 손가락이 기울기(θt)가, 60도라고 한다. 이 경우, 실행량 결정부(24)는, 시점(t)에서, 처리 실행량(Mt)을, 0.5×60=30회로 결정한다. 또한, 만약, 유저가 80도 손가락을 기울인 경우에는, 실행량 결정부(24)는, 처리 실행량을 40회로 결정하게 된다.
여기서, 형태 감시부(23) 및 실행량 결정부(24)의 상류의 공정에서, 제스처 인식부(22)가, 입력된 제스처에 대응하는 처리가, 「포커스를 오브젝트 1개분 『좌』로 천이시키는」이라고 특정하였다고 한다.
이 경우, 「포커스를 오브젝트 1개분 『좌』로 천이시키는」 처리를 30회 반복한다는 지시가, 제스처 인식 장치(1)로부터 표시 장치(2)(즉, 디지털 텔레비전(100))에 대해 입력되게 된다.
(표시 장치(2)에서의 오브젝트 처리 기능)
오브젝트 처리부(25)는, 오브젝트 기억부(32)에 기억되어 있는 각 오브젝트를 처리하는 것이다. 본 실시 형태에서는, 오브젝트 처리부(25)는, 선택 가지인 각 오브젝트를, 표시부(13)에 표시한다. 또한, 오브젝트 처리부(25)는, 선택되어 있는(포커스되어 있다) 오브젝트를, 다른 비선택의 오브젝트와 구별하여 표시한다.
예를 들면, 오브젝트 처리부(25)는, 오브젝트에 대해 포커스 제어를 행한다. 구체적으로는, 오브젝트 처리부(25)는, 특정한 오브젝트에 포커스를 맞히고, 그 오브젝트를 다른 비 선택의 오브젝트와 구별한다. 또한, 그 것이 가시화되도록, 오브젝트 처리부(25)는, 커서 표시 위치를 제어하여, 포커스된 오브젝트에 커서를 맞힌다. 오브젝트 처리부(25)는, 다른 오브젝트에 포커스를 옮긴 경우에는, 당해 다른 오브젝트에 커서를 맞춘다. 예를 들면, 오브젝트가 섬네일 화상인 경우, 오브젝트 처리부(25)는, 복수의 섬네일 화상을 오브젝트 기억부(32)로부터 판독하여, 타일형상으로 일람 표시한다. 그리고, 그 중에서 포커스된 섬네일 화상에 커서를 맞혀서 표시한다.
또는, 오브젝트가 전자 서적의 페이지(선택 가지)인 경우에는, 이하와 같이 포커스 제어한다. 즉, 오브젝트 처리부(25)는, 포커스된 페이지만을 표시부(13)에 표시하여도 좋다. 그리고, 다른 페이지가 선택된 경우에는, 포커스를, 당해 다른 페이지에 옮기고, 지금까지 표시되어 있던 페이지를 비표시로 하고, 새롭게 포커스된 상기 다른 페이지를 표시한다.
오브젝트 처리부(25)는, 제스처 인식 장치(1)로부터 공급되는 지시에 따라 동작할 수 있다. 보다 상세하게는, 제스처 인식 장치(1)의 제스처 인식부(22)에 의해 인식된 제스처에 대응하는 처리를, 오브젝트 처리부(25)는 제스처 인식부(22)로부터의 지시에 따라 실행한다. 또한, 실행량 결정부(24)에 의해 결정된 처리 실행량을 충족시키도록, 상기 처리를 반복한다.
상술한 예와 같이, 「포커스를 오브젝트 1개분 『좌』로 천이시키는」 처리를 30회 반복한다는 지시가, 제스처 인식 장치(1)로부터 표시 장치(2)(즉, 디지털 텔레비전(100))에 대해 입력된다고 한다. 이 경우, 오브젝트 처리부(25)는, 일람 표시되어 있는 오브젝트중, 포커스를, 현재의 포커스중의 오브젝트로부터, 30개분 좌에 배치되어 있는 오브젝트로 천이시킨다. 그리고, 오브젝트 처리부(25)는, 커서를 오브젝트 30개분 좌로 이동시킨다. 또는, 오브젝트가 서적 페이지인 경우에는, 오브젝트 처리부(25)는, 30페이지 뒤(先)의 페이지에 포커스를 천이시켜서, 30회 페이지를 넘기고, 당해 페이지를 표시시킨다(서적이, 우철(右綴)이고 좌개(左開)인 경우).
도 10 및 도 11은, 제스처 인식 장치(1)에 의해 인식된 제스처에 따라 오브젝트 처리부(25)가 처리를 실행한 결과, 얻어지는 표시 화면의 한 구체예를 도시하는 도면이다.
도 10 및 도 11에 도시하는 예에서는, 한 예로서, 오브젝트 처리부(25)는, 오브젝트 기억부(32)에 기억된 정지화의 섬네일 화상을 표시 화면(13a, 13b)의 상단에 일람 표시한다(섬네일 화상(51' 내지 55')). 또한, 오브젝트 처리부(25)는, 일람 표시된 섬네일 화상중, 포커스되어 있는 섬네일 화상에 대응하는 정지화를, 표시 화면(13a, 13b)의 하단에 표시한다. 예를 들면, 도 10의 표시 화면(13a)에서는, 섬네일 화상(52')이 포커스되어 있기 때문에, 섬네일 화상(52')에 대응하는 정지화(52)가 하단에 표시된다. 또한, 오브젝트 처리부(25)는, 포커스되어 있는 섬네일 화상을 명시하기 위해, 커서(50)를, 포커스되어 있는 섬네일 화상의 위치에 표시한다.
예를 들면, 표시부(13)의 표시 화면에서, 섬네일 화상(51')이 포커스되어 있는 상태일 때에, 유저가 손가락을 좌로 이동시켜서 제스처 입력을 행하였다고 한다(도 10의 Sce1 ; 신 1). 이 경우, 제스처 인식부(22)는, 제스처 「좌로 이동」을 인식하고, 대응하는 처리 「포커스를 오브젝트 1개분 『좌』로 천이시키는」를, 오브젝트 처리부(25)에 지시한다.
오브젝트 처리부(25)는, 상기한 제스처 인식부(22)로부터의 지시에 따라, 표시 화면(13a)에 도시하는 바와 같이, 섬네일 화상(51')의 하나 왼쪽의 섬네일 화상(52')에 포커스를 천이시킨다. 그리고, 본 실시 형태에서는, 또한, 오브젝트 처리부(25)는, 커서(50)를 섬네일 화상(51')으로부터 하나 좌로 움직여서 섬네일 화상(52')에 맞힌다. 또한, 섬네일 화상(52')에 대응하는 정지화(52)를 하단에 표시한다.
유저는, 손가락의 이동을 마친 후, 계속해서, 손가락의 형태를 변화시킨다. 구체적으로는, 손가락의 기울기를 좌로 소정 각도만큼 변화시킨다(도 10의 Sce2 ; 신 2). 형태 감시부(23)는, 상기 손가락이 기울어져 가는 모양을 감시하고 있고, 순서대로, 손가락의 기울기를 구한다. 한 예로서, 상기 신(2)의 시점에서는, 형태 감시부(23)는, 기준선(49)과, 손가락의 주축(48)이 이루는 각도(θa)를, 신(2)의 시점의 손가락의 기울기(형태의 변화량)로서 특정한다.
실행량 결정부(24)는, 예를 들면, 형태 상관 기억부(31)에 기억되어 있는 상관 관계의 정보와, 상기 각도(θa)에 따라서 각도(θa)에 대응하는 처리 실행량을 「1매」로 결정하였다고 한다. 여기서는, 손가락의 이동도, 형태 변화도 좌향으로 으로 실행되었다. 그래서, 실행량 결정부(24)는, 신(2)의 시점에서, 처리 실행량 「1매」 및 처리 진행 방향「좌」를, 오브젝트 처리부(25)에 대해 지시한다.
오브젝트 처리부(25)는, 상기한 실행량 결정부(24)로부터의 지시에 따라, 앞의 제스처 인식부(22)에 의해 지시된 처리를 반복한다. 즉, 오브젝트 처리부(25)는, 다시 한번, 포커스를 오브젝트 1개분 『좌』로 천이시킨다. 결과로서, 표시 화면(13b)에 도시하는 바와 같이, 오브젝트 처리부(25)는, 포커스를, 섬네일 화상(52')으로부터 섬네일 화상(53')으로 천이시키고, 커서(50)도 좌로 1개 움직인다.
여기서, 유저가, θa의 각도인 채로 손가락을 기울이는 동작을 계속하면, 순서대로, 실행량 결정부(24)는, 처리 실행량 「1매」 및 처리 진행 방향「좌」를, 오브젝트 처리부(25)에 대해 지시한다.
오브젝트 처리부(25)는, 상기 지시가 공급되는 동안, 포커스를, 섬네일 화상(53')으로부터, 54', 55,' …로 1매 보냄으로 천이시키는 처리를 계속해서 실행한다. 여기서는, 커서(50)도, 섬네일 화상(53')으로부터, 54', 55,' …로 1매마다 이동시킨다.
한편, 도 11에 도시하는 바와 같이, 도 10과 같은 장면1(도 11의 Sce1)에 계속해서, 이번에는, 유저가, 손가락을, θb의 각도로 기울였다고 한다(도 11의 Sce2'). 신(2')(Sce2')에서의 θb는, 신(2)(도 10의 Sce2)에서의 θa보다도 큰 각도이다. 이에 수반하여, 실행량 결정부(24)는, 각도(θb)에 대응하는 처리 실행량을 「2매」로 결정하고, 또한, 처리 진행 방향을 「좌」로 결정하였다고 한다.
이 신(2')이 계속하면, 실행량 결정부(24)는, 처리 실행량 「2매」 및 처리 진행 방향 「좌」를, 오브젝트 처리부(25)에 대해 계속 지시한다.
이 경우, 오브젝트 처리부(25)는, 표시 화면(13b)에 나타내는 바와 같이, 상기 지시가 공급되는 동안, 포커스를, 섬네일 화상(52')으로부터, 섬네일 화상(54')으로 2매 보냄으로 천이시킨다. 그리고, 오브젝트 처리부(25)는, 이 처리를, 상기 지시가 공급되는 동안 계속한다. 즉, 오브젝트 처리부(25)는, 포커스를, 도시하지 않는, 섬네일 화상(56', 58', 60', …)으로 2매 보냄으로 계속 천이시킨다.
또한, 손가락의 기울기가, θb로부터 더욱 커져가는 경우에는, 실행량 결정부(24)는, 처리 실행량을, 「3매」, 「4매」, …로 순서대로 결정한다. 오브젝트 처리부(25)는, 새로운 처리 실행량이 실행량 결정부(24)로부터 공급된 경우에는, 그것에 따라, 3매 보냄, 4매 보냄, …로 더욱 고속으로 포커스를 천이시킬 수 있다. 또한, 상술한 1매 보냄은, 포커스를, 오브젝트 1개마다 천이시켜 가는 것을 가리킨다. 2매 보냄은, 오브젝트를 1개 걸러서, 오브젝트 2개마다 포커스를 천이시켜 가는 것을 가리킨다. 3매 보냄(4매 보냄)은, 각각, 오브젝트를 2개(3개) 걸러서, 오브젝트 3개(4개)마다 포커스를 천이시켜 가는 것을 가리킨다. 오브젝트 처리부(25)는, 오브젝트 몇 개마다라도 포커스를 천이시킬 수 있는 구성이다. 예를 들면, 1000개의 오브젝트가 일람 표시되어 있는 경우에는, 오브젝트 처리부(25)는, 100개마다 포커스를 천이시켜 갈 수도 있다.
이상의 구성에 의하면, 유저는, 지시체를 이동시켜서 제스처를 입력하는데 더하여, 상기 지시체의 형태를 변화만 시킬 뿐으로, 간단하게, 상기 제스처를 몇 번이나 반복 입력하는 것과 동등한 지시를 디지털 텔레비전(100)에 대해 입력할 수 있다.
예를 들면, 종래, 커서를 좌로 10회 움직이고 싶은 경우에, 지시체를 좌로 움직이는 동작을 10회 행하여야 하는 바, 본 발명의 제스처 인식 장치(1)에 의하면, 지시체를 좌로 움직이는 동작 1회와, 지시체를 기울이는 동작 1회로 끝난다.
또한, 유저는, 지시체의 형태의 변화량을 조절함에 의해, 그 반복량을 디지털 텔레비전(100)에 대해 지정하는 것이 가능해진다. 예를 들면, 지시체의 형태의 변화량(손가락의 기울기)을 10배로 하면, 10매씩 이동시키고 커서를, 100매씩 이동시키도록 디지털 텔레비전(100)에 대해 지시하는 것이 가능하다.
[처리 플로]
도 12는, 제스처 인식 장치(1)가 실행하는 제스처 인식 처리 및 표시 장치(2)(디지털 텔레비전(100))이 실행하는 오브젝트 처리의 흐름을 도시하는 플로 차트이다.
유저는, 제스처를 입력하기 위해 우선, 촬상부(12)의 앞에서, 손가락을 흔드는 동작을 하는 등으로, 제스처 입력 시작의 의도를 보낸다. 이 양상을 촬영한 동화(프레임군)가 제스처 인식 장치(1)에 공급되면, 시작 인식부(20)는, 프레임 사이의 변화량에 의거하여, 제스처 입력 시작의 의도를 인식한다(S101). 계속해서, 시작 인식부(20)는, 제스처를 입력하는 지시체가 포함되어 있는 영역(예를 들면, 지시체 포함 영역(40))을 프레임으로부터 특정한다(S102).
여기서, 또한 계속해서, 지시체 검출부(21)가, 지시체 포함 영역(40)으로부터 지시체 영역(41)을 검출하고, 나아가서는, 지시체 영역(41)상에 지시체 기준점(42)을 검출하는 것이 바람직하다.
그리고, 제스처 인식부(22)는, 지시체를 추미하여 제스처 인식 처리를 시작한다(S103). 예를 들면, 지시체 검출부(21)에 의해 검출된 지시체 기준점(42)을 추미하는 것이 바람직하다.
본 실시 형태에서는, 유저는, 소망하는 제스처를 입력하기 위해, 상하 좌우의 어느 하나의 방향으로 지시체(손가락)를 이동시킨다. 이 양상을 촬영한 동화(프레임군)가 제스처 인식 장치(1)에 공급되면, 제스처 인식부(22)는, 프레임 사이 차분으로부터, 지시체 기준점(42)의 이동 방향 및 이동 거리를 구한다. 이동 거리는, 프레임이 순차적으로 공급됨으로써 누적된다. 이동 거리가 일정 이상이 되면, 제스처 인식부(22)는, 지시체가 「이동하였다」고 인식한다. 제스처 인식부(22)는, 지시체의 이동을 인식하면 (S104에서 YES), 지시체 기준점(42)을 추미한 결과 얻어진 지시체 기준점(42)의 이동 방향에 의거하여, 제스처를 인식한다(S105). 예를 들면, 도 5에 도시하는 바와 같이, 지시체 기준점(42)이, 이동 방향(43)으로 이동한 경우에는, 제스처 인식부(22)는, 도 6에 도시하는 「좌로 이동」의 제스처가 입력된 것을 인식한다. 계속해서, 제스처 인식부(22)는, 입력된 제스처에 응하여 표시 장치(2)가 실행하여야 할 처리를 특정한다. 예를 들면, 도 6에 도시하는 제스처 규칙에 따라, 「좌로 이동」에 대응지어진 「포커스를 오브젝트 1개분 『좌』로 천이시시키는」 처리를, 표시 장치(2)에 실행시키는 처리로서 특정한다. 제스처 인식부(22)는, 특정한 처리를 표시 장치(2)에 실행시키기 위한 지시를 표시 장치(2)(여기서는, 오브젝트 처리부(25))에 출력한다(S107).
이에 대해, 표시 장치(2)의 오브젝트 처리부(25)는, 상기 지시에 따라, 지시된 처리를 실행한다(S108). 상술한 예에서는, 오브젝트 처리부(25)는, 지금까지 포커스되어 있던 오브젝트의 왼쪽에 표시되어 있는 오브젝트로 포커스를 천이시킨다. 또한, 오브젝트 처리부(25)는, 지금까지 포커스되어 있던 오브젝트에 맞혀져 있던 커서를, 새롭게 포커스된 왼쪽의 오브젝트로 이동시킨다.
한편, 본 실시 형태에서는, 유저는, 제스처의 입력을 마치면, 당해 제스처에 의해 장치에 행하여지는 처리를 반복하고 싶는 경우에는, 계속해서, 연속해서 처리를 실행시키기 위한 동작을, 지시체(여기서는, 예를 들면 손가락)를 사용하고 행한다. 이 양상을 촬영한 동화(프레임군)가 제스처 인식 장치(1)에 공급되면, 제스처 인식 장치(1)의 형태 감시부(23)는, 계속해서 수시로 공급된 프레임을 처리하여 촬상된 지시체의 형태를 감시한다(S109). 형태 감시부(23)는, 상류의 각 공정에 의해 특정된 지시체 포함 영역(40)에서의 지시체 영역(41)(손가락)의 형태를 감시한다. 여기서는, 한 예로서, 형태 감시부(23)는, 지시체 영역(41)으로부터, 또한, 돌기형상의 손가락의 부분만을 포함하는 주목 영역(45)을 특정하고, 주목 영역(45)에서의 손가락의 주축(48)을 특정한다. 그리고, 이 손가락의 주축(48)의 기울기를 추미하는 것으로 한다.
형태 감시부(23)는, 프레임 사이 차분치를 누적하여, 지시체의 움직임(즉, 형태의 변화)를 인식하면(S110에서 YES), 최신의 프레임에서, 주목 영역(45)에서의 손가락의 기울기를 구한다(S111). 예를 들면, 형태 감시부(23)는, 프레임에서 수직한 기준선(49)과 주축(48)이 이루는 각도를 손가락의 기울기로서 구한다.
계속해서, 실행량 결정부(24)는, 형태 상관 기억부(31)에 기억된 상관 관계의 정보에 따라, 형태 감시부(23)에 의해 구하여진 손가락의 기울기에 의거하여, 처리 실행량을 결정한다. 상관 관계의 정보는, 형태의 변화량과, 처리 실행량과의 상관 관계를 나타내는 정보이고, 이 정보에 의해, 형태 감시부(23)가 구한 손가락의 기울기에 대응하는 처리 실행량이 얻어진다.
예를 들면, 실행량 결정부(24)는, 「Mt=0.5(회)×θt」라는 계산식(상관 관계의 정보)에 따라, 형태의 변화량(θt)=60도인 것에 의거하여, 처리 실행량(Mt)을 「30회」로 구한다.
계속해서, 실행량 결정부(24)는, S112에 결정한 처리 실행량 「30회」를, 표시 장치(2)에 대해 출력한다(S113).
이에 대해, 표시 장치(2)의 오브젝트 처리부(25)는, 상기 처리 실행량을 제스처 인식 장치(1)로부터 수신하면 (S114에서 YES), S108에서 지시된 처리를, 상기 처리 실행량에 지정된 회수 실행한다(S115). 상술한 예에서는, 오브젝트 처리부(25)는, 「포커스를 오브젝트 1개분 『좌』로 천이시시키는」 처리를, 30회 실행한다. 또한, 오브젝트 처리부(25)는, 커서를, 30개 왼쪽의 오브젝트로 이동시켜도 좋다. 여기서, 오브젝트 처리부(25)는, 커서를, 1개 1개의 오브젝트에 맞추면서 이동시켜도 좋지만, 30개 왼쪽의 오브젝트에 단숨에 이동(점프)시키는 것이 바람직하다.
유저는, 상술한 커서의 이동 속도를 더욱 앞당기고 싶는 때는, 손가락의 기울기를 크게 하면 좋다. 지시체가 프레임 내에 인지된 사이는(S116에서 NO), S110 내지 S115의 처리가 반복하여 실행된다. 즉, 오브젝트 처리부(25)는, 커서를 오브젝트 30개마다 좌로 점프시키는 처리를 반복한다.
또는, 유저는, 커서의 이동(반복)을 끝내고 싶은 때는, 지시체 자체를 촬상부(12)의 촬상 범위로부터 빠짐으로써 제스처 입력을 완료시킬 수 있다. 촬상부(12)로부터 공급되는 프레임에서, 지시체가 인식되지 않게 되고나서(S116에서 YES), 형태 감시부(23)는, 형태의 감시를 종료하고, 실행량 결정부(24)에 대해 행하고 있던 형태 변화량(손가락의 기울기)의 공급을 정지한다. 이에 수반하여, 실행량 결정부(24)는, 표시 장치(2)에 대해 행하고 있던 처리 실행량의 공급을 정지하고, 대신에, 처리의 실행을 정지하도록 표시 장치(2)에 대해 지시한다(S117).
이에 대해, 표시 장치(2)의 오브젝트 처리부(25)는, 제스처 인식 장치(1)로부터 처리 정지 지시를 수신하면(S118에서 YES), S108에서 지시된 처리를 정지한다(S119). 즉, 오브젝트 처리부(25)는, 커서의 이동(포커스의 천이)을 정지한다.
이상의 방법에 의하면, 유저는, 지시체를 이동시켜서 제스처를 입력하는데 더하여, 상기 지시체의 형태를 변화시킬뿐으로, 간단하게, 상기 제스처를 몇 번이나 반복 입력하는 것과 동등한 지시를 디지털 텔레비전(100)에 대해 입력할 수 있다.
예를 들면, 종래, 커서를 좌로 10회 움직이고 싶은 경우에, 지시체를 좌로 움직이는 동작을 10회 행하여야 하였지만, 본 발명의 제스처 인식 장치(1)에 의하면, 지시체를 좌로 움직이는 동작 1회와, 지시체를 기울이는 동작 1회로 끝난다.
또한, 유저는, 지시체의 형태의 변화량을 조절함에 의해, 그 반복량(처리 실행량)을 디지털 텔레비전(100)에 대해 지정하는 것이 가능해진다. 예를 들면, 지시체의 변화량(손가락이 기울기)을 10배로 하면, 10매씩 이동시키고 있던 커서를, 100매씩 이동시키도록 디지털 텔레비전(100)에 대해 지시하는 것이 가능하다.
≪변형례≫
[처리 실행량 결정 방법에 관해]
상술한 실시 형태에서는, 도 9에 도시하는 바와 같이, 형태 감시부(23)는, 절대적인 기준의 형태(θs=0도의, 수직한 기준선(49))와, 현시점(t)에서의 형태(주축(48))과의 비교에 의해, 지시체의 현시점(t)에서의 형태 변화량(θt)을 취득하는 구성이었다. 그리고, 실행량 결정부(24)는, Mt=α×θt(α는 정수)에 따라, 처리 실행량을 결정하는 구성이었다.
그러나, 형태 감시부(23) 및 실행량 결정부(24)를 이하와 같이 구성하고, 다른 방법으로 처리 실행량을 결정하여도 좋다. 본 발명의 다른 처리 실행량 결정 방법에 관해, 도 13 내지 도 15를 참조하면서 설명한다.
도 13은, 본 발명의 다른 실시 형태에서의 처리 실행량 결정 방법을 설명하는 도면이다.
도 13에 도시하는 변형례에서는, 표시 장치(2)에서의 처리 실행량의 최대치가 미리 정하여져 있는 구성이다. 예를 들면, 표시 장치(2)의 오브젝트 처리부(25)에서, 커서를 점프시키는 오브젝트 수의 최대치가 「100개」로 정하여져 있다. 즉, 오브젝트 처리부(25)는, 커서(포커스)를, 최대로 100씩 상하 좌우로 이동시키는 것이 가능한 구성이라고 한다.
형태 감시부(23)는, 실시 형태 1과 마찬가지로, 기준선(49)을 정의하고, 현시점(t)에서의 변화량(θt)을 구하여, 실행량 결정부(24)에 공급한다.
본 변형례에서는, 실행량 결정부(24)는, 또한, 도 13에 도시하는 바와 같이, 미리 정하여져 있는 처리 실행량의 최대치(예를 들면, 100개)에 대응하는 기준의 형태(최종 형태(e))를, 수평한 기준선(70)으로 정의한다. 실행량 결정부(24)는, 처리 실행량의 최소치(예를 들면, 0개)에 대응하는 기준의 형태를, θs=0도(수직한 기준선(49))로 간주한다. 또한, 실행량 결정부(24)는, 처리 실행량의 최대치(예를 들면, 100개)에 대응하는 기준의 형태(최종 형태(e))를, θe=90도(수평한 기준선(70))로 간주한다. 그리고, 실행량 결정부(24)는, 수직한 기준선(49)에서의 θs=0도와, 수평한 기준선(70)에서의 θe=90도에 의거하여, 최대 변화량(θe-θs=θall=90도)을 취득한다.
그리고, 본 변형례에서는, 실행량 결정부(24)는, 상기 최대 변화량(θall=90도)에 대해, 현시점(t)의 형태 변화량(θt)이 차지하는 비율을 구한다. 그리고, 실행량 결정부(24)는, 이 비율의 크기에 비례하여, 처리 실행량을 결정한다.
예를 들면, 실행량 결정부(24)는, 형태 상관 기억부(31)에 기억되어 있는 하기한 소정의 계산식에 따라, 손가락이 기울기(θt)로부터, 시점(t)에서의 처리 실행량(Mt)을 결정한다.
Mt=(θt÷θall)×β
여기서, β는, 미리 정하여진 최대 처리 실행량이다. 상술한 예에서는, β=100(개)이다. 따라서 보다 구체적으로는, 형태 감시부(23)에 의해 구하여진 시점(t)의 손가락이 기울기(θt)가, 45도였다고 하면, 실행량 결정부(24)는, 처리 실행량(Mt)을, (45÷90)×100=50회로 결정한다.
이상의 구성에서도, 실행량 결정부(24)는, 형태 감시부(23)에 의해 구하여진, 지시체의 형태의 변화량에 비례하여, 처리 실행량을 결정하는 것이 가능해지고, 실시 형태 1과 같은 효과를 얻을 수 있다.
도 14는, 본 발명의 다른 실시 형태에서의 처리 실행량 결정 방법을 설명하는 도면이다.
도 14에 도시하는 변형례에서, 도 9에 도시하는 실시 형태 1의 처리 실행량 결정 방법과 다른 점은, 이하와 같다. 즉, 형태 감시부(23)는, 프레임에서 수직한 선을, 절대적인 기준선으로서 정의하는 구성이었다. 본 변형례에서는, 형태 감시부(23)는, 지시체의 형태 변화의 감시를 시작하는 시점의 지시체의 형태를, 기준의 형태(시작 형태(s))로 간주한다. 따라서 유저의 손가락이, 제스처 입력을 완료한 시점에서, 이미 기울어져 있다고 하여도, 그 때에 형태 감시부(23)가 감시를 시작하면, 그 시점부터의 손가락의 주축을, 기준선(49') 으로서 정의한다. 형태 감시부(23)는, 정의한 기준선(49')의 기울기(θs)를 0도로 정의한다.
형태 감시부(23)는, 현시점(t)에서의 손가락의 주축(48)을 구하고, 기준선(49')과 주축(48)이 이루는 각도(θt)를, 현시점(t)에서의 지시체의 형태의 변화량으로서, 실행량 결정부(24)에 공급한다.
실행량 결정부(24)는, 실시 형태 1과 마찬가지로, 형태 상관 기억부(31)에 기억되어 있는 상관 관계의 정보(Mt=α×θt)에 따라, 처리 실행량을 결정하면 좋다. 계수(α)는, 실시 형태 1과 같아도 상관없고, 다른 값을 설정하여도 좋다.
이상의 구성에서도, 실행량 결정부(24)는, 형태 감시부(23)에 의해 구하여진, 지시체의 형태의 변화량에 비례하여, 처리 실행량을 결정하는 것이 가능해지고, 실시 형태 1과 같은 효과를 얻을 수 있다.
도 15는, 본 발명의 다른 실시 형태에서의 처리 실행량 결정 방법을 설명하는 도면이다.
도 15에 도시하는 변형례에서는, 상술한 바와 같이, 표시 장치(2)에서의 처리 실행량의 최대치가 미리 정하여져 있는 구성이다. 예를 들면, 오브젝트 처리부(25)가 커서를 점프시키는 것이 가능한 오브젝트 수의 최대치가 「100개」로 정하여져 있다고 한다.
본 변형례에서는, 형태 감시부(23)는, 실시 형태 1과 마찬가지로, 프레임에서 수직한 기준선(49)을 정의하고, 기준선(49)의 기울기(θ)를 0도로 정의한다. 그러나 본 변형례에서는, 또한, 형태 감시부(23)는, 지시체의 형태 변화의 감시를 시작하는 시점의 지시체의 형태를, 기준의 형태(시작 형태(s))로 간주한다. 형태 감시부(23)는, 시작 형태(s)에서의 손가락의 주축을, 기준선(49')으로 정의한다.
형태 감시부(23)는, 현시점(t)에서의 손가락의 주축(48)을 구하고, 기준선(49')과 주축(48)이 이루는 각도(θt)를, 현시점(t)에서의 지시체의 형태의 변화량으로서, 실행량 결정부(24)에 공급한다.
본 변형례에서는, 실행량 결정부(24)는, 또한, 도 15에 도시하는 바와 같이, 미리 정하여져 있는 처리 실행량의 최대치(예를 들면, 100개)에 대응하는 기준의 형태(최종 형태(e))를, 수평한 기준선(70)으로 정의한다. 본 변형례에서는, 실행량 결정부(24)는, 처리 실행량의 최소치(예를 들면, 0개)에 대응하는 기준의 형태를, 시작 형태(s)에 대응하는 기준선(49') (θs)으로 간주한다. 또한, 실행량 결정부(24)는, 처리 실행량의 최대치(예를 들면, 100개)에 대응하는 기준의 형태(최종 형태(e))를, θe=90도(수평한 기준선(70))로 간주한다. 그리고, 실행량 결정부(24)는, 기준선(49')에 있어서 θs와, 수평한 기준선(70)에서의 θe=90도에 의거하여, 최대 변화량(θe-θs=θall)을 취득한다. 또한, θs는, 여기서는, 수직한 기준선(49)과, 시작 형태(s)의 기준선(49')이 이루는 각도에 의해 구하여진다.
그리고, 본 변형례에서는, 실행량 결정부(24)는, 상기 최대 변화량(θall)에 대해, 현시점(t)의 형태 변화량(θt)이 차지하는 비율을 구한다. 그리고, 실행량 결정부(24)는, 이 비율의 크기에 비례하여, 처리 실행량을 결정한다.
예를 들면, 실행량 결정부(24)는, 형태 상관 기억부(31)에 기억되어 있는 하기한 소정의 계산식에 따라, 손가락이 기울기(θt)로부터, 시점(t)에서의 처리 실행량(Mt)을 결정한다.
Mt=(θt÷θall)×β
여기서, β는, 미리 정하여진 최대 처리 실행량이다. 상술한 예에서는, β=100(개)이다. 따라서 보다 구체적으로는, θs가 30도, θall가 60도, 형태 감시부(23)에 의해 구하여진 시점(t)의 손가락이 기울기(θt)가, 15도였다고 하면, 실행량 결정부(24)는, 처리 실행량(Mt)을, (15÷60)×100=25회로 결정한다.
이상의 구성에서도, 실행량 결정부(24)는, 형태 감시부(23)에 의해 구하여진, 지시체의 형태의 변화량에 비례하여, 처리 실행량을 결정하는 것이 가능해지고, 실시 형태 1과 같은 효과를 얻을 수 있다.
[제스처 입력시의 이동 방향에 대한 형태 변화의 진행 방향을 고려한다]
상술한 실시 형태에서는, 제스처 입력시의 지시체(손가락)의 이동 방향과, 처리 실행량 지정시의 지시체의 형태 변화의 진행 방향이란, 동일하고, 항상 일방향인 경우가 상정되어 있다. 예를 들면, 제스처 입력시에 손가락이 좌로 이동한 경우에는, 그 후, 손가락은, 좌향으로 계속 기울인다는 경우이다.
그러나, 유저가 제스처 입력시의 지시체(손가락)의 이동 방향과 반대의 진행 방향으로, 지시체의 형태를 변화시킨다는 상황도 상정된다.
(케이스 1)
이와 같은 상황에 대응하기 위한 구성으로서, 실행량 결정부(24)는, 형태 감시부(23)로부터 공급된 현시점(t)의 형태 변화량(θt)이, 직전의 시점(t-1)의 변화량(θt-1)과 비교하여, 감소한 경우에, 이것을, 유저로부터의 정지 지시로서 인식하여도 좋다. 그리고, 실행량 결정부(24)는, 처리의 실행 정지를 지시하는 처리 정지 지시를 표시 장치(2)에 대해 출력하여도 좋다.
현시점(t)의 형태 변화량(θt)이, 직전의 시점(t-1)의 변화량(θt-1)과 비교하여, 하회하는 상황의 한 예를, 도 16에 도시한다.
도 16에 도시하는 바와 같이, 제스처 입력시의 이동 방향이, 이동 방향(43)(좌로 이동)이였고, 처리 실행량 지정시의 지시체의 형태 변화의 진행 방향도, 이동 방향(43)과 같이, 좌향의 진행 방향(71)이라고 한다. 이 경우, 손가락의 기울기(형태 변화량)는, 기준선(49)보다도 좌로 기우는만큼 증대한다.
따라서 유저가, 손가락의 기울기를, 진행 방향(71)(이동 방향(43))과 반대의 진행 방향(72)(우향)으로 조금이라도 되돌린 경우에는, 손가락의 기울기(형태 변화량)는, 직전의 변화량(θt-1)보다도 감소한다.
이와 같이, 지금까지의 진행 방향(좌)과 반대의 방향(우)으로 손가락의 기울기를 되돌리는 동작이 행하여진 것에 수반하여, 지금까지 계속해서 행하여지고 있던 처리를 정지하도록 디지털 텔레비전(100)을 구성한다.
지금까지, 유저는, 손가락의 진행 방향과 같은 방향으로 커서(포커스)를 이동시키는 조작을 행하고 있다. 여기서, 진행 방향과 반대의 방향으로 손가락의 기울기를 되돌리는 동작은, 유저에 있어서, 커서의 이동에 브레이크를 거는 이미지가 연상되기 쉽다.
따라서 상기 구성에 의하면, 유저가 직감적으로 조작을 이해할 수 있고, 디지털 텔레비전(100)에서의 조작성이 향상한다는 효과를 달성한다.
(케이스 2)
또는, 상술한 바와 같은 상황에서, 손가락의 기울기(형태 변화량)가, 기준선(49)보다도 우(즉, 이동 방향(43)의 반대 방향)로 기울어지는 것도 생각된다.
이와 같은 상황에 대응하기 위한 구성으로서, 형태 감시부(23)는, 기준선(49)으로부터, 이동 방향과 반대의 방향으로, 지시체(손가락)가 기울어진 경우에는, 당해 지시체의 변화량을 부(負)의 수(數)에 의해 나타내어도 좋다.
예를 들면, 도 17에 도시하는 바와 같이, 제스처 입력시의 이동 방향이, 이동 방향(43)(좌로 이동)이고, 처리 실행량 지정시의 지시체의 형태 변화의 진행 방향이, 이동 방향(43)과 반대의, 우향의 진행 방향(72)이라고 한다. 이 경우, 손가락의 기울기(형태 변화량)는, 기준선(49)보다도 우로 기우는만큼 마이너스가 되어 감소한다(절대치는 커진다).
실행량 결정부(24)는, 형태 감시부(23)로부터 공급된 형태 변화량이 정의 수였던 경우에는, 앞서의 이동 방향(43)과 같은 방향을, 디지털 텔레비전(100)에 실행시키는 처리의 진행 방향이라고 결정한다. 즉, 실행량 결정부(24)는, 「포커스를 오브젝트 Mt개씩 좌로 천이시키는」 처리를 표시 장치(2)에 대해 지시한다.
한편, 실행량 결정부(24)는, 형태 감시부(23)로부터 공급된 형태 변화량이 부의 수이였던 경우에는, 앞의 이동 방향(43)과 반대의 방향을, 디지털 텔레비전(100)에 실행시키는 처리의 진행 방향이라고 결정한다. 즉, 실행량 결정부(24)는, 「포커스를 오브젝트 Mt개씩 위로 천이시키는」 처리를 표시 장치(2)에 대해 지시한다.
당연히, 처리 실행량(Mt)은, 현시점(t)의 손가락의 주축(48)이, 기준선(49)으로부터 좌(또는 우)로 어느만큼 기울어져 있는지에 의해 결정된다. 기울기가 강할수록 처리 실행량이 많아진다.
이와 같이, 지금까지의 진행 방향(좌)과 반대의 방향(우)으로 손가락을 기울이는 동작이 행하여진 것에 수반하여, 지금까지 행하여지고 있던 처리의 진행 방향과 반대의 진행 방향으로 처리를 계속하도록 디지털 텔레비전(100)을 구성한다.
여기서, 진행 방향과 반대의 진행 방향으로 손가락을 기울이는 동작은, 유저에 있어서, 최초에 제스처로 지시한 진행 방향과는 반대의 방향으로, 커서의 이동 방향이 변한(커서가 되돌아가는) 이미지가 연상되기 쉽다.
따라서 상기 구성에 의하면, 유저가 직감적으로 조작을 이해할 수 있고, 디지털 텔레비전(100)에서의 조작성이 향상한다는 효과를 달성한다.
[형태 변화 감시 대상에 관해]
상술한 실시 형태에서는, 형태 감시부(23)는, 지시체의 형태로서, 손가락의 기울기를 감시 대상으로 하는 구성이었다. 그러나, 본 발명의 제스처 인식 장치(1)의 구성은 이것으로 한정되지 않는다.
예를 들면, 형태 감시부(23)는, 제스처 입력을 위해 이동한 지시체에서의, 손가락의 구부리는 상태(구합(具合)를 감시 대상으로 하여도 좋다.
보다 구체적으로는, 도 18에 도시하는 바와 같이, 형태 감시부(23)는, 손가락이 구부러진 때에 각도가 변화하는 부위(중간마디(中節))의 주축을 취득하여 기울기를 감시하고, 손가락이 구부러진 때에 변화하는 중간마디의 각도의 크기(θ)를, 형태 변화량으로서 취득하여도 좋다. 또는, 도 19에 도시하는 바와 같이, 형태 감시부(23)는, 손가락끝(지선(指先)(지시체 기준점(42))의 프레임에서의 Y좌표를 감시하고, 손가락이 구부러진 때에 변화한 지시체 기준점(42)의 Y좌표에 관해, Y좌표 차분에 의해 얻어지는 이동 거리(d)를, 형태 변화량으로서 취득하여도 좋다.
또는, 예를 들면, 형태 감시부(23)는, 제스처 입력을 위해 이동한 지시체에서의, 2손가락 사이의 각도(θ)를, 형태 변화량으로서 취득하여도 좋다. 도 20의 (a)는, 제스처 입력을 완료한 시점의 지시체의 양상을 도시하는 도면이다. 2손가락이란, 여기서는, 한 예로서 엄지손가락과 집게손가락이다. 형태 감시부(23)는, 각각의 손가락의 주축을 취득하고, 이들의 주축이 이루는 각도를 구한다. 제스처 입력을 완료한 시점에서는, 각도(θ)(도 20의 (a)에서는 부도시)는 작다. 도 20의 (b) 및 (c)는, 처리 실행량 지정 동작이 행하여지고 있는 어느 시점의 지시체의 양상을 도시하는 도면이다. 2손가락 사이의 각도(θ)는, 도 20이 (a)와 비교하여 크게 되어 있다. 실행량 결정부(24)는, 2손가락 사이의 각도가 클수록, 처리 실행량이 커진다는 상관 관계의 정보에 따라 처리 실행량을 결정한다.
또는, 형태 감시부(23)는, 프레임 내에서, 제스처 입력을 위해 이동한 지시체와는 다른 제 2의 지시체를 특정하여, 제 2의 지시체의 형태 변화량을 감시하여도 좋다. 보다 구체적으로는, 도 21에 도시하는 바와 같이, 형태 감시부(23)는, 유저의 목(首)의 기울이는 상태를 감시 대상으로 하여도 좋다. 형태 감시부(23)는, 유저의 얼굴을 포함하는 지시체 포함 영역(73)을 특정한다. 그리고, 형태 감시부(23)는, 콧날 등에 의거하여 얼굴의 주축을 취득하고, 얼굴의 기울기의 변화량(θ1)을 형태 변화량으로서 취득하여도 좋다. 또는, 형태 감시부(23)는, 유저의 팔의 구부리는 상태를 감시 대상으로 하여도 좋다. 형태 감시부(23)는, 팔을 포함하는 지시체 포함 영역(74)을 특정한다. 그리고, 형태 감시부(23)는, 유저의 상완부(上腕部)와 전완부(前腕部)의 주축을 취득하고, 이들의 주축이 이루는 각도(θ2)를, 형태 변화량으로서 취득하여도 좋다.
≪응용례≫
상술한 실시 형태에서는, 도 10 및 도 11에 도시하는 바와 같이, 처리 실행 주체인 표시 장치(2)로서의 디지털 텔레비전(100)에, 본 발명의 제스처 인식 장치(1)를 탑재한 예에 관해 설명하였다. 본 발명의 제스처 인식 장치(1)는, 디지털 텔레비전(100)으로 한하지 않고, 다른 모든 표시 장치에 탑재할 수 있다.
예를 들면, 도 22에 도시하는 바와 같이, 본 발명의 제스처 인식 장치(1)를, 전자 서적 리더(200)에 탑재할 수 있다. 전자 서적 리더(200)의 오브젝트 처리부(25)는, 전자 서적의 각 페이지중, 포커스된 페이지를 표시부(13)에 표시한다. 예를 들면, 오브젝트 처리부(25)는, 우철(右綴)이고 좌개(左開)의 이미지로 전자 서적을 표시한다. 전자 서적 리더(200)에서, 제스처 인식 장치(1)는, 이 페이지를 넘기기 위한 제스처를 인식하는 구성이다.
유저는, 다음의 페이지를 표시하기 위해, 현재 표시되어 있는 페이지를 좌로부터 우로 넘기기 위한 동작을 행한다. 실시 형태 1과 마찬가지로, 유저는, 촬상부(12)의 앞에서, 지시체를 좌로부터 우로 움직인다(백 화살표(76)). 제스처 인식부(22)에 의해 「우로 이동」의 제스처가 인식되면, 오브젝트 처리부(25)는, 현재의 페이지(P. 15)의 다음의 페이지(P. 16)에 포커스를 옮겨서 P. 16을 표시한다(백 화살표(77)). 또한, 형태 감시부(23)에 의해 우방향에의 손가락의 기울기가 인식되면(백 화살표(78)), 오브젝트 처리부(25)는, 현재의 페이지(P. 16)로부터 지정된 처리 실행량(페이지 수)만큼 앞의 페이지로 포커스를 옮기고, 그 새로운 페이지를 표시한다. 흑 화살표는, 상술한 설명과 좌우가 반대인 경우의 움직임을 나타내고 있다.
이와 같이, 유저는, 몇 번이나 같은 제스처를 입력하는 일 없이, 지시체의 형태를 변화시키는 1동작만으로 간단하게, 단숨에 많은 페이지를 넘길 수 있다.
또는, 도 23에 도시하는 바와 같이, 본 발명의 제스처 인식 장치(1)를, 스마트 폰(300)에 탑재할 수 있다.
유저는, 다음의 페이지를 표시하기 위해, 현재 표시되어 있는 페이지를 우로부터 좌로 슬라이드 시키기 위한 동작을 행한다. 실시 형태 1과 마찬가지로, 유저는, 촬상부(12)의 앞에서, 지시체를 우로부터 좌로 움직이다(백 화살표(79)). 제스처 인식부(22)에 의해 「좌로 이동」의 제스처가 인식되면, 오브젝트 처리부(25)는, 현재의 페이지(3/10)의 다음의 페이지(4/10)에 포커스를 옮겨서 4/10의 페이지를 표시한다. 예를 들면, 4/10의 페이지를 슬라이드 인 시킨다(백 화살표(80)). 또한, 형태 감시부(23)에 의해 좌방향으로의 손가락의 기울기가 인식되면(백 화살표(81)), 오브젝트 처리부(25)는, 현재의 페이지(4/10)로부터 지정된 처리 실행량(페이지 수)만큼 앞의 페이지에 포커스를 옮기고, 그 새로운 페이지를 표시한다. 흑 화살표는, 상술한 설명과 좌우가 반대인 경우의 움직임을 나타내고 있다.
이와 같이, 유저는, 몇 번이나 같은 제스처를 입력하는 일 없이, 지시체의 형태를 변화시키는 1동작만으로 간단하게, 단숨에 많은 페이지를 넘길 수 있다.
또는, 도 24에 도시하는 바와 같이, 본 발명의 제스처 인식 장치(1)를, 태블릿 PC(400)에 탑재할 수 있다.
태블릿 PC(400)의 오브젝트 처리부(25)는, 오브젝트로서 아이콘(선택 가지)을, 메인항목과, 서브항목으로 나누어서 표시한다. 오브젝트 처리부(25)는, 메인항목(도 24에서 알파벳으로 식별되어 있다)를 횡1렬로 일람 표시한다. 그리고, 포커스되어 있는 메인항목에 속한 서브항목(도 24에서 숫자로 식별되어 있다)를 종1열로 일람 표시한다. 또한, 오브젝트 처리부(25)는, 포커스되어 있는 아이콘에 커서(50)를 표시한다.
유저는, 우선, 소망하는 메인항목을 선택하기 위해, 커서(50)를 이동시키기 위한 동작을 행한다. 실시 형태 1과 마찬가지로, 유저는, 촬상부(12)의 앞에서, 지시체를 좌로부터 우로 움직가다(백 화살표(82)). 제스처 인식부(22)에 의해 「우로 이동」의 제스처가 인식되면, 오브젝트 처리부(25)는, 현재의 아이콘(대(大)항목(D))의 오른편의 아이콘(대항목(E))에 포커스를 옮기고, 커서(50)도 우로 이동시킨다(백 화살표(83)). 또한, 형태 감시부(23)에 의해 우방향으로의 손가락의 기울기가 인식되면(백 화살표(84)), 오브젝트 처리부(25)는, 현재의 아이콘(대항목(E))으로부터 지정된 처리 실행량(아이콘 개수)만큼 오른쪽에 배치되어 있는 아이콘에 포커스를 옮기고, 그 새로운 아이콘에 커서(50)를 맞혀서 표시한다. 흑 화살표는, 상술한 설명과 좌우가 반대의 경우의 움직임을 나타내고 있다.
이와 같이, 유저는, 몇 번이나 같은 제스처를 입력하는 일 없이, 지시체의 형태를 변화시키는 1동작만으로 간단하게, 현재의 포커스 위치로부터 멀리에 배치되어 있는 아이콘을 재빠르게 선택할 수 있다.
본 발명은 상술한 각 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하고, 다른 실시 형태에 각각 개시된 기술적 수단을 적절히 조합시켜서 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.
[소프트웨어에 의한 실현례]
최후로, 제스처 인식 장치(1)의 각 블록, 특히, 시작 인식부(20), 지시체 검출부(21), 제스처 인식부(22), 형태 감시부(23), 및, 실행량 결정부(24)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해 실현하여도 좋다.
즉, 제스처 인식 장치(1)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU(central processing unit), 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 제스처 인식 장치(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 제스처 인식 장치(1)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.
상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.
또한, 제스처 인식 장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를, 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선이라도, IrDA나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802.11 무선, HDR(High Data Rate), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태라도 실현될 수 있다.
본 발명의 제스처 인식 장치는, 지시체를 촬영하기 위한 촬상부를 구비하는 각종 전자기기, 특히, 표시 장치에 알맞게 사용된다. 본 발명의 제스처 인식 장치는, 이것으로 한정되지 않지만, 처리 실행 주체인 표시 장치로서, 디지털 텔레비전, 태블릿 PC(Personal Computer), 스마트 폰, 휴대 전화, 전자 서적 리더, 전자 수첩, PDA(Personal Digital Assistant), 퍼스널 컴퓨터, 노트 퍼스널 컴퓨터, 디지털 카메라, 디지털 비디오 카메라, 가정용 게임기, 휴대용 게임기, 디지털 포토 프레임 등에 탑재할 수 있다.
1 : 제스처 인식 장치
2 : 표시 장치(처리 실행 주체)
3 : 오브젝트(선택 가지)
10 : 제어부
11 : 기억부
12 : 촬상부
13 : 표시부
13a : 표시 화면
13b : 표시 화면
20 : 시작 인식부(시작 인식 수단)
21 : 지시체 검출부(지시체 검출 수단)
22 : 제스처 인식부(제스처 인식 수단)
23 : 형태 감시부(형태 감시 수단)
24 : 실행량 결정부(처리 실행량 결정 수단)
25 : 오브젝트 처리부(처리 실행 주체)
30 : 제스처 규칙 기억부
31 : 형태 상관 기억부
32 : 오브젝트 기억부
40 : 지시체 포함 영역
41 : 지시체 영역
41': 돌기 부분
42 : 지시체 기준점
43 : 이동 방향
44 : 이동 방향
45 : 주목 영역
46 : 중심
47 : 직선
48 : 주축
49 : 기준선
49': 기준선
50 : 커서
51'내지 55': 섬네일 화상(오브젝트/선택 가지)
52 내지 54 : 정지화
70 : 기준선
71 : 진행 방향
72 : 진행 방향
73 : 지시체 포함 영역
74 : 지시체 포함 영역
100 : 디지털 텔레비전(전자기기/표시 장치)
200 : 전자 서적 리더(전자기기/표시 장치)
300 : 스마트 폰(전자기기/표시 장치)

Claims (18)

  1. 촬상된 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 인식한 제스처에 대응하는 처리를, 처리 실행 주체가 실행하여야 할 처리로서 특정하는 제스처 인식 수단과,
    상기 제스처 인식 수단에 의해 특정된, 상기 처리 실행 주체가 실행하여야 할 처리의 처리 실행량을 결정하는 처리 실행량 결정 수단을 구비하고,
    상기 처리 실행량 결정 수단은,
    촬상된 지시체의 형태의 변화에 의거하여, 상기 처리 실행량을 결정하는 것을 특징으로 하는 제스처 인식 장치.
  2. 제 1항에 있어서,
    지시체를 촬상하여 얻어진 동화의 각 프레임으로부터, 그 지시체의 형태의 변화량을 특정하는 형태 감시 수단을 구비하고,
    상기 처리 실행량 결정 수단은,
    상기 형태 감시 수단에 의해 특정된 변화량에 비례하여, 상기 처리 실행량을 결정하는 것을 특징으로 하는 제스처 인식 장치.
  3. 제 2항에 있어서,
    상기 형태 감시 수단은,
    미리 정하여진 상기 지시체의 기준의 형태와, 촬상된 상기 지시체의 최신의 형태를 비교함에 의해, 상기 변화량을 특정하는 것을 특징으로 하는 제스처 인식 장치.
  4. 제 2항에 있어서,
    상기 형태 감시 수단은,
    상기 제스처 인식 수단에 의해 제스처가 인식된 시점의 상기 지시체의 형태와, 촬상된 상기 지시체의 최신의 형태를 비교함에 의해, 상기 변화량을 특정하는 것을 특징으로 하는 제스처 인식 장치.
  5. 제 3항 또는 제 4항에 있어서,
    상기 처리 실행량 결정 수단은,
    상기 처리 실행 주체의 처리 실행량의 최대치에 대응하는, 미리 정하여진 기준의 최종 형태에서의 최대 변화량에 대해, 상기 형태 감시 수단에 의해 특정된 최신의 형태에서의 변화량이 차지하는 비율에 의거하여, 상기 처리 실행량을 결정하는 것을 특징으로 하는 제스처 인식 장치.
  6. 제 5항에 있어서,
    상기 형태 감시 수단은,
    상기 지시체의 기울기가 변화하는 각도를 상기 변화량으로서 특정하는 것을 특징으로 하는 제스처 인식 장치.
  7. 제 6항에 있어서,
    상기 형태 감시 수단은,
    상기 지시체로서의 손가락의 기울기의 변화량을 특정하는 것을 특징으로 하는 제스처 인식 장치.
  8. 제 7항에 있어서,
    상기 처리 실행량 결정 수단은,
    상기 형태 감시 수단에 의해 특정된, 상기 지시체에서의 최신의 형태의 변화량이, 상기 지시체에서의 직전의 형태의 변화량을 하회하는 경우에, 상기 처리 실행 주체에 의한 처리의 실행의 정지를 결정하는 것을 특징으로 하는 제스처 인식 장치.
  9. 제 7항에 있어서,
    상기 형태 감시 수단은,
    상기 지시체의 이동 방향과 반대의 진행 방향을 향하여 변화하는, 상기 지시체의 형태의 변화량을 부의 수에 의해 특정하고,
    상기 처리 실행량 결정 수단은,
    상기 형태 감시 수단에 의해 특정된, 상기 지시체에서의 최신의 형태의 변화량이, 부의 수인 경우에,
    상기 제스처 인식 수단에 의해 특정된 상기 처리의 원래의 진행 방향과 반대의 진행 방향에서의 처리 실행량을 결정하는 것을 특징으로 하는 제스처 인식 장치.
  10. 제 9항에 있어서,
    상기 처리 실행량 결정 수단은,
    상기 처리 실행 주체가, 상기 제스처 인식 수단에 의해 특정된 처리를 실행하여야 할 회수를, 상기 처리 실행량으로서 결정하는 것을 특징으로 하는 제스처 인식 장치.
  11. 제 9항에 있어서,
    상기 처리 실행량 결정 수단은,
    상기 제스처 인식 수단에 의해 특정된 처리가, 배치된 복수의 선택 가지의 어느 하나에 맞추어진 포커스를 다른 선택 가지로 천이시키는 처리인 경우에,
    선택 가지 몇 개 걸러서 포커스를 천이시키는지를 나타내는 선택 가지의 개수를, 상기 처리 실행량으로서 결정하는 것을 특징으로 하는 제스처 인식 장치.
  12. 제 2항에 있어서,
    상기 처리 실행량 결정 수단은,
    상기 형태 감시 수단에 의해 특정된, 촬상된 상기 지시체로서의 손가락의 기울기가 변화할 때의 각도의 변화량에 비례하여 상기 처리 실행량을 결정하고,
    상기 처리 실행량이란,
    상기 제스처 인식 수단에 의해 특정된 처리가, 배치된 복수의 선택 가지의 어느 하나에 맞추어진 포커스를 다른 선택 가지로 천이시키는 처리인 경우에, 선택 가지 몇 개 걸러서 포커스를 천이시키는지를 나타내는 선택 가지의 개수인 것을 특징으로 하는 제스처 인식 장치.
  13. 제 12항에 있어서,
    상기 처리 실행량 결정 수단은,
    상기 이동을 시작한 상기 지시체의 형태의 변화에 의거하여 상기 처리 실행량을 결정하는 것을 특징으로 하는 제스처 인식 장치.
  14. 제 12항에 있어서,
    상기 처리 실행량 결정 수단은,
    상기 이동을 시작한 상기 지시체와는 다른, 촬상된 제 2의 지시체의 형태의 변화에 의거하여 상기 처리 실행량을 결정하는 것을 특징으로 하는 제스처 인식 장치.
  15. 제 14항에 기재된 제스처 인식 장치와,
    상기 지시체를 촬상한 촬상 화상을 상기 제스처 인식 장치에 공급하는 촬상부와,
    상기 제스처 인식 장치에 의해 특정된 처리를, 상기 제스처 인식 장치에 의해 결정된 처리 실행량에 따라 실행하는 처리 실행 주체를 구비하고 있는 것을 특징으로 하는 전자기기.
  16. 제 15항에 있어서,
    상기 제스처 인식 장치에 의해 특정된 처리가, 배치된 복수의 선택 가지의 어느 하나에 맞추어진 포커스를 다른 선택 가지로 천이시키는 처리인 경우에,
    상기 제스처 인식 장치에 의해 결정된 처리 실행량은, 선택 가지 몇 개 걸러서 포커스를 천이시키는지를 나타내는 선택 가지의 개수이고,
    상기 처리 실행 주체는,
    상기 제스처 인식 장치에 의해 결정된 선택 가지의 개수에 따라, 당해 개수마다의 각 선택 가지로 포커스를 천이시키는 것을 특징으로 하는 전자기기.
  17. 촬상된 지시체의 이동의 궤적에 의거하여 제스처를 인식하고, 인식한 제스처에 대응하는 처리를, 처리 실행 주체가 실행하여야 할 처리로서 특정하는 제스처 인식 스텝과,
    상기 제스처 인식 스텝에 특정된, 상기 처리 실행 주체가 실행하여야 할 처리의 처리 실행량을 결정하는 처리 실행량 결정 스텝을 포함하고,
    상기 처리 실행량 결정 스텝에서는,
    촬상된 지시체의 형태의 변화에 의거하여, 상기 처리 실행량을 결정하는 것을 특징으로 하는 제스처 인식 방법.
  18. 컴퓨터를, 제 12항에 기재된 제스처 인식 장치의 각 수단으로서 기능 시키기 위한 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020130008540A 2012-03-15 2013-01-25 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 KR101437760B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-059139 2012-03-15
JP2012059139 2012-03-15

Publications (2)

Publication Number Publication Date
KR20130105321A true KR20130105321A (ko) 2013-09-25
KR101437760B1 KR101437760B1 (ko) 2014-09-03

Family

ID=47747336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130008540A KR101437760B1 (ko) 2012-03-15 2013-01-25 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Country Status (6)

Country Link
US (1) US20130241819A1 (ko)
EP (1) EP2650754A3 (ko)
JP (1) JPWO2013137412A1 (ko)
KR (1) KR101437760B1 (ko)
CN (1) CN103309439B (ko)
WO (1) WO2013137412A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186857A1 (ko) * 2014-06-03 2015-12-10 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831794B2 (en) * 2011-05-04 2014-09-09 Qualcomm Incorporated Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects
JP5923395B2 (ja) * 2012-06-26 2016-05-24 京セラ株式会社 電子機器
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
US9477315B2 (en) * 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
US8977378B2 (en) * 2013-03-15 2015-03-10 Northeastern University Systems and methods of using a hieroglyphic machine interface language for communication with auxiliary robotics in rapid fabrication environments
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
KR101374720B1 (ko) * 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
CN103488296B (zh) * 2013-09-25 2016-11-23 华为软件技术有限公司 体感交互手势控制方法及装置
CN103785180B (zh) * 2014-01-22 2016-07-06 广东奥飞动漫文化股份有限公司 一种电动玩具的感应控制***
JP6442755B2 (ja) * 2014-02-28 2018-12-26 富士通コネクテッドテクノロジーズ株式会社 電子機器、制御プログラム、及び、制御方法
JP6460862B2 (ja) * 2014-03-20 2019-01-30 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
JP6320237B2 (ja) * 2014-08-08 2018-05-09 株式会社東芝 仮想試着装置、仮想試着方法、およびプログラム
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
EP3521853B1 (en) 2015-04-30 2021-02-17 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
JP6544044B2 (ja) * 2015-05-27 2019-07-17 株式会社リコー 画像処理装置、画像処理システム及び画像処理方法
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US9888340B2 (en) 2015-10-10 2018-02-06 International Business Machines Corporation Non-intrusive proximity based advertising and message delivery
CN105791558A (zh) * 2016-02-26 2016-07-20 努比亚技术有限公司 移动终端及其控制终端设备的方法
KR20170104819A (ko) * 2016-03-08 2017-09-18 삼성전자주식회사 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
JP6809022B2 (ja) * 2016-07-29 2021-01-06 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
CN109144260B (zh) * 2018-08-24 2020-08-18 上海商汤智能科技有限公司 动态动作检测方法、动态动作控制方法及装置
WO2019120290A1 (zh) 2017-12-22 2019-06-27 北京市商汤科技开发有限公司 动态手势识别方法和装置、手势交互控制方法和装置
JP2020136898A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
JP2020149228A (ja) * 2019-03-12 2020-09-17 株式会社デンソーテン 制御装置および制御方法
CN112487844A (zh) * 2019-09-11 2021-03-12 华为技术有限公司 手势识别方法、电子设备、计算机可读存储介质和芯片
KR20210101858A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 제스처 인식 기반의 기능 운용 방법 및 이를 지원하는 전자 장치
CN111443802B (zh) * 2020-03-25 2023-01-17 维沃移动通信有限公司 测量方法及电子设备
WO2021246089A1 (ja) * 2020-06-01 2021-12-09 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム
KR20230026832A (ko) * 2021-08-18 2023-02-27 삼성전자주식회사 동작 제스처를 감지하는 전자 장치 및 그 동작 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04257014A (ja) * 1991-02-12 1992-09-11 Matsushita Electric Ind Co Ltd 入力装置
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP3997392B2 (ja) * 2001-12-13 2007-10-24 セイコーエプソン株式会社 表示装置及び表示装置の入力方法
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
JP2005063090A (ja) * 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP4172793B2 (ja) 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
JP4689684B2 (ja) * 2005-01-21 2011-05-25 ジェスチャー テック，インコーポレイテッド 動作に基づくトラッキング
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP2010259064A (ja) * 2009-04-03 2010-11-11 Olympus Imaging Corp 表示装置及び撮像装置
JP5182202B2 (ja) * 2009-04-14 2013-04-17 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US9594431B2 (en) * 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
KR100941927B1 (ko) 2009-08-21 2010-02-18 이성호 터치입력 인식방법 및 장치
KR101132598B1 (ko) * 2009-09-10 2012-04-06 문준희 디스플레이 장치의 화면 크기 제어 방법 및 장치
US9008120B2 (en) * 2010-02-19 2015-04-14 Samsung Electronics Co., Ltd. Method and apparatus for enabling communication between a mobile device and universal plug and play devices
US9069386B2 (en) * 2010-05-11 2015-06-30 Nippon Systemware Co., Ltd. Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US8730164B2 (en) * 2010-05-28 2014-05-20 Panasonic Corporation Gesture recognition apparatus and method of gesture recognition
KR101626301B1 (ko) * 2010-05-28 2016-06-01 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101360149B1 (ko) * 2010-11-02 2014-02-11 한국전자통신연구원 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186857A1 (ko) * 2014-06-03 2015-12-10 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
KR20150139376A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US10162423B2 (en) 2014-06-03 2018-12-25 Lg Electronics Inc. Image display apparatus and operation method thereof

Also Published As

Publication number Publication date
KR101437760B1 (ko) 2014-09-03
JPWO2013137412A1 (ja) 2015-08-03
CN103309439A (zh) 2013-09-18
EP2650754A3 (en) 2014-09-24
WO2013137412A1 (ja) 2013-09-19
CN103309439B (zh) 2016-06-01
EP2650754A2 (en) 2013-10-16
US20130241819A1 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
KR101437760B1 (ko) 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
US9405373B2 (en) Recognition apparatus
US9690388B2 (en) Identification of a gesture
CN108900767B (zh) 相机装置及其控制方法
KR101477592B1 (ko) 카메라 기반 정보 입력 방법 및 단말
US9438789B2 (en) Display control apparatus and display control method
JP5264844B2 (ja) ジェスチャ認識装置及び方法
CN111787223B (zh) 视频拍摄方法、装置和电子设备
JPWO2016167331A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP5932082B2 (ja) 認識装置
CN112954214B (zh) 拍摄的方法、装置、电子设备及存储介质
CN113923350A (zh) 视频拍摄方法、装置、电子设备和可读存储介质
JP2012185631A (ja) 投影装置
CN112822394A (zh) 显示控制方法、装置、电子设备及可读存储介质
CN112437231A (zh) 图像拍摄方法和装置、电子设备及存储介质
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP5376403B2 (ja) 映像表示装置及びプログラム
KR20130116013A (ko) 카메라 장치 및 그의 제어 방법
JP6548068B2 (ja) 電子機器、表示制御方法及びプログラム
WO2021005415A1 (en) Method for operating an electronic device in order to browse through photos
JP5733056B2 (ja) 仮想マウスによるデータ入力方法
JP2005332061A (ja) 操作装置、操作入力端末、操作方法、および、操作プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190819

Year of fee payment: 6