KR101514168B1 - 정보 처리 장치, 정보 처리 방법 및 기록 매체 - Google Patents

정보 처리 장치, 정보 처리 방법 및 기록 매체 Download PDF

Info

Publication number
KR101514168B1
KR101514168B1 KR1020137027930A KR20137027930A KR101514168B1 KR 101514168 B1 KR101514168 B1 KR 101514168B1 KR 1020137027930 A KR1020137027930 A KR 1020137027930A KR 20137027930 A KR20137027930 A KR 20137027930A KR 101514168 B1 KR101514168 B1 KR 101514168B1
Authority
KR
South Korea
Prior art keywords
unit
reference data
subject
camera
distance
Prior art date
Application number
KR1020137027930A
Other languages
English (en)
Other versions
KR20140002007A (ko
Inventor
다까후미 구로까와
Original Assignee
엔이씨 솔루션 이노베이터 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔이씨 솔루션 이노베이터 가부시키가이샤 filed Critical 엔이씨 솔루션 이노베이터 가부시키가이샤
Publication of KR20140002007A publication Critical patent/KR20140002007A/ko
Application granted granted Critical
Publication of KR101514168B1 publication Critical patent/KR101514168B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

입력부(51)는, 카메라(2)에 의해 촬상된 손의 촬상 화상을 입력한다. 취득부(52)는, 카메라(2)와 손의 거리를 나타내는 정보를 취득한다. 기억부(4)는, 손의 제스처를 특정하기 위한 기준 데이터와 그 제스처에 대응하는 커맨드를, 카메라(2)와 손의 거리마다 기억한다. 선택부(53)는, 기억부(4)에 기억된 기준 데이터 중으로부터, 취득부(52)에 의해 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택한다. 특정부(54)는, 선택부(53)에 의해 선택된 기준 데이터를 참조하여, 입력부(51)에 입력된 촬상 화상에서의 손의 제스처를 특정하고, 특정된 제스처에 대응하는 커맨드를 특정한다.

Description

정보 처리 장치, 정보 처리 방법 및 기록 매체{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은, 정보 처리 장치, 정보 처리 방법 및 기록 매체에 관한 것이다.
유저를 카메라에 의해 촬상하고, 촬상된 유저의 제스처에 의해 조작 명령을 입력하는 정보 처리 장치가 제안되어 있다.
예를 들면, 특허 문헌 1에는, 촬상한 화상에서의 유저의 손의 윤곽을 구하고, 그 손의 움직임 및 형상 변화에 대응하여, 표시부의 가상 스위치로의 커서 이동 및 가상 스위치의 선택을 행하는 인터페이스 장치가 개시되어 있다.
특허 문헌 2에는, 촬상한 화상으로부터 유저의 손의 형상을 인식하고, 제1 형상을 인식한 경우에, 실행 가능한 복수의 기능의 메뉴를 표시하는 정보 처리 장치가 개시되어 있다. 그 정보 처리 장치는, 화상에서의 인식한 형상의 위치에 따라서 실행 가능한 기능을 선택하고, 제2 형상이 인식되면, 선택된 기능을 실행한다.
또한, 특허 문헌 3에는, 카메라에 의해 촬상한 유저의 손바닥의 화상의 일부를 마스크하고, 마스크한 화상에 의해 손바닥의 움직임을 검출하고, 그 손의 움직임에 대응한 커맨드를 인식하는 정보 처리 장치가 개시되어 있다.
일본 특허 출원 공개 제2004-78977호 공보 일본 특허 출원 공개 제2008-146243호 공보 일본 특허 출원 공개 제2002-83302호 공보
상기 특허 문헌 1∼3에 기재된 정보 처리 장치는, 모두, 유저의 손을 촬상하고, 촬상한 화상 중의 손의 화상을 추출하고, 또한, 손의 움직임 또는 형상을 인식한다. 그러나, 유저의 손의 화상의 추출, 또한 손의 움직임 또는 형상을 인식하는 것은 용이하지 않다. 예를 들면, 유저와 카메라의 거리가 멀어짐에 따라서, 손의 화상이 작아져, 추출 처리에 시간이 걸리고, 또한 인식율이 저하된다. 이 때문에, 적절한 조작 명령을 입력하는 것이 곤란해진다.
본 발명은, 상기 사정을 감안하여 이루어진 것이며, 촬상된 피사체의 양태에 기초하여, 보다 적절한 데이터를 입력할 수 있는 정보 처리 장치, 정보 처리 방법 및 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 제1 관점에 따른 정보 처리 장치는,
카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력부와,
상기 카메라와 상기 피사체의 거리를 나타내는 정보를 취득하는 취득부와,
상기 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체의 거리마다 기억하는 기억부와,
상기 기억부에 기억된 상기 기준 데이터 중으로부터, 상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택부와,
상기 선택부에 의해 선택된 기준 데이터를 참조하여, 상기 입력부에 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정부를 구비한다.
본 발명의 제2 관점에 따른 정보 처리 방법은,
카메라에 의해 촬상된 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체의 거리마다 기억하는 기억 스텝과,
상기 카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력 스텝과,
상기 카메라와 상기 피사체와의 거리를 나타내는 정보를 취득하는 취득 스텝과,
상기 기억 스텝에서 기억된 상기 기준 데이터 중으로부터, 상기 취득 스텝에서 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택 스텝과,
상기 선택 스텝에서 선택된 기준 데이터를 참조하여, 상기 입력 스텝에서 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정 스텝을 포함한다.
본 발명의 제3 관점에 따른 기록 매체에 기록된 프로그램은,
컴퓨터를,
카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력부,
상기 카메라와 상기 피사체의 거리를 나타내는 정보를 취득하는 취득부,
상기 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체의 거리마다 기억하는 기억부,
상기 기억부에 기억된 상기 기준 데이터 중으로부터, 상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택부,
상기 선택부에 의해 선택된 기준 데이터를 참조하여, 상기 입력부에 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정부로서 기능시킨다.
본 발명에 의하면, 촬상된 피사체의 양태에 기초하여, 보다 적절한 데이터를 입력할 수 있다.
도 1은 본 발명의 실시 형태에 따른 정보 처리 장치의 사시도이다.
도 2는 도 1의 정보 처리 장치의 기능 블록도이다.
도 3은 원거리용의 제스처로서의 손의 움직임의 예를 도시하는 도면이다.
도 4의 (A), (B), (C) 및 (D)는 중거리용의 제스처로서의 손의 형상의 예를 도시하는 도면이다.
도 5의 (A), (B), (C) 및 (D)는 근거리용의 제스처로서의 손의 기울기의 예를 도시하는 도면이다.
도 6은 카메라와 유저의 거리를 나타내는 정보를 취득하는 방법을 설명하기 위한 도면이다.
도 7은 실시 형태에서의 입력 처리를 설명하기 위한 플로우차트이다.
도 8은 표시부에서의 손의 화상 및 메시지의 표시의 예를 도시하는 도면이다.
도 9는 표시부에서의 손의 화상 및 특정 가능한 제스처의 표시의 예를 도시하는 도면이다.
이하, 본 발명의 실시 형태에 따른 정보 처리 장치에 대하여 도면을 참조하여 설명한다. 또한, 도면 중 동일 또는 상당하는 부분에는 동일 부호를 붙인다.
본 실시 형태에 따른 정보 처리 장치(100)는, 피사체로서의 손(200)의 움직임과 형상과 기울기 등으로 나타내어지는 제스처(양태)를 특정하고, 특정한 제스처에 대응하는 커맨드 등의 입력 데이터를 입력하는 제스처 입력 기능을 구비한다. 도 1에 도시한 바와 같이, 정보 처리 장치(100)는, 조작부(1), 촬상부로서의 카메라(2), 표시부(3)를 구비하고 있다.
정보 처리 장치(100)는, 일반적으로 사용되는 컴퓨터이다. 정보 처리 장치(100)는, 손(200)의 제스처에 대응하는 입력 데이터 및 조작부(1)의 조작에 의해 입력된 데이터를 처리한다.
조작부(1)는, 키보드, 마우스 등을 구비한다. 조작부(1)는 유저의 조작 입력에 대응하는 데이터를 정보 처리 장치(100)에 입력한다.
카메라(2)는, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 센서 등의 촬상 소자를 구비한다. 카메라(2)는, 시야 내에 위치하는 피사체로서, 예를 들면 정보 처리 장치(100)의 유저의 손(200)을 촬상한다. 유저는, 손(200)을 카메라(2)의 시야 내에서 이동시켜, 손(200)의 형상을 변화시킴으로써, 다양한 데이터를 입력한다.
표시부(3)는, LCD(Liquid Crystal Display) 등을 구비한다. 표시부(3)는, 정보 처리 장치(100)에서 실행 중인 어플리케이션에 관련되는 화상을 표시한다. 또한, 표시부(3)는, 항상 혹은 소정의 조작에 응답하여, 제스처 입력 지원용 윈도우(3W)를 표시한다. 제스처 입력 지원용 윈도우(3W)에는, 메뉴 항목, 파일, 아이콘 등의 선택 대상 S와 선택용의 커서 C가 표시된다.
도 2는 정보 처리 장치(100)의 기능 구성을 도시한다. 정보 처리 장치(100)는, 상기의 조작부(1), 카메라(2), 표시부(3) 외에, 기억부(4)와, 제어부(5)를 구비한다.
기억부(4)는, RAM(Random Access Memory)이나 하드디스크 등의 기억 장치 등을 구비한다. 기억부(4)는 각종 데이터를 기억한다. 예를 들면, 기억부(4)는, 손(200)에 의한 유저의 제스처를 특정하기 위한 기준 데이터와 그 제스처에 대응하는 입력 데이터를, 카메라(2)와 손(200)의 거리마다 기억한다. 이 때문에, 기억부(4)는, 원거리용 기준 데이터 기억부(41)와, 중거리용 기준 데이터 기억부(42)와, 근거리용 기준 데이터 기억부(43)를 구비한다. 기준 데이터는, 도 3 내지 도 5에 도시한 바와 같은 손(200)의 이동, 형상, 기울기 등으로 나타내어지는 제스처(핸드 제스처 조작 패턴이라고도 함)를 특정하기 위한 데이터이다.
원거리용 기준 데이터 기억부(41)는, 원거리로부터라도 특정할 수 있는 손(200)에 의한 유저의 단순한 제스처를 특정하기 위한 기준 데이터를 기억한다. 원거리용 기준 데이터 기억부(41)는, 예를 들면 도 3에 예시한 바와 같은, 손(200)의 형상과, 손(200)의 좌, 우, 상, 하 방향으로의 움직임을 특정하기 위한 기준 데이터를 기억한다. 손(200)의 형상을 특정하기 위한 기준 데이터는, 예를 들면 손의 형상을 데이터화한 패턴 데이터 등이다. 손(200)의 좌, 우, 상, 하 방향으로의 움직임을 특정하기 위한 기준 데이터는, 예를 들면 손의 무게 중심의 단위 시간당의 이동량에 관한 데이터나 손이 이동하였을 때의 무게 중심의 궤적을 데이터화한 패턴 데이터 등이다. 원거리용 기준 데이터 기억부(41)에 기억되는 기준 데이터는, 카메라(2)와 손(200)의 거리가 멀어서 화상 데이터에서의 손(200)의 영역이 작은 경우에서의 손(200)에 의한 유저의 제스처의 특정에 이용된다.
중거리용 기준 데이터 기억부(42)는, 상대적으로 특정이 어려운 손(200)에 의한 유저의 제스처를 특정하기 위한 기준 데이터를 기억한다. 중거리용 기준 데이터 기억부(42)는, 예를 들면 도 4에 예시한 바와 같은, 손(200)의 형상을 특정하기 위한 기준 데이터를 기억한다. 도 4의 (A)는 모든 손가락을 편 손의 형상이다. 도 4의 (B)는 집게 손가락을 펴고 나머지 손가락을 구부린 손의 형상이다. 도 4의 (C)는 집게 손가락과 가운뎃 손가락을 펴고 나머지 손가락을 구부린 손의 형상이다. 도 4의 (D)는 집게 손가락과 가운뎃 손가락과 약손가락을 펴고 나머지 손가락을 구부린 손의 형상이다.
근거리용 기준 데이터 기억부(43)는, 상대적으로 더욱 특정이 어려운 손(200)에 의한 유저의 제스처를 특정하기 위한 기준 데이터를 기억한다. 근거리용 기준 데이터 기억부(43)는, 예를 들면 도 5에 예시한 바와 같은, 손(200)의 형상을 특정하기 위한 기준 데이터를 기억한다. 도 5의 (A) 내지 도 5의 (D)는 모두 손 자체의 형상은 동일하지만, 손(200)의 기울기가 상이한 예이다. 근거리용 기준 데이터 기억부(43)에 기억되는 기준 데이터는, 카메라(2)와 손(200)의 거리가 가까워서 화상 데이터에서의 손(200)이 큰 경우에서의 손(200)의 제스처의 특정에 이용된다.
또한, 중거리용 기준 데이터 기억부(42)는, 원거리용 기준 데이터 기억부(41)에 의해 기억되어 있는 기준 데이터도 기억한다. 또한, 근거리용 기준 데이터 기억부(43)는, 원거리용 기준 데이터 기억부(41)에 의해 기억되어 있는 기준 데이터 및 중거리용 기준 데이터 기억부(42)에 의해 기억되어 있는 기준 데이터도 기억하고 있다. 환언하면, 기준 데이터는, 손의 제스처의 특정의 어려움에 따라서 계층화되어 있고, 근거리용 기준 데이터 기억부(43)를 상위, 원거리용 기준 데이터 기억부(41)를 하위로 하면, 상위의 기준 데이터는, 하위의 기준 데이터를 포함한다. 이와 같이 하여, 기억부(4)는, 카메라(2)와 손(200)의 거리가 가까워질수록, 보다 많은 제스처를 특정하기 위한 기준 데이터를 기억한다.
또한, 기억부(4)는, 손(200)에 의한 유저의 제스처에 대응지어진 입력 데이터를, 카메라(2)와 손(200)의 거리마다 기억한다. 손(200)에 의한 유저의 제스처에 어떤 데이터를 대응지을지는 임의이다.
예를 들면, 원거리용 기준 데이터 기억부(41)는, 기억한 기준 데이터에 의해 특정되는 도 3에 도시한 손(200)의 움직임의 방향과, 제스처 입력 지원용 윈도우(3W) 내의 커서 C를 그 방향으로 이동시키는 커맨드를 대응지어 기억한다.
예를 들면, 중거리용 기준 데이터 기억부(42)는, 기억한 기준 데이터에 의해 특정되는 도 4의 (A) 내지 도 4의 (D)에 도시한 손(200)의 편 손가락의 수와, 제스처 입력 지원용 윈도우(3W) 내에서 그 손가락의 수와 일치하는 메뉴의 번호를 지정하는 커맨드를 대응지어 기억한다. 이 외에, 중거리용 기준 데이터 기억부(42)는, 손(200)의 편 손가락의 수와, 그 손가락의 수와 일치하는 수치 데이터를 입력하는 커맨드를 대응지어 기억해도 된다.
예를 들면, 근거리용 기준 데이터 기억부(43)는, 기억한 기준 데이터에 의해 특정되는 도 5의 (A) 내지 도 5의 (D)에 도시한 손(200)의 형상과, 제스처 입력 지원용 윈도우(3W) 내의 화상을 그 형상에서의 집게 손가락이 나타내는 방향으로 스크롤시키는 커맨드를 대응지어 기억한다. 이 외에, 근거리용 기준 데이터 기억부(43)는, 손(200)의 형상과, 그 형상에서의 집게 손가락이 가리키는 방향으로 커서를 이동시키는 등의 커맨드를 대응지어 기억해도 된다.
제어부(5)는, 프로세서(Processing Unit) 등을 구비한다. 프로세서는, 플래시 메모리, EEPROM(Electrically Erasable Programmable Read Only Memory), 하드디스크 장치 등의 보조 기억 장치와, 워크 메모리인 RAM 등을 갖는다. 프로세서는, EEPROM에 저장된 프로그램에 따라서, 화상 데이터 및 그 밖의 데이터를 RAM에 일시적으로 기억하여, 정보 처리의 알고리즘을 실행한다.
제어부(5)는, 입력부(51)와, 취득부(52)와, 선택부(53)와, 특정부(54)와, 실행부(55)를 구비한다. 제어부(5)는, 기억부(4)에 기억되어 있는 프로그램에 따라서 동작하고, 유저에 의해 입력된 커맨드 등의 입력 데이터에 따라서 다양한 처리를 실행한다.
입력부(51)는, 카메라(2)에 의해 촬상된 손(200)의 촬상 화상을 입력한다. 입력부(51)는 촬상 화상의 아날로그 신호를 디지털 신호로 변환하여, 프레임 단위의 화상 데이터를 생성한다. 입력부(51)는 프레임 단위의 화상 데이터를 표시부(3)에 출력하여 스루 화상으로서 표시시킨다.
취득부(52)는, 카메라(2)(촬상부)와 손(200)의 거리를 나타내는 정보를 취득한다. 취득부(52)는, 카메라(2)에 의해 촬상된 화상 데이터를 해석하여, 카메라(2)와 손(200)의 거리를 나타내는 정보를 취득한다. 취득부(52)는, 카메라(2)와 손(200)의 거리를 나타내는 정보로서, 도 6에 도시한 바와 같은, 촬상된 유저의 얼굴의 영역에서의 관자놀이 사이의 길이 L1, 눈의 간격의 길이 L2, 손(200)의 등의 폭 L3 또는 손목의 폭 L4(이하, 관자놀이의 길이 L1 등)를 취득한다. 예를 들면, 취득부(52)는, 후술하는 특정부(54)에 의해 생성되는 화상 해석 데이터로부터 관자놀이의 길이 L1 등을 취득한다. 관자놀이의 길이 L1 등은, 개인차의 영향을 그다지 받지 않고, 카메라(2)와 유저의 거리에 상관된다. 이 때문에, 관자놀이의 길이 L1 등이 짧으면 짧을수록, 카메라(2)와 손(200)의 거리는 가깝다고 할 수 있다.
선택부(53)는, 취득부(52)에 의해 취득된 L1 등에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택한다. 선택부(53)는, 취득부(52)에 의해 취득된 L1 등에 기초하여, 카메라(2)와 유저의 손(200)과의 거리 D를 검출한다. 예를 들면, 거리 D의 검출에서는, 우선, 선택부(53)는, L1 등을, 이들의 길이 및 카메라(2)와 유저와의 거리의 관계식에 대입함으로써, 카메라(2)와 유저와의 거리를 구한다. 카메라(2)와 유저와의 거리는, 카메라(2)와 손(200)과의 거리 D에 거의 일치하기 때문에, 선택부(53)는, 구한 거리를 카메라(2)와 손(200)과의 거리 D로서 검출한다.
예를 들면, 선택부(53)는, 검출한 거리 D가 기준값 D1 이하인 경우, 근거리용 기준 데이터 기억부(43)에 기억된 기준 데이터를 선택한다. 선택부(53)는, 거리 D가 기준값 D1보다 큰 기준값 D2 이하인 경우, 중거리용 기준 데이터 기억부(42)에 기억된 기준 데이터를 선택한다. 선택부(53)는, 거리 D가 기준값 D2보다 큰 경우, 원거리용 기준 데이터 기억부(41)에 기억된 기준 데이터를 선택한다.
특정부(54)는, 선택부(53)에 의해 선택된 기준 데이터를 참조하여, 입력부(51)에 입력된 촬상 화상에서의 손(200)에 의한 유저의 제스처를 특정하고, 특정된 제스처에 대응하는 입력 데이터를 특정한다. 손(200)에 의한 유저의 제스처의 특정에서는, 예를 들면 특정부(54)는, 입력부(51)에 의해 생성된 프레임 단위의 화상 데이터로부터 손(200)을 추출하여 화상 해석 데이터를 생성한다.
여기서, 화상 해석 데이터의 생성에 대하여 상세하게 설명한다. 특정부(54)는, 복수의 프레임의 화상 데이터를 기억하는 메모리를 구비한다. 특정부(54)는, 금회 촬상된 프레임의 화상과 이전 촬상된 프레임의 화상간의 차분 화상을 구한다. 또한, 특정부(54)는, 얻어진 차분 화상을 2치화하고, 2치화한 화상 상의 각 백색 화소의 주위 8근방의 화소값이 미리 설정한 임계값보다도 크면, 그 백색 화소의 영역을 확장한다. 이렇게 함으로써, 특정부(54)는, 백색 영역을 연결하여 확장하는 확장 처리를 실행한다. 또한, 특정부(54)는, 2치화한 화상 상의 각 흑색 화소의 주위 8근방의 화소값이 미리 설정한 임계값보다도 작으면, 그 흑색 화소의 영역을 축소한다. 이렇게 함으로써, 노이즈로 되는 흑색 도트를 제거하는 축소 처리를 실행한다. 이와 같이 하여 특정부(54)는, 화상 데이터로부터 움직임이 있는 물체로서 손(200)의 화상을 추출함으로써 화상 해석 데이터를 생성한다.
또한, 특정부(54)는, 상기 차분 화상을 이용하여, 손(200)의 무게 중심의 단위 시간당의 이동량에 관한 데이터나 손(200)이 이동하였을 때의 무게 중심의 궤적을 데이터화한 패턴 데이터 등을 화상 해석 데이터에 포함시키도록 해도 된다. 이렇게 하여 생성된 화상 해석 데이터는, 취득부(52)에 의한 카메라(2)와 유저의 거리를 나타내는 정보의 취득에 이용된다. 또한, 특정부(54)는, 화상 데이터에 대하여 피부 색도 정보나 휘도 정보 등을 해석함으로써 손(200)의 화상을 추출하고, 화상 해석 데이터를 생성하도록 해도 된다.
특정부(54)는, 입력부(51)에 의해 입력된 촬상 화상에서의 손(200)의 화상을 추출하고, 추출한 손(200)의 화상이 나타내는 손(200)에 의한 유저의 제스처를, 선택부(53)에 의해 선택된 기준 데이터에 기초하여 특정한다. 보다 구체적으로는, 특정부(54)는, 생성한 화상 해석 데이터로부터 손(200)에 대응하는 데이터를 추출하고, 추출한 데이터와 선택부(53)에 의해 선택된 기준 데이터를 비교한다. 화상 해석 데이터에 포함되는 손(200)에 의한 유저의 제스처가 기준 데이터에 일치하는 경우, 특정부(54)는, 일치한 기준 데이터에 대응하는 손(200)의 제스처를 특정한다. 특정부(54)는, 특정한 제스처에 대응지어진 입력 데이터를 기억부(4)로부터 판독하여, 실행부(55)에 입력한다.
실행부(55)는, 특정부(54)에 의해 특정된 손(200)에 의한 유저의 제스처에 대응지어진 입력 데이터에 따른 처리를 실행한다. 예를 들면, 실행부(55)는, 원거리용 기준 데이터 기억부(41), 중거리용 기준 데이터 기억부(42), 근거리용 기준 데이터 기억부(43)를 참조하여, 특정부(54)에 의해 특정된 손(200)의 제스처에 대응지어진 커맨드를 실행한다. 예를 들면, 커서 C를 이동시키는 커맨드의 경우, 실행부(55)는, 커서 C의 이동 지시를 표시부(3)에 출력한다. 이에 의해, 표시부(3)의 제스처 입력 지원용 윈도우(3W) 내의 커서 C가 이동한다.
다음에, 정보 처리 장치(100)에 의한 입력 처리의 플로우를 설명한다.
정보 처리 장치(100)는, 다양한 어플리케이션 소프트웨어를 실행 가능하다. 정보 처리 장치(100)는, 어플리케이션 소프트웨어에의 입력을 위해서, 조작부(1)로부터의 입력 처리 외에, 이하에 설명하는 바와 같이, 유저가 제스처로 입력한 경우의 입력 처리를 행한다.
제어부(5)는, 도 7에 도시한 입력 처리를, 예를 들면 시분할로 실행한다. 또한, 제어부(5)는, 입력 처리의 개시에 수반하여 제스처 입력 지원용 윈도우(3W)를 표시해도 되고, 혹은, 제스처 혹은 조작부(1)로부터의 입력에 의해 제스처 입력 지원용 윈도우(3W)의 표시 및 비표시를 절환하도록 해도 된다.
입력 처리를 개시하면, 우선, 특정부(54)는, 입력부(51)로부터 출력된 프레임의 화상 데이터를 기억한다(스텝 S1).
다음으로 특정부(54)는, 화상 해석 데이터를 생성한다(스텝 S2). 화상 해석 데이터의 해석에서 손(200)의 화상이 추출되지 않은 경우(스텝 S3; "아니오"), 제어부(5)는, 스텝 S1로 되돌아간다. 한편, 화상 해석 데이터의 해석에서 손(200)의 화상이 추출된 경우(스텝 S3; "예"), 취득부(52)는, 관자놀이의 길이 L1 등을 취득한다(스텝 S4). 계속해서, 선택부(53)는, 관자놀이의 길이 L1 등에 기초하여, 거리 D를 검출한다(스텝 S5).
검출한 거리 D가 기준값 D1 이하인 경우(스텝 S6; "예"), 선택부(53)는, 근거리용 기준 데이터 기억부(43)에 기억된 기준 데이터를 선택한다(스텝 S7).
검출한 거리 D가 기준값 D1보다 큰 경우로서(스텝 S6; "아니오"), 또한 검출한 거리 D가, 기준값 D2 이하인 경우(스텝 S8; "예"), 선택부(53)는, 중거리용 기준 데이터 기억부(42)에 기억된 기준 데이터를 선택한다(스텝 S9).
검출한 거리 D가 D2보다 큰 경우(스텝 S8; "아니오"), 선택부(53)는, 원거리용 기준 데이터 기억부(41)에 기억된 기준 데이터를 선택한다(스텝 S10).
선택부(53)에 의해 기준 데이터가 선택되면, 특정부(54)는, 생성한 화상 해석 데이터와 선택부(53)에 의해 선택된 기준 데이터를 비교하여, 손(200)의 제스처가 기준 데이터에 일치하는지의 여부를 판정한다(스텝 S11).
손(200)의 제스처가 기준 데이터에 일치하지 않는 경우(스텝 S11; "아니오"), 제어부(5)는 스텝 S1로 되돌아간다. 한편, 손(200)의 제스처가 기준 데이터에 일치한 경우(스텝 S11; "예"), 특정부(54)는, 손(200)의 제스처 및 특정한 제스처에 대응지어진 커맨드를 특정한다(스텝 S12).
계속해서, 실행부(55)는, 특정부(54)에 의해 특정된 손(200)의 제스처에 대응지어진 커맨드를 실행한다(스텝 S13). 그리고, 제어부(5)는 입력 처리를 종료한다.
이상 상세하게 설명한 바와 같이 본 실시 형태에 의하면, 카메라(2)와 손(200)의 거리에 따라서, 손(200)에 의한 유저의 제스처를 특정하기 위한 기준 데이터가 선택된다. 이에 의해, 카메라(2)와 손(200)의 거리로 특정 가능한 손(200)에 의한 유저의 제스처가 특정되기 때문에, 카메라(2)에 의해 촬상된 손(200)에 의한 유저의 제스처에 기초하여, 보다 적절한 데이터를 입력할 수 있다.
또한, 상기 실시 형태에서는, 기억부(4)는, 카메라(2)와 손(200)의 거리가 가까워질수록, 보다 많은 제스처를 특정하기 위한 기준 데이터를 기억하도록 하였다. 이렇게 함으로써, 카메라(2)와 손(200)의 거리가 가까운 경우는, 보다 많은 제스처를 특정할 수 있기 때문에, 다양한 커맨드 등의 입력 데이터를 입력할 수 있다.
카메라(2)와 손(200)이 중거리에 위치하는 경우는, 근거리의 경우와 비교하여, 특정 가능한 손(200)에 의한 유저의 제스처의 수는 감소하지만, 특정할 수 없는 제스처의 기준 패턴과 화상 해석 데이터가 비교되지 않으므로 처리 부담 및 오 특정을 경감할 수 있다.
카메라(2)와 손(200)과의 거리가 먼 경우는, 근거리, 중거리의 경우와 비교하여, 특정 가능한 손(200)에 의한 유저의 제스처의 수는 더욱 감소하지만, 특정할 수 없는 제스처의 기준 패턴과 화상 해석 데이터가 비교되지 않으므로 처리 부담 및 오특정을 더욱 경감할 수 있다. 또한, 카메라(2)와 손(200)과의 거리가 먼 경우라도 특정 가능한 제스처의 기준 패턴과 화상 해석 데이터가 비교되므로, 손(200)에 의한 유저의 제스처에 대응지어진 입력 데이터를 확실하게 입력할 수 있다.
또한, 상기 실시 형태에서는, 기억부(4)는, 피사체로서의 손(200)의 움직임과 형상과 기울기를, 양태로서 특정하기 위한 기준 데이터를 기억하도록 하였다. 이에 의해, 유저는 다양한 제스처를 표현할 수 있는 손(200)의 동작(핸드 제스처)에 의해 데이터를 입력할 수 있으므로 많은 종별의 데이터를 입력할 수 있다.
또한, 상기 실시 형태에서는, 상기 입력부(51)에 의해 입력된 촬상 화상에서의 손(200)의 화상을 추출하고, 추출한 손(200)의 화상이 나타내는 손(200)에 의한 유저의 제스처를, 선택부(53)에 의해 선택된 기준 데이터에 기초하여 특정하도록 하였다. 이렇게 함으로써, 정보 처리 장치(100)는, 유저의 제스처를 리얼타임으로 특정하여, 신속히 데이터를 입력할 수 있다.
또한, 상기 실시 형태에서는, 취득부(52)는, 카메라(2)에 의해 촬상된 화상 데이터를 해석하여 카메라(2)와 유저의 거리를 나타내는 정보를 취득하도록 하였다. 이에 의해, 광학 센서 등을 이용하는 경우에 비해, 장치 구성을 간단하게 할 수 있다.
또한, 표시부(3)는, 카메라(2)에 의해 촬상된 화상 데이터에 대응하는 화상을 표시하도록 해도 된다. 이 경우, 예를 들면 도 8에 도시한 바와 같이, 제스처 입력 지원용 윈도우(3W) 내에, 화상 데이터로부터 추출된 손(200)의 화상이 표시된다. 이렇게 함으로써, 유저는, 손(200)의 제스처를 확인하면서 조작 입력할 수 있으므로, 보다 확실하게 데이터를 입력할 수 있다. 또한, 표시부(3)는, 검출된 거리 D와, 그 거리로 특정 가능한 커맨드의 종류를 통지하는 메시지를 윈도우(3i)에 표시해도 된다. 이에 의해, 유저는, 어떤 커맨드를 제스처로 입력할 수 있는지를 파악할 수 있다.
또한, 표시부(3)는, 선택부(53)에 의해 선택된 기준 데이터에 기초하여 특정되는 손(200)의 제스처 및 손(200)의 제스처에 대응지어진 커맨드 등을 표시하도록 해도 된다. 예를 들면, 표시부(3)는, 도 9에 도시한 바와 같이, 손(200)의 화상을 표시하는 제스처 입력 지원용 윈도우(3W) 외에, 손(200)과 카메라(2)의 현재의 거리에서 특정 가능한 중거리용 기준 데이터 기억부(42)에 기억된 기준 데이터에 대응하는 손(200)의 제스처와, 그 제스처가 특정되었을 때에 입력되는 메뉴의 번호를 지정하는 커맨드를 윈도우(3i)에 표시한다. 이에 의해, 유저는, 특정될 수 있는 손(200)에 의한 제스처와 그것에 대하여 어떤 커맨드를 입력할 수 있는지를 파악할 수 있다.
또한, 본 실시 형태에서는, 카메라(2)와 유저의 거리를 나타내는 정보를, 화상 데이터로부터 구하는 예를 나타냈지만, 예를 들면 취득부(52)는, 적외선 발광부를 구비하고, 적외선 발광부로부터 발광된 적외선이 손(200)에 의해 반사된 반사광에 의해 카메라(2)와 유저의 거리를 나타내는 정보를 취득하도록 해도 된다. 또한, 카메라를 복수대 배치하고, 취득부(52)는, 복수의 카메라로부터의 스테레오 화상을 취득하고, 시차에 기초하여, 카메라(2)와 유저의 거리를 나타내는 정보를 구하도록 해도 된다. 그 외에, 취득부(52)는, 카메라(2)와 유저의 거리를 나타내는 정보의 취득에 광학 센서 등의 각종 센서를 이용해도 된다.
또한, 정보 처리 장치(100)는, 카메라(2)로서 적외선 카메라 등을 사용하여, 손(200)을 촬상해도 된다. 또한, 광학 카메라, 적외선 카메라 등에 한하지 않고, 예를 들면 정보 처리 장치(100)는, 손(200)의 촬상에 심도 센서 등을 사용해도 된다.
또한, 본 실시 형태에서는, 카메라(2)와 손(200)의 거리를 3단계로 나누었지만, 2단계로 나누어도, 4단계 이상으로 나누어도 된다.
또한, 도 3 내지 도 5에 도시한 손(200)의 움직임, 형상, 기울기 등으로 나타내어지는 유저의 제스처는 일례이며, 이들에 한정되는 것은 아니다. 예를 들면, 특정부(54)는, 왼손 또는 오른손에 의한 제스처를 특정해도 되고, 양손을 사용한 제스처를 특정해도 된다.
또한, 고속의 움직임을 수반하는 제스처는, 움직임이 없는 제스처에 비해, 원거리에서의 특정이 곤란하다. 이 때문에, 예를 들면 카메라(2)와 손(200)의 거리 D가 소정 거리보다 먼 경우에는, 손이 정지하고 있는 상태에서만, 특정부(54)는, 손의 형상을 특정하도록 해도 된다. 여기서, 거리 D가 소정 거리보다 가까운 경우에는, 특정부(54)는, 손(200)의 형상과 이동을 조합한 제스처를 특정하도록 해도 된다.
또한, 본 실시 형태에서는, 손(200)에 의한 제스처에 의해 입력을 행하는 예를 나타냈지만, 예를 들면 정보 처리 장치(100)는, 눈, 입, 눈꺼풀, 혀 등을 촬상하고, 이들에 의한 제스처나 양태(예를 들면, 상대 위치, 움직임, 방향, 개방도, 폐쇄도 등)에 기초하여 입력할 수 있도록 해도 된다.
또한, 본 실시 형태에서는, 기억부(4)는, 거리마다 기준 데이터를 기억하였지만, 이것에 한정되지 않는다. 예를 들면, 기억부(4)는, 기준 데이터에 전체 거리용, 근거리용, 중거리용, 원거리용을 식별하는 식별자를 붙여 기억해도 된다. 이 경우, 선택부(53)에 의해 검출된 거리 D에 따라서, 그 거리에 대응하는 식별자가 붙여진 기준 데이터를 판독하여, 화상 해석 데이터에 포함되는 손(200)의 제스처와 일치하는지의 여부를 판정해도 된다.
또한, 본 실시 형태에서는, 정보 처리 장치(100)와 카메라(2)를 일체로 구성하였지만, 예를 들면 카메라(2)를 정보 처리 장치(100)로부터 독립시켜 설치할 수도 있다. 이 경우, 카메라(2)가 통신 네트워크를 통하여 화상 데이터를 정보 처리 장치(100)에 송신함으로써, 유저는 정보 처리 장치(100)에 손(200)의 제스처에 의한 조작 입력을 행한다. 이렇게 함으로써, 유저는, 카메라(2)가 정보 처리 장치(100) 본체와 이격하여 설치된 원격 조작의 사양이어도, 적절한 데이터를 입력할 수 있다.
본 실시 형태의 정보 처리 장치(100)는, 전용의 시스템에 의해 실현해도 되고, 통상의 컴퓨터 시스템에 의해 실현해도 된다. 예를 들면, 상술한 동작을 실행하기 위한 프로그램을 컴퓨터 판독 가능한 기록 매체에 저장하여 배포하고, 그 프로그램을 컴퓨터에 인스톨하여, 상술한 처리를 실행함으로써 입력 장치(100)를 구성해도 된다. 또한, 인터넷 등의 네트워크 상의 서버 장치가 구비하는 디스크 장치에 저장해 두고, 예를 들면 컴퓨터에 다운로드하거나 할 수 있도록 해도 된다. 또한, 상술한 기능을, OS(Operating System)와 어플리케이션 소프트웨어의 공동에 의해 실현해도 된다. 이 경우에는, OS 이외의 부분만을 매체에 저장하여 배포해도 되고, 또한, 컴퓨터에 다운로드하거나 해도 된다.
상기 프로그램을 기록하는 기록 매체로서는, USB 메모리, 플렉시블 디스크, CD, DVD, Blu-ray Disc(등록 상표), MO, SD 카드, 메모리 스틱(등록 상표), 그 외에, 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리, 자기 테이프 등의 컴퓨터 판독 가능한 기록 매체를 사용할 수 있다. 또한, 하드디스크나 SSD(솔리드 스테이트 드라이브) 등, 통상, 시스템 또는 장치에 고정하여 사용하는 기록 매체를 사용할 수도 있다.
본 발명은, 본 발명의 광의의 정신과 범위를 일탈하지 않고, 다양한 실시 형태 및 변형이 가능하게 되는 것이다. 또한, 상술한 실시 형태는, 본 발명을 설명하기 위한 것이며, 본 발명의 범위를 한정하는 것은 아니다. 즉, 본 발명의 범위는, 실시 형태가 아니라, 청구 범위에 의해 나타내어진다. 그리고, 청구 범위 내 및 그것과 동등한 발명의 의의의 범위 내에서 실시되는 다양한 변형이, 본 발명의 범위 내로 간주된다.
상기의 실시 형태의 일부 또는 전부는, 이하의 부기와 같이도 기재될 수 있지만, 이하에 한정되지 않는다.
(부기 1)
카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력부와,
상기 카메라와 상기 피사체의 거리를 나타내는 정보를 취득하는 취득부와,
상기 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체의 거리마다 기억하는 기억부와,
상기 기억부에 기억된 상기 기준 데이터 중으로부터, 상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택부와,
상기 선택부에 의해 선택된 기준 데이터를 참조하여, 상기 입력부에 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정부
를 구비하는 정보 처리 장치.
(부기 2)
상기 기억부는,
상기 카메라와 상기 피사체의 거리가 가까워질수록, 보다 많은 양태를 특정하기 위한 기준 데이터를 기억하는 것을 특징으로 하는 부기 1에 기재된 정보 처리 장치.
(부기 3)
상기 기억부는,
상기 피사체로서의 손의 움직임과 형상과 기울기를, 상기 양태로서 특정하기 위한 기준 데이터를 기억하는 것을 특징으로 하는 부기 1 또는 2에 기재된 정보 처리 장치.
(부기 4)
상기 특정부는,
상기 입력부에 의해 입력된 촬상 화상에서의 피사체의 화상을 추출하고,
추출한 피사체의 화상이 나타내는 피사체의 양태를, 상기 선택부에 의해 선택된 기준 데이터에 기초하여 특정하는 것을 특징으로 하는 부기 1 내지 3 중 어느 하나에 기재된 정보 처리 장치.
(부기 5)
상기 취득부는,
상기 카메라에 의해 촬상된 화상 데이터를 해석하여, 상기 카메라와 상기 피사체와의 거리를 나타내는 정보를 취득하는 것을 특징으로 하는 부기 1 내지 4 중 어느 하나에 기재된 정보 처리 장치.
(부기 6)
상기 카메라에 의해 촬상된 피사체의 촬상 화상을 표시하는 표시부를 더 구비하는 것을 특징으로 하는 부기 1 내지 5 중 어느 하나에 기재된 정보 처리 장치.
(부기 7)
상기 표시부는,
상기 선택부에 의해 선택된 기준 데이터에 기초하여 특정되는 상기 피사체의 양태 및 그 양태에 대응하는 입력 데이터를 표시하는 것을 특징으로 하는 부기 6에 기재된 정보 처리 장치.
(부기 8)
카메라에 의해 촬상된 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체의 거리마다 기억하는 기억 스텝과,
상기 카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력 스텝과,
상기 카메라와 상기 피사체와의 거리를 나타내는 정보를 취득하는 취득 스텝과,
상기 기억 스텝에서 기억된 상기 기준 데이터 중으로부터, 상기 취득 스텝에서 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택 스텝과,
상기 선택 스텝에서 선택된 기준 데이터를 참조하여, 상기 입력 스텝에서 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정 스텝
을 포함하는 정보 처리 방법.
(부기 9)
컴퓨터를,
카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력부,
상기 카메라와 상기 피사체의 거리를 나타내는 정보를 취득하는 취득부,
상기 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체의 거리마다 기억하는 기억부,
상기 기억부에 기억된 상기 기준 데이터 중으로부터, 상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택부,
상기 선택부에 의해 선택된 기준 데이터를 참조하여, 상기 입력부에 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정부
로서 기능시키는 프로그램을 기록한 기록 매체.
본 발명은, 2011년 4월 28일에 출원된 일본 특허 출원 2011-101894호에 기초한다. 본 명세서 중에 일본 특허 출원 2011-101894호의 명세서, 특허 청구 범위, 도면 전체를 참조로서 포함하는 것으로 한다.
본 발명은, 유저의 제스처에 의해 데이터를 입력하는 정보 처리 장치, 정보 처리 방법 및 기록 매체에 바람직하다.
1 : 조작부
2 : 카메라
3 : 표시부
3W : 제스처 입력 지원용 윈도우
3i : 윈도우
4 : 기억부
5 : 제어부
41 : 원거리용 기준 데이터 기억부
42 : 중거리용 기준 데이터 기억부
43 : 근거리용 기준 데이터 기억부
51 : 입력부
52 : 취득부
53 : 선택부
54 : 특정부
55 : 실행부
100 : 정보 처리 장치
200 : 손

Claims (9)

  1. 카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력부와,
    상기 카메라와 상기 피사체와의 거리를 나타내는 정보를 취득하는 취득부와,
    상기 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체와의 거리마다 기억하는 기억부와,
    상기 기억부에 기억된 상기 기준 데이터 중에서, 상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택부와,
    상기 선택부에 의해 선택된 기준 데이터를 참조하여, 상기 입력부에 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정부
    를 구비하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 기억부는,
    상기 카메라와 상기 피사체와의 거리가 가까워질수록, 상기 피사체의 보다 많은 양태를 특정하기 위한 기준 데이터를 기억하는 것을 특징으로 하는 정보 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 기억부는,
    상기 피사체로서의 손의 움직임과 형상과 기울기를, 상기 양태로서 특정하기 위한 기준 데이터를 기억하는 것을 특징으로 하는 정보 처리 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 특정부는,
    상기 입력부에 의해 입력된 촬상 화상에서의 피사체의 화상을 추출하고,
    추출한 피사체의 화상이 나타내는 피사체의 양태를, 상기 선택부에 의해 선택된 기준 데이터에 기초하여 특정하는 것을 특징으로 하는 정보 처리 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 취득부는,
    상기 카메라에 의해 촬상된 화상 데이터를 해석하여, 상기 카메라와 상기 피사체와의 거리를 나타내는 정보를 취득하는 것을 특징으로 하는 정보 처리 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 카메라에 의해 촬상된 피사체의 촬상 화상을 표시하는 표시부를 더 구비하는 것을 특징으로 하는 정보 처리 장치.
  7. 제6항에 있어서,
    상기 표시부는,
    상기 선택부에 의해 선택된 기준 데이터에 기초하여 특정되는 상기 피사체의 양태 및 그 양태에 대응하는 입력 데이터를 표시하는 것을 특징으로 하는 정보 처리 장치.
  8. 카메라에 의해 촬상된 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체와의 거리마다 기억하는 기억 스텝과,
    상기 카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력 스텝과,
    상기 카메라와 상기 피사체와의 거리를 나타내는 정보를 취득하는 취득 스텝과,
    상기 기억 스텝에서 기억된 상기 기준 데이터 중에서, 상기 취득 스텝에서 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택 스텝과,
    상기 선택 스텝에서 선택된 기준 데이터를 참조하여, 상기 입력 스텝에서 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정 스텝
    을 포함하는 정보 처리 방법.
  9. 컴퓨터를,
    카메라에 의해 촬상된 피사체의 촬상 화상을 입력하는 입력부,
    상기 카메라와 상기 피사체와의 거리를 나타내는 정보를 취득하는 취득부,
    상기 피사체의 양태를 특정하기 위한 기준 데이터와 그 양태에 대응하는 입력 데이터를, 상기 카메라와 상기 피사체와의 거리마다 기억하는 기억부,
    상기 기억부에 기억된 상기 기준 데이터 중에서, 상기 취득부에 의해 취득된 정보에 의해 나타내어지는 거리에 대응하는 기준 데이터를 선택하는 선택부,
    상기 선택부에 의해 선택된 기준 데이터를 참조하여, 상기 입력부에 입력된 촬상 화상에서의 상기 피사체의 양태를 특정하고, 특정된 양태에 대응하는 데이터를 특정하는 특정부
    로서 기능시키는 프로그램을 기록한 기록 매체.
KR1020137027930A 2011-04-28 2012-04-27 정보 처리 장치, 정보 처리 방법 및 기록 매체 KR101514168B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-101894 2011-04-28
JP2011101894 2011-04-28
PCT/JP2012/061470 WO2012147960A1 (ja) 2011-04-28 2012-04-27 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
KR20140002007A KR20140002007A (ko) 2014-01-07
KR101514168B1 true KR101514168B1 (ko) 2015-04-21

Family

ID=47072471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137027930A KR101514168B1 (ko) 2011-04-28 2012-04-27 정보 처리 장치, 정보 처리 방법 및 기록 매체

Country Status (7)

Country Link
US (1) US9329673B2 (ko)
EP (1) EP2703949B1 (ko)
JP (1) JP5709227B2 (ko)
KR (1) KR101514168B1 (ko)
CN (1) CN103562821B (ko)
IL (1) IL229043B (ko)
WO (1) WO2012147960A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102038856B1 (ko) 2012-02-23 2019-10-31 찰스 디. 휴스턴 환경을 생성하고 환경내 위치기반 경험을 공유하는 시스템 및 방법
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
JP2014097112A (ja) * 2012-11-13 2014-05-29 Takashi Yoshimine 操作装置及び操作方法
JP6110731B2 (ja) * 2013-05-31 2017-04-05 株式会社第一興商 ジェスチャーによるコマンド入力識別システム
JP6344032B2 (ja) * 2013-09-26 2018-06-20 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム
US10057483B2 (en) * 2014-02-12 2018-08-21 Lg Electronics Inc. Mobile terminal and method thereof
JP6341755B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 情報処理装置、方法及びプログラム並びに記録媒体
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US20180046254A1 (en) * 2015-04-20 2018-02-15 Mitsubishi Electric Corporation Information display device and information display method
CN108430654B (zh) 2015-06-03 2022-04-05 皇家飞利浦有限公司 水相关应用中uv辐射的安全改进
KR20170068049A (ko) * 2015-12-09 2017-06-19 원광대학교산학협력단 어플리케이션 자동구동장치
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
US10303417B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Interactive systems for depth-based input
US10303259B2 (en) * 2017-04-03 2019-05-28 Youspace, Inc. Systems and methods for gesture-based interaction
US10437342B2 (en) 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
US10325184B2 (en) * 2017-04-12 2019-06-18 Youspace, Inc. Depth-value classification using forests
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
US11221683B2 (en) * 2019-05-09 2022-01-11 Dell Products, L.P. Graphical user interface (GUI) manipulation using hand gestures over a hovering keyboard
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
CN112822388B (zh) * 2019-11-15 2022-07-22 北京小米移动软件有限公司 拍摄模式的触发方法、装置、设备及存储介质
CN113630556A (zh) * 2021-09-26 2021-11-09 北京市商汤科技开发有限公司 聚焦方法、装置、电子设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031799A (ja) 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2011192081A (ja) 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2002083302A (ja) 2000-09-07 2002-03-22 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP2003131785A (ja) 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2004356819A (ja) 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2005190283A (ja) * 2003-12-26 2005-07-14 Nec Access Technica Ltd 情報入力装置
JP4692159B2 (ja) 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP2007219713A (ja) 2006-02-15 2007-08-30 Sony Corp 照会システム、撮像装置、照会装置、情報処理方法、プログラム
JP2008146243A (ja) 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
WO2009035705A1 (en) 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US20100251171A1 (en) * 2009-03-31 2010-09-30 Parulski Kenneth A Graphical user interface which adapts to viewing distance
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR101567785B1 (ko) 2009-05-28 2015-11-11 삼성전자주식회사 휴대단말에서 줌 기능 제어 방법 및 장치
JP5614014B2 (ja) 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031799A (ja) 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2011192081A (ja) 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法

Also Published As

Publication number Publication date
JPWO2012147960A1 (ja) 2014-07-28
US9329673B2 (en) 2016-05-03
EP2703949A1 (en) 2014-03-05
JP5709227B2 (ja) 2015-04-30
US20140043232A1 (en) 2014-02-13
KR20140002007A (ko) 2014-01-07
IL229043A0 (en) 2013-12-31
WO2012147960A1 (ja) 2012-11-01
IL229043B (en) 2018-04-30
EP2703949A4 (en) 2014-10-22
CN103562821A (zh) 2014-02-05
EP2703949B1 (en) 2017-10-25
CN103562821B (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
KR101514168B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US11190678B2 (en) Information processing apparatus, information processing method, and program
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
CN106066537B (zh) 头戴式显示器和头戴式显示器的控制方法
KR101929077B1 (ko) 이미지 식별 방법 및 이미지 식별 장치
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP6341755B2 (ja) 情報処理装置、方法及びプログラム並びに記録媒体
KR101514170B1 (ko) 입력 장치, 입력 방법 및 기록 매체
JP5964603B2 (ja) データ入力装置、及び表示装置
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
US10901517B2 (en) Methods and apparatuses for controlling a system via a sensor
JP2013073434A (ja) 情報入力装置、および情報入力方法
WO2017072913A1 (ja) 制御方法、電子黒板システム、表示装置およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 5