KR20170078488A - 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치 - Google Patents

가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20170078488A
KR20170078488A KR1020160026357A KR20160026357A KR20170078488A KR 20170078488 A KR20170078488 A KR 20170078488A KR 1020160026357 A KR1020160026357 A KR 1020160026357A KR 20160026357 A KR20160026357 A KR 20160026357A KR 20170078488 A KR20170078488 A KR 20170078488A
Authority
KR
South Korea
Prior art keywords
entity
identified
user
headset
virtual reality
Prior art date
Application number
KR1020160026357A
Other languages
English (en)
Other versions
KR102568708B1 (ko
Inventor
가우라브 스리바스타바
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP16181893.5A priority Critical patent/EP3188075B1/en
Priority to CN201610801612.XA priority patent/CN106933343B/zh
Publication of KR20170078488A publication Critical patent/KR20170078488A/ko
Application granted granted Critical
Publication of KR102568708B1 publication Critical patent/KR102568708B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G06K9/00355—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06K9/00382—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

무선 환경(wireless environment)과 관련된 측면들(aspects)에 따르면, 가상 현실(VR, virtual reality) 장치의 동작 방법은 제1 시각 센서를 통하여 제1 개체를 식별하는 과정과, 제2 시각 센서를 통하여 식별된 제2 개체를 기반으로, 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하는 과정을 포함할 수 있다.

Description

가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치{APPARATUS AND METHOD FOR RECOGNIZING HAND GESTURES IN A VIRTUAL REALITY HEADSET}
일반적으로, 아래의 설명들은 가상 현실(VR, virtual reality) 헤드셋(headset)에 관한 것으로, 보다 구체적으로 VR 헤드셋 사용자의 손 동작들을 인식하기 위한 방법 및 장치에 관한 것이다.
가상 현실(VR, virtual reality) 헤드셋(headset) 사용자 이외의 제3 자의 영향을 최소화하기 위하여, 상기 VR 헤드셋이 상기 사용자의 손을 식별하기 위한 방법 및 장치가 요구된다.
아래의 설명들은, 가상 현실(VR, virtual reality) 헤드셋(headset) 사용자의 손과 팔의 연관성을 이용하여, 상기 VR 헤드셋 사용자의 손 동작들을 인식하는 장치 및 방법을 제공할 수 있다.
무선 환경(wireless environment)과 관련된 측면들(aspects)에 따르면, 가상 현실(VR, virtual reality) 장치는 제1 시각 센서 및 제2 시각 센서를 포함하는 적어도 하나의 탐지부와, 상기 적어도 하나의 탐지부와 기능적으로 결합된 적어도 하나의 제어부를 포함할 수 있다. 상기 적어도 하나의 제어부는, 상기 제1 시각 센서를 통하여 제1 개체를 식별하도록 구성되고, 상기 제2 시각 센서를 통하여 식별된 제2 개체를 기반으로, 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하도록 구성될 수 있다.
무선 환경과 관련된 측면들에 따르면, 가상 현실 장치의 동작 방법은 상기 제1 시각 센서를 통하여 제1 개체를 식별하는 과정과, 상기 제2 시각 센서를 통하여 식별된 제2 개체를 기반으로, 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하는 과정을 포함할 수 있다.
본 명세서의 실시 예에 따르면, VR(virtual reality) 헤드셋(headset)의 사용자의 개체를 인식할 수 있다.
보다 완전한 이해를 위해, 첨부된 도면을 참조하여 아래의 설명들이 이뤄진다. 도면에서 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1a는 전방(forward) 시야 필드(FOV, field of view)를 나타내는 가상 현실(VR, virtual reality) 헤드셋(headset)을 예시하는 도면이다.
도 1b는 하방(downward) 시야 필드를 나타내는 VR 헤드셋을 예시하는 도면이다.
도 2는 VR 헤드셋 사용자의 손이 사용자에게 속하는지 여부를 결정하는 동작을 예시하는 도면이다.
도 3은 VR 헤드셋의 전방 시각 센서(VS, vision sensor)의 전방 시야 필드에서 식별된 손들과 하방 시각 센서의 하방 시야 필드에서 식별된 팔들을 예시하는 도면이다.
도 4는 VR 헤드셋의 기능적 구성을 예시하는 도면이다.
도 5는 VR 헤드셋 사용자의 손 동작들을 인가하는 동작 흐름을 예시하는 도면이다.
도 6은 식별된 손이 VR 헤드셋 사용자의 개체인지 여부를 결정하기 위한 동작 흐름을 예시하는 도면이다.
도 7은 VR 헤드셋 사용자 이외의 제3 자의 손 동작을 비인가하는 동작 흐름을 예시하는 도면이다.
도 8은 VR 헤드셋 사용자 이외의 제3 자의 손 동작의 인가여부를 결정하기 위한 동작 흐름을 예시하는 도면이다.
아래의 구체적인 내용에 들어가기 전에, 본 개시 전체에서 이용되는 특정 단어 및 어구들의 정의를 기재하는 것이 유리할 수 있다. 용어들 "포함하다(include)", "구성하다(comprise)"뿐만 아니라 이들의 파생어들은 제한 없이 포함함을 의미한다. 용어 "또는"은 포괄적 의미 및/또는 이다. 구문 "~와 관련된(associated with)" 및 "이와 관련된(associated therewith)", 뿐만 아니라 이의 파생어들은 포함하다(include), ~내에 포함되다(be included within), ~와 내적 연결하다(interconnect with), 포함하다(contain), ~내에 포함되다(be contained within), ~에 또는 ~와 연결하다(connect to or with), ~에 또는 ~와 결합하다(couple to or with), ~와 통신할 수 있는(be communicable with), ~와 협력하다(cooperate with), 끼우다(interleave), 나란히 놓다(juxtapose), ~에 인접하다(be proximate to), ~에 또는 ~와 인접되다(be bound to or with), 가지다(have), ~의 속성을 갖다(have a property of) 기타 등등을 의미한다. 용어 "제어부(controller)"는 하드웨어, 및 하드웨어와 소프트웨어 및/또는 펌웨어(firmware)의 조합으로 구현될 수 있는, 적어도 하나의 동작을 제어하는 임의의 장치, 시스템 또는 이들의 부분을 의미한다. 임의의 특정 제어부와 관련된 기능은 국부적이든 원격적이든 관계없이 집중화되거나 분산될 수 있음을 주의하여야 한다. 특정 단어들 및 구문들의 정의가 본 개시 전반에 걸쳐서 제공되고, 통상의 기술자는 대부분의 경우에, 이러한 정의들이 정의된 단어들 및 구문들로 미래뿐 아니라 이전의 사용들에도 적용될 수 있음을 이해하여야 한다.
아래에 논의된 도 1 내지 도 8 및 본 개시의 원리를 설명하기 위해 사용되는 다양한 실시 예들은 단지 예시를 위한 것으로 어떠한 방식으로든 본 개시의 범위를 한정하는 의미로 해석되어서는 안 된다. 통상의 기술자들은 본 개시의 원리가 적절하게 적용된 가상 현실(VR, virtual reality) 헤드셋(headset)으로 구현될 수 있음을 이해할 것이다.
아래의 본 개시에서, "시각 센서(vision sensor)"는 임의의 비디오 카메라(video camera)(예를 들어, RGB 카메라), 깊이 센서, 또는 움직임 식별 회로 장치를 인용한다. "사용자"는 머리에 쓰고 가상 현실을 실현하는 장치(예를 들어, VR 헤드셋)를 실제로 착용하고 작동시키는 사람을 의미한다. 그리고 "제3 자"는 사용자 인터페이스(user interface)에 대해 바람직하지 않은 영향들을 의도적으로 또는 우연히 일으키는 상기 사용자 이외의 사람을 의미한다.
도 1a는 전방(forward) 시야 필드(FOV, field of view)를 나타내는 가상 현실 헤드셋을 예시하는 도면이다. 도 1b는 하방(downward) 시야 필드를 나타내는 VR 헤드셋을 예시하는 도면이다.
도 1a 및 1b를 참조하면, VR 헤드셋 100은 몸통(또는 틀) 105, 전방 시각 센서 110, 머리 끈 120, 및 하방 시각 센서 130을 포함한다. 몸통 105는 VR 헤드셋 100의 전자 장치들을 포함한다. 사용자는 머리에 VR 헤드셋 100을 위치시키고 결정된 장소에 VR 헤드셋 100을 고정하기 위해서 머리 끈 120을 조인다. 전방 시각 센서 110은 전방 시야 필드 150을 캡쳐(capture)하고 VR 헤드셋 100의 내부 디스플레이에 전방 FOV 150을 나타낸다. 사용자는 상기 전방 FOV 150의 임의의 개체들을 내부 디스플레이에서 볼 수 있다.
전방 시각 센서 110 및 VR 헤드셋 100의 내부 프로세서(processor)는 전방 FOV 150에서 사용자의 손을 식별하고 하방 시각 센서 130은 하방 시야 필드(FOV) 160을 캡쳐한다. 하방 시각 센서 130 및 VR 헤드셋 100의 내부 프로세서는 하방 시야 필드(FOV) 160에서 사용자의 팔(들)을 식별하여 사용자 손 동작들과 사용자 팔 동작들이 연관되는지 여부를 결정할 수 잇다. 상기 내부 프로세서는 전방 FOV 150에서 식별된 손이 사용자에게 속하는지 제3 자에게 속하는지 여부를 결정할 수 있다. 상기 결정이 확정되면, 상기 내부 프로세서는 사용자의 손 동작 명령들만을 인가할 수 있고 제3 자의 손 동작들을 비인가할 수 있다.
상기 방법들은 상기 제3 자의 손 동작이 상기 VR 헤드셋 100의 사용자 인터페이스(user interface)에게 대해 바람직하지 않은 간섭을 야기하는 것을 방지할 수 있다.
도 2는 VR 헤드셋 사용자의 손이 사용자에게 속하는지 여부를 결정하는 동작을 예시하는 도면이다.
도 2를 참조하면, 사용자는 가상 세계에서 개체들과 상호 작용 하기 위해 전방으로 팔 및 손을 뻗는다. 전방 시각 센서 110은 전방 FOV 150에서 사용자의 손 210을 식별하고 하방 시각 센서 130은 하방 FOV 160에서 사용자의 팔 220을 식별한다.
예를 들어, VR 헤드셋 110은 사용자의 손 210과 사용자의 팔 220의 상대적인 위치들을 비교하여 사용자의 손 210이 상기 사용자에게 속하는지 여부를 결정할 수 있다. 다른 예를 들어, VR 헤드셋 110은 사용자의 손 210과 사용자의 팔 220의 상대적인 정렬들을 비교하여 사용자의 손 210이 상기 사용자에게 속하는지 여부를 결정할 수 있다. 또 다른 예를 들어, VR 헤드셋 110은 사용자의 손 210과 사용자의 팔 220의 상대적인 움직임들을 비교하여 사용자의 손 210이 상기 사용자에게 속하는지 여부를 결정할 수 있다. 상기 움직임들은 상기 사용자의 손들 및 팔들의 좌우(수평적) 움직임, 상기 손들 및 팔들의 위아래(수직적) 움직임, 및/또는 상기 손들 및 팔들의 앞뒤(확장) 움직임들을 포함할 수 있다.
도 3은 VR 헤드셋 100의 전방 시각 센서 130의 전방 시야 필드 160에서 식별된 손들 311 및 321과 하방 시각 센서 110의 하방 시야 필드 150에서 식별된 팔들 310 및 320을 예시하는 도면이다.
도 3을 참조하면, 사용자는 VR 헤드셋 100의 내부 디스플레이를 통하여 전방 FOV 150에서 식별된 손들 310 및 320을 볼 수 있다. 또한 상기 사용자는 VR 헤드셋 100의 내부 프로세서(들)을 통하여 하방 FOV 160에서 식별된 팔들 311 및 321을 분석할 수 있다.
전방 시각 센서 110에 의하여 식별된 손들 310 및 320의 수평적 움직임들은 하방 시각 센서 130에 의하여 식별된 팔들 311 및 321의 수평적 움직임들과 연관이 있을 수 있다.
도 4는 VR 헤드셋의 기능적 구성을 예시하는 도면이다.
도 4를 참조하면, VR 헤드셋 100은 전방 시각 센서 110 및 하방 시각 센서 130을 포함한다. VR 헤드셋 100은 VR 헤드셋 제어부(VR headset controller) 410, 메모리(memory) 420, VR 소스 비디오(source video) 430, 비디오 프로세서(video processor) 440, 디스플레이 450, 및 스피커들(speakers) 460을 더 포함한다. 전방 VS 110 및 하방 VS 130은 일반적인 비디오 카메라들을 포함할 수 있다(예를 들어, RGB 비디오 카메라들).
VR 헤드셋 제어부 410은 메모리 420에 저장된 하나 이상의 어플리케이션 프로그램들(application programs) 및 운영 체제 프로그램을 실행하여 VR 헤드셋 410의 전반적인 동작을 제어하는 마이크로프로세서(microprocessor) 또는 마이크로컨트롤러(microcontroller)이다.
비디오 프로세서 440은 VR 소스 비디오 430으로부터 소스 비디오를 수신한다. 비디오 프로세서 440은 상기 소스 비디오를 디스플레이 450의 하나 이상의 화면들 상에 나타낸다. VR 소스 비디오 430은 VR 헤드셋 410에 무선 또는 유선으로 연결된 외부 VR 비디오 플레이어(player)일 수 있다. 대신에, VR 소스 비디오 430은 내부 메모리(메모리 420의 일부를 포함하는)일 수 있고, VR 비디오 컨텐츠(content)는 상기 내부 메모리에 저장될 수 있다. 카메라 모드(mode)에서, VR 헤드셋 제어부 410은 상기 가상 현실(VR) 비디오 컨텐츠 뿐만 아니라 사용자 주위의 현실 세계를 디스플레이 450을 통하여 사용자에게 나타내기 위해서, 비디오 프로세서 440에게 전방 VS 110 및 하방 VS 130이 캡쳐한 현실 세계의 이미지를 출력할 것을 지시한다.
전술한 설명들에 따라, 비디오 프로세서 440은 전방 시각 센서에 의해 캡쳐된 제1 이미지에서 사용자 손들 310 및 320을 식별한다. 또한 비디오 프로세서 440은 하방 시각 센서에 의해 캡쳐된 제2 이미지에서 사용자의 팔들 311 및 321을 식별할 수 있다. 예를 들어, 비디오 프로세서 440은 제1 이미지에서 식별된 사용자의 손들 310 및 320의 상대적인 움직임들과 사용자의 팔들 311 및 321의 상대적인 움직임들을 비교하여 제1 이미지에서 식별된 손들 310 및 320이 사용자의 손들인지 여부를 결정할 수 있다. 다른 예를 들어, 비디오 프로세서 440은 제1 이미지에서 식별된 사용자의 손들 310 및 320의 상대적인 위치들과 사용자의 팔들 311 및 321의 상대적인 위치들을 비교하여 제1 이미지에서 식별된 손들 310 및 320이 사용자의 손들인지 여부를 결정할 수 있다. 또 다른 예를 들어, 비디오 프로세서 440은 제1 이미지에서 식별된 사용자의 손들 310 및 320의 상대적인 정렬들과 사용자의 팔들 311 및 321의 상대적인 정렬들을 비교하여 제1 이미지에서 식별된 손들 310 및 320이 사용자의 손들인지 여부를 결정할 수 있다. 상기 비교들을 통하여, 비디오 프로세서 440은 제1 이미지에서 식별된 손들 310 및 320이 사용자의 손들인지 여부를 결정할 수 있다.
상기 방법에 따라, 비디오 프로세서 440은 제1 이미지에서 식별된 손들 310 및 320이 VR 헤드셋 100의 사용자에게 속하는지 또는 상기 사용자 이외의 제3 자에게 속하는지 여부를 결정할 수 있다.
도 5는 VR 헤드셋 사용자의 손 동작들을 인가하는 동작 흐름을 예시하는 도면이다.
도 5를 참조하면, 505 단계에서, 사용자는 VR 헤드셋 100을 활성화시키고 VR 헤드셋 100을 머리에 위치시킨다. 상기 VR 헤드셋 100이 활성화되면, 사용자는 사용자의 손 동작들에 의해 제어될 수 있는 어플리케이션을 실행할 수 있다.
510 단계에서, VR 헤드셋 100은 전방 FOV 150에서 사용자의 손들 310 및 320을 식별한다. 상기 식별된 사용자의 손들 310 및 320은 전술한 다양한 실시 예들에 의하여 VR 헤드셋 100의 사용자의 손들인지 여부가 결정될 수 있다.
515 단계에서, VR 헤드셋 100은 하방 FOV 160에서 팔들 311 및 321을 식별한다. VR 헤드셋 100은 전방 FOV 150에서 식별된 손들 310 및 320이 사용자의 손들인지 또는 제3 자의 손들인지 여부를 결정한다. 도 5는 510 단계 및 515 단계가 일련의 순서로 수행되는 흐름도를 도시하였지만, 각 단계는 동시에 수행될 수 있다. 또한 구현 방법에 따라 515 단계 및 510 단계는 역순으로 수행될 수 있다.
520 단계에서, VR 헤드셋 100은 식별된 손들 310 및 320과 식별된 팔들 311 및 321의 위치들, 정렬들 및/또는 움직임들이 연관되는지 여부를 결정하기 위해서 전방 FOV 150 및 하방 FOV 160에서 식별된 개체들을 비교할 수 있다. 예를 들어, 상기 식별된 손들 310 및 320과 상기 식별된 팔들 311 및 321의 움직임 방향이 서로 연관되지 않는 경우, VR 헤드셋 100은 상기 식별된 손들 310 및 320 및 상기 식별된 팔들 311 및 321이 동일한 사용자의 개체들이 아닌 것을 결정할 수 있다.
525 단계에서, VR 헤드셋 100은 사용자의 손들을 결정한다. 다시 말해, VR 헤드셋 100은 상기 520 단계에서 비교된 상기 개체들 중에서 VR 헤드셋 100의 사용자의 손들을 결정할 수 있다.
530 단계에서, VR 헤드셋 100은 사용자의 손 동작들을 인가한다. 예를 들어, VR 헤드셋 100은 상기 인가된 사용자의 손 동작들을 이용하여 상기 어플리케이션의 실행을 제어할 수 있다.
도 6은 식별된 손이 VR 헤드셋 사용자의 개체인지 여부를 결정하기 위한 동작 흐름을 예시하는 도면이다.
도 6을 참조하면, 605 단계에서, VR 헤드셋 100은 제1 시각 센서를 통하여 제1 개체를 식별한다. 제1 시각 센서는 전방 시각 센서 110일 수 있다. 제1 개체는 사용자의 손 210일 수 있다.
610 단계에서, VR 헤드셋 100은 제2 시각 센서를 통하여 식별된 제2 개체를 기반으로, 식별된 제1 개체가 사용자의 개체인지 여부를 결정한다. 제2 시각 센서는 하방 시각 센서 130일 수 있다. 제2 개체는 사용자의 팔 220일 수 있다.
VR 헤드셋 100은 식별된 제1 개체와 식별된 제2 개체가 연관되는지 여부를 판단하여 식별된 제1 개체가 사용자의 개체인지 결정할 수 있다. 식별된 제1 개체가 사용자의 개체인 경우, VR 헤드셋 100은 제1 개체에 대한 입력만을 인가하고, 제3 자의 입력을 비인가할 수 있다. 또한, VR 헤드셋 100은 제1 시각 센서와 제2 시각 센서를 이용하여 부가적인 하드웨어(hardware)(예를 들어, 암밴드(armband))없이 사용자의 개체를 결정할 수 있다.
도 7은 VR 헤드셋 사용자 이외의 제3 자의 손 동작을 비인가하는 동작 흐름을 예시하는 도면이다.
도 7을 참조하면, 705 단계에서, VR 헤드셋 100은 전방 FOV 150에서 VR 헤드셋 사용자 이외의 제3 자의 손들을 식별한다. 상기 식별된 제3 자의 손들은 전술한 다양한 실시 예들에 의하여 VR 헤드셋 사용자 이외의 제3 자의 손들인지 여부가 결정될 수 있다.
710 단계에서, VR 헤드셋 100은 또한 하방 FOV 160에서 VR 헤드셋 사용자의 팔들 311 및 321을 식별한다. 도 7는 705 단계 및 710 단계가 일련의 순서로 수행되는 흐름도를 도시하였지만, 각 단계는 동시에 수행될 수 있다. 또한 구현 방법에 따라 705 단계 및 710 단계는 역순으로 수행될 수 있다.
715 단계에서, VR 헤드셋 100은 상기 식별된 손들과 식별된 팔들 311 및 321의 위치, 정렬 및/또는 움직임이 연관되는지 여부를 결정하기 위해서 전방 FOV 150 및 하방 FOV 160에서 식별된 개체들을 비교할 수 있다. 예를 들어, VR 헤드셋 100은 전술한 도 5의 520 단계에서 서술된 과정과 대응하는 과정을 이용하여 상기 식별된 개체들을 비교할 수 있다.
720 단계에서, VR 헤드셋 100은 제3 자의 손들을 결정한다. 다시 말해, VR 헤드셋 100은 상기 715 단계에서 비교된 상기 개체들 중에서 VR 헤드셋 100을 이용하는 사용자 이외의 제3 자의 손들을 결정할 수 있다.
725 단계에서, VR 헤드셋 100은 제3 자의 손 동작들을 비인가한다. 결과적으로, VR 헤드셋 100은 어플리케이션에서 제3 자의 손 동작들이 사용자 인터페이스에 바람직하지 않은 영향을 야기하는 것을 방지할 수 있다.
도 8은 VR 헤드셋 사용자 이외의 제3 자의 손 동작의 인가여부를 결정하기 위한 동작 흐름을 예시하는 도면이다.
도 8을 참조하면, 805 단계에서, VR 헤드셋 100은 제3 개체의 동작을 가상 현실에서 인가할지 여부를 결정할 수 있다.
805 단계에서, VR 헤드셋 100이 제3 개체의 동작을 가상 현실에서 인가한다면, 810 단계에서, VR 헤드셋 100은 어플리케이션에서 제3 자의 제3 개체의 동작에 따른 입력을 인가할 수 있다. 예를 들어, VR 헤드셋 100이 제3 개체의 동작을 인가한다면, VR 헤드셋 100은 제3 자와 상호 협력하여 제3 자와 동시에 이용할 수 있는 어플리케이션을 실행할 수 있다.
805 단계에서, VR 헤드셋 100이 제3 개체의 동작을 가상 현실에서 인가하지 않는다면, 815 단계에서, VR 헤드셋 100은 가상 현실에서 제3 자의 제3 개체의 동작을 반투명 상태로 나타낼 수 있다. 따라서, VR 헤드셋 100은 가상 현실에서 제3 개체의 동작을 반투명 상태로 나타내어 제3 개체가 전방 시야 필드에서 존재한다는 것을 인식할 수 있다.
본 개시는 일 예와 함께 설명되지만, 다양한 변경들 및 수정들이 통상의 기술자에게 제안될 수 있다. 본 개시는 첨부된 청구항들의 범위 내에 속하는 이러한 변경들 및 수정들을 포함하는 것으로 의도되어 있다.

Claims (16)

  1. 가상 현실(VR, virtual reality) 장치에 있어서,
    제1 시각 센서 및 제2 시각 센서를 포함하는 적어도 하나의 탐지부와,
    상기 적어도 하나의 탐지부와 기능적으로 결합된 적어도 하나의 제어부를 포함하고,
    상기 적어도 하나의 제어부는,
    상기 제1 시각 센서를 통하여 제1 개체를 식별하도록 구성되고,
    상기 제2 시각 센서를 통하여 식별된 제2 개체를 기반으로, 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하도록 구성되는 장치.
  2. 청구항 1에 있어서, 상기 제어부는,
    상기 제1 시각 센서를 통하여 상기 제1 개체를 포함하는 이미지(image)를 캡쳐(capture)하도록 구성되고,
    상기 캡쳐된 이미지로부터 상기 제1 개체를 식별하도록 구성된 장치.
  3. 청구항 2에 있어서, 상기 제어부는,
    상기 제2 시각 센서를 통하여 상기 제2 개체를 포함하는 이미지를 캡쳐하도록 구성되고,
    상기 캡쳐된 이미지로부터 상기 제2 개체를 식별하도록 구성된 장치.
  4. 청구항 3에 있어서, 상기 제어부는,
    상기 식별된 제1 개체 및 상기 식별된 제2 개체간 상대적인 움직임, 상대적인 위치, 및 상대적인 정렬 중 적어도 하나에 기반하여 상기 식별된 제1 개체가 상기 사용자의 개체인지 여부를 결정하도록 구성되는 장치.
  5. 청구항 1에 있어서, 상기 제어부는,
    상기 제1 시각 센서를 통하여 상기 사용자 이외의 제3 자에게 속하는 제3 개체를 식별하도록 더 구성되고,
    상기 제2 개체 및 상기 제3 개체를 기반으로 상기 식별된 제1 개체가 상기 사용자의 개체인지 여부를 결정하도록 더 구성되는 장치.
  6. 청구항 5에 있어서, 상기 제어부는,
    상기 식별된 제3 개체 및 상기 식별된 제2 개체간 상대적인 움직임, 상대적인 위치, 및 상대적인 정렬 중 적어도 하나에 기반하여 상기 식별된 제3 개체가 상기 사용자의 개체인지 여부를 결정하도록 구성된 장치.
  7. 청구항 6에 있어서, 상기 제어부는,
    상기 제1 개체가 상기 사용자의 개체인지 여부가 결정된 경우, 상기 제1 개체의 동작만을 인식하도록 더 구성된 장치.
  8. 청구항 7에 있어서, 상기 제어부는,
    가상 현실에서 상기 제3 개체의 동작을 반투명 상태로 나타내도록 더 구성된 장치.
  9. 가상 현실(VR, virtual reality) 장치의 동작 방법에 있어서,
    제1 시각 센서를 통하여 제1 개체를 식별하는 과정과,
    제2 시각 센서를 통하여 식별된 제2 개체를 기반으로, 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하는 과정을 포함하는 방법.
  10. 청구항 9에 있어서, 상기 제1 개체를 식별하는 과정은,
    상기 제1 시각 센서를 통하여 상기 제1 개체를 포함하는 이미지(image)를 캡쳐(capture)하는 과정과,
    상기 캡쳐된 이미지로부터 상기 제1 개체를 식별하는 과정을 포함하는 방법.
  11. 청구항 10에 있어서, 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하는 과정은,
    상기 제2 시각 센서를 통하여 상기 제2 개체를 포함하는 이미지를 캡쳐하는 과정과,
    상기 캡쳐된 이미지로부터 상기 제2 개체를 식별하는 과정과,
    상기 식별된 제2 개체를 기반으로 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하는 과정을 포함하는 방법.
  12. 청구항 11에 있어서, 상기 식별된 제2 개체를 기반으로 상기 식별된 제1 개체가 상기 가상 현실 장치의 사용자의 개체인지 여부를 결정하는 과정은,
    상기 식별된 제1 개체 및 상기 식별된 제2 개체간 상대적인 움직임, 상대적인 위치, 및 상대적인 정렬 중 적어도 하나에 기반하여 상기 식별된 제1 개체가 상기 사용자의 개체인지 여부를 결정하는 과정을 포함하는 방법.
  13. 청구항 9에 있어서,
    상기 제1 시각 센서를 통하여 상기 사용자 이외의 제3 자에게 속하는 제3 개체를 식별하는 과정과,
    상기 제2 개체 및 상기 제3 개체를 기반으로 상기 식별된 제1 개체가 상기 사용자의 개체인지 여부를 결정하는 과정을 더 포함하는 방법.
  14. 청구항 13에 있어서, 상기 제2 개체 및 상기 제3 개체를 기반으로 상기 식별된 제1 개체가 상기 사용자의 개체인지 여부를 결정하는 과정은,
    상기 식별된 제3 개체 및 상기 식별된 제2 개체간 상대적인 움직임, 상대적인 위치, 및 상대적인 정렬 중 적어도 하나에 기반하여 상기 식별된 제3 개체가 상기 사용자의 개체인지 여부를 결정하는 과정을 포함하는 방법.
  15. 청구항 14에 있어서,
    상기 제1 개체가 상기 사용자의 개체인지 여부가 결정된 경우, 상기 제1 개체의 동작만을 인식하는 과정을 더 포함하는 방법.
  16. 청구항 15에 있어서,
    가상 현실에서 상기 제3 개체의 동작을 반투명 상태로 나타내는 과정을 더 포함하는 방법.
KR1020160026357A 2015-12-29 2016-03-04 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치 KR102568708B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16181893.5A EP3188075B1 (en) 2015-12-29 2016-07-29 Apparatus and method for recognizing hand gestures in a virtual reality headset
CN201610801612.XA CN106933343B (zh) 2015-12-29 2016-09-05 用于识别虚拟现实头戴装置中的手势的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/982,299 US10140507B2 (en) 2015-12-29 2015-12-29 Apparatus and method for recognizing hand gestures in a virtual reality headset
US14/982,299 2015-12-29

Publications (2)

Publication Number Publication Date
KR20170078488A true KR20170078488A (ko) 2017-07-07
KR102568708B1 KR102568708B1 (ko) 2023-08-21

Family

ID=59087895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160026357A KR102568708B1 (ko) 2015-12-29 2016-03-04 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US10140507B2 (ko)
KR (1) KR102568708B1 (ko)
CN (1) CN106933343B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020138602A1 (ko) * 2018-12-26 2020-07-02 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650591B1 (en) * 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US10497179B2 (en) 2018-02-23 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US11176374B2 (en) * 2019-05-01 2021-11-16 Microsoft Technology Licensing, Llc Deriving information from images
US11751800B2 (en) * 2020-10-22 2023-09-12 International Business Machines Corporation Seizure detection using contextual motion
US20220197277A1 (en) * 2020-12-23 2022-06-23 Qatar Foundation For Education, Science And Community Development Telepresence control schemes for hazardous environments
US11681146B2 (en) * 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309562A (ja) * 2005-04-28 2006-11-09 Hitachi Omron Terminal Solutions Corp 生体情報登録装置
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
JP2012203475A (ja) * 2011-03-23 2012-10-22 Toshiba Corp 通信装置及びその制御方法
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US20150312561A1 (en) * 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
CN102799271A (zh) * 2012-07-02 2012-11-28 Tcl集团股份有限公司 一种基于人手手势的交互命令识别方法及***
CN103077373B (zh) * 2012-12-30 2015-08-26 信帧电子技术（北京）有限公司 基于上肢推搡检测打架行为的方法
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
CA2902550A1 (en) * 2013-02-26 2014-09-04 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
CN104007865B (zh) * 2013-02-27 2017-04-19 联想(北京)有限公司 识别方法和电子设备
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
CN104424470B (zh) * 2013-09-03 2018-04-27 联想(北京)有限公司 一种手势识别方法及装置
CN104714635B (zh) * 2013-12-16 2018-07-06 联想(北京)有限公司 信息处理的方法及电子设备
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
KR101700817B1 (ko) 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
US10613627B2 (en) * 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US9690367B2 (en) * 2014-12-10 2017-06-27 Sixense Entertainment, Inc. System and method for assisting a user in locating physical objects while the user is in a virtual reality environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309562A (ja) * 2005-04-28 2006-11-09 Hitachi Omron Terminal Solutions Corp 生体情報登録装置
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020138602A1 (ko) * 2018-12-26 2020-07-02 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
US11941906B2 (en) 2018-12-26 2024-03-26 Samsung Electronics Co., Ltd. Method for identifying user's real hand and wearable device therefor

Also Published As

Publication number Publication date
CN106933343A (zh) 2017-07-07
US20170185830A1 (en) 2017-06-29
US10140507B2 (en) 2018-11-27
CN106933343B (zh) 2021-08-31
KR102568708B1 (ko) 2023-08-21

Similar Documents

Publication Publication Date Title
KR102568708B1 (ko) 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치
JP6554631B2 (ja) 仮想現実環境においてナビゲートする方法、システム、および装置
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
JP6534292B2 (ja) ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
EP3188075B1 (en) Apparatus and method for recognizing hand gestures in a virtual reality headset
JP6452440B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US20170038838A1 (en) Information processing system and information processing method
TW201416908A (zh) 瞳孔追蹤裝置
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
CN106200944A (zh) 一种对象的控制方法、控制装置和控制***
CN105847540A (zh) 基于眼球跟踪控制vr眼镜画面移动的方法、手机及vr眼镜
WO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2016197639A1 (zh) 屏幕画面显示方法及装置
KR102242703B1 (ko) 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
KR20160132811A (ko) 주의 기반 렌더링 및 피델리티
US20190019308A1 (en) Image display device
CN105874409A (zh) 信息处理***、信息处理方法及程序
TW201622406A (zh) 螢幕影像畫面防抖系統及方法
WO2015136952A1 (ja) ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末
EP3819747A1 (en) Human computer interaction system and human computer interaction method
US20190333468A1 (en) Head mounted display device and visual aiding method
US10389947B2 (en) Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
CN106200954B (zh) 虚拟现实***和虚拟现实眼镜的控制方法
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
JP2016091383A (ja) 携帯端末装置、画面制御方法及び画面制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant