KR102321359B1 - 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 - Google Patents
손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 Download PDFInfo
- Publication number
- KR102321359B1 KR102321359B1 KR1020200066591A KR20200066591A KR102321359B1 KR 102321359 B1 KR102321359 B1 KR 102321359B1 KR 1020200066591 A KR1020200066591 A KR 1020200066591A KR 20200066591 A KR20200066591 A KR 20200066591A KR 102321359 B1 KR102321359 B1 KR 102321359B1
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- hand shape
- command
- illuminance
- command conversion
- Prior art date
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims description 136
- 238000001514 detection method Methods 0.000 claims description 65
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 210000003811 finger Anatomy 0.000 description 33
- 238000010586 diagram Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 4
- 101150098958 CMD1 gene Proteins 0.000 description 3
- 101100382321 Caenorhabditis elegans cal-1 gene Proteins 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/0233—Handheld
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/0238—Details making use of sensor-related data, e.g. for identification of sensor or optical parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G06K9/00389—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J2001/0257—Details portable
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Multimedia (AREA)
Abstract
본 출원은 가상현실 콘텐츠를 제어할 수 있는 기기 및 방법에 관한 것이다. 본 출원의 실시 예에 따른 휴대용 단말은 사용자 손을 촬영하는 영상 촬영부, 조도를 감지하는 조도 센서, 상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부 및 상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며, 상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커멘드 변환 테이블을 포함한다. 본 출원의 실시 예에 따른 휴대용 단말은 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있다. 별도의 컨트롤러가 필요없기 때문에, 본 출원의 실시 예에 따른 휴대용 단말은 가상현실 콘텐츠를 이용하기 위한 비용을 절감할 수 있다.
Description
본 출원은 가상현실 콘텐츠를 제어할 수 있는 기기 및 방법에 관한 것이다.
최근, 사용자 동작과 상호 작용할 수 있는 VR 뷰어에 대한 연구가 활발히 진행되고 있다. 본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2018-0002426호(2018.01.08)에 개시되어 있다.
한편, 휴대용 단말을 장착할 수 있는 VR 뷰어에 대한 관심 역시 최근 높아지고 있다. 휴대용 단말을 통하여 가상현실을 이용하기 위해서는, 레티클(Reticle)이라고 하는 시선 기반 컨트롤을 사용하거나 별도의 컨트롤러를 구비하여야 한다. 이러한 별도의 전용 컨트롤러는 비싼 가격으로 판매되며, 이는 사용자가 가상현실 콘텐츠를 이용하는데 진입장벽으로 작용한다.
한편, 휴대용 단말을 장착할 수 있는 VR 뷰어에 대한 관심 역시 최근 높아지고 있다. 휴대용 단말을 통하여 가상현실을 이용하기 위해서는, 레티클(Reticle)이라고 하는 시선 기반 컨트롤을 사용하거나 별도의 컨트롤러를 구비하여야 한다. 이러한 별도의 전용 컨트롤러는 비싼 가격으로 판매되며, 이는 사용자가 가상현실 콘텐츠를 이용하는데 진입장벽으로 작용한다.
본 출원의 목적은 별도의 전용 컨트롤러 없이, 휴대용 단말에 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있는 휴대용 단말을 제공하는 데에 있다.
본 출원의 일 실시 예에 따른 휴대용 단말은 사용자 손을 촬영하는 영상 촬영부; 조도를 감지하는 조도 센서; 상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및 상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며, 상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커멘드 변환 테이블을 포함한다.
일 실시 예에 있어서, 상기 검출부는 상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈; 상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및 상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함한다.
일 실시 예에 있어서, 상기 손 모양 검출 모듈은 상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및 상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며, 상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초하여, 상기 손 영역을 추출한다.
일 실시 예에 있어서, 상기 손 모양 판단 회로는 상기 손 영역에 대한 적응적 이진화 처리를 수행하여 적어도 하나의 손가락 영역을 검출한다.
일 실시 예에 있어서, 상기 손 모양 판단 회로는 상기 손 영역에 대한 손가락 말단 포인트 및 손가락 사이 포인트를 검출한다.
일 실시 예에 있어서, 상기 커맨드 변환부는 상기 손 모양 검출 모듈로부터 상기 손 모양 정보를 수신하며, 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈; 상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및 상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 포함한다.
일 실시 예에 있어서, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원한다.
일 실시 예에 있어서, 상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 이상인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 적어도 2개의 입력 커맨드로 변환한다.
일 실시 예에 있어서, 상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 미만인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 하나의 입력 커맨드로 변환한다.
일 실시 예에 있어서, 상기 조도 변화 커맨드 모듈은 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는다.
본 출원의 실시 예에 따른 휴대용 단말은 장착된 카메라 및/또는 센서를 통하여 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어할 수 있다. 별도의 컨트롤러가 필요 없기 때문에, 본 출원의 실시 예에 따른 휴대용 단말은 가상현실 콘텐츠를 이용하기 위한 비용을 절감할 수 있다.
도 1은 본 출원의 일 실시 예에 따른 휴대용 단말을 보여주는 블록도이다.
도 2는 도 1의 손 모양 검출 모듈을 좀 더 자세히 보여주는 블록도이다.
도 3은 도 1의 손 모양 검출 모듈의 동작을 설명하기 위한 도면이다.
도 4는 도 1의 손 모양-커맨드 변환 모듈에 저장된 손 모양-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 5는 도 1의 손 동작-커맨드 변환 모듈에 저장된 손 동작-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 6은 도 1의 조도-커맨드 변환 모듈에 저장된 조도-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 7은 도 1의 휴대용 단말의 동작을 보여주는 순서도이다.
도 8은 도 1의 손 모양 검출 모듈 및 손 모양-커맨드 변환 모듈의 동작을 좀 더 자세히 설명하기 위한 순서도이다.
도 9는 본 출원의 다른 실시 예에 따른 휴대용 단말을 보여주는 블록도이다.
도 10은 도 1의 휴대용 단말이 장착되는 VR 뷰어의 일 예를 보여주는 도면이다.
도 2는 도 1의 손 모양 검출 모듈을 좀 더 자세히 보여주는 블록도이다.
도 3은 도 1의 손 모양 검출 모듈의 동작을 설명하기 위한 도면이다.
도 4는 도 1의 손 모양-커맨드 변환 모듈에 저장된 손 모양-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 5는 도 1의 손 동작-커맨드 변환 모듈에 저장된 손 동작-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 6은 도 1의 조도-커맨드 변환 모듈에 저장된 조도-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 7은 도 1의 휴대용 단말의 동작을 보여주는 순서도이다.
도 8은 도 1의 손 모양 검출 모듈 및 손 모양-커맨드 변환 모듈의 동작을 좀 더 자세히 설명하기 위한 순서도이다.
도 9는 본 출원의 다른 실시 예에 따른 휴대용 단말을 보여주는 블록도이다.
도 10은 도 1의 휴대용 단말이 장착되는 VR 뷰어의 일 예를 보여주는 도면이다.
이하에서는, 본 출원의 기술적 사상을 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 출원의 실시 예들이 첨부된 도면을 참조하여 설명될 것이다.
도 1은 본 출원의 일 실시 예에 따른 휴대용 단말(100)을 보여주는 블록도이다.
본 출원의 실시 예에 따른 휴대용 단말(100)은 VR 뷰어에 장착될 수 있으며, VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어하기 위한 VR 제어 커맨드를 생성할 수 있다. 도 1을 참조하면, 휴대용 단말(100)은 영상 촬영부(110), 조도 센서(120), 검출부(130) 및 커맨드 변환부(140)를 포함한다.
영상 촬영부(110)는 사용자의 손을 촬영하여 원본 영상을 생성할 수 있다. 예를 들어, 영상 촬영부(110)는 스마트 폰, 태블릿 PC 등의 휴대용 단말(100)에 장착된 카메라일 수 있으며, 휴대용 단말(100)을 조작하는 사용자의 손을 촬영하여 원본 영상을 생성할 수 있다.
여기서, 영상 촬영부(110)에 의하여 생성된 원본 영상은 2차원의 시각 정보 데이터일 수 있다. 다른 예로, 원본 영상은 2차원 시각 정보에 심도 정보를 더 포함하는 데이터일 수도 있다. 다른 예로, 원본 영상은 복수의 프레임으로 이루어진 동영상일 수 있다. 다른 예로, 원본 영상은 복수의 프레임으로 이루어진 동영상의 어느 하나의 프레임일 수도 있다.
조도 센서(120)는 휴대용 단말(100) 주위의 밝기를 감지할 수 있다. 예를 들어, 조도 센서(120)는 스마트 폰, 태블릿 PC 등의 휴대용 단말(100)에 장착된 CDS 센서일 수 있으며, 사용자의 손이 조도 센서를 가리는 경우에 휴대용 단말(100) 주위의 밝기가 낮아진 것으로 감지할 수 있다.
예를 들어, 조도 센서(120)는 빛에 반응하여 전류를 생성하는 소자일 수 있으며, 스마트 폰, 태블릿 PC 등의 표면에 장착되는 소형의 표면 장착형(SMT; Surface Mount Technology) 소자일 수 있다. 예를 들어, 조도 센서(120)는 광 도전셀(photoelectric cell), 광 기전력셀(photovoltaic cell), 포토다이오드(photo diode) 또는 포토트랜지스터(photo transistor) 중 어느 하나일 수 있다.
검출부(130)는 영상 촬영부(110)로부터 원본 영상을 수신하고, 조도 센서(120)로부터 조도 데이터를 수신할 수 있다. 검출부(130)는 수신된 원본 영상으로부터 손 모양 또는 손 동작을 검출하고, 수신된 조도 데이터로부터 조도 변화를 검출할 수 있다. 이를 위하여, 검출부(130)는 손 모양 검출 모듈(131), 손 동작 추적 모듈(132) 및 조도 변화 검출 모듈(133)을 포함할 수 있다.
손 모양 검출 모듈(131)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다. 여기서, 원본 영상은 2차원 시각 정보 데이터일 수 있다. 손 모양 검출 모듈(131)은 수신된 원본 영상으로부터 손 영역을 추출하고, 추출된 손 영역으로부터 손 모양을 판단할 수 있다.
예를 들어, 손 모양 검출 모듈(131)은 손 영역에 대한 적응적 이진화 처리를 수행하여 손가락 영역을 추출함으로써, 손 모양을 판단할 수 있다. 다른 예로, 손 모양 검출 모듈(131)은 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 추출함으로써, 손 모양을 판단할 수 있다. 다만, 이는 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다.
손 동작 추적 모듈(132)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다. 여기서, 원본 영상은 복수의 프레임으로 이루어진 동영상이거나, 소정 시간 간격으로 촬영된 적어도 2개의 프레임일 수 있다. 손 동작 추적 모듈(132)은 수신된 원본 영상으로부터 사용자의 손의 움직임을 추적할 수 있다.
예를 들어, 손 동작 추적 모듈(132)은 원본 영상에 포함된 제1 프레임에 대한 이진화 및 레이블링(labeling) 처리를 수행하여 제1 손 영역을 추출하고, 원본 영상에 포함된 제2 프레임에 대한 이진화 및 레이블링 처리를 수행하여 제2 손 영역을 추출할 수 있다. 손 동작 추적 모듈(132)은 제1 및 제2 손 영역으로부터 각각 제1 및 제2 중심점을 추출하고, 추출된 제1 중심점과 제2 중심점은 서로 연결함으로써 사용자의 손의 움직임을 추적할 수 있다. 다만, 이는 예시적인 것이며, 손 동작 추적 모듈(132)은 다양한 방법에 의하여 사용자의 손의 움직임을 추적할 수 있다.
조도 변화 감지 모듈(133)은 조도 센서(120)로부터 조도 데이터를 수신할 수 있다. 조도 변화 감지 모듈(133)은 수신된 데이터와 기준 값을 비교함으로써, 조도 변화를 검출할 수 있다.
예를 들어, 조도 센서(120)는 빛에 반응하여 전류를 생성하는 소자인 경우, 사용자가 조도 센서(120)를 손으로 가리는지 여부에 따라 조도 센서(120)에서 생성되는 전류의 양이 변화할 수 있다.
이 경우, 조도 변화 감지 모듈(133)은 조도 센서(120)로부터 수신된 전류와 기준 전류를 비교함으로써 조도 변화를 검출할 수 있다. 예를 들어, 수신된 전류가 기준 전류보다 작은 경우, 조도 변화 감지 모듈(133)은 사용자가 조도 센서(120)를 가리지 않아 조도 변화가 없는 상태로 인식할 수 있다. 다른 예로, 수신된 전류가 기준 전류보다 큰 경우, 조도 변화 감지 모듈(133)은 사용자가 조도 센서(120)를 가려서 조도에 변화가 생긴 상태로 인식할 수 있다.
커맨드 변환부(140)는 검출부(130)로부터 손 모양, 손 동작 또는 조도 변화 중 적어도 하나를 수신할 수 있다. 커맨드 변환부(140)는 수신된 손 모양, 손 동작 또는 조도 변화를 각각 대응하는 입력 커맨드로 변환할 수 있다. 여기서, 입력 커맨드는 VR 뷰어에서 실행되는 가상현실 콘텐츠를 제어하기 위한 커맨드일 수 있다. 커맨드 변환부(140)는 손 모양-커맨드 변환 모듈(141), 손 동작-커맨드 변환 모듈(142) 및 조도-커맨드 변환 모듈(143)을 포함한다.
손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 사용자의 손 모양에 대한 정보를 수신할 수 있다. 손 모양-커맨드 변환 모듈(141)은 미리 설정된 손 모양-커맨드 변환 테이블을 저장하고 있으며, 해당 손 모양-커맨드 변환 테이블에 기초하여 수신된 손 모양을 대응하는 입력 커맨드로 변환할 수 있다.
손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 사용자의 손의 움직임에 대한 정보를 수신할 수 있다. 손 동작-커맨드 변환 모듈(142)은 미리 설정된 손 동작-커맨드 변환 테이블을 저장하고 있으며, 해당 손 동작-커맨드 변환 테이블에 기초하여 수신된 사용자의 손 동작을 대응하는 입력 커맨드로 변환할 수 있다.
조도-커맨드 변환 모듈(143)은 조도 변화 검출 모듈(133)로부터 조도 변화에 대한 정보를 수신할 수 있다. 조도-커맨드 변환 모듈(143)은 미리 설정된 조도-커맨드 변환 테이블을 저장하고 있으며, 해당 조도-커맨드 변환 테이블에 기초하여 수신된 조도 변화를 대응하는 입력 커맨드로 변환할 수 있다.
상술한 바와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 가상현실 콘텐츠를 실행하는 VR 뷰어에 장착될 수 있다. 또한, 휴대용 단말(100)은 휴대용 단말(100)에 장착된 카메라 및/또는 조도 센서를 이용하여 사용자의 손 모양, 손 동작 또는 조도 변화를 검출하고, 이를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 입력 커맨드로 변환할 수 있다. 이에 따라, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 사용자가 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용하는 것을 가능하게 할 수 있다.
도 2는 도 1의 손 모양 검출 모듈(131)을 좀 더 자세히 보여주는 블록도이며, 도 3은 도 1의 손 모양 검출 모듈(131)의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 손 모양 검출 모듈(131)은 손 영역 추출 회로(131_1) 및 손 모양 판단 회로(131_2)를 포함한다.
손 영역 추출 회로(131_1)는 영상 촬영부(110)로부터 원본 영상을 수신하고, 수신된 원본 영상으로부터 사용자의 손 영역을 추출할 수 있다.
예를 들어, 도 3a를 참조하면, 손 영역 추출 회로(131_1)는 원본 영상의 각 픽셀(pixel)의 색 값을 기준으로 배경과 손 영역을 분리할 수 있다. 이후, 손 영역 추출 회로(131_1)는 각 픽셀의 색 값이 피부색 값 범위에 해당하는 영역을 백색 영역으로 변환하고, 각 픽셀의 색 값이 피부색 값 범위에 해당하지 않는 영역을 흑색 영역으로 변환할 수 있다.
손 모양 판단 회로(131_2)는 손 영역 추출 회로(131_1)로부터 손 영역에 대한 정보를 수신한다. 손 모양 판단 회로(131_2)는 수신된 손 영역에 기초하여, 손 모양을 판단할 수 있다.
예를 들어, 손 모양 판단 회로(131_2)는 수신된 손 영역에 대하여 적응적 이진화 처리를 수행함으로써, 손 모양을 판단할 수 있다.
도 3b를 참조하여 좀 더 자세히 설명하면, 손 모양 판단 회로(131_2)는 먼저 손 영역에 적응적 이진화 처리를 수행하여 각 손가락에 대응하는 손가락 영역들을 검출할 수 있다. 이후, 손 모양 판단 회로(131_2)는 검출된 손가락 영역들에 기초하여 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 검출된 손가락 영역들의 개수 및/또는 위치에 기초하여, 손 모양을 판단할 수 있다.
다른 예로, 손 모양 판단 회로(131_2)는 수신된 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 검출함으로써, 손 모양을 판단할 수 있다.
도 3c를 참조하여 좀 더 자세히 설명하면, 손 모양 판단 회로(131_2)는 먼저 수신된 손 영역에 기초하여, 손 영역과 배경 영역 사이의 경계선 벡터를 검출할 수 있다. 이후, 손 모양 판단 회로(131_2)는 경계선 벡터에서 손가락 말단 포인트 및 손가락 사이 포인트를 검출할 수 있다.
일 실시 예에 있어서, 손 모양 판단 회로(131_2)는 경계선 벡터에서 일정 각도 이하의 변곡점에 해당하는 포인트를 검출함으로써, 손가락 말단 포인트 및 손가락 사이 포인트를 검출할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 경계선 벡터를 해리스 코너 검출기(harris corner detector)에 입력하여 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태이면, 이를 손가락 말단 포인트로 검출할 수 있다. 반대로, 손 모양 판단 회로(131_2)는 변곡점에 해당되는 포인트가 포함된 주변 벡터가 볼록(convex) 형태이면, 이를 손가락 사이 포인트로 검출할 수 있다.
이후, 손 모양 판단 회로(131_2)는 검출된 손가락 말단 포인트 및 손가락 사이 포인트에 기초하여, 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 손가락 말단 포인트와 이에 대응하는 손가락 사이 포인트 사이의 거리, 손가락 말단 포인트의 개수 및/또는 손가락 사이 포인트의 개수에 기초하여, 손 모양을 판단할 수 있다.
도 4는 도 1의 손 모양-커맨드 변환 모듈(141)에 저장된 손 모양-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 1 및 도 4를 참조하면, 손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 손 모양에 대한 정보를 수신할 수 있다. 이후, 손 모양-커맨드 변환 모듈(141)은 기 저장된 손 모양-커맨드 변환 테이블에 기초하여, 수신된 손 모양에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.
본 출원의 기술적 사상에 따른 일 실시 예에 있어서, 손 모양-커맨드 변환 모듈(141)은 단일 입력 커맨드 방식 및 다중 입력 커맨드 방식을 모두 지원할 수 있다. 여기서, 단일 입력 방식은 하나의 손 모양을 하나의 입력 커맨드로 변환하는 것을 가리키며, 다중 입력 방식은 하나의 손 모양을 복수의 입력 커맨드로 변환하는 것을 가리킨다.
본 출원의 일 실시 예에 있어서, 사용자의 손 모양에서 펼쳐진 손 가락의 개수가 2개 미만인 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 단일 입력 커맨드로 변환할 수 있다.
예를 들어, 엄지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제1 입력 커맨드(CMD_1)로 변환할 수 있다. 다른 예로, 검지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제2 입력 커맨드(CMD_2)로 변환할 수 있다.
본 출원의 일 실시 예에 있어서, 사용자의 손 모양에서 펼쳐진 손 가락의 개수가 2개 이상인 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 다중 입력 커맨드로 변환할 수 있다.
예를 들어, 엄지 및 검지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제1 입력 커맨드(CMD_1) 및 제2 입력 커맨드(CMD_2)로 변환할 수 있다. 변환된 제1 및 제2 입력 커맨드(CMD_1, CMD_2)는 각각 순차적으로 VR 뷰어에 제공될 수 있다.
다른 예로, 검지 및 중지 손가락이 펼쳐진 손 모양 정보가 수신되는 경우, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 제2 입력 커맨드(CMD_2) 및 제3 입력 커맨드(CMD_3)로 변환할 수 있다. 변환된 제2 및 제3 입력 커맨드(CMD_2, CMD_3)는 각각 순차적으로 VR 뷰어에 제공될 수 있다.
상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말(100)은 단일 입력 커맨드 방식과 다중 입력 커맨드 방식을 지원할 수 있다. 이에 따라, 사용자가 좀 더 효율적으로 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용할 수 있다.
도 5는 도 1의 손 동작-커맨드 변환 모듈(142)에 저장된 손 동작-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 1 및 도 5를 참조하면, 손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 손의 움직임에 대한 정보를 수신할 수 있다. 이후, 손 동작-커맨드 변환 모듈(142)은 기 저장된 손 동작-커맨드 변환 테이블에 기초하여, 수신된 손의 움직임에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.
예를 들어, 손 동작-커맨드 변환 테이블에는 좌측에서 우측으로 움직이는 손 동작 및 이에 대응하는 입력 커맨드가 저장되어 있을 수 있다. 이 경우, 손 동작-커맨드 변환 모듈(142)은 손 동작 추적 모듈(132)로부터 수신된 손의 움직임에 대한 정보가 손 동작-커맨드 변환 테이블에 저장된 손 동작과 일치하는지 여부를 판단한다. 만약 일치한다면, 손 동작-커맨드 변환 모듈(142)은 해당 손 동작을 슬라이드 입력 커맨드(CMD_slide)로 변환하고, 이를 VR 뷰어에 제공할 것이다. 만약 일치하지 않는다면, 손 동작-커맨드 변환 모듈(142)은 해당 손 동작을 노이즈로 인식하고, 입력 커맨드를 생성하지 않을 것이다.
도 6은 도 1의 조도-커맨드 변환 모듈(143)에 저장된 조도-커맨드 변환 테이블의 일 예를 보여주는 도면이다.
도 1 및 도 6을 참조하면, 조도-커맨드 변환 모듈(143)은 조도 변화 검출 모듈(132)로부터 조도 변화에 대한 정보를 수신할 수 있다. 이후, 조도-커맨드 변환 모듈(143)은 기 저장된 조도-커맨드 변환 테이블에 기초하여, 조도 변화에 대한 정보를 VR을 제어하기 위한 입력 커맨드로 변환할 수 있다.
예를 들어, 휴대용 단말(100) 주위의 밝기가 그대로 유지되는 경우, 조도-커맨드 변환 모듈(143)은 계속해서 오프 입력 커맨드(CMD_off)를 생성할 수 있다. 오프 입력 커맨드는 VR 뷰어에 제공되는 디폴트 값일 수 있다. VR 뷰어는 오프 입력 커맨드에 응답하여, 현재 디스플레이 중인 가상현실 콘텐츠를 계속하여 실행할 수 있다.
예를 들어, 사용자가 손으로 조도 센서를 가림으로써 휴대용 단말(100) 주위의 밝기가 감소하는 경우, 조도-커맨드 변환 모듈(143)은 온 입력 커맨드(CMD_on)를 생성할 수 있다. 온 입력 커맨드(CMD_on)는, 예를 들어, VR 뷰어에서 실행 중인 가상현실 콘텐츠의 일시 멈춤 동작을 제어하는 커맨드일 수 있다. VR 뷰어는 온 입력 커맨드에 응답하여, 현재 디스플레이 중인 가상현실 콘텐츠를 잠시 중지시킬 수 있다. 다만, 이는 예시적인 것이며, 온 입력 커맨드(CMD_on)는 가상현실 콘텐츠의 온(on), 오프(off) 등을 제어하는 커맨드일 수도 있다.
상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말은 사용자가 휴대용 단말(100)에 장착되 조도 센서(120)를 가리는지 여부에 따라, VR 입력 커맨드를 생성할 수 있다. 특히, 손 모양 및 손 동작 검출이 어려운 어두운 환경에서도, 조도 센서(120) 및 조도 변화 검출 모듈(133)은 사용자가 조도 센서(120)를 가리는지 여부를 정확하게 검출할 수 있는 장점이 있다.
도 7은 도 1의 휴대용 단말(100)의 동작을 보여주는 순서도이다.
S110 단계에서, 휴대용 단말(100)은 원본 영상 및/또는 조도 데이터를 생성한다. 예를 들어, 영상 촬영부(110)는 사용자의 손을 촬영하여 원본 영상을 생성하고, 조도 센서(120)는 휴대용 단말(100) 주위의 밝기 변화를 감지하여 조도 데이터를 생성할 수 있다. 영상 촬영부(110)는 생성된 원본 영상을 손 모양 검출 모듈(131) 및 손 동작 추적 모듈(132)에 전달하고, 조도 센서(120)는 생성된 조도 데이터를 조도 변화 검출 모듈(133)에 전달할 수 있다.
S120 단계에서, 휴대용 단말(100)은 손 모양, 손 동작 및/또는 조도 변화를 검출할 수 있다. 예를 들어, 손 모양 검출 모듈(131)은 수신된 원본 영상으로부터 손 영역을 추출하고, 추출된 손 영역에 기초하여 손 모양을 판단할 수 있다. 손 동작 추적 모듈(132)은 수신된 원본 영상에 포함된 적어도 2 개의 프레임으로부터 손의 움직임을 추적하여, 손의 움직임 정보를 생성할 수 있다. 조도 변화 검출 모듈(133)은 수신된 조도 데이터에 기초하여, 조도 변화에 대한 정보를 생성할 수 있다.
S130 단계에서, 휴대용 단말(100)은 손 모양, 손 동작 및/또는 조도 변화를 VR 뷰어를 제어하기 위한 입력 커맨드로 변환할 수 있다. 예를 들어, 손 모양-커맨드 변환 모듈(141)은 기 설정된 손 모양-커맨드 변환 테이블에 기초하여, 손 모양을 대응하는 입력 커맨드로 변환할 수 있다. 손 동작-커맨드 변환 모듈(142)은 기 설정된 손 동작-커맨드 변환 테이블에 기초하여, 손 동작을 대응하는 입력 커맨드로 변환할 수 있다. 조도-커맨드 변환 모듈(143)은 기 설정된 조도-커맨드 변환 테이블에 기초하여, 조도 변화를 대응하는 입력 커맨드로 변환할 수 있다.
S140 단계에서, 휴대용 단말(100)은 입력 커맨드를 VR 뷰어로 전송할 수 있다.
상술한 바와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 휴대용 단말(100)에 장착된 카메라 및/또는 조도 센서를 이용하여 사용자의 손 모양, 손 동작 또는 조도 변화를 검출하고, 이를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 입력 커맨드로 변환할 수 있다. 이에 따라, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 사용자가 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용하는 것을 가능하게 할 수 있다.
도 8은 도 1의 손 모양 검출 모듈(131) 및 손 모양-커맨드 변환 모듈(141)의 동작을 좀 더 자세히 설명하기 위한 순서도이다.
S210 단계에서, 손 모양 검출 모듈(131)은 영상 촬영부(110)로부터 원본 영상을 수신할 수 있다.
S220 단계에서, 손 모양 검출 모듈(131)은 원본 영상으로부터 손 영역을 추출할 수 있다. 예를 들어, 손 모양 검출 모듈(131)의 손 영역 추출 회로(131_1)는 원본 영상의 각 픽셀(pixel)의 색 값을 기준으로 배경과 손 영역을 분리할 수 있다.
S230 단계에서, 손 모양 검출 모듈(131)은 손 영역으로부터 손 모양을 판단할 수 있다. 예를 들어, 손 모양 판단 회로(131_2)는 손 영역에 대하여 적응적 이진화 처리를 수행함으로써 손 모양을 판단할 수 있다. 다른 예로, 손 모양 판단 회로(131_2)는 수신된 손 영역으로부터 손가락 말단 포인트 및 손가락 사이 포인트를 검출함으로써, 손 모양을 판단할 수 있다.
S240 단계에서, 손 모양-커맨드 변환 모듈(141)은 손 모양 검출 모듈(131)로부터 손 모양에 대한 정보를 수신할 수 있다. 손 모양-커맨드 변환 모듈(141)은 수신된 손 모양에 포함된 손가락 영역이 2개 이상인지 판단할 수 있다.
만약 손 모양에 포함된 손가락 영역이 2개 이상이라면, 손 모양-커맨드 변환 모듈(141)은 다중 입력 커맨드 방식으로 변환 동작을 수행할 수 있다. 즉, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 적어도 2개의 입력 커맨드로 변환할 수 있다(S250 단계). 이후, 손 모양-커맨드 변환 모듈(141)은 생성된 적어도 2개의 입력 커맨드를 VR 뷰어로 순차적으로 송신할 수 있다(S260 단계).
한편, 만약 손 모양에 포함된 손가락 영역이 2개 미만이라면, 손 모양-커맨드 변환 모듈(141)은 단일 입력 커맨드 방식으로 변환 동작을 수행할 수 있다. 즉, 손 모양-커맨드 변환 모듈(141)은 해당 손 모양을 하나의 입력 커맨드로 변환할 수 있다(S270 단계). 이후, 손 모양-커맨드 변환 모듈(141)은 생성된 하나의 입력 커맨드를 VR 뷰어로 송신할 수 있다(S280 단계).
상술한 바와 같이, 본 출원의 실시 예에 따른 휴대용 단말(100)은 단일 입력 커맨드 방식과 다중 입력 커맨드 방식을 지원할 수 있다. 이에 따라, 사용자가 좀 더 효율적으로 VR 뷰어에서 실행되는 가상현실 콘텐츠와 상호작용할 수 있다.
한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 이하에서는, 본 출원의 기술적 사상의 다른 응용 예 및 적용 예들이 좀 더 자세히 설명될 것이다.
도 9는 본 출원의 다른 실시 예에 따른 휴대용 단말(100_1)을 보여주는 블록도이다. 도 9의 휴대용 단말(100_1)은 도 1의 휴대용 단말(100)과 유사하다. 따라서, 동일하거나 유사한 구성요소는 동일하거나 유사한 참조번호를 사용하여 설명될 것이며, 중복되는 설명은 간략한 설명을 위하여 이하 생략될 것이다.
도 9를 참조하면, 휴대용 단말(100_1)은 영상 촬영부(110), ToF 센서(120_1), 검출부(130_1) 및 커맨드 변환부(140_1)를 포함한다. 검출부(130_1)는 손 모양 검출 모듈(131), 손 동작 추적 모듈(132) 및 위치 검출 모듈(133_1)을 포함한다. 커맨드 변환부(140_1)는 손 모양-커맨드 변환 모듈(141), 손 동작-커맨드 변환 모듈(142) 및 위치-커맨드 변환 모듈(143_1)을 포함한다.
도 1의 휴대용 단말(100)의 조도 센서(120)를 대신하여, 도 9의 휴대용 단말(100_1)은 ToF(Time of Flight) 센서(120_1)를 구비한다.
구체적으로, 도 9의 휴대용 단말(100_1)은 ToF 센서(120_1)를 통하여 휴대용 단말(100_1)과 사용자 손 사이의 거리를 측정할 수 있다. 예를 들어, ToF 센서(120_1)는 휴대용 단말(100_1)의 표면에 장착될 수 있으며, ToF 센서(120_1)에 포함된 광원으로부터 방사된 펄스 형태의 광신호가 사용자 손에 의해 반사되어 되돌아올 때까지의 시간을 측정하여 사용자 손까지의 거리를 계산할 수 있다.
위치 검출 모듈(133_1)은 ToF 센서(120_1)로부터 사용자 손과 휴대용 단말(100_1) 사이의 거리 정보를 수신할 수 있다. 위치 검출 모듈(133_1)은 사용자 손과 휴대용 단말(100_1) 사이의 거리를 기준 거리와 비교함으로써, 사용자 손이 휴대용 단말(100_1)로부터 근거리에 위치하는지 혹은 원거리에 위치하는지 검출할 수 있다.
위치-커맨드 변환 모듈(143_1)은 위치 검출 모듈(133_1)로부터 사용자 손의 위치 정보를 수신할 수 있다. 위치-커맨드 변환 모듈(143_1)은 기 설정된 위치-커맨드 변환 테이블을 포함하며, 사용자 손의 위치에 따라 입력 커맨드를 생성할 수 있다.
예를 들어, 사용자 손이 원거리에 위치하는 경우, 위치-커맨드 변환 모듈(143_1)은 오프 입력 커맨드(CMD_off)를 생성할 수 있다. 여기서, 오프 입력 커맨드(CMD_off)는, 도 6과 유사하게, 디폴트 값일 수 있다. 다른 예로, 사용자 손이 근거리에 위치하는 경우, 위치-커맨드 변환 모듈(143_1)은 온 입력 커맨드(CMD_on)를 생성할 수 있다. 여기서, 온 입력 커맨드(CMD_on)는, 도 6과 유사하게, VR 뷰어에서 실행 중인 가상현실 콘텐츠의 일시 멈춤 동작을 제어하는 커맨드일 수 있다.
도 10은 도 1의 휴대용 단말(100)이 장착되는 VR 뷰어(200)의 일 예를 보여주는 도면이다.
도 10에 도시된 바와 같이, 휴대용 단말(100)은 VR 뷰어(200)에 장착될 수 있다. VR 뷰어(200)는 가상현실 콘텐츠를 실행하며, 사용자는 휴대용 단말(100)에 장착된 카메라, 조도 센서 및/또는 ToF 센서 등을 통하여 가상현실 콘텐츠를 제어할 수 있다.
이와 같이, 본 출원의 기술적 사상에 따른 휴대용 단말(100)은 별도의 컨트롤러 없이 VR 뷰어(200)에서 실행되는 가상현실 콘텐츠와의 상호작용을 가능하게 할 수 있다.
한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 본 출원의 기술 분야에서 통상의 지식을 가진 자는 본 출원의 기술적 사상이 다양하게 응용 및 적용될 수 있음을 이해할 것이며, 이러한 응용 및 적용은 모두 본 출원의 기술적 사상의 범주 내에 속함이 이해될 것이다.
100, 100_1: 휴대용 단말
200: VR 뷰어
110: 영상 촬영부
120: 조도 센서
130: 검출부
131: 손 모양 검출 모듈
132: 손 동작 추적 모듈
133: 조도 변화 감지 모듈
140: 커맨드 변환부
141: 손 모양-커맨드 변환 모듈
142: 손 동작-커맨드 변환 모듈
143: 조도-커맨드 변환 모듈
200: VR 뷰어
110: 영상 촬영부
120: 조도 센서
130: 검출부
131: 손 모양 검출 모듈
132: 손 동작 추적 모듈
133: 조도 변화 감지 모듈
140: 커맨드 변환부
141: 손 모양-커맨드 변환 모듈
142: 손 동작-커맨드 변환 모듈
143: 조도-커맨드 변환 모듈
Claims (15)
- 사용자 손을 촬영하는 영상 촬영부;
조도를 감지하는 조도 센서;
상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및
상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커맨드 변환 테이블을 포함하고,
상기 커맨드 변환부는 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈을 포함하고,
상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, 휴대용 단말. - 제1 항에 있어서,
상기 검출부는
상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈;
상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및
상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함 하는, 휴대용 단말. - 제2 항에 있어서,
상기 손 모양 검출 모듈은
상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및
상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며,
상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초하여, 상기 손 영역을 추출하는, 휴대용 단말. - 제3 항에 있어서,
상기 손 모양 판단 회로는 상기 손 영역에 대한 적응적 이진화 처리를 수행하여 적어도 하나의 손가락 영역을 검출하는, 휴대용 단말. - 제3 항에 있어서,
상기 손 모양 판단 회로는 상기 손 영역에 대한 손가락 말단 포인트 및 손가락 사이 포인트를 검출하는, 휴대용 단말. - 제2 항에 있어서,
상기 커맨드 변환부는
상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및
상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 더 포함하는, 휴대용 단말. - 삭제
- 제6 항에 있어서,
상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 이상인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 적어도 2개의 입력 커맨드로 변환하는, 휴대용 단말. - 제6 항에 있어서,
상기 손 모양 정보에 포함된 상기 손가락 영역의 개수가 2개 미만인 경우, 상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보를 하나의 입력 커맨드로 변환하는, 휴대용 단말. - 제6 항에 있어서,
상기 조도-커맨드 변환 모듈은 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는, 휴대용 단말. - 사용자 손을 촬영하는 영상 촬영부;
사용자 손과의 거리를 감지하는 ToF 센서;
상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 ToF 센서로부터 수신된 거리 데이터로부터 사용자 손의 위치를 검출하는 검출부; 및
상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 손의 위치 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하 기 위한 손 모양-커맨드 변환 테이블 및 상기 손의 위치 정보를 상기 제2 입력 커맨드로 변환하기 위한 위치-커맨드 변환 테이블을 포함하고,
상기 커맨드 변환부는 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈을 포함하고,
상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, 휴대용 단말. - 제11 항에 있어서,
상기 검출부는 상기 위치-커맨드 변환 테이블에 기초하여 상기 손의 위치 정보를 디폴트 입력 값으로 변환하고, 상기 디폴트 입력 값은 상기 VR 뷰어에 제공되지 않는, 휴대용 단말. - 가상현실 콘텐츠를 실행하는 VR 뷰어; 및
상기 VR 뷰어에 장착되며, 상기 가상현실 콘텐츠를 제어하기 위한 입력 커맨드를 상기 VR 뷰어에 전송하는 휴대용 단말을 포함하며,
상기 휴대용 단말은
사용자 손을 촬영하는 영상 촬영부;
조도를 감지하는 조도 센서;
상기 영상 촬영부로부터 수신된 원본 영상으로부터 손 모양을 검출하고, 상기 조도 센서로부터 수신된 조도 데이터로부터 조도 변화를 검출하는 검출부; 및
상기 검출부로부터 수신된 손 모양 정보를 VR 뷰어의 가상현실 콘텐츠를 제어하기 위한 제1 입력 커맨드로 변환하고, 상기 검출부로부터 수신된 조도 변화 정보를 상기 가상현실 콘텐츠를 제어하기 위한 제2 입력 커맨드로 변환하는 커맨드 변환부를 포함하며,
상기 커맨드 변환부는 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하기 위한 손 모양-커맨드 변환 테이블 및 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하기 위한 조도-커맨드 변환 테이블을 포함하고,
상기 커맨드 변환부는 상기 손 모양-커맨드 변환 테이블에 기초하여 상기 손 모양 정보를 상기 제1 입력 커맨드로 변환하는 손 모양-커맨드 변환 모듈을 포함하고,
상기 손 모양-커맨드 변환 모듈은 상기 손 모양 정보에 포함된 손가락 영역의 개수에 기초하여 단일 입력 커맨드 방식 또는 다중 입력 커맨드 방식 중 어느 하나를 지원하는, VR 뷰어 시스템. - 제13 항에 있어서,
상기 검출부는
상기 원본 영상으로부터 손 모양을 검출하는 손 모양 검출 모듈;
상기 원본 영상으로부터 손 움직임을 검출하는 손 동작 추적 모듈; 및
상기 조도 데이터로부터 조도 변화를 검출하는 조도 변화 검출 모듈을 포함하고,
상기 손 모양 검출 모듈은
상기 원본 영상으로부터 손 영역을 추출하는 손 영역 추출 회로; 및
상기 손 영역으로부터 손 모양을 판단하는 손 모양 판단 회로를 포함하며,
상기 손 영역 추출 회로는 상기 원본 영상에 포함된 각 픽셀의 색 값에 기초
하여, 상기 손 영역을 추출하는, VR 뷰어 시스템. - 제14 항에 있어서,
상기 커맨드 변환부는
상기 손 동작 추적 모듈로부터 손 움직임 정보를 수신하며, 손 동작-커맨드 변환 테이블에 기초하여 상기 손 움직임 정보를 제3 입력 커맨드로 변환하는 손 동작-커맨드 변환 모듈; 및
상기 조도 변화 검출 모듈로부터 상기 조도 변화 정보를 수신하며, 상기 조도-커맨드 변환 테이블에 기초하여 상기 조도 변화 정보를 상기 제2 입력 커맨드로 변환하는 조도-커맨드 변환 모듈을 더 포함하는, VR 뷰어 시스템.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200066591A KR102321359B1 (ko) | 2020-06-02 | 2020-06-02 | 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 |
PCT/KR2020/010792 WO2021246574A1 (ko) | 2020-06-02 | 2020-08-13 | 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200066591A KR102321359B1 (ko) | 2020-06-02 | 2020-06-02 | 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102321359B1 true KR102321359B1 (ko) | 2021-11-02 |
Family
ID=78476132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200066591A KR102321359B1 (ko) | 2020-06-02 | 2020-06-02 | 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102321359B1 (ko) |
WO (1) | WO2021246574A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137989A (ja) * | 2010-12-27 | 2012-07-19 | Sony Computer Entertainment Inc | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
KR101526426B1 (ko) * | 2013-12-31 | 2015-06-05 | 현대자동차 주식회사 | 제스처 인식 장치 및 방법 |
KR20150130767A (ko) * | 2014-05-14 | 2015-11-24 | 한국전자통신연구원 | 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 |
KR20160137253A (ko) * | 2015-05-22 | 2016-11-30 | 한국전자통신연구원 | 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법 |
KR101745651B1 (ko) * | 2016-03-29 | 2017-06-09 | 전자부품연구원 | 손 제스처 인식 시스템 및 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170024240A (ko) * | 2015-08-25 | 2017-03-07 | 전자부품연구원 | 조도 센서를 이용한 웨어러블 디바이스의 입력 시스템 및 동작 방법 |
KR102417177B1 (ko) * | 2016-02-18 | 2022-07-05 | 애플 인크. | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 |
KR102570401B1 (ko) * | 2018-05-09 | 2023-08-23 | 서강대학교 산학협력단 | 증강현실 기반의 전자책 제공 방법 및 착용형 디스플레이 장치 |
-
2020
- 2020-06-02 KR KR1020200066591A patent/KR102321359B1/ko active IP Right Grant
- 2020-08-13 WO PCT/KR2020/010792 patent/WO2021246574A1/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137989A (ja) * | 2010-12-27 | 2012-07-19 | Sony Computer Entertainment Inc | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
KR101526426B1 (ko) * | 2013-12-31 | 2015-06-05 | 현대자동차 주식회사 | 제스처 인식 장치 및 방법 |
KR20150130767A (ko) * | 2014-05-14 | 2015-11-24 | 한국전자통신연구원 | 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 |
KR20160137253A (ko) * | 2015-05-22 | 2016-11-30 | 한국전자통신연구원 | 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법 |
KR101745651B1 (ko) * | 2016-03-29 | 2017-06-09 | 전자부품연구원 | 손 제스처 인식 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2021246574A1 (ko) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10133349B2 (en) | Display apparatus and method of controlling the same | |
KR102085766B1 (ko) | 촬영 장치의 자동 초점 조절 방법 및 장치 | |
KR102661983B1 (ko) | 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치 | |
US20100207872A1 (en) | Optical displacement detecting device and operating method thereof | |
US20020085097A1 (en) | Computer vision-based wireless pointing system | |
CA3049704C (en) | Camera assembly and mobile electronic device | |
US20140037135A1 (en) | Context-driven adjustment of camera parameters | |
RU2456659C2 (ru) | Устройство снятия изображения, устройство отображения и снятия изображения и электронное устройство | |
US9268409B2 (en) | Method and system for gesture identification based on object tracing | |
US20130229387A1 (en) | Optical touch device, passive touch control system, and input detection method | |
CN104035555A (zh) | ***、信息处理装置和信息处理方法 | |
WO2019124824A1 (ko) | 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법 | |
WO2019024644A1 (zh) | 接近检测方法、装置、存储介质及电子设备 | |
CN114500837B (zh) | 拍摄方法、装置及电子设备 | |
US9310903B2 (en) | Displacement detection device with no hovering function and computer system including the same | |
KR100853024B1 (ko) | 디스플레이의 영상 제어 방법 및 그 장치 | |
KR101599871B1 (ko) | 촬상 장치 및 촬상 방법 | |
KR102321359B1 (ko) | 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 | |
KR100860331B1 (ko) | 포인터 이동 제어 장치를 포함하는 전자기기 | |
KR20080007991A (ko) | 광 포인팅 장치 및 이를 구비한 휴대 단말기 | |
KR102495326B1 (ko) | 전자장치 및 그 제어방법 | |
US9104937B2 (en) | Apparatus and method for recognizing image with increased image recognition rate | |
TW201709022A (zh) | 非接觸式控制系統及方法 | |
CN116363744A (zh) | 手势识别方法及装置、计算机可读存储介质 | |
JP2014150409A (ja) | 画像処理装置、撮像装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |