KR20140060615A - 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치 - Google Patents

포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치 Download PDF

Info

Publication number
KR20140060615A
KR20140060615A KR1020120127095A KR20120127095A KR20140060615A KR 20140060615 A KR20140060615 A KR 20140060615A KR 1020120127095 A KR1020120127095 A KR 1020120127095A KR 20120127095 A KR20120127095 A KR 20120127095A KR 20140060615 A KR20140060615 A KR 20140060615A
Authority
KR
South Korea
Prior art keywords
electronic device
user
unit
coordinate data
dimensional coordinate
Prior art date
Application number
KR1020120127095A
Other languages
English (en)
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to KR1020120127095A priority Critical patent/KR20140060615A/ko
Publication of KR20140060615A publication Critical patent/KR20140060615A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 원격지에서 사용자의 움직임(제스처)을 통한 가상 평면을 이용하여 전자기기의 원격 조작 장치는 디스플레이 장치의 유무와 상관없이 조작 영역을 확장하여 모든 전자기기에 적용될 수 있는 장치로서, 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 미리 설정되어 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 접점 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 명령코드 생성부와, 상기 명령코드 생성부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동제어부를 포함하여 구성되는데 있다.

Description

포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치{Remote control apparatus using virtual plane of electronic devices without pointer}
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로, 특히 전자기기에 가상 평면을 설정함으로써 전자기기를 리모컨과 같은 원격제어 수단을 사용하지 않고 원격에서 전자기기의 구동조작을 제어할 수 있는 원격 조작 장치 및 방법에 관한 것이다.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1]에 공개된바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스처를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다. [문헌 1] 공개특허 2010-0129629 2010. 12. 9.
그런데 가전 조명, 선풍기, 에어콘, 냉장고 등 가전제품의 경우 외관의 형상이 다양하고, 디스플레이가 없는 경우가 많고, 디스플레이가 있더라도 그 크기가 작기 때문에 그러한 종류의 가전제품의 조작을 위해 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 해당 가전제품과 만나는 접점을 찾는 것이 어려울 수 있다.
또한, 가전 조명, 선풍기 등과 같이 가전제품의 크기가 작을 때는 사용자가 원격지에서 그러한 소형 가전제품을 조작할 경우 조작 영역이 매우 작아지게 되는 문제점이 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 전자기기와 관련하여 가상 평면을 설정하고 그 가상 평면을 해당 전자기기의 조작 영역으로 이용함으로써 디스플레이도 필요 없고, 리모컨도 필요 없이 모든 전자기기를 원격에서 간단히 제어할 수 있는 원격 조작 장치를 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 원격 조작 장치의 특징은, 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체의 3차원 좌표 데이터를 추출하고, 미리 설정된 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 사용자와 상기 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 전자기기의 가상 평면과 상기 일직선의 접점을 산출하는 접점 검출부와, 상기 접점의 위치에 대응되어 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 명령코드 생성부와, 상기 명령코드 생성부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동제어부를 포함하여 구성되는 것을 특징으로 한다.
본 발명의 다른 실시 형태에 있어서, 상기 3차원 좌표 산출부는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하고, 미리 설정된 전자기기의 3차원 좌표 데이터를 추출하는 는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시 형태에 있어서, 상기 3차원 좌표 산출부는 광원과 산광기로 구성되어, 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 조명어셈블리와, 이미지 센서 및 렌즈로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하고, 미리 설정된 전자기기의 3차원 좌표 데이터를 추출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시 형태에 있어서, 상기 접점 검출부는 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 가상 평면의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하는 것을 특징으로 한다.
본 발명의 실시 형태에 있어서, 상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 한다.
본 발명의 또 다른 실시 형태에 있어서, 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 한다.
본 발명의 다른 실시 형태에 있어서, 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 전자기기에 가상 평면을 설정하는 방식으로 전자기기를 조작함으로써, 전자기기의 신속한 조작이 가능하다. 따라서 디스플레이 장치를 포함하지 않는 모든 전자기기에도 적용이 가능한 효과가 있다.
둘째, 비교적 소형 가전제품의 경우 원격지에서 조작할 경우 크기가 작아 조작이 어렵지만 가상 평면의 개념을 적용함으로써 조작 영역을 확장시킬 수 있어 소형 가전 제품의 조작이 편리한 장점이 있다.
[도 1] 본 발명의 실시예에 따른 선풍기 주변 가상 평면을 8 등분하여 전체로 9개의 조작 영역을 설정한 도면.
[도 2] 본 발명의 실시예에 따른 조명 스탠드 주변 가상 평면을 8 등분하여 전체로 9개의 조작 영역을 설정한 도면.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 전자기기의 가상 평면을 이용한 원격 조작 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명의 실시예에 따른 전자기기의 가상 평면을 이용한 원격 조작의 전체 시스템에 대해 설명한다.
먼저 원격 조작 장치(100)는 사용자가 원격에서 손 등의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기(200)의 구동 조작을 요청하면, 사용자의 움직임을 통한 사용자 신체의 3차원 좌표 데이터를 추출하여 3차원 영역을 확인하고, 동시에 미리 설정된 전자기기(200)의 위치 정보를 추출한다. 여기서 전자기기(200)의 위치 및 형상에 대한 3차원 좌표 정보는 제조사, 모델별로 다양한데, 상기 전자기기 3차원 정보는 해당 전자기기 구매 후 사용자에 의해 해당 정보가 본 발명의 시스템에 저장된다. 이와 관련하여 본 발명에서는 별도의 전자기기 정보 데이터베이스를 구비하고 여러 전자기기의 위치 및 형상에 대한 3차원 좌표 데이터를 저장, 갱신할 수 있다. 구체적인 갱신방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
그리고 사용자의 움직임에 상응하는 전자기기의 구동 조작 명령 신호를 생성하여 해당 전자기기(200)에 송신함으로써, 해당 전자기기(200)의 구동을 조작한다.
이처럼, 전자기기의 위치 정보를 이용하여 원격 조작이 이루어짐에 따라, 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용 가능하게 된다.
그럼 이하에서 원격 조작 장치(100)의 구성을 좀 더 상세히 살펴보도록 한다.
제 1 실시예
본 발명의 제 1 실시예에 따른 전자기기의 가상터치를 이용한 원격 조작 장치는 영상 획득부(110)와, 공간좌표 산출부(120)와 접점 검출부(130)와, 명령코드 생성부(140)와, 전자기기 구동제어부(160)와, 전자기기 데이터베이스부(DB)(150)로 구성된다.
상기 영상 획득부(110)로는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(112, 114)를 2 이상 포함 할 수 있다.
상기 공간좌표 산출부(120)는 영상 획득부(110)로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하며, 또한 미리 설정된 전자기기의 3차원 좌표 데이터를 추출한다. 본 발명에 따르면 영상 획득부(110)를 구성하는 이미지센서(112, 114)는 각기 다른 각도에서 사용자 신체를 촬영하고 공간좌표 산출부(120)는 수동적인 광학 삼각법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출할 수 있다.
일반적으로 광학식 3차원 좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 3차원 좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax) 등을 이용하는 방식이다.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 광학적인 삼각 측량법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로 부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술 분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
상기 접점 검출부(130)는 전자기기 설정부(134)와, 터치 위치 매칭부(136)로 구성되어, 상기 공간좌표 산출부(120)에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기(200)의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성한다.
그리고 상기 전자기기 설정부(134)는 전자기기 정보 DB(150)에 미리 저장되어 있는 전자기기의 3차원 좌표 정보와 비교하여 전자기기의 구동 조작에 따른 제어신호를 설정한다. 또한 상기 터치 위치 매칭부(136)는 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 가상 평면을 생성한다. 여기서 전자기기의 가상 평면은 x, y 값만을 갖는 2차원 평면으로 깊이 값은 필요로 하지 않는다. 이러한 전자기기의 가상 평면은 전자기기의 실제 표면의 위치와 일치하는 것이 바람직하다. 그런데 전자기기의 형상은 매우 다양하므로 전자기기의 몸체 뿐만 아니라 그 주변을 조작 영역으로 확장할 수 있도록 해당 전자기기 보다 가상 평면을 크게 확장하여 설정할 수 있다. 여기서 가상 평면은 전자기기 몸체를 2, 4, 6, 8 등분 등 다양하게 나누어 조작 영역으로 활용할 수 있고, 전자기기 외부의 바깥 영역을 조작 영역으로 확장하여 사용할 수 있다.
상기 명령코드 생성부(140)는 터치 위치 산출부(142)와, 가상터치 처리부(144)로 구성되어, 상기 공간좌표 산출부(120)에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기(200)의 구동 조작을 위한 가상 터치 위치 및 그 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다.
이때, 상기 터치 위치 산출부(142)는 상기 공간좌표 산출부(120)에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표와 제 2 공간좌표를 산출하고, 산출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제 1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다.
또한 본 발명에서는 제 2 공간좌표로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역을 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다. 또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 출력한다. 또한 상기 가상 터치 처리부(144)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
또한 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성한다. 또한 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
한편, 상기 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 전자기기를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 미리 정의된 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
본 발명에 따른 원격 조정의 대상이 되는 전자기기로는 조명, 스피커, 에어컨, 선풍기, 블라인드, 창문, 커튼, 문, 난방, 가스, 전자레인지, 비디오, 카메라, CCTV 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.
본 발명에 따른 원격 조작 장치(100)는 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 설치됨으로서, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능하다(전자기기의 3차원 정보의 지속적인 갱신 절차를 통함).
상기 전자기기 구동제어부(160)는 상기 명령코드 생성부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
상기 전자기기 데이터베이스부(DB)(150)는 가정내 구비된 전자기기의 3차원 좌표 정보 뿐만 아니라 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작방법 정보를 저장할 수 있다. 이때 조작방법 정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 가상 터치로 조작하기 위한 사용자 손가락의 움직임 및 터치 위치 등의 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
제 2 실시예
본 발명의 제 2 실시예에 따른 전자기기의 가상 평면을 이용한 원격 조작 장치는 3차원 좌표 산출부(170)와, 접점 검출부(130)와, 명령코드 생성부(140)와 전자기기 구동제어부(160)와, 전자기기 데이터베이스부(DB)(150)로 구성된다.
상기 3차원 좌표 산출장치(170)는 조명어셈블리(172)와, 영상 획득부(174)와, 공간좌표 산출부(176)로 구성되어, 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다. 이러한 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
이때, 상기 조명어셈블리(172)는 광원(172a)과 산광기(172b)를 포함하며 사용자 신체 및 전자기기에 스페클 패턴을 투영한다. 그리고 상기 영상 획득부(174)는 이미지센서(174a)와 렌즈(174b)로 구성되어, 상기 조명어셈블리(172)에 의해 투영된 상기 사용자 신체의 스페클 패턴을 캡처한다. 이때, 상기 이미지 센서(174a)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 상기 공간좌표 산출부(176)는 상기 영상 획득부(174)가 획득된 영상을 처리하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 역할을 수행한다.
상기 접점 검출부(130)는 전자기기 설정부(134)와, 터치 위치 매칭부(136)로 구성되어, 상기 공간좌표 산출부(176)에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기(200)의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 접점 영역을 생성한다. 참고로, 상기 접점 검출부(130)의 구성에 따른 설명은 제 1 실시예에서 설명하고 있는 내용과 동일하며, 위에서 자세히 설명하고 있으므로 이에 따른 설명은 생략한다.
상기 명령코드 생성부(140)는 터치 위치 산출부(142)와, 가상터치 처리부(144)로 구성되어, 상기 공간좌표 산출부(176)에서 추출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기(200)의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다. 참고로, 상기 명령코드 생성부(140)의 구성에 따른 설명은 제 1 실시예에서 설명하고 있는 내용과 동일하며, 위에서 자세히 설명하고 있으므로 이에 따른 설명은 생략한다.
상기 전자기기 구동제어부(160)는 상기 명령코드 생성부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
상기 전자기기 데이터베이스부(DB)(150)는 가정내 구비된 전자기기의 3차원 좌표 정보를 포함하여 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보를 저장할 수 있다. 이때 조작방법 정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 가상 터치로 조작하기 위한 사용자 손가락의 움직임 및 터치 위치 등의 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (7)

  1. 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체의 3차원 좌표 데이터를 추출하고, 미리 설정된 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와,
    상기 사용자와 상기 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 전자기기의 가상 평면과 상기 일직선의 접점을 산출하는 접점 검출부와,
    상기 접점의 위치에 대응되어 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 명령코드 생성부와,
    상기 명령코드 생성부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동제어부를 포함하여 구성되는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치.
  2. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하고, 고, 미리 설정된 전자기기의 3차원 좌표 데이터를 추출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치
  3. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    광원과 산광기로 구성되어, 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 조명어셈블리와,
    이미지 센서 및 렌즈로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 신체의 스페클 패턴을 캡처하는 영상 획득부와,
    상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하고, 미리 설정된 전자기기의 3차원 좌표 데이터를 추출하는 는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치.
  4. 제 1 항에 있어서, 상기 접점 검출부는
    상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 가상 평면의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치.
  5. 제 4 항에 있어서,
    상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치.
  6. 제 5 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치.
  7. 제 5 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치.
KR1020120127095A 2012-11-12 2012-11-12 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치 KR20140060615A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120127095A KR20140060615A (ko) 2012-11-12 2012-11-12 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120127095A KR20140060615A (ko) 2012-11-12 2012-11-12 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치

Publications (1)

Publication Number Publication Date
KR20140060615A true KR20140060615A (ko) 2014-05-21

Family

ID=50889850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127095A KR20140060615A (ko) 2012-11-12 2012-11-12 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치

Country Status (1)

Country Link
KR (1) KR20140060615A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015182967A1 (ko) * 2014-05-24 2015-12-03 (주)브이터치 매칭시스템 및 매칭방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015182967A1 (ko) * 2014-05-24 2015-12-03 (주)브이터치 매칭시스템 및 매칭방법
KR101611898B1 (ko) * 2014-05-24 2016-04-12 주식회사 브이터치 매칭 시스템

Similar Documents

Publication Publication Date Title
KR101235432B1 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
US9569103B2 (en) Remote control apparatus and method for performing virtual touch by using information displayed by a projector
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
WO2014185808A1 (en) System and method for controlling multiple electronic devices
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
TWI486815B (zh) 顯示設備及其控制系統和方法
KR20140060615A (ko) 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR20130133482A (ko) 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치
KR101471304B1 (ko) 가상 리모트 컨트롤 장치 및 그 방법
KR20140062195A (ko) 카메라 1 대를 사용하는 가상 터치 장치
Hattori et al. Gesture interpretation for domestic appliance control
KR20210111619A (ko) 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20160224121A1 (en) Feedback method and system for interactive systems

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application