KR20140035244A - 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치 - Google Patents

사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치 Download PDF

Info

Publication number
KR20140035244A
KR20140035244A KR1020130090587A KR20130090587A KR20140035244A KR 20140035244 A KR20140035244 A KR 20140035244A KR 1020130090587 A KR1020130090587 A KR 1020130090587A KR 20130090587 A KR20130090587 A KR 20130090587A KR 20140035244 A KR20140035244 A KR 20140035244A
Authority
KR
South Korea
Prior art keywords
user
image
camera
input
depth
Prior art date
Application number
KR1020130090587A
Other languages
English (en)
Other versions
KR101748126B1 (ko
Inventor
남승우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to DE102013109862.2A priority Critical patent/DE102013109862A1/de
Priority to US14/023,025 priority patent/US20140071044A1/en
Publication of KR20140035244A publication Critical patent/KR20140035244A/ko
Application granted granted Critical
Publication of KR101748126B1 publication Critical patent/KR101748126B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 인터페이싱 방법 및 장치, 그리고 이를 이용하는 단말 장치가 개시된다. 본 발명의 일 측면에 따른 사용자 인터페이싱 방법은, 사용자 인터페이싱에 사용할 대상에 대한 기준 영상을 설정하는 단계, 입력되는 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상을 인식하는 단계, 상기 인식된 대상과 상기 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하는 단계, 및 상기 대상의 깊이 관련 움직임에 따라 어플리케이션을 구동하는 단계를 포함함으로써, 사용자가 사용하는 단말 장치와 사용자간의 거리를 기준으로 한 사용자의 움직임을 이용해 단말 장치를 제어할 수 있다.

Description

사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치{APPARATUS AND METHOD FOR USER INTERFACING, AND TERMINAL APPARATUS USING THE METHOD}
본 발명은 사용자 인터페이싱에 관한 것으로, 더욱 상세하게는 사용자의 동작을 활용해 휴대 단말 장치에 사용자 인터페이싱을 제공하는 장치 및 방법, 그리고 이를 이용하는 단말 장치에 관한 것이다.
사용자 인터페이스는 사용자와 기기 사이에서 둘 간의 상호 작용이 원활하게 이루어지도록 돕는 장치나 소프트웨어를 의미한다. 사용자 인터페이스는 주로 컴퓨터, 전자기기, 산업기기, 가전기기 등에 사용되어 사용자가 해당 장치와 소통할 수 있도록 돕는다.
전형적인 사용자 인터페이스의 일 예로서, 사용자가 키보드에 명령을 입력하여 프로그램을 작동시키는 것을 커맨드 라인 인터페이스라 하고, 메뉴 선택에 의한 명령으로 작동시키는 것을 메뉴 방식 인터페이스라 하며, 광, 펜, 마우스, 컨트롤 볼, 조이스틱 등의 위치 지정 도구를 사용하여 도형 표시 프로그램을 작동시키는 것을 그래픽 사용자 인터페이스라고 한다.
기술의 발달로 인해 사용자 인터페이스는 과거의 이러한 전형적인 형태를 벗어나 사용자와 기기 간의 자연스럽고 직관적인 인터페이스의 모습을 갖추어 가고 있다. 이러한 인터페이스의 대표적인 예로 3D 사용자 인터페이스를 들 수 있다.
3D 인터페이스의 일종인 마이크로소프트 사의 키넥트(Kinect™)는 컨트롤러를 사용하지 않고 사용자의 동작을 인식하여 게임과 엔터테인먼트 서비스를 제공한다. 키넥트의 경우에는 콘텐츠와 사용자간에 상호 연동을 위한 전신 동작으로서, 콘텐츠 시작 전에 사용자의 초기 자세, 예를 들어, 양팔을 드는 자세를 취하도록 구성되어 있다.
하지만, 키넥트를 비롯하여 모바일 단말 장치를 위해 사용되는 사용자 인터페이스의 경우 사용자의 동작에 따른 3차원적인 콘텐츠(어플리케이션)와의 상호작용에 제약이 따른다. 특히 사용자의 인식 범위의 제약, 모바일 단말의 디스플레이 크기의 제약 등으로 사용에 많은 불편이 따를 수 있다.
따라서, 휴대용 단말 장치에 보다 적합하고 실질적으로 보다 자유로운 사용자 인터페이스를 제공할 필요가 있다 할 것이다.
상술한 문제점을 극복하기 위한 본 발명의 목적은 사용자가 사용하는 단말 장치와 사용자 간의 인터페이싱 방법을 제공하는 데 있다.
본 발명의 다른 목적은 상기 인터페이싱 방법을 사용하는 사용자 인터페이스 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은 상기 사용자 인터페이스를 포함하는 단말 장치를 제공하는 데 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 사용자 인터페이싱 방법은, 사용자 인터페이싱에 사용할 대상에 대한 기준 영상을 설정하는 단계, 입력되는 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상을 인식하는 단계, 상기 인식된 대상과 상기 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하는 단계, 및 상기 대상의 깊이 관련 움직임에 따라 어플리케이션을 구동하는 단계를 포함한다.
상기 사용자 인터페이싱에 사용할 대상은 사용자 신체의 일 부분인 것을 특징으로 한다.
상기 사용자 신체의 일 부분은 사용자의 손, 사용자의 손가락, 사용자의 손바닥, 사용자의 얼굴, 사용자의 입술, 사용자의 코, 사용자의 눈 및 사용자의 머리 중 적어도 하나일 수 있다.
상기 인식된 대상과 상기 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하는 단계는, 상기 입력되는 사용자 관련 영상 내에서 인식된 상기 대상 영상의 크기를 상기 기준 영상의 크기와 비교하여 상기 대상 영상의 깊이 관련 위치를 판단하는 단계를 포함한다.
상기 대상 영상 및 상기 기준 영상의 크기는 영상의 폭, 길이, 또는 넓이로 정의될 수 있다.
상기 사용자 인터페이싱에 사용할 대상에 대한 기준 영상을 설정하는 단계는, 기준 영상의 대상이 될 사용자 신체의 일부를 선택하는 단계, 카메라를 통해 입력되는 대상의 영상과 선택된 대상 관련 그래픽을 합성하여 디스플레이하는 단계, 상기 카메라를 통해 입력되는 대상의 영상을 상기 그래픽에 매칭시키는 단계, 및 상기 그래픽에 매칭된 대상의 영상을 기준 영상으로 저장하는 단계를 포함한다.
입력되는 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상의 동작을 인식하는 단계는, 카메라를 통해 입력되는 전체 영상에서 상기 대상 관련 특징부를 추출하는 단계를 포함할 수 있다.
상기 깊이 관련 움직임은, 카메라로부터 상기 대상으로 설정된 사용자 신체 부분까지의 거리를 기준으로 한 움직임인 것을 특징으로 한다.
본 발명의 다른 측면에 따른 사용자 인터페이싱 방법은, 사용자의 깊이 관련 움직임뿐 아니라, 카메라를 기준으로 하였을 때 평면 방향(또는 수평)의 움직임 또한 사용자 인터페이싱에 반영한다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 사용자 인터페이스 장치는, 사용자 관련 영상을 수신하는 수신부, 입력된 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상 관련 영상을 추출하는 특징 추출부, 상기 추출된 대상 관련 영상과 상기 기준 영상을 비교하여 상기 대상의 움직임을 판단하는 동작 인식부, 및 상기 대상의 움직임에 따라 콘텐츠를 구동하는 콘텐츠 구동부를 포함한다.
이때, 대상의 움직임은 깊이 관련 움직임 및 평면 방향의 움직임을 포함한다.
상기 사용자 인터페이스 장치는, 상기 동작 인식부가 제공하는 추출된 대상 관련 영상 및 기준 영상을 합성하여 디스플레이하는 디스플레이부를 더 포함할 수 있다.
상기 사용자 인터페이싱에 사용할 대상은 사용자 신체의 일 부분인 것을 특징으로 한다.
상기 사용자 신체의 일 부분은 사용자의 손, 사용자의 손가락, 사용자의 손바닥, 사용자의 얼굴, 사용자의 입술, 사용자의 코, 사용자의 눈 및 사용자의 머리 중 적어도 하나일 수 있다.
상기 동작 인식부는, 상기 입력되는 사용자 관련 영상 내에서 인식된 상기 대상 영상의 크기를 상기 기준 영상의 크기와 비교하여 상기 대상 영상의 깊이 관련 위치를 판단한다.
여기서, 상기 대상 영상 및 상기 기준 영상의 크기는 영상의 폭, 길이, 또는 넓이로 정의될 수 있다.
상기 깊이 관련 움직임은, 카메라로부터 상기 대상으로 설정된 사용자 신체 부분까지의 거리를 기준으로 한 움직임인 것을 특징으로 한다.
상기 기준 영상은, 사용자 인터페이싱에 사용할 대상이 기준점에 위치할 때 카메라로 입력되는 상기 대상의 영상인 것을 특징으로 한다.
본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 단말 장치는, 입력된 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상 관련 영상을 추출하고, 상기 추출된 대상 관련 영상과 상기 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하며, 상기 대상의 깊이 관련 움직임에 따라 콘텐츠를 구동하는 사용자 인터페이스부, 및 상기 사용자 인터페이싱에 사용할 대상 관련 기준 영상을 저장하는 데이터 저장부를 포함한다.
상기 사용자 인터페이스부는 또한, 기준 영상의 대상이 될 사용자 신체의 일부 관련 그래픽과, 카메라를 통해 입력되는 대상의 실제 영상을 합성하여 디스플레이하고, 상기 카메라를 통해 입력되는 대상의 영상을 상기 그래픽에 매칭시킨 시점에서 상기 그래픽에 매칭된 대상의 영상을 기준 영상으로 설정한다.
상술한 바와 같은 본 발명에 따르면, 사용자가 사용하는 단말 장치와 사용자 간의 거리를 기준으로 한 사용자의 움직임을 이용해 단말 장치를 제어 가능하여, 사용자가 보다 자유롭게 전자 기기를 활용할 수 있다.
도 1은 본 발명에 따른 사용자 인터페이스 장치의 블록 구성도이다.
도 2는 본 발명에 따른 사용자 인터페이싱 방법의 동작 개념도이다.
도 3은 본 발명에 따른 동작 인식을 위한 기준 영상 설정 방법의 동작 흐름도이다.
도 4는 본 발명에 따른 사용자 인터페이싱 방법의 동작 흐름도이다.
도 5는 본 발명에 따른 단말 장치의 블록 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 클라이언트나 운용자, 사용자의 의도 또는 판례 등에 따라서 다르게 호칭될 수 있다. 그러므로, 용어에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 출원에서 사용하는 '단말'은 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 무선 기기(wireless device), 무선 통신 디바이스, 무선송수신유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일 또는 다른 용어들로서 지칭될 수 있다.
단말의 다양한 실시예들은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명은 단말 장치와 사용자 간의 깊이 정보를 활용하여 사용자 인터페이스를 제공하는 기술에 관한 것으로, 특히 콘텐츠 또는 어플리케이션 시작 전에 사용자 신체 부위의 특징을 활용한 캘리브레이션을 통해 깊이 정보를 획득하는 방법을 제시한다.
더불어 휴대용 단말 장치에서 구동되는 콘텐츠(어플리케이션)와 3차원적으로 상호작용을 위해 콘텐츠가 시작되기 전에 초기화가 필요하다. 예를 들면 휴대용 단말에 장착되어 있는 카메라를 통하여 들어온 사용자의 손가락으로 콘텐츠와 상호작용을 한다고 가정한다. 이때 손가락의 크기에 따라 깊이 값을 알아내어 이를 사용자 인터페이스로 활용하고자 한다면 사용자 마다 손가락의 크기가 다르고 휴대용 단말에 장착된 카메라와 사용자의 손가락까지 거리에 따라 크기가 다르기 때문에 손가락의 크기에 대한 정보를 콘텐츠 시작 전에 (키넥트가 양손을 들어 사용자 초기 자세를 인식하여 콘텐츠를 구동하듯이) 초기화 할 필요가 있다.
이를 확장하여 사용자의 손가락뿐만아니라 신체의 다른 일부분을 이용하여 Z방향(카메라와 사용자간의 거리 방향)으로 인터페이스를 할 경우가 있다. 예를 들면 사람의 얼굴, 눈동자 등을 이용할 수도 있다. 이때도 마찬가지로 사람 얼굴의 크기, 혹은 눈 사이 간격, 눈동자의 초기 위치 등에 대한 초기화가 필요하다.
이에 본 발명에서는 사용자 인터페이싱을 위한 초기화 방법 또한 제공한다.
도 1은 본 발명에 따른 사용자 인터페이스 장치의 블록 구성도이다.
본 발명에 따른 사용자 인터페이스 장치는 사용자가 사용하는 다양한 단말 장치에 내장되거나 또는 장착 가능하다.
아래에서 상술할 구성요소들은 물리적인 구분이 아니라 기능적인 구분에 의해서 정의되는 구성요소들로서 각각이 수행하는 기능들에 의해서 정의될 수 있다. 각각의 구성요소들은 하드웨어 및/또는 각각의 기능을 수행하는 프로그램 코드 및 프로세싱 유닛으로 구현될 수 있을 것이며, 두 개 이상의 구성요소의 기능이 하나의 구성요소에 포함되어 구현될 수도 있을 것이다. 따라서, 이하의 실시예에서 구성요소에 부여되는 명칭은 각각의 구성요소를 물리적으로 구분하기 위한 것이 아니라 각각의 구성요소가 수행하는 대표적인 기능을 암시하기 위해서 부여된 것이며, 구성요소의 명칭에 의해서 본 발명의 기술적 사상이 한정되지 않는 것임에 유의하여야 한다.
도 1에 도시된 본 발명의 일 실시예에 따른 사용자 인터페이스 장치는, 카메라 수신부(110), 특징 추출부(120), 동작 인식부(130), 콘텐츠 구동부(140), 및 디스플레이부(150)를 포함할 수 있다.
카메라 수신부(110)로 입력되는 이미지는 이미지 센서, TOF(Time Of Flight) 센서로부터 들어오는 모든 영상을 포함할 수 있다. 카메라 수신부(110)가 수신하는 이미지는 또한 RGB 영상, 깊이맵, 적외선 영상을 포함한다.
여기서, 이미지 센서는 CCD(Charge Coupled Device)로 대표되는 영상 검지 디바이스로서, CCD의 경우에는 동전 크기의 칩에 10만 개 이상의 검지 요소를 가지고 있으며, 칩 면에 초점을 맺은 영상이 개개의 요소상에 전하 패킷으로 축적된다. 이들 패킷은 전하 전송 기구에 의해 고속으로 출력되어 변환 처리된 후에 영상으로서 표시된다. CCD에서의 요소는 검출 어레이로서 축적, 출력 등을 위하여 영역을 나누어 사용된다.
또한, TOF(Time Of Flight) 센서는 3D 카메라에서 깊이 측정을 위해 많이 사용되는 방식으로, 빛(적외선 파장)을 전송한 후 피사체로부터 반사돼 되돌아오는 신호 수신까지 소요된 시간을 측정해 피사체까지의 거리를 계산한다. TOF 기반 깊이 카메라는 빛의 펄스를 생성하기 힘들고 고속 특성으로 인해 반사파의 위상 차이를 센서에서 파악하는 방식으로 깊이를 측정한다.
이어서 특징 추출부(120)는, 카메라 수신부(110)로부터 입력되는 영상으로부터 사용자의 특정 신체 부위, 예를 들어, 사용자의 눈, 사용자의 머리, 사용자의 얼굴, 사용자의 손, 손가락 등 본 발명에 따른 동작 인식에 사용될 사용자 신체 부위와 관련된 영상을 추출한다.
본 발명의 일 실시예에 따르면, 특징 추출부(120)는 입력된 영상으로부터 사용자의 양쪽 눈을 검출하고, 양쪽 눈(눈동자 포함) 사이의 거리를 해당 영상의 특징으로 추출한다. 특징 추출부(120)는 또한, 입력된 영상으로부터 손가락 영역을 검출하고 손가락 길이 및 두께에 관한 정보를 추출하여 동작 인식부(130)로 전달함으로써 동작 인식부(130)가 해당 특징을 활용하도록 할 수도 있다.
동작 인식부(130)는 사용자가 콘텐츠 또는 어플리케이션을 본격적으로 구동하기 전에, 카메라로부터 입력되는 영상과 관련된 가상의 기준 영상에 대한 그래픽 정보를 디스플레이부(150)에 제공한다. 동작 인식부(130)는 또한, 카메라로부터 입력되는 실제의 컬러 및 흑백의 영상 자체 또는 실제 영상으로부터 추출된 특징 부분의 영상을 디스플레이부(150)에 제공한다. 이때, 카메라로부터 입력되는 흑백 또는 컬러 영상은 깊이 맵, 적외선 영상 등이 될 수 있다.
동작 인식부(130)는 또한, 캘리브레이션을 위한 기준 영상을 설정하는 단계에서 카메라의 줌을 자동으로 조절하여 사용자의 실제 눈의 위치에 가상의 그래픽 외곽선이 입력 영상의 대상인 눈의 외곽과 매칭되도록 조절한다. 반대로, 사용자가 가상의 양안의 위치에 맞게 거리를 조절하여 맞추는 경우에는 사용자 또는 사용자 신체의 일부가 기준점에 위치할 때 기준 영상으로 사용될 사용자의 특징 부분을 인식할 수 있다. 이때 기준점이 되는 것은 조절된 줌이나 사용자 또는 사용자 신체의 일부의 위치이다. 줌을 사용하지 않는 경우에는 사용자가 사용자 스스로 가상의 그래픽 외곽선에 신체의 일부를 맞추어서 특징으로 인식할 대상체의 기준점으로 설정하고 대상 영상을 저장한다.
사용자가 카메라로부터 멀리 떨어지게 되면 사용자 양안 사이의 거리는 상대적으로 좁아지고 사용자가 카메라로 가까이 다가가면 양눈 사이의 상대적인 거리가 멀어지는 것을 콘텐츠와 사용자간 인터페이싱에 이용할 수 있다.
본 발명의 다른 일 실시예로는 사용자 입술의 양쪽 가장자리 포인트를 이용하는 방법을 사용할 수 있다. 입술의 양쪽 가장자리 포인트를 사용하는 경우에는 제1 포인트로부터 제2 포인트까지의 거리에 따라 카메라로부터 사용자의 거리를 추산할 수 있는데, 양 포인트 간의 거리가 길수록 카메라로부터 사용자까지의 거리를 짧아지는 특성을 사용자 인터페이싱에 활용할 수 있다.
한편, 본 발명의 또 다른 실시예에 따르면 손가락을 특징을 사용할 수 있는데, 이 경우에는 카메라에서 수신하는 영상과 기준이 되는 손가락의 두께 또는 길이를 그래픽으로 합성하여 디스플레이한다.
이하에서 도 2를 통해 자세히 설명하겠지만, 사용자는 자신의 손가락, 즉 실제 손가락 영상의 길이나 두께를 가상의 그래픽 위치에 매칭시킨다. 사용자의 실제 손가락 영상과 가상의 그래픽 위치가 매칭되었을 때 사용자의 손가락 위치가 기준 위치가 되고, 카메라로부터 사용자 손가락까지의 거리가 기준 거리가 된다. 이때 카메라의 특성에 따라 캘리브레이션을 위한 데이터는 미리 저장되어 있을 수 있다.
손가락의 위치가 기준거리에서 카메라 쪽으로 다까이 다가가는 경우 카메라로 입력되는 사용자 손가락 영상의 두께가 두꺼워지고 길이는 길어진다. 반대로, 사용자의 손가락의 위치가 카메라로부터 기준 거리 이상으로 멀어지는 경우 손가락의 두께가 얇아지고 손가락의 길이는 짧아진다.
이러한 원리를 활용하면 카메라로 입력되는 손가락, 눈 등 사용자의 신체 부위 영상으로부터 사용자 카메라 간의 거리를 산출할 수 있다.
디스플레이부(150)는 동작 인식부(130)가 제공하는 카메라를 통해 입력된 실제 영상 및 기준 영상 관련 가상 그래픽을 합성하여 함께 디스플레이한다.
여기서, 디스플레이부가 3D 영상을 디스플레이하는 방식으로는 좌/우 양안에 각각 다른 영상을 입력하여 인간으로 하여금 입체감을 느끼도록 디스플레이하는 스테레오스코픽(stereoscopic) 방식과 인간의 시점에 따르 물체의 원근 및 좌/우 상의 이동 양이 달라지는 운동 시차 방식 등이 사용될 수 있다.
한편, 깊이 맵은 3D 영상을 표현하는 데 중요한 요소 중 하나로 3차원 공간 상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백이나 컬러의 단위로 나타낸 것이다. 예를 들면 깊이 맵을 흑백으로 나타내는 경우 가까운 물체일수록 흰색에 가깝고 멀리 떨어진 물체일수록 흑색에 가깝게 표현될 수 있다. 일반적으로 사람의 좌안, 우안은 하나의 입체 대상물을 관찰할 때 서로 미세하게 다른 위치로부터 대상물을 관찰하게 되어, 관찰자의 좌안과 우안을 통해 미세하게 서로 다른 영상 정보가 관찰된다. 관찰자는 이렇게 서로 미세하게 다른 영상 정보를 조합하여 입체 대상물에 대한 깊이 정보를 획득하고 이로부터 입체감을 느낄 수 있다.
또한, 디스플레이부(150)가 실제 영상에 더하여 기준 영상을 그래픽으로 합성하여 디스플레이하는 경우 AR(Augmented Reality: 증강 현실) 등의 기법을 활용하여 디스플레이할 수 있다.
AR 기법은 사용자의 현실 세계에 3차원 가상 물체를 겹쳐 보여주는 기술로, 현실 세계에 컴퓨터 기술로 만든 가상물체 및 정보를 융합, 보완해 주는 기술을 말한다. 현실 세계에서 실시간으로 부가정보를 갖는 가상세계를 더해서 하나의 영상으로 보여주므로 혼합현실이라고도 한다. 가상현실 기술의 경우에는 컴퓨터 그래픽이 만든 가상 환경에 사용자를 몰입하도록 함으로써 실제 환경을 볼 수 없지만, 증강현실 기술은 실제 환경에 가상의 객체를 혼합하여 사용자가 실제 환경에서 보다 실감나는 부가 정보를 제공받을 수 있다는 장점이 있다.
콘텐츠 구동부(140)는 동작 인식부(130)가 출력하는 정보 중 사용자까지의 거리 값에 따라 사용자의 의도를 파악하고 파악된 사용자의 의도에 따라 해당 콘텐츠를 제어한다.
즉, 사용자가 손이나 얼굴의 기준 위치를 맞추거나 카메라의 줌이 자동으로 맞추어 캘리브레이션이 완료되고, 기준 영상이 설정되면, 기준 영상에 해당하는 사용자의 신체 부위가 기준 위치로부터 멀어지면 손의 두께 혹은 길이가 상대적 크기라 작아지므로 손이 카메라로부터 거리가 멀어지는 것을 감지하고 그에 해당하는 콘텐츠를 제어할 수 있다.
예를 들어, 사용자의 손이 카메라로부터 멀어지는 경우 해당 콘텐츠의 아이콘 크기를 축소하여 표현할 수 있다. 반대로, 사용자의 손이 기준 위치로부터 카메라 쪽으로 가까이 다가가면 손의 두께가 두꺼워지거나 손의 길이가 길어지는 것을 이용하여 콘텐츠를 제어할 수 있다. 예를 들어, 사용자의 손이 카메라에 가까이 다가가는 경우 해당 콘텐츠의 아이콘 크기를 확대하여 표현할 수 있다.
도 2는 본 발명에 따른 사용자 인터페이싱 방법의 동작 개념도이다.
도 2에 도시된 본 발명의 개념에 따르면, 입체 3D 콘텐츠나 홀로그래픽 콘텐츠의 경우 카메라로부터 사용자까지의 거리, 예를 들어 카메라로부터 사용자 손가락까지의 거리를 실시간으로 측정하여 깊이가 존재하는 입체 콘텐츠 또는 어플리케이션을 제어할 수 있다.
다시 말해, 본 발명에 따르면 카메라로부터 직각인 평면 방향으로의 사용자의 x, y 방향과 카메라로부터 거리 방향인 z 방향의 인터페이스가 가능하다.
도 2에서 좌측에 위치하는 것이 카메라 수신부(110)이고, 우측으로 갈수록 사용자의 손가락이 카메라 수신부(110)로부터 멀어지는 상황을 나타내고 있다.
도 2에서는 사용자의 손가락이 d1, d2, d3 세 지점에 위치하는 경우의 수를 보여주고 있으며, d1에서 d3로 갈수록 카메라 수신부(110)로부터의 거리가 멀어지고 있음을 알 수 있다.
d1, d2, d3 세 지점의 상단에는 각 지점에서의 사용자 손가락 영상이 도시되어 있다. 도시된 바와 같이, a1은 사용자의 손가락이 d1에 위치할 때의 영상을, a2는 사용자의 손가락이 d2에 위치할 때의 영상을, a3는 사용자의 손가락이 d3에 위치할 때의 영상을 나타낸다.
a1, a2, a3 영상에 나타나 있는 붉은색 점선은 가상의 손가락을 표시하는 그래픽으로, 카메라 수신부(110)로부터 사용자 손가락까지의 거리(z)를 산출하는 데 기준이 되는 기준 영상에 관한 가상의 그래픽이다.
도 2에서는 d2의 위치가 기준 위치 혹은 캘리브레이션 위치로 설정되어 있다.
사용자가 손가락을 그래픽에 맞추어 d2의 위치에 둔 상태에서 대상체의 기준 위치로 설정한 후, 기준 위치 d2를 기준으로 사용자가 d2보다 가까운 거리에 있는 d1에 위치하는 경우의 영상인 a1의 경우 실제 손가락의 영상이 기준 영상보다 크게 나타나며, 사용자가 d2보다 먼 거리에 있는 d3에 위치하는 경우의 영상인 a3의 경우 실제 손가락의 영상이 기준 영상보다 작게 나타남을 알 수 있다.
도 2에 나타낸 개념을 수학적으로 접근하면, 카메라로부터 사용자의 손까지의 거리는 손가락의 두께나 길이에 따른 함수가 된다.
즉, 본 발명의 바람직한 일 실시예에 따르면, 카메라로부터 사용자까지의 거리는 아래 수학식 1에 정의된 바와 같이 손가락의 두께에 관한 함수로 나타낼 수 있다. 이때, 카메라로부터 사용자까지의 거리는 손가락의 두께에 반비례한다.
Figure pat00001
여기서, z는 카메라로부터 사용자의 손가락까지의 거리를 나타내고, Δx는 손가락의 두께를 의미한다.
본 발명의 바람직한 다른 실시예에 따르면, 카메라로부터 사용자 손가락까지의 거리는 아래 수학식 2에 정의된 바와 같이 손가락의 길이에 관한 함수로 나타낼 수 있다. 이때, 카메라로부터 사용자까지의 거리는 손가락의 길이에 반비례한다.
Figure pat00002
여기서, z는 카메라로부터 사용자의 손가락까지의 거리를 나타내고, Δy는 손가락의 길이를 의미한다.
이상의 예에서 본 발명에 따른 영상의 크기는 영상의 폭 또는 길이로 정의될 수 있음을 살펴보았으며, 본 발명에 따른 사용자 인터페이싱을 위해 인식되는 영상의 크기는 영상의 폭, 길이, 또는 면적 등에 의해 정의될 수 있다.
도 3은 본 발명에 따른 동작 인식을 위한 기준 영상 설정 방법의 동작 흐름도이다.
도 3에서는 본 발명에 따른 사용자 인터페이싱에 활용하기 위해 사용자의 동작 인식에 기준이 되는 기준 영상을 설정하는 방법을 설명한다.
본 발명에 따른 동작 인식에 기준이 되는 영상은 사용자의 손가락, 사용자의 양안, 사용자의 입, 사용자의 머리 등 움직임에 따라 거리의 원근을 감지할 수 있는 사용자 신체의 다양한 부분에 대한 영상이 될 수 있다.
본 발명에 따른 동작 인식에 기준이 되는 영상은 예를 들어, 사용자 신체의 일 부분인, 사용자의 손가락, 사용자의 손, 사용자의 손바닥, 사용자의 얼굴, 사용자의 입술, 사용자의 코, 사용자의 양안, 사용자의 한쪽 눈(예를 들어, 한쪽 눈의 길이가 특징으로 사용 가능), 사용자의 머리 등을 그 대상으로 한 영상일 수 있다.
본 발명에 따라 기준 영상을 설정하기 위해서는 우선, 기준으로 삼을 대상체 관련 영상을 입력받는다(S210). 여기서, 대상체는 사용자 혹은 사용자 신체의 일부일 수 있다.
이후, 입력되는 영상으로부터 기준으로 사용할 대상체를 추출한다. 이때, 기준으로 사용할 대상체는 해당 어플리케이션에 의해 미리 정해지거나 사용자에 의해 미리 정해진 상태일 수 있다. 또한, 이때의 대상체 추출은, 입력되는 전체 영상 중 특징을 추출하여 대상체를 중심으로 한 대상체 영상을 추출하는 방식으로 이루어질 수 있다.
본 발명에 따른 사용자 인터페이싱 방법은, 입력되는 영상을 디스플레이함과 더불어 기준 영상에 맞는 가상의 그래픽을 중첩하여 디스플레이한다(S220). 이때 그래픽은 사용자 혹은 단말의 인식이 용이하도록 도 2에 도시된 바와 같이 점선으로 가이드하여 디스플레이되거나 트랜스패런트한 이미지 형태로 입력 영상과 중첩하여 디스플레이될 수 있다.
이후, 대상체의 깊이 조절이 수행된다(S230). 여기서, 깊이 조절은 사용자가 디스플레이된 가상의 그래픽을 보고 사용자 인터페이싱에 사용될 대상체를 카메라에 대해 앞으로 혹은 뒤로 즉, 수직 방향으로 이동시킴으로써 이루어질 수 있다. 깊이 조절은 또한, 본 발명에 따른 사용자 인터페이싱을 제공하는 단말 장치에 장착된 카메라 줌을 활용해 단말 장치가 자동으로 수행할 수도 있다.
단말 장치는 입력 영상의 대상체와 가상 그래픽으로 가이드되어 정의되는 이미지 형상의 크기 또는 면적이 일치하는지 판단한다(S240).
이때, 가상 그래픽은 영상의 가장자리를 둘러싸는 점선의 형태 또는 입력 영상의 대상체와 중첩하여 디스플레이되는 트랜스패런트한 이미지 형상으로 표현될 수 있으며, 그 외에도 다양한 방식으로 표현될 수 있다.
여기서, 입력된 대상체 영상과 가상 그래픽에 의해 정의되는 이미지 형상의 크기 또는 면적이 일치하는지에 대한 판단 주체는 사용자 혹은 단말일 수 있다. 예를 들어, 사용자가 두 영상이 충분히 매칭되었다고 판단한 시점에서 OK 버튼을 누르는 방식을 사용할 수도 있고, 단말 장치가 일정한 조건을 만족하는 경우 자동으로 OK 사인을 발행하는 방식을 사용할 수도 있다.
입력된 대상체 영상과 가상 그래픽에 의해 정의되는 이미지 형상이 매칭되는 것으로 판단된 경우에는 입력된 영상의 대상체 영상 자체 또는 대상체에 관한 정보, 예를 들어 대상체의 크기 또는 면적, 길이, 넓이 등의 정보를 저장한다(S250). 이로써, 본 발명에 따른 사용자 인터페이싱에 사용될 기준 영상의 설정을 완료한다.
도 4는 본 발명에 따른 사용자 인터페이싱 방법의 동작 흐름도이다.
이하의 실시예 설명에서 본 발명의 방법을 구성하는 각 단계들이 도 1을 통하여 설명된 사용자 인터페이스 장치의 대응되는 구성요소에서 수행되는 동작으로 이해될 수 있으나, 본 발명에 따른 방법을 구성하는 각 단계들은 각 단계를 정의하는 기능 자체로서 한정되어야 한다. 즉, 각 단계를 수행하는 것으로 예시된 구성요소의 명칭에 의해서 각 단계의 수행 주체가 한정되지 않음에 유의하여야 한다.
본 발명에 따른 사용자 인터페이싱을 수행하기 위해서는 우선 도 3을 통해 살펴본 바와 같은 단계들을 통해 인터페이싱을 위한 기준 영상을 설정하는 절차가 필요하다.
기준 영상의 설정이 완료되면, 사용자 인터페이싱을 위해 카메라로 입력되는 영상을 수신한다(S310).
입력된 영상에 대해서는 사용자 인터페이스를 위한 영상의 특징부를 추출한다(S320). 여기서, 본 발명에 따른 영상의 특징부는 기준 영상의 대상이 되는 사용자의 신체 부분으로, 사용자의 손가락 또는 사용자의 양눈, 사용자의 머리 등 사용자 인터페이싱에 사용될 수 있는 신체의 다양한 부분이 될 수 있다 할 것이다.
추출된 영상의 특징부에 대해서는, 기준 영상 설정 과정에서 확정되어 단말이 저장하고 있던 기준 영상과의 비교 작업을 수행한다(S340).
본 발명에 따른 단말 장치 혹은 사용자 인터페이스 장치는, 실제 추출된 영상의 특징부와 기준 영상의 비교를 통해 도출되는 캘리브레이션 데이터를 이용해 콘텐츠를 구동한다(S350). 예를 들어, 사용자의 손가락이 기준 영상이라고 하면 실체 추출된 특징부인 손가락 부분의 두께가 기준 영상의 두께보다 작은 경우와 기준 영상의 두께보다 큰 경우를 구분할 수 있고, 이를 콘텐츠 구동에 사용할 수 있다.
여기서, 사용자 인터페이싱을 위한 기준 영상이 2개 이상 설정된 경우라면, 특징 추출 단계(S320)에서 추출되는 부분 영상은 기준 영상의 개수에 따라 2개 이상이 될 것이며, 추출된 복수의 특징을 기준 영상과 비교하는 절차(S340)에서도 둘 이상의 기준 영상과 실제 입력되는 둘 이상의 특징이 되는 부분 영상을 비교한 두 가지 이상의 결과를 종합적으로 판단하여 콘텐츠 또는 어플리케이션 구동에 사용할 수 있다.
이 경우 두 개 이상의 기준 영상을 설정하는 절차가 필요할 것이며, 두 개 이상의 기준 영상의 움직임을 복합적이고 통합적으로 판단하여 사용자 인터페이싱에 사용한다.
한편, 앞서 언급한 바와 같이, 사용자가 인터페이싱에 사용할 기준 영상을 변경하고자 하는 경우(S360)에는 사용자 인터페이싱을 위한 기준 영상을 재설정한다(S200).
이후 카메라로부터 영상이 입력되는 경우 본 발명에 따른 사용자 인터페이스는 재설정된 기준 영상에 따라 카메라로부터 입력되는 영상의 특징부를 추출하고, 해당 특징부에 대한 캘리브레이션을 수행하며 캘리브레이션된 데이터에 따라 해당 콘텐츠를 구동한다.
도 4에서는 사용자 인터페이싱에 사용되는 움직임을 대상의 깊이 관련 움직임에 집중하여 설명하였으나, 본 발명의 다른 측면에 따른 사용자 인터페이싱 방법에 따르면, 사용자의 깊이 관련 움직임뿐 아니라, 카메라를 기준으로 하였을 때 평면 방향(또는 수평)의 움직임 또한 사용자 인터페이싱에 반영한다.
도 5는 본 발명에 따른 단말 장치의 블록 구성도이다.
본 발명에서 예시하는 단말 장치는 휴대용 통신 단말, 예를 들어 스마트폰 등이 될 수 있다.
도 5에 도시된 바와 같이 본 발명에 따른 휴대용 통신 단말 장치는, 사용자 인터페이스부(100), 통신데이터 송수신부(200), 무선통신 프로세서(300), 데이터 저장부(400)를 포함할 수 있다.
본 발명에 따른 사용자 인터페이스부(100)는 입력된 사용자 관련 영상으로부터 사용자 인터페이싱에 사용할 대상 관련 영상을 추출하고, 상기 추출된 대상 관련 영상과 기준 영상을 비교하여 대상의 움직임을 판단하며, 대상의 움직임에 따라 콘텐츠 또는 어플리케이션를 구동한다.
이때, 대상의 움직임은 깊이 관련 움직임 및 평면 방향의 움직임을 포함한다.
사용자 인터페이스부(100)는 또한, 기준 영상의 대상이 될 사용자 신체의 일부 관련 가상의 그래픽과 카메라를 통해 입력되는 대상의 실제 영상을 합성하여 디스플레이하고, 카메라를 통해 입력되는 대상의 영상을 그래픽에 매칭시킨 시점에서 그래픽에 매칭된 대상의 영상을 기준 영상으로 설정한다.
통신데이터 송수신부(200)는 무선 통신 단말의 고유 역할에 따른 데이터, 즉 무선통신 데이터를 송수신한다. 이때의 무선통신 데이터는 사용자의 음성 통화 및 음성 외의 데이터를 포함한다. 통신데이터 송수신부(200)는 해당 단말 장치가 지원하는 규격에 따라 통신데이터를 기지국으로 전송하고, 기지국이 단말로 송신하는 통신데이터를 수신하는 역할을 수행한다. 본 발명에 따른 단말 장치 및 이러한 단말 장치와 통신하는 이동통신 시스템은 3GPP, IEEE 등 다양한 통신 규격을 따를 수 있다.
무선통신 프로세서(300)는 통신데이터 송수신부(200)가 수신한 데이터에 대해 수신 처리를 수행하여 사용자에게 음성, 텍스트, 영상의 형태로 제공하거나 사용자의 선택에 따라 수신한 데이터를 데이터 저장부(400)에 저장한다.
무선통신 프로세서(300)는 또한 사용자로부터 입력되는 음성 통화 데이터에 대해 송신 처리를 수행하여 통신데이터 송수신부(200)에 전달한다.
데이터 저장부(400)는 본 발명에 따라 사용자 인터페이싱에 사용할 대상 관련 기준 영상 및 기준 영상 관련 정보를 저장한다.
데이터 저장부(400)는 또한, 단말의 무선통신을 통해 발생하는 각종 데이터를 저장한다. 데이터 저장부(400)가 저장하는 데이터는 사용자 단말이 주고받는 각종 문자 텍스트, 영상, 전화번호 등의 연락처를 포함할 수 있다. 데이터 저장부(400)는 또한, 사용자 단말 장치에서 실행 가능한 각종 콘텐츠 및 어플리케이션 프로그램을 저장한다.
데이터 저장부(400)에 저장되는 각종 데이터는 데이터베이스의 형태로 저장될 수 있는데, 본 발명에서 사용되는 데이터베이스(database)라는 용어는 관계형(relational), 객체지향형(object-oriented) 데이터베이스와 같이 엄밀한 형태의 데이터베이스를 의미하는 것이 아니라 정보를 저장하는 기능적 구성요소를 의미하는 것으로, 다양한 형태로 구현될 수 있다.
예컨대, 본 발명에서 사용되는 파일 베이스(file-base) 형태의 간단한 정보 저장 구성요소로서 구성될 수도 있다.
실시예들을 통해 상술한 바와 같은 본 발명에 따르면, 사용자가 사용하는 단말 장치와 사용자 간의 거리를 기준으로 한 사용자의 움직임, 즉 사용자 움직임의 깊이 정보를 이용해 단말 장치를 제어 가능하다.
따라서, 본 발명을 이용한 인터페이싱을 통해 사용자가 보다 자유롭게 전자 기기를 활용할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 사용자 인터페이스 110: 카메라 수신부
120: 특징 추출부 130: 동작 인식부
140: 콘텐츠 구동부 150: 디스플레이부
200: 통신데이터 송수신부 300: 무선통신 프로세서
400: 데이터 저장부

Claims (19)

  1. 사용자 인터페이싱에 사용할 대상에 대한 기준 영상을 설정하는 단계;
    입력되는 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상을 인식하는 단계;
    상기 인식된 대상과 상기 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하는 단계; 및
    상기 대상의 깊이 관련 움직임에 따라 어플리케이션을 구동하는 단계를 포함하는, 사용자 인터페이스 방법.
  2. 청구항 1에 있어서,
    상기 사용자 인터페이싱에 사용할 대상은 사용자 신체의 일 부분인 것을 특징으로 하는, 사용자 인터페이싱 방법.
  3. 청구항 2에 있어서,
    상기 사용자 신체의 일 부분은 사용자의 손, 사용자의 손가락, 사용자의 손바닥, 사용자의 얼굴, 사용자의 입술, 사용자의 코, 사용자의 눈 및 사용자의 머리 중 적어도 하나인 것을 특징으로 하는, 사용자 인터페이싱 방법.
  4. 청구항 1에 있어서,
    상기 인식된 대상과 상기 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하는 단계는,
    상기 입력되는 사용자 관련 영상 내에서 인식된 상기 대상 영상의 크기를 상기 기준 영상의 크기와 비교하여 상기 대상 영상의 깊이 관련 위치를 판단하는 단계를 포함하는, 사용자 인터페이싱 방법.
  5. 청구항 4에 있어서,
    상기 입력되는 사용자 관련 영상 내에서 인식된 상기 대상 영상의 크기는 영상의 폭, 길이, 또는 넓이로 정의되는, 사용자 인터페이싱 방법.
  6. 청구항 1에 있어서,
    상기 사용자 인터페이싱에 사용할 대상에 대한 기준 영상을 설정하는 단계는,
    기준 영상의 대상이 될 사용자 신체의 일부를 설정하는 단계;
    카메라를 통해 입력되는 상기 설정된 사용자 신체의 일부 관련 영상과 기준 영상 관련 가상 그래픽을 합성하여 디스플레이하는 단계;
    상기 카메라를 통해 입력되는 상기 설정된 사용자 신체의 일부 관련 영상을 상기 가상 그래픽에 매칭시키는 단계; 및
    상기 가상 그래픽에 매칭된 상기 사용자 신체 일부 관련 영상을 기준 영상으로 저장하는 단계를 포함하는, 사용자 인터페이싱 방법.
  7. 청구항 1에 있어서,
    상기 입력되는 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상의 동작을 인식하는 단계는,
    카메라를 통해 입력되는 전체 영상에서 상기 대상 관련 특징부를 추출하는 단계를 포함하는, 사용자 인터페이싱 방법.
  8. 청구항 1 있어서,
    상기 깊이 관련 움직임은,
    카메라로부터 상기 대상으로 설정된 사용자 신체 부분까지의 거리를 기준으로 한 움직임인 것을 특징으로 하는, 사용자 인터페이싱 방법.
  9. 사용자 관련 영상을 수신하는 수신부;
    입력된 사용자 관련 영상으로부터 사용자 인터페이싱에 사용할 대상 관련 영상을 추출하는 특징 추출부;
    상기 추출된 대상 관련 영상과 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하는 동작 인식부; 및
    상기 대상의 깊이 관련 움직임에 따라 콘텐츠를 구동하는 콘텐츠 구동부를 포함하는, 사용자 인터페이스 장치.
  10. 청구항 9에 있어서,
    상기 동작 인식부가 제공하는 추출된 대상 관련 영상 및 기준 영상을 합성하여 디스플레이하는 디스플레이부를 더 포함하는, 사용자 인터페이스 장치.
  11. 청구항 9에 있어서,
    상기 사용자 인터페이싱에 사용할 대상은 사용자 신체의 일 부분인 것을 특징으로 하는, 사용자 인터페이스 장치.
  12. 청구항 11에 있어서,
    상기 사용자 신체의 일 부분은 사용자의 손, 사용자의 손가락, 사용자의 손바닥, 사용자의 얼굴, 사용자의 입술, 사용자의 코, 사용자의 눈 및 사용자의 머리 중 적어도 하나인 것을 특징으로 하는, 사용자 인터페이스 장치.
  13. 청구항 11에 있어서,
    상기 동작 인식부는,
    상기 입력되는 사용자 관련 영상 내에서 인식된 상기 대상 영상의 크기를 상기 기준 영상의 크기와 비교하여 상기 대상 영상의 깊이 관련 위치를 판단하는, 사용자 인터페이스 장치.
  14. 청구항 13에 있어서,
    상기 입력되는 사용자 관련 영상 내에서 인식된 상기 대상 영상의 크기는 영상의 폭, 길이, 또는 넓이로 정의되는, 사용자 인터페이스 장치.
  15. 청구항 9에 있어서,
    상기 깊이 관련 움직임은,
    카메라로부터 상기 대상으로 설정된 사용자 신체 부분까지의 거리를 기준으로 한 움직임인 것을 특징으로 하는, 사용자 인터페이스 장치.
  16. 청구항 9에 있어서,
    상기 기준 영상은,
    사용자 인터페이싱에 사용할 대상이 기준점에 위치할 때 카메라로 입력되는 상기 대상의 영상인 것을 특징으로 하는, 사용자 인터페이스 장치.
  17. 입력된 사용자 관련 영상으로부터 상기 사용자 인터페이싱에 사용할 대상 관련 영상을 추출하고, 상기 추출된 대상 관련 영상과 상기 기준 영상을 비교하여 상기 대상의 깊이 관련 움직임을 판단하며, 상기 대상의 깊이 관련 움직임에 따라 콘텐츠를 구동하는 사용자 인터페이스부; 및
    상기 사용자 인터페이싱에 사용할 대상 관련 기준 영상을 저장하는 데이터 저장부를 포함하는 단말 장치.
  18. 청구항 17에 있어서,
    상기 사용자 인터페이스부는,
    기준 영상의 대상이 될 사용자 신체의 일부 관련 그래픽과, 카메라를 통해 입력되는 대상의 실제 영상을 합성하여 디스플레이하고, 상기 카메라를 통해 입력되는 대상의 영상을 상기 그래픽에 매칭시킨 시점에서 상기 그래픽에 매칭된 대상의 영상을 기준 영상으로 설정하는, 단말 장치.
  19. 청구항 17에 있어서,
    상기 깊이 관련 움직임은,
    카메라로부터 상기 대상으로 설정된 사용자 신체 부분까지의 거리를 기준으로 한 움직임인 것을 특징으로 하는, 단말 장치.
KR1020130090587A 2012-09-10 2013-07-31 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치 KR101748126B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013109862.2A DE102013109862A1 (de) 2012-09-10 2013-09-10 Vorrichtung und Verfahren für Benutzeranbindung sowie Endgerät, das dieselben benutzt
US14/023,025 US20140071044A1 (en) 2012-09-10 2013-09-10 Device and method for user interfacing, and terminal using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120099780 2012-09-10
KR1020120099780 2012-09-10

Publications (2)

Publication Number Publication Date
KR20140035244A true KR20140035244A (ko) 2014-03-21
KR101748126B1 KR101748126B1 (ko) 2017-06-28

Family

ID=50645316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130090587A KR101748126B1 (ko) 2012-09-10 2013-07-31 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치

Country Status (1)

Country Link
KR (1) KR101748126B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186857A1 (ko) * 2014-06-03 2015-12-10 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
KR101666500B1 (ko) * 2015-07-23 2016-10-17 주식회사 제스트컴퍼니 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치
KR20180136132A (ko) * 2017-06-14 2018-12-24 (주)이더블유비엠 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
KR20190067409A (ko) * 2017-12-07 2019-06-17 안영샘 깊이값을 이용하는 객체인식장치 및 객체인식방법
KR20200045946A (ko) * 2018-10-23 2020-05-06 엘지전자 주식회사 이동 단말기
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
CN116153510A (zh) * 2023-02-17 2023-05-23 河南翔宇医疗设备股份有限公司 矫正镜控制方法、装置、设备、存储介质及智能矫正镜

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102325269B1 (ko) 2019-11-13 2021-11-12 주식회사 지엘 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템
KR20230031765A (ko) 2021-08-27 2023-03-07 주식회사 지엘 감각 전달이 가능한 핸드 트래킹 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186857A1 (ko) * 2014-06-03 2015-12-10 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
KR20150139376A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US10162423B2 (en) 2014-06-03 2018-12-25 Lg Electronics Inc. Image display apparatus and operation method thereof
KR101666500B1 (ko) * 2015-07-23 2016-10-17 주식회사 제스트컴퍼니 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치
KR20180136132A (ko) * 2017-06-14 2018-12-24 (주)이더블유비엠 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
KR20190067409A (ko) * 2017-12-07 2019-06-17 안영샘 깊이값을 이용하는 객체인식장치 및 객체인식방법
KR20200045946A (ko) * 2018-10-23 2020-05-06 엘지전자 주식회사 이동 단말기
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
CN116153510A (zh) * 2023-02-17 2023-05-23 河南翔宇医疗设备股份有限公司 矫正镜控制方法、装置、设备、存储介质及智能矫正镜
CN116153510B (zh) * 2023-02-17 2024-04-16 河南翔宇医疗设备股份有限公司 矫正镜控制方法、装置、设备、存储介质及智能矫正镜

Also Published As

Publication number Publication date
KR101748126B1 (ko) 2017-06-28

Similar Documents

Publication Publication Date Title
KR101748126B1 (ko) 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20140071044A1 (en) Device and method for user interfacing, and terminal using the same
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US10585488B2 (en) System, method, and apparatus for man-machine interaction
US10698535B2 (en) Interface control system, interface control apparatus, interface control method, and program
EP2972672B1 (en) Detection of a gesture performed with at least two control objects
US20140157206A1 (en) Mobile device providing 3d interface and gesture controlling method thereof
CN102779000B (zh) 一种用户交互***和方法
KR102099834B1 (ko) 전자장치 및 전자장치의 동작방법
WO2015200406A1 (en) Digital action in response to object interaction
EP2879098A1 (en) Three-dimensional environment sharing system, and three-dimensional environment sharing method
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
CN112771856B (zh) 可分离失真视差确定
CN105511620A (zh) 中文三维输入装置、头戴式装置及中文三维输入方法
US11520409B2 (en) Head mounted display device and operating method thereof
KR102077665B1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
CN109544445B (zh) 一种图像处理方法、装置及移动终端
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
CN111913674A (zh) 虚拟内容的显示方法、装置、***、终端设备及存储介质
KR20170084458A (ko) 헤드 마운트 디스플레이 장치
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
WO2022151687A1 (zh) 合影图像生成方法、装置、设备、存储介质、计算机程序及产品
US11580300B1 (en) Ring motion capture and message composition system
US10783666B2 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant