KR101265296B1 - 카메라를 이용한 사용자 입력 인식 장치 및 방법 - Google Patents

카메라를 이용한 사용자 입력 인식 장치 및 방법 Download PDF

Info

Publication number
KR101265296B1
KR101265296B1 KR1020110106085A KR20110106085A KR101265296B1 KR 101265296 B1 KR101265296 B1 KR 101265296B1 KR 1020110106085 A KR1020110106085 A KR 1020110106085A KR 20110106085 A KR20110106085 A KR 20110106085A KR 101265296 B1 KR101265296 B1 KR 101265296B1
Authority
KR
South Korea
Prior art keywords
camera
user input
movement
recognized
event
Prior art date
Application number
KR1020110106085A
Other languages
English (en)
Other versions
KR20130037138A (ko
Inventor
양혜진
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to US13/467,455 priority Critical patent/US20130088429A1/en
Publication of KR20130037138A publication Critical patent/KR20130037138A/ko
Application granted granted Critical
Publication of KR101265296B1 publication Critical patent/KR101265296B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 카메라를 이용한 사용자 입력 인식 장치로, 표시부와, 촬영 모드 또는 동작 인식 모드로 동작되는 카메라와, 미리 설정된 이벤트 발생에 따라 구동된 카메라로부터 입력되는 촬영 이미지를 프레임별로 분석하여 음영 영역의 이동 정보를 산출하고, 상기 음영 영역의 이동 정보에 상응하는 사용자 입력을 인식하는 제어부를 포함한다.

Description

카메라를 이용한 사용자 입력 인식 장치 및 방법{Apparatus and Method for Recognizing User Input using Camera}
본 발명은 사용자 입력 인식 장치 및 동작 방법에 관한 것으로, 특히 카메라를 이용하여 사용자 입력을 인식하는 장치 및 방법에 관한 것이다.
최근 휴대 단말기 또는 PAD를 포함하는 이동 통신 단말기는 터치 스크린을 구비하여, 사용자의 터치 입력 및 제스처 입력을 인식하는 방식으로 사용자 인터페이스의 진화가 이루어지고 있다.
종래의 터치 입력 인식은 원 터치, 더블 터치, 멀티 터치 등의 동시 터치 인식 개수를 증가하는 방향으로 발전하고 있다. 또한, 정전압 방식에서 정전 용량 방식으로 터치의 저항이 감소하는 방향으로 발전하고 있다. 종래의 제스처 입력 인식은 특정 터치 입력 정보에 대응되는 특정 제스처 정보를 미리 설정하여 저장해두고, 실제 터치 입력에 따라 그에 상응하는 미리 설정된 제스처로 인식한다. 즉, 종래의 터치 입력 인식 및 제스처 입력 인식 모두 사용자의 터치 동작이 필수적이다.
그런데, 운전, 화장 또는 요리할 때와 같이 양손을 사용하지 못하거나 주의를 요하는 환경에서는 정보 기기를 조작하기 위한 터치 입력이 어려울 수 있다. 더욱이 사용자 손의 정전기에 의해 작동하는 정전 용량 방식의 터치 입력일 경우, 습기에 의한 오동작 발생률이 높을 뿐만 아니라 장갑을 낀 손에 의한 터치는 정전기가 절연되어 터치 입력 동작 자체가 이루어지지 않을 수도 있다. 또한, 터치 윈도우의 표면은 급격한 온도 변화에 매우 취약하여 급격한 온도 변화가 발생할 경우 터치 윈도우 표면에 생기는 서리로 인하여 오동작이 매우 심해진다.
본 발명은 사용자의 터치 입력 인식이 용이하지 않은 환경에서 카메라를 이용해 사용자 입력을 인식하여 정보 기기를 조작할 수 있는 장치 및 방법을 제공한다.
본 발명은 카메라를 통한 사용자 입력 이미지 해석 프로세싱을 단순하게 하는 사용자 입력 인식 장치 및 방법을 제공한다.
본 발명은 카메라를 이용한 사용자 입력 인식 장치로, 표시부와, 촬영 모드 또는 동작 인식 모드로 동작되는 카메라와, 미리 설정된 이벤트 발생에 따라 구동된 카메라로부터 입력되는 촬영 이미지를 프레임별로 분석하여 음영 영역의 이동 정보를 산출하고, 상기 음영 영역의 이동 정보에 상응하는 사용자 입력을 인식하는 제어부를 포함한다.
본 발명은 카메라를 이용한 사용자 입력 인식 방법으로, 카메라를 동작 인식 모드로 동작되는 이벤트를 설정하는 단계와, 상기 설정된 이벤트가 발생하는지 모니터링하는 단계와, 미리 설정된 이벤트 발생에 따라 상기 카메라를 동작 인식 모드로 동작시키는 단계와, 상기 카메라로부터 연속적으로 입력되는 둘 이상의 촬영 이미지 프레임들을 분석하여 음영 영역을 추출하고, 상기 촬영 이미지 프레임들을 비교하여 음영 영역 이동 정보를 산출하는 단계와, 상기 프레임 분석부로부터 분석된 음영 영역 이동 정보에 매핑되는 사용자 입력을 인식하는 단계를 포함한다.
본 발명에 따라 터치 입력 인식이 용이하지 않을 환경에서도 용이하게 사용자 입력을 인식할 수 있다는 이점이 있다. 따라서, 사용자가 입력을 하기 위해 손의 습기를 제거하거나, 추운 곳에서 장갑을 벗어야 하는 번거로움을 줄일 수도 있다. 또한, 급격한 온도 변화에도 사용자 입력 인식의 오류를 줄일 수 있다. 또한, 무선 인터넷 이용시에 이동 통신 단말의 화면상에서의 손쉬운 브라우징에 대한 사용자 요구를 충족시킬 수 있다. 그리고, 사용자에게 터치하지 않고도 동작할 수 있다는 새로운 사용자 인터페이스 경험을 제공함으로써 사용자 만족도를 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 카메라를 이용한 사용자 입력 인식 장치의 개략적인 블록 구성도이다.
도 2는 카메라 동작 인식 모드 이벤트 설정 화면의 일 예를 도시한 도면이다.
도 3a 내지 도 3d는 프레임 분석부에 의해 분석되는 촬영 이미지 프레임의 일 예를 도시한 도면이다.
도 4는 본 발명의 바람직한 실시 예에 따른 카메라를 이용한 사용자 입력 방법을 설명하기 위한 순서도이다.
도 5 내지 도 10은 카메라를 이용한 사용자 입력 인식 장치 및 방법이 어플리케이션 동작에 적용되는 다양한 실시 예를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한, 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 카메라를 이용한 사용자 입력 인식 장치의 개략적인 블록 구성도이다.
카메라를 이용한 사용자 입력 인식 장치는 휴대폰, 스마트 폰(smart phone), PDA(Personal digital assistants), 네비게이션 단말 등의 이동 통신 단말뿐만 아니라, 데스크 탑 컴퓨터, 노트북 등과 같은 개인용 컴퓨터에 적용될 수 있다. 본 발명의 바람직한 실시 예에 따라 사용자 입력 인식 장치는 카메라를 구비하여 사용자의 동작 영상을 사용자 입력 정보로 인식할 수 있는 모든 장치에 적용될 수 있는 것으로 해석된다.
도 1을 참조하면, 카메라를 이용한 사용자 입력 인식 장치는 카메라(110), 표시부(120) 및 제어부(130)를 포함하여 구성된다. 또한, 부가적으로 조작부(140) 및 센서부(150)를 더 포함한다.
카메라(110)는 정지 영상 또는 동영상의 촬영 이미지를 프레임 형태로 출력한다. 또한, 카메라(110)는 영상 촬영시 제어부(130)의 제어에 의해 영상을 확대 또는 축소하거나, 자동 또는 수동으로 회전 가능한 카메라(110)일 수 있다. 본 발명의 바람직한 실시 예에 따라 카메라(110)는 촬영 모드와 동작 인식 모드로 이원화되어 동작될 수 있다. 여기서, 촬영 모드는 촬영된 이미지 프레임을 표시부(120)에 디스플레이시키는 동작 상태를 의미한다. 즉, 일반적인 사진 촬영 동작을 의미한다. 동작 인식 모드는 촬영 이미지가 표시부(120)에 디스플레이되지 않고, 제어부(130)로 전송되어 사용자 입력 정보로 사용되는 상태를 의미한다. 즉, 카메라(110)가 사용자 입력 수단으로 사용되도록 하는 것이다. 본 발명의 바람직한 실시 예에 따라 카메라(110)는 제어부(130)의 제어에 의해 촬영 모드 또는 동작 인식 모드 중 하나로 동작될 수도 있으나, 셀프 카메라를 찍는 상황에서와 같이 동시에 동작 인식 모드 및 촬영 모드로 동작될 수도 있다.
표시부(120)는 외부로부터 입력되는 영상을 출력하는 수단으로, LCD와 같이 영상 또는 텍스트를 디스플레이할 수 있는 패널일 수 있다. 또한, 이는 정보 기기에 내장된 형태로 구비될 수도 있고, 외장형으로 USB 포트와 같은 인터페이스 수단을 통해 별도로 접속될 수도 있다. 표시부(120)는 정보 기기에서 처리되는 정보를 표시 출력하는데, 제어 동작과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 본 발명의 바람직한 실시 예에 따라 카메라(110)를 동작 인식 모드로 구동시킬 이벤트 설정 화면이 출력될 수 있다. 또한, 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우에 표시부(120)는 조작부로도 사용될 수 있다.
사용자 인터페이스부인 조작부(140)는 사용자로부터 정보를 입력받을 수 있는 수단으로, 일 예로 키 버튼 누름시마다 키정보를 발생하는 키입력부나, 터치 센서, 마우스 등이 포함될 수 있다. 본 발명의 바람직한 실시 예에 따라, 사용자로부터 카메라를 입력 수단으로 사용할 이벤트 설정 정보를 입력받을 수 있다.
센서부(150)는 근접센서 또는 초음파 센서를 포함하는 것으로, 물체의 접근을 센싱하는 것들을 모두 포함할 수 있다. 본 발명의 바람직한 실시 예에 따라 센서부(150)로부터 인식된 정보는 카메라(110)를 온/오프시키는 정보로 사용될 수 있다. 카메라(110)가 동작 인식 모드 상태일 때, 계속적으로 구동되면 배터리 소모가 커지므로, 필요한 순간에만 구동될 필요가 있다. 따라서, 비교적 배터리 소모가 적은 센서부(150)로부터 감지된 사용자의 접근 센싱 정보를 카메라(110)를 온/오프시키는 정보로 사용한다. 예컨대, 뮤직 플레이어가 구동되는 동안 별다른 사용자 입력이 없을 때에도 카메라(110)가 구동되는 것을 불필요한 배터리 소모를 야기하므로, 사용자 입력없이 음악이 재생되는 동안은 카메라(110)가 오프되고 센서부(150)가 구동될 수 있다.
제어부(130)는 전술한 바와 같은 각 구성 요소들을 제어하여, 본 발명의 실시 예에 따라 이를 위한 하드웨어 프로세서 또는 이 하드웨어 프로세서에서 실행되는 소프트웨어 모듈이 될 수 있다. 본 발명의 바람직한 실시 예에 따라 제어부(130)는 상세하게는 이벤트 설정부(131), 모니터링부(132), 카메라 모드 제어부(133), 프레임 분석부(134) 및 사용자 입력 인식부(135)를 포함한다.
이벤트 설정부(131)는 카메라(110)를 동작 인식 모드로 하는 이벤트가 무엇인지를 설정한다. 즉, 조작부(140)를 통한 사용자의 요청에 따라 이벤트 설정부(131)는 동작 인식 모드 이벤트 설정 화면을 표시부(120)에 출력한다.
도 2는 카메라 동작 인식 모드 이벤트 설정 화면의 일 예를 도시한 도면이다.
도 2를 참조하면, 동작 인식 모드 이벤트 설정 화면에는 정보 기기에서 사용되는 어플리케이션 및 상황을 포함하는 이벤트 리스트(210)와 각 이벤트들이 카메라(110)를 동작 인식 모드로 동작시킬지의 여부를 체크하는 체크 박스(220)가 포함된다. 이벤트 설정부(131)는 도 2에 도시된 바와 같은 카메라 동작 인식 모드 이벤트 설정 화면을 통해 체크된 이벤트들을 동작 인식 모드 이벤트로 설정한다.
모니터링부(132)는 이벤트 설정부(131)에 의해 설정된 이벤트 상황이 발생하는지를 모니터링하고, 이벤트 상황이 발생될 경우 카메라 제어부(133)에 이를 보고한다.
카메라 모드 제어부(133)는 모니터링부(132)로부터 이벤트 상황 발생 보고됨에 따라, 카메라(110)를 동작 인식 모드로 구동시킨다. 그러면, 카메라(110)는 촬영 이미지를 표시부(120)를 통해 출력하지 않고, 제어부(130)의 프레임 분석부(134)에 출력하게 된다. 또한, 동작 인식 모드에서 표시부(120)가 오프되거나, 어플리케이션 등이 백그라운드로 동작할 경우에 카메라(110)가 계속 구동될 경우 불필요한 배터리 소모가 있을 수 있다. 따라서, 이를 방지하기 위해 카메라 모드 제어부(133)는 카메라(110)가 오프되도록 제어한다. 그런데, 이러한 경우 카메라 동작 인식을 위한 이벤트가 종료된 것은 아니므로, 카메라 모드 제어부(133)는 전술한 바와 같이 센서부(150)를 구동시키고, 센서부(150)로부터 입력되는 사용자 근접 센싱 정보에 따라 카메라(110)를 온시킨다. 즉, 카메라(110)가 오프된 상태에서 사용자 근접 센싱 정보가 입력됨에 따라 카메라 모드 제어부(133)는 카메라(110)를 동작 인식 모드로 동작되도록 구동시킨다.
프레임 분석부(134)는 동작 인식 모드 상태인 카메라(110)로부터 입력되는 촬영 이미지 프레임을 분석한다. 카메라(110)의 촬영 이미지는 일반적으로 초당 20 내지 28개의 프레임으로 전달되는데, 동작 인식률을 조절하기 위해 초당 촬영 이미지 프레임수는 조절될 수 있다.
도 3a 내지 도 3d는 프레임 분석부에 의해 분석되는 촬영 이미지 프레임의 일 예를 도시한 도면이다.
도 3a를 참조하면, 촬영 이미지 프레임은 카메라(110)의 촬영뷰를 기준으로 X축과 Y축이 형성된다. 본 발명은 카메라(110)가 정지된 상황에서 도 3a에 도시된 동일한 사이즈를 갖는 촬영뷰에서 사용자 동작이 촬영된다는 가정하에 수행된다.
한편, 매우 많은 정보를 포함하는 촬영 이미지를 그대로 사용할 경우, 분석할 데이터량이 매우 많아 분석에 시간과 많은 CPU 자원을 사용된다. 따라서, 본 발명의 바람직한 실시 예에 따라 프레임 분석부(134)는 카메라(110)로부터 전달된 촬영 이미지 프레임의 각 픽셀의 명도에 의해 음영 영역을 추출해낸다. 즉, 음영 영역이 사용자의 손 또는 특정 물체가 촬영된 것으로 판단되는 것이다. 도 3b를 참조하면, 촬영 이미지 프레임의 각 픽셀들은 명도에 의해 도면에 도시된 바와 같이 음영 영역이 분리된다. 즉, 소정 임계치 이하의 명도값을 갖는 픽셀들이 음영 영역으로 분리된다. 그런데, 야간이나 그림자에 의해 전체 이미지 픽셀들이 소정 임계치 이하의 명도값을 가질 수 있다. 이러한 경우에 오류가 발생되는 것을 방지하기 위해, 프레임 분석부(134)는 초기에 촬영된 이미지의 전체 명도 평균값을 산출하고, 상기 산출된 평균값에서 소정 비율 이하의 명도를 가지는 픽셀을 음영 영역으로 추출할 수도 있다.
또한, 사용자의 손 또는 특정 물체의 움직임에 의해 프레임마다 촬영 이미지가 변화되므로, 프레임 분석부(134)는 프레임간의 촬영 이미지 변화를 분석한다. 도 3c를 참조하면, 손 또는 물체의 변화에 따라 촬영 이미지의 명암에 의해 추출된 음영 영역이 이동됨을 알 수 있다. 따라서, 프레임 분석부(134)는 앞 프레임의 좌표와 다음 프레임의 좌표를 비교하여, 사용자의 손 또는 특정물체의 움직임의 시점과 종점을 계산할 수 있다. 이때, 프레임 분석부(134)는 어두운 부분 전체의 좌표를 구하는 것이 아니라, 음영 영역 중에서 소정 지점을 지정하여 그 지점의 좌표 변화에 따라 움직임을 판단한다.
도 3d를 참조하면, 상기 소정 지점은 음영 영역 면적의 중심점이 될 수 있다. 그러나, 상기 소정 지점을 이에 한정되지 않고, 전체 촬영 이미지의 면적 대비 음영 영역의 면적 이동량을 계산하여도 X, Y에 대한 값을 계산할 수 있다. 또는 상기 소정 지점은 음영 영역의 무게 중심 또는 좌우 경계선의 중심 지점이 될 수도 있다.
그런데, 카메라(110) 종류가 서로 상이한 디바이스로 연결될 경우, 상기 소정 지점의 좌표값이 달라질 수 있다. 이는 터치스크린처럼 가상의 X, Y 액티브 영역이 고정되어 있지 않은 것과 같다. 프레임 분석부(134)는 이를 위해 좌표값(X, Y)로 표현되는 정확한 좌표값 대신 방향과 속도만 가지는 벡터값으로 추출할 수 있다. 즉, 소정 위치의 지점의 변화를 연결한 벡터값으로 움직임의 방향을 판단한다. 또한, 단위 시간당 촬영되는 이미지 프레임의 갯수는 일정하므로, 단위 시간 촬영된 프레임에서 생성된 벡터의 길이에 따라 속도를 산출해낼 수 있다.
프레임 분석부(134)는 상기 상하, 좌우 동작의 경우, 전술한 바와 같이 연속된 프레임의 값의 비교로 그 벡터값 또는 좌표값을 추출한다. 일정 시간(n초) 동안 변화 값이 X 기준으로 -,+ 변화량을 반복할 경우 흔들기 동작으로 판단된다. 일정 시간(n초)안 프레임당 명암의 변화량이 없을 경우 가리기 동작으로 판단된다.
다시 도 1을 참조하면, 사용자 입력 인식부(135)는 프레임 분석부(134)에 의해 산출해낸 값이 의미하는 사용자 입력을 해석한다. 하기의 <표 1>은 움직임에 매핑되는 해석 결과의 일 예를 나타낸다.
움직임 해석 결과
손동작이 좌측에서 우측으로 이동 인터페이스 컨터롤 “→” 방향 이벤트 발생
손동작이 우측에서 좌측으로 이동 인터페이스 컨터롤 “←“ 방향 이벤트 발생
손동작이 아래서 위로 이동 인터페이스 컨터롤 “↑” 방향 이벤트 발생
손동작이 위에서 아래로 이동 인터페이스 컨터롤 “↓“ 방향 이벤트 발생
빠른 속도로 좌우 흔들기 인터페이스 컨터롤 특정 이벤트 전환
정지된 손바닥으로 일정시간 동안 멈출 인터페이스 컨터롤 “진행중인 이벤트 “정지” 및 “종료” 이벤트 발생
도면에는 도시되어 있지 않지만, 본 발명의 바람직한 실시 예에 따른 카메라를 이용한 사용자 입력 인식 장치는 통신부를 구비하고, 제어부(130)는 갤러리 사진, 동영상, 이북 등과 같이 컨텐츠에 대해 음영 영역의 이동과 같은 사용자 입력이 인식될 경우, 상기 통신부를 통해 연동되는 서버 등에 컨텐츠를 업로드할 수도 있다.
또한, 제어부(130)는 동작 인식 모드에서 사용자로부터 터치 입력될 경우, 동작 인식 모드를 자동 오프할 수도 있다.
도 4는 본 발명의 바람직한 실시 예에 따른 카메라를 이용한 사용자 입력 방법을 설명하기 위한 순서도이다.
제어부(130)는 410 단계에서 카메라(110)를 촬영 이미지를 사용자 입력으로 출력하는 동작 인식 모드로 동작되는 이벤트를 설정한다. 이러한 이벤트 설정은 도 2에 도시돈 바와 같은 이벤트 리스트와 카메라를 동작 인식 모드로 동작시킬 이벤트 선택 정보 입력란을 포함하는 카메라 동작 인식 모드 설정 화면을 통해 선택 입력된 이벤트들을 동작 인식 모드 이벤트로 설정한다.
그리고, 제어부(130)는 420 단계에서 동작 인식 모드로 설정된 이벤트들이 발생되는지 실시간으로 모니터링한다.
420 단계의 모니터링 결과 카메라 동작 인식 모드로 설정된 이벤트들이 발생됨에 따라, 제어부(130)는 430 단계에서 카메라를 동작 인식 모드로 동작되도록 구동시킨다. 그리고, 도면에는 도시되어 있지 않지만, 카메라(110)의 불필요한 배터리 소모를 방지하기 위해 표시부가 오프되거나 설정된 이벤트인 어플리케이션이 백그라운드로 동작할 경우에는 카메라(110)가 오프되도록 제어한다. 또한 일예로 설정된 이벤트가 전화 수신인 경우에는 전화수신을 한 이후에는 바로 카메라(110)가 오프되도록 제어할 수 있다.
440 단계에서 카메라로부터 연속적으로 둘 이상의 촬영 이미지 프레임이 입력됨에 따라, 제어부(130)는 450 단계에서 둘 이상의 촬영 이미지 프레임들을 분석하여 음영 영역을 추출하고, 상기 촬영 이미지 프레임들을 비교하여 음영 영역 이동 정보를 산출한다. 이때, 상기 촬영 이미지 프레임의 각 픽셀의 명도가 소정 임계치 이하인 픽셀을 음영 부분을 추출한다. 또는 초기 촬영 이미지의 전체 픽셀들의 명도 평균값을 산출하고, 상기 산출된 평균값에서 소정 비율 이하의 명도를 가지는 픽셀을 음영 영역의 이동 정보를 산출한다. 또한, 제어부(130)는 상기 둘 이상의 촬영 이미지 프레임들의 상기 음영 부분의 소정 지점의 좌표 변화에 따라 사용자 입력의 시점과 종점을 산출한다. 이때, 상기 소정 지점은 상기 음영 부분의 면적의 중심점, 음영 영역의 무게 중심 또는 좌우 윤곽선의 중심 지점 중 하나일 수 있다. 그리고, 상기 소정 지점의 변화에 따라 방향을 가지는 벡터가 추출되고, 단위 시간 촬영된 프레임에서 생성된 벡터의 길이에 따라 움직임의 속도를 산출될 수 있다. 그리고, 제어부(130)는 450 단계에서 음영 영역 이동 정보에 매핑되는 사용자 입력을 인식한다.
그러면, 전술한 바와 같은 카메라를 이용한 사용자 입력 인식 장치 및 방법이 어플리케이션 동작에 적용되는 실시 예를 살펴보기로 한다.
도 5는 전화 및 문자 메시지 수신시의 동작 인식을 설명하기 위한 도면이다.
사용자가 운전 중이거나 요리를 하고 있을 경우처럼 이미 진행 중인 작업으로 인하여 주의 분산이 어렵거나 손이 자유롭지 못하고 오염되어 있을 경우에 도 5에 도시된 바와 같이, 전화벨이 울리는 상태인 전화 수신 모드에서 손을 흔들어서 통화가 가능한 상태인 통화 모드로 전환될 수 있다.
그러나, 이는 일 실시 예일 뿐, 제조사 또는 사용자의 설정에 의해 다양한 형태의 사용자 입력 인식에 따라 통화 모드 전환 및 문자 메시지 확인이 가능하다. 또한, 이와 같이 동작 인식 모드에서 전화를 수신하게 될 경우에는 사용자가 전화를 터치할 수 없다는 판단하에 별도의 추가 액션없이 스피커 모드 등으로 자동 전환되어 전화를 수신하도록 할 수도 있다. 이러한 스피커 모드로의 자동 전환은 사용자 선택에 따라 기설정될 수 있다.
도 6은 뮤직 플레이어의 이전/다음곡 선택을 위한 동작 인식을 설명하기 위한 도면이다. 도 6을 참조하면, (a)에 도시된 바와 같이 손을 오른쪽으로 이동함에 따라 다음곡이 선택되어 재생되고, (b)에 도시된 바와 같이 손을 왼쪽으로 이동함에 따라 이전곡이 선택되어 재생될 수 있다. 또한, 이동 동작의 이동 속도에 상응하여 선택되는 곡을 조절할 수도 있다. 예컨대, 느린 동작이 인식될 경우, 다음곡이 선택되도록 하고, 빠른 동작이 인식될 경우 몇 곡을 건너뛴 곡이 선택될 수 있다.도 7은 뮤직 플레이어의 볼륨 업/다음 선택을 위한 동작 인식을 설명하기 위한 도면이다.
도 7을 참조하면, (a)에 도시된 바와 같이 손을 위쪽으로 이동함에 따라 볼륨이 업되고, (b)에 도시된 바와 같이 손을 아래쪽으로 이동함에 따라 볼륨 다운된다. 또한, 이동 동작의 이동 속도에 상응하여 볼륨 변화율을 조절할 수도 있다. 예컨대, 느린 동작이 인식될 경우 천천히 볼륨이 조절되고, 빠른 동작이 인식될 경우 빠르게 볼륨이 조절되도록 할 수 있다. 도 8은 갤러리 썸네일 좌/우 스크롤 선택을 위한 동작 인식을 설명하기 위한 도면이다.
도 8을 참조하면, (a)에서와 같이 손을 오른쪽으로 이동함에 따라 갤러리의 사진 또는 동영상이 오른쪽으로 이동하고, (b)에서와 같이 손을 왼쪽으로 이동함에 갤러리의 사진 또는 동영상이 왼쪽으로 이동된다.
또한, 이동 동작의 이동 속도에 상응하여 사진 또는 동영상의 이동 속도를 조절할 수도 있다. 예컨대, 느린 동작이 인식될 경우 사진 또는 동영상이 천천히 이동되도록 조절되고, 빠른 동작이 인식될 경우 사진 또는 동영상이 빠르게 이동되도록 조절된다.
도 9는 갤러리의 개별 사진 또는 동영상의 다음/이전 보기 선택 위한 동작 인식을 설명하기 위한 도면이다.
도 9를 참조하면, (a)에서와 같이 손을 오른쪽으로 이동함에 따라 (b)에서와 같이 이전 사진 또는 동영상이 출력되고, 손을 왼쪽으로 이동함에 따라 (c)에서와 같이 다음 사진 또는 동영상이 출력된다.또한, 이동 동작의 이동 속도에 상응하여 사진 또는 동영상의 이동 속도를 조절할 수도 있다. 예컨대, 느린 동작이 인식될 경우 사진 또는 동영상이 천천히 이동되도록 조절되고, 빠른 동작이 인식될 경우 사진 또는 동영상이 빠르게 이동되도록 조절된다.
도 10은 이북의 다음/이전 페이지 보기 선택을 위한 동작 인식을 설명하기 위한 도면이다.
이북을 볼 때 손으로 윈도우를 계속 터치하게 되면 윈도우에 지문 및 이물 등이 묻게 되어 화면이 오염돼 보일 수 있으나, 동작 인식을 이용하면 윈도우를 터치하지 않고도 페이지 이동이 가능하다. 책장을 넘기는 것과 같은 동작, 즉 우측에서 좌측으로 손이 이동됨에 따라, 다음 페이지로 넘길 수 있고, 좌측에서 우측으로 손이 이동됨에 따라 이전 페이지로 책장을 넘길 수 있다. 또한, 이동 동작의 이동 속도에 상응하여 책장을 넘기는 속도를 조절할 수도 있다. 예컨대, 느린 동작이 인식될 경우, 페이지가 한장이 넘어가도록 하고, 빠른 동작이 인식될 경우 동시에 여러 페이지가 넘어가도록 할 수도 있다.

Claims (28)

  1. 표시부와,
    촬영 모드 또는 동작 인식 모드로 동작되는 카메라와,
    미리 설정된 이벤트 발생에 따라 구동된 카메라로부터 입력되는 촬영 이미지를 프레임별로 분석하여 음영 영역의 이동 정보를 산출하고, 상기 음영 영역의 이동 정보에 상응하는 사용자 입력을 인식하는 제어부를 포함함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  2. 제 1항에 있어서, 상기 제어부는
    상기 표시부가 오프되거나, 미리 설정된 이벤트가 백그라운드로 동작할 경우에 동작 인식 모드로 동작되는 카메라를 오프시킴을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  3. 제 1항에 있어서, 상기 카메라는
    촬영 모드 또는 동작 인식 모드 중 하나로 동작됨을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  4. 제 1항에 있어서, 상기 제어부는
    카메라를 동작 인식 모드로 동작시키는 이벤트를 설정하는 이벤트 설정부와,
    상기 이벤트 설정부에 의해 설정된 이벤트 상황 발생 여부를 감시하는 모니터링부와,
    상기 모니터링부로부터 이벤트 발생 보고됨에 따라, 상기 카메라를 동작 인식 모드로 구동하는 카메라 모드 제어부와,
    상기 카메라로부터 연속적으로 입력되는 둘 이상의 촬영 이미지 프레임들을 분석하여 음영 영역을 추출하고, 상기 촬영 이미지 프레임들을 비교하여 음영 영역 이동 정보를 산출하여 출력하는 프레임 분석부와,
    상기 프레임 분석부로부터 분석된 음영 영역 이동 정보에 매핑되는 사용자 입력을 인식하는 사용자 입력 인식부를 포함함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  5. 제 4항에 있어서,
    사용자 입력 정보를 입력받는 조작부를 더 포함하되,
    상기 이벤트 설정부는
    이벤트 리스트와 카메라를 동작 인식 모드로 동작시킬 이벤트 선택 정보 입력란을 포함하는 카메라 동작 인식 모드 설정 화면을 상기 표시부에 출력하고, 상기 조작부를 통해 선택 입력된 이벤트들을 동작 인식 모드 이벤트로 설정함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  6. 제 4항에 있어서,
    물체의 접근을 센싱하는 센서부를 더 포함하되,
    상기 카메라 모드 제어부는
    상기 센서부로부터 인식된 센싱 정보에 따라 동작 인식 모드인 카메라의 온/오프를 제어함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  7. 제 4항에 있어서, 상기 프레임 분석부는
    상기 카메라로부터 입력된 촬영 이미지 프레임의 각 픽셀의 명도가 소정 임계치 이하인 픽셀을 음영 부분을 추출함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  8. 제 4항에 있어서, 상기 프레임 분석부는
    초기 촬영 이미지의 전체 픽셀들의 명도 평균값을 산출하고, 상기 산출된 평균값에서 소정 비율 이하의 명도를 가지는 픽셀을 음영 영역으로 추출함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  9. 제 4항에 있어서, 상기 프레임 분석부는
    상기 둘 이상의 촬영 이미지 프레임들의 상기 음영 영역의 소정 지점의 좌표 변화를 산출하여 사용자 입력의 시점과 종점을 산출함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  10. 제 9항에 있어서, 상기 소정 지점은
    상기 음영 영역의 면적의 중심점, 음영 영역의 무게 중심 또는 좌우 윤곽선의 중심 지점 중 하나임을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  11. 제 9항에 있어서, 상기 프레임 분석부는
    상기 소정 지점의 변화를 방향을 가지는 벡터로 추출함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  12. 제 11항에 있어서, 상기 프레임 분석부는
    단위 시간 촬영된 프레임에서 생성된 벡터의 길이에 따라 움직임의 속도를 산출함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  13. 제 1항에 있어서,
    외부 서버와 통신하는 통신부를 더 포함하고,
    상기 제어부는
    상기 인식된 사용자 입력을 이미지, 동영상, 텍스트 중 적어도 어느 하나를 포함하는 컨텐츠를 상기 통신부를 통해 외부 서버에 송신 요청하는 명령으로 인식함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  14. 제 1항에 있어서, 상기 제어부는
    상기 카메라가 동작 인식 모드로 동작되는 중에 사용자로부터 터치 신호가 입력될 경우, 상기 카메라의 동작 인식 모드를 오프함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  15. 제 1항에 있어서, 상기 제어부는
    상기 설정된 이벤트가 전화 수신 이벤트일 경우, 상기 음영 영역의 이동 정보에 상응하는 사용자 입력을 상기 전화 수신을 통화 모드로 전환 요청하는 제어 명령으로 인식함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  16. 제 15항에 있어서, 상기 제어부는
    상기 통화 모드 전환 요청됨에 따라, 스피커 모드로 자동 전환함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  17. 제 1항에 있어서, 상기 제어부는
    뮤직 플레이어가 실행되는 도중, 상기 음영 영역의 이동 정보가 우측 이동 동작으로 인식됨에 따라 상기 사용자 입력을 다음곡을 재생 요청하는 명령으로 인식하고, 상기 음영 영역의 이동 정보가 좌측 이동 동작으로 인식됨에 따라 상기 사용자 입력을 이전곡을 재생 요청하는 명령으로 인식함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  18. 제 1항에 있어서, 상기 제어부는
    뮤직 플레이어가 실행되는 도중, 상기 음영 영역의 이동 정보가 상향 이동 동작으로 인식됨에 따라 상기 사용자 입력을 볼륨 업을 요청하는 명령으로 인식하고, 상기 음영 영역의 이동 정보가 하향 이동 동작으로 인식됨에 따라 상기 사용자 입력을 볼륨 다운을 요청하는 명령으로 인식함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  19. 제 18항에 있어서, 상기 제어부는
    상기 이동 동작의 이동 속도에 따라, 볼륨 변화율을 조절함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  20. 제 1항에 있어서, 상기 제어부는
    갤러리가 실행되는 도중, 상기 음영 영역의 이동 정보가 우측 이동 동작으로 인식됨에 따라 상기 사용자 입력을 사진 또는 동영상을 우측으로 이동 요청하는 명령으로 인식하고, 상기 음영 영역의 이동 정보가 좌측 이동 동작으로 인식됨에 따라 상기 사용자 입력을 사진 또는 동영상을 좌측으로 이동 요청하는 명령으로 인식함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  21. 제 20항에 있어서, 상기 제어부는
    상기 이동 동작의 이동 속도에 따라, 페이지 이동 속도를 조절함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  22. 제 1항에 있어서, 상기 제어부는
    갤러리가 실행되는 도중, 상기 음영 영역의 이동 정보가 우측 이동 동작으로 인식됨에 따라 상기 사용자 입력을 이전 사진 또는 이전 동영상을 출력 요청하는 명령으로 인식하고, 상기 음영 영역의 이동 정보가 좌측 이동 동작으로 인식됨에 따라 상기 사용자 입력을 다음 사진 또는 다음 동영상을 출력 요청하는 명령으로 인식함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  23. 제 1항에 있어서, 상기 제어부는
    이북이 실행되는 도중, 상기 음영 영역의 이동 정보가 좌측 이동 동작으로 인식됨에 따라 다음 페이지 출력 요청하는 명령으로 인식하고, 상기 음영 영역의 이동 정보가 우측 이동 동작으로 인식됨에 따라 이전 페이지 출력 요청하는 명령으로 인식하는 것을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  24. 제 23항에 있어서, 상기 제어부는
    상기 이동 동작의 이동 속도에 따라, 페이지 이동 속도를 조절함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 장치.
  25. 카메라가 동작 인식 모드로 동작되는 이벤트를 설정하는 단계와,
    상기 설정된 이벤트가 발생하는지 모니터링하는 단계와,
    미리 설정된 이벤트 발생에 따라 상기 카메라를 동작 인식 모드로 동작시키는 단계와,
    상기 카메라로부터 연속적으로 입력되는 둘 이상의 촬영 이미지 프레임들을 분석하여 음영 영역을 추출하고, 상기 촬영 이미지 프레임들을 비교하여 음영 영역 이동 정보를 산출하는 단계와,
    상기 프레임 분석부로부터 분석된 음영 영역 이동 정보에 매핑되는 사용자 입력을 인식하는 단계를 포함함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 방법.
  26. 제 25항에 있어서, 상기 산출하는 단계는
    상기 촬영 이미지 프레임의 각 픽셀의 명도가 소정 임계치 이하인 픽셀을 음영 부분을 추출함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 방법.
  27. 제 25항에 있어서, 상기 산출하는 단계는
    초기 촬영 이미지의 전체 픽셀들의 명도 평균값을 산출하고, 상기 산출된 평균값에서 소정 비율 이하의 명도를 가지는 픽셀을 음영 부분으로 추출함을 특징으로 하는 카메라를 이용한 사용자 입력 인식 방법.
  28. 제 25항에 있어서, 상기 산출하는 단계는
    상기 둘 이상의 촬영 이미지 프레임들의 상기 음영 영역의 소정 지점의 좌표 변화를 산출하여 사용자 입력의 시점과 종점으로 이루어진 방향 벡터를 산출하되, 상기 소정 지점은 상기 음영 영역의 면적의 중심점, 음영 영역의 무게 중심 또는 좌우 윤곽선의 중심 지점 중 하나임을 특징으로 하는 카메라를 이용한 사용자 입력 인식 방법.
KR1020110106085A 2011-10-05 2011-10-17 카메라를 이용한 사용자 입력 인식 장치 및 방법 KR101265296B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/467,455 US20130088429A1 (en) 2011-10-05 2012-05-09 Apparatus and method for recognizing user input

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110101128 2011-10-05
KR20110101128 2011-10-05

Publications (2)

Publication Number Publication Date
KR20130037138A KR20130037138A (ko) 2013-04-15
KR101265296B1 true KR101265296B1 (ko) 2013-05-20

Family

ID=48438239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110106085A KR101265296B1 (ko) 2011-10-05 2011-10-17 카메라를 이용한 사용자 입력 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101265296B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366498B2 (en) 2015-07-30 2019-07-30 Samsung Electronics Co., Ltd. Method and device for recognizing motion

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101616450B1 (ko) * 2014-06-09 2016-05-11 (주) 펀매직 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366498B2 (en) 2015-07-30 2019-07-30 Samsung Electronics Co., Ltd. Method and device for recognizing motion
US10970850B2 (en) 2015-07-30 2021-04-06 Samsung Electronics Co., Ltd. Method and device for recognizing motion

Also Published As

Publication number Publication date
KR20130037138A (ko) 2013-04-15

Similar Documents

Publication Publication Date Title
US10761610B2 (en) Vehicle systems and methods for interaction detection
WO2020259651A1 (zh) 一种控制用户界面的方法及电子设备
US8675113B2 (en) User interface for a digital camera
EP2784653B1 (en) Apparatus and method of controlling overlapping windows in a device
US8937589B2 (en) Gesture control method and gesture control device
US20130088429A1 (en) Apparatus and method for recognizing user input
KR102462364B1 (ko) 스크롤바를 이용한 이미지 디스플레이 방법 및 이를 위한 장치
US9411418B2 (en) Display device, display method, and program
AU2014244765A1 (en) Display method and apparatus for diversely displaying an object according to scroll speed
CN111083417B (zh) 图像处理方法及相关产品
US20140104161A1 (en) Gesture control device and method for setting and cancelling gesture operating region in gesture control device
US20140059478A1 (en) Apparatus and method for providing a digital bezel without occluding interactive content
WO2020000971A1 (zh) 切换全局特效的方法、装置、终端设备及存储介质
KR20150134674A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
JP2009260907A (ja) 携帯端末装置、端末操作方法、プログラム、及び記録媒体
Haro et al. Mobile camera-based user interaction
TW201525843A (zh) 螢幕畫面的縮放及操作方法、裝置與電腦程式產品
CN112817376A (zh) 信息显示方法、装置、电子设备和存储介质
KR102135947B1 (ko) 윈도우 영역 조정 방법 및 그에 따른 전자 장치
US20160364031A1 (en) Storage medium, display control device, display control system, and display method
KR101265296B1 (ko) 카메라를 이용한 사용자 입력 인식 장치 및 방법
CA2807866C (en) User interface for a digital camera
US10983686B2 (en) Display control apparatus equipped with touch panel, control method therefor, and storage medium storing control program therefor
KR102138501B1 (ko) 디지털 컨텐츠를 캡쳐하는 디스플레이 디바이스 및 그 제어 방법
KR20200033640A (ko) 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee