KR101287948B1 - 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체 - Google Patents

동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101287948B1
KR101287948B1 KR1020110133490A KR20110133490A KR101287948B1 KR 101287948 B1 KR101287948 B1 KR 101287948B1 KR 1020110133490 A KR1020110133490 A KR 1020110133490A KR 20110133490 A KR20110133490 A KR 20110133490A KR 101287948 B1 KR101287948 B1 KR 101287948B1
Authority
KR
South Korea
Prior art keywords
motion
pattern
user
image
patterns
Prior art date
Application number
KR1020110133490A
Other languages
English (en)
Other versions
KR20130066812A (ko
Inventor
임창주
이남희
정윤근
김연진
Original Assignee
(주) 미디어인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 미디어인터랙티브 filed Critical (주) 미디어인터랙티브
Priority to KR1020110133490A priority Critical patent/KR101287948B1/ko
Publication of KR20130066812A publication Critical patent/KR20130066812A/ko
Application granted granted Critical
Publication of KR101287948B1 publication Critical patent/KR101287948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 동작 인식 방법 및 장치에 관한 것이다. 본 발명의 일 태양에 따르면, (a) 입력된 영상으로부터 사용자의 특징을 포함하는 특징 영상을 추출하는 단계, (b) 사용자의 특징에 기초하여 최초 사용자인지 기존 사용자인지를 판단하는 단계, (c) 최초 사용자인 것으로 판단되면 특징 영상의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴들을 비교하여 최초 사용자의 동작을 인식하고, 특징 영상의 동작 패턴과 표준 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 특징 영상의 동작 패턴에 대응하는 동작을 수행하고, 기존 사용자인 것으로 판단되면 특징 영상의 동작 패턴과 데이터베이스에 저장된 기존 사용자의 학습된 동작 패턴들을 비교하여 기존 사용자의 동작을 인식하여, 특징 영상의 동작 패턴과 학습된 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 특징 영상의 동작 패턴에 대응하는 동작을 수행하는 단계, 및 (d) 특징 영상의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴들이 유사하거나 특징 영상의 동작 패턴과 학습된 동작 패턴들이 유사함에도 불구하고 애매한 동작으로 판단되면, 특징 및 특징 영상의 동작 패턴을 저장하고, 특징 영상의 동작 패턴들을 학습하여 학습된 동작 패턴을 획득하여 데이터베이스에 저장하는 단계를 구비하는 동작 인식 방법이 제공된다.

Description

동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체{METHOD, APPARATUS, AND COMPUTER READABLE RECORDING MEDIUM FOR RECOGNIZING GESTURES}
본 발명은 동일한 명령을 지시하기 위한 동작이 사용자에 따라 달라질 수 있는데, 명령을 지시하기 위한 동작들을 사용자별로 학습하여 학습된 동작 패턴들을 만들어 저장한 후, 학습된 동작 패턴들에 기초하여 사용자의 동작을 인식함으로써 동작 인식률을 높일 수 있는 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
최근에 들어, 스마트 TV, 스마트 휴대폰 등 컨텐츠를 제공하기 위한 기기의 유형이 다양화되어 있고, 이들을 통해 제공되는 컨텐츠의 유형도 영화, 음악, 게임에서 교육, 의료, 홈쇼핑 등으로 다양화되고 있는 추세이다.
컨텐츠를 제어하기 위한 종래의 인터페이스 방법으로는 컨텐츠를 제공하는 기기와 유/무선으로 연결된 마우스, 키보드, 리모컨 등 도구를 사용하는 방식을 생각해볼 수 있는데 이러한 방법들에 따르면, 사용자가 도구를 사용해 컨텐츠를 일일이 특정하고 제어해야 한다는 불편함이 있었다. 또한, 상기와 같은 도구 사용의 미스가 빈번하게 일어날 수 있는바 컨텐츠를 원하는 대로 제어하기가 쉽지 않을 수도 있고, 상기와 같은 도구를 별도로 유지 및 관리해야 한다는 문제점이 있었다. 뿐만 아니라 3D 게임과 같이 사실감이 강조되는 컨텐츠의 경우 상기와 같은 도구를 사용하여 컨텐츠를 제어하고자 하는 경우 사용자가 컨텐츠를 사실감 있게 느끼지 못하는 중요한 원인이 되기도 하였다.
상술한 종래 기술의 문제점을 극복하기 위해 사용자의 동작을 이용하여 컨텐츠를 제어하는 방식에 대한 연구가 활발히 진행되고 있다. 사용자의 동작을 인식하여 컨텐츠를 제어하는 방식에 대한 기술로, 한국공개특허공보 제2011-0053396호 등이 있다. 상기 한국공개특허공보에는 단말기 카메라부를 이용하여 사용자의 손동작에 대한 영상을 획득하고, 획득된 영상을 분석하여 특징점을 추출하고, 추출된 특징점의 이동을 감지하여 특정 동작을 인식한 후 인식된 동작을 이용해 단말기의 특정 기능을 실행하는 기술이 개시되어 있다.
그러나, 이 기술을 포함한 종래의 동작 인식 방법들은 동일한 사용자의 동작 패턴을 인식하는 경우에는 좋은 동작 인식률을 나타내나, 스마트 TV 또는 개인용 컴퓨터와 같이, 하나의 장치를 여러 사람이 사용하는 경우, 예를 들면, 사용자의 연령 층이 달라지는 경우에는 동작 인식률이 떨어지게 된다는 문제점이 있다. 즉, 종래의 동작 인식 방법들은 사용자의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴과의 일치 여부를 비교함에 의해서 동작을 인식하게 되는데, 사용자가 어린이, 성인 또는 시니어 이냐에 따라 동작의 크기 및 속도가 달라질 수 있다. 이 경우에, 사용자가 데이터베이스에 저장된 표준 동작 패턴대로 입력하였음에도 불구하고 동작 인식이 되지 않아 사용자의 동작 패턴에 따른 명령이 수행되지 않게 된다는 문제점이 있다. 특히, 게임을 하는 경우에 전신을 이용하게 되는데, 연령 층에 따라 동작의 크기 및 속도가 다르기 때문에 동작 인식률이 낮아지게 되는 문제점이 있다.
따라서, 본 발명은 상술한 종래 기술의 문제점을 모두 해결하는 것을 목적으로 한다.
또한, 본 발명은 사용자에 의해서 입력되는 동작이 데이터베이스에 저장된 표준 동작 패턴 또는 학습된 동작 패턴과 일치하지 않는 경우에, 명령을 지시하기 위한 동작들을 사용자별로 학습하여 학습된 동작 패턴들을 만들어 저장한 후, 학습된 동작 패턴들에 기초하여 사용자의 동작을 인식함으로써 동작 인식률을 높일 수 있도록 하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, (a) 입력된 영상으로부터 사용자의 특징을 포함하는 특징 영상을 추출하는 단계, (b) 상기 사용자의 특징에 기초하여 최초 사용자인지 기존 사용자인지를 판단하는 단계, (c) 상기 최초 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴들을 비교하여 상기 최초 사용자의 동작을 인식하고, 상기 특징 영상의 동작 패턴과 상기 표준 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하고, 상기 기존 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 상기 기존 사용자의 학습된 동작 패턴들을 비교하여 상기 기존 사용자의 동작을 인식하여, 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하는 단계, 및 (d) 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 표준 동작 패턴들이 유사하거나 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들이 유사함에도 불구하고 애매한 동작으로 판단되면, 상기 특징 및 상기 특징 영상의 동작 패턴을 저장하고, 상기 특징 영상의 동작 패턴들을 학습하여 상기 학습된 동작 패턴을 획득하여 상기 데이터베이스에 저장하는 단계를 구비하는 동작 인식 방법이 제공된다.
본 발명의 다른 태양에 따르면, 입력된 영상으로부터 사용자의 특징을 포함하는 특징 영상을 추출하는 특징 영상 추출부, 표준 동작 패턴들 및 사용자의 특징과 학습된 동작 패턴들을 저장하는 데이터베이스, 및 상기 최초 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴들을 비교하여 상기 최초 사용자의 동작을 인식하고, 상기 특징 영상의 동작 패턴과 상기 표준 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하고, 상기 기존 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 상기 기존 사용자의 학습된 동작 패턴들을 비교하여 상기 기존 사용자의 동작을 인식하여, 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하고, 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 표준 동작 패턴들이 유사하거나 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들이 유사함에도 불구하고 애매한 동작으로 판단되면, 상기 특징 및 상기 특징 영상의 동작 패턴을 저장하고, 상기 특징 영상의 동작 패턴들을 학습하여 상기 학습된 동작 패턴을 획득하여 상기 데이터베이스에 저장하는 제어부를 구비하는 동작 인식 장치가 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 장치 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 따르면, 사용자에 의해서 입력된 동작 패턴들이 데이터베이스에 저장된 표준 동작 패턴 또는 학습된 동작 패턴과 일치하지 않는 경우에, 사용자에 의해서 입력된 동작 패턴들을 이용하여 다양한 동작들에 대한 학습된 동작 패턴들을 만들어 데이터베이스에 저장한 후에, 학습된 동작 패턴들에 기초하여 사용자의 동작을 인식함으로써 다수의 사용자들에 의한 동작 인식률을 향상시킬 수 있다.
특히, 본 발명에 따르면, 사용자의 전신 동작을 인식하는 게임 등에서 사용자의 연령 층에 따라 동작의 크기 및 속도가 달라질 수 있는데, 이 경우에 학습된 동작 패턴들에 기초하여 사용자의 동작을 인식함으로써 동작 인식률을 높일 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예의 동작 인식 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예의 동작 인식 방법을 설명하기 위한 동작 흐름도이다.
도 3은 본 발명의 일 실시예의 학습된 동작 패턴을 생성하는 방법을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명의 일 실시예의 실루엣 영상의 동작 패턴을 부호화하는 방법을 설명하기 위한 동작 흐름도이다.
도 5a 내지 5i는 본 발명의 일 실시예의 동작들에 대한 사용자 동작 패턴을 나타내는 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예의 동작 인식 장치의 구성을 나타내는 블록도로서, 동작 인식 장치(100)는 영상 입력부(110), 실루엣 추출부(120), 제어부(130), 및 데이터베이스(140)를 포함할 수 있다.
도 1에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
영상 입력부(110)는 촬상 소자를 포함할 수 있으며, 촬상 소자에 의해서 촬영된 영상을 입력할 수 있다. 실루엣 추출부(120)는 촬영된 영상으로 사용자의 손, 머리, 혹은 전신의 실루엣을 추출하여 실루엣 영상을 출력할 수 있다. 만일 동작 인식 장치(100)가 손의 동작을 인식한다면, 손의 실루엣 영상을 추출하고, 머리의 동작을 인식한다면, 머리의 실루엣 영상을 추출하고, 전신의 동작을 인식한다면, 전신의 실루엣 영상을 추출할 수 있다. 그리고, 동작 인식 장치(100)가 손과 머리의 동작을 인식한다면, 손과 머리의 실루엣 영상을 추출할 수 있다. 실루엣 추출부(120)는 촬영된 영상의 노이즈를 제거하기 위한 노이즈 필터링 기능을 추가적으로 수행할 수 있으며, 이 경우, 촬영된 영상의 노이즈 필터링된 영상으로부터 실루엣 영상을 추출할 수 있다. 제어부(130)는 실루엣 영상에 기초하여 실루엣 영상의 사용자가 최초 사용자인지 아닌지를 판단할 수 있고, 최초 사용자인 경우에는 실루엣 영상의 동작 패턴이 데이터베이스에 저장된 표준 동작 패턴과 일치하는지 여부를 검출할 수 있고, 실루엣 영상의 동작 패턴과 데이터베이스(140)에 저장된 표준 동작 패턴들을 비교하여 동작을 인식하고, 실루엣 영상의 동작 패턴이 표준 동작 패턴들 중 하나와 일치하면 해당 동작 패턴에 대응하는 명령을 수행할 수 있다. 제어부(130)는 실루엣 영상에 기초하여 실루엣 영상의 사용자가 최초 사용자가 아닌 경우에는 실루엣 영상의 동작 패턴과 데이터베이스(140)에 저장된 학습된 동작 패턴들과 비교하여 동작을 인식하고, 실루엣 영상의 동작 패턴이 학습된 동작 패턴들 중 하나와 일치하면 해당 동작 패턴에 대응하는 명령을 수행할 수 있다.
또한, 제어부(130)는 실루엣 영상의 동작 패턴이 표준 동작 패턴들 및 학습된 동작 패턴들 중의 하나와 일치하지 않으면, 실루엣 및 실루엣 영상의 동작 패턴을 저장하고, 실루엣 영상의 동작 패턴을 학습하여 학습된 동작 패턴을 데이터베이스(140)에 저장할 수 있다.
한편, 데이터베이스(140)는 명령에 따른 표준 동작 패턴 및 명령에 따른 학습된 동작 패턴을 저장할 수 있다. 학습된 동작 패턴은 사용자의 실루엣 및 사용자의 실루엣 동작 패턴을 포함할 수 있다.
도 2는 본 발명의 일 실시예의 동작 인식 방법을 설명하기 위한 동작 흐름도이다.
도 2를 참조하여, 도 1에 나타낸 동작 인식 시스템의 동작 인식 방법을 설명하면 다음과 같다.
영상 입력부(110)에 의해서 촬영된 영상을 입력한다(제200단계).
실루엣 추출부(120)에 의해서 촬영된 영상으로부터 실루엣 영상을 추출한다(제210단계). 일 예로서, canny-edge 방법을 이용하여 실루엣 영상을 추출할 수 있다.
제어부(130)는 실루엣 영상으로부터 최초 사용자인지를 판단한다(제220단계). 즉, 제어부(130)는 데이터베이스(140)에 저장된 실루엣들 중에 실루엣 영상의 실루엣이 존재하는지를 판단하여, 존재하는 경우에는 기존 사용자로 판단하고, 존재하지 않는 경우에는 최초 사용자로 판단한다.
제어부(130)는 최초 사용자로 판단되면, 실루엣 영상의 동작 패턴과 데이터베이스(140)에 저장된 표준 동작 패턴들과 비교하여 동작을 인식한다(제230단계).
제220단계의 판단 결과, 최초 사용자가 아닌 기존 사용자로 판단되면, 실루엣 영상의 동작 패턴과 데이터베이스(140)에 저장된 학습된 동작 패턴들과 비교하여 동작을 인식한다(제240단계).
제어부(130)는 제230단계 및 제240단계의 동작 인식 결과로부터 의도한 동작인지를 판단한다(제250단계).
제250단계에서, 제어부(130)는 실루엣 영상 패턴과 표준 동작 패턴 또는 실루엣 영상 패턴과 학습된 동작 패턴이 가령 오차율이 5% 미만이면 일치하는 동작, 즉, 의도한 동작으로 판단하고, 가령 오차율이 10% 이상일 경우에는 일치하지 않는 동작, 즉, 무의미한 동작으로 판단하고, 5%에서 10% 사이 일치하는 경우에는 다소 유사한 동작, 즉, 애매한 동작으로 판단할 수 있다. 제240단계 및 제270단계에서, 제어부(130)는 실시간 학습으로 인하여 오차율을 달리 적용하여 판단할 수도 있다. 즉, 제240단계에서는 각각 5%, 10%를 적용하고, 제270단계에서는 각각 10%, 15%를 적용하여 판단할 수도 있다. 이는 학습으로 인한 보정 작업으로 인해 오차율이 변동될 가능성이 있기 때문이다.
제250단계의 판단 결과, 의도한 동작으로 판단되면, 제어부(130)는 해당 동작 패턴에 대응하는 명령을 수행할 수 있다(제260단계).
제250단계의 판단 결과, 애매한 동작으로 판단되면, 제어부(130)는 실루엣 및 실루엣 영상의 동작 패턴을 데이터베이스(140)에 저장한다(제270단계).
제어부(130)는 실루엣 영상의 동작 패턴을 학습하여 학습된 동작 패턴을 만들어 데이터베이스(140)에 저장한다(제280단계). 제어부(130)는 동일한 실루엣을 가진 사용자, 즉, 동일 사용자에 의해서 하나의 동작 패턴에 대하여 입력되는 소정 개수의 실루엣 영상들의 동작 패턴들을 이용하여 동일 사용자의 하나의 동작 패턴에 대한 학습된 동작 패턴을 만들어 데이터베이스(140)에 저장한다. 이와 같은 방법으로, 동일 사용자에 의해서 다양한 동작 관련하여 입력되는 소정 개수의 실루엣 영상들의 동작 패턴들을 이용하여 동일 사용자의 다양한 동작 패턴들에 대한 학습된 동작 패턴들을 만들어 데이터베이스(140)에 저장한다.
도 3은 본 발명의 일 실시예의 학습된 동작 패턴을 생성하는 방법을 설명하기 위한 동작 흐름도이다.
제어부(130)는 실루엣 영상의 동작 패턴이 애매한 동작으로 판단되면, 실루엣 영상의 동작 패턴을 부호화한다(제300단계). 제어부(130)는 실루엣 영상의 동작 패턴으로 동작 히스토리 영상(MHI; Motion History Image)을 획득하고, 동작 히스토리 영상으로부터 기울기 영상(Gradient Image)을 추출하여 실루엣 영상의 동작 패턴의 움직임 방향을 획득하고, 실루엣 영상의 동작 패턴의 기울기 영상에 형태 문맥 기법(Shape Context Method)를 적용하여 형태 정보를 추출할 수 있다. 형태 정보는 기울기 영상의 특징점들의 기술자들일 수 있으며, 기술자는 벡터 값을 가질 수 있다.
제어부(130)는 소정 개수의 실루엣 영상들의 동작 패턴들의 특징점들의 기술자들을 이용하여 학습하여 학습된 동작 패턴을 만든다(제310단계). 제어부(130)는 동일 사용자에 의해서 동일한 동작 패턴에 대하여 입력되는 소정 개수의 실루엣 영상들의 동작 패턴들의 특징점들의 기술자들을 SVM(Support Vector Machine) 분류기를 이용하여 학습하여 학습된 동작 패턴을 만든다.
제310단계의 동작은 2011년 4월에 한국컴퓨터정보학회 논문지 제16권 제4호에 공개된 "MHI형태 정보를 이용한 동작 인식"라는 논문의 섹션 4의 2에 자세하게 설명되어 있으며, 여기에 공개된 내용은 본 발명에 포함될 수 있다. 제320단계의 동작은 제310단계에서 구해진 소정 개수의 부호화된 실루엣 영상들의 동작 패턴들 각각의 특징점들의 기술자들을 SVM분류기를 이용하여 학습함에 의해서 다양한 동작 패턴들 각각에 대하여 특정한 특징 패턴을 구할 수 있으며, 이 특징 패턴이 학습된 동작 패턴이 될 수 있다.
제어부(130)는 학습된 동작 패턴을 획득하여 데이터베이스(140)에 저장한다(제320단계).
상술한 제300단계 내지 제320단계의 동작을 수행함에 의해서 사용자 별로 다양한 동작 패턴들에 대한 학습된 동작 패턴들을 만들어 저장할 수 있다.
도 4는 본 발명의 일 실시예의 실루엣 영상의 동작 패턴을 부호화하는 방법을 설명하기 위한 동작 흐름도로서, 도 3의 제300단계의 일 실시예의 동작을 나타내는 것이다.
제어부(130)는 실루엣 영상의 동작 패턴으로부터 동작 히스토리 이미지를 획득한다(제400단계). 제어부(130)는 동작 히스토리 이미지는 공간상과 시간상에서의 동작 변화 정도를 표현한 명암도 영상(gray image)으로, 점점 밝아지는 영상의 명암은 동작 발생 시간에 비례하는 특징으로 가지고 있으며, 동작 히스토리 이미지를 표현함으로써 동작이 어디서 발생했으며, 어느 방향으로 얼마의 시간만큼 진행하였는지의 시공간적 정보를 획득할 수 있다.
제어부(130)는 동작 히스토리 이미지로부터 동작 발생 영역을 검출하고, 동작 발생 영역의 이미지를 일정한 크기의 이미지들로 정규화한다(제410단계). 제어부(130)는 동작 발생 영역을 검출함으로써 한 사람이 동작을 수행했을 때 뿐만 아니라 다수의 사람이 동작을 수행하더라도 동작 영역을 각각 검출하여, 검출된 동작 영역을 개별적으로 인식하는 다수 사람의 동작 인식이 가능하다.
제어부(130)는 동작 히스토리 이미지의 정규화한 영상에서 공간상의 x, y좌표의 변화 정도를 나타내는 기울기 영상을 추출한다(제420단계). 제어부(130)는 기울기 영상을 추출함에 의해서 움직임 방향 정보를 획득할 수 있다.
제어부(130)는 기울기 영상에 형태 문맥 기법(Shape context method)을 적용하여 형태 정보를 추출한다(제430단계). 추출된 형태 정보는 기울기 영상의 특징점의 기술자들일 수 있다.
상술한 바와 방법으로, 제어부(130)는 동일 사용자에 의해서 입력되는 다양한 동작 패턴들 각각에 대하여 입력되는 소정 개수의 실루엣 영상들의 동작 패턴들을 부호화하여 다양한 동작 패턴들 각각에 대한 특징점들의 기술자들을 획득할 수 있다.
그리고, 데이터베이스(140)는 표준 동작 패턴들 및 학습된 동작 패턴들에 대한 특징점의 기술자들을 저장할 수 있으며, 제어부(130)는 입력된 실루엣 영상의 동작 패턴과 표준 동작 패턴들 또는 학습된 동작 패턴들과 비교하여 동작을 인식할 때, 입력된 실루엣 영상의 동작 패턴의 특징점들의 기술자들과 데이터베이스(140)에 저장된 표준 동작 패턴들 각각의 특징점들의 기술자들 또는 학습된 동작 패턴들 각각의 특징점들의 기술자들과 비교하여 동작을 인식할 수 있다.
도 4의 방법은 2011년 4월에 한국컴퓨터정보학회 논문지 제16권 제4호에 공개된 "MHI형태 정보를 이용한 동작 인식"라는 논문의 섹션 3의 1, 2, 및 3에 자세하게 설명되어 있으며, 여기에 공개된 내용은 본 발명에 포함될 수 있다.
도 5a 내지 5i는 본 발명의 일 실시예의 동작들에 대한 사용자 동작 패턴을 나타내는 것이다.
도 5a는 객체의 확대 동작을 지시하는 것으로, 사용자가 양손을 중앙에서 모았다가 가로축으로 펼치는 동작을 취함에 의해서 지시할 수 있다. 도 5b는 객체의 축소 동작을 지시하는 것으로, 사용자가 양손을 가로축으로 펼친 상태에서 중앙으로 모으는 동작을 취함에 의해서 지시할 수 있다. 도 5c는 드래그 앤 드롭(drag & drop) 동작을 지시하는 것으로, 사용자가 손을 앞으로 내밀어 움직인 후 해당 위치에 가서 멈추는 동작을 취함에 의해서 지시할 수 있으며, 사용자가 손을 앞으로 내밀어 움직이면 객체가 손의 움직임을 따라 오게 되며, 내밀던 손을 떼면 해당 객체가 해당 위치에 놓여질 수 있다. 도 5d는 클릭(click) 동작을 지시하는 것으로, 사용자가 한 쪽 손들에 다른 쪽 손 바닥을 마주함에 의해서 지시할 수 있으며, 이에 따라 해당 객체가 선택될 수 있다. 도 5e는 x축 회전 동작 지시하는 것으로, 사용자가 왼쪽 손 목을 가로축으로 편 상태에서 돌림에 의해서 지시할 수 있으며, 이에 따라 객체가 x축을 기반으로 회전할 수 있다. 도 5f는 볼륨 업 동작을 지시하는 것으로, 사용자가 왼손을 위로 올림에 의해서 지시할 수 있으며, 이에 따라 볼륨이 증가될 수 있다. 도 5g는 볼륨 다운 동작을 지시하는 것으로, 사용자가 왼손을 아래로 내림에 의해서 지시할 수 있으며, 이에 따라 볼륨이 감소될 수 있다. 도 5h는 y축 회전을 지시하는 것으로, 사용자가 왼쪽 손 목을 세로축으로 세운 상태에서 돌림에 의해서 지시할 수 있으며, 이에 따라 객체가 y축을 기반으로 회전할 수 있다. 도 5i는 예(Yes) 및 아니오(No)를 지시하는 것으로 것으로, 사용자가 목을 아래, 위로 끄덕이면 예를 지시할 수 있고, 좌, 후로 흔들면 아니오를 지시할 수 있다.
상술한 본 발명의 실시예에서는 사용자의 실루엣을 검출하여 사용자를 인식하나, 사용자의 실루엣이 아니라 사용자의 다른 특징들을 검출함에 의해서 사용자를 인식할 수 있다. 예를 들면, 얼굴 인식 기술을 이용하여 얼굴을 인식함에 의해서 사용자를 인식할 수도 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 등과 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 동작 인식 장치
110: 영상 입력부
120: 실루엣 추출부
130: 제어부
140: 데이터베이스

Claims (14)

  1. (a) 동작 인식 장치가 입력된 영상으로부터 사용자의 특징을 포함하는 특징 영상을 추출하는 단계;
    (b) 상기 동작 인식 장치가 상기 사용자의 특징에 기초하여 최초 사용자인지 기존 사용자인지를 판단하는 단계;
    (c) 상기 동작 인식 장치는, 상기 최초 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴들을 비교하여 상기 최초 사용자의 동작을 인식하고, 상기 특징 영상의 동작 패턴과 상기 표준 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하고,
    상기 기존 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 상기 기존 사용자의 학습된 동작 패턴들을 비교하여 상기 기존 사용자의 동작을 인식하여, 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하는 단계; 및
    (d) 상기 동작 인식 장치는, 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 표준 동작 패턴들 또는 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들을 비교하여 제1 값 이상이고 제2 값 미만의 오차율을 가지는 것으로 판별되면, 상기 특징 및 상기 특징 영상의 동작 패턴들을 상기 데이터베이스에 저장하고, 상기 특징 영상의 동작 패턴들을 학습하여 상기 학습된 동작 패턴을 획득하여 상기 데이터베이스에 저장하는 단계를 구비하는 것을 특징으로 하는 동작 인식 방법.
  2. 제1항에 있어서,
    상기 사용자의 특징은
    상기 입력된 영상으로부터 추출된 상기 사용자의 실루엣이고,
    상기 사용자의 특징 영상은
    상기 입력된 영상으로부터 추출된 상기 사용자의 실루엣 영상인 것을 특징으로 하는 동작 인식 방법.
  3. 제1항에 있어서,
    상기 (c) 단계는
    (c1) 상기 동작 인식 장치는, 상기 최초 사용자인 것으로 판단되면, 상기 특징 영상의 동작 패턴과 상기 표준 동작 패턴들을 비교하고, 상기 기존 사용자인 것으로 판단되면, 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들을 비교하여 상기 동작을 인식하는 단계; 및
    (c2) 상기 동작 인식 장치는, 상기 특징 영상의 동작 패턴과 상기 표준 동작 패턴들 중 하나가 일치하면 일치된 상기 표준 동작 패턴에 대응하는 동작을 수행하고, 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면 상기 학습된 동작 패턴에 대응하는 동작을 수행하는 단계를 구비하는 것을 특징으로 하는 동작 인식 방법.
  4. 제1항에 있어서,
    상기 (d) 단계는
    (d1) 동일한 상기 사용자에 의해서 입력되는 소정 개수의 상기 특징 영상들의 동작 패턴들을 부호화하는 단계;
    (d2) 상기 동작 인식 장치는 상기 소정 개수의 부호화된 상기 특징 영상들의 동작 패턴들을 이용하여 학습하여 부호화된 학습된 동작 패턴을 획득하는 단계; 및
    (d3) 상기 부호화된 학습된 동작 패턴을 복호화하여 상기 학습된 동작 패턴을 만들어 상기 데이터베이스에 저장하는 단계를 구비하는 것을 특징으로 하는 동작 인식 방법.
  5. 제4항에 있어서,
    상기 (d2) 단계는
    상기 특징 영상의 동작 패턴으로부터 공간상과 시간상에서의 동작 변화 정도를 나타내는 명암도 영상인 동작 히스토리 영상을 추출하는 단계;
    상기 동작 히스토리 영상으로부터 동작 발생 영역을 검출하고, 상기 동작 발생 영역을 정규화하는 단계;
    지역 화소값 기울기 측정 알고리즘을 이용하여 상기 동작 히스토리 영상의 정규화된 영상에서 상기 공간상의 상기 정규화된 영상의 x, y 각각의 좌표에 따른 화소값의 변화 정도를 나타내는 기울기 영상을 추출하는 단계; 및
    상기 기울기 영상에 형태 문맥 기법을 이용하여 형태 정보를 추출하고, 상기 추출된 형태 정보로부터 특징점의 기술자들을 획득하는 단계를 구비하는 것을 특징으로 하는 동작 인식 방법.
  6. 제5항에 있어서,
    상기 (d3) 단계는
    상기 소정 개수의 부호화된 특징 영상들의 동작 패턴들 각각의 상기 특징점의 기술자들을 SVM(Support Vector Machine) 분류기를 이용하여 학습하여 상기 학습된 동작 패턴을 만드는 것을 특징으로 하는 동작 인식 방법.
  7. 제1항에 있어서,
    상기 동작 패턴들은
    객체 확대 동작 패턴, 객체 축소 동작 패턴, 드래그 앤 드롭 동작 패턴, 클릭 동작 패턴, x축 회전 동작 패턴, 볼륨 업 동작 패턴, 볼륨 다운 동작 패턴, y축 회전 동작 패턴, "예(Yes)" 동작 패턴 및 "아니오(No)" 동작 패턴을 구비하고,
    상기 객체 확대 동작 패턴은 상기 사용자가 양손을 중앙에서 모았다가 가로축으로 펼치는 동작이고, 상기 객체 축소 동작 패턴은 상기 사용자가 양손을 가로축으로 펼친 상태에서 중앙으로 모으는 동작이고,
    상기 드래그 앤 드롭 동작 패턴은 상기 사용자가 손을 앞으로 내밀어 움직인 후 해당 위치에 가서 멈추는 동작이고,
    상기 클릭 동작 패턴은 상기 사용자가 한쪽 손에 다른 쪽 손 바닥을 마주하는 동작이고,
    상기 x축 회전 동작 패턴은 상기 사용자가 왼쪽 손 목을 가로축으로 편 상태에서 돌리는 동작이고, 상기 y축 회전 동작 패턴은 상기 사용자가 왼쪽 손 목을 세로축으로 세운 상태에서 돌리는 동작이고,
    상기 볼륨 업 동작 패턴은 상기 사용자가 왼손을 위로 올리는 동작이고, 상기 볼륨 다운 동작 패턴은 상기 사용자가 왼손을 아래로 내리는 동작이고,
    상기 "예(Yes)" 동작 패턴은 상기 사용자가 목을 아래, 위로 끄덕이는 동작이고, 상기 "아니오(No)" 동작 패턴은 상기 사용자가 목을 좌, 우로 흔드는 동작인 것을 특징으로 하는 동작 인식 방법.
  8. 입력된 영상으로부터 사용자의 특징을 포함하는 특징 영상을 추출하는 특징 영상 추출부;
    표준 동작 패턴들 및 사용자의 특징과 학습된 동작 패턴들을 저장하는 데이터베이스; 및
    상기 사용자의 특징에 기초하여 최초 사용자인지 기존 사용자인지를 판단하여 상기 최초 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴들을 비교하여 상기 최초 사용자의 동작을 인식하고, 상기 특징 영상의 동작 패턴과 상기 표준 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하고, 상기 기존 사용자인 것으로 판단되면 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 상기 기존 사용자의 학습된 동작 패턴들을 비교하여 상기 기존 사용자의 동작을 인식하여, 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들 중 하나가 일치하여 의도된 동작으로 판단되면, 상기 특징 영상의 동작 패턴에 대응하는 동작을 수행하고, 상기 특징 영상의 동작 패턴과 상기 데이터베이스에 저장된 표준 동작 패턴들 또는 상기 특징 영상의 동작 패턴과 상기 학습된 동작 패턴들을 비교하여 제1 값 이상이고 제2 값 미만의 오차율을 가지는 것으로 판별되면, 상기 특징 및 상기 특징 영상의 동작 패턴들을 상기 데이터베이스에 저장하고, 상기 특징 영상의 동작 패턴들을 학습하여 상기 학습된 동작 패턴을 획득하여 상기 데이터베이스에 저장하는 제어부를 구비하는 것을 특징으로 하는 동작 인식 장치.
  9. 제8항에 있어서,
    상기 사용자의 특징은
    상기 입력된 영상으로부터 추출된 상기 사용자의 실루엣이고,
    상기 사용자의 특징 영상은
    상기 입력된 영상으로부터 추출된 상기 사용자의 실루엣 영상인 것을 특징으로 하는 동작 인식 장치.
  10. 제8항에 있어서,
    상기 제어부는
    상기 특징 영상의 동작 패턴이 애매한 동작으로 판단되면, 동일한 상기 사용자에 의해서 입력되는 소정 개수의 상기 특징 영상의 동작 패턴들을 부호화하고, 상기 소정 개수의 부호화된 상기 특징 영상의 동작 패턴들을 이용하여 학습하여 부호화된 학습된 동작 패턴을 획득하고, 상기 부호화된 학습된 동작 패턴을 복호화하여 상기 학습된 동작 패턴을 만들어 상기 데이터베이스에 저장하는 것을 특징으로 하는 동작 인식 장치.
  11. 제10항에 있어서,
    상기 제어부는
    상기 특징 영상의 동작 패턴으로부터 공간상과 시간상에서의 동작 변화 정도를 나타내는 명암도 영상인 동작 히스토리 영상을 추출하는 영상 추출부;
    상기 동작 히스토리 영상으로부터 동작 발생 영역을 검출하고, 상기 동작 발생 영역을 정규화하는 정규화부;
    지역 화소값 기울기 측정 알고리즘을 이용하여 상기 동작 히스토리 영상의 정규화된 영상에서 상기 공간상의 상기 정규화된 영상의 x, y 각각의 좌표에 따른 화소값의 변화 정도를 나타내는 기울기 영상을 추출하는 기울기 영상 추출부; 및
    상기 기울기 영상에 형태 문맥 기법을 이용하여 형태 정보를 추출하고, 상기 추출된 형태 정보로부터 특징점의 기술자들을 추출하는 형태 정보 추출부를 구비하는 것을 특징으로 하는 동작 인식 장치.
  12. 제11항에 있어서,
    상기 제어부는
    상기 소정 개수의 부호화된 특징 영상들의 동작 패턴들의 상기 특징점의 기술자들을 SVM(Support Vector Machine) 분류기를 이용하여 학습하여 상기 학습된 동작 패턴을 만드는 것을 특징으로 하는 동작 인식 장치.
  13. 제8항에 있어서,
    상기 동작 패턴들은
    객체 확대 동작 패턴, 객체 축소 동작 패턴, 드래그 앤 드롭 동작 패턴, 클릭 동작 패턴, x축 회전 동작 패턴, 볼륨 업 동작 패턴, 볼륨 다운 동작 패턴, y축 회전 동작 패턴, "예(Yes)" 동작 패턴 및 "아니오(No)" 동작 패턴을 구비하고,
    상기 객체 확대 동작 패턴은 상기 사용자가 양손을 중앙에서 모았다가 가로축으로 펼치는 동작이고, 상기 객체 축소 동작 패턴은 상기 사용자가 양손을 가로축으로 펼친 상태에서 중앙으로 모으는 동작이고,
    상기 드래그 앤 드롭 동작 패턴은 상기 사용자가 손을 앞으로 내밀어 움직인 후 해당 위치에 가서 멈추는 동작이고,
    상기 클릭 동작 패턴은 상기 사용자가 한쪽 손에 다른 쪽 손 바닥을 마주하는 동작이고,
    상기 x축 회전 동작 패턴은 상기 사용자가 왼쪽 손 목을 가로축으로 편 상태에서 돌리는 동작이고, 상기 y축 회전 동작 패턴은 상기 사용자가 왼쪽 손 목을 세로축으로 세운 상태에서 돌리는 동작이고,
    상기 볼륨 업 동작 패턴은 상기 사용자가 왼손을 위로 올리는 동작이고, 상기 볼륨 다운 동작 패턴은 상기 사용자가 왼손을 아래로 내리는 동작이고,
    상기 "예(Yes)" 동작 패턴은 상기 사용자가 목을 아래, 위로 끄덕이는 동작이고, 상기 "아니오(No)" 동작 패턴은 상기 사용자가 목을 좌, 우로 흔드는 동작인 것을 특징으로 하는 동작 인식 장치.
  14. 제1항 내지 제7항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020110133490A 2011-12-13 2011-12-13 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체 KR101287948B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110133490A KR101287948B1 (ko) 2011-12-13 2011-12-13 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110133490A KR101287948B1 (ko) 2011-12-13 2011-12-13 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20130066812A KR20130066812A (ko) 2013-06-21
KR101287948B1 true KR101287948B1 (ko) 2013-07-19

Family

ID=48862862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110133490A KR101287948B1 (ko) 2011-12-13 2011-12-13 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR101287948B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936082B1 (ko) * 2017-08-29 2019-04-03 순천향대학교 산학협력단 리얼센스 카메라를 이용한 가상현실 기반의 손가락 재활 시스템 및 방법
KR101950603B1 (ko) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 가상현실과 모션인식 기반의 원격 기기 제어 장치 및 이를 이용한 재활 치료 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531994B1 (ko) * 2013-09-04 2015-06-29 한국과학기술연구원 동작 인식을 통한 선택적인 뇌파 데이터 수집 장치 및 방법
JP6299299B2 (ja) * 2014-03-14 2018-03-28 オムロン株式会社 事象検出装置および事象検出方法
KR101596600B1 (ko) * 2014-11-28 2016-02-23 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090084035A (ko) * 2008-01-31 2009-08-05 홍익대학교 산학협력단 실시간 동작 인식 방법
KR20100056838A (ko) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 사용자 동작 기반의 전자기기 제어 장치 및 방법
KR20100136282A (ko) * 2009-06-18 2010-12-28 엘지전자 주식회사 데이터 출력 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090084035A (ko) * 2008-01-31 2009-08-05 홍익대학교 산학협력단 실시간 동작 인식 방법
KR20100056838A (ko) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 사용자 동작 기반의 전자기기 제어 장치 및 방법
KR20100136282A (ko) * 2009-06-18 2010-12-28 엘지전자 주식회사 데이터 출력 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936082B1 (ko) * 2017-08-29 2019-04-03 순천향대학교 산학협력단 리얼센스 카메라를 이용한 가상현실 기반의 손가락 재활 시스템 및 방법
KR101950603B1 (ko) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 가상현실과 모션인식 기반의 원격 기기 제어 장치 및 이를 이용한 재활 치료 방법

Also Published As

Publication number Publication date
KR20130066812A (ko) 2013-06-21

Similar Documents

Publication Publication Date Title
US11112875B1 (en) Methods and systems for controlling a device using hand gestures in multi-user environment
CN106462242B (zh) 使用视线跟踪的用户界面控制
CN107643828B (zh) 车辆、控制车辆的方法
JP7152528B2 (ja) フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器
EP2877254B1 (en) Method and apparatus for controlling augmented reality
KR101302638B1 (ko) 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JP7447302B2 (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
US11809637B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
KR101287948B1 (ko) 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체
US20140071042A1 (en) Computer vision based control of a device using machine learning
JP2014137818A (ja) 手の平開閉動作識別方法と装置、マン・マシン・インタラクション方法と設備
JP2005202653A (ja) 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
Ding et al. An adaptive hidden Markov model-based gesture recognition approach using Kinect to simplify large-scale video data processing for humanoid robot imitation
US20230085330A1 (en) Touchless image-based input interface
CN106778574A (zh) 用于人脸图像的检测方法和装置
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Shukran et al. Kinect-based gesture password recognition
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
Siam et al. Human computer interaction using marker based hand gesture recognition
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
CN115917585A (zh) 用于提高视频质量的方法和设备
US20150117712A1 (en) Computer vision based control of a device using machine learning
Manzoni et al. Personalized Facial Gesture Recognition for Accessible Mobile Gaming
Chipantasi et al. Novel Method for using Hand Recognition as Computer Remote Control with Computer Vision Techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200116

Year of fee payment: 7