WO2013025011A1 - 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 - Google Patents

공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 Download PDF

Info

Publication number
WO2013025011A1
WO2013025011A1 PCT/KR2012/006372 KR2012006372W WO2013025011A1 WO 2013025011 A1 WO2013025011 A1 WO 2013025011A1 KR 2012006372 W KR2012006372 W KR 2012006372W WO 2013025011 A1 WO2013025011 A1 WO 2013025011A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
arm
head
hand
pixels
Prior art date
Application number
PCT/KR2012/006372
Other languages
English (en)
French (fr)
Inventor
신기선
윤형식
박현진
이기혁
이승환
허성국
최상원
Original Assignee
(주) 골프존
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 골프존, 한국과학기술원 filed Critical (주) 골프존
Publication of WO2013025011A1 publication Critical patent/WO2013025011A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the present invention relates to gesture recognition, and more particularly, to gesture recognition for tracking a body part of a user in a three-dimensional environment.
  • the man-machine interface is made by the user looking at the screen on which the menu is displayed and selecting a menu or manipulating an item that causes a specific action, so that the user can best observe the body and the motion of the user facing the screen. Based on the front image of the user taken by the camera installed adjacent to the screen.
  • the distance between the screen and the user is relatively large, making it difficult to interpret the user's gestures spatially and without errors, or movements that occur in the vicinity of the user may interfere with the shooting or the camera side. Frequently, things may be thrown away.
  • An object of the present invention is to provide a method and system for recognizing a spatial gesture by tracking a body part of a user using a camera installed on a user's head.
  • the camera is installed above the user's head to take a body image of the angle of view looking down the user; And a tracking processor that sequentially specifies a head position, an arm position, a hand position, and a posture of the hand from the body image.
  • the tracking processing unit for specifying the user's head position from the body image;
  • An arm searcher that specifies an arm position or posture by searching for arm regions along boundary lines respectively extending from left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position;
  • a hand searcher for specifying a position or a posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region.
  • the camera is either a 3D camera or a hybrid camera that provides depth information
  • the head searcher includes a pixel having depth information closest to the camera locally or globally in the body image. It may be operable to specify the area as the head position.
  • the head position may include pixels in which depth information is within a predetermined range, or include pixels within a boundary line in which the depth information is greater than a predetermined value, centering on a pixel having depth information closest to the camera. have.
  • a body tracking system includes a head searching unit that specifies a head position of a user from a body image photographed at an angle of view looking down at a user from above a user head; An arm search that specifies an arm position or posture by searching for an arm region extending from the left and right shoulder positions respectively from a distribution of pixels at left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position. part; And a hand searcher for specifying a position or a posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region.
  • the camera is installed above the user's head to take a body image of the angle of view looking down the user;
  • a tracking processor that sequentially specifies a head position, an arm position, a hand position, and a hand posture of the user from the body image;
  • a gesture determination unit that determines a gesture of a user based on the specified head position, arm position, hand position, and hand posture;
  • a control unit which performs a command according to the determined gesture;
  • An image processor which processes a change on a screen caused by the execution result of the command; And an image output unit configured to output the processed screen to a screen.
  • a body tracking method includes: acquiring a body image including a head, a shoulder, an arm, and a hand of a user at an angle of view overlooked by a camera installed at a predetermined distance above a user's head; Specifying a head position in the body image; Specifying an arm position or posture by searching for an arm region along a boundary line respectively extending from left and right shoulder positions corresponding to both ends of the specified shoulder region based on the specified head position; And specifying the position or posture of the hand from the distribution of pixels of the hand region specified at the end of the arm region.
  • the body tracking method and system of the present invention it is possible to overcome the influence of people moving around the user, the risk of damage to the device due to the throwing or detachment of the object during the operation, the limitation of the gesture direction.
  • the computational requirements are small on the basis of the boundary between the body and the environment, and based on the image taken on the user's head, the user's height, body size, hand size, dress, bending It can be relatively unaffected or unaffected by sitting or standing posture.
  • FIG. 1 is a block diagram for conceptually explaining a body tracking method and system for gesture recognition according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a tracking processing unit of a body tracking system for gesture recognition according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a body tracking method for gesture recognition according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a procedure of extracting a position corresponding to a head from a 3D image photographed by a ceiling camera in a body tracking method and system according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a procedure for finding an arm and a hand to recognize a gesture according to a hand gesture in a body tracking method and system according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a procedure of determining a hand shape after determining a position of a hand in a body tracking method and system according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram for conceptually explaining a body tracking method and system for gesture recognition according to an embodiment of the present invention.
  • the body tracking system 10 may be exemplarily described as the user 11, the screen 12, the camera 13, and the tracking processor 14.
  • the user 11 stands upright so that the head is at least higher than the rest of the body, or the upper body is standing in front of the screen 12 with the head comfortably higher than the shoulder even when the knee is bent.
  • the screen 12 displays a menu to be selected by the user 11 or an item to be manipulated, so that the user 11 selects a desired menu or item by making a specific gesture with his or her arm and hand while looking at the screen 12. , Movement, rotation, and the like can be started.
  • the camera 13 which photographs the body of the user 11, is fixedly fixed or movable to the ceiling structure so that the camera 13 faces the floor at a predetermined distance from the top of the head of the user 11. do.
  • the camera 13 may be a PTZ (pan, tilt, zoom) camera that can change a direction, a photographing angle, and an angle of view.
  • PTZ pan, tilt, zoom
  • the camera 13 is a visible light or infrared camera capable of acquiring a 2D image, or a structured light or time of flight (TOF) 3D camera capable of obtaining a 3D image having depth information of a subject.
  • the combination of the 2D and 3D cameras may be implemented as a composite camera capable of obtaining a hybrid image having RGBD (Red, Green, Blue, Depth) information.
  • the height of the camera 13 is selected so that the head, shoulder, and arm of the user 11 can be sufficiently distinguished from the image taken by the camera 13 and not occupy too much space without disturbing the user 11 movement. Can be.
  • the camera 13 is a 2D visible light camera, depending on the characteristics of the lens, if the camera 13 is too close to the head of the user 11, the head of the user 11 is exaggerated than the actual image. It can be difficult to identify the shoulders or arms.
  • the camera 13 includes a structured light type or a TOF type 3D camera, the distance at which the structured light is sufficiently irradiated to the head, shoulder, and arm of the user 11 or the round trip time of the irradiated light is separated from the subject.
  • the height of the camera 13 may be selected to be larger than the minimum time to read.
  • the camera 13 acquires a body image of the user 11 such that the head, shoulder, arm, and hand centered on the parietal of the user 11 are included in the image while facing the floor from the ceiling.
  • the image of the user 11 may be any one of a 2D image, a 3D image, or an RGBD hybrid image.
  • the tracking processor 14 sequentially determines the position and posture of the head, arm, and hand based on one of the body images acquired by the camera 13, that is, the 2D image, the 3D image, or the hybrid image. Processing can be performed.
  • the information about the position and posture of the head, arm and hand specified in this way can be used later for gesture recognition by analyzing time and space.
  • FIG. 2 is a block diagram illustrating a body tracking system for gesture recognition according to an embodiment of the present invention.
  • the body tracking system 10 includes a camera 13, a tracking processor 14, a gesture determiner 15, a controller 16, a memory 17, an image processor 18, and an image output unit. (19) may be included.
  • the 2D image, 3D image, or hybrid body image acquired by the camera 13 is applied to the tracking processor 14.
  • the tracking processor 14 may perform image processing for determining a gesture by sequentially specifying a position and a posture of a head, an arm, and a hand based on one of a 2D image, a 3D image, or a hybrid image.
  • the head search unit 141 of the tracking processor 14 specifies the head position and the direction of the torso of the user 11 based on the 2D image, the 3D image, or the hybrid image, and the arm search unit 142 has two heads.
  • the hand navigation unit 143 may specify the position and posture of the hand at the end of the arm.
  • the tracking processor 14 transmits at least one or a combination of the specified head position, the body direction, the position and posture of the arm, the position and the posture information of the hand to the gesture determination unit 15.
  • the gesture determination unit 15 determines a gesture based on the information transmitted from the tracking processing unit 14, and a command specified in accordance with the determined gesture is input to the controller 16.
  • the controller 16 executes a command on a program or data stored in the memory 17, and the image processor 18 generates a change on the screen resulting from the execution of such a command.
  • the changed screen may be displayed on the screen 12 by the image output unit 19.
  • FIG. 3 is a flowchart illustrating a body tracking method for gesture recognition according to an embodiment of the present invention.
  • step S31 the user 11 has an angle of view looking down by the camera 13 installed at a predetermined distance above the head of the user 11.
  • Body images including the head, shoulders, arms and hands of the child.
  • step S32 the head position is specified as the head region to the head center coordinates in the body image.
  • the camera 13 may repeat the shooting until the image is identified while the head is terminated and an error message is issued or the position, the direction, and the angle of view are changed.
  • feature points of the head may be extracted to identify a head region and derive a center coordinate thereof to specify a head center coordinate.
  • a histogram using depth information as a pixel value may be used to find coordinates of a pixel measured closest to the camera locally or globally in the image, that is, head center coordinates. Furthermore, the head is located within an area within a certain depth value based on the head center coordinates, an area inside the boundary line where the depth value changes rapidly around the head center coordinates, or a circular to elliptical area of a predetermined size centered on the head center coordinates. It can be specified as an area.
  • the operation for searching the head region or the head center coordinates may be started from within a predetermined range of the head region or the head center coordinates of the previous frame.
  • the pixel measured closest to the camera locally or globally will correspond to the hand rather than the head. Therefore, if the area of the selected area is less than or equal to a predetermined value to avoid this error, May not be determined as the head region.
  • FIG. 4 is a method for extracting a position corresponding to a head from a 3D image captured by a ceiling camera in a body tracking method and system according to an embodiment of the present invention.
  • the body image obtained from the top of the crown of the user 11 is represented as pixel values that are brighter because the head is closest to the camera 13 and the remaining body parts are darkened according to the distance from the camera 13. .
  • the head center where the brightest pixel is located is the parietal. Can be regarded as coordinates.
  • the area of pixels whose pixel value (i.e. depth information) is within a predetermined range around the head center coordinates considered as a parietal, or the area inside the boundary line where the pixel value suddenly changes around the head center coordinates can be identified as the head area. Can be.
  • the human head when viewed from above, can be simplified to approximately circular to oval around the parietal. Since the body tracking method of the present invention only uses the head region roughly, the head center coordinates regarded as the parietal are centered. A circular or elliptical region of a predetermined size may be designated as a head region.
  • step S33 the shoulder region specified by the pixels having a predetermined range of pixel values appearing around the head position is searched, and the left and right shoulder positions corresponding to both ends of the shoulder region are specified.
  • the gesture of the user 11 may not be intended because the menu operation of the screen is not intended.
  • the angle of the torso is based on the shoulder region. May be further determined.
  • the shoulder region is defined by the pixels having the depth values in this range. To be specified.
  • the normal to the line segment perpendicular to the summation can be the angle of the torso.
  • the user 11 is looking at the screen 12 at the time of the entry gesture for initiating the menu operation, which is perpendicular to the line segment that maximizes the sum in the shoulder region at the time of the entry gesture.
  • the normal forming this can be seen in the front direction of the body. Since the user 11 can turn the upper body at any time during the menu operation, the direction of the torso needs to be continuously tracked.
  • the left shoulder position and the right shoulder position can be specified in the shoulder region based on this frontal direction.
  • the point where the circle meets the boundary of the trunk can be regarded as the left and right shoulder positions.
  • step S35 the arm region is searched from the left and right shoulder positions of the shoulder region to specify the position and posture of the arm.
  • FIG. 5 is a method for tracking an arm and a hand to recognize a gesture according to a hand gesture in a body tracking method and system according to an embodiment of the present invention.
  • the arm region is specified by the pixels corresponding to the boundary line.
  • a pixel corresponding to a body among pixels having greatly different adjacent pixel values may be determined as a pixel on a boundary line of an arm region.
  • the pixels forming the arm boundary are searched repeatedly.
  • the area formed by the searched boundary pixels corresponds to the arm area.
  • the left arm can navigate clockwise from the left shoulder position and the right arm can navigate counterclockwise from the right shoulder position.
  • FIG. 5 illustrates a case in which only the right arm is searched and the left arm is not searched. If the extended length of the arm area is not far enough from the torso, it is determined that the arm is not extended and the hand area is searched for the arm in a later step. You can't.
  • step S36 the hand area is searched at the end of the searched arm area and the position and posture of the hand are specified.
  • the end of the arm area searched in step S35 above is regarded as the hand area. Therefore, a predetermined area may be specified as the hand region at the end of the arm region, and the posture of the hand may be searched by identifying the shape of the pixels in the hand region.
  • Figure 6 is a diagram illustrating a procedure for determining the hand posture after determining the position of the hand in the body tracking method and system according to an embodiment of the present invention.
  • the number of single fingers may also be determined based on the number of times the slope changes abruptly.
  • the number of pixels forming the boundary of the hand region is relatively high, it may be determined that the hand is folded.
  • the body tracking method and system for spatial gesture recognition allows a user to enjoy a virtual golf game by performing a virtual reality based golf simulation as well as an industry related to a man-machine interface using a gesture recognition of a user. It can be used in the so-called screen golf industry, etc. that can be made.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 신체 트래킹 시스템은 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라 및 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 자세를 순차적으로 특정하는 트래킹 처리부를 포함할 수 있다. 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나일 수 있다. 트래킹 처리부는 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부, 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부 및 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.

Description

공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
본 발명은 동작 인식에 관한 것으로, 더욱 상세하게는, 3차원 환경 내에서 사용자의 신체 부위를 추적하는 동작 인식에 관한 것이다.
특별한 인터페이스 디바이스를 장착하지 않고도 기계를 조작할 수 있도록 사용자의 제스처 인식을 이용하는 맨-머신 인터페이스가 다양하게 개발 및 활용되고 있다. 특히 마이크로소프트사의 키넥트가 일반 소비자용으로 출시된 이후에는 실험실 수준에서 구현하거나 고가의 특수 용도의 장비에서나 가능하던 3차원 공간 제스처 인식 기능을 저렴하면서 좀더 쉽게 실현할 수 있게 되었다.
통상적으로 맨-머신 인터페이스는 사용자가 메뉴가 디스플레이된 화면을 보면서 특정 동작을 유발하는 메뉴를 선택하거나 아이템을 조작하는 방식으로 이루어지므로, 화면을 향하고 있는 사용자의 신체 및 동작을 가장 잘 관찰할 수 있도록 화면에 인접하여 설치된 카메라를 통해 촬영한 사용자의 정면 이미지에 기초한다.
그런데, 스크린 골프와 같은 특정 응용 분야에서는 화면과 사용자의 거리가 상대적으로 멀어 사용자의 제스처를 공간적으로 에러 없이 해석하기 곤란하거나, 사용자의 주변에서 일어나는 움직임들이 촬영을 방해할 수 있다거나, 카메라 쪽을 향해 물건이 투척될 수 있다거나 하는 상황이 빈번하게 발생할 수 있다.
본 발명이 해결하고자 하는 과제는 사용자의 머리 위에 설치된 카메라를 이용하여 사용자의 신체 부위를 트래킹함으로써 공간 제스처를 인식하는 방법 및 시스템을 제공하는 데에 있다.
본 발명의 일 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 및 상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부를 포함할 수 있다.
일 실시예에 따라, 상기 트래킹 처리부는, 상기 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.
또한 바람직하게는, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고, 상기 머리 탐색부는 상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하도록 동작할 수 있다.
그리고, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함할 수 있다.
본 발명의 다른 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에서 사용자를 내려다 보는 화각으로 촬영된 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 상기 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.
본 발명의 또 다른 측면에 따른 신체 트래킹 시스템은, 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부; 상기 특정된 머리 위치, 팔의 위치, 손의 위치 및 손의 자세에 기초하여 사용자의 제스처를 판정하는 제스처 판정부; 상기 판정된 제스처에 따른 명령을 수행하는 제어부; 상기 명령의 수행 결과에 의해 일어나는 화면 상의 변화를 처리하는 영상 처리부; 및 상기 처리된 화면을 스크린에 출력하는 영상 출력부를 포함할 수 있다.
본 발명의 다른 측면에 따른 신체 트래킹 방법은, 사용자의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라에 의해 내려다 보는 화각으로 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득하는 단계; 상기 신체 영상 중에서 머리 위치를 특정하는 단계; 상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 단계; 및 상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 단계를 포함할 수 있다.
본 발명의 신체 트래킹 방법 및 시스템에 따르면, 사용자 주변에서 움직이는 사람들의 영향이나, 조작 중에 물체의 투척이나 이탈로 인한 장치의 파손 위험, 제스처 방향의 제한을 극복할 수 있다.
또한, 본 발명의 신체 트래킹 방법 및 시스템에 따르면, 몸과 환경의 경계를 기준으로 하여 연산 요구량이 적고, 사용자의 머리 위에서 촬영한 영상을 기초로 하므로 사용자의 키나 몸집, 손의 크기, 복장, 구부려 앉거나 곳게 선 자세 등에 영향을 받지 않거나 상대적으로 강인할 수 있다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법 및 시스템을 개념적으로 설명하기 위한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 시스템의 트래킹 처리부를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법을 예시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 천장 카메라로 촬영된 3D 영상으로부터 머리에 해당하는 위치를 추출하는 절차를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손 동작에 따른 제스처를 인식하기 위해 팔과 손을 찾는 절차를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손의 위치를 파악한 후에 손 모양을 판단하는 절차를 예시한 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법 및 시스템을 개념적으로 설명하기 위한 구성도이다.
도 1을 참조하면, 신체 트래킹 시스템(10)은 사용자(11), 스크린(12), 카메라(13), 트래킹 처리부(14)로써 예시적으로 설명될 수 있다.
사용자(11)는 적어도 두부가 나머지 신체보다 높이 위치할 수 있도록 직립 자세를 취하거나, 또는 무릎을 굽히더라도 상체는 머리가 어깨보다 높게 편한 자세를 취한 상태로 스크린(12) 앞에 서 있다.
스크린(12)에는 사용자(11)가 선택하고자 하는 메뉴나 조작하고자 하는 아이템이 표시되어 있어서, 사용자(11)는 스크린(12)을 보면서 팔과 손으로 특정한 제스처를 취하여 원하는 메뉴 또는 아이템을 선택하거나, 이동 내지 회전하는 등의 동작을 개시할 수 있다.
이를 위해, 사용자(11)의 신체를 촬영하는 카메라(13)가 사용자(11)의 정수리 위쪽에서 소정의 이격 거리를 두고 바닥면을 향하도록, 예를 들어 천장 구조물에 고정적으로, 또는 이동식으로 설치된다.
카메라(13)는 방향이나 촬영 각도와 화각을 변경할 수 있는 PTZ(pan, tilt, zoom) 카메라일 수 있다.
또한 카메라(13)는 2D 영상을 획득할 수 있는 가시광선 또는 적외선 카메라이거나, 피사체의 깊이 정보를 가진 3D 영상을 얻을 수 있는 구조광(structured light) 방식 또는 TOF(time of flight) 방식의 3D 카메라, 또는 이러한 2D 카메라와 3D 카메라의 조합을 통해 RGBD(Red, Green, Blue, Depth) 정보를 가진 하이브리드 영상을 얻을 수 있는 복합 카메라로 구현될 수 있다.
카메라(13)의 높이는 카메라(13)로 촬영한 영상에서 사용자(11)의 머리, 어깨, 팔을 충분히 구분할 수 있고 사용자(11)의 움직임을 방해하지 않으면서 너무 큰 공간을 차지하지는 않을 정도로 선택될 수 있다. 예를 들어, 카메라(13)가 2D 가시광선 카메라인 경우에, 렌즈의 특성에 따라, 카메라(13)가 사용자(11)의 머리에 너무 가까우면 사용자(11)의 머리가 실제보다 과장되게 촬상되어, 어깨나 팔을 식별하기 어려울 수 있다. 또는 카메라(13)가 구조광 방식 또는 TOF 방식의 3D 카메라를 포함하는 경우에는 구조광이 사용자(11)의 머리, 어깨, 팔에 충분히 조사될 수 있는 거리 또는 조사광의 왕복 시간이 피사체와의 간격을 판독할 수 있는 최소 시간보다 크게 카메라(13)의 높이가 선택될 수 있다.
카메라(13)는 천장에서 바닥면을 향한 상태로 사용자(11)의 정수리를 중심으로 하는 머리, 어깨, 팔과 손이 모두 영상에 포함되도록 사용자(11)의 신체 영상을 획득한다. 카메라(13)의 종류와 구성에 따라, 사용자(11)의 영상은 2D 영상, 3D 영상 또는 RGBD 하이브리드 영상 중 어느 하나가 될 수 있다.
트래킹 처리부(14)는 카메라(13)로 획득한 신체 영상, 즉 2D 영상, 3D 영상 또는 하이브리드 영상 중 하나에 기초하여 머리, 팔, 손의 위치 및 자세를 순차적으로 특정함으로써 제스처를 판정하기 위한 영상 처리를 수행할 수 있다.
이렇게 특정된 머리, 팔과 손의 위치 및 자세에 관한 정보는 시간적 내지 공간적으로 분석됨으로써 추후에 제스처 인식에 이용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 시스템을 예시한 블록도이다.
도 2를 참조하면, 신체 트래킹 시스템(10)은 카메라(13), 트래킹 처리부(14), 제스처 판정부(15), 제어부(16), 메모리(17), 영상 처리부(18), 영상 출력부(19)를 포함할 수 있다.
카메라(13)에서 취득한 2D 영상, 3D 영상 또는 하이브리드 신체 영상은 트래킹 처리부(14)에 인가된다.
트래킹 처리부(14)는 2D 영상, 3D 영상 또는 하이브리드 영상 중 하나에 기초하여 머리, 팔, 손의 위치 및 자세를 순차적으로 특정함으로써 제스처를 판정하기 위한 영상 처리를 수행할 수 있다.
구체적으로, 트래킹 처리부(14)의 머리 탐색부(141)는 2D 영상, 3D 영상 또는 하이브리드 영상을 기초로 사용자(11)의 머리 위치와 몸통의 방향을 특정하고, 팔 탐색부(142)는 두 팔의 위치와 자세를 특정하며, 손 탐색부(143)는 팔의 끝부분에서 손의 위치 및 자세를 특정할 수 있다.
트래킹 처리부(14)는 특정된 머리 위치, 몸통 방향, 팔의 위치와 자세, 손의 위치 및 자세 정보 중 적어도 하나 또는 그 조합을 제스처 판정부(15)로 전달한다.
제스처 판정부(15)는 트래킹 처리부(14)에서 전달된 정보들을 기초로 제스처를 판정하며, 판정된 제스처에 따라 지정된 명령이 제어부(16)에 입력된다.
제어부(16)는 메모리(17)에 저장된 프로그램 내지 데이터에 대해 명령을 수행하고, 영상 처리부(18)는 그러한 명령의 수행 결과 일어나는 화면 상의 변화를 생성한다. 변화된 화면은 영상 출력부(19)에 의해 스크린(12)에 표시될 수 있다.
도 3은 본 발명의 일 실시예에 따른 제스처 인식을 위한 신체 트래킹 방법을 예시한 순서도이다.
도 3을 참조하면, 제스처 인식을 위한 신체 트래킹 방법은, 먼저 단계(S31)에서, 사용자(11)의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라(13)에 의해 내려다 보는 화각으로 사용자(11)의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득한다.
이어서, 단계(S32)에서는, 신체 영상 중에서 머리 위치를 머리 영역 내지 머리 중심 좌표로써 특정한다.
이때, 두부가 식별되지 않으면, 카메라(13)는 촬영을 종료하고 오류 메시지를 내거나, 위치 또는 방향, 화각을 변경하면서 두부가 식별되는 영상을 얻을 때까지 촬영을 반복할 수 있다.
2D 영상인 경우에는 머리 부위의 특징점(features), 예를 들어 귀나, 코와 같은 돌출 부위들을 추출하여 머리 영역을 식별하고 그 중심 좌표를 도출하여 머리 중심 좌표를 특정할 수 있다.
3D 영상 또는 하이브리드 영상의 경우에는, 깊이 정보를 픽셀 값으로 하는 히스토그램을 이용하여 영상 내에서 국부적으로 또는 전역으로 카메라에 가장 가깝게 측정된 픽셀의 좌표, 즉 머리 중심 좌표를 찾을 수 있다. 나아가, 머리 중심 좌표를 중심으로 특정 깊이 값 이내의 영역이나, 머리 중심 좌표를 중심으로 깊이 값이 급격하게 변하는 경계선 안쪽의 영역, 또는 머리 중심 좌표를 중심으로 한 소정 크기의 원형 내지 타원형 영역을 머리 영역이라고 특정할 수 있다.
특히, 이전 프레임에서 머리 영역이나 좌표가 특정된 경우에, 이후의 프레임에서는, 이전 프레임의 머리 영역이나 머리 중심 좌표의 일정 범위 이내부터 우선적으로 머리 영역이나 머리 중심 좌표를 찾는 연산을 시작할 수 있다.
다만, 사용자(11)가 손을 머리보다 높게 들고 있다면 국부적이나 전역에서 카메라에 가장 가깝게 측정된 픽셀은 머리가 아닌 손에 해당할 것이므로, 이러한 오류를 피하기 위해, 선택된 영역의 면적이 소정 값 이하라면 머리 영역으로 판정하지 않을 수 있다.
이러한 단계(S32)를 설명하기 위해 도 4를 잠시 참조하면, 도 4는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 천장 카메라로 촬영된 3D 영상으로부터 머리에 해당하는 위치를 추출하는 절차를 예시한 도면이다.
사용자(11)의 정수리 위쪽에서 획득한 신체 영상은 머리 부분이 카메라(13)에 가장 가까워 픽셀 값들이 밝게 표현되고, 나머지 몸통 부위들이 카메라(13)와의 거리에 따라 어두워지는 픽셀 값들로써 표현되어 있다.
사용자(11)가 자신의 눈높이에 설치된 스크린을 자연스럽게 바라보는 상황을 가정하면, 사용자(11)의 정수리 위쪽에서 획득된 신체 영상의 히스토그램을 분석하면 가장 밝은 픽셀이 위치한 좌표가 정수리에 해당하는 머리 중심 좌표로 간주될 수 있다.
이러한 정수리로 간주되는 머리 중심 좌표를 중심으로 픽셀 값(즉 깊이 정보)이 소정 범위 내에 있는 픽셀들의 영역이나, 또는 머리 중심 좌표를 중심으로 픽셀 값이 갑자기 변하는 경계선 안쪽의 영역을 머리 영역이라고 특정할 수 있다.
또한, 위에서 보았을 때에 사람의 머리를 정수리를 중심으로 대략 원형 내지 타원형으로 단순화할 수 있는데, 본 발명의 신체 트래킹 방법은 머리 부분 영역을 대략적으로 이용할 뿐이므로, 정수리로 간주된 머리 중심 좌표를 중심으로 소정 크기의 원형 또는 타원형 영역을 머리 영역이라고 특정할 수 있다.
이를 위해 단계(S33)에서는, 머리 위치 주변에서 나타나는 소정 범위의 픽셀 값들을 가진 픽셀들로써 특정된 어깨 영역을 탐색하고, 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치를 특정한다.
이때, 만약 사용자(11)가 스크린을 등지고 있다면 사용자(11)의 제스처는 화면의 메뉴 조작을 의도한 것이 아닐 것이므로 무시되어야 하는데, 이를 위해 선택적인 단계(S34)에서는 어깨 영역에 기초하여 몸통의 각도를 더 결정할 수도 있다.
정수리에서 촬영한 사용자(11)의 신체 영상의 히스토그램을 분석하면, 머리를 제외하고 두 번째로 많이 나타나는 깊이 값들은 어깨와 목 주변에 해당할 것이므로, 이러한 범위의 깊이 값들을 갖는 픽셀들로써 어깨 영역을 특정한다.
구체적으로 예시하면, 어깨 영역만을 따로 추출한 임시 영상에서, 머리 중심 좌표를 기준으로 소정 각도씩 회전하는 선분을 가정하자. 이 선분이 소정 각도씩 회전할 때마다 만나는 어깨 영역의 픽셀들의 값들을 더하고 각각의 합산치들을 비교하면, 이 선분이 어깨 영역의 양쪽 끝부분과 만나는 경우에 이 합산치가 최대값을 가질 것이다. 이렇게 합산치를 최대로 만드는 선분이 어깨 영역과 만나는 가장 먼 픽셀들이 있는 부위가 각각 좌우 어깨의 끝이라고 할 수 있다.
따라서, 그러한 합산치를 최대로 만드는 선분에 직각을 이루는 법선이 몸통의 각도가 될 수 있다.
나아가, 사용자(11)가 메뉴 조작을 개시하기 위한 진입 제스처를 하는 시점에는 스크린(12)을 바라보고 있을 것이라고 강하게 추정할 수 있는데, 이러한 진입 제스처 시점에 어깨 영역에서 합산치를 최대로 만드는 선분에 직각을 이루는 법선을 몸의 정면 방향으로 볼 수 있다. 메뉴 조작 중에 언제라도 사용자(11)가 상체를 돌릴 수 있기 때문에, 몸통의 방향은 지속적으로 추적되어야 할 필요는 있다.
한편, 몸의 정면 방향이 결정된 후에는 이러한 정면 방향에 기초하여 어깨 영역 중에 특히 좌측 어깨 위치와 우측 어깨 위치도 특정할 수 있다.
다른 실시예에서는 예를 들어, 머리 중심 좌표 또는 머리 영역을 중심으로 하여 일정한 크기의 원을 가정하면, 이 원이 몸통의 경계와 만나는 지점을 좌우 어깨 위치로 간주할 수 있다.
다시 도 2로 돌아와서, 단계(S35)에서는, 어깨 영역의 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정한다.
구체적으로 팔 영역을 탐색하는 절차를 예시하기 위해 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손 동작에 따른 제스처를 인식하기 위해 팔과 손을 찾는 절차를 예시한 도면이다.
좌우 어깨 위치로 간주된 픽셀부터 시작하여 인접한 픽셀들 중에 몸통의 경계선에 해당하는 픽셀들, 즉 픽셀 값이 카메라(13)로부터 팔까지의 거리에 상응하는 특정 범위 내에 있는 픽셀들을 반복적으로 탐색함으로써, 그러한 경계선에 해당하는 픽셀들로써 팔 영역을 특정한다.
예를 들어, 좌우 어깨 위치의 경계선에 있는 한 픽셀에서 시작하여, 그 픽셀의 주변에 있는 8 개의 픽셀들 중에 경계선에 있는 다음 픽셀을 찾는다. 인접한 픽셀 값이 크게 다른 픽셀 중 몸통에 해당하는 픽셀이 팔 영역의 경계선에 있는 픽셀로 결정될 수 있다.
이렇게 하여 팔의 경계선을 이루는 픽셀들이 반복적으로 탐색된다. 탐색된 경계선 픽셀들에 의해 이루어진 영역이 팔 영역에 해당한다.
연산을 좀더 단순화할 수 있도록, 왼팔은 좌측 어깨 위치에서 시계 방향으로 탐색을 하고, 오른팔은 우측 어깨 위치에서 반시계 방향으로 탐색할 수 있다.
나아가, 도 5에서는 오른팔만 탐색되고 왼팔은 탐색되지 않는 경우가 예시되는데, 팔 영역의 연장된 길이가 몸통에서 충분히 멀지 않으면 팔을 펴고 있지 않다고 판정하고, 이후 단계에서 해당 팔에 대해 손 영역을 탐색하지 않을 수 있다.
단계(S36)에서는, 탐색된 팔 영역의 끝에서 손 영역을 탐색하고 손의 위치와 자세를 특정한다.
앞서 단계(S35)에서 탐색된 팔 영역의 끝을 손 영역으로 간주된다. 따라서 팔 영역의 끝 부분에서 소정 면적을 손 영역으로 특정하고, 손 영역 내의 픽셀들이 이루는 형상을 식별하여 손이 이루는 자세를 탐색할 수 있다.
구체적으로 예를 들면, 도 6은 본 발명의 일 실시예에 따른 신체 트래킹 방법 및 시스템에서, 손의 위치를 파악한 후에 손 자세를 판단하는 절차를 예시한 도면이다.
예를 들어, 손을 펴거나 주먹을 쥐는 두 가지 종류의 제스처를 판정한다고 가정할 때, 손 영역에 그린 원이 손 영역과 만나면서 기울기(gradient)가 빈번하게 변할 경우에 여러 개의 손가락을 길게 편 자세라고 판정할 수 있을 것이다. 나아가, 기울기가 급변하는 횟수에 근거하여 편 손가락의 개수도 판정할 수 있을 것이다. 또는 손 영역의 경계선을 이루는 픽셀 수가 상대적으로 많으면 손을 편 것으로 판정할 수 있을 것이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.
발명의 실시를 위한 최선의 형태 항목에서 구체적으로 기재하고 있다.
본 발명에 따른 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템은 사용자의 제스처 인식을 이용한 맨-머신 인터페이스와 관련된 산업 분야는 물론, 가상 현실 기반의 골프 시뮬레이션이 이루어지도록 함으로써 사용자가 가상의 골프 경기를 즐길 수 있도록 할 수 있는 소위 스크린 골프 산업 분야 등에 이용 가능하다.

Claims (20)

  1. 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라; 및
    상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부를 포함하는 신체 트래킹 시스템.
  2. 청구항 1에 있어서,
    상기 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나인 것을 특징으로 하는 신체 트래킹 시스템.
  3. 청구항 1에 있어서, 상기 트래킹 처리부는,
    상기 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부;
    상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및
    상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함하는 것을 특징으로 하는 신체 트래킹 시스템.
  4. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
    상기 머리 탐색부는 상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
  5. 청구항 4에 있어서, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함하는 것을 특징으로 하는 신체 트래킹 시스템.
  6. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
    상기 팔 탐색부는 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
  7. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
    상기 팔 탐색부는 상기 특정된 머리 위치 주변에서 깊이 정보가 소정 범위 내에 있는 픽셀들로써 어깨 영역을 특정하고, 상기 머리 위치를 중심으로 소정 크기의 원과 상기 특정된 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하며, 상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에서 신체의 경계를 이루는 픽셀들을 찾는 동작을 반복함으로써 팔 영역을 탐색하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
  8. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
    상기 손 탐색부는 상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
  9. 청구항 3에 있어서, 상기 카메라는 깊이 정보를 제공하는 3D 카메라 또는 하이브리드 카메라 중 어느 하나이고,
    상기 팔 탐색부는 상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하도록 동작하는 것을 특징으로 하는 신체 트래킹 시스템.
  10. 사용자 머리 위쪽에서 사용자를 내려다 보는 화각으로 촬영된 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부;
    상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 상기 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부; 및
    상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함하는 것을 특징으로 하는 신체 트래킹 시스템.
  11. 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라;
    상기 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 손의 자세를 순차적으로 특정하는 트래킹 처리부;
    상기 특정된 머리 위치, 팔의 위치, 손의 위치 및 손의 자세에 기초하여 사용자의 제스처를 판정하는 제스처 판정부;
    상기 판정된 제스처에 따른 명령을 수행하는 제어부;
    상기 명령의 수행 결과에 의해 일어나는 화면 상의 변화를 처리하는 영상 처리부; 및
    상기 처리된 화면을 스크린에 출력하는 영상 출력부를 포함하는 신체 트래킹 시스템.
  12. 사용자의 머리 위쪽에 소정 이격 거리를 두고 설치된 카메라에 의해 내려다 보는 화각으로 사용자의 머리, 어깨, 팔 및 손이 포함된 신체 영상을 획득하는 단계;
    상기 신체 영상 중에서 머리 위치를 특정하는 단계;
    상기 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 각각 연장되는 경계선을 따라 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 단계; 및
    상기 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 단계를 포함하는 신체 트래킹 방법.
  13. 청구항 12에 있어서, 상기 머리 위치를 특정하는 단계는,
    상기 신체 영상 중에서 국부적으로 또는 전역으로 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 포함하는 일정 영역을 머리 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
  14. 청구항 13에 있어서, 상기 머리 위치는 상기 카메라에 가장 가까운 깊이 정보를 가진 픽셀을 중심으로 하여, 깊이 정보가 소정 범위 내에 있는 픽셀들을 포함하거나, 또는 깊이 정보가 소정 값보다 크게 변하는 경계선 이내에 있는 픽셀들을 포함하는 것을 특징으로 하는 신체 트래킹 방법.
  15. 청구항 12에 있어서, 상기 팔의 위치 또는 자세를 특정하는 단계는,
    상기 머리 위치 주변에서 나타나는 소정 범위의 픽셀 값들을 가진 픽셀들로써 특정된 어깨 영역을 특정하는 단계;
    상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계; 및
    상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
  16. 청구항 15에 있어서, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는,
    상기 머리 위치를 중심으로 소정 크기의 원과 상기 어깨 영역의 경계선이 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
  17. 청구항 15에 있어서, 상기 어깨 영역의 양 끝부분에서 좌우 어깨 위치를 특정하는 단계는,
    상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선이 상기 어깨 영역의 경계선과 만나는 지점을 상기 좌우 어깨 위치로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
  18. 청구항 15에 있어서, 상기 좌우 어깨 위치로부터 각각 팔 영역을 탐색하여 팔의 위치와 자세를 특정하는 단계는,
    상기 좌우 어깨 위치에 해당하는 픽셀에서 시작하여 주변의 픽셀들 중에 신체의 경계를 이루는 픽셀을 찾는 동작을 반복함으로써 팔 영역을 탐색하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
  19. 청구항 12에 있어서, 상기 손의 위치 또는 자세를 특정하는 단계는,
    상기 손 영역에 중첩한 원이 만나는 픽셀들의 픽셀 값 변화에 기초하여, 또는 상기 손 영역의 경계선을 이루는 픽셀들의 개수에 기초하여 손의 자세를 펴거나 쥐는 자세 중 하나로 특정하는 단계를 포함하는 것을 특징으로 하는 신체 트래킹 방법.
  20. 청구항 12에 있어서,
    상기 특정된 머리 위치를 중심으로 회전하는 가상의 직선이 상기 어깨 영역과 만나는 픽셀들의 픽셀 값들의 합이 최대가 될 때에 상기 가상의 직선의 법선 방향을 몸통의 방향으로 특정하는 단계를 더 포함하는 것을 특징으로 하는 신체 트래킹 방법.
PCT/KR2012/006372 2011-08-12 2012-08-10 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 WO2013025011A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0080799 2011-08-12
KR1020110080799A KR101256046B1 (ko) 2011-08-12 2011-08-12 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2013025011A1 true WO2013025011A1 (ko) 2013-02-21

Family

ID=47715271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/006372 WO2013025011A1 (ko) 2011-08-12 2012-08-10 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101256046B1 (ko)
WO (1) WO2013025011A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3059663A1 (en) * 2015-02-23 2016-08-24 Samsung Electronics Polska Spolka z organiczona odpowiedzialnoscia A method for interacting with virtual objects in a three-dimensional space and a system for interacting with virtual objects in a three-dimensional space

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101566198B1 (ko) * 2013-06-28 2015-11-05 삼성전자주식회사 초음파 진단 장치의 디스플레이 이동 방법 및 초음파 진단 장치
KR102106135B1 (ko) 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
KR101536753B1 (ko) * 2013-10-31 2015-07-15 주식회사 골프존 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템
KR101705836B1 (ko) 2014-04-07 2017-02-10 동의대학교 산학협력단 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법
CN110336973B (zh) * 2019-07-29 2021-04-13 联想(北京)有限公司 信息处理方法及其装置、电子设备和介质
KR102325269B1 (ko) * 2019-11-13 2021-11-12 주식회사 지엘 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111940A (ja) * 1996-10-09 1998-04-28 Matsushita Electric Ind Co Ltd 身体特徴点検出装置および身体運動解析装置
JP2004303219A (ja) * 2003-03-20 2004-10-28 Honda Motor Co Ltd 車両周辺監視装置
KR20090045640A (ko) * 2007-11-02 2009-05-08 동국대학교 산학협력단 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법
KR100955539B1 (ko) * 2008-02-01 2010-04-30 문명철 골프스윙의 자세분석 시스템 및 이를 이용한 자세분석 방법
KR20110040074A (ko) * 2009-10-13 2011-04-20 삼성전자주식회사 마커리스 모션 캡쳐링 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808543B1 (ko) 2006-09-15 2008-02-29 한국과학기술연구원 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111940A (ja) * 1996-10-09 1998-04-28 Matsushita Electric Ind Co Ltd 身体特徴点検出装置および身体運動解析装置
JP2004303219A (ja) * 2003-03-20 2004-10-28 Honda Motor Co Ltd 車両周辺監視装置
KR20090045640A (ko) * 2007-11-02 2009-05-08 동국대학교 산학협력단 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법
KR100955539B1 (ko) * 2008-02-01 2010-04-30 문명철 골프스윙의 자세분석 시스템 및 이를 이용한 자세분석 방법
KR20110040074A (ko) * 2009-10-13 2011-04-20 삼성전자주식회사 마커리스 모션 캡쳐링 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PARK, JAE-WAN ET AL.: "HMM-based Upper-body Gesture Recognition for Virtual Playing Ground Interface.", JOURNAL OF KOREA CONTENTS ASSOCIATION., vol. 10, no. 8, August 2010 (2010-08-01), pages 11 - 17 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3059663A1 (en) * 2015-02-23 2016-08-24 Samsung Electronics Polska Spolka z organiczona odpowiedzialnoscia A method for interacting with virtual objects in a three-dimensional space and a system for interacting with virtual objects in a three-dimensional space

Also Published As

Publication number Publication date
KR20130018004A (ko) 2013-02-20
KR101256046B1 (ko) 2013-04-18

Similar Documents

Publication Publication Date Title
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2016017932A1 (ko) 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
US20110057875A1 (en) Display control apparatus, display control method, and display control program
US10421012B2 (en) System and method for tracking using multiple slave servers and a master server
WO2017204571A1 (ko) 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치
WO2011093581A2 (ko) 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP2013206322A (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2020124976A1 (zh) 图像处理方法及装置、电子设备及存储介质
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
CN106030610A (zh) 移动设备的实时3d姿势识别和跟踪***
WO2016035941A1 (ko) 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
WO2011152634A2 (ko) 모니터 기반 증강현실 시스템
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
JP2002259989A (ja) ポインティングジェスチャ検出方法及びその装置
JP2020052979A (ja) 情報処理装置およびプログラム
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
CN111291746A (zh) 影像处理***及影像处理方法
KR20110087407A (ko) 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법
WO2020184890A1 (ko) 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2016146188A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN104349197B (zh) 一种数据处理方法及装置
JP3138145U (ja) 脳トレーニング装置
CN108553888A (zh) 增强现实交互方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12823525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12823525

Country of ref document: EP

Kind code of ref document: A1