KR20070057613A - Method for estimating 3-dimensional position of human's joint using sphere projecting technique - Google Patents
Method for estimating 3-dimensional position of human's joint using sphere projecting technique Download PDFInfo
- Publication number
- KR20070057613A KR20070057613A KR1020060045045A KR20060045045A KR20070057613A KR 20070057613 A KR20070057613 A KR 20070057613A KR 1020060045045 A KR1020060045045 A KR 1020060045045A KR 20060045045 A KR20060045045 A KR 20060045045A KR 20070057613 A KR20070057613 A KR 20070057613A
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional
- joint
- operator
- sphere
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/60—Methods or arrangements for performing computations using a digital non-denominational number representation, i.e. number representation without radix; Computing devices using combinations of denominational and non-denominational quantity representations, e.g. using difunction pulse trains, STEELE computers, phase computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/08—Digital computers in general; Data processing equipment in general using a plugboard for programming
- G06F15/10—Tabulators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
도 1 은 본 발명에 따른 마커프리 모션캡쳐를 이용한 카메라 촬영의 일실시예 예시도,1 is an exemplary view of camera shooting using a marker-free motion capture according to the present invention;
도 2 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 대한 일실시예 흐름도,2 is a flowchart illustrating a method for estimating a three-dimensional position of a human joint using a spherical projection method according to the present invention;
도 3 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손의 3차원 덩어리 생성과정에 대한 일실시예 설명도,3 is a diagram illustrating an embodiment of a three-dimensional lump generation process of a hand in a three-dimensional position estimation method of a human joint using a sphere projection method according to the present invention;
도 4 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손목 추정과정에 대한 일실시예 설명도,4 is an exemplary explanatory diagram of a wrist estimating process in a three-dimensional position estimation method of a human joint using a spherical projection method according to the present invention;
도 5 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 아래팔의 직선 생성과정에 대한 일실시예 설명도,5 is a diagram illustrating an embodiment of a straight line generation process of a lower arm in a method of estimating a 3D position of a human joint using a spherical projection method according to the present invention;
도 6 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 가상의 구 생성과정에 대한 일실시예 설명도,FIG. 6 is a diagram illustrating an embodiment of a virtual sphere generation process in a three-dimensional position estimation method of a human joint using a sphere projection method according to the present invention; FIG.
도 7 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 2차원 투영방법에 대한 일실시예 설명도,7 is an exemplary explanatory diagram of a two-dimensional projection method of the three-dimensional position estimation method of the human joint using the spherical projection method according to the present invention,
도 8 은 종래의 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법에 대한 설명도이다.8 is an explanatory diagram for a three-dimensional position estimation method of the elbow joint using the conventional inverse kinematics.
* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing
310 : 손의 3차원 덩어리 311 : 손의 3차원 덩어리의 중심점310: 3D lump of hand 311: center point of 3D lump of hand
410 : 3차원 손목평면 510 : 아래팔 직선410: 3D wrist plane 510: forearm straight
610 : 가상의 구 620 : 팔꿈치 관절의 3차원 위치610: virtual sphere 620: three-dimensional position of the elbow joint
본 발명은 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 관한 것으로, 더욱 상세하게는 신체거리비율을 이용하여 인체 관절(예를 들어, 팔꿈치, 무릎, 어깨 등)이 구의 표면에 위치하게 하는 가상의 구(Virtual Sphere)를 생성한 후 그 가상의 구를 동작자의 2차원 영상에 투영하여 만나는 지점을 관절의 3차원 위치로 추정함으로써, 실시간으로 인체 관절의 3차원 위치를 정확하게 검출할 수 있게 하는, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 관한 것이다.The present invention relates to a method for estimating a three-dimensional position of a human joint using a spherical projection technique, and more particularly, by using a body distance ratio such that the human joint (for example, elbow, knee, shoulder, etc.) is located on the surface of the sphere. After creating a virtual sphere, the virtual sphere is projected on the operator's two-dimensional image to estimate the point where it meets as the three-dimensional position of the joint, thus accurately detecting the three-dimensional position of the human joint in real time. The present invention relates to a three-dimensional position estimation method of a human joint using a sphere projection technique.
종래의 인체 관절의 위치 검출 기술에는 마커를 이용한 위치 검출 기술, 색 상정보를 이용한 위치 검출 기술, 역운동학을 이용한 위치 검출 기술 등이 있다. 이하, 각각 종래기술의 간단한 설명과 그 문제점을 살펴보면 다음과 같다.Conventional position detection techniques of a human joint include a position detection technique using a marker, a position detection technique using color information, a position detection technique using inverse kinematics, and the like. Hereinafter, a brief description of the prior art and the problems thereof are as follows.
먼저, 종래의 마커를 이용한 기술에는 인체 관절에 부착되어 있는 마커의 위치를 검출하는 기술인데, 이는 동작자의 관절(예를 들어 팔꿈치, 무릎 등)에 마커(예를 들어, 적외선 반사체, 발광체, 초음파 발생체, 자기식 센서, 또는 광섬유 등)를 부착하고 그 부착된 마커의 위치 정보를 추출하여 관절 위치를 복원함으로써, 용이하게 마커와 대응되는 인체 관절의 위치를 찾기 위한 것이다. 하지만, 이러한 종래의 기술은 제작된 마커가 부착된 의류를 입고 동작자를 촬영하기 때문에 동작자의 활동에 제약이 따르고, 마커나 센서뿐만 아니라 정확한 검출을 위하여 각각의 마커에 대한 특수한 조명이 설치된 환경을 조성해야 하기 때문에 추가적인 비용을 초래한다는 문제점이 있었다.First, a technique using a conventional marker is a technique for detecting a position of a marker attached to a human joint, which is a marker (for example, an infrared reflector, a light emitter, or an ultrasonic wave) at an operator's joint (for example, an elbow or a knee). By attaching a generator, a magnetic sensor, or an optical fiber) and extracting the position information of the attached marker to restore the joint position, the position of the human joint corresponding to the marker can be easily found. However, this conventional technique is limited to the activity of the operator because the filming of the operator wearing the clothing attached to the manufactured marker, and create an environment in which a special lighting for each marker is installed for accurate detection as well as markers and sensors. There was a problem of incurring additional costs because it had to.
다른 종래의 색상정보를 이용한 위치 검출 기술에는 동작자의 실루엣 영상으로부터 색상 정보를 추출하여 위치 검출하는 기술이 있는데, 이는 여러 대의 카메라로부터 입력된 실루엣 영상으로부터 색상 정보를 추출하여 인체 관절의 위치를 복원함으로써, 마커나 센서 등 추가적인 장비 없이 색상정보만 인체 관절의 위치를 검출하기 위한 것이다. 하지만, 이러한 종래의 기술은 색상정보만으로 인체 부위를 구분하기 때문에 인체 관절의 위치를 정확하게 검출하기 곤란하다는 문제점이 있었다.Another conventional position detection technique using color information includes a technique for detecting position by extracting color information from an operator's silhouette image, by extracting color information from silhouette images input from several cameras and restoring the position of a human joint. The color information is only for detecting the position of the human joint without any additional equipment such as markers or sensors. However, this conventional technology has a problem in that it is difficult to accurately detect the position of the human joint because the human body is distinguished only by the color information.
또 다른 종래의 역운동학(Inverse Kinematics)을 이용한 위치 검출 기술에는 검출된 인체 말단부위의 위치로부터 역운동학을 이용하여 인체 관절의 위치를 검출 하는 기술인데, 이는 마커없이 동작자를 촬영하여 그 촬영된 2차원 영상으로부터 인체의 말단부위(End-effector)(예를 들어 머리, 손, 발, 몸통, 팔, 다리 등)를 검출하고 그 검출된 말단부위로부터 역운동학을 이용하여 관절의 위치를 추정함으로써, 마커나 센서 없이도 용이하게 인체의 관절 위치를 추정하기 위한 것이다. 이하, 도 8을 참조하여 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법을 살펴보기로 한다. 도 8 은 종래의 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법에 대한 설명도이다. 종래의 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법은 마커프리 모션캡쳐를 이용하여 동작자(800)에서 손의 3차원 위치(H) 및 어깨의 3차원 위치(S)를 검출하고, 그 검출된 손의 3차원 위치(H)와 어깨의 3차원 위치(S)로부터 역운동학을 이용하여 팔꿈치 관절의 3차원 위치(C1, C2, C3, C4 ···Cn)를 추정하는 방법이다. 하지만, 이러한 종래의 기술은 인체의 말단부위 중에서 정확하게 검출하지 못하는 인체 부위(예를 들어, 어깨, 골반 등)를 기준으로 역운동학을 이용하기 때문에 컴퓨터 비전 기술로 정확한 인체의 관절 위치를 검출하기 곤란하다는 문제점이 있었다.Another conventional position detection technique using inverse kinematics is a technique for detecting the position of a human joint using inverse kinematics from the detected position of the distal end of the human body. By detecting the end-effector of the human body (for example, head, hands, feet, torso, arms, legs, etc.) from the dimensional image and estimating the position of the joint using inverse kinematics from the detected distal area, It is for easily estimating the position of a human joint without a marker or a sensor. Hereinafter, a three-dimensional position estimation method of the elbow joint using inverse kinematics will be described. 8 is an explanatory diagram for a three-dimensional position estimation method of the elbow joint using the conventional inverse kinematics. The conventional three-dimensional position estimation method of the elbow joint using inverse kinematics detects the three-dimensional position (H) of the hand and the three-dimensional position (S) of the shoulder in the
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 신체거리비율을 이용하여 인체 관절(예를 들어, 팔꿈치, 무릎, 어깨 등)이 구의 표면에 위치하게 하는 가상의 구를 생성한 후 그 가상의 구를 동작자의 2차원 영상에 투영하여 만나는 지점을 관절의 3차원 위치로 추정함으로써, 실시간으로 인체 관절의 3차원 위치 를 정확하게 검출할 수 있게 하는, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, using the body distance ratio to create a virtual sphere that the human joint (eg, elbow, knee, shoulder, etc.) is located on the surface of the sphere and then the virtual sphere Three-dimensional position estimation of the human joint using the sphere projection technique, which estimates the three-dimensional position of the human joint in real time by estimating the point where the sphere is projected onto the operator's two-dimensional image. The purpose is to provide a method.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명은, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 있어서, 동작자를 마커프리 모션캡쳐하여 동작자의 다시점(Multiview) 2차원 영상을 획득하고 상기 획득된 동작자의 다시점 2차원 영상으로부터 신체 말단부위(End-effector)에 대응하는 2차원 특징점을 추출하는 2차원 특징점 추출 단계; 상기 2차원 특징점 추출 단계에서 추출된 신체 말단부위의 2차원 특징점을 3차원 정합하여 상기 신체 말단부위의 3차원 좌표를 복원하는 3차원좌표 복원 단계; 상기 3차원좌표 복원 단계에서 복원된 3차원 좌표를 이용하여 신체 말단부위의 3차원 덩어리(blob)를 생성하고 상기 생성된 3차원 덩어리의 중심점부터 관절까지의 거리를 반지름으로 하는 가상의 구(Virtual Sphere)를 생성하여 상기 2차원 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상에 투영하는 가상구 투영 단계; 및 상기 가상구 투영 단계에서 투영된 가상의 구면과 상기 동작자의 다시점 2차원 영상과 일치하는 지점을 검색하고, 상기 일치된 지점에 대응하는 3차원 위치를 관절의 3차원 위치로 추정하는 관절 위치 추정 단계를 포함한다. 또한, 상기 본 발명은, 상기 관절 위치 추정 단계에서 추정된 관절의 3차원 위치를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상에 투영하여 상기 관절의 3차원 위치를 포함한 가상의 신체부위 영상을 생성하고, 상기 생성된 가상의 신체부위 영상과 동작자만 검출된 실루엣 영상과의 매칭을 통해 상기 추정된 관절의 3차원 위치를 검증하기 위한 위치 검증 단계를 더 포함한다.In order to achieve the above object, the present invention provides a method for estimating a 3D position of a human joint using a spherical projection technique, by capturing a marker-free motion of an operator to obtain a multiview 2D image of the operator and obtaining the acquired motion. A two-dimensional feature point extraction step of extracting a two-dimensional feature point corresponding to an end-effector of a body from a multiview two-dimensional image of a ruler; A three-dimensional coordinate restoration step of restoring three-dimensional coordinates of the distal end of the body by three-dimensional registration of two-dimensional feature points of the distal end of the body extracted in the two-dimensional feature point extraction step; A virtual sphere having a radius of a distance from the center point of the generated 3D lump to a joint using the 3D coordinates restored in the 3D coordinate restoration step is generated. A virtual sphere projection step of generating a sphere and projecting the multi-view two-dimensional image of the operator obtained in the two-dimensional feature point extraction step; And a joint position for searching for a point coinciding with the virtual sphere projected in the virtual sphere projecting step and the multiview 2D image of the operator, and estimating a 3D position corresponding to the matched point as a 3D position of a joint. Estimating step. In addition, the present invention, the virtual body part image including the three-dimensional position of the joint by projecting the three-dimensional position of the joint estimated in the joint position estimation step to a two-dimensional image using a camera projective matrix (Projective Matrix) And generating a position verification step for verifying the estimated 3D position of the estimated joint by matching the generated virtual body image with only the operator's detected silhouette image.
본 발명은, 팔꿈치 관절의 3차원 위치 검출 방법에서 마커프리 모션캡쳐를 이용하여 마커나 센서의 부착 없이도 실시간으로 인체 관절의 3차원 위치를 정확하게 검출하기 위한 것이다.The present invention is to accurately detect the three-dimensional position of the human joint in real time without attaching a marker or sensor using a marker-free motion capture in the three-dimensional position detection method of the elbow joint.
이를 위해서는, 3차원 위치를 구하고자 하는 인체 관절(예를 들어, 팔꿈치, 무릎, 어깨 등)이 구의 표면에 위치하게 하는 가상의 구(Virtual Sphere)를 생성하고, 그 가상의 구를 동작자 영상에 투영하여 구의 표면과 동작자의 화소가 만나는 지점을 관절의 후보위치로 추정한 후, 동작자만 검출된 실루엣 영상과 추정된 후보위치가 표시된 2차원 영상을 매칭하여 일치하는 후보위치를 관절의 3차원 위치로 결정함으로써, 정확하게 인체 관절의 3차원 위치를 검출하게 한다.To do this, create a virtual sphere where a human joint (eg, elbow, knee, shoulder, etc.) to obtain a three-dimensional position is located on the surface of the sphere, and the virtual sphere Projected on the surface of the sphere and the point where the operator's pixel meets as the candidate position of the joint, and then matched the candidate position by matching the silhouette image detected only by the operator with the estimated 2D image with the estimated candidate position. By determining the position, it is possible to accurately detect the three-dimensional position of the human joint.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명 을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명에 따른 마커프리 모션캡쳐를 이용한 카메라 촬영의 일실시예 예시도이고, 도 2 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 대한 일실시예 흐름도이다. 이하, 도 1과 도 2를 함께 설명하기로 한다.1 is a diagram illustrating an embodiment of a camera photographing using a marker-free motion capture according to the present invention, and FIG. 2 is a flowchart illustrating a three-dimensional position estimation method of a human joint using a spherical projection method according to the present invention. . Hereinafter, FIG. 1 and FIG. 2 will be described together.
먼저, 본 발명을 개괄적으로 설명하면, 본 발명은 마커프리 모션캡쳐를 이용하여 동작자의 말단부위(End-effector)에 대응하는 2차원 특징점을 추출하고(200) 추출된 말단부위의 2차원 특징점으로부터 3차원 위치를 복원한 후(202), 인체 관절의 3차원 위치를 검출하는 과정(204~214)을 수행하는 것이다.First, the present invention will be described in general, the present invention extracts a two-dimensional feature point corresponding to the end-effector of the operator using a marker-free motion capture (200) from the extracted two-dimensional feature of the distal end portion After restoring the three-dimensional position (202), the process of detecting the three-dimensional position of the human joint (204 ~ 214) is performed.
이하, 본 발명에 따른 인체 관절의 3차원 위치 검출 방법을 상세히 설명하면, 다음과 같다.Hereinafter, a three-dimensional position detection method of a human joint according to the present invention will be described in detail.
우선, 동작자를 마커프리 모션캡쳐하여 서로 다른 각도로부터 입력된 동작자의 다시점 2차원 영상에서 동작자(100)의 신체 말단부위에 대응하는 2차원 특징점을 추출하고, 말단부위의 중심과 관절 사이의 거리를 계산한다(200). 이를 도 1을 참조하여 설명하면, 다음과 같다. First, a marker-free motion capture is performed on the operator to extract a two-dimensional feature point corresponding to the distal end of the
도 1에 도시된 바와 같이, 서로 다른 각도를 가진 복수의 카메라로 동작자(100)를 촬영한다. 즉, 복수의 카메라(110, 120, 130)를 이용하여 동작자(100)가 없는 배경 영상 정보를 획득하고, 배경이 포함된 동작자(100) 영상으로부터 미리 촬영된 배경 영상 정보를 이용하여 동작자(100)의 영상 정보만을 추출하여 획득한 다. 복수의 카메라(110, 120, 130)로부터 촬영된 영상(111, 121, 131)은 동작자(100)의 서로 다른 각도에서의 동작자(100)에 대한 동작자의 다시점 2차원 영상을 포함한다. 동작자의 다시점 2차원 영상은 도 2의 "214" 과정에서 동작자의 다시점 2차원 영상을 이용한 위치 검증 과정에서 사용된다.As shown in Figure 1, the
3차원 동작에 대한 영상정보를 정확하게 추출하기 위해서는 서로 다른 각도를 가진 복수의 카메라(110, 120, 130)에 대한 교정(Calibration) 과정이 필요하다. 카메라의 교정 과정은 동작자(100)로부터 일정한 거리에 있는 복수의 카메라(110, 120, 130)에 대해서 각 카메라의 상호 위치, 자세, 및 초점거리를 계산하여 상호 인접한 관계를 고려하여 수행된다.In order to accurately extract the image information for the three-dimensional operation, a calibration process for a plurality of
상기와 같은 카메라의 교정과정을 수행한 후, 서로 다른 각도를 가진 복수의 카메라(110, 120, 130)로부터 획득된 동작자의 다시점 2차원 영상에서 동작자(100) 신체 말단부위의 2차원 특징점을 추출하여 신체 말단부위별로 저장한다.After performing the calibration process of the camera as described above, two-dimensional feature points of the distal end of the
한편, 다음은 말단부위부터 중간관절까지의 거리계산과정을 설명하기로 한다. 신체 말단부위의 중심점부터 관절까지의 거리 값은 모션캡쳐 초기에 동작자(100)의 영상에서 신체의 거리(예를 들어, 키, 리치 등) 값을 측정하고 측정된 신체의 거리 값과 신체거리비율을 이용하여 계산된다(200). 예를 들어, 손부터 팔꿈치까지의 거리를 계산하고자 하는 경우에, 손의 중심부터 팔꿈치 관절까지의 거리 값은 팔의 리치(reach) 길이 값과 신체거리비율을 이용하여 계산된다. 우선, 모션캡쳐 초기에 서로 다른 동작자 영상 중에서 양팔을 벌린 동작자 영상으로부터 팔의 리치(양손의 중심점 사이의 거리)길이를 측정하고, 그 측정된 팔의 리치 길이에 대한 신체길이비율(리치 대비 손부터 팔꿈치까지의 거리비율)을 이용하여 '손의 중심과 팔꿈치 관절 사이의 거리'가 계산된다. 이와 관련하여, 다른 신체 관절까지의 거리 값 계산에 대해서도 동일한 방식이 적용된다.On the other hand, the following describes the distance calculation process from the distal end to the intermediate joint. The distance value from the center point of the distal end to the joint is measured by measuring the distance of the body (eg, height, reach, etc.) in the image of the
한편, "200" 과정에서 추출된 신체 말단부위의 2차원 특징점을 3차원 정합하여 3차원 좌표로 복원한다(202). 즉, 동작자(100)의 영상 정보에서 컴퓨터비젼 기술을 이용하여 동작자를 배경으로부터 분리하고, 분리된 동작자의 영상에서 신체 말단부위(예를 들어 손, 발, 머리, 몸통, 팔, 다리 등)별 2차원 특징점을 추출한 후, 추출된 2차원 특징점을 3차원 정합하여 3차원 좌표를 복원한다.Meanwhile, the two-dimensional feature points of the distal end portion of the body extracted in the process of "200" are three-dimensionally matched and restored to three-dimensional coordinates (202). That is, the operator separates the operator from the background using computer vision technology in the image information of the
"202" 과정에서 복원된 3차원 좌표를 이용하여 말단부위의 위치와 체적 정보를 포함한 신체 말단부위의 3차원 덩어리(blob)를 생성한다(204). 말단부위의 3차원 덩어리는 서로 다른 각도에서 촬영된 동작자의 다시점 2차원 영상(111, 121, 131)으로부터 추출된 2차원 특징점을 정합하여 3차원 좌표를 복원하고 복원된 3차원 좌표를 이용하여 생성된다.Using the 3D coordinates restored in
또한, 말단부위의 3차원 덩어리를 구성하는 화소들의 중심점을 검출하고 이를 말단부위의 3차원 덩어리의 중심점으로 정한다.In addition, the center point of the pixels constituting the three-dimensional mass of the distal end is detected and this is defined as the center point of the three-dimensional mass of the distal end.
"204" 과정에서 생성된 신체 말단부위의 3차원 덩어리와 인접영역이 만나는 평면을 경계지점으로 추정한다(206). 여기서, 말단부위의 3차원 덩어리의 색상화소와 인접하고 있으며 인접영역의 색상화소 위치를 포함하는 경계지점은 말단부위의 3차원 덩어리와 인접한 영역으로 동작자의 말단부위와 인접한 평면이다.The plane where the three-dimensional mass of the distal end of the body generated in the process “204” and the adjacent region meet is estimated as the boundary point (206). Here, the boundary point adjacent to the color pixel of the three-dimensional lump at the distal end and including the color pixel position of the adjacent area is a plane adjacent to the distal end of the operator as an area adjacent to the three-dimensional lump at the distal end.
만약, "200" 과정에서 말단부위의 색상화소 위치와 인접한 영역(예를 들어, 옷, 피부 등)의 색상화소 위치를 저장하였다면, 말단부위의 3차원 덩어리와 인접한 옷의 경계지점 중에서 미리 저장된 인접영역의 색상화소 위치를 경계지점으로 추정한다.If the color pixel position of the area adjacent to the color pixel position of the distal end (eg clothes, skin, etc.) is stored in the process of "200", the previously stored neighbor among the three-dimensional chunks of the distal end and the boundary of the clothes adjacent to the distal end are stored. The color pixel position of the region is estimated as the boundary point.
한편, 경계지점과 수직이며 말단부위의 3차원 덩어리의 중심점을 포함하는 관절 방향직선을 생성한다(208). 여기서, 관절방향 직선은 관절의 후보위치를 추정하는 경우에 검색범위를 한정하는 기능을 수행한다.In
그리고 나서, 말단부위의 3차원 덩어리의 중심점을 구의 중심으로 하고 말단부위의 중심과 관절 사이의 거리 값을 반지름으로 하는 가상의 구를 생성하여 동작자의 다시점 2차원 영상에 투영한다(210).Then, a virtual sphere having a center point of the three-dimensional mass of the distal end as a sphere and a radius value of the distance between the center of the distal end and the joint is generated and projected onto the operator's multiview two-dimensional image (210).
이후, "210"과정에서 투영된 가상의 구면과 "200" 과정에서 획득된 동작자의 다시점 2차원 영상이 일치하는 지점을 관절방향 직선을 이용하여 검색하고 일치된 지점에 대응하는 3차원 위치를 관절의 3차원 위치로 추정한다(212). 여기서, 일치된 지점을 검색하는 과정은 동작자의 다시점 2차원 영상에서 관절방향 직선을 기준으로 일정한 마진(margin)을 두어 동작자의 화소와 투영된 가상의 구면이 만나는 지점을 검색하는 것이다.Subsequently, a point where the virtual sphere projected in the process of 210 and the multiview 2D image of the operator acquired in the process of 200 are coincident is searched using a straight line in the joint direction, and the 3D position corresponding to the coincidence point is searched. It is estimated by the 3D position of the joint (212). Here, the process of searching for a matched point is to search for a point where the operator's pixel and the projected virtual sphere meet with a certain margin based on a straight line in the multi-view two-dimensional image of the operator.
또한, "212"과정에서 추정된 관절의 3차원 위치를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상에 투영하여 상기 관절의 3차원 위치를 포함한 가상의 신체부위 영상을 생성하고, 상기 생성된 가상의 신체부위 영상과 동작자만 검출된 실루엣 영상과의 매칭을 통해 상기 추정된 관절의 3차원 위치를 검증한다(214).In addition, the virtual body image including the three-dimensional position of the joint is generated by projecting the three-dimensional position of the joint estimated in
이하, "팔꿈치 관절"을 예를 들어, 3차원 위치 검출 과정을 더욱 상세히 설명하기로 한다. Hereinafter, the three-dimensional position detection process will be described in more detail with reference to "elbow joint".
도 3 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손의 3차원 덩어리 생성과정에 대한 일실시예 설명도이다.3 is a diagram illustrating an embodiment of a three-dimensional lump generation process of a hand in a three-dimensional position estimation method of a human joint using a spherical projection method according to the present invention.
동작자(100)의 영상으로부터 손부위의 2차원 특징점이 추출되고, 추출된 2차원 특징점을 3차원 정합하여 3차원 좌표를 복원한다(202).A two-dimensional feature point of the hand portion is extracted from the image of the
그리고 나서, 도 3에 도시된 바와 같이, "202" 과정에서 복원된 3차원 좌표를 이용하여 손의 위치와 체적 정보를 포함한 손의 3차원 덩어리(310)를 생성한다. 즉, 손의 3차원 덩어리(310)는 서로 다른 각도에서 촬영한 동작자의 다시점 2차원 영상(111, 121, 131)으로부터 추출된 2차원 특징점을 정합하여 3차원 좌표가 복원되고 복원된 3차원 좌표를 이용하여 생성된다.Then, as shown in Figure 3, using the three-dimensional coordinates restored in the "202" process to generate a three-
손의 3차원 덩어리(310)를 구성하는 화소 중에서 중심점을 손의 3차원 덩어리(310)의 중심점(311)으로 나타내고, 손의 3차원 덩어리(310)의 중심점(311)은 도 6에 나타나는 아래팔의 직선을 구할 때 이용된다.Among the pixels constituting the three-
도 4 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손목 추정과정에 대한 일실시예 설명도이다.4 is a diagram illustrating an embodiment of a wrist estimating process in a 3D position estimation method of a human joint using a spherical projection method according to the present invention.
손의 3차원 덩어리(310)와 인접한 경계지점(410)을 이루는 평면을 3차원 손목으로 추정한다. 3차원 손목(410)은 손의 3차원 덩어리(310)와 인접한 경계 지점으로 동작자의 손의 부위와 인접한 평면이다. 만약, 3차원 손목(410)은 손의 3차원 덩어리(310)를 생성할 당시에 손의 색상화소와 인접된 옷의 색상화소를 저장하고 있다면, 손의 3차원 덩어리(310)를 생성한 직후에 저장되고 있는 손의 3차원 덩어리(310)와 인접한 옷의 색상화소를 찾음으로써, 신속/용이하게 손목 평면을 추정가능하다.The plane forming the
도 5 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 아래팔의 직선 생성과정에 대한 일실시예 설명도이다.5 is a diagram illustrating an embodiment of a straight line generation process of a lower arm in a method of estimating a 3D position of a human joint using a spherical projection method according to the present invention.
도 5에 도시된 바와 같이, 3차원 손목(410)과 수직이며 손의 3차원 덩어리(310)의 중심점(311)을 포함하고 아래팔 부위와 평행한 아래팔 직선(510)을 생성한다. 이렇게 구한 아래팔의 직선(510)은 본 발명에 따른 팔꿈치 관절의 3차원 위치를 검출할 때, 검색하고자 하는 범위를 한정하는 기능을 수행한다.As shown in FIG. 5, a lower arm
한편, 만약, 동작자(100) 손의 3차원 덩어리(310)와 인접한 경계 지점의 색상화소가 구분되지 않는 경우(예를 들어, 반 팔 옷을 입고 있는 경우)에는, 경계지점을 정확하게 추정하기 곤란하다. 따라서, 이와 같이 3차원 덩어리(310)와 인접한 경계지점의 색상 및 형태 화소가 비슷한 경우에는, 손의 3차원 덩어리(310)와 이어진 피부 영역의 직선을 구함으로써, 동작자(100)의 아래팔의 직선(510)을 생성한다.On the other hand, if the three-
도 6 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 가상의 구 생성 및 팔꿈치 관절의 3차원 위치 추정과정에 대한 일실시예 설명도이다.6 is a diagram illustrating an embodiment of a virtual sphere generation and a three-dimensional position estimation process of the elbow joint in the three-dimensional position estimation method of the human joint using the sphere projection method according to the present invention.
도 6에 도시된 바와 같이, 손의 3차원 덩어리(310)의 중심점(311)을 구의 중심으로 하고 손의 중심과 팔꿈치 관절 사이의 거리 값을 반지름으로 하는 가상의 구(610)를 생성하여 동작자의 다시점 2차원 영상에 투영한다.As shown in FIG. 6, an operation is performed by generating a
동작자의 다시점 2차원 영상에서 아래팔의 직선(510)의 기울기 방향에 일정한 마진(margin)을 두어 검색하면서 2차원 동작자 영상 중에서 동작자를 구성하는 화소와 투영된 가상의 구면(610)이 만나는 지점(620)을 팔꿈치 관절의 3차원 위치로 추정한다.In the multi-view two-dimensional image of the operator, a predetermined margin is searched in the inclination direction of the
도 7 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 3차원 위치 검증과정에 대한 설명도이다.7 is an explanatory diagram for a three-dimensional position verification process of the three-dimensional position estimation method of the human joint using the sphere projection method according to the present invention.
도 7에 도시된 바와 같이, "212"과정에서 추정된 팔꿈치 관절의 위치(620)를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상(720)에 투영하여 추정된 팔꿈치 관절의 위치를 포함한 가상의 팔(721)을 생성하고, '동작자만 검출된 실루엣 영상'(711)과 '투영된 가상의 팔 영상'(722)의 매칭(730)을 통해 추정된 팔꿈치 관절의 3차원 위치를 검증한다(214).As shown in FIG. 7, the
이하, 본 발명의 다른 일실시예로서, 구 투영기법을 이용한 무릎 관절의 3차원 위치를 추정하는 방법을, 도 3을 참조하여, 차이점 위주로 설명하기로 한다.Hereinafter, as another embodiment of the present invention, a method of estimating a three-dimensional position of a knee joint using a spherical projection method will be described with reference to FIG. 3 based on differences.
무릎 관절의 3차원 위치를 검출할 때, 인체 관절의 3차원 위치를 검출하는 방법에서의 차이점은 "말단부위"를 "발뒤꿈치"로, "경계지점"을 "발목"으로, "말단부위의 중심부터 관절까지의 거리를 반지름으로 하는 가상의 구"를 "발뒤꿈치의 중심부터 무릎까지의 거리를 반지름으로 하는 가상의 구"로 범위를 한정하여 3차원 위치를 추정한다는 점이다. 이하, 추정 순서에 따라 차이점을 설명하면 다음과 같다.In detecting the three-dimensional position of the knee joint, the difference in the method of detecting the three-dimensional position of the human joint is that the "end" to "heel", the "boundary point" to "ankle", the "end" It is to estimate the three-dimensional position by limiting the range to "imaginary sphere whose radius is the distance from the center to the joint" to "virtual sphere whose radius is the distance from the center of the heel to the knee". Hereinafter, the difference according to the estimation order is as follows.
"200"과정 내지 "204"까지는 동일한 방식을 따라서 말단부위의 3차원 덩어리를 생성한다. 다만, 생성된 말단부위의 3차원 덩어리 중에서 발의 3차원 덩어리 중에 포함되어 있는 발뒤꿈치의 3차원 덩어리를 추출한다. Processes "200" through "204" produce a three-dimensional mass of distal portions in the same manner. However, the three-dimensional mass of the heel contained in the three-dimensional mass of the foot is extracted from the generated three-dimensional mass of the distal end.
"206"과정에서 추출된 발뒤꿈치의 3차원 덩어리의 중심점을 구하고 발뒤꿈치의 3차원 덩어리와 인접한 경계지점을 발목부위로 추정한다. 발목부위는 발뒤꿈치의 3차원 덩어리와 인접한 지점으로 동작자의 발뒤꿈치와 인접한 평면이다.The center point of the three-dimensional lump of the heel extracted in the process "206" is obtained, and the boundary point adjacent to the three-dimensional lump of the heel is estimated as the ankle region. The ankle is a plane adjacent to the three-dimensional mass of the heel and adjacent to the heel of the operator.
"208"과정에서 경계지점과 수직이며 발뒤꿈치의 3차원 덩어리의 중심점을 포함하는 관절 방향직선을 생성한다In
"210"과정에서 발뒤꿈치의 3차원 덩어리의 중심점을 구의 중심으로 하고 발뒤꿈치의 중심과 무릎 사이의 거리 값을 반지름으로 하는 가상의 구를 생성하여 동작자 다시점 2차원 영상에 투영한다.In the process of "210", a virtual sphere having a center point of the three-dimensional mass of the heel as the center of the sphere and a radius value of the distance between the center of the heel and the knee is generated and projected onto the operator multiview two-dimensional image.
"212"과정에서 동작자의 무릎 방향선분에 일정한 마진을 두어 검색하고 일치된 지점에 대응하는 3차원 위치를 무릎 관절의 3차원 위치로 추정한다.In the process of "212", a margin is searched by placing a certain margin on the operator's knee segment, and the 3D position corresponding to the matched point is estimated as the 3D position of the knee joint.
"214"과정에서 무릎관절의 위치가 포함된 3차원 다리부위를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상에 투영하여 가상의 다리부위를 생성하고, '배경이 분리되어 동작자만 검출된 실루엣 영상'과 '2차원 영상에 투영된 가상의 다리부위'와의 매칭을 통해 추정된 무릎 관절의 3차원 위치를 검증한다.In
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상 의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in detail any more.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기와 같은 본 발명은, 마커프리 모션캡쳐를 이용하여 말단부위의 중심으로부터 관절까지의 거리를 반지름으로 하는 가상의 구를 생성하여 동작자를 구성하는 화소와 만나는 지점을 검출함으로써, 마커나 센서가 없이 모션캡쳐를 이용하여 인체 관절의 3차원 위치를 신속/용이하게 검출하게 하는 효과가 있다.The present invention as described above, by using a marker-free motion capture to generate a virtual sphere having a radius of the distance from the center of the distal end to the joint to detect the point that meets the pixels constituting the operator, there is no marker or sensor Motion capture has the effect of quickly / easily detecting the three-dimensional position of the human joint.
또한, 본 발명은 역운동학을 이용한 종래의 기술보다 구 투영기법을 이용하여 인체 관졀의 3차원 위치를 검출함으로써, 실시간으로 인체관절의 3차원 위치를 정확하게 검출하게 하는 효과가 있다.In addition, the present invention has the effect of accurately detecting the three-dimensional position of the human joint in real time by detecting the three-dimensional position of the human joint using the sphere projection technique than the conventional technique using the inverse kinematics.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/605,612 US7869646B2 (en) | 2005-12-01 | 2006-11-29 | Method for estimating three-dimensional position of human joint using sphere projecting technique |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050116140 | 2005-12-01 | ||
KR20050116140 | 2005-12-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070057613A true KR20070057613A (en) | 2007-06-07 |
KR100763578B1 KR100763578B1 (en) | 2007-10-04 |
Family
ID=38354924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060045045A KR100763578B1 (en) | 2005-12-01 | 2006-05-19 | Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100763578B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100885122B1 (en) * | 2007-09-12 | 2009-02-20 | 전자부품연구원 | Method for marker-free motion capture |
KR101056122B1 (en) * | 2009-05-28 | 2011-08-11 | (주)엠젠 | Biometric data generation system and automatic processing method using virtual marker method |
US8442267B2 (en) | 2008-12-24 | 2013-05-14 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting upper body posture and hand posture |
US8644552B2 (en) | 2009-10-13 | 2014-02-04 | Samsung Electronics Co., Ltd. | Markerless motion capturing apparatus and method |
US8659594B2 (en) | 2009-12-18 | 2014-02-25 | Electronics And Telecommunications Research Institute | Method and apparatus for capturing motion of dynamic object |
KR20160022576A (en) | 2014-08-20 | 2016-03-02 | 한국전자통신연구원 | Apparatus and method for matching 3d coordinate joint of human based on rgb sensor and depth sensor |
KR101663418B1 (en) * | 2015-04-06 | 2016-10-07 | 충북대학교 산학협력단 | Method for estimating data of foot joint, and recording medium thereof |
KR102463778B1 (en) * | 2022-03-15 | 2022-11-11 | 인하대학교 산학협력단 | Method and Apparatus for Reconstruction of Holistic 3D Body from a Blurred Single Image |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020130211A1 (en) * | 2018-12-21 | 2020-06-25 | 주식회사 알체라 | Joint model registration device and method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0722089B2 (en) * | 1989-12-27 | 1995-03-08 | 日本ケミコン株式会社 | Solid electrolytic capacitor |
JPH05298422A (en) * | 1992-04-16 | 1993-11-12 | Hitachi Ltd | Motion generating method for articulated structure |
KR100222545B1 (en) * | 1996-12-31 | 1999-10-01 | 정몽규 | 3d distance estimation equipment and method using multi-image |
KR100361462B1 (en) * | 1999-11-11 | 2002-11-21 | 황병익 | Method for Acquisition of Motion Capture Data |
KR100452917B1 (en) * | 2001-10-09 | 2004-10-14 | 주식회사 제노프릭스 | Method and System for sensing Three-Dimensional body motion using color marker |
US20030215130A1 (en) * | 2002-02-12 | 2003-11-20 | The University Of Tokyo | Method of processing passive optical motion capture data |
KR100483806B1 (en) * | 2002-07-18 | 2005-04-20 | 한국과학기술원 | Motion Reconstruction Method from Inter-Frame Feature Correspondences of a Single Video Stream Using a Motion Library |
KR100507780B1 (en) * | 2002-12-20 | 2005-08-17 | 한국전자통신연구원 | Apparatus and method for high-speed marker-free motion capture |
-
2006
- 2006-05-19 KR KR1020060045045A patent/KR100763578B1/en not_active IP Right Cessation
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100885122B1 (en) * | 2007-09-12 | 2009-02-20 | 전자부품연구원 | Method for marker-free motion capture |
US8442267B2 (en) | 2008-12-24 | 2013-05-14 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting upper body posture and hand posture |
KR101056122B1 (en) * | 2009-05-28 | 2011-08-11 | (주)엠젠 | Biometric data generation system and automatic processing method using virtual marker method |
US8644552B2 (en) | 2009-10-13 | 2014-02-04 | Samsung Electronics Co., Ltd. | Markerless motion capturing apparatus and method |
US8659594B2 (en) | 2009-12-18 | 2014-02-25 | Electronics And Telecommunications Research Institute | Method and apparatus for capturing motion of dynamic object |
KR20160022576A (en) | 2014-08-20 | 2016-03-02 | 한국전자통신연구원 | Apparatus and method for matching 3d coordinate joint of human based on rgb sensor and depth sensor |
KR101663418B1 (en) * | 2015-04-06 | 2016-10-07 | 충북대학교 산학협력단 | Method for estimating data of foot joint, and recording medium thereof |
KR102463778B1 (en) * | 2022-03-15 | 2022-11-11 | 인하대학교 산학협력단 | Method and Apparatus for Reconstruction of Holistic 3D Body from a Blurred Single Image |
Also Published As
Publication number | Publication date |
---|---|
KR100763578B1 (en) | 2007-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7869646B2 (en) | Method for estimating three-dimensional position of human joint using sphere projecting technique | |
KR100763578B1 (en) | Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique | |
JP6690041B2 (en) | Method and device for determining point of gaze on three-dimensional object | |
CN107273846B (en) | Human body shape parameter determination method and device | |
KR101812379B1 (en) | Method and apparatus for estimating a pose | |
CN104680582B (en) | A kind of three-dimensional (3 D) manikin creation method of object-oriented customization | |
JP4148281B2 (en) | Motion capture device, motion capture method, and motion capture program | |
US9058514B2 (en) | Apparatus and method for estimating joint structure of human body | |
JP5855751B2 (en) | Modeling, fitting, and tracking of 3D objects | |
JP2011174879A (en) | Apparatus and method of estimating position and orientation | |
CN107230224B (en) | Three-dimensional virtual garment model production method and device | |
KR101126626B1 (en) | System and Method for large-scale 3D reconstruction | |
Wang et al. | Facial feature extraction in an infrared image by proxy with a visible face image | |
JP7363962B2 (en) | Processing equipment, detection equipment, systems and programs | |
Bilesan et al. | Improved 3D human motion capture using Kinect skeleton and depth sensor | |
Yamauchi et al. | Recognition of walking humans in 3D: Initial results | |
CN113487674B (en) | Human body pose estimation system and method | |
CN113487726A (en) | Motion capture system and method | |
JP3401512B2 (en) | Moving object tracking device | |
Senior | Real-time articulated human body tracking using silhouette information | |
CN113421286B (en) | Motion capturing system and method | |
Mahmood et al. | Multiviews reconstruction for prosthetic design. | |
Biasi et al. | Garment-based motion capture (GaMoCap): high-density capture of human shape in motion | |
KR20140052792A (en) | 3-dimensional image reconstruction device using depth image and color image and the method | |
Seenivasan et al. | Shape tracking of flexible morphing matters from depth images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20100901 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |