KR101035793B1 - 발 모션 추정 시스템 및 그 방법 - Google Patents

발 모션 추정 시스템 및 그 방법 Download PDF

Info

Publication number
KR101035793B1
KR101035793B1 KR1020090077581A KR20090077581A KR101035793B1 KR 101035793 B1 KR101035793 B1 KR 101035793B1 KR 1020090077581 A KR1020090077581 A KR 1020090077581A KR 20090077581 A KR20090077581 A KR 20090077581A KR 101035793 B1 KR101035793 B1 KR 101035793B1
Authority
KR
South Korea
Prior art keywords
coordinate system
foot
user
virtual
markers
Prior art date
Application number
KR1020090077581A
Other languages
English (en)
Other versions
KR20110019949A (ko
Inventor
정다운
윤용인
최종수
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020090077581A priority Critical patent/KR101035793B1/ko
Publication of KR20110019949A publication Critical patent/KR20110019949A/ko
Application granted granted Critical
Publication of KR101035793B1 publication Critical patent/KR101035793B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

사용자 발의 포즈를 추정하는 방법이 제공된다. 상기 방법은 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 단계; 상기 실제 좌표계에 존재하는 사용자 발에 부착된 적어도 두 개의 마커들의 벡터를 상기 가상 좌표계에서 계산하는 단계; 상기 가상 좌표계에서 상기 적어도 두 개의 마커들에 대한 이전 이미지 및 현재 이미지를 기초로 상기 사용자 발의 회전각을 계산하는 단계; 상기 사용자 발의 회전각을 기초로 상기 가상 좌표계에서 상기 사용자 발의 가상 모델을 회전하는 단계; 및 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 기초로 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 단계를 포함한다.
발, 추정, 모션, 포즈, 회전, 카메라

Description

발 모션 추정 시스템 및 그 방법{SYSTEM AND METHOD OF ESTIMATING FOOT MOTION}
본 발명은 사용자 발의 모션을 추정하기 위한 기술에 관한 것이다.
사용자 발의 모션을 추정하는 것은 여러 용도로 활용될 수 있다. 예를 들어, 신발을 온라인으로 판매하는 경우, 사용자는 가상 신발을 착용함으로써 원하는 신발을 쉽게 고를 수 있는데, 이러한 경우, 사용자 발을 정확하게 추정할 수 있는 기술이 필요하다.
사용자는 자신의 발을 여러 방향으로 회전시킬 수도 있으며, 일정한 위치에 두지 않는다. 이러한 경우에도, 사용자 발을 정확하게 추정할 수 있는 기술이 필요하다.
본 발명은 사용자 발의 포즈를 보다 정확하게 추정하는 기술을 제공한다.
본 발명은 적어도 네 개의 마커들을 이용하여 그라운드 평면을 파악하고, 그라운드 평면을 통하여 가상 좌표계 및 실제 좌표계 사이의 관계를 보다 정확하게 추정한다.
본 발명은 사용자 발에 부착된 적어도 두 개의 마커들을 이용하여 그라운드 평면에 대한 사용자 발의 상대적 위치를 보다 정확하게 추정할 수 있을 뿐만 아니라, 사용자 발의 회전각을 효율적으로 추정할 수 있다.
본 발명의 일실시예에 따른 사용자 발의 포즈를 추정하는 방법은 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 단계; 상기 실제 좌표계에 존재하는 사용자 발에 부착된 적어도 두 개의 마커들의 벡터를 상기 가상 좌표계에서 계산하는 단계; 상기 가상 좌표계에서 상기 적어도 두 개의 마커들에 대한 이전 이미지 및 현재 이미지를 기초로 상기 사용자 발의 회전각을 계산하는 단계; 상기 사용자 발의 회전각을 기초로 상기 가상 좌표계에서 상기 사용자 발의 가상 모델을 회전하는 단계; 및 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 기초로 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 단계를 포함한다.
이 때, 상기 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 단계는 그라운드 평면에 부착된 적어도 네 개의 마커들을 검출하고, 상기 네 개의 마커들을 이용하여 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 정의하는 단계일 수 있다.
그리고, 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 단계는 수학식
Figure 112009051239924-pat00001
에 따라 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 단계이고,
Figure 112009051239924-pat00002
는 상기 사용자 발의 회전각이고,
Figure 112009051239924-pat00003
는 그라운드 평면의 중심점이고,
Figure 112009051239924-pat00004
및
Figure 112009051239924-pat00005
는 상기 가상 좌표계로 이동된 상기 적어도 두 개의 마커들 중 어느 하나의 마커에 대한 x 축값, z 축값이며,
Figure 112009051239924-pat00006
,
Figure 112009051239924-pat00007
,
Figure 112009051239924-pat00008
,
Figure 112009051239924-pat00009
이고,
Figure 112009051239924-pat00010
는 그라운드 평면의 노말 벡터와 상기 가상 좌표계의 x, y, z 축 사이의 회전각이다.
이 때, 사용자 발의 포즈를 추정하는 방법은 상기 실제 좌표계로 변환된 사용자 발의 가상 모델을 2차원 이미지로 변환하는 단계 및 상기 2차원 이미지를 디스플레이하는 단계를 더 포함한다.
이 때, 상기 사용자 발의 회전각을 계산하는 단계는 상기 사용자 발의 회전각을 계산하기 위하여 상기 적어도 두 개의 마커들의 벡터를 그라운드 평면으로 투영하는 단계를 포함한다.
이 때, 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 정의하는 단계는 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 정의하기 위하여 그라운드 평면의 중심점으로부터 카메라 좌표계의 원점으로의 이동량 및 상기 카메라 좌표계의 원점으로부터 상기 가상 좌표계의 원점으로의 이동량을 계산하는 단계를 포함한다.
그리고, 상기 사용자 발의 회전각을 계산하는 단계는 상기 적어도 두 개의 마커들을 상기 가상 좌표계로 이동하는 단계; 및 상기 가상 좌표계로 이동된 상기 적어도 두 개의 마커들의 벡터를 투영하는 단계를 더 포함한다.
이 때, 상기 사용자 발의 회전각을 계산하는 단계는 상기 사용자 발의 회전 방향을 파악하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 사용자 발의 포즈를 추정하는 장치는 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 정의부; 상기 실제 좌표계에 존재하는 사용자 발에 부착된 적어도 두 개의 마커들의 벡터를 상기 가상 좌표계에서 계산하는 벡터 계산부; 상기 가상 좌표계에서 상기 적어도 두 개의 마커들에 대한 이전 이미지 및 현재 이미지를 기초로 상기 사용자 발의 회전각을 계산하는 회전각 계산부; 상기 사용자 발의 회전각을 기초로 상기 가상 좌표계에서 상기 사용자 발의 가상 모델을 회전하는 회전부; 및 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 기초로 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 변환부를 포함한다.
또한, 본 발명의 일실시예에 따른 발 모션 추정 시스템은 사용자 발에 대한 복수의 이미지들을 생성하는 스테레오 카메라; 적어도 네 개의 마커들이 부착된 그라운드 평면; 상기 사용자 발에 부착되는 적어도 두 개의 마커들; 및 상기 사용자 발의 포즈를 추정하는 장치를 포함한다. 여기서, 상기 사용자 발의 포즈를 추정하는 장치는 상기 적어도 네 개의 마커들을 이용하여 가상 좌표계와 실제 좌표계 사이의 관계를 정의하고, 상기 가상 좌표계에서 상기 적어도 두 개의 마커들에 대한 이전 이미지 및 현재 이미지를 기초로 상기 사용자 발의 회전각을 계산하여 상기 사용자 발의 포즈를 추정한다.
본 발명은 사용자 발의 포즈를 보다 정확하게 추정하는 기술을 제공한다.
본 발명은 적어도 네 개의 마커들을 이용하여 그라운드 평면을 파악하고, 그라운드 평면을 통하여 가상 좌표계 및 실제 좌표계 사이의 관계를 보다 정확하게 추정한다.
본 발명은 사용자 발에 부착된 적어도 두 개의 마커들을 이용하여 그라운드 평면에 대한 사용자 발의 상대적 위치를 보다 정확하게 추정할 수 있을 뿐만 아니라, 사용자 발의 회전각을 효율적으로 추정할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 발 모션(foot motion) 추정 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 발 모션 추정 시스템은, 사용자 발 추정 장치, 적어도 두 개의 카메라들(스테레오 카메라) 및 적어도 네 개의 마커들이 부착된 그라운드 평면을 포함하고, 사용자 발에는 적어도 두 개의 마커들이 부착된다. 여기서, 그라운드 평면은 실제 좌표계의 기준면으로서 사용된다.
그라운드 평면 및 사용자 발에 부착되는 마커들을 이용하여 발 모션을 추정하는 방법에 대해서는 아래에서 상세히 설명한다.
1. 마커 검출( MARKER DETECTION )
도 2는 그라운드 평면에 부착된 네 개의 원형 마커들 및 사용자 발에 부착된 두 개의 원형 마커들에 대한 검출 결과를 나타낸다.
본 발명은 도 2에 도시된 것과 같이 백그라운드의 픽셀 엘리먼트들을 뺌으로 써, 객체(그라운드 평면 또는 사용자 발) 이미지를 파악할 수 있다. 픽셀 엘리먼트들이 백그라운드에 속하는 것인지 또는 객체에 속하는 것인지는 이로젼(erosion) 또는 딜레이션 마스크(dilation mask)를 계산함으로써, 판단될 수 있다. 도 2에의 첫 번째 그림에서 백그라운드의 픽셀 엘리먼트들을 뺀 결과가 두 번째 그림이고, 세 번째 그림에서 백그라운드의 픽셀 엘리먼트들을 뺀 결과가 네 뻔째 그림이다.
또한, 이미 잘 알려진 다양한 방법들을 이용하여 두 번째, 네 번째 그림과 같은 이미지 시퀀스들을 분석하면, 그라운드 평면 및 사용자 발에 부착된 원형 마커들을 쉽게 찾아낼 수 있다. 이러한 원형 마커들은 카메라 캘리브레이션, 원점 좌표의 설정, 사용자 발의 변환(transformation) 및 회전(rotation) 등과 같은 여러 문제들을 해결하는 데에 핵심 정보로 사용된다. 특히, 본 발명은 2000년의 IEEE TRANSACTION ON PATTERN ANLAYSIS AND MACHINE INTELLIGENCE를 통하여 공개된 Zhang 알고리즘을 통하여 ZHANG 알고리즘을 이용하여 그라운드 평면에 있는 네 개의 원형 마커들로부터 카메라 캘리브레이션을 위한 값들을 계산할 수 있다.
2. 3차원 재구성(3D RECONSTRUCTION )
도 3은 그라운드 평면 위에 있는 네 개의 마커들을 통해 정의되는 교차점 및 사용자 발 위에 있는 두 개의 마커들을 통해 정의되는 중심선을 나타낸 도면이다.
두 개의 카메라들에 의해 생성되는 이미지들은 2차원 이미지들이므로, 3차원 입체를 만들기 위해서는 2차원 이미지들을 적절히 재구성해야 한다.
도 2와 관련하여, 도 2의 두 번째, 네 번째 그림과 같은 이미지 시퀀스들을 분석하면, 그라운드 평면 및 사용자 발에 부착된 마커들을 찾아낼 수 있음을 설명하였다. 그라운드 평면 및 사용자 발에 부착된 마커들을 통하여 이미지 시퀀스들을 입체적으로 재구성할 필요가 있다. 이 때, 3차원 재구성을 위한 기준이 정의되어야 하는데, 본 발명은 도 3에 도시된 것과 같이, 그라운드 평면 위에 있는 네 개의 마커들을 통해 정의되는 교차점 및 사용자 발 위에 있는 두 개의 마커들을 통해 정의되는 중심선을 정의할 수 있다.
2차원 이미지와 3차원 모델 사이의 관계에 대한 카메라 투영 매트릭스를 P라고 가정한다. 여기서, P는 대상 모델에 있는 점들의 좌표를 해당 이미지 평면에 투영하는 것과 관련되며, 하기 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure 112009051239924-pat00011
여기서, f는 카메라의 초점 거리이고, R과 T는 모델 프레임에 대한 카메라의 회전 매트릭스 및 변환(Translation) 매트릭스이다. 여기서, 카메라 투영 매트릭스 P는 하기 수학식 2와 같이 나타낼 수도 있다.
[수학식 2]
Figure 112009051239924-pat00012
여기서, K는 카메라의 내부(intrinsic) 파라미터를 나타내며, R, T는 외부(extrinsic) 파라미터를 나타낸다. 이러한 카메라 투영 매트릭스 P를 통하여 이미지 시퀀스들과 3차원 좌표의 점들 사이의 관계가 정해지며, 본 발명은 카메라 투영 매트릭스 P를 이용하여 이미지 시퀀스들을 3차원 점들로 변환한다.
또한, 이미지 시퀀스들로부터 얻어지는 3차원 재구성을 적절히 보상하기 위하여, 여러 기법들이 적용될 수 있으며, 특히 선형 삼각화 접근법(linear triangulation approach)이 사용될 수 있다. 이에 대한 설명은 생략한다.
3. 사용자 발의 포즈 추정
도 4는 사용자 발의 포즈를 추정하는 과정을 개념적으로 설명하기 위한 도면이다.
3차원 공간 좌표에서 객체의 포즈는 세 개의 축들 각각에 대한 회전에 따라 결정된다. 따라서, 본 발명은 세 개의 축들 각각에 대한 사용자 발의 회전각을 구하고, 그 회전각을 기초로 사용자 발의 포즈를 추정한다.
본 발명은 다음과 같은 세 개의 단계들을 통하여 사용자 발의 포즈를 추정한다.
첫 번째 단계는 도 4의 STEP 1에 도시된 것과 같이, 카메라 좌표계로부터 가상 좌표계로의 변위인 M을 계산하고, 그라운드 평면 위의 네 개의 마커들의 중심점으로부터 카메라 좌표계의 원점으로의 이동량인 T1을 계산한다. 그라운드 평면의 중심점은 사용자 발의 포즈를 추정하고, 사용자 발의 이동 변위를 가상 모델과 합성하기 위한 기준점이다.
카메라 좌표와 가상 좌표 사이의 관계 및 그라운드 평면 위의 네 개의 마커들의 중심점으로부터 카메라 좌표의 원점으로의 이동량인 T1이 완전히 정의되면, 두 번째 단계는 도 4의 STEP 2에 도시된 것과 같이, 사용자 발에 부착된 두 개의 마커들로부터 기준점(그라운드 평면의 중심점)까지의 이동 변위를 추정하는 것이다. 첫 번째, 두 번째 단계를 통하여 두 개의 마커들의 정보는 실제의 이미지로부터 가상 좌표계로의 변위로 변환될 수 있다.
세 번째 단계는 가상 좌표계로 변환된 두 개의 포인트들의 벡터를 이용하여 현재의 프레임과 이전 프레임 사이의 내적을 통하여 회전 각도를 계산하는 것이다.
본 발명은 가상 좌표로부터 사용자 발의 실제 좌표로의 변환 과정을 T1, T2, M을 통하여 파악할 수 있고, 도 4의 STEP 3에 도시된 바와 같이, 회전 정보를 반영하고 있는 사용자 발 모델은 실제의 좌표계로 되돌아갈 수 있다. 아래에서 다시 설명하겠지만, 실제의 좌표계에서 회전 정보를 반영하고 있는 사용자 발 모델은 2차원 이미지로 변환되어 디스플레이된다.
3.1 그라운드 평면의 제어
사용자 발의 포즈를 추정하기 위한 기준 평면인 그라운드 평면의 중심점을 실제 좌표계에서 계산해야 한다. 그라운드 평면의 중심점은 네 개의 마커들의 x, y, z 성분의 전체 합에 따라 규준화된다. 하기 수학식 3에 의해 그라운드 평면의 중심점이 계산될 수 있다.
[수학식 3]
Figure 112009051239924-pat00013
여기서, xi는 네 개의 포인트들을 나타내며,
Figure 112009051239924-pat00014
는 실제 좌표계에서 그라운드 평면의 중심점을 나타낸다. 여기서, 그라운드 평면의 중심점을 기준으로 삼아 이전 이미지 및 현재 이미지로부터 사용자 발의 포즈를 추정할 수 있기 때문에 사용자 발에 부착된 원형 마커들 및 그라운드 평면의 중심점은 가상 좌표계의 원점으로 이동해야 한다. 이 때,
Figure 112009051239924-pat00015
를 가상 좌표계의 원점으로 이동하는 행렬은 하기 수학식 4와 같이 나타낼 수 있다.
[수학식 4]
Figure 112009051239924-pat00016
동일한 방식으로, 네 개의 마커들도 Tmc에 의해 이동할 수 있으며, 네 개의 마커들 각각과 중심점 사이에는 벡터가 형성된다. 여기서, 그라운드 평면의 노말 벡터는 도 5와 같이 나타낼 수 있고, 가상 좌표계로 이동된 그라운드 평면의 노말 벡터 Vn는 수학식 5에 의해 정의될 수 있다.
[수학식 5]
Figure 112009051239924-pat00017
여기서, M1, M2 각각은 원형 마커들의 중심을 나타내며, Vn는 그라운드 평면의 노말 벡터이다. 도 5에 도시된 바와 같이, 그라운드 평면의 노말 벡터는 네 개의 마커들 중 왼쪽 두 개의 마커들에 대한 두 개의 벡터들 M1, M2을 외적(cross product)함으로써 계산된다.
이 때, 그라운드 평면은 가상 좌표계의 x-z 평면과 수평하게 놓이지 않을 수 있다. 즉, 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축은 평행하지 않을 수 있는데, 본 발명은 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축이 평행하도록 그라운드 평면을 제어할 수 있다.
도 6은 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축이 평행하도록 그라운드 평면을 제어하는 과정을 나타낸 도면이다.
도 6을 참조하면, 그라운드 평면을 가상 좌표계로 이동하는 경우, 가상 좌표게의 x-z 평면과 그라운드 평면이 평행하게 놓이지 않을 수 있음을 알 수 있다. 즉, 첫 번째 그림과 같이 존재하는 그라운드 평면이 두 번째 그림과 같이 가상 좌표계로 이동한다고 가정하자. 이 때, 세 번째 그림에서 볼 수 있는 바와 같이, M1, M2 각각은 TmcM1, TmcM2으로 이동한다. 그리고, 네 번째 그림에서 볼 수 있는 바와 같이 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축은 평행하지 않게 된다.
그라운드 평면의 노말 벡터 상에 존재하는 임의의 점을 (a, b, c)라고 하는 경우, 가상 좌표계의 x, y, z 축에 대한 노말 벡터의 회전각
Figure 112009051239924-pat00018
은 하기 수학식 6과 같이 나타낼 수 있다.
[수학식 6]
Figure 112009051239924-pat00019
Figure 112009051239924-pat00020
Figure 112009051239924-pat00021
상기 수학식 6을 통해 계산되는 회전각을 이용하여 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축은 평행하게 될 수 있고, 그 결과의 예는 도 7에 도시되어 있다.
3.2 회전 정보의 획득
사용자 발의 포즈를 추정하기 위하여, 사용자의 발목 축을 기준으로 하여 사용자 발의 회전각 및 방향을 파악해야 한다. 마커의 위치는 사용자 발의 모션을 반영하기 때문에 마커의 위치를 선택하는 것은 매우 중요하다. 본 발명의 일실시예는 두 개의 마커들 중 하나의 마커는 사용자 발의 발목쪽에 부착하고, 나머지 하나는 사용자 발의 앞꿈치쪽에 부착한다. 그리고, 본 발명은 두 개의 마커들을 이 용하여 사용자 발의 포즈를 추정할 수 있다. 본 발명의 알고리즘은 아래와 같다.
(1) 가상 좌표계의 원점으로 이동
도 8은 그라운드 평면이 제어된 이후에, 사용자 발에 부착된 마커들을 가상 좌표계로 이동한 결과의 예를 나타낸 도면이다.
도 8에 도시된 바와 같이, 사용자 발에 부착된 마커들은 원래의 위치로부터 가상 좌표계로의 이동 거리 Tmc만큼 가상 좌표계로 이동한다. 이 때, 두 개의 마커들의 이동에 대한 관계식은 하기 수학식 7과 같이 나타낼 수 있다.
[수학식 7]
Figure 112009051239924-pat00022
Figure 112009051239924-pat00023
여기서, Fh는 발목쪽에 있는 마커의 원래의 위치, F'h는 가상 좌표계로 이동된 발목쪽에 있는 마커의 위치, Fl는 앞꿈치쪽에 있는 마커의 원래의 위치, F'l는 가상 좌표계로 이동된 앞꿈치쪽에 있는 마커의 위치를 나타낸다.
여기서, F'h는 사용자 발의 회전에 대한 기준으로 사용되어어야 하므로, 가상 좌표계에서 그라운드 평면의 노말 벡터와 F'h가 평행하게 이동하여야 한다. F'h가 이동하는 과정은 도 9에 도시되어 있으며, 그 이동에 따른 관계식은 하기 수학식 8과 같이 나타낼 수 있다.
[수학식 8]
Figure 112009051239924-pat00024
Figure 112009051239924-pat00025
Figure 112009051239924-pat00026
여기서,
Figure 112009051239924-pat00027
은 F'h에 대한 x 값이고,
Figure 112009051239924-pat00028
는 F'h에 대한 y 값이다.
(2) 평면 투영
발목 축의 회전 정보는 단지 평면 투영의 벡터를 추정하기 위하여 요구된다. 사용자 발이 언제나 그라운드에 붙어 있다고 가정하는 경우, 사용자 발에 부착된 마커들에 의해 정의되는 회전각 및 방향은 그 마커들 사이의 벡터를 투영함으로써 파악된다.
도 10은 평면 투영을 개념적으로 설명하기 위한 도면이다.
도 10에서, F에서 F'를 뺀 결과가 벡터 A이고, 벡터 A는 평면과 수직이다.
이 때, F-V1F'=0이고, F-V2F'=0이며, V1 및 V2는 하기 수학식 9를 따른다.
[수학식 9]
Figure 112009051239924-pat00029
상기 수학식 9는 하기 수학식 10과 같이 표현된다.
[수학식 10]
Figure 112009051239924-pat00030
이 때, F를 평면으로 투영한 결과는 하기 수학식 11과 같이 정의된다.
[수학식 11]
Figure 112009051239924-pat00031
결국, 본 발명은 상기 수학식 11을 이용하여 사용자 발에 부착된 마커들을 그라운드 평면으로 투영할 수 있다. 그리고, 마커들이 그라운드 평면으로 투영된 경우, 투영된 마커들로 이루어지는 벡터를 이용하여 사용자 발의 회전각 및 방향을 파악할 수 있다.
(3) 회전각의 계산
도 11은 그라운드 평면으로 투영된 두 개의 벡터들의 회전각 및 방향을 나타낸 도면이다.
도 11에서, Fr'은 이전 이미지로부터 얻어진 벡터이고, Fc'은 현재 이미지로부터 얻어진 벡터이다. Fr' 및 Fc' 사이의 각도는 회전각을 의미하며, 하기 수학식 12와 같이 나타낼 수 있다.
[수학식 12]
Figure 112009051239924-pat00032
상기 수학식 12를 기초로, 이전 이미지로부터 현재 이미지로의 회전각을 파악할 수 있으며, Fr' 및 Fc' 사이의 외적을 통하여 회전 방향이 시계 방향인지 또는 반시계 방향인지도 파악할 수 있다.
3.3 가상의 발 모델의 포즈 추정
도 12는 가상 좌표계에서 가상의 발 모델의 포즈를 추정한 후, 그 가상의 발 모델을 원래의 좌표계로 변환하는 과정을 나타낸 도면이다.
상술한 바와 같이, 이전 이미지 및 현재 이미지 사이의 관계에서 사용자 발의 회전각을 계산하게 되면, 도 12의 (a)에 도시된 바와 같이, 본 발명은 가상의 발 모델을 회전한다.
또한, 본 발명은 도 12의 (b)에 도시된 바와 같이, 원래의 그라운드 평면과 가상 좌표계 사이의 관계를 계산한다. 보다 구체적으로, 원래의(가상 좌표계의 y축과 그라운드 평면의 노말 벡터가 평행하도록 제어되기 이전) 그라운드 평면과 가 상 좌표계의 y 축 사이의 관계에 대해서는 상기 수학식 6을 통해 설명한 바 있으며, 상기 관계를 나타내는 TR은 하기 수학식 13과 같이 정의된다.
[수학식 13]
Figure 112009051239924-pat00033
Figure 112009051239924-pat00034
Figure 112009051239924-pat00035
Figure 112009051239924-pat00036
사용자 발의 회전각 및 원래의 그라운드 평면과 가상 좌표계의 y 축 사이의 관계를 파악함으로써, 사용자 발의 포즈를 추정하게 된다. 결국, 가상 좌표계 및 실제 좌표계의 관계 U는 하기 수학식 14와 같이 정리될 수 있고, 하기 수학식 14를 이용하여 가상 좌표계에서의 가상 모델은 실제 좌표계로 이동될 수 있다.
[수학식 14]
Figure 112009051239924-pat00037
여기서, 이전 이미지 및 현재 이미지로부터 얻어지는 사용자자 발의 회전각
Figure 112009051239924-pat00038
은 상기 수학식 12를 통하여 얻어질 수 있고, TR은 상기 수학식 13을 통해 얻어질 수 있다. 그리고,
Figure 112009051239924-pat00039
및
Figure 112009051239924-pat00040
는 가상 좌표계로 이동된 두 개의 마커들 중 어느 하나의 마커에 대한 x 축값, z 축값이다.
또한, 최종적으로 실제의 좌표계로 가상 모델이 이동하면, 본 발명은 그 가상 모델을 투영 매트릭스를 이용하여 2차원 이미지로 변환하여, 디스플레이할 수 있다.
도 13은 사용자 발의 포즈를 추정하는 방법을 나타낸 동작 흐름도이다.
도 13을 참조하면, 본 발명은 스테레오 카메라에 의해 생성된 여러 이미지들을 사용자 발 추정 장치로 입력한다(1310).
이 때, 본 발명은 스테레오 카메라의 내부, 외부 파라미터를 도출하고, 상기 수학식 2에 기재된 카메라 투영 매트릭스를 계산하기 위하여 카메라 캘리브레이션을 수행한다(1320, 1330).
또한, 본 발명은 그라운드 평면 또는 사용자 발에 부착된 마커들을 검출하고, 3차원 재구성을 수행한다(1340, 1350).
또한, 본 발명은 검출된 마커들의 개수가 4개인지 또는 2개인지 여부를 판단한다(1360). 여기서, 그라운드 평면에 부착된 마커들의 개수는 4개이고, 사용자 발에 부착된 마커들의 개수는 2개라고 가정한다.
만약, 마커들의 개수가 4개라면, 본 발명은 그라운드 평면을 제어한다(1371).
즉, 본 발명은 사용자 발의 포즈를 추정하기 위한 기준 평면인 그라운드 평면의 중심점
Figure 112009051239924-pat00041
을 실제 좌표계에서 계산하고,
Figure 112009051239924-pat00042
를 가상 좌표계의 원점으로 이동하는 행렬 Tmc를 계산한다. 이에 따라 실제 좌표계와 가상 좌표계 사이의 관계가 도출될 수 있다.
더구나, 본 발명은 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축이 평행하게 되도록 그라운드 평면을 제어한다(1371). 이 때, 그라운드 평면의 노말 벡터 상에 존재하는 임의의 점을 (a, b, c)라고 하는 경우, 가상 좌표계의 x, y, z 축에 대한 노말 벡터의 회전각
Figure 112009051239924-pat00043
이 계산된다.
또한, 본 발명은 실제 좌표계와 가상 좌표계 사이의 관계를 도출한다(1372). 즉, 본 발명은 상기 수학식 14에 기재된 U에서
Figure 112009051239924-pat00044
및 TR을 구할 수 있다. 또한,
Figure 112009051239924-pat00045
를 계산하는 데에 사용되는 T1도 구해진다.
단계 1371 내지 단계 1372를 통하여 실제 좌표계 및 가상 좌표계 사이의 관계가 모두 파악된다. 따라서, 사용자 발의 회전 상태 및 사용자 발의 위치만을 파악할 수 있다면, 사용자 발의 포즈를 추정할 수 있게 된다.
단계 1360에서, 마커들의 개수가 2개라면, 본 발명은 사용자 발에 부착된 마커들의 벡터를 검출한다(1381).
이 때, 존재하는 이미지의 개수가 1개인지 여부(이전의 이미지가 있는지 여부)를 판단하고(1382), 이전의 이미지가 있다면, 벡터는 가상 좌표계로 이동한다(1383).
그리고, 벡터가 가상 좌표계로 이동되면, 본 발명은 벡터를 가상 좌표계에서 투영한다(1384). 그리고, 본 발명은 이전 이미지와 현재 이미지에 대하여 벡터의 회전각을 계산하고(1385), 회전 방향을 결정한다(1386).
회전각 및 회전 방향이 결정되면, 3D 모델은 그 회전각 및 회전 방향에 따라 회전하며, 회전된 3D 모델은 실제 좌표계로 변환된다(1391).
그리고, 본 발명은 실제 좌표계로 변환된 3D 모델을 기초로 2D 이미지를 생성하고(1392), 그 2D 이미지를 디스플레이한다.
도 1 내지 도 13에 도시되지 않았으나, 본 발명에 따른 사용자 발의 포즈를 추정하는 장치는 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 정의부; 상기 실제 좌표계에 존재하는 사용자 발에 부착된 적어도 두 개의 마커들의 벡터를 상기 가상 좌표계에서 계산하는 벡터 계산부; 상기 가상 좌표계에서 상기 적어도 두 개의 마커들에 대한 이전 이미지 및 현재 이미지를 기초로 상기 사용자 발의 회전각을 계산하는 회전각 계산부; 상기 사용자 발의 회전각을 기초로 상기 가상 좌표계에서 상기 사용자 발의 가상 모델을 회전하는 회전부; 및 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 기초로 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 변환부를 포함한다. 이에 대한 상세한 설명은 생략한다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 발 모션(foot motion) 추정 시스템을 나타낸 도면이다.
도 2는 그라운드 평면에 부착된 네 개의 원형 마커들 및 사용자 발에 부착된 두 개의 원형 마커들에 대한 검출 결과를 나타낸다.
도 3은 그라운드 평면 위에 있는 네 개의 마커들을 통해 정의되는 교차점 및 사용자 발 위에 있는 두 개의 마커들을 통해 정의되는 중심선을 나타낸 도면이다.
도 4는 사용자 발의 포즈를 추정하는 과정을 개념적으로 설명하기 위한 도면이다.
도 5는 그라운드 평면의 노말 벡터를 나타낸 도면이다.
도 6은 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축이 평행하도록 그라운드 평면을 제어하는 과정을 나타낸 도면이다.
도 7은 그라운드 평면의 노말 벡터와 가상 좌표계의 y 축은 평행하게 된 결과의 예를 나타낸 도면이다.
도 8은 그라운드 평면이 제어된 이후에, 사용자 발에 부착된 마커들을 가상 좌표계로 이동한 결과의 예를 나타낸 도면이다.
도 9는 사용자 발에 부착된 마커들을 가상 좌표계에서 평행하게 이동하는 과정을 나타낸 도면이다.
도 10은 평면 투영을 개념적으로 설명하기 위한 도면이다.
도 11은 그라운드 평면으로 투영된 두 개의 벡터들의 회전각 및 방향을 나타 낸 도면이다.
도 12는 가상 좌표계에서 가상의 발 모델의 포즈를 추정한 후, 그 가상의 발 모델을 원래의 좌표계로 변환하는 과정을 나타낸 도면이다.
도 13은 사용자 발의 포즈를 추정하는 방법을 나타낸 동작 흐름도이다.

Claims (17)

  1. 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 단계;
    상기 실제 좌표계에 존재하는 사용자 발에 부착된 적어도 두 개의 마커들의 벡터-상기 두 개의 마커들의 벡터는 상기 가상 좌표계의 원점으로부터 상기 가상 좌표계에서 상기 두 개의 마커들의 좌표들까지의 벡터들임-를 상기 가상 좌표계에서 계산하는 단계;
    상기 가상 좌표계에서 상기 적어도 두 개의 마커들에 대한 이전 이미지 및 현재 이미지를 기초로 상기 사용자 발의 회전각을 계산하는 단계;
    상기 사용자 발의 회전각을 기초로 상기 가상 좌표계에서 상기 사용자 발의 가상 모델을 회전하는 단계; 및
    상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 기초로 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 단계
    를 포함하는 사용자 발의 가상 모델을 처리하는 방법.
  2. 제1항에 있어서,
    상기 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 단계는
    그라운드 평면에 부착된 적어도 네 개의 마커들을 검출하고, 상기 네 개의 마커들을 이용하여 상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 정의하는 단계인 사용자 발의 가상 모델을 처리하는 방법.
  3. 제1항에 있어서,
    상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 단계는
    수학식
    Figure 112011022491510-pat00046
    에 따라 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 단계이고,
    Figure 112011022491510-pat00047
    는 상기 사용자 발의 회전각이고,
    Figure 112011022491510-pat00048
    는 그라운드 평면의 중심점이고,
    Figure 112011022491510-pat00049
    및
    Figure 112011022491510-pat00050
    는 상기 가상 좌표계로 이동된 상기 적어도 두 개의 마커들 중 어느 하나의 마커에 대한 x 축값, z 축값이며,
    Figure 112011022491510-pat00051
    ,
    Figure 112011022491510-pat00052
    ,
    Figure 112011022491510-pat00053
    ,
    Figure 112011022491510-pat00054
    이고,
    Figure 112011022491510-pat00055
    는 그라운드 평면의 노말 벡터와 상기 가상 좌표계의 x, y, z 축 사이의 회전각인 사용자 발의 가상 모델을 처리하는 방법.
  4. 제1항에 있어서,
    상기 실제 좌표계로 변환된 사용자 발의 가상 모델을 2차원 이미지로 변환하는 단계
    를 더 포함하는 사용자 발의 가상 모델을 처리하는 방법.
  5. 제4항에 있어서,
    상기 2차원 이미지를 디스플레이하는 단계
    를 더 포함하는 사용자 발의 가상 모델을 처리하는 방법.
  6. 제1항에 있어서,
    상기 사용자 발의 회전각을 계산하는 단계는
    상기 사용자 발의 회전각을 계산하기 위하여 상기 적어도 두 개의 마커들의 벡터를 그라운드 평면으로 투영하는 단계
    를 포함하는 사용자 발의 가상 모델을 처리하는 방법.
  7. 제1항에 있어서,
    상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 정의하는 단계는
    상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 정의하기 위하여 그라운드 평면의 중심점으로부터 카메라 좌표계의 원점으로의 이동량 및 상기 카메라 좌표계의 원점으로부터 상기 가상 좌표계의 원점으로의 이동량을 계산하는 단계
    를 포함하는 사용자 발의 가상 모델을 처리하는 방법.
  8. 제1항에 있어서,
    상기 사용자 발의 회전각을 계산하는 단계는
    상기 적어도 두 개의 마커들을 상기 가상 좌표계로 이동하는 단계
    를 포함하는 사용자 발의 가상 모델을 처리하는 방법.
  9. 삭제
  10. 삭제
  11. 제1항 내지 제8항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  12. 가상 좌표계와 실제 좌표계 사이의 관계를 정의하는 정의부;
    상기 실제 좌표계에 존재하는 사용자 발에 부착된 적어도 두 개의 마커들의 벡터-상기 두 개의 마커들의 벡터는 상기 가상 좌표계의 원점으로부터 상기 가상 좌표계에서 상기 두 개의 마커들의 좌표들까지의 벡터들임-를 상기 가상 좌표계에서 계산하는 벡터 계산부;
    상기 가상 좌표계에서 상기 적어도 두 개의 마커들에 대한 이전 이미지 및 현재 이미지를 기초로 상기 사용자 발의 회전각을 계산하는 회전각 계산부;
    상기 사용자 발의 회전각을 기초로 상기 가상 좌표계에서 상기 사용자 발의 가상 모델을 회전하는 회전부; 및
    상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 기초로 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하는 변환부
    를 포함하는 사용자 발의 가상 모델을 처리하는 장치.
  13. 제12항에 있어서,
    상기 변환부는
    수학식
    Figure 112011022491510-pat00056
    에 따라 상기 회전된 사용자 발의 가상 모델을 상기 실제 좌표계로 변환하고,
    Figure 112011022491510-pat00057
    는 상기 사용자 발의 회전각이고,
    Figure 112011022491510-pat00058
    는 그라운드 평면의 중심점이고,
    Figure 112011022491510-pat00059
    및
    Figure 112011022491510-pat00060
    는 상기 가상 좌표계로 이동된 상기 적어도 두 개의 마커들 중 어느 하나의 마커에 대한 x 축값, z 축값이며,
    Figure 112011022491510-pat00061
    ,
    Figure 112011022491510-pat00062
    ,
    Figure 112011022491510-pat00063
    ,
    Figure 112011022491510-pat00064
    이고,
    Figure 112011022491510-pat00065
    는 상기 그라운드 평면의 노말 벡터와 상기 가상 좌표계의 x, y, z 축 사이의 회전각인 사용자 발의 가상 모델을 처리하는 장치.
  14. 제12항에 있어서,
    상기 정의부는
    상기 가상 좌표계와 상기 실제 좌표계 사이의 관계를 정의하기 위하여 그라운드 평면의 중심점으로부터 카메라 좌표계의 원점으로의 이동량 및 상기 카메라 좌표계의 원점으로부터 상기 가상 좌표계의 원점으로의 이동량을 계산하는 사용자 발의 가상 모델을 처리하는 장치.
  15. 제12항에 있어서,
    상기 회전각 계산부는
    상기 사용자 발의 회전각을 계산하기 위하여 상기 적어도 두 개의 마커들의 벡터를 그라운드 평면으로 투영하는 사용자 발의 가상 모델을 처리하는 장치.
  16. 삭제
  17. 삭제
KR1020090077581A 2009-08-21 2009-08-21 발 모션 추정 시스템 및 그 방법 KR101035793B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090077581A KR101035793B1 (ko) 2009-08-21 2009-08-21 발 모션 추정 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090077581A KR101035793B1 (ko) 2009-08-21 2009-08-21 발 모션 추정 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110019949A KR20110019949A (ko) 2011-03-02
KR101035793B1 true KR101035793B1 (ko) 2011-05-20

Family

ID=43929373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090077581A KR101035793B1 (ko) 2009-08-21 2009-08-21 발 모션 추정 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101035793B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010102881A (ko) * 2001-10-09 2001-11-17 하영균 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템
KR20030068444A (ko) * 2002-02-12 2003-08-21 일본국(동경대학장소관) 수동적 광학식 모션캡처 데이터 처리법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010102881A (ko) * 2001-10-09 2001-11-17 하영균 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템
KR20030068444A (ko) * 2002-02-12 2003-08-21 일본국(동경대학장소관) 수동적 광학식 모션캡처 데이터 처리법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"제스처 인식과 응용에 관한 연구", 한국해양정보통신학회지 vol. 2, no. 2, pp. 28-34, 2001.

Also Published As

Publication number Publication date
KR20110019949A (ko) 2011-03-02

Similar Documents

Publication Publication Date Title
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US11948376B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
EP2671384B1 (en) Mobile camera localization using depth maps
US10789765B2 (en) Three-dimensional reconstruction method
JP6242334B2 (ja) 平面特性基盤マーカーレス拡張現実システムおよびその動作方法
JP6044005B2 (ja) 部分的に既知の環境におけるカメラの位置特定および３ｄ再構築を行う方法
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR102455632B1 (ko) 스테레오 매칭 방법 및 장치
JP2006509211A (ja) 多重同期ビデオストリームからの動的奥行き復元
US8526734B2 (en) Three-dimensional background removal for vision system
KR20120011653A (ko) 영상 처리 장치 및 방법
KR20210058686A (ko) 동시적 위치 추정 및 맵 작성을 구현하는 장치 및 방법
KR101032509B1 (ko) 칼만 필터를 이용한 실시간 발 모션 추정 시스템 및 그 방법
KR101626057B1 (ko) 3뷰 영상의 디스패리티 추정 방법 및 장치
KR101035793B1 (ko) 발 모션 추정 시스템 및 그 방법
KR20120115871A (ko) 감시 영상의 3차원 정합 방법 및 시스템
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
JP2001222707A (ja) 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体
KR101034675B1 (ko) 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템
An et al. Tracking an RGB-D camera on mobile devices using an improved frame-to-frame pose estimation method
KR102555269B1 (ko) 전방향 영상센서 및 관성측정센서의 자세추정 융합 방법 및 시스템
KR101845246B1 (ko) 하이브리드 센서를 이용한 실감 동작 생성 방법 및 장치
JP2021018557A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee