KR101971258B1 - 영상의 원근 왜곡 보정 장치 및 그 방법 - Google Patents

영상의 원근 왜곡 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR101971258B1
KR101971258B1 KR1020170116725A KR20170116725A KR101971258B1 KR 101971258 B1 KR101971258 B1 KR 101971258B1 KR 1020170116725 A KR1020170116725 A KR 1020170116725A KR 20170116725 A KR20170116725 A KR 20170116725A KR 101971258 B1 KR101971258 B1 KR 101971258B1
Authority
KR
South Korea
Prior art keywords
image
coordinate information
model
information
image data
Prior art date
Application number
KR1020170116725A
Other languages
English (en)
Other versions
KR20190029326A (ko
Inventor
김회율
유지은
조훈
이홍준
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020170116725A priority Critical patent/KR101971258B1/ko
Publication of KR20190029326A publication Critical patent/KR20190029326A/ko
Application granted granted Critical
Publication of KR101971258B1 publication Critical patent/KR101971258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상의 원근 왜곡 보정 장치 및 그 방법에 대한 것이다. 본 발명의 일 실시예에 따른 영상 원근 왜곡 보정 장치는 프로세서 및 프로세서에 연결된 메모리를 포함하며, 메모리는 프로세서에 의해 실행 가능한, 제1 영상데이터의 피사체 영역에 상응하는 3차원 모델을 검출하고, 제1 영상데이터에서 3차원 모델에 상응하는 색상정보를 검출하고, 3차원 모델의 좌표 중 거리좌표를 변경한 정보와 색상정보를 이용하여 제2 영상데이터를 생성하는 프로그램 명령어들을 저장할 수 있다. 본 발명에 따르면 간단한 3차원 모델링을 통해 사용자의 개입 없이 쉽고 빠르게 영상의 원근 왜곡이 보정될 수 있다.

Description

영상의 원근 왜곡 보정 장치 및 그 방법{PERSPECTIVE DISTORTION CORRECTING APPARATUS FOR IMAGE AND METHOD THREROF}
본 발명은 영상의 원근 왜곡 보정 장치 및 그 방법에 대한 것이다.
피사체와 카메라의 거리가 짧을 경우 원근의 차이가 매우 강조된 영상이 촬영될 수 있는데, 이를 원근 왜곡(Perspective distortion)이라 한다. 원근 왜곡을 보정하기 위한 다양한 기술이 개발되었는데, 특히 사람 얼굴에 대한 원근 왜곡을 보정하기 위하여 평균적인 3차원 얼굴 모델을 영상의 사람 얼굴에 피팅(fitting)하는 기술이 개발되었다. 이에 대해 도 1을 참조하여 조금 더 설명한다.
도 1은 종래의 영상 왜곡 보정 방법을 설명하기 위한 예시도이다.
도 1에 예시된 바와 같이, 종래의 영상 왜곡 보정 방법은 미리 설정된 평균적인 3D 얼굴 모델을 영상의 사람 얼굴에 피팅하고, 3D 얼굴 모델의 제1 기준점(도 1에 예시된 적색점)과 영상의 사람 얼굴의 제2 기준점(도 1에 예시된 녹색점)을 매칭하는 과정을 수행한다. 도 1의 보정 전 영상(110)에는 제1 기준점과 제2 기준점이 서로 상이하였으나, 보정 후 영상(120)에는 제1 기준점과 제2 기준점이 서로 매칭되어 있는 것을 확인할 수 있다.
이러한 종래 기술은 많은 계산을 필요로 하기 때문에 영상 보정을 위해 많은 시간이 소요되는 문제점이 있다. 영상에서 제2 기준점을 검출하고, 제1 기준점과 제2 기준점을 매칭하는 정교한 과정이 필요하기 때문이다. 또한, 종래 기술은 영상에서 제1 기준점과 제2 기준점의 매칭을 빠르게 수행하기 위하여 영상의 사람 얼굴의 머리 위 끝점과 양쪽 귀 끝점을 사용자가 직접 지정해주어야 하므로 사용이 번거롭다는 문제점도 있다.
본 발명은 빠르고 쉽게 영상의 원근 왜곡을 보정할 수 있는 영상 왜곡 보정 장치 및 그 방법을 제공하고자 한다.
본 발명의 일 실시예에 따르면, 프로세서; 및 상기 프로세서에 연결된 메모리;를 포함하며, 상기 메모리는 상기 프로세서에 의해 실행 가능한, 제1 영상데이터의 피사체 영역에 상응하는 3차원 모델을 검출하고, 상기 제1 영상데이터에서 상기 3차원 모델에 상응하는 색상정보를 검출하고, 상기 3차원 모델의 좌표 중 거리좌표를 변경한 정보와 상기 색상정보를 이용하여 제2 영상데이터를 생성하는 프로그램 명령어들을 저장하는, 영상 원근 왜곡 보정 장치가 개시된다.
또한 본 발명의 다른 실시예에 따르면, 영상 원근 왜곡 보정 방법에 있어서, 제1 영상데이터의 피사체 영역에 상응하는 3차원 모델을 검출하는 단계; 상기 제1 영상데이터에서 상기 3차원 모델에 상응하는 색상정보를 검출하는 단계; 및 상기 3차원 모델의 좌표 중 거리좌표를 변경한 정보와 상기 색상정보를 이용하여 제2 영상데이터를 생성하는 단계;를 포함하는 영상 원근 왜곡 보정 방법이 개시된다.
실시예에 따라, 상기 3차원 모델은, 상기 피사체 영역을 모두 포함하는 타원체 중 부피가 가장 작은 타원체에 상응할 수 있다.
실시예에 따라, 상기 색상정보는, 상기 3차원 모델에 상응하는 제1 모델좌표정보와 미리 설정된 카메라 파라미터를 통해 검출된 제1 영상좌표정보에 포함된 각 픽셀의 색상정보를 포함할 수 있다.
실시예에 따라, 상기 제1 모델좌표정보는, 상기 3차원 모델에 대해 미리 설정된 공간 상의 좌표값일 수 있다.
실시예에 따라, 상기 각 픽셀의 색상정보는, 상기 제1 모델좌표정보에 포함된 복수의 좌표값 중 상응하는 단일의 좌표값에 매칭될 수 있다.
실시예에 따라, 상기 제2 영상데이터는, 상기 3차원 모델에 상응하는 제1 모델좌표정보의 거리좌표가 변경된 제2 모델좌표정보와 미리 설정된 카메라 파라미터를 통해 검출된 제2 영상좌표정보를 이용하여 생성될 수 있다.
실시예에 따라, 상기 제2 영상데이터는, 상기 제2 모델좌표정보에 포함된 각 좌표값과 상기 색상정보에 포함된 각 픽셀의 색상값이 매칭되고, 상기 제2 영상좌표정보에 상응하는 각 픽셀에 상기 제2 모델좌표정보에 매칭된 상기 색상값이 대입되어 생성될 수 있다.
실시예에 따라, 상기 제2 모델좌표정보는, 사용자의 설정 또는 디폴트에 따라 상기 제1 모델좌표정보의 거리좌표가 변경되어 생성될 수 있다.
본 발명에 따르면 간단한 3차원 모델링을 통해 사용자의 개입 없이 쉽고 빠르게 영상의 원근 왜곡이 보정될 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 종래의 영상 왜곡 보정 방법을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에 대한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따라 영상 왜곡 보정 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따라 영상의 왜곡이 보정되는 과정을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 왜곡 보정 방법을 나타내는 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에 대한 블록 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 원근 왜곡 보정 장치(200)는 카메라부(210), 영상보정부(220), 메모리부(230) 및 디스플레이부(240)를 포함할 수 있다.
카메라부(210)는 3차원 공간의 피사체를 촬영하여 2차원 평면에 투영(projection)하는 기능을 하기 위해 렌즈, 이미지 센서 등을 포함하는 구성으로서, 사용자의 조작에 따라 제1 영상데이터를 생성할 수 있다. 여기서 제1 영상데이터는 원근 왜곡이 보정되기 전의 이미지 또는 동영상일 수 있다. 카메라부(210)는 생성한 제1 영상데이터를 영상보정부(220)로 출력할 수 있다.
영상보정부(220)는 입력된 제1 영상데이터를 미리 설정된 방법에 따라 원근 왜곡 보정하여 제2 영상데이터를 생성할 수 있다. 여기서 제2 영상데이터는 제1 영상데이터의 원근 왜곡이 보정된 이미지 또는 동영상일 수 있다.
메모리부(230)는 영상보정부(220)가 제2 영상데이터를 생성할 수 있도록 하는 프로그램 및/또는 정보가 저장될 수 있다. 특히 메모리부(230)에는 카메라 파라미터가 미리 저장되어 있을 수 있다. 카메라 파라미터는 초점거리(focal length), 주점(principal point), 비대칭계수(skew coefficient)와 같은 카메라부(210)의 내부 특성에 대한 정보를 포함하는 정보일 수 있다. 메모리부(230)는 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 플래쉬 메모리 장치 등 컴퓨터로 읽혀질 수 있는 데이터의 저장이 가능한 모든 종류의 저장매체를 포함할 수 있다.
이하 도 3 및 도 4를 참조하여 영상보정부(220)가 제1 영상데이터의 원근 왜곡을 보정하여 제2 영상데이터를 생성하는 동작에 대하여 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따라 영상 왜곡 보정 방법을 설명하기 위한 예시도이다.
도 3에는 핀홀(pin hole) 카메라로 구성된 카메라부(210)를 이용하여 피사체(300)가 촬영되는 경우가 예시된다.
카메라부(210)에서 생성된 제1` 영상데이터는 피사체(300)를 구성하는 3차원 공간의 점들을 2차원 평면(320)에 핀홀(310)을 통해 투사(perspective projection)함으로써 얻어진다. 즉, 도 3의 피사체(300)를 구성하는 각 3차원 좌표는 아래 수식 1과 같이 카메라 파라미터에 의해 2차원 영상좌표(x, y)로 투영될 수 있다.
[수식 1]
Figure 112017088611422-pat00001
여기서, x 및 y는 제1 영상데이터의 2차원 영상좌표정보의 각 값일 수 있다. 또한,
Figure 112017088611422-pat00002
및
Figure 112017088611422-pat00003
는 카메라 파라미터로서 저장된 초점거리(렌즈 중심과 이미지센서와의 거리)일 수 있다. 또한
Figure 112017088611422-pat00004
,
Figure 112017088611422-pat00005
및
Figure 112017088611422-pat00006
는 피사체를 구성하는 3자원 좌표의 각 값일 수 있다.
이때 제1 영상데이터로 투영된 피사체(330)는 상하 반전된 모습일 수 있고, 디스플레이부(240)를 통해서는 다시 상하 반전되어 디스플레이될 수 있다. 따라서 사용자는 가상의 3차원 평면(340)과 같이 투영된 피사체를 시각적으로 인지할 수 있다.
한편 피사체(300)를 구성하는 3차원 좌표값이 알려져 있다면 영상보정부(220)는 3차원 좌표값의
Figure 112017088611422-pat00007
를
Figure 112017088611422-pat00008
로 수정하여 카메라부(210)의 렌즈와 피사체(300) 사이의 거리를 가상으로 변경할 수 있다. 이때 d는 미리 설정된 실수로서 디폴트(default)로 설정될 수도 있고, 사용자의 조작에 의해 설정될 수도 있다.
이후 영상보정부(220)는 거리가 임의로 변경된 피사체(350)를 구성하는 3차원 좌표값과 카메라 파라미터를 이용하여 피사체가
Figure 112017088611422-pat00009
에 위치하는 경우의 제2 영상데이터를 획득할 수 있다. 즉, 도 3의 거리가 임의로 변경된 피사체 피사체(350)를 구성하는 각 3차원 좌표는 아래 수식 2과 같이 카메라 파라미터에 의해 2차원 영상좌표(x', y')로 투영될 수 있다.
[수식 2]
Figure 112017088611422-pat00010
상기에 따라 영상보정부(220)는 제1 영상데이터의 원근 왜곡이 보정된 제2 영상데이터를 생성할 수 있다. 이에 대해 도 4 및 도 5를 참조하여 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따라 영상의 왜곡이 보정되는 과정을 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 영상 왜곡 보정 방법을 나타내는 순서도이다.
도 5의 단계 S510을 참조하면, 먼저 영상보정부(220)는 제1 영상데이터(410)가 입력되면 제1 영상데이터를 분석하여 피사체영역을 검출할 수 있다. 피사체가 사람의 얼굴인 경우인 도 4의 예시를 참조하여 설명하면, 영상보정부(220)는 제1 영상데이터(410)에서 피사체인 사람의 이목구비를 검출하여 피사체영역을 검출할 수 있다. 영상보정부(220)가 제1 영상데이터에서 피사체영역을 검출하는 방법은 이미 공개된 다양한 방법이 이용될 수 있으므로 이에 대한 상세한 설명은 생략될 수 있다.
단계 S520에서, 영상보정부(220)는 검출된 피사체영역에 상응하는 3차원 모델을 검출할 수 있다(도 4의 420 참조). 예를 들어, 영상보정부(220)는 피사체영역을 모두 포함하는 타원체(ellipsoid) 중 부피가 가장 작은 타원체를 3차원 모델로 검출할 수 있다. 다른 예를 들어, 영상보정부(220)는 피사체영역을 모두 포함하는 계란형체(egg-shape) 중 부피가 가장 작은 계란형체를 3차원 모델로 검출할 수 있다.
단계 S530에서, 영상보정부(220)는 검출된 3차원 모델에 상응하는 3차원 좌표 정보(이하, '제1 모델좌표정보'라 칭함)를 검출할 수 있다. 여기서 제1 모델좌표정보는 검출된 3차원 모델을 구성하는 3차원 좌표에 대한 정보로서, 당해 3차원 모델과 매칭되어 메모리부(230)에 미리 저장된 정보일 수 있다. 따라서 영상보정부(220)는 3차원 모델이 검출되면, 메모리부(230)에서 검출된 3차원 모델과 매칭된 제1 모델좌표정보도 검출할 수 있다.
단계 S540에서, 영상보정부(220)는 제1 모델좌표정보 및 카메라 파라미터를 이용하여 3차원 모델의 각 좌표값들이 카메라부(210)의 2차원 평면에 투영된 2차원 영상좌표값들(이하, '제1 영상좌표정보'라 칭함)을 생성할 수 있다. 예를 들어, 영상보정부(220)는 상기 수식 1을 이용하여 제1 영상좌표정보(x, y)를 생성할 수 있다.
단계 S550에서, 영상보정부(220)는 제1 영상좌표정보의 각 픽셀에 상응하는 색상정보를 검출하여 저장할 수 있다. 예를 들어 제1 영상좌표정보에 포함된 좌표값 (x1, y1)이 제1 모델좌표정보에 포함된 (X1, Y1, Z1)에 상응하며, (x1, y1)에 상응하는 픽셀의 색상값이 (R1, G1, B1)인 경우, 영상보정부(220)는 (R1, G1, B1)을 (X1, Y1, Z1)과 매칭하여 메모리부(230)에 저장할 수 있다. 비슷한 방법으로, 제1 영상좌표정보에 포함된 좌표값 (x2, y2)이 제1 모델좌표정보에 포함된 (X2, Y2, Z2)에 상응하며, (x2, y2)에 상응하는 픽셀의 색상값이 (R2, G2, B2)인 경우, 영상보정부(220)는 (R2, G2, B2)을 (X2, Y2, Z2)와 매칭하여 메모리부(230)에 저장할 수 있다.
단계 S560에서, 영상보정부(220)는 제1 모델좌표정보의 거리좌표를 변경하여 제2 모델좌표정보를 생성할 수 있다. 예를 들어, 영상보정부(220)는 제1 모델좌표정보를 구성하는 모든 3차원 좌표값의 거리좌표에 미리 설정된 실수인 'd'를 더하여 제2 모델좌표정보를 생성할 수 있다. 따라서 제1 모델좌표정보 (X1, Y1, Z1)에 상응하는 제2 모델좌표정보는 (X1, Y1, Z1+d)일 수 있고, 제1 모델좌표정보 (X2, Y2, Z2)에 상응하는 제2 모델좌표정보는 (X2, Y2, Z2+d)일 수 있다.
한편 색상정보에 포함된 각 픽셀의 색상값은 제2 모델좌표정보의 각 좌표값과도 매칭될 수 있다. 상술한 예시에서 (R1, G1, B1)이 (X1, Y1, Z1)에 매칭되어 있으므로 (R1, G1, B1)은 (X1, Y1, Z1+d)와 매칭될 수 있다. 비슷한 방법으로, (R2, G2, B2)이 (X2, Y2, Z2)에 매칭되어 있으므로 (R2, G2, B2)은 (X2, Y2, Z2+d)와 매칭될 수 있다.
단계 S570에서, 영상보정부(220)는 제2 모델좌표정보 및 카메라 파라미터를 이용하여 제2 영상좌표정보를 생성할 수 있다. 예를 들어, 영상보정부(220)는 상기 수식 2를 이용하여 제2 영상좌표정보(x', y')를 생성할 수 있다. 이때 피사체(300)의 위치가 미리 설정된 거리만큼 카메라부(210)와 멀어졌으므로, 영상보정부(220)는 거리가 멀어진 가상의 피사체(350)에 대한 제2 영상좌표정보의 스케일(scale)을 제1 영상좌표정보에 상응하도록 보정할 수 있다. 이 경우 스케일링된 제2 영상좌표정보의 각 좌표값이 정수가 아닌 실수로 스케일링될 수 있다. 따라서 영상보정부(220)는 제2 영상좌표정보의 각 좌표값을 반올림 또는 소수점 삭제 등의 방법에 의해 정수로 보정해줄 수 있다.
이상에서는 영상보정부(220)가 제2 모델좌표정보를 생성하고, 생성된 모델좌표정보를 이용하여 제2 영상좌표정보를 생성하는 것을 예시로 설명하였으나, 다른 예시에 따르면 영상보정부(220)가 제2 모델좌표정보를 생성하지 않고, 제1 영상좌표정보 및 수식2를 이용하여 제2 영상좌표정보를 생성할 수도 있다. 즉, 상기 수식2와 같이, 제2 영상좌표정보의 x' 및 y'는 각각
Figure 112017088611422-pat00011
에 의하여 계산될 수 있고,
Figure 112017088611422-pat00012
으로 표현될 수 있으므로,
Figure 112017088611422-pat00013
와 같이 제1 영상좌표정보로 표현될 수 있다.
단계 S580에서, 영상보정부(220)는 제2 영상좌표정보 및 저장된 색상정보를 이용하여 제2 영상데이터(도 4의 430)를 생성할 수 있다. 예를 들어, 영상보정부(220)는 제2 영상좌표정보의 각 픽셀에 제2 모델좌표정보에 매칭된 색상정보를 대입하여 제2 영상데이터를 생성할 수 있다. 상술한 예시에서 영상보정부(220)는 (X1, Y1, Z1+d)와 카메라 파라미터를 이용하여 (x1', y1')을 생성할 수 있고, (x1', y1')에 상응하는 픽셀에 (X1, Y1, Z1+d)와 매칭된 (R1, G1, B1)의 색상을 대입할 수 있다. 비슷한 방법으로, 영상보정부(220)는 (X2, Y2, Z2+d)와 카메라 파라미터를 이용하여 (x2', y2')을 생성할 수 있고, (x2', y2')에 상응하는 픽셀에 (X2, Y2, Z2+d)와 매칭된 (R2, G2, B2)의 색상을 대입할 수 있다.
상술한 바와 같이 본 발명에 따르면 간단한 3차원 모델링을 통해 사용자의 개입 없이 쉽고 빠르게 제1 영상데이터의 원근 왜곡이 보정된 제2 영상데이터가 생성될 수 있다.
상술한 영상보정부(220)는 상술한 각 기능이 논리적으로 구성된 형태일 수 있다. 따라서, 영상보정부(220)는 하나의 모듈로서 구성될 수도 있다. 또한, 영상보정부(220)의 기능은 메모리부(230)에 저장된 루틴, 명령어(instruction) 또는 프로그램의 형태로 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
200 : 영상 원근 왜곡 보정 장치
210 : 카메라부
220 : 영상보정부
230 : 메모리부
240 : 디스플레이부

Claims (15)

  1. 프로세서; 및
    상기 프로세서에 연결된 메모리;
    를 포함하며,
    상기 메모리는 상기 프로세서에 의해 실행 가능한,
    2차원 평면에 투영된 제1 영상데이터를 분석하여 피사체영역을 검출하고, 제1 영상데이터의상기 검출한 피사체 영역에 상응하는 3차원 모델을 검출하고, 상기 제1 영상데이터에서 상기 3차원 모델에 상응하는 색상정보를 검출하고, 상기 3차원 모델의 좌표 중 거리좌표를 변경한 정보와 상기 색상정보를 이용하여 제2 영상데이터를 생성하는 프로그램 명령어들을 저장하되,
    상기 제2 영상데이터는,
    상기 3차원 모델에 상응하는 제1 모델좌표정보의 거리좌표가 변경된 제2 모델좌표정보와 미리 설정된 카메라 파라미터를 통해 검출된 제2 영상좌표정보를 이용하여 생성되며, 상기 제2 영상좌표정보는 상기 제1 모델좌표정보에 상응하는 제1 영상좌표정보를 기초로 한 하기의 수식을 통해 산출하는,영상 원근 왜곡 보정 장치.
    Figure 112019031507044-pat00021

  2. 제1항에 있어서,
    상기 3차원 모델은,
    상기 피사체 영역을 모두 포함하는 타원체 또는 계란형체 중 부피가 가장 작은 타원체 또는 계란형체에 상응하는, 영상 원근 왜곡 보정 장치
  3. 제1항에 있어서,
    상기 색상정보는,
    상기 3차원 모델에 상응하는 제1 모델좌표정보와 미리 설정된 카메라 파라미터를 통해 검출된 제1 영상좌표정보에 포함된 각 픽셀의 색상정보를 포함하는, 영상 원근 왜곡 보정 장치
  4. 제3항에 있어서,
    상기 제1 모델좌표정보는,
    상기 3차원 모델에 대해 미리 설정된 공간 상의 좌표값인, 영상 원근 왜곡 보정 장치
  5. 제4항에 있어서,
    상기 각 픽셀의 색상정보는,
    상기 제1 모델좌표정보에 포함된 복수의 좌표값 중 상응하는 단일의 좌표값에 매칭되는, 영상 원근 왜곡 보정 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 제2 영상데이터는,
    상기 제2 모델좌표정보에 포함된 각 좌표값과 상기 색상정보에 포함된 각 픽셀의 색상값이 매칭되고, 상기 제2 영상좌표정보에 상응하는 각 픽셀에 상기 제2 모델좌표정보에 매칭된 상기 색상값이 대입되어 생성되는, 영상 원근 왜곡 보정 장치
  8. 제1항에 있어서,
    상기 제2 모델좌표정보는,
    사용자의 설정 또는 디폴트에 따라 상기 제1 모델좌표정보의 거리좌표가 변경되어 생성되는, 영상 원근 왜곡 보정 장치
  9. 영상 원근 왜곡 보정 방법에 있어서,
    2차원 평면에 투영된 제1 영상데이터를 분석하여 피사체영역을 검출하는 단계;
    제1 영상데이터의 상기 검출한 피사체 영역에 상응하는 3차원 모델을 검출하는 단계;
    상기 제1 영상데이터에서 상기 3차원 모델에 상응하는 색상정보를 검출하는 단계; 및
    상기 3차원 모델의 좌표 중 거리좌표를 변경한 정보와 상기 색상정보를 이용하여 제2 영상데이터를 생성하는 단계;
    를 포함하되,
    상기 제2 영상데이터는,
    상기 3차원 모델에 상응하는 제1 모델좌표정보의 거리좌표가 변경된 제2 모델좌표정보와 미리 설정된 카메라 파라미터를 통해 검출된 제2 영상좌표정보를 이용하여 생성되며, 상기 제2 영상좌표정보는 상기 제1 모델좌표정보에 상응하는 제1 영상좌표정보를 기초로 한 수식을 통해 산출하는, 영상 원근 왜곡 보정 방법.
    Figure 112019031507044-pat00022

  10. 제9항에 있어서,
    상기 3차원 모델은,
    상기 피사체 영역을 모두 포함하는 타원체 중 부피가 가장 작은 타원체에 상응하는, 영상 원근 왜곡 보정 방법
  11. 제9항에 있어서,
    상기 색상정보는,
    상기 3차원 모델에 상응하는 제1 모델좌표정보와 미리 설정된 카메라 파라미터를 통해 검출된 제1 영상좌표정보에 포함된 각 픽셀의 색상정보를 포함하는, 영상 원근 왜곡 보정 방법
  12. 제11항에 있어서,
    상기 제1 모델좌표정보는,
    상기 3차원 모델에 대해 미리 설정된 공간 상의 좌표값인, 영상 원근 왜곡 보정 방법
  13. 삭제
  14. 제9항에 있어서,
    상기 제2 영상데이터는,
    상기 제2 모델좌표정보에 포함된 각 좌표값과 상기 색상정보에 포함된 각 픽셀의 색상값이 매칭되고, 상기 제2 영상좌표정보에 상응하는 각 픽셀에 상기 제2 모델좌표정보에 매칭된 상기 색상값이 대입되어 생성되는, 영상 원근 왜곡 보정 방법
  15. 제9항에 있어서,
    상기 제2 모델좌표정보는,
    사용자의 설정 또는 디폴트에 따라 상기 제1 모델좌표정보의 거리좌표가 변경되어 생성되는, 영상 원근 왜곡 보정 방법
KR1020170116725A 2017-09-12 2017-09-12 영상의 원근 왜곡 보정 장치 및 그 방법 KR101971258B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170116725A KR101971258B1 (ko) 2017-09-12 2017-09-12 영상의 원근 왜곡 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170116725A KR101971258B1 (ko) 2017-09-12 2017-09-12 영상의 원근 왜곡 보정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190029326A KR20190029326A (ko) 2019-03-20
KR101971258B1 true KR101971258B1 (ko) 2019-04-22

Family

ID=66036044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170116725A KR101971258B1 (ko) 2017-09-12 2017-09-12 영상의 원근 왜곡 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101971258B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187822A (ja) 2012-03-09 2013-09-19 Ricoh Co Ltd 補正式算出方法、補正方法、補正装置及び撮像装置
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0171970B1 (ko) * 1995-10-09 1999-02-18 오기수 한약 자동 추출장치
KR101700595B1 (ko) * 2010-01-05 2017-01-31 삼성전자주식회사 얼굴 인식 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187822A (ja) 2012-03-09 2013-09-19 Ricoh Co Ltd 補正式算出方法、補正方法、補正装置及び撮像装置
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법

Also Published As

Publication number Publication date
KR20190029326A (ko) 2019-03-20

Similar Documents

Publication Publication Date Title
US9565364B2 (en) Image capture device having tilt and/or perspective correction
JP4435145B2 (ja) 幾何情報を校正してパノラマ映像を提供する方法および装置
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
KR102277048B1 (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
US9691137B2 (en) Radial distortion parameter acquiring method and apparatus
US9865032B2 (en) Focal length warping
WO2016065632A1 (zh) 一种图像处理方法和设备
US20070248281A1 (en) Prespective improvement for image and video applications
CN112272292B (zh) 投影校正方法、装置和存储介质
WO2013009416A2 (en) Method and apparatus for calibrating an imaging device
JP2007183949A (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
CN112055869A (zh) 对面部的透视畸变校正
US20170289516A1 (en) Depth map based perspective correction in digital photos
KR20190079503A (ko) 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
JP5966657B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
US10068339B2 (en) Image processing device, image processing system, image processing method and image processing program
KR101971258B1 (ko) 영상의 원근 왜곡 보정 장치 및 그 방법
WO2021145913A1 (en) Estimating depth based on iris size
CN109643455A (zh) 摄像头标定方法和终端
CN115086625B (zh) 投影画面的校正方法、装置、***、校正设备和投影设备
JP6744550B2 (ja) 画像投影装置、画像投影方法および画像投影プログラム
KR101825321B1 (ko) 모바일 카메라 인식 기술을 이용한 실시간 촬영 최적 구도 피드백 제공 시스템 및 방법
JP2021064043A (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
KR102231759B1 (ko) 표면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant