KR101694294B1 - 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법 - Google Patents

영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법 Download PDF

Info

Publication number
KR101694294B1
KR101694294B1 KR1020100132883A KR20100132883A KR101694294B1 KR 101694294 B1 KR101694294 B1 KR 101694294B1 KR 1020100132883 A KR1020100132883 A KR 1020100132883A KR 20100132883 A KR20100132883 A KR 20100132883A KR 101694294 B1 KR101694294 B1 KR 101694294B1
Authority
KR
South Korea
Prior art keywords
homography
matrix
calculating
camera
cameras
Prior art date
Application number
KR1020100132883A
Other languages
English (en)
Other versions
KR20120071224A (ko
Inventor
김재헌
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100132883A priority Critical patent/KR101694294B1/ko
Priority to US13/221,307 priority patent/US8564670B2/en
Publication of KR20120071224A publication Critical patent/KR20120071224A/ko
Application granted granted Critical
Publication of KR101694294B1 publication Critical patent/KR101694294B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법을 제공한다. 카메라 보정 장치는 서로 다른 위치에 존재하는 카메라들로부터 각각 동일한 배경을 촬영한 영상을 수신하는 영상 수신부; 및 영상 내에서 서로 다른 면에 위치하는 모든 평행사변형에 대한 정규 호모그래피들을 이용하여 전체 매트릭스를 산출하며, 전체 매트릭스를 이용하여 카메라들 사이의 무한 호모그래피를 동시에 산출하는 카메라 보정부를 포함한다.

Description

영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법 {Apparatus and method for calibrating camera with imaged parallelograms and multi-view constraints}
본 발명은 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 내에서 서로 다른 면에 위치하는 평행사변형을 이용하여 카메라를 보정하기 위한 장치 및 방법에 관한 것이다.
일반적으로 카메라 보정 작업은 카메라를 이용하여 3차원 정보를 생성하는 컴퓨터 비젼, 로보틱스, 영화산업 및 인간-컴퓨터 상호작용 등에 광범위하게 사용된다.
이러한 카메라 보정 방식의 한 예로는 특별하게 제작된 보정틀을 사용하여 카메라를 보정하는 것이다. 이처럼 보정틀을 사용하는 경우 특정 마커의 상대적인 위치를 미리 정확하게 알 수 있어 정밀한 결과를 얻을 수 있으나 무겁고 큰 보정틀을 항상 가지고 다녀야 하는 불편함이 있다.
다른 예로는 다양한 연속영상을 촬영하여 영상 자체를 카메라의 보정에 사용한다. 이처럼 프로젝티브 기하 복원을 기반으로 영상을 보정하는 방법을 자동 보정이라고 하며, 카메라 내부변수의 일부에 대해 알고 있다는 가정하에 이용 가능하다. 특별한 보정틀이나 배경에 대한 기하 정보가 없이도 보정할 수 있으나 정밀도를 위해 많은 양의 영상이 요구되는 문제점이 있다.
또 다른 예로는 영상에 존재하는 기하 정보를 이용하여 카메라를 보정한다. 여기서, 배경에 존재하는 기하 정보란 수직인 평행선의 집합이나 구, 원 등이 될 수 있으며, 이러한 기하 정보를 이용하면 특정한 보정틀과 복수의 영상을 이용하지 않고도 카메라를 보정할 수 있다. 그러나, 영상에 찍힌 배경에 수직인 평행선의 집합이나 구, 원 등의 기하 정보가 존재하지 않는 경우 카메라를 보정할 수 없는 문제점이 있다.
이러한 문제점을 해소하기 위해 인공 구조물에 많이 등장하는 평행사변형을 이용한 카메라 보정방법이 있으나, 각각의 카메라 쌍에 대한 무한 호모그래피를 따로 산출해야 하는 등의 정밀도 저하의 문제가 있다.
본 발명의 목적은 영상 내에서 서로 다른 면에 위치하는 평행사변형을 이용하여 카메라를 보정하기 위한 카메라 보정 장치 및 방법에 관한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 카메라 보정 장치는 서로 다른 위치에 존재하는 카메라들로부터 각각 동일한 배경을 촬영한 영상을 수신하는 영상 수신부; 및 상기 영상 내에서 서로 다른 면에 위치하는 모든 평행사변형에 대한 정규 호모그래피들을 이용하여 전체 매트릭스를 산출하며, 상기 전체 매트릭스를 이용하여 상기 카메라들 사이의 무한 호모그래피를 동시에 산출하는 카메라 보정부를 포함한다.
상기 카메라 보정부는 상기 영상의 물체에 투영된 적어도 두 개의 평행사변형의 꼭지점을 검출하여 상기 정규 호모그래피들을 산출하는 호모그래피 생성부를 포함한다.
상기 호모그래피 생성부는 상기 각 영상의 적어도 두 개의 평행사변형의 꼭지점과 정규 정사각형Canonic Square)의 꼭지점과의 대응을 통해 상기 정규 호모그래피들을 산출한다.
상기 카메라 보정부는 상기 정규 호모그래피를 조합하여 상대 호모그래피를 산출하고, 상기 상대 호모그래피의 고유치와 상기 정규 호모그래피들을 이용하여 상기 전체 매트릭스를 산출하는 매트릭스 생성부를 포함한다.
상기 매트릭스 생성부는 상기 상대 호모그래피의 고유치를 이용하여 상기 정규 호모그래피들을 각각에 대한 크기 조정 파라미터들을 산출하며, 상기 정규 호모그래피에 대응하는 상기 크기 조정 파라미터들을 곱하여 부행렬들을 산출한다.
상기 매트릭스 생성부는 상기 부행렬들에 대응하는 상기 크기 조정 파라미터들을 이용하여 상기 전체 매트릭스를 산출한다.
상기 카메라 보정부는 상기 전체 매트릭스를 특이값 분해(Singular Value Decomposition)한 결과 매트릭스 중 상기 카메라들의 개수에 대응하는 분해 매트릭스를 검출하고, 상기 분해 매트릭스를 이용하여 상기 무한 호모그래피를 동시에 산출하는 내부변수 생성부를 포함한다.
상기 내부변수 생성부는 상기 무한 호모그래피를 이용하여 상기 카메라들을 보정한다.
상기 카메라 보정부는 상기 카메라들을 보정한 결과를 이용하여 상기 평행사변형이 투영된 물체의 구조와 상기 카메라들의 위치를 복원한다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 카메라 보정 방법은 서로 다른 위치에 존재하는 카메라들로부터 각각 동일한 배경을 촬영한 영상을 수신하는 단계; 상기 영상 내에서 서로 다른 면에 위치하는 모든 평행사변형에 대한 정규 호모그래피들을 산출하는 단계; 상기 정규 호모그래피들을 이용하여 전체 매트릭스를 산출하는 단계; 및 상기 전체 매트릭스를 이용하여 상기 카메라들 사이의 무한 호모그래피를 동시에 산출하는 단계를 포함한다.
상기 정규 호모그래피들을 산출하는 단계는 상기 영상의 물체에 투영된 적어도 두 개의 평행사변형의 꼭지점을 검출하는 단계; 및 상기 각 영상의 적어도 두 개의 평행사변형의 꼭지점과 정규 정사각형Canonic Square)의 꼭지점과의 대응을 통해 상기 정규 호모그래피들을 산출하는 단계를 포함한다.
상기 전체 매트릭스를 산출하는 단계는 상기 정규 호모그래피를 조합하여 상대 호모그래피를 산출하는 단계; 상기 상대 호모그래피의 고유치를 이용하여 상기 정규 호모그래피들을 각각에 대한 크기 조정 파라미터들을 산출하는 단계; 상기 정규 호모그래피에 대응하는 상기 크기 조정 파라미터들을 곱하여 부행렬들을 산출하는 단계; 및 상기 부행렬들과 상기 크기 조정 파라미터들을 이용하여 상기 전체 매트릭스를 산출하는 단계를 포함한다.
상기 무한 호모그래피를 동시에 산출하는 단계는 상기 전체 매트릭스를 특이값 분해(Singular Value Decomposition)한 결과 매트릭스 중 상기 카메라들의 개수에 대응하는 분해 매트릭스를 검출하는 단계; 및 상기 분해 매트릭스를 이용하여 상기 무한 호모그래피를 동시에 산출하는 단계를 포함
상기 무한 호모그래피를 동시에 산출하는 단계는 상기 무한 호모그래피를 이용하여 상기 카메라들을 보정하는 단계; 및 상기 카메라들을 보정한 결과를 이용하여 상기 평행사변형이 투영된 물체의 구조와 상기 카메라들의 위치를 복원하는 단계를 포함한다.
본 발명의 실시예에 따르면, 본 발명의 실시예에 따른 서로 다른 위치에 존재하는 카메라로부터 각각 동일한 배경을 촬영한 영상을 전달받으며, 영상 내의 3차원 동일 공간에서 같은 면에 존재하지 않는 적어도 두 개의 평행사변형을 이용하여 전체 매트릭스를 산출하고 전체 매트릭스를 이용하여 무한 호모그래피를 동시에 산출함에 따라 무한 호모그래피를 따로 산출하였던 번거로움을 해소할 수 있으며, 일관성을 유지하여 정밀도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 보정 장치를 개략적으로 나타내는 도면이다.
도 2는 도 1에 도시한 카메라 보정 장치의 카메라 보정부를 개략적으로 나타내는 도면이다.
도 3 내지 도 5는 서로 다른 위치에 존재하는 카메라에서 촬영된 영상을 나타내는 도면이다.
도 6은 도 1에 도시한 카메라 보정 장치에서 내부변수를 산출하여 카메라를 보정하고, 카메라의 보정 결과를 이용하여 카메라의 위치 및 건물을 복원한 한 예로서, 위에서 내려다 본 결과를 나타내는 도면이다.
도 7은 도 1에 도시한 카메라 보정 장치에서 내부변수를 산출하여 카메라를 보정하고, 카메라의 보정 결과를 이용하여 카메라의 위치 및 건물을 복원한 한 예로서, 정면에서 본 결과를 나타내는 도면이다.
도 8은 도 1에 도시한 카메라 보정 장치에서 카메라를 보정하는 순서를 나타내는 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 보정 장치를 개략적으로 나타내는 도면이다. 도 2는 도 1에 도시한 카메라 보정 장치의 카메라 보정부를 개략적으로 나타내는 도면이다. 도 3 내지 도 5는 서로 다른 위치에 존재하는 카메라로에서 촬영된 영상을 나타내는 도면이다. 도 6은 도 1에 도시한 카메라 보정 장치에서 내부변수를 산출하여 카메라를 보정하고, 카메라의 보정 결과를 이용하여 카메라의 위치 및 건물을 복원한 한 예로서, 위에서 내려다 본 결과를 나타내는 도면이다. 도 7은 도 1에 도시한 카메라 보정 장치에서 내부변수를 산출하여 카메라를 보정하고, 카메라의 보정 결과를 이용하여 카메라의 위치 및 건물을 복원한 한 예로서, 정면에서 본 결과를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 카메라 보정 장치(100)는 서로 다른 위치에 존재하는 m개의 카메라(도시하지 않음)로부터 각각 동일한 배경을 촬영한 영상을 전달받는다. 그리고, 카메라 보정 장치(100)는 영상 내의 서로 다른 면에 위치하는 모든 평행사변형에 대한 정규 호모그래피(Canonic Homography)를 산출한다. 본 발명의 실시예에 따른 평행사변형은 영상 내의 서로 다른 면 공간에 존재하며 서로 다른 크기와 모양으로 형성될 수 있다. 카메라 보정 장치(100)는 정규 호모그래피를 이용하여 전체 카메라와 평행사변형에 대한 전체 매트릭스를 산출한다. 카메라 보정 장치(100)는 전체 매트릭스에 대해 특이값 분해(Singular Value Decomposition, SVD)를 수행하여 카메라 사이의 무한 호모그래피를 동시에 산출한다. 카메라 보정 장치(100)는 무한 호모그래피를 이용하여 카메라의 내부변수를 산출하며, 산출된 카메라의 내부변수를 이용하여 평행사변형이 존재하는 건물의 영상과 카메라의 위치를 복원한다.
이러한, 카메라 보정 장치(100)는 영상 수신부(110) 및 카메라 보정부(120)를 포함한다.
영상 수신부(110)는 서로 다른 위치에 존재하는 카메라(200a-200c)로부터 각각 동일한 배경을 촬영한 영상(IM1-IM3)을 전달받아 카메라 보정부(120)로 전달한다.
예를 들어, 영상 수신부(110)는 도 3 내지 도 5에 도시한 바와 같이 각 카메라(200a-200c)를 통해 촬영된 동일한 배경 내의 건물(300)에 대한 영상을 전달받는다. 즉, 영상 수신부(110)는 카메라(200a)를 통해 건물(300)을 촬영한 영상(IM1)을 전달받는다. 영상 수신부(110)는 카메라(200b)를 통해 건물(300)을 촬영한 영상(IM2)을 전달받는다. 영상 수신부(110)는 카메라(200c)를 통해 건물(300)을 촬영한 영상(IM3)을 전달받는다.
카메라 보정부(120)는 도 2에 도시한 바와 같이 호모그래피 생성부(121), 매트릭스 생성부(122), 내부변수 생성부(123) 및 영상 복원부(124)를 포함한다.
호모그래피 생성부(121)는 각 카메라(200a-200c)로부터 촬영된 영상(IM1-IM3)을 전달받는다. 호모그래피 생성부(121)는 각 영상(IM1-IM3)의 건물(300)에 투영된 적어도 두 개의 평행사변형의 꼭지점을 검출한다. 즉, 호모그래피 생성부(121)는 영상(IM1)의 건물(300)에 투영된 평행사변형(a11, b11)의 각 꼭지점을 검출한다. 호모그래피 생성부(121)는 영상(IM2)의 건물(300)에 투영된 평행사변형(a12, b12)의 각 꼭지점을 검출한다. 호모그래피 생성부(121)는 영상(IM3)의 건물(300)에 투영된 평행사변형(a13, b13)의 각 꼭지점을 검출한다.
호모그래피 생성부(121)는 검출된 각 꼭지점과 정규 정사각형(Canonic Square)의 꼭지점[(-1,-1), (-1,1), (1,-1), (1,1)]과의 대응을 통해 3x3 매트릭스 호모그래피, 즉 정규 호모그래피(Canonic Homography)를 산출하여 매트릭스 생성부(122)로 전달한다.
예를 들어, 카메라(200a)가 m개의 카메라 중 i번째 카메라이고, 영상(IM1)의 건물(300)에 투영된 평행사변형(a11)이 j번째 평행사변형인 경우, 호모그래피 생성부(121)는 i번째 카메라와 j번째 평행사변형 조합에 대한 정규 호모그래피(
Figure 112010085000716-pat00001
)를 산출하고 매트릭스 생성부(122)로 전달한다.
매트릭스 생성부(122)는 호모그래피 생성부(121)로부터 정규 호모그래피를 전달받는다. 그리고, 매트릭스 생성부(122)는 정규 호모그래피를 조합하여 상대 호모그래피를 산출한다.
구체적으로, 매트릭스 생성부(122)는 임의로 설정된 기준 카메라(k)와 기준 평행사변형을 설정한다. 이때, 매트릭스 생성부(122)는 기준 카메라(k)와 기준 평행사변형을 이용하여 i번째 카메라와 j번째 평행사변형 조합에 대한 상대 호모그래피를 산출한다. 이때, 상대 호모그래피는 수학식 1과 같다.
Figure 112010085000716-pat00002
그리고, 매트릭스 생성부(122)는 상대 호모그래피의 고유치(eigen value)를 산출하여 정규 호모그래피들 각각에 대한 상대적 크기를 조정하는 크기 조정 파라미터(
Figure 112010085000716-pat00003
)를 산출한다. 매트릭스 생성부(122)는 크기 조정 파라미터(
Figure 112010085000716-pat00004
)를 각각의 정규 호모그래피에 곱하고, 곱한 결과의 (3 x 2) 부분을 분리하여 전체 매트릭스를 구성하기 위한 부행렬(
Figure 112010085000716-pat00005
)을 산출한다. 그리고, 매트릭스 생성부(122)는 부행렬(
Figure 112010085000716-pat00006
)을 이용하여 m개의 카메라와 n개의 평행사변형이 있을 때 전체 매트릭스(
Figure 112010085000716-pat00007
)를 산출한다. 이때, 전체 매트릭스(
Figure 112010085000716-pat00008
)는 수학식 2와 같다. 매트릭스 생성부(122)는 전체 매트릭스(
Figure 112010085000716-pat00009
)를 내부변수 생성부(123)로 전달한다.
Figure 112010085000716-pat00010
내부변수 생성부(123)는 전체 매트릭스(
Figure 112010085000716-pat00011
)를 전달받는다. 그리고, 전체 매트릭스(
Figure 112010085000716-pat00012
)에 대해 특이값 분해(SVD)를 수행하며, 그 결과는 수학식 3과 같다.
Figure 112010085000716-pat00013
그리고, 내부변수 생성부(123)는 특이값 분해(SVD)한 결과에서 (
Figure 112010085000716-pat00014
) 중 앞의 세 개의 세로행만 포함하도록 결과 매트릭스를 설정하고, 이 결과 매트릭스를 위에서부터 (3 x 3)부분으로 분해하여 m개의 분해 매트릭스(
Figure 112010085000716-pat00015
)를 검출하고, 이를 이용하여 카메라들 사이의 무한 호모그래피를 동시에 산출한다.
예를 들어, i번째 카메라와 j번째 카메라 사이의 무한 호모그래피를 산출해야 하는 경우, 내부변수 생성부(123)는 m개의 매트릭스(
Figure 112010085000716-pat00016
)를 이용하여 두 카메라 사이의 무한 호모그래피(
Figure 112010085000716-pat00017
)를 산출한다. 이때, 무한 호모그래피(
Figure 112010085000716-pat00018
)는 수학식 4와 같다.
Figure 112010085000716-pat00019
내부변수 생성부(123)는 각 영상을 촬영할 때 광학적 요소를 조정하지 않았다는 가정하에 무한 호모그래피(
Figure 112010085000716-pat00020
)와 카메라의 내부변수와의 관계를 표현하는 알고리즘을 통해 카메라의 내부변수를 산출하여 카메라를 보정한다. 내부변수 생성부(123)는 카메라 보정 결과를 영상 복원부(124)로 전달한다.
영상 복원부(124)는 카메라를 보정한 결과(이하, "카메라 보정 결과"라고 함)를 이용하여 건물(300)의 구조를 복원하고 카메라의 위치를 복원하며, 그 한 예는 도 6 및 도 7과 같다.
도 8은 도 1에 도시한 카메라 보정 장치에서 카메라를 보정하는 순서를 나타내는 흐름도이다.
도 8에 도시한 바와 같이, 본 발명의 실시예에 따른 카메라 보정 장치(100)의 영상 수신부(110)는 서로 다른 위치에 존재하는 카메라로부터 각각 동일한 배경을 촬영한 영상(IM1-IM3)을 전달받는다(S100). 영상 수신부(110)는 영상(IM1-IM3)을 카메라 보정부(120)로 전달한다.
카메라 보정부(120)는 각 영상(IM1-IM3)의 배경에서 건물(300)에 투영된 평행사변형의 꼭지점을 검출한다(S110). 카메라 보정부(120)는 검출된 각 꼭지점과 정규 정사각형과의 꼭지점 대응을 통해 정규 호모그래피들을 산출한다(S120).
카메라 보정부(120)는 설정된 기준 카메라와 기준 평행사변형를 이용하여 i번째 카메라와 j번째 평행사변형 조합에 대한 상대 호모그래피[수학식 1 참고]를 산출한다(S130). 그리고, 카메라 보정부(120)는 상대 호모그래피를 이용하여 정규 호모그래피들 각각에 대한 상대적 크기를 조정하는 크기 조정 파라미터(
Figure 112010085000716-pat00021
)를 산출한다(S140). 카메라 보정부(120)는 크기 조정 파라미터(
Figure 112010085000716-pat00022
)와 정규 호모그래피를 이용하여 부행렬(
Figure 112010085000716-pat00023
)을 산출한다(S150). 카메라 보정부(120)는 부행렬(
Figure 112010085000716-pat00024
)을 이용하여 m개의 카메라와 n개의 평행사변형이 있을 때 전체 매트릭스(
Figure 112010085000716-pat00025
)[수학식 2 참고]를 산출한다(S160).
카메라 보정부(120)는 전체 매트릭스(
Figure 112010085000716-pat00026
)에 대해 특이값 분해(SVD)를 수행하여 두 카메라 조합에 의한 모든 무한 호모그래피[수학식 4 참고] 정보를 동시에 산출한다(S170).
카메라 보정부(120)는 무한 호모그래피를 이용하여 카메라의 내부변수를 산출하여 카메라를 보정하고, 카메라 보정 결과를 이용하여 카메라의 위치와 배경의 건물(300)의 구조를 복원한다(S180).
이와 같이, 본 발명의 실시예에 따른 카메라 보정 장치는 서로 다른 위치에 존재하는 카메라로부터 각각 동일한 배경을 촬영한 영상을 전달받으며, 영상 내의 서로 다른 면에 위치하는 적어도 두 개의 평행사변형을 이용하여 전체 매트릭스를 산출하고 전체 매트릭스를 이용하여 무한 호모그래피를 동시에 산출함에 따라 무한 호모그래피를 따로 산출하였던 번거로움을 해소할 수 있으며, 일관성을 유지하여 정밀도를 향상시킬 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 카메라 보정 장치
110: 영상 수신부
120: 카메라 보정부
121: 호모그래피 생성부
122: 매트릭스 생성부
123: 내부변수 생성부
124: 영상 복원부

Claims (14)

  1. 서로 다른 위치에 존재하는 카메라들로부터 각각 동일한 배경을 촬영한 영상을 수신하는 영상 수신부; 및
    상기 영상 내에서 서로 다른 면에 위치하는 모든 평행사변형에 대한 정규 호모그래피들을 이용하여 전체 매트릭스를 산출하며, 상기 전체 매트릭스를 이용하여 상기 카메라들 사이의 무한 호모그래피를 동시에 산출하는 카메라 보정부
    를 포함하고,
    상기 카메라 보정부는
    상기 영상의 물체에 투영된 적어도 두 개의 평행사변형의 꼭지점을 검출하여 상기 정규 호모그래피들을 산출하는 호모그래피 생성부를 포함하고,
    상기 호모그래피 생성부는
    상기 각 영상의 적어도 두 개의 평행사변형의 꼭지점과 정규 정사각형(Canonic Square)의 꼭지점과의 대응을 통해 3x3 매트릭스 호모그래피 형태에 상응하는 상기 정규 호모그래피들을 산출하는 것을 특징으로 하는 카메라 보정 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 카메라 보정부는,
    상기 정규 호모그래피를 조합하여 상대 호모그래피를 산출하고, 상기 상대 호모그래피의 고유치와 상기 정규 호모그래피들을 이용하여 상기 전체 매트릭스를 산출하는 매트릭스 생성부를 포함하는 카메라 보정 장치.
  5. 청구항 4에 있어서,
    상기 매트릭스 생성부는,
    상기 상대 호모그래피의 고유치를 이용하여 상기 정규 호모그래피들을 각각에 대한 크기 조정 파라미터들을 산출하며, 상기 정규 호모그래피에 대응하는 상기 크기 조정 파라미터들을 곱하여 부행렬들을 산출하는 카메라 보정 장치.
  6. 청구항 5에 있어서,
    상기 매트릭스 생성부는,
    상기 부행렬들에 대응하는 상기 크기 조정 파라미터들을 이용하여 상기 전체 매트릭스를 산출하는 카메라 보정 장치.
  7. 청구항 1에 있어서,
    상기 카메라 보정부는,
    상기 전체 매트릭스를 특이값 분해(Singular Value Decomposition)한 결과 매트릭스 중 상기 카메라들의 개수에 대응하는 분해 매트릭스를 검출하고, 상기 분해 매트릭스를 이용하여 상기 무한 호모그래피를 동시에 산출하는 내부변수 생성부를 포함하는 카메라 보정 장치.
  8. 청구항 7에 있어서,
    상기 내부변수 생성부는,
    상기 무한 호모그래피를 이용하여 상기 카메라들을 보정하는 카메라 보정 장치.
  9. 청구항 8에 있어서,
    상기 카메라 보정부는,
    상기 카메라들을 보정한 결과를 이용하여 상기 평행사변형이 투영된 물체의 구조와 상기 카메라들의 위치를 복원하는 카메라 보정 장치.
  10. 서로 다른 위치에 존재하는 카메라들로부터 각각 동일한 배경을 촬영한 영상을 수신하는 단계;
    상기 영상 내에서 서로 다른 면에 위치하는 모든 평행사변형에 대한 정규 호모그래피들을 산출하는 단계;
    상기 정규 호모그래피들을 이용하여 전체 매트릭스를 산출하는 단계; 및
    상기 전체 매트릭스를 이용하여 상기 카메라들 사이의 무한 호모그래피를 동시에 산출하는 단계
    를 포함하고,
    상기 정규 호모그래피들을 산출하는 단계는
    상기 영상의 물체에 투영된 적어도 두 개의 평행사변형의 꼭지점을 검출하는 단계; 및
    상기 각 영상의 적어도 두 개의 평행사변형의 꼭지점과 정규 정사각형(Canonic Square)의 꼭지점과의 대응을 통해 3x3 매트릭스 호모그래피 형태에 상응하는 상기 정규 호모그래피들을 산출하는 단계를 포함하는 것을 특징으로 하는 카메라 보정 방법.
  11. 삭제
  12. 청구항 10에 있어서,
    상기 전체 매트릭스를 산출하는 단계는,
    상기 정규 호모그래피를 조합하여 상대 호모그래피를 산출하는 단계;
    상기 상대 호모그래피의 고유치를 이용하여 상기 정규 호모그래피들을 각각에 대한 크기 조정 파라미터들을 산출하는 단계;
    상기 정규 호모그래피에 대응하는 상기 크기 조정 파라미터들을 곱하여 부행렬들을 산출하는 단계; 및
    상기 부행렬들과 상기 크기 조정 파라미터들을 이용하여 상기 전체 매트릭스를 산출하는 단계를 포함하는 카메라 보정 방법.
  13. 청구항 10에 있어서,
    상기 무한 호모그래피를 동시에 산출하는 단계는,
    상기 전체 매트릭스를 특이값 분해(Singular Value Decomposition)한 결과 매트릭스 중 상기 카메라들의 개수에 대응하는 분해 매트릭스를 검출하는 단계; 및
    상기 분해 매트릭스를 이용하여 상기 무한 호모그래피를 동시에 산출하는 단계를 포함하는 카메라 보정 방법.
  14. 청구항 13에 있어서,
    상기 무한 호모그래피를 동시에 산출하는 단계는,
    상기 무한 호모그래피를 이용하여 상기 카메라들을 보정하는 단계; 및
    상기 카메라들을 보정한 결과를 이용하여 상기 평행사변형이 투영된 물체의 구조와 상기 카메라들의 위치를 복원하는 단계를 포함하는 카메라 보정 방법.
KR1020100132883A 2010-12-22 2010-12-22 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법 KR101694294B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100132883A KR101694294B1 (ko) 2010-12-22 2010-12-22 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법
US13/221,307 US8564670B2 (en) 2010-12-22 2011-08-30 Camera calibration apparatus and method using parallelograms in image and multi-view control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132883A KR101694294B1 (ko) 2010-12-22 2010-12-22 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120071224A KR20120071224A (ko) 2012-07-02
KR101694294B1 true KR101694294B1 (ko) 2017-01-09

Family

ID=46316231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132883A KR101694294B1 (ko) 2010-12-22 2010-12-22 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법

Country Status (2)

Country Link
US (1) US8564670B2 (ko)
KR (1) KR101694294B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841394B (zh) * 2012-11-23 2017-07-07 北京三星通信技术研究有限公司 多层式三维显示器的标定设备和标定方法
US9554121B2 (en) * 2015-01-30 2017-01-24 Electronics And Telecommunications Research Institute 3D scanning apparatus and method using lighting based on smart phone
KR102248459B1 (ko) 2015-02-03 2021-05-06 한국전자통신연구원 카메라 캘리브레이션 장치 및 방법
US10089538B2 (en) 2015-04-10 2018-10-02 Bendix Commercial Vehicle Systems Llc Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026646A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation Multi-view video format
US20100111370A1 (en) 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970004392B1 (ko) 1993-10-13 1997-03-27 엘지산전 주식회사 카메라 보정방법
US6437823B1 (en) 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
KR100386090B1 (ko) 2001-04-02 2003-06-02 한국과학기술원 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
US7068303B2 (en) 2002-06-03 2006-06-27 Microsoft Corporation System and method for calibrating a camera with one-dimensional objects
KR20070101580A (ko) 2006-04-11 2007-10-17 엘아이지넥스원 주식회사 카메라 보정 행렬 추정 방법
US20080007700A1 (en) * 2006-07-10 2008-01-10 Vanbaar Jeroen Method and system for aligning an array of rear-projectors
KR100966592B1 (ko) 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
KR101166719B1 (ko) * 2008-12-22 2012-07-19 한국전자통신연구원 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026646A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation Multi-view video format
US20100111370A1 (en) 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape

Also Published As

Publication number Publication date
KR20120071224A (ko) 2012-07-02
US8564670B2 (en) 2013-10-22
US20120162441A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
CN109405765B (zh) 一种基于散斑结构光的高精度深度计算方法及***
US10623718B2 (en) Camera calibration system
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
US9734419B1 (en) System and method for validating camera calibration in a vision system
CN109211264B (zh) 测量***的标定方法、装置、电子设备及可读存储介质
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
US20170019657A1 (en) Stereo auto-calibration from structure-from-motion
JP6041513B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20110096182A1 (en) Error Compensation in Three-Dimensional Mapping
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
CN109827521B (zh) 一种快速多线结构光视觉测量***标定方法
CN107610183B (zh) 一种条纹投影相位高度转换映射模型的标定方法
CN105809706B (zh) 一种分布式多像机***的全局标定方法
KR101694294B1 (ko) 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
CN116363226A (zh) 一种实时的多相机多投影仪3d成像处理方法及装置
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、***及方法
Belhedi et al. Non-parametric depth calibration of a tof camera
JP2018179577A (ja) 位置計測装置
JP2006195790A (ja) レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム
JP2013160602A (ja) 写真測量装置
KR101222009B1 (ko) 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 렌즈 왜곡 보정 시스템과 그 방법
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
KR101239671B1 (ko) 렌즈에 의한 왜곡 영상 보정방법 및 그 장치
CN110232715B (zh) 一种多深度相机自校准的方法、装置及***

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant