KR102149276B1 - 영상 정합 방법 - Google Patents

영상 정합 방법 Download PDF

Info

Publication number
KR102149276B1
KR102149276B1 KR1020140144290A KR20140144290A KR102149276B1 KR 102149276 B1 KR102149276 B1 KR 102149276B1 KR 1020140144290 A KR1020140144290 A KR 1020140144290A KR 20140144290 A KR20140144290 A KR 20140144290A KR 102149276 B1 KR102149276 B1 KR 102149276B1
Authority
KR
South Korea
Prior art keywords
coordinate
image
matching
camera
value
Prior art date
Application number
KR1020140144290A
Other languages
English (en)
Other versions
KR20160047846A (ko
Inventor
오재윤
Original Assignee
한화테크윈 주식회사
한화디펜스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사, 한화디펜스 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140144290A priority Critical patent/KR102149276B1/ko
Priority to US14/883,158 priority patent/US9946955B2/en
Publication of KR20160047846A publication Critical patent/KR20160047846A/ko
Application granted granted Critical
Publication of KR102149276B1 publication Critical patent/KR102149276B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

영상 정합 방법이 개시된다. 이 방법은 단계들 (a) 내지 (e)를 포함한다. 단계 (a)에서는, 기준 거리에 있는 기준 촬영 대상을 제1 카메라가 촬영함에 의하여 제1 기준 영상이 구해진다. 단계 (b)에서는, 상기 기준 촬영 대상을 제2 카메라가 촬영함에 의하여 제2 기준 영상을 구해진다. 단계 (c)에서는, 제1 기준 영상의 각 화소의 좌표에 대한 제2 기준 영상의 각 화소의 좌표의 차이 값들인 기준 좌표-차이 값들이 구해진다. 단계 (d)에서는, 적용될 촬영 대상의 거리에 따른 시차(視差, parallax)의 정합-오차 값들이 구해진다. 단계 (e)에서는, 적용될 촬영 대상에 대하여 기준 좌표-차이 값들이 사용되어 정합 결과가 구해지되, 시차(視差, parallax)의 정합-오차 값들이 사용되어 정합 결과가 보정된다.

Description

영상 정합 방법{Method of image registration}
본 발명은, 영상 정합 방법에 관한 것으로서, 보다 상세하게는, 제2 카메라로부터의 제2 영상을 제1 카메라로부터의 제1 영상에 정합시키는 카메라 시스템의 영상 정합 방법에 관한 것이다.
일반적으로 동일한 촬영 대상으로부터의 두 영상들을 한 영상으로 변화시키기 위해서는 정합(registration)과 융합(fusion)이 필요하다. 정합은 두 영상들의 위치를 일치시키는 처리 과정이다. 융합은 정합 결과의 영상에 대하여 원래의 두 영상들의 계조를 조정하는 처리 과정이다.
종래의 스테레오 카메라 시스템의 영상 정합(registration) 방법을 요약하면 다음과 같다.
먼저, 기준 거리에 있는 기준 촬영 대상을 제1 카메라가 촬영함에 의하여 제1 기준 영상을 구한다. 또한, 상기 기준 촬영 대상을 제2 카메라가 촬영함에 의하여 제2 기준 영상을 구한다.
다음에, 제1 기준 영상의 각 화소의 좌표에 대한 상기 제2 기준 영상의 각 화소의 좌표의 차이 값들인 기준 좌표-차이 값들을 구한다.
그리고, 적용될 촬영 대상에 대하여 상기 기준 좌표-차이 값들을 사용하여 정합 결과를 구한다. 예를 들어, 상기 기준 좌표-차이 값들을 사용하여 기준 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 설정한 후, 설정되어 있는 2차원 호모그래피 행렬을 사용하여 적용될 촬영 대상에 대한 정합 결과를 구한다.
상기와 같은 종래의 영상 정합 방법에 의하면, 스테레오 카메라의 패닝(panning), 틸팅(tilting) 및 주밍(zooming) 상태에 따라 영상 정합의 정밀도가 떨어지는 문제점이 발생하였다.
상기 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수는 없다.
일본 공개특허 공보 제1997-233461호 (출원인 : Fujitsu Ltd., 발명의 명칭 : 적외선 화재 감시 장치)
본 발명의 실시예는, 스테레오 카메라의 패닝(panning), 틸팅(tilting) 및 주밍(zooming) 상태에 따라 영상 정합의 정밀도가 떨어지는 종래의 문제점을 개선하고자 한다.
본 발명의 일 측면에 의하면, 제2 카메라로부터의 제2 영상을 제1 카메라로부터의 제1 영상에 정합시키는 카메라 시스템의 영상 정합 방법에 있어서, 단계들 (a) 내지 (e)를 포함한다.
상기 단계 (a)에서는, 기준 거리에 있는 기준 촬영 대상을 상기 제1 카메라가 촬영함에 의하여 제1 기준 영상이 구해진다.
상기 단계 (b)에서는, 상기 기준 촬영 대상을 상기 제2 카메라가 촬영함에 의하여 제2 기준 영상을 구해진다.
상기 단계 (c)에서는, 상기 제1 기준 영상의 각 화소의 좌표에 대한 상기 제2 기준 영상의 각 화소의 좌표의 차이 값들인 기준 좌표-차이 값들이 구해진다.
상기 단계 (d)에서는, 적용될 촬영 대상의 거리에 따른 시차(視差, parallax)의 정합-오차 값들이 구해진다.
상기 단계 (e)에서는, 상기 적용될 촬영 대상에 대하여 상기 기준 좌표-차이 값들이 사용되어 정합 결과가 구해지되, 상기 시차(視差, parallax)의 정합-오차 값들이 사용되어 상기 정합 결과가 보정된다.
바람직하게는, 화각, 상기 적용될 촬영 대상의 거리, 및 상기 기준 거리는 상기 제1 카메라와 상기 제2 카메라에 동일하게 적용된다. 상기 기준 좌표-차이 값들 및 상기 시차(視差, parallax)의 정합-오차 값들은 화소 개수로서 계산된다. 상기 시차의 정합-오차 값들은, 화면상의 수평 축으로서의 x-좌표 축의 정합-오차 값과, 상기 화면상의 수직 축으로서의 y-좌표 축의 정합-오차 값을 포함한다. 상기 기준 좌표-차이 값들은, 각각의 화소에 대한 x-좌표 차이 값 및 y-좌표 차이 값을 포함한다.
바람직하게는, 상기 단계 (c)는 단계들 (c1) 내지 (c3)을 포함한다.
상기 단계 (c1)에서는, 상기 제1 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제1 기준 영상에 대하여 투영(projection)이 수행되어, 투영된 결과의 제1 기준 영상이 구해진다.
상기 단계 (c2)에서는, 상기 제2 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제2 기준 영상에 대하여 투영(projection)이 수행되어, 투영된 결과의 제2 기준 영상이 구해진다.
상기 단계 (c3)에서는, 상기 투영된 결과의 제1 기준 영상의 각 화소의 좌표에 대한 상기 투영된 결과의 제2 기준 영상의 각 화소의 좌표의 차이 값들인 상기 기준 좌표-차이 값들이 구해진다.
바람직하게는, 상기 단계 (d)에서,
상기 기준 거리를 Dobj1, 상기 적용될 촬영 대상의 거리를 Dobj2, 상기 제1 카메라와 상기 제2 카메라 사이의 간격을 Dcam, 한 수평 라인의 화소 개수를 Pfhd, 그리고 화각을 Tcam이라 하면, 상기 x-좌표 축의 정합-오차 값 Ppara는 아래의 수학식에 의하여 계산된다.
Figure 112014101553947-pat00001
바람직하게는, 상기 단계 (e)는 단계들 (e1) 및 (e2)를 포함한다.
상기 단계 (e1)에서는, 상기 투영된 결과의 제1 및 제2 기준 영상들이 사용되어, 상기 제2 기준 영상의 각 화소의 위치 변환을 위한 2차원 호모그래피(homography) 행렬이 구해진다.
상기 단계 (e2)에서는, 구해진 상기 2차원 호모그래피(homography) 행렬에 의하여, 상기 제2 카메라로부터의 상기 제2 영상이 상기 제1 카메라로부터의 상기 제1 영상에 정합된다.
바람직하게는, 상기 단계 (e2)에서 상기 적용될 촬영 대상의 상기 제2 영상의 어느 한 화소의 x-좌표 값 및 y-좌표 값을 변환함에 있어서, 상기 2차원 호모그래피(homography) 행렬에 상기 화소의 x-좌표 차이 값 및 y-좌표 차이 값이 대입되어, 상기 화소의 정합 결과로서의 제1 x-좌표 값 및 제1 y-좌표 값이 구해진다. 다음에, 상기 2차원 호모그래피 행렬에 상기 x-좌표 축의 정합-오차 값과 상기 y-좌표 축의 정합-오차 값이 대입되어, 상기 화소의 보정용 x-좌표 값 및 보정용 y-좌표 값이 구해진다. 다음에, 상기 보정용 x-좌표 값에 의하여 상기 제1 x-좌표 값이 보정된 결과의 제2 x-좌표 값이 구해진다. 다음에, 상기 보정용 y-좌표 값에 의하여 상기 제1 y-좌표 값이 보정된 결과의 제2 y-좌표 값이 구해진다. 그리고, 상기 제2 x-좌표 값 및 상기 제2 y-좌표 값이 상기 화소의 최종적 좌표 값들로서 설정된다.
본 발명의 일 측면의 상기 영상 정합 방법에 의하면, 상기 적용될 촬영 대상에 대하여 상기 기준 좌표-차이 값들이 사용되어 정합 결과가 구해지되, 상기 시차(視差, parallax)의 정합-오차 값들이 사용되어 상기 정합 결과가 보정된다.
따라서, 상기 제1 카메라와 상기 제2 카메라에 대하여 상기 적용될 촬영 대상의 거리가 변함에도 불구하고, 영상 정합의 정밀도가 떨어지지 않게 된다. 따라서, 스테레오 카메라의 패닝(panning), 틸팅(tilting) 및 주밍(zooming) 상태에 따라 영상 정합의 정밀도가 떨어지는 종래의 문제점이 개선될 수 있다.
도 1은 본 발명의 실시예의 영상 정합 방법을 수행하는 카메라 시스템을 보여주는 도면이다.
도 2는 도 1의 제어 장치에 의하여 수행되는 본 발명의 실시예의 영상 정합 방법을 보여주는 흐름도이다.
도 3은 도 2의 단계 (c)의 상세 과정을 예를 들어 보여주는 흐름도이다.
도 4는 도 3의 단계들 (c1)과 (c2)의 수행에 의하여 얻어진 제1 및 제2 기준 영상들을 예를 들어 설명하기 위한 도면이다.
도 5는 도 2의 단계 (d)를 설명하기 위한 도면이다.
도 6은 도 2의 단계 (e)의 상세 과정을 예를 들어 보여주는 흐름도이다.
도 7은 도 6의 단계 (e2)에서 적용될 촬영 대상의 제2 영상의 어느 한 화소의 x-좌표 값 및 y-좌표 값을 변환하는 과정의 예를 상세하게 보여주는 흐름도이다.
도 8은, 도 2의 단계 (d)와 관련하여, 두 카메라들에게 공통으로 적용되는 줌 배율에 대하여 나타나는 x-축 시차(視差, parallax)의 정합-오차 값들의 예를 보여주는 그래프이다.
도 9는, 기준 거리 20 미터(m)에 대한 정합 알고리즘을 20 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합 및 융합 결과의 예를 보여주는 도면이다.
도 10은, 종래의 기술에 따라, 기준 거리 20 미터(m)에 대한 정합 알고리즘을 40 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합 및 융합 결과의 예를 보여주는 도면이다.
도 11은, 본 발명의 실시예에 따라, 기준 거리 20 미터(m)에 대한 정합 알고리즘을 40 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합 및 융합 결과의 예를 보여주는 도면이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.
도 1은 본 발명의 실시예의 영상 정합 방법을 수행하는 카메라 시스템을 보여주는 도면이다.
도 1의 카메라 시스템을 참조하면, 제2 카메라(102)로서의 열(熱)-영상 카메라는 피사체의 온도에 따른 열(熱) 영상으로서의 제2 영상(Ithe)을 출력한다. 제1 카메라(101)로서의 가시(可視) 영상 카메라는 피사체의 가시(可視) 영상으로서의 제1 영상(Ivis)을 출력한다.
제어 장치(103)는, 제1 카메라(101)로부터의 제1 영상(Ivis)과 제2 카메라(102)로부터의 제2 영상(Ithe)에 대하여 정합(registration) 및 융합(fusion)을 수행한다. 정합은 두 영상들의 위치를 일치시키는 처리 과정이다. 융합은 정합 결과의 영상에 대하여 원래의 두 영상들의 계조를 조정하는 처리 과정이다. 이하에서는 제어 장치(103)의 정합 방법에 대해서만 상세히 설명될 것이다.
제어 장치(103)는 정합 및 융합 결과의 영상(Imix)을 디스플레이 장치(104) 또는 클라이언트 단말기들(도시되지 않음)에게 제공한다. 물론, 제어 장치(103)는 제1 영상(Ivis), 제2 영상(Ithe), 또는 융합 결과의 영상(Imix)을 기록기에 저장할 수도 있다.
이하, 제어 장치(103)에 의하여 수행되는 본 실시예의 영상 정합 방법을 설명하기로 한다.
도 2는 도 1의 제어 장치(103)에 의하여 수행되는 본 발명의 실시예의 영상 정합 방법을 보여준다. 도 1 및 2를 참조하여, 본 발명의 실시예의 영상 정합 방법을 설명하면 다음과 같다.
제어 장치(103)는 기준 거리에 있는 기준 촬영 대상을 제1 카메라가 촬영하도록 제어하여 제1 기준 영상을 구한다(단계 (a)). 본 실시예의 경우, 기준 촬영 대상은 규칙적인 격자 무늬를 가진 체크 보드(check board)이다.
또한, 제어 장치(103)는 상기 기준 거리에 있는 상기 기준 촬영 대상을 제2 카메라가 촬영하도록 제어하여 제2 기준 영상을 구한다(단계 (b)).
다음에, 제어 장치(103)는 제1 기준 영상의 각 화소의 좌표에 대한 제2 기준 영상의 각 화소의 좌표의 차이 값들인 기준 좌표-차이 값들을 구한다(단계 (c)). 기준 좌표-차이 값들은, 각각의 화소에 대한 x-좌표 차이 값 및 y-좌표 차이 값을 포함한다.
다음에, 제어 장치(103)는 적용될 촬영 대상의 거리에 따른 시차(視差, parallax)의 정합-오차 값들을 구한다(단계 (d)). 시차(視差, parallax)의 정합-오차 값들은, 화면상의 수평 축으로서의 x-좌표 축의 정합-오차 값과, 화면상의 수직 축으로서의 y-좌표 축의 정합-오차 값을 포함한다. 본 실시예의 경우, 기준 좌표-차이 값들 및 시차(視差, parallax)의 정합-오차 값들은 화소 개수로서 계산된다.
그리고, 제어 장치(103)는, 상기 적용될 촬영 대상에 대하여 상기 기준 좌표-차이 값들을 사용하여 정합 결과를 구하되, 상기 시차(視差, parallax)의 정합-오차 값들을 사용하여 상기 정합 결과를 보정한다(단계 (e)).
따라서, 제1 카메라(101)와 제2 카메라(102)에 대하여 적용될 촬영 대상의 거리가 변함에도 불구하고, 영상 정합의 정밀도가 떨어지지 않게 된다. 따라서, 스테레오 카메라의 패닝(panning), 틸팅(tilting) 및 주밍(zooming) 상태에 따라 영상 정합의 정밀도가 떨어지는 종래의 문제점이 개선될 수 있다.
본 실시예의 경우, 제1 카메라(101)와 제2 카메라(102)는 스테레오 카메라를 형성한다. 따라서, 화각, 적용될 촬영 대상의 거리, 및 상기 기준 거리는 제1 카메라(101)와 제2 카메라(102)에 동일하게 적용된다.
도 3은 도 2의 단계 (c)의 상세 과정을 예를 들어 보여준다.
도 4는 도 3의 단계들 (c1)과 (c2)의 수행에 의하여 얻어진 제1 및 제2 기준 영상들(402, 403)을 예를 들어 설명하기 위한 도면이다.
도 1, 3, 및 4를 참조하여, 도 2의 단계 (c)의 상세 과정을 예를 들어 설명하면 다음과 같다.
먼저, 제어 장치(103)는, 제1 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 제1 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제1 기준 영상(402)을 구한다(단계 (c1)). 영상에서의 3차원적 성분을 2차원적 성분으로 변환하기 위한 투영(projection) 방법은, 이미 잘 알려져 있으므로, 그 설명이 생략된다.
다음에, 제어 장치(103)는, 제2 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 제2 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제2 기준 영상(403)을 구한다(단계 (c2)).
그리고, 제어 장치(103)는, 투영된 결과의 제1 기준 영상(402)의 각 화소의 좌표에 대한 투영된 결과의 제2 기준 영상(403)의 각 화소의 좌표의 차이 값들인 상기 기준 좌표-차이 값들을 구한다(단계 (c3)).
도 4에서 참조 부호 401은 2차원 투영(projection) 평면을 가리킨다. 도 4에서 특징점 A1은 A2에 대응하고, 특징점 B1은 B2에 대응하며, 특징점 C1은 C2에 대응하고, 특징점 D1은 D2에 대응한다. 이와 같이 대응 특징점들의 위치가 서로 다른 이유는, 3차원적 성분이 2차원적 성분으로 변환되는 과정에서 거리(depth) 성분이 반영되기 때문이다.
도 4에서 8 개의 대응 특징점들(A1 내지 D2)에 의하면 8 개의 직선 방정식들이 구해질 수 있다. 도 2의 단계 (e)에서, 이러한 직선 방정식들을 다수 개 구하여 이용하면, 적절한 기준 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬이 설정될 수 있다. 이와 같이 설정된 2차원 호모그래피 행렬은 도 2의 단계 (e)에서 사용된다. 영상 정합을 위한 2차원 호모그래피 행렬의 설정 방법은, 이미 잘 알려져 있으므로, 그 설명이 생략된다.
도 5는 도 2의 단계 (d)를 설명하기 위한 도면이다.
도 5에서 참조 부호 cam1은 제1 카메라(도 1의 101)를, cam2는 제2 카메라(도 1의 102)를, 501은 기준 거리의 X-Y 평면을, 502는 적용될 거리의 X-Y 평면을, obj1은 기준 거리의 촬영 대상을, obj2는 적용될 촬영 대상을, Dobj1은 기준 거리를, Dobj2는 적용될 촬영 대상의 거리를, oa1은 적용될 촬영 대상의 거리의 X-Y 평면과 제1 카메라의 광축의 교차 지점을, Dcam은 카메라 간격을, Dpara는 x-좌표 축의 시차(視差, parallax) 거리를, Tcam은 카메라 화각을, 그리고 Tobj1은 기준 거리의 촬영 대상이 가지는 화각을 각각 가리킨다.
도 5는, 화소 개수로서 계산될 x-좌표 축의 정합-오차 값을 구하기 위한 도면이다. 하지만, 화소 개수로서 계산될 y-좌표 축의 정합-오차 값도 아래의 설명을 참조하여 즉각적으로 도출될 수 있다. 따라서, 이하에서는, x-좌표 축의 정합-오차 값(Ppara)을 구하는 방법에 대해서만 도 5를 참조하여 설명하기로 한다.
어느 한 카메라(cam1 또는 cam2)의 영상의 한 수평 라인의 화소 개수를 Pfhd, 상기 한 수평 라인의 화소 개수에 대응하는 촬영 대상(obj2)의 총 수평 거리를 Wobj2, 그리고 화소 개수로서 계산될 x-좌표 축의 정합-오차 값을 Ppara라 하면, 아래의 수학식 1이 성립된다.
Figure 112014101553947-pat00002
도 5를 참조하면, 어느 한 카메라(cam1 또는 cam2)의 영상의 한 수평 라인의 화소 개수에 대응하는 실제 수평 거리 Wobj2는 아래의 수학식 2에 의하여 구해질 수 있다.
Figure 112014101553947-pat00003
상기 수학식 2를 상기 수학식 1에 대입하면, 아래의 수학식 3이 성립한다.
Figure 112014101553947-pat00004
상기 수학식 3을 Ppara에 대하여 정리하면, 아래의 수학식 4가 성립한다.
Figure 112014101553947-pat00005
한편, 도 5를 참조하면, 아래의 수학식 5가 도출될 수 있다.
Figure 112014101553947-pat00006
상기 수학식 5를 x-좌표 축의 시차(視差, parallax) 거리 Dpara에 대하여 정리하면, 아래의 수학식 6이 성립된다.
Figure 112014101553947-pat00007
따라서, 상기 수학식 6을 상기 수학식 4에 대입하면, 화소 개수로서 계산될 x-좌표 축의 정합-오차 값 Ppara는 아래의 수학식 7에 의하여 구해질 수 있다.
Figure 112014101553947-pat00008
도 6은 도 2의 단계 (e)의 상세 과정을 예를 들어 보여준다.
도 1, 2, 4 및 6을 참조하여 단계 (e)의 상세 과정을 예를 들어 설명하면 다음과 같다.
먼저, 제어 장치(103)는, 상기 투영된 결과의 제1 및 제2 기준 영상들(402, 403)을 사용하여, 제2 기준 영상(403)의 각 화소의 위치 변환을 위한 2차원 호모그래피(homography) 행렬을 구한다(단계 (e1)). 단계 (e1)은 행렬의 설정 단계이므로 실제 단계 (d)보다 앞서서 수행된다.
그리고, 제어 장치(103)는, 구해진 2차원 호모그래피(homography) 행렬에 의하여, 제2 카메라(102)로부터의 제2 영상(Ithe)을 제1 카메라(101)로부터의 제1 영상(Ivis)에 정합시킨다(단계 (e2)).
제1 및 제2 기준 영상들(Ivis, Ithe)의 평면이 평행하고 일정한 간격을 가지는 스테레오 카메라의 경우, 제2 기준 영상(403)의 각 화소의 위치 변환을 위한 2차원 호모그래피(homography) 행렬 H는 아래의 수학식 8과 같이 구해질 수 있다.
Figure 112014101553947-pat00009
상기 수학식 8에서 변수 원소 h13은 대상 화소의 x-좌표 차이 값을, 그리고 h23은 대상 화소의 y-좌표 차이 값을 각각 가리킨다. 즉, 상기 수학식 8을 사용하여, 제2 영상(Ithe)의 모든 화소들 각각에 대한 정합 결과로서의 x-좌표 값 및 y-좌표 값이 구해질 수 있다.
도 7은 도 6의 단계 (e2)에서 적용될 촬영 대상의 제2 영상(도 1의 Ithe)의 어느 한 화소의 x-좌표 값 및 y-좌표 값을 변환하는 과정의 예를 상세하게 보여준다. 도 1, 2, 4 및 7을 참조하여 이를 설명하면 다음과 같다.
먼저, 제어 장치(103)는, 2차원 호모그래피(homography) 행렬에 대상 화소의 x-좌표 차이 값 및 y-좌표 차이 값을 대입하여, 대상 화소의 정합 결과로서의 제1 x-좌표 값 및 제1 y-좌표 값을 구한다(단계 S701). 즉, 상기 수학식 8의 행렬에서 x-좌표 차이 값을 h13에 대입하고, y-좌표 차이 값을 h23에 대입함에 의하여, 대상 화소의 정합 결과로서의 제1 x-좌표 값 및 제1 y-좌표 값이 구해질 수 있다.
다음에, 제어 장치(103)는, 2차원 호모그래피 행렬에 x-좌표 축의 정합-오차 값(수학식 7의 Ppara)과 y-좌표 축의 정합-오차 값을 대입하여, 상기 화소의 보정용 x-좌표 값 및 보정용 y-좌표 값을 구한다(단계 S703). 즉, 상기 수학식 8의 행렬에서 x-좌표 축의 정합-오차 값(수학식 7의 Ppara)을 h13에 대입하고, y-좌표 축의 정합-오차 값을 h23에 대입함에 의하여, 상기 화소의 보정용 x-좌표 값 및 보정용 y-좌표 값이 구해질 수 있다.
여기에서, x-좌표 축의 정합-오차 값(수학식 7의 Ppara)과 y-좌표 축의 정합-오차 값은 모든 화소들에 대하여 공통으로 적용된다. 즉, 상기 보정용 x-좌표 값 및 보정용 y-좌표 값은 모든 화소들에 대하여 공통으로 적용된다. 따라서, 상기 단계 S703은, 모든 화소들에 대하여 반복적으로 수행되는 것이 아니라, 최초 1회만 수행된다.
다음에, 제어 장치(103)는 상기 보정용 x-좌표 값에 의하여 상기 제1 x-좌표 값을 보정한 결과의 제2 x-좌표 값을 구한다(단계 S705).
또한, 제어 장치(103)는 상기 보정용 y-좌표 값에 의하여 상기 제1 y-좌표 값을 보정한 결과의 제2 y-좌표 값을 구한다(단계 S707).
그리고, 제어 장치(103)는 상기 제2 x-좌표 값 및 상기 제2 y-좌표 값을 상기 화소의 최종적 좌표 값들로서 설정한다(단계 S709).
상기와 같은 본 발명의 실시예의 영상 정합 방법에 의하면, 적용될 촬영 대상에 대하여 기준 좌표-차이 값들이 사용되어 정합 결과가 구해지되, 시차(視差, parallax)의 정합-오차 값들이 사용되어 상기 정합 결과가 보정된다.
따라서, 제1 카메라(도 1의 101)와 제2 카메라(도 1의 102)에 대하여 적용될 촬영 대상의 거리(도 5의 Dobj2)가 변함에도 불구하고, 영상 정합의 정밀도가 떨어지지 않게 된다. 따라서, 스테레오 카메라의 패닝(panning), 틸팅(tilting) 및 주밍(zooming) 상태에 따라 영상 정합의 정밀도가 떨어지는 종래의 문제점이 개선될 수 있다.
도 8은, 도 2의 단계 (d)와 관련하여, 두 카메라들에게 공통으로 적용되는 줌 배율에 대하여 나타나는 x-축 시차(視差, parallax)의 정합-오차 값들의 예를 보여준다.
도 8을 참조하면, 두 카메라들에게 공통으로 적용되는 줌 배율 즉, 적용될 촬영 대상의 거리(도 5의 Dobj2)에 대하여 시차(視差, parallax)의 정합-오차 값이 기하 급수적으로 증대함을 알 수 있다. 따라서, 이러한 시차(視差, parallax)의 정합-오차 값이 영상 정합 과정에서 보정됨에 의하여 영상 정합의 정밀도가 향상될 수 있다.
도 9는, 기준 거리 20 미터(m)에 대한 정합 알고리즘(예를 들어, 수학식 8)을 20 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합 및 융합 결과의 예를 보여준다.
도 9에서 참조 부호 901은 제1 영상으로서의 가시(可視) 영상(도 1의 Ivis)을, 902는 제2 영상으로서의 열(熱) 영상(Ithe)을, 903은 정합 결과의 영상을, 903a는 정합 직전의 제1 영상으로서의 가시 영상을, 903b는 정합 직전의 제2 영상으로서의 열 영상을, 그리고 904는 융합 결과의 영상을 각각 가리킨다.
도 9를 참조하면, 기준 거리 20 미터(m)에 대한 정합 알고리즘(예를 들어, 수학식 8)을 20 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합 및 융합 결과가 훌륭하게 나타남을 알 수 있다.
도 10은, 종래의 기술에 따라, 기준 거리 20 미터(m)에 대한 정합 알고리즘(예를 들어, 수학식 8)을 40 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합 및 융합 결과의 예를 보여준다.
도 10에서 참조 부호 1001은 제1 영상으로서의 가시(可視) 영상(도 1의 Ivis)을, 1002는 제2 영상으로서의 열(熱) 영상(Ithe)을, 1003은 정합 결과의 영상을, 1003a는 정합 직전의 제1 영상으로서의 가시 영상을, 1003b는 정합 직전의 제2 영상으로서의 열 영상을, 그리고 1004는 융합 결과의 영상을 각각 가리킨다.
도 10을 참조하면, 기준 거리 20 미터(m)에 대한 정합 알고리즘(예를 들어, 수학식 8)을 40 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합이 정밀하게 수행되지 못함을 알 수 있다.
도 11은, 본 발명의 실시예에 따라, 기준 거리 20 미터(m)에 대한 정합 알고리즘을 40 미터(m) 거리의 촬영 대상에 적용한 경우, 촬영 대상에 대한 정합 및 융합 결과의 예를 보여준다.
도 11에서 참조 부호 1101은 제1 영상으로서의 가시(可視) 영상(도 1의 Ivis)을, 1102는 제2 영상으로서의 열(熱) 영상(Ithe)을, 1103은 정합 결과의 영상을, 1103a는 정합 직전의 제1 영상으로서의 가시 영상을, 1103b는 정합 직전의 제2 영상으로서의 열 영상을, 그리고 1104는 융합 결과의 영상을 각각 가리킨다.
도 11을 참조하면, 본 발명의 실시예에 따라 기준 거리 20 미터(m)에 대한 정합 알고리즘(예를 들어, 수학식 8)을 40 미터(m) 거리의 촬영 대상에 적용한 경우, 시차(視差, parallax)의 정합-오차 값이 영상 정합 과정에서 보정됨에 의하여, 촬영 대상에 대한 정합 및 융합 결과가 훌륭하게 나타남을 알 수 있다.
이상 설명된 바와 같이, 본 발명의 실시예의 영상 정합 방법에 의하면, 적용될 촬영 대상에 대하여 기준 좌표-차이 값들이 사용되어 정합 결과가 구해지되, 시차(視差, parallax)의 정합-오차 값들이 사용되어 상기 정합 결과가 보정된다.
따라서, 제1 카메라와 제2 카메라에 대하여 적용될 촬영 대상의 거리가 변함에도 불구하고, 영상 정합의 정밀도가 떨어지지 않게 된다. 따라서, 스테레오 카메라의 패닝(panning), 틸팅(tilting) 및 주밍(zooming) 상태에 따라 영상 정합의 정밀도가 떨어지는 종래의 문제점이 개선될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
두 영상들의 정합 뿐만 아니라, 세 개 이상의 영상들의 정합에도 이용될 가능성이 있다.
101 : 제1 카메라, Ivis : 제1 영상,
102 : 제2 카메라, Ithe : 제2 영상,
103 : 제어 장치,
Imix : 정합 및 융합 결과의 영상,
401 : 2차원 투영(projection) 평면,
402 : 투영된 결과의 제1 기준 영상,
403 : 투영된 결과의 제2 기준 영상,
cam1 : 제1 카메라, cam2 : 제2 카메라,
obj1 : 기준 거리의 촬영 대상, obj2 : 적용될 촬영 대상,
501 : 기준 거리의 X-Y 평면, 502 : 적용될 거리의 X-Y 평면, Dobj1 : 기준 거리,
Dobj2 : 적용될 촬영 대상의 거리,
oa1 : 적용될 촬영 대상의 거리의 X-Y 평면과 제1 카메라의 광축의 교차 지점,
Dcam : 카메라 간격,
Dpara : x-좌표 축의 시차(視差, parallax) 거리,
Tcam : 카메라 화각,
Tobj1 : 기준 거리의 촬영 대상이 가지는 화각,
901, 1001, 1101 : 제1 영상들로서의 가시 영상들,
902, 1002, 1102 : 제2 영상들로서의 열 영상들,
903, 1003, 1103 : 정합 결과의 영상들,
903a, 1003a, 1103a : 정합 직전의 제1 영상으로서의 가시 영상들,
903b, 1003b, 1103b : 정합 직전의 제2 영상으로서의 열 영상들,
904, 1004, 1104 : 융합 결과의 영상들.

Claims (6)

  1. 제2 카메라로부터의 제2 영상을 제1 카메라로부터의 제1 영상에 정합시키는 카메라 시스템의 영상 정합 방법에 있어서,
    (a) 기준 거리에 있는 기준 촬영 대상을 상기 제1 카메라가 촬영함에 의하여 제1 기준 영상을 구함;
    (b) 상기 기준 촬영 대상을 상기 제2 카메라가 촬영함에 의하여 제2 기준 영상을 구함; 및
    (c) 상기 제1 기준 영상의 각 화소의 좌표에 대한 상기 제2 기준 영상의 각 화소의 좌표의 차이 값들인 기준 좌표-차이 값들을 구함;
    (d) 적용될 촬영 대상의 거리에 따른 시차(視差, parallax)의 정합-오차 값들을 구함;
    (e) 상기 적용될 촬영 대상에 대하여 상기 기준 좌표-차이 값들을 사용하여 정합 결과를 구하되, 상기 시차(視差, parallax)의 정합-오차 값들을 사용하여 상기 정합 결과를 보정함;을 포함한, 영상 정합 방법.
  2. 제1항에 있어서,
    화각, 상기 적용될 촬영 대상의 거리, 및 상기 기준 거리는 상기 제1 카메라와 상기 제2 카메라에 동일하게 적용되고,
    상기 기준 좌표-차이 값들 및 상기 시차(視差, parallax)의 정합-오차 값들은 화소 개수로서 계산되며,
    상기 시차(視差, parallax)의 정합-오차 값들은, 화면상의 수평 축으로서의 x-좌표 축의 정합-오차 값과, 상기 화면상의 수직 축으로서의 y-좌표 축의 정합-오차 값을 포함하고,
    상기 기준 좌표-차이 값들은, 각각의 화소에 대한 x-좌표 차이 값 및 y-좌표 차이 값을 포함한, 영상 정합 방법.
  3. 제2항에 있어서, 상기 단계 (c)는,
    (c1) 상기 제1 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제1 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제1 기준 영상을 구함;
    (c2) 상기 제2 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제2 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제2 기준 영상을 구함; 및
    (c3) 상기 투영된 결과의 제1 기준 영상의 각 화소의 좌표에 대한 상기 투영된 결과의 제2 기준 영상의 각 화소의 좌표의 차이 값들인 상기 기준 좌표-차이 값들을 구함;을 포함한, 영상 정합 방법.
  4. 제3항에 있어서, 상기 단계 (d)에서,
    상기 기준 거리를 Dobj1, 상기 적용될 촬영 대상의 거리를 Dobj2, 상기 제1 카메라와 상기 제2 카메라 사이의 간격을 Dcam, 한 수평 라인의 화소 개수를 Pfhd, 그리고 화각을 Tcam이라 하면, 상기 x-좌표 축의 정합-오차 값 Ppara는 아래의 수학식에 의하여 계산되는, 영상 정합 방법.
    Figure 112014101553947-pat00010
  5. 제3항에 있어서, 상기 단계 (e)는,
    (e1) 상기 투영된 결과의 제1 및 제2 기준 영상들을 사용하여, 상기 제2 기준 영상의 각 화소의 위치 변환을 위한 2차원 호모그래피(homography) 행렬을 구함; 및
    (e2) 구해진 상기 2차원 호모그래피(homography) 행렬에 의하여, 상기 제2 카메라로부터의 상기 제2 영상을 상기 제1 카메라로부터의 상기 제1 영상에 정합시킴;을 포함한, 영상 정합 방법.
  6. 제5항에 있어서, 상기 단계 (e2)에서 상기 적용될 촬영 대상의 상기 제2 영상의 어느 한 화소의 x-좌표 값 및 y-좌표 값을 변환함에 있어서,
    상기 2차원 호모그래피(homography) 행렬에 상기 화소의 x-좌표 차이 값 및 y-좌표 차이 값을 대입하여, 상기 화소의 정합 결과로서의 제1 x-좌표 값 및 제1 y-좌표 값을 구함;
    상기 2차원 호모그래피 행렬에 상기 x-좌표 축의 정합-오차 값과 상기 y-좌표 축의 정합-오차 값을 대입하여, 상기 화소의 보정용 x-좌표 값 및 보정용 y-좌표 값을 구함;
    상기 보정용 x-좌표 값에 의하여 상기 제1 x-좌표 값을 보정한 결과의 제2 x-좌표 값을 구함;
    상기 보정용 y-좌표 값에 의하여 상기 제1 y-좌표 값을 보정한 결과의 제2 y-좌표 값을 구함; 및
    상기 제2 x-좌표 값 및 상기 제2 y-좌표 값을 상기 화소의 최종적 좌표 값들로서 설정함;을 포함한, 영상 정합 방법.
KR1020140144290A 2014-10-23 2014-10-23 영상 정합 방법 KR102149276B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140144290A KR102149276B1 (ko) 2014-10-23 2014-10-23 영상 정합 방법
US14/883,158 US9946955B2 (en) 2014-10-23 2015-10-14 Image registration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140144290A KR102149276B1 (ko) 2014-10-23 2014-10-23 영상 정합 방법

Publications (2)

Publication Number Publication Date
KR20160047846A KR20160047846A (ko) 2016-05-03
KR102149276B1 true KR102149276B1 (ko) 2020-08-28

Family

ID=55792369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140144290A KR102149276B1 (ko) 2014-10-23 2014-10-23 영상 정합 방법

Country Status (2)

Country Link
US (1) US9946955B2 (ko)
KR (1) KR102149276B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
KR101947935B1 (ko) * 2014-12-22 2019-02-13 사이버옵틱스 코포레이션 3차원 측정 시스템의 갱신 보정 방법
US10326979B2 (en) * 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
CN106990896B (zh) * 2017-03-31 2019-12-17 深圳市兆能讯通科技有限公司 一种基于双摄像头的立体照片展示方法、装置和移动终端
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
JP6863954B2 (ja) * 2018-11-14 2021-04-21 ファナック株式会社 カメラ校正装置及びカメラ校正方法
CN110009668A (zh) * 2019-03-08 2019-07-12 深圳大学 多通道相移干涉图的配准方法、装置和成像方法、***
CN113538529B (zh) * 2020-04-15 2023-06-02 杭州海康威视数字技术股份有限公司 图像配准装置
CN112085771B (zh) * 2020-08-06 2023-12-05 深圳市优必选科技股份有限公司 图像配准方法、装置、终端设备及计算机可读存储介质
CN112305524A (zh) * 2020-10-28 2021-02-02 五邑大学 测距方法、测距***和计算机可读存储介质
CN112367472B (zh) * 2020-11-09 2022-04-05 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法
CN112598716B (zh) * 2020-12-01 2024-04-05 浙江大华技术股份有限公司 一种多模态图像的配准方法、装置及***
CN114565612B (zh) * 2022-04-29 2022-07-05 惠州威尔高电子有限公司 一种基于图像对比的pcb板u型槽加工异常检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303444A1 (en) 2009-05-27 2010-12-02 Taiji Sasaki Recording medium, playback device, encoding device, integrated circuit, and playback output device
JP2012178827A (ja) 2011-02-24 2012-09-13 Tektronix Inc 立体画像の位置決め及びカラー・バランス評価用表示生成方法及び立体映像信号分析用表示装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3147002B2 (ja) * 1996-09-26 2001-03-19 富士電機株式会社 距離検出値の補正方法
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
JP4209637B2 (ja) 2002-06-26 2009-01-14 富士重工業株式会社 監視システムの距離補正装置および距離補正方法
US7119816B2 (en) * 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
US7436429B2 (en) * 2003-11-24 2008-10-14 The Boeing Company Virtual pan/tilt camera system and method for vehicles
KR20050063991A (ko) 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7982777B2 (en) * 2005-04-07 2011-07-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP4817881B2 (ja) * 2006-02-24 2011-11-16 キヤノン株式会社 画像処理方法及び画像処理装置
JP5036260B2 (ja) * 2006-09-14 2012-09-26 キヤノン株式会社 位置姿勢算出方法及び装置
KR100986809B1 (ko) 2008-07-17 2010-10-08 인하대학교 산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
US20100328456A1 (en) * 2009-06-30 2010-12-30 Nokia Corporation Lenslet camera parallax correction using distance information
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
JP5503728B2 (ja) * 2010-03-01 2014-05-28 本田技研工業株式会社 車両の周辺監視装置
EP2375376B1 (en) * 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
JP5521888B2 (ja) * 2010-08-19 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び電子装置
WO2012064106A2 (en) * 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
FR2973142B1 (fr) * 2011-03-22 2022-12-16 Applications Techniques Etudes Realisations Mec Electroniques Systemes Systeme de surveillance
KR101314259B1 (ko) 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
US9204062B2 (en) * 2011-08-24 2015-12-01 Fluke Corporation Thermal imaging camera with range detection
TW201329426A (zh) * 2012-01-12 2013-07-16 Hon Hai Prec Ind Co Ltd 鏡頭檢測裝置及檢測方法
KR101374139B1 (ko) 2012-07-31 2014-03-14 주식회사 제론헬스케어 감시시스템의 영상 융합을 통한 객체 감시 방법
KR20140095838A (ko) * 2013-01-25 2014-08-04 한국전자통신연구원 3차원 정보 복원 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303444A1 (en) 2009-05-27 2010-12-02 Taiji Sasaki Recording medium, playback device, encoding device, integrated circuit, and playback output device
JP2012178827A (ja) 2011-02-24 2012-09-13 Tektronix Inc 立体画像の位置決め及びカラー・バランス評価用表示生成方法及び立体映像信号分析用表示装置

Also Published As

Publication number Publication date
US20160117820A1 (en) 2016-04-28
US9946955B2 (en) 2018-04-17
KR20160047846A (ko) 2016-05-03

Similar Documents

Publication Publication Date Title
KR102149276B1 (ko) 영상 정합 방법
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
KR101932547B1 (ko) 카메라 시스템 및 이의 영상 정합 방법
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
EP3252715A1 (en) Two-camera relative position calculation system, device and apparatus
CN109272570A (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
JP2018092580A5 (ja) 画像処理装置および画像処理方法、プログラム
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
TWI576647B (zh) 校正導引系統和校正導引系統的操作方法
US9838587B2 (en) System for registration of virtual space and real space, method for registering display apparatus and image sensor, and electronic device registered using the method
CN103177432A (zh) 一种用编码孔径相机获取全景图方法
JP2017208606A5 (ko)
JP2019020778A5 (ko)
WO2017130650A1 (ja) ステレオカメラおよび撮像システム
CN105389845A (zh) 三维重建的图像获取方法和***、三维重建方法和***
JP2016200702A5 (ko)
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
JP6891808B2 (ja) 画像位置合わせシステム、方法およびプログラム
JP6734994B2 (ja) ステレオ計測装置及びシステム
WO2020146965A1 (zh) 图像重新聚焦的控制方法及***
TWI502162B (zh) 雙影像導引追瞄之射擊系統與方法
JP2008021210A (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
JP2016162034A (ja) ３次元モデル生成システム、３次元モデル生成装置および３次元モデル生成方法
JP2013192152A (ja) 撮像装置、撮像システムおよび画像処理方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant