KR101836238B1 - 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법 - Google Patents

다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법 Download PDF

Info

Publication number
KR101836238B1
KR101836238B1 KR1020160174458A KR20160174458A KR101836238B1 KR 101836238 B1 KR101836238 B1 KR 101836238B1 KR 1020160174458 A KR1020160174458 A KR 1020160174458A KR 20160174458 A KR20160174458 A KR 20160174458A KR 101836238 B1 KR101836238 B1 KR 101836238B1
Authority
KR
South Korea
Prior art keywords
cost
images
connection line
row
estimating
Prior art date
Application number
KR1020160174458A
Other languages
English (en)
Inventor
전경구
정진욱
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020160174458A priority Critical patent/KR101836238B1/ko
Application granted granted Critical
Publication of KR101836238B1 publication Critical patent/KR101836238B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법에 관한 것으로서, 본 발명의 이미지 연결선 추정방법은, 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 대략적인 연결선을 검출하는 단계; 다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 대략적인 연결선 주변의 한정된 영역을 설정하는 단계; 및 상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 단계를 포함한다.

Description

다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법{A Novel Seam Finding Method Using Downscaling and Cost for Image Stitching}
본 발명은 이미지 스티칭(image stitching)을 위한 2 이미지들의 이미지 연결선 추정방법에 관한 것으로서, 특히, 파노라마 영상 등을 생성을 위한 이미지 정합 과정에서 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법에 관한 것이다.
파노라마 이미지들은 더 넓은 시야로 현실감있는 이미지를 제공하기 위하여 CCTVB, 액션 카메라 등 다양한 분야에서 응용되고 있다. 일반적으로 광각 렌즈를 장착한 카메라들이 파노라마 이미지를 캡쳐하기 위하여 사용되며, 동일 또는 다른 카메라들로 캡쳐된 이미지들은 소프트웨어 등을 통하여 스티칭(stitching)됨으로써 파노라마 이미지를 생성한다.
이미지 스티칭을 위하여, 이미지들 간의 특징점을 검출하고 매칭하여 초점거리, 호모그래피(homography) 행렬 등을 계산하는 이미지 레지스트레이션(registration)과, 이에 기초하여 하나의 이미지로 정합하기 위해 기준 좌표계로 표현된 이미지를 산출하는 이미지 워핑(Warping)을 수행한다. 이미지 워핑 후에는 이미지들에서 노출 차이를 가능한한 없애고 연결선과 고스트(ghost) 효과 등을 제거하여 스티칭 흔적을 제거하기 위한 이미지 블렌딩(blending)을 수행한다.
이와 같이 이미지 스티칭을 통해 생성되는 파노라마 이미지는 다양한 파라미터 설정에 따라 화질에 큰 차이를 보이며, 완벽한 파노라마 이미지를 제공하기 위하여 다양한 노력들이 전개되고 있다. 즉, 이미지 레지스트레이션, 이미지 워핑, 이미지 블렌딩 등에 대한 새로운 방법들이 나타나고 있으며, 이미지 블렌딩에서의 연결선 검출이나 연산 속도/정확도를 개선하려는 노력들이 이루어지고 있다.
그러나, 현실적으로 파노라마 이미지에서 이미지 스티칭 결과가 만족스럽지 못한 경우가 많으므로 스티칭 대상 이미지들의 정확한 연결선을 검출하여 스티칭 흔적이 남지 않도록 하기 위한 새로운 방법이 필요한 실정이다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 스티칭 대상 2 이미지들의 중첩영역에서 이미지들이 정합되기 위한 연결선을 찾기 위하여, 먼저 중첩영역이 포함된 이미지들을 다운 샘플링하여 크기를 줄인 이미지들로부터 대략적인 연결선을 검출함으로써 계산부하와 연산시간을 줄일 수 있고, 대략적인 연결선으로부터 실제 연결선을 찾기 위하여, 다시 이미지들을 업샘플링하여 이미지 크기가 복원된 이미지들에서 대략적인 연결선이 보간법으로 보간된 연결선을 중심으로 수직방향으로 소정의 좌우 픽셀들(예, K개) 영역으로 한정한 영역에서 픽셀 데이터의 변화도(gradient)를 나타내는 비용함수 E( i,j )를 이용해 축적(accumulated) 비용 매트릭스의 계산에 기초하여 정확한 실제 연결선을 검출할 수 있는 이미지 연결선 추정방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 이미지 연결선 추정방법은, 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 대략적인 연결선을 검출하는 단계; 다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 대략적인 연결선 주변의 한정된 영역을 설정하는 단계; 및 상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 단계를 포함한다.
상기 추정하는 단계에서, 상기 비용 ei은 하기의 수학식들에 의해 산출되고,
Figure 112016124925295-pat00001
,
Figure 112016124925295-pat00002
,
Figure 112016124925295-pat00003
여기서,
Figure 112016124925295-pat00004
,
Figure 112016124925295-pat00005
는 대응되는 픽셀 데이터들,
Figure 112016124925295-pat00006
,
Figure 112016124925295-pat00007
는 대응되는 각 픽셀 데이터의 변화도(gradient)값이다.
상기 추정하는 단계에서, 상기 연결선 방향 정보는, 상기 비용으로부터 각 행의 축적 비용의 계산을 위해 선택된 위치로부터 각 픽셀 위치로의 방향으로서, 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀로부터 자신을 향하는 방향값들을 포함한다.
상기 연결선 방향 정보는, 최상위 행의 최소 비용을 갖는 해당 픽셀 위치에서 자신 위치의 방향값을 더 포함한다.
상기 추정하는 단계에서, 상기 한정된 영역의 비용값들을 이용하여 각 행의 축적 비용값들을 계산하고, 최하위 행의 최소 축적 비용값 위치에서 역으로 상기 연결선 방향 정보를 따라가 최상위 행까지 연결한 선을 상기 최종 연결선으로 추정할 수 있다.
상기 비용값들의 변화도(gradient)를 계산하기 위한 비용함수 E( i,j )를 이용하여 상기 각 행의 축적 비용값들을 계산하고, 상기 비용함수 E( i,j )는 수학식
Figure 112016124925295-pat00008
로 표현되고, 각 픽셀 위치 (i,j)에서의 비용값 e( i,j ), 및 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀에서의 비용값들을 파라미터로 이용한다.
상기 한정된 영역의 상기 최상위 행에서는 최소 비용을 갖는 해당 픽셀 위치 로부터 좌우로 순차로 축적 비용값들을 계산하고, 다음 행부터는 아직 계산되지 않은 위치의 축적 비용값을 반영하지 않고, 좌끝부터 우측 방향으로 계산한 축적 비용값들과 우끝부터 좌측 방향으로 계산한 축적 비용값들 중 작은값으로 이루어진 축적 비용값들을 선택한다.
그리고, 본 발명의 다른 일면에 따른 컴퓨터로 읽을 수 있는 코드로 구현된 기록 매체는, 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 대략적인 연결선을 검출하는 기능; 다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 대략적인 연결선 주변의 한정된 영역을 설정하는 기능; 및 상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 기능을 수행한다.
본 발명에 따른 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법에 따르면, 스티칭 대상 2 이미지들의 중첩영역에서 이미지들이 정합되기 위한 연결선을 찾기 위하여, 중첩영역이 포함된 이미지들을 다운 샘플링하여 크기를 줄인 이미지들로부터 대략적인 연결선을 검출함으로써 계산부하와 연산시간을 줄일 수 있다.
또한, 본 발명에 따른 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법에 따르면, 위와 같은 대략적인 연결선으로부터 실제 연결선을 찾기 위하여, 다시 이미지들을 업샘플링하여 이미지 크기가 복원된 이미지들에서 대략적인 연결선이 보간법으로 보간된 연결선을 중심으로 수직방향으로 소정의 좌우 픽셀들(예, K개) 영역으로 한정한 영역에서 픽셀 데이터의 변화도(gradient)를 나타내는 비용함수 E( i,j )를 이용해 축적(accumulated) 비용 매트릭스를 계산한 후, 최하위 행의 최소 축적 비용값 위치에서 역으로 매트릭스 방향 정보를 따라가 최상위 행까지 연결한 선을 연결선으로 검출하여, 이에 따라 이미지들을 스티칭하여 미스매칭을 없애고 스티칭 흔적이 남지 않도록 정교한 연결이 가능하게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 연결선 추정방법 중 대략적인 연결선 추정 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 연결선 추정방법 중 비용과 방향 정보를 이용한 실제 연결선 추정 과정을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 축적 비용 계산의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 연결선 방향 정보를 설명하기 위한 도면이다.
도 5는 본 발명과 기존 방법의 연결선 추정 비교에 사용할 스티칭 대상 2 이미지들의 예이다.
도 6은 도 5의 (a) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다.
도 7은 도 5의 (b) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다.
도 8은 도 5의 (c) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다.
도 9는 도 5의 (d) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다.
도 10은 본 발명과 기존 방법의 이미지 스티칭에 소요되는 처리 시간 성능을 비교한 그래프이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
먼저, 본 발명의 일 실시예에 따른 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법은, 소정의 이미지 처리장치에서 구현될 수 있으며, 이미지 처리장치는 반도체 프로세서와 같은 하드웨어, 응용 프로그램과 같은 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. 이미지 처리장치는 컴퓨팅 시스템일 수 있으며, 적어도 하나의 프로세서, 메모리, 사용자 인터페이스 입력 장치, 사용자 인터페이스 출력 장치, 스토리지, 및 네트워크 인터페이스 등을 포함할 수 있다. 프로세서는 중앙 처리 장치(CPU) 또는 메모리나 스토리지에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 연결선 추정방법 중 대략적인 연결선 추정 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 스티칭 대상 2 이미지들을 정합하기 위한 본 발명의 이미지 연결선 추정방법에서는, 이미지 처리장치가 먼저, 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 대략적인 연결선을 검출하고(도 1의 (a)), 다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 상기 대략적인 연결선이 보간된 해당 실제 연결선에 가까운 보간된 연결선 주변의 한정된 영역(예, 연결선 좌우 수직 방향으로 소정의 K 픽셀 범위)을 설정한다(도 1의 (b)). 본 발명의 이미지 처리장치는, 도 2에서 설명하는 바와 같이, 이와 같은 한정된 영역에서 상기 업샘플링한 이미지들 사이의 대응되는 픽셀 데이터들에 기초한 비용(cost)과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 실제 연결선에 더 가까운 최종 연결선을 추정하게 된다.
도 1의 (a)와 같이, 중첩영역이 포함된 스티칭 대상 2 이미지들을 1/2, 1/3, 1/4,.. 배 등으로 다운 샘플링하여 이미지 크기를 줄여 대략적인 연결선을 검출함으로써 계산부하와 연산시간을 줄일 수 있다. 픽셀 데이터(계조값이나 계조값의 변화도 등)를 이용하여 다운 샘플링한 이미지들의 대략적인 연결선을 검출할 수 있으며, 역으로 도 1의 (b)와 같이, 다운 샘플링된 2 이미지들을 2, 3, 4,.. 배 등으로 업샘플링하여 이미지 크기를 복원하고 크기가 복원된 이미지에서 상기 대략적인 연결선에 대해 소정의 보간법으로 생략되었던 픽셀 데이터(missing parts)를 복원해 채워 줌으로써 실제 연결선에 가까운 보간된 연결선을 추정할 수 있다.
본 발명의 이미지 처리장치는, 이와 같이 실제 연결선에 가까운 보간된 연결선 주변의 한정된 영역(예, 연결선 좌우 수직 방향으로 소정의 K 픽셀 범위)을 설정하여, 그 영역 내에서 도 2와 같이 실제 연결선에 더 가까운 최종 연결선을 추정하게 된다. 이에 따라 이미지들을 스티칭하여 미스매칭을 없애고 스티칭 흔적이 남지 않도록 정교한 연결이 가능하게 할 수 있다. 여기서, K는 4, 5,..등 소정의 자연수로 설정될 수 있다. 도 3에서는 K=5인 것으로 예를 들어 설명하였다.
이하, 도 2의 흐름도를 참조하여 본 발명의 일 실시예에 따른 실제 연결선 추정 과정을 좀 더 자세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 이미지 연결선 추정방법 중 비용과 방향 정보를 이용한 실제 연결선 추정 과정을 설명하기 위한 흐름도이다.
본 발명의 이미지 처리장치는, 위와 같은 한정된 영역(예, 연결선 좌우 수직 방향으로 소정의 K 픽셀 범위)에서 상기 업샘플링한 이미지들 사이의 대응되는 픽셀 데이터들(
Figure 112016124925295-pat00009
,
Figure 112016124925295-pat00010
)에 기초한 비용(cost)(ei)과 비용(ei)에 기초한 연결선 방향 정보(Mdir)를 이용하여, 상기 스티칭 대상 2 이미지들의 실제 연결선에 더 가까운 최종 연결선을 추정한다.
도 2를 참조하면, 먼저, 본 발명의 이미지 처리장치는, 도 1과 같이 업샘플링에 의해 이미지 크기가 복원되고 계조값 등 픽셀 데이터가 산출된 이미지들에서, 보간된 연결선 주변의 한정된 영역(예, K 픽셀 범위)을 포함하는 중첩영역의 픽셀 데이터들을 이용하여(S110), 2 이미지들 사이의 대응되는 픽셀 데이터들(
Figure 112016124925295-pat00011
,
Figure 112016124925295-pat00012
)을 기초로 비용(cost) ei을 계산한다(S120). 본 발명의 이미지 처리장치는, [수학식1], [수학식2], [수학식3]을 이용하여 스티칭 대상 2 이미지들의 각 픽셀 위치 (i,j)에 대한 비용(ei)을 산출하여 도 3의 (a)와 같이 스티칭 대상 2 이미지들에 대한 비용 매트릭스(Mcost)를 생성할 수 있다.
Figure 112016124925295-pat00013
,
Figure 112016124925295-pat00014
는 2 이미지들 사이의 대응되는 각 픽셀 데이터의 변화도(gradient)값이다.
[수학식1]
Figure 112016124925295-pat00015
[수학식2]
Figure 112016124925295-pat00016
[수학식3]
Figure 112016124925295-pat00017
여기서, 비용(ei)은 다른 표현으로 에너지(energy)일 수 있으며, 스티칭 대상 2 이미지들의 각 픽셀 위치에 대응되어 할당된 중요도값에 해당한다. 각 위치의 비용(ei)은 픽셀 데이터의 변화도(gradient)값 또는 강도/세기/계조값(intensity)에 비례하는 값일 수 있다.
본 발명의 이미지 처리장치는, 스티칭 대상 2 이미지들의 각 픽셀 위치에 대응된 위와 같은 비용 매트릭스(Mcost)를 생성한 후, [수학식4]와 같은 비용함수 E( i,j )를 이용하여 비용 매트릭스의 각 행의 각 픽셀 위치 (i,j)에 대한 축적 비용값들을 계산하여 축적(accumulated) 비용 매트릭스(Ma_cost)를 생성하고(도 3의 (b), (c), (d) 참조), 이와 함께 각 픽셀 위치 (i,j)에 대한 연결선 방향 정보 매트릭스(Mdir)를 생성한다(S130).
[수학식4]
Figure 112016124925295-pat00018
연결선 방향 정보 매트릭스(Mdir)는, 비용 매트릭스의 각 행의 각 픽셀 위치 (i,j)에 대한 축적 비용의 계산을 위해 선택된 위치([수학식4]와 같이 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀 중 축적 비용이 가장 작은(min) 픽셀 위치)로부터 각 픽셀 위치 (i,j)로의 방향 정보들을 포함한다. 예를 들어, 도 4의 (a)와 같이, 각 픽셀 위치 (i,j)에서, 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀로부터 자신을 향하는 방향값들(예, 1,2,3,4,6) 중 하나가 각 픽셀 위치 (i,j)에 대한 방향 정보일 수 있다. 이외에도, 도 4의 (b)의 최상위 행의 '5'와 같이, 각 픽셀 위치 (i,j)에 대한 방향 정보에는 자신 위치에 대한 방향값(예, 5)가 포함될 수 있다. 이는 도 3의 (b)의 최상위 행의 비용값 2의 위치가 최소 비용을 갖는 위치이고, 이 위치로부터 축적 비용을 산출하기 시작하므로, 해당 픽셀 위치에 대하여 자신 위치에 대한 방향값(예, 5)을 나타내기 위하여 사용된다.
한편, [수학식4]에서, 비용함수 E( i,j )는 도 3과 같은 비용 매트릭스(Mcost)에 대해 각 픽셀 위치에서 비용값들의 변화도(gradient)를 계산하기 위한 함수로서, 각 픽셀 위치 (i,j)에서 비용값 e( i,j ) 및 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀에서의 비용값들을 파라미터로 이용한다. 즉, 비용값 e( i,j )에 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀 중 축적 비용이 가장 작은 해당 축적 비용값을 합산하는 방식으로 축적 비용 E( i,j )을 산출한다.
예를 들어, 도 3의 (a)의 비용 매트릭스(Mcost)를 이용하여, 첫번째 행부터 각 행에 대하여 비용함수 E( i,j )를 이용한 전체 행들의 축적 비용값들을 계산하여 축적비용 매트릭스(Ma_cost)를 생성할 수 있다. 먼저, 도 3의 (b)와 같이, 첫번째 최상위 행에서는, 최소 비용을 갖는 해당 픽셀 위치(비용값 2의 위치)로부터 좌우로 순차로 축적 비용값들을 계산한다. 좌우로 주변 비용값들, 즉, 비용값 e( i,j )에 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀에서의 비용값들 중 최소값을 더해 나가되, 최상위 행에서는, 상위 행이 없으므로 해당 위치에서 상위 행의 3 개의 픽셀에 대한 비용값은 반영하지 않는다. 도면에서 각 화살표는 연결선 방향 정보 매트릭스(Mdir)를 구성하는 각각의 방향 정보이다.
다음 행부터는 도 3의 (c), (d)와 같이, 아직 계산되지 않은 위치의 축적 비용값을 반영하지 않으면서, 좌끝부터 우측 방향으로 계산한 축적 비용값들과 우끝부터 좌측 방향으로 계산한 축적 비용값들을 각각 계산한다. 도 3의 (c), (d)에서, 가장 좌측 매트릭스는 좌끝부터 우측 방향으로 계산한 축적 비용값들의 계산 방식을 나타내고, 중앙의 매트릭스는 우끝부터 좌측 방향으로 계산한 축적 비용값들의 계산 방식을 나타낸다. 이와 같이 양방향 끝에서 각각 축적 비용값들을 계산한 후, 그 중 작은값으로 이루어진 축적 비용값들을 선택하면, 도 3의 (c), (d)에서, 가장 우측의 매트릭스와 같이 선택된다. 도면에서 각 화살표는 연결선 방향 정보 매트릭스(Mdir)를 구성하는 각각의 방향 정보이다.
이와 같은 방법으로 각 행의 축적 비용값들을 계산하여 축적비용 매트릭스(Ma_cost)와 연결선 방향 정보 매트릭스(Mdir)를 생성한 후, 본 발명의 이미지 처리장치는, 축적비용 매트릭스(Ma_cost)의 최하위 행의 최소 축적 비용값 위치를 최종 연결선 시작 위치(도 4의 (b)의 3행 4열 위치에 해당)로 결정한다(S140).
본 발명의 이미지 처리장치는, 이와 같은 최소 축적 비용값 위치를 최종 연결선 시작 위치로부터, 연결선 방향 정보 매트릭스(Mdir)에 따라 역으로 연결선 방향 정보를 따라가 최상위 행까지 연결한 선을 상기 최종 연결선으로 추정하게 된다(S150).
도 5는 본 발명과 기존 방법의 연결선 추정 비교에 사용할 스티칭 대상 2 이미지들의 예이다.
도 6은 도 5의 (a) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다. 도 6과 같이, 다이내믹 프로그래밍(dynamic programming), 그래프 컷(graph cut), 보로노이(Voronoi)와 같은 기존 방법들에서는 천정의 등 지지대와 의자의 다리 등이 서로 연결되지 않는 미스매칭이 보이지만, 본 발명의 이미지 연결선 추정방법에 따른 결과 (d)에서는 이와 같은 미스매칭을 없애고 스티칭 흔적이 남지 않도록 정교한 연결로 이미지들을 스티칭할 수 있음을 확인하였다.
도 7은 도 5의 (b) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다. 도 7과 같이, 다이내믹 프로그래밍(dynamic programming), 그래프 컷(graph cut), 보로노이(Voronoi)와 같은 기존 방법들에서는 기둥쪽 직사각형 모양의 연결에 미스매칭이 보이지만, 본 발명의 이미지 연결선 추정방법에 따른 결과 (d)에서는 이와 같은 미스매칭을 없애고 스티칭 흔적이 남지 않도록 정교한 연결로 이미지들을 스티칭할 수 있음을 확인하였다.
도 8은 도 5의 (c) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다. 도 8과 같이, 다이내믹 프로그래밍(dynamic programming), 그래프 컷(graph cut), 보로노이(Voronoi)와 같은 기존 방법들에서는 상부의 유리창쪽과 하부의 조경용 지지대 등의 연결에 미스매칭이 보이지만, 본 발명의 이미지 연결선 추정방법에 따른 결과 (d)에서는 이와 같은 미스매칭을 없애고 스티칭 흔적이 남지 않도록 정교한 연결로 이미지들을 스티칭할 수 있음을 확인하였다.
도 9는 도 5의 (d) 이미지 세트에 대하여 본 발명과 기존 방법의 이미지 스티칭 처리 비교 결과이다. 도 9와 같이, 이미지들에 촘촘한 세로선들의 존재하는 특성상 다이내믹 프로그래밍(dynamic programming), 그래프 컷(graph cut), 보로노이(Voronoi)와 같은 기존 방법들과 본 발명의 이미지 연결선 추정방법에 따른 결과 (d)에서 모두 유사하게 이미지들이 스티칭되어 별다른 미스매칭을 구분하기는 어려웠다.
도 10은 본 발명과 기존 방법의 이미지 스티칭에 소요되는 처리 시간 성능을 비교한 그래프이다.
도 10과 같이, 이미지 프레임이 경과함에 따라 스티칭 대상 이미지들의 콘텐츠가 달라지므로 처리 시간이 조금씩 달라짐을 알 수 있다. 다만, 보로노이(Voronoi) 방식(151)과 다이내믹 프로그래밍(dynamic programming)(152)이 빠르게 나타나며, 그래프 컷(graph cut) 방식(154)이 가장 느리다. 본 발명의 방식(153)은 그래프 컷(graph cut) 방식(154) 보다는 빠르고, 스티칭을 위한 가우샨(Gaussian) 필터링, 엔트로피 계산 등을 위해 다른 방식들 보다는 느리게 되었지만, 파노라마 영상의 획득 품질은 다른 방식들 보다 우수하였다. 여기서, 위와 같은 실험을 위하여 소정의 PC(Personal Computer)가 사용되었고, 그 자세한 사양은 언급하지 않았지만, 위와 같은 상대적인 비교가 가능하다.
상술한 바와 같이, 본 발명에 따른 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법은, 스티칭 대상 2 이미지들의 중첩영역에서 이미지들이 정합되기 위한 연결선을 찾기 위하여, 중첩영역이 포함된 이미지들을 다운 샘플링하여 크기를 줄인 이미지들로부터 대략적인 연결선을 검출함으로써 계산부하와 연산시간을 줄일 수 있다. 또한, 위와 같은 대략적인 연결선으로부터 실제 연결선을 찾기 위하여, 다시 이미지들을 업샘플링하여 이미지 크기가 복원된 이미지들에서 대략적인 연결선이 보간법으로 보간된 연결선을 중심으로 수직방향으로 소정의 좌우 픽셀들(예, K개) 영역으로 한정한 영역에서 픽셀 데이터의 변화도(gradient)를 나타내는 비용함수 E( i,j )를 이용해 축적(accumulated) 비용 매트릭스를 계산한 후, 최하위 행의 최소 축적 비용값 위치에서 역으로 매트릭스 방향 정보를 따라가 최상위 행까지 연결한 선을 연결선으로 검출하여, 이에 따라 이미지들을 스티칭하여 미스매칭을 없애고 스티칭 흔적이 남지 않도록 정교한 연결이 가능하게 할 수 있다.
상술한 바와 같은 본 발명의 일 실시예에 따른 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법을 수행하기 위한 기능은 컴퓨터 등 장치로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하며, 이와 같은 기록 매체와 컴퓨터 등 장치의 결합으로 기능 수행에 필요한 데이터나 정보를 입력하거나 출력하고 디스플레이하도록 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드 디스크, 이동형 저장장치 등이 있으며 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크(예, 인터넷, 이동통신 네트워크 등)로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장된 형태가 가능하며 네트워크를 통해 실행될 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 삭제
  2. 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 연결선을 검출하는 단계;
    다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 연결선 주변의 한정된 영역을 설정하는 단계; 및
    상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 단계를 포함하고,
    상기 추정하는 단계에서,
    상기 비용 ei은 하기의 수학식들에 의해 산출되고,
    Figure 112017090041062-pat00019
    ,
    Figure 112017090041062-pat00020
    ,
    Figure 112017090041062-pat00021

    여기서,
    Figure 112017090041062-pat00022
    ,
    Figure 112017090041062-pat00023
    는 대응되는 픽셀 데이터들,
    Figure 112017090041062-pat00024
    ,
    Figure 112017090041062-pat00025
    는 대응되는 각 픽셀 데이터의 변화도(gradient)값인 것을 특징으로 하는 이미지 연결선 추정방법.
  3. 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 연결선을 검출하는 단계;
    다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 연결선 주변의 한정된 영역을 설정하는 단계; 및
    상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 단계를 포함하고,
    상기 추정하는 단계에서,
    상기 연결선 방향 정보는, 상기 비용으로부터 각 행의 축적 비용의 계산을 위해 선택된 위치로부터 각 픽셀 위치로의 방향으로서, 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀로부터 자신을 향하는 방향값들을 포함하는 것을 특징으로 하는 이미지 연결선 추정방법.
  4. 제3항에 있어서,
    상기 연결선 방향 정보는, 최상위 행의 최소 비용을 갖는 해당 픽셀 위치에서 자신 위치의 방향값을 더 포함하는 것을 특징으로 하는 이미지 연결선 추정방법.
  5. 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 연결선을 검출하는 단계;
    다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 연결선 주변의 한정된 영역을 설정하는 단계; 및
    상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 단계를 포함하고,
    상기 추정하는 단계에서,
    상기 한정된 영역의 비용값들을 이용하여 각 행의 축적 비용값들을 계산하고, 최하위 행의 최소 축적 비용값 위치에서 역으로 상기 연결선 방향 정보를 따라가 최상위 행까지 연결한 선을 상기 최종 연결선으로 추정하는 것을 특징으로 하는 이미지 연결선 추정방법.
  6. 제5항에 있어서,
    상기 비용값들의 변화도(gradient)를 계산하기 위한 비용함수 E( i,j )를 이용하여 상기 각 행의 축적 비용값들을 계산하고, 상기 비용함수 E( i,j )는 수학식
    Figure 112016124925295-pat00026

    로 표현되고, 각 픽셀 위치 (i,j)에서의 비용값 e( i,j ), 및 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀에서의 비용값들을 파라미터로 이용하는 것을 특징으로 하는 이미지 연결선 추정방법.
  7. 제5항에 있어서,
    상기 한정된 영역의 상기 최상위 행에서는 최소 비용을 갖는 해당 픽셀 위치 로부터 좌우로 순차로 축적 비용값들을 계산하고,
    다음 행부터는 아직 계산되지 않은 위치의 축적 비용값을 반영하지 않고, 좌끝부터 우측 방향으로 계산한 축적 비용값들과 우끝부터 좌측 방향으로 계산한 축적 비용값들 중 작은값으로 이루어진 축적 비용값들을 선택하는 것을 특징으로 하는 이미지 연결선 추정방법.
  8. 삭제
  9. 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 연결선을 검출하는 기능;
    다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 연결선 주변의 한정된 영역을 설정하는 기능; 및
    상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 기능을 포함하고,
    상기 추정하는 기능에서,
    상기 비용 ei은 하기의 수학식들에 의해 산출되고,
    Figure 112017090041062-pat00027
    ,
    Figure 112017090041062-pat00028
    ,
    Figure 112017090041062-pat00029

    여기서,
    Figure 112017090041062-pat00030
    ,
    Figure 112017090041062-pat00031
    는 대응되는 픽셀 데이터들,
    Figure 112017090041062-pat00032
    ,
    Figure 112017090041062-pat00033
    는 대응되는 각 픽셀 데이터의 변화도(gradient)값인 것을 특징으로 하는 기록 매체.
  10. 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 연결선을 검출하는 기능;
    다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 연결선 주변의 한정된 영역을 설정하는 기능; 및
    상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 기능을 포함하고,
    상기 추정하는 기능에서,
    상기 연결선 방향 정보는, 상기 비용으로부터 각 행의 축적 비용의 계산을 위해 선택된 위치로부터 각 픽셀 위치로의 방향으로서, 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀로부터 자신을 향하는 방향값들을 포함하는 것을 특징으로 하는 기록 매체.
  11. 제10항에 있어서,
    상기 연결선 방향 정보는, 최상위 행의 최소 비용을 갖는 해당 픽셀 위치에서 자신 위치의 방향값을 더 포함하는 것을 특징으로 하는 기록 매체.
  12. 스티칭 대상 2 이미지들을 다운 샘플링한 이미지들의 연결선을 검출하는 기능;
    다운 샘플링된 상기 2 이미지들을 업샘플링한 이미지들에서 중첩영역의 보간된 상기 연결선 주변의 한정된 영역을 설정하는 기능; 및
    상기 한정된 영역에서 상기 이미지들의 대응되는 픽셀 데이터들에 기초한 비용과 상기 비용에 기초한 연결선 방향 정보를 이용하여, 상기 스티칭 대상 2 이미지들의 최종 연결선을 추정하는 기능을 포함하고,
    상기 추정하는 기능에서,
    상기 한정된 영역의 비용값들을 이용하여 각 행의 축적 비용값들을 계산하고, 최하위 행의 최소 축적 비용값 위치에서 역으로 상기 연결선 방향 정보를 따라가 최상위 행까지 연결한 선을 상기 최종 연결선으로 추정하는 것을 특징으로 하는 기록 매체.
  13. 제12항에 있어서,
    상기 비용값들의 변화도(gradient)를 계산하기 위한 비용함수 E( i,j )를 이용하여 상기 각 행의 축적 비용값들을 계산하고, 상기 비용함수 E( i,j )는 수학식
    Figure 112016124925295-pat00034

    로 표현되고, 각 픽셀 위치 (i,j)에서의 비용값 e( i,j ), 및 인접한 상위 행의 3 개의 픽셀과 인접 좌우 픽셀에서의 비용값들을 파라미터로 이용하는 것을 특징으로 하는 기록 매체.
  14. 제12항에 있어서,
    상기 한정된 영역의 상기 최상위 행에서는 최소 비용을 갖는 해당 픽셀 위치 로부터 좌우로 순차로 축적 비용값들을 계산하고,
    다음 행부터는 아직 계산되지 않은 위치의 축적 비용값을 반영하지 않고, 좌끝부터 우측 방향으로 계산한 축적 비용값들과 우끝부터 좌측 방향으로 계산한 축적 비용값들 중 작은값으로 이루어진 축적 비용값들을 선택하는 것을 특징으로 하는 기록 매체.
KR1020160174458A 2016-12-20 2016-12-20 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법 KR101836238B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160174458A KR101836238B1 (ko) 2016-12-20 2016-12-20 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160174458A KR101836238B1 (ko) 2016-12-20 2016-12-20 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법

Publications (1)

Publication Number Publication Date
KR101836238B1 true KR101836238B1 (ko) 2018-03-09

Family

ID=61728028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160174458A KR101836238B1 (ko) 2016-12-20 2016-12-20 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법

Country Status (1)

Country Link
KR (1) KR101836238B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064397A (zh) * 2018-07-04 2018-12-21 广州希脉创新科技有限公司 一种基于摄像耳机的图像拼接方法及***
CN114257703A (zh) * 2021-12-14 2022-03-29 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN115072036A (zh) * 2022-06-17 2022-09-20 红云红河烟草(集团)有限责任公司 卷烟包装盒成型质量检测装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013228896A (ja) * 2012-04-26 2013-11-07 Sony Corp 画像処理装置、画像処理方法、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013228896A (ja) * 2012-04-26 2013-11-07 Sony Corp 画像処理装置、画像処理方法、プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064397A (zh) * 2018-07-04 2018-12-21 广州希脉创新科技有限公司 一种基于摄像耳机的图像拼接方法及***
EP3591607A1 (en) * 2018-07-04 2020-01-08 Sysmax Innovations Co., Ltd. Image stitching method and system based on camera earphone
CN114257703A (zh) * 2021-12-14 2022-03-29 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN114257703B (zh) * 2021-12-14 2023-12-01 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN115072036A (zh) * 2022-06-17 2022-09-20 红云红河烟草(集团)有限责任公司 卷烟包装盒成型质量检测装置及方法
CN115072036B (zh) * 2022-06-17 2024-01-05 红云红河烟草(集团)有限责任公司 卷烟包装盒成型质量检测装置及方法

Similar Documents

Publication Publication Date Title
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
KR101820349B1 (ko) 화상 표시 방법 및 장치
US9591237B2 (en) Automated generation of panning shots
JP7002056B2 (ja) 三次元モデル生成装置及び三次元モデル生成方法
EP3200148B1 (en) Image processing method and device
US10026160B2 (en) Systems and techniques for automatic image haze removal across multiple video frames
US9749601B2 (en) Imaging device, image display method, and storage medium for displaying reconstruction image
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
JP5436566B2 (ja) 画像を編集する方法及び装置
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US20160050372A1 (en) Systems and methods for depth enhanced and content aware video stabilization
KR20210110679A (ko) 이미지 융합 프로세싱 모듈
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
KR101836238B1 (ko) 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법
CN115546027A (zh) 图像缝合线确定方法、装置以及存储介质
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP2019028912A (ja) 画像処理装置、画像処理方法
US11816858B2 (en) Noise reduction circuit for dual-mode image fusion architecture
US20140321767A1 (en) Image processing device, image processing method, recording medium, and stereoscopic image display device
JP5042251B2 (ja) 画像処理装置および画像処理方法
US11798146B2 (en) Image fusion architecture
Bareja et al. An improved iterative back projection based single image super resolution approach
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5887974B2 (ja) 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant