KR101854355B1 - 다중센서를 선택적으로 이용하는 영상보정 장치 - Google Patents

다중센서를 선택적으로 이용하는 영상보정 장치 Download PDF

Info

Publication number
KR101854355B1
KR101854355B1 KR1020170131678A KR20170131678A KR101854355B1 KR 101854355 B1 KR101854355 B1 KR 101854355B1 KR 1020170131678 A KR1020170131678 A KR 1020170131678A KR 20170131678 A KR20170131678 A KR 20170131678A KR 101854355 B1 KR101854355 B1 KR 101854355B1
Authority
KR
South Korea
Prior art keywords
image
sensor
frame
previous frame
unit
Prior art date
Application number
KR1020170131678A
Other languages
English (en)
Inventor
홍용희
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020170131678A priority Critical patent/KR101854355B1/ko
Application granted granted Critical
Publication of KR101854355B1 publication Critical patent/KR101854355B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상의 불균일 정도에 따라 다중센서를 선택적으로 사용하여 영상의 불균일이 심한 경우에도 영상보정을 실행할 수 있는 영상보정 장치를 제안한다.

Description

다중센서를 선택적으로 이용하는 영상보정 장치{Image correction apparatus selectively using multi-sensor}
본 발명은 다중센서를 선택적으로 이용하는 영상보정 장치에 관한 것으로, 보다 상세하게는 영상의 불균일 정도에 따라 다중센서를 선택적으로 사용함으로써 영상 불균일이 심한 경우에도 영상보정을 실행할 수 있는 영상보정 장치에 관한 것이다.
일반적인 영상보정 방법으로서, 교정 기반 불균일 보정(CBNUC)은 흑체와 같은 보정장비를 이용하여 이득(gain)과 오프셋(offset)을 획득하고 적용하는 방법으로, 서로 다른 두 온도의 흑체를 이용하여 FPA(Focal plane array)의 이득 및 오프셋을 보정하는 two point NUC가 주로 사용되고 있다
기존 정합 장면 기반 불균일보정(SBNUC)는 프레임 간의 정합을 실행하기 위해 영상 정보를 기반으로 단순 영상매칭 반복 연산, row 및 column 프로젝션 매칭 기법, 위상상관정합(Phase Correlation Registration)기법 등 알고리즘을 이용하여 프레임 모션 보정 후 정합을 수행하였다.
종래의 교정 기반 불균일보정(CBNUC)는 영상 기반 불균일보정(SBNUC)에 비해 구현하기 쉬우며 정확한 보정 테이블 획득이 가능하다는 장점이 있다. 하지만 가정에 벗어난 주변 환경 변화에 대응하지 못하며, 불균일보정 후 장시간 경과 시 발생되는 FPA변화로 인해 주기적으로 불균일 보정을 해주어야 한다. 또한, 전원인가 후 FPA에서 발생되는 온도 드리프트 현상에 대응하기 어려운 단점이 있다. 이를 극복하기 위해 셔터보정을 수행한다. 하지만 이 경우 셔터가 주기적으로 영상을 가리게 되어 연속 영상획득이 불가능한 단점이 있다.
기존 정합 장면 기반 불균일 보정(SBNUC)는 프레임 간의 정합을 수행하기 위해 영상 기반 알고리즘을 이용하였다. 하지만 영상정보만으로 정합을 하기 위한 모션 추정에는 많은 시스템 자원이 필요로 하게 되어 시스템 제작 비용 상승 및 제작 난이도 상승 등의 문제를 수반하게 된다.
또한, 영상 신호가 영상 센서의 불균일로 인해 발생되는 신호에 비해 작을 경우 정합 장면기반 불균일 보정이 수행이 불가능한 단점도 있다.
한국공개특허 제10-2016-0060747호는 다중 센서 영상 정합 장치에 대하여 기술하고 있다. 그러나 이 기술에서는 CCD영상과 IR 영상을 정합함으로써 야간 환경에 유리하고, 표적과 주변온도가 비슷할 때 표적을 구분하는 기술에 대해 기재하고 있을 뿐, 영상 센서의 불균일로 인한 불균일한 영상에 대한 해결 방안을 제시하고 있지 않다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 영상의 불균일 정도에 따라 다중센서를 선택적으로 사용하는 영상보정 장치를 제안함을 목적으로 한다.
또한, 본 발명은 다중센서 기반으로 영상 정합을 수행하므로 정합 정밀도를 높일 수 있는 영상보정 장치를 제안함을 목적으로 한다.
아울러, 본 발명은 다중센서를 이용함으로써, 정합 정밀도를 높이고 정합 장면기반 불균일 보정 실행의 속도를 최적화하는 것이 가능한 영상보정 장치를 제안함을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 영상을 획득하는 영상 획득부와, 상기 영상의 현재 프레임과 이전 프레임에 대해 보정 테이블을 기준으로 보정을 수행하는 영상 보정부와, 상기 영상의 불균일 정도를 판단하는 영상 불균일 판단부 및 상기 영상의 불균일 정도에 따라 상기 영상의 이전 프레임과 현재 프레임에 대해 영상처리기반 또는 다중센서 기반의 영상 변화량 추정을 선택적으로 실행하고, 상기 추정된 영상 변화량에 기초하여 상기 보정 테이블을 업데이트하는 선택적 보정 테이블 업데이트부를 포함하는 다중센서를 선택적으로 이용하는 영상보정 장치를 제안한다.
본 발명의 실시 예에 따른 다중센서를 선택적으로 이용하는 영상보정 장치는 영상의 불균일 정도를 영상의 거칠기 값으로 환산하고, 거칠기 값이 임계치 이상인 경우 기존의 영상처리기반 영상정합이 불가능하기 때문에 선택적으로 다중 센서를 사용하여 영상보정을 실행함으로써, 정합이 불가능했던 경우에도 줌 센서와 자이로 센서 정보를 바탕으로 정합 장면기반 불균일 보정 수행이 가능하다.
또한, 본 발명은 다중센서 기반으로 영상 정합을 수행하므로 정합 정밀도를 높일 수 있으며, 정합 장면기반 불균일 보정 실행의 속도를 최적화할 수 있다.
도 1은 본 발명의 일실시 예에 따른 다중센서를 선택적으로 이용하는 영상보정 시스템의 개략적인 구성을 도시하는 블록도이다.
도 2는 본 발명의 일실시 예에 따른 다중센서를 선택적으로 이용하는 영상보정장치의 개략적인 구성을 도시하는 블록도이다.
도 3은 본 발명의 일실시 예에 따른 영상 프로세서의 상세한 구성을 도시하는 블록도이다.
도 4는 본 발명의 실시 예에 따른 다중센서 기반 보정 테이블 업데이트부의 개략적인 구성을 도시하는 블록도이다.
도 5는 본 발명의 일실시 예에 따라 영상의 불균일 정도를 판단하는데 이용되는 수평 차이 필터 및 수직 차이 필터를 도시한다.
도 6은 영상 거칠기를 설명하기 위한 사진 자료이다.
도 7은 본 발명의 실시 예에 따른 정합 장면기반 불균일 보정 방법을 설명하기 위한 알고리즘을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 다중센서를 이용한 정합장면 기반 불균일 보정 광학 시스템의 신호 흐름도를 도시한다.
도 9는 본 발명의 실시 예에 따른 자이로 센서를 이용한 프레임 이동량 추정 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시 예에 따라 자이로 센서를 사용하여 프레임의 이동 방향 및 이동량을 추정하여 신호 차이 에러를 생성하는 일 예를 도시하는 도면이다.
도 11은 본 발명의 실시 예에 따른 줌센서를 이용하여 프레임의 확대 축소량 즉 배율 변화량을 추정하는 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시 예에 따른 줌센서를 이용하여 프레임의 배율 변화량을 추정하여 신호 차이 에러를 생성하는 방법을 설명하기 위한 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일실시 예에 따른 다중센서를 선택적으로 이용하는 영상보정 시스템의 개략적인 구성을 도시하는 블록도이고, 도 2는 본 발명의 일실시 예에 따른 다중센서를 선택적으로 이용하는 영상보정장치의 개략적인 구성을 도시하는 블록도이며, 도 3은 본 발명의 일실시 예에 따른 영상 프로세서의 상세한 구성을 도시하는 블록도이다.
도 1을 참조하면, 본 발명의 일실시 예에 따른 다중센서를 선택적으로 이용하는 영상보정 시스템(100)은 줌 광학계(120) 및 영상보정장치(110)를 포함하여 구성된다. 도 2를 참조하면, 영상보정장치(110)는 영상센서(130), 줌 센서(140), 자이로 센서(150) 및 영상 프로세서(170)를 포함하여 구성된다.
영상보정 시스템(100)은 줌 광학계(120)를 통해 외부에서 광에너지를 영상센서(130)로 집광하여 영상을 전기신호로 변환 후 영상 프로세서(170)로 전달한다. 영상 프로세서(170)는 영상 신호를 처리한 후 영상보정 시스템(100) 외부로 보정된 영상을 출력한다.
영상센서(130)에서 출력된 영상 신호를 그대로 외부로 출력할 경우, 영상 센서 제조 과정에서 발생되는 불균일한 고정 패턴 노이즈가 그대로 실려 외부로 출력되게 된다. 이러한 경우 영상 화질이 떨어지며 피사체를 제대로 구분하기 힘들다. 이를 해결하고자 영상센서(130)의 불균일성을 보정하기 위해 영상 프로세서(170)는 불균일 보정 과정을 실행한다.
영상센서(130)에 대한 불균일 보정 방법에는 크게 캘리브레이션 기반 불균일 보정과 장면기반 불균일 보정으로 두 가지가 있다. 캘리브레이션 기반 불균일 보정은 흑체나 적분구와 같은 레퍼런스 입력을 이용하여 영상을 보정하는 방법이고, 장면기반 불균일 보정은 영상보정 시스템(100)에 입력되는 보정되지 않은 영상을 영상처리과정을 이용하여 보정하는 방법이다.
장면기반 불균일 보정 방법에는 다시 통계적 방법과 정합을 이용하는 방법이 있다. 본 발명에서는 정합을 이용한 장면 기반 불균일 보정법을 이용한 광학 시스템의 개선 방안을 개시한다.
특히, 본 발명에서는 영상의 불균일 정도를 영상의 거칠기 값으로 환산하고, 거칠기 값이 임계치 이상인 경우 기존의 영상처리기반 영상정합이 불가능하기 때문에 선택적으로 다중 센서를 사용하여 영상보정을 실행함으로써, 정합이 불가능했던 경우에도 줌 센서와 자이로 센서 정보를 바탕으로 정합 장면기반 불균일 보정 수행이 가능한 것을 특징으로 한다.
영상 프로세서(170)는 영상 획득부(171), 영상 보정부(172), 보정영상 출력부(173), 영상 불균일 판단부(174) 및 선택적 보정 테이블 업데이트부(175)를 포함하여 구성된다.
영상 획득부(171)에서 영상을 획득하여 현재 프레임과 이전 프레임으로 구분한다. 영상 보정부(172)는 현재 프레임과 이전 프레임에 대해 현재 보정 테이블을 기준으로 보정을 수행한다. 보정 테이블은 매번 입력되는 영상의 프레임에 대하여 업데이트되는데, 이러한 보정 테이블의 업데이트 방법에 대해서는 하기의 서술을 참고하기로 한다.
영상 불균일 판단부(174)는 영상을 보정하기 위한 과정에서 다중센서를 선택적으로 사용하기 위해 영상의 불균일 정도를 임계치를 기준으로 판단한다.
이는 영상센서(130)의 불균일이 심한 경우 영상정보를 이용한 프레임 모션 추정이 거의 불가능하게 되기 때문이다. 이러한 이유로 영상 불균일 판단부(174)는 영상의 거칠기 정도를 판단하여 영상처리기반으로 영상보정을 실행할지 다중센서 기반으로 영상보정을 실행할지 결정한다. 영상센서(130)의 불균일이 클 경우 영상 거칠기 값도 비례하여 큰 값을 나타낸다.
도 5는 본 발명의 일실시 예에 따라 영상의 불균일 정도를 판단하는데 이용되는 수평 차이 필터 및 수직 차이 필터를 도시하고, 도 6은 영상 거칠기를 설명하기 위한 사진 자료이다.
구체적으로, 영상 불균일 판단부(174)는 한 영상에 대해 도 5에 도시된 바와 같이 수평 차이 필터 및 수직 차이 필터를 적용한 결과의 합과 원영상과의 비율을 이용하여 영상의 거칠기를 산출한다. 상기 영상의 거칠기는 수학식 1과 같이 산출할 수 있다.
Figure 112017099766683-pat00001
여기서,
Figure 112017099766683-pat00002
는 영상 거칠기, h1는 수평차이필터, h2는 수직차이필터, I는 영상, *는 discrete convolution을 나타낸다.
도 6에 도시된 사진과 같이 영상 거칠기 값이 임계치보다 높을수록 인접 픽셀 간 밝기 변화가 크기 때문에 거친 영상을 나타내며, 영상 거칠기 값이 임계치보다 낮은 경우 인접 픽셀 간 밝기 변화가 적기 때문에 부드러운 영상을 나타낸다.
영상 불균일 판단부(174)는 이렇게 산출된 영상의 거칠기 값을 임계치를 기준으로 비교하여, 상기 거칠기 값이 임계치 미만인 경우 제1 영상으로 분류하고, 상기 거칠기 값이 임계치 이상인 경우 제2 영상으로 분류한다.
영상센서(130)의 불균일이 심할 경우 기존의 영상처리기반의 영상보정방법으로는 정합이 불가능하므로, 본 발명에서는 영상센서(130)의 불균일이 임계치 이상일 경우 다중 센서 기반의 영상보정방법을 실행하도록 한다.
반면, 영상센서로 인한 영상의 불균일이 임계치 미만일 경우에는 일반적인 기술의 영상처리기반 영상 보정 기법을 이용하거나, 사용자의 선택 또는 설계자의 설정에 따라 다중센서 기반의 영상 보정방법을 이용할 수 있다.
선택적 보정 테이블 업데이트부(175)는 상술한 영상 불균일 판단부(174)에서 판단된 영상의 불균일 정도에 따라 영상처리기반 또는 다중센서 기반으로 영상 변화량 추정을 실행하고, 상기 추정된 영상 변화량에 기초하여 보정 테이블을 업데이트한다.
구체적으로, 도 3에 도시된 바와 같이, 선택적 보정 테이블 업데이트부(175)는 상기 제1 영상에 대해서 이전 프레임과 현재 프레임을 비교하는 연산을 이용하는 영상처리기반으로 영상 변화량을 추정하고 이에 기초하여 상기 보정 테이블을 업데이트하는 영상처리기반 보정 테이블 업데이트부(180)를 포함한다. 여기서, 영상처리기반 보정 테이블 업데이트부(180)는 기존의 영상처리기술과 동일한 기술이므로 상세한 설명은 생략하기로 한다.
그리고, 선택적 보정 테이블 업데이트부(175)는 상기 제2 영상 즉, 영상센서로 인한 영상의 불균일이 임계치 이상인 영상에 대해서 다중센서 기반으로 영상 변화량을 추정하고, 추정된 영상 변화량에 기초하여 보정 테이블을 업데이트하는 다중센서 기반 보정 테이블 업데이트부(190)를 포함한다.
구체적으로, 다중센서 기반 보정 테이블 업데이트부(190)는 도 4에 도시된 바와 같이 영상 변화량 추정부(191), 이전 프레임 보정부(192), 정합부(193), 신호차이 에러 생성부(194) 및 보정 테이블 업데이트부(195)를 포함하여 구성된다.
영상 변화량 추정부(191)는 다중센서를 기반으로 프레임의 이동량과 배율 변화량을 추정하고자, 이를 위해 이전 프레임 대비 현재 프레임의 이동 변화량을 추정하기 위해 자이로 센서(A)를 이용하고, 이전 프레임 대비 현재 프레임의 배율 변화량을 추정하기 위해 줌 센서(B)를 이용한다.
구체적으로, 영상 변화량 추정부(191)는 자이로 센서를 이용하여 yaw축 각속도 출력과 pitch축 각속도 출력을 영상센서 프레임 레이트를 기준으로 누적하여 yaw축 각이동량 및 pitch축 각이동량을 구한다.
그리고, 영상 변화량 추정부(191)는 yaw축 각이동량 및 pitch축 각이동량을 줌광학계 정보와 영상센서 정보를 기반으로 가로축 영상 이동량과 세로축 영상 이동량으로 변환한다.
연이어, 영상 변화량 추정부(191)는 추정된 가로축 영상 이동량 및 세로축 영상 이동량을 이용하여 상기 이전 프레임의 이동량 변환을 수행함으로써, 상기 이전 프레임 대비 현재 프레임의 영상 이동 변화량을 추정한다.
그러면, 신호 차이 에러 생성부(194)는 상기 자이로 센서로부터 얻은 각속도 정보와 상기 영상 센서의 프레임 레이트, 영상 센서 정보 및 줌광학계 정보를 조합하여 영상 이동량을 추정한다. 그런 다음, 상기 추정된 영상 이동량을 이전 프레임에 적용하여 영상 이동량이 보정된 이전 프레임을 생성하고, 상기 영상 이동량이 보정된 이전 프레임과 현재 프레임과 차이를 구하여 상기 신호 차이 에러를 생성한다.
한편, 영상 변화량 추정부(191)는 상기 줌 센서의 인코더 정보를 통해 현재 줌광학계의 줌 상태를 파악하고, 상기 줌광학계의 배율 정보와 상기 줌광학계의 초점거리 정보를 이용하여 상기 영상 센서의 FPA(Focal plane array)면에 맺어지는 영상배율을 실시간 추정한다. 그런 다음, 영상 변화량 추정부(191)는 상기 영상센서 픽셀피치와 상기 영상센서의 가로 및 세로의 픽셀수를 이용하여 실제 프레임 영상 기준으로 상기 이전 프레임 대비 영상배율을 추정함으로써, 상기 이전 프레임 대비 현재 프레임의 배율 변화량을 추정한다.
그러면, 신호 차이 에러 생성부(194)는 영상 센서로부터 줌 확대된 이전 프레임과 줌 축소된 현재 프레임을 획득하고, 상기 줌센서와 줌 광학계의 배율과 초점거리 정보로 상기 이전 프레임 대비 상기 현재 프레임의 줌 배율을 획득한다.
그런 다음, 신호 차이 에러 생성부(194)는 상기 획득된 줌 배율을 영상 센서의 픽셀 피치와 가로 및 세로 픽셀 수 정보와 조합하여 현재 프레임 대비 이전 프레임의 영상배율을 추정한다.
그러면, 신호 차이 에러 생성부(194)는 추정된 영상 확대 축소량에 기반하여 이전 프레임을 변형해서 영상배율이 보정된 이전 프레임을 획득하고, 상기 영상배율이 보정된 이전 프레임과 상기 현재 프레임과의 차이를 구함으로써 신호 차이 에러를 생성한다.
보정 테이블 업데이트부(195)는 상기 신호 차이 에러를 이용하여 보정 테이블의 오프셋과 이득을 업데이트하여 영상 보정부(172)로 전달한다.
그리고, 보정 테이블 업데이트부(195)는 매번 입력되는 영상의 프레임에 대하여 상기 보정 테이블에 대한 업데이트 실행을 반복한다. 이와 같은 과정이 반복을 거치며 보정 테이블을 점차 업데이트함으로써 최종적으로 높은 품질의 불균일 보정 수행을 가능하게 하는 보정 테이블을 얻을 수 있다.
보정 영상 출력부(173)는 영상 보정부에 의해 보정된 현재 프레임을 보정영상으로서 외부로 출력한다.
도 7은 본 발명의 실시 예에 따른 정합 장면기반 불균일 보정 방법을 설명하기 위한 알고리즘을 나타내는 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 정합 장면기반 불균일 보정 방법은 영상센서(130)에서 출력된 원영상(S201)을 버퍼에 저장하여(S202) 현재 프레임과 이전 프레임을 각각 현재 업데이트된 보정 테이블 정보를 기준으로 이득과 오프셋을 보정하는 불균일 보정을 수행한다(S203).
보정된 현재 프레임은 보정영상으로서 외부로 출력된다(S207).
보정된 이전 프레임과 현재 프레임은 정합을 위해 이전 프레임을 현재 프레임 영상을 기준으로 프레임 이동량과 확대 축소량(배율의 변화량)을 추정 후, 추정된 프레임 이동량과 배율 변화량을 이전 프레임에 적용하여 이전 프레임 영상을 현재 프레임 기준으로 영상을 변환하여, 현재 프레임과 정합한다(S204).
정합을 실행한 후 보정된 현재 프레임과 이전 프레임의 차를 구해서(S205) 신호 차이 에러로 이용한다. 이 신호 차이 에러를 기반으로 변수 업데이트를 실행하는데(S206), 이때 불균일 보정시 사용되는 보정 테이블의 이득과 오프셋을 업데이트한다.
이러한 과정을 매번 입력되는 프레임에 대응하여 보정 테이블에 대한 업데이트를 반복하여 최종적으로 안정적인 보정 테이블을 획득하게 된다.
도 8은 본 발명의 실시 예에 따른 다중센서를 이용한 정합장면 기반 불균일 보정 광학 시스템의 신호 흐름도를 도시한다.
도 8을 참조하면, 다중센서를 이용한 정합장면기반 불균일 보정 광학 시스템의 신호 흐름은 다음과 같다. 영상센서에서 획득한 영상 신호(S301)를 영상 프로세서(170)에서 영상 신호 수신(S302)후 버퍼에 저장하고(S303), 버퍼에서 현재 프레임과 이전 프레임으로 구분되면(S304, S305), 이 두 개의 프레임에 대해 동일한 현재 보정 테이블을 기준으로 불균일 보정을 수행하게 된다(S306).
보정된 현재 프레임은 보정영상으로서 외부로 출력된다(S311).
이후, 보정된 이전 프레임은 이전 프레임의 이동량 및 배율 변화량에 대해 보정을 수행하게 된다(S307). 이때, 기존에는 영상처리기반으로 프레임 이동량과 배율 변화량을 추정하였으나, 본 발명에서는 줌광학계(S312)의 줌센서 정보를 처리하여(S313) 줌량 추정을 수행하고(S314), 자이로 센서 정보를 처리하여(S315) 광학 시스템의 회전 속도 및 회전방향에 대해 추정을 수행하여(S316) 얻은 정보를 영상센서 사양(S317)과 줌광학계 사양(S318) 정보를 바탕으로 이전 프레임 대비 현재 프레임의 프레임 이동량과 배율 변화량을 추정한다(S319).
영상 변화량 추정정보를 기준으로 보정된 이전 프레임을 현재 프레임영상을 기준으로 영상 변환하고, 이전 프레임과 현재 프레임을 정합한다(S308). 정합 후 이전 프레임과 현재 프레임의 영상 차이 값을 이용하여 신호 차이 에러를 생성한다(S309). 이 신호 차이 에러를 바탕으로 보정 테이블 업데이트를 수행한다(S310). 위의 과정을 반복하며 보정 테이블을 점차 업데이트하여, 최종적으로 높은 품질의 불균일 보정 수행이 가능한 보정 테이블을 획득할 수 있다.
도 9는 본 발명의 실시 예에 따른 자이로 센서를 이용한 프레임 이동량 추정 방법을 설명하기 위한 순서도이고, 도 10은 본 발명의 실시 예에 따라 자이로 센서를 사용하여 프레임의 이동 방향 및 이동량을 추정하여 신호 차이 에러를 생성하는 일 예를 도시하는 도면이다.
도 9 및 도 10을 참조하면, 자이로 센서를 이용한 프레임 이동량 추정 방법은 먼저, 자이로 yaw축 각속도 출력(S401)과 자이로 pitch축 각속도 출력(S402)을 영상센서(130)의 프레임레이트를 기준으로 누적하여(S405) 자이로 yaw축 각이동량을 구하고(S403) 자이로 pitch축 각이동량을 구한다(S404). 구해진 각이동량을 줌광학계 정보(S408)와 영상센서 정보(S409)를 기반으로 영상 가로축 이동량으로 변환하고(S406), 영상 세로축 이동량으로 변환한다(S407). 그리고, 상기 추정된 가로축 및 세로축 프레임 이동량을 이용하여 이전 프레임의 이동량 변환을 수행한다.
자이로 센서를 이용한 프레임 이동량을 추정하여 신호 차이 에러를 생성하는 방법은 다음과 같다. 영상센서(130)로부터 이전 프레임과 현재 프레임를 획득한다(S501, S502). 자이로 센서로부터 얻은 각속도 정보와 영상센서(130)의 프레임 레이트, 영상센서의 사양정보, 줌광학계의 사양정보를 조합하여 프레임 이동량을 추정한 후 이를 이전 프레임에 적용하여 프레임 이동량 보정된 이전 프레임을 생성한다(S503). 그리고, 프레임 이동량 보정된 이전 프레임과 현재 프레임과의 차이를 구하여(S504), 신호 차이 에러를 획득한다(S505).
도 11은 본 발명의 실시 예에 따른 줌센서를 이용하여 프레임의 확대 축소량 즉 배율 변화량을 추정하는 방법을 설명하기 위한 흐름도이고, 도 12는 본 발명의 실시 예에 따른 줌센서를 이용하여 프레임의 배율 변화량을 추정하여 신호 차이 에러를 생성하는 방법을 설명하기 위한 예시도이다.
도 11 및 도 12를 참조하면, 줌센서를 이용한 프레임 확대 축소량 추정 방법은 다음과 같다. 줌광학계의 줌 센서에 대한 인코더 정보를 이용하여(S601) 현재 줌광학계의 줌 상태를 파악한다. 줌 상태를 파악한 후 줌광학계 배율 정보와 줌광학계 초점거리 정보를 이용하여(S602, S603) 영상센서의 FPA면에 맺어지는 영상의 배율을 실시간 추정한다. 영상센서 픽셀피치와 영상센서의 가로 및 세로 픽셀수를 이용하여(S604, S605) 실제 프레임 영상을 기준으로 이전 프레임 대비 얼마나 영상이 확대 혹은 축소되었는지 영상 확대 축소량(배율) 추정을 수행한다(S606).
도 12를 참조하면, 줌센서를 사용하여 프레임의 확대 축소량에 대해 추정하여 신호 차이 에러를 생성하는 과정의 예시는 다음과 같다. 영상센서로부터 줌 확대된 이전 프레임과 줌 축소된 현재 프레임을 획득한다(S701, S702).
줌센서와 줌광학계 배율과 초점거리 정보로 이전 프레임 대비 현재 프레임의 줌 배율을 얻고 이를 영상센서의 픽셀피치와 가로 및 세로 픽셀 수 정보를 조합하여 현재 프레임 대비 이전 프레임의 영상 확대 축소량을 추정하여 이전 프레임을 변경해서 영상확대 축소량이 보정된 이전 프레임을 획득한다(S703). 이와 현재 프레임과의 차이를 구하여(S704), 신호 차이 에러를 획득한다(S705).
본 발명의 실시 예에 따른 다중센서를 선택적으로 이용하는 영상보정 장치는 영상의 불균일 정도를 영상의 거칠기 값으로 환산하고, 거칠기 값이 임계치 이상인 경우 기존의 영상처리기반 영상정합이 불가능하기 때문에 선택적으로 다중 센서를 사용하여 영상보정을 실행함으로써, 정합이 불가능했던 경우에도 줌 센서와 자이로 센서 정보를 바탕으로 정합 장면기반 불균일 보정 수행이 가능하다.
또한, 본 발명은 다중센서 기반으로 영상 정합을 수행하므로 정합 정밀도를 높일 수 있으며, 정합 장면기반 불균일 보정 실행의 속도를 최적화할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 영상을 획득하는 영상 획득부;
    상기 영상의 현재 프레임과 이전 프레임에 대해 보정 테이블을 기준으로 보정을 수행하는 영상 보정부;
    상기 영상의 불균일 정도를 판단하는 영상 불균일 판단부; 및
    상기 영상의 불균일 정도에 따라 상기 영상의 이전 프레임과 현재 프레임에 대해 영상처리기반 또는 다중센서 기반의 영상 변화량 추정을 선택적으로 실행하고, 상기 추정된 영상 변화량에 기초하여 상기 보정 테이블을 업데이트하는 선택적 보정 테이블 업데이트부;를 포함하며,
    상기 영상 불균일 판단부는,
    한 영상에 수평 차이 필터 및 수직 차이 필터를 적용한 결과의 합과 원영상과의 비율을 이용하여 상기 영상의 거칠기를 산출하고, 산출된 영상의 거칠기 값을 임계치와 비교하여, 상기 거칠기 값이 임계치 미만인 경우 제1 영상으로 분류하고, 상기 거칠기 값이 임계치 이상인 경우 제2 영상으로 분류하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 선택적 보정 테이블 업데이트부는,
    상기 제1 영상에 대해서 이전 프레임과 현재 프레임을 비교하는 연산을 이용하는 영상처리기반으로 영상 변화량을 추정하고 이에 기초하여 상기 보정 테이블을 업데이트하는 영상처리기반 보정 테이블 업데이트부; 및
    상기 제2 영상에 대해서 다중센서 기반으로 영상 변화량을 추정하고 이에 기초하여 상기 보정 테이블을 업데이트하는 다중센서기반 보정 테이블 업데이트부를 포함하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  4. 제 3 항에 있어서,
    상기 다중센서기반 보정 테이블 업데이트부는,
    상기 다중센서를 기반으로 프레임의 이동량과 배율변화를 추정하는 영상 변화량 추정부;
    상기 추정된 영상 변화량을 기준으로 상기 이전 프레임을 보정하는 이전 프레임 보정부;
    상기 보정된 이전 프레임을 현재 프레임 영상을 기준으로 영상 변환하여 상기 현재 프레임과 정합하는 정합부; 및
    상기 이전 프레임과 현재 프레임의 영상 차이값에 의한 신호 차이 에러를 생성하는 신호 차이 에러 생성부;를 포함하고,
    상기 보정 테이블 업데이트부는 상기 신호 차이 에러를 이용하여 상기 보정 테이블의 오프셋과 이득을 업데이트하는 보정 테이블 업데이트부;를 포함하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  5. 제 4 항에 있어서,
    상기 영상 변화량 추정부는,
    상기 이전 프레임 대비 현재 프레임의 영상 이동 변화량을 추정하기 위해 자이로 센서를 이용하고,
    상기 이전 프레임 대비 현재 프레임의 배율 변화량을 추정하기 위해 줌 센서를 이용하는 것을 특징으로 하는, 다중센서를 선택적으로 이용하는 영상보정 장치.
  6. 제 5 항에 있어서,
    상기 영상 변화량 추정부는,
    상기 자이로 센서를 이용하여 yaw축 각속도 출력과 pitch축 각속도 출력을 영상센서 프레임 레이트를 기준으로 누적하여 yaw축 각이동량 및 pitch축 각이동량을 구하고,
    상기 yaw축 각이동량 및 pitch축 각이동량을 줌광학계 정보와 영상센서 정보를 기반으로 가로축 영상 이동량과 세로축 영상 이동량으로 변환하며,
    상기 추정된 가로축 영상 이동량 및 세로축 영상 이동량을 이용하여 상기 이전 프레임의 이동량 변환을 수행함으로써, 상기 이전 프레임 대비 현재 프레임의 영상 이동 변화량을 추정하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  7. 제 6 항에 있어서,
    상기 신호 차이 에러 생성부는,
    상기 자이로 센서로부터 얻은 각속도 정보와 상기 영상 센서의 프레임 레이트, 영상 센서 정보 및 줌광학계 정보를 조합하여 영상 이동량을 추정하고,
    상기 추정된 영상 이동량을 이전 프레임에 적용하여 영상 이동량이 보정된 이전 프레임을 생성하며,
    상기 영상 이동량이 보정된 이전 프레임과 현재 프레임과 차이를 구하여 상기 신호 차이 에러를 생성하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  8. 제 5 항에 있어서,
    상기 영상 변화량 추정부는,
    상기 줌 센서의 인코더 정보를 통해 현재 줌광학계의 줌 상태를 파악하고,
    상기 줌광학계의 배율 정보와 상기 줌광학계의 초점거리 정보를 이용하여 영상 센서의 FPA(Focal plane array)면에 맺어지는 영상배율을 실시간 추정하며,
    상기 영상센서 픽셀피치와 상기 영상센서의 가로 및 세로의 픽셀수를 이용하여 실제 프레임 영상 기준으로 상기 이전 프레임 대비 영상배율을 추정함으로써, 상기 이전 프레임 대비 현재 프레임의 배율 변화량을 추정하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  9. 제 8 항에 있어서,
    상기 신호 차이 에러 생성부는,
    영상 센서로부터 줌 확대된 이전 프레임과 줌 축소된 현재 프레임을 획득하고,
    상기 줌센서와 줌 광학계의 배율과 초점거리 정보로 상기 이전 프레임 대비 상기 현재 프레임의 줌 배율을 획득하며,
    상기 획득된 줌 배율을 상기 영상 센서의 픽셀 피치와 가로 및 세로 픽셀 수 정보와 조합하여 상기 현재 프레임 대비 상기 이전 프레임의 영상배율을 추정하고,
    상기 추정된 영상 확대 축소량에 기반하여 상기 이전 프레임을 변형하여 영상배율이 보정된 이전 프레임을 획득하며,
    상기 영상배율이 보정된 이전 프레임과 상기 현재 프레임과의 차이를 구하여 상기 신호 차이 에러를 생성하는 것을 특징로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  10. 제 1 항에 있어서,
    상기 선택적 보정 테이블 업데이트부는,
    매번 입력되는 영상의 프레임에 대하여 상기 보정 테이블에 대한 업데이트를 반복하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
  11. 제 1 항에 있어서,
    상기 영상 보정부에 의해 보정된 현재 프레임을 보정영상으로서 외부로 출력하는 보정영상 출력부를 더 포함하는 것을 특징으로 하는 다중센서를 선택적으로 이용하는 영상보정 장치.
KR1020170131678A 2017-10-11 2017-10-11 다중센서를 선택적으로 이용하는 영상보정 장치 KR101854355B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170131678A KR101854355B1 (ko) 2017-10-11 2017-10-11 다중센서를 선택적으로 이용하는 영상보정 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170131678A KR101854355B1 (ko) 2017-10-11 2017-10-11 다중센서를 선택적으로 이용하는 영상보정 장치

Publications (1)

Publication Number Publication Date
KR101854355B1 true KR101854355B1 (ko) 2018-06-08

Family

ID=62600310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170131678A KR101854355B1 (ko) 2017-10-11 2017-10-11 다중센서를 선택적으로 이용하는 영상보정 장치

Country Status (1)

Country Link
KR (1) KR101854355B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073435A (ko) * 2018-12-14 2020-06-24 전자부품연구원 3차원 재구성 방법, 이를 위한 장치 및 시스템
KR102625840B1 (ko) * 2022-08-24 2024-01-15 국방과학연구소 영상 패치 엔트로피를 이용한 적외선 카메라의 영상기반 불균일 보정 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1253779A1 (en) * 2001-04-25 2002-10-30 Lockheed Martin Corporation Scene-based non-uniformity correction for detector arrays
KR101282567B1 (ko) * 2013-04-25 2013-07-04 주식회사 콕스 휴대용 열상 카메라의 불균일 상태 보정 장치 및 방법
KR101404654B1 (ko) * 2013-04-04 2014-06-09 국방과학연구소 초점평면배열 적외선 카메라의 영상 불균일 보정 방법
KR20150098567A (ko) * 2014-02-20 2015-08-28 주식회사 콕스 열상 카메라의 불량화소 검출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1253779A1 (en) * 2001-04-25 2002-10-30 Lockheed Martin Corporation Scene-based non-uniformity correction for detector arrays
KR101404654B1 (ko) * 2013-04-04 2014-06-09 국방과학연구소 초점평면배열 적외선 카메라의 영상 불균일 보정 방법
KR101282567B1 (ko) * 2013-04-25 2013-07-04 주식회사 콕스 휴대용 열상 카메라의 불균일 상태 보정 장치 및 방법
KR20150098567A (ko) * 2014-02-20 2015-08-28 주식회사 콕스 열상 카메라의 불량화소 검출 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073435A (ko) * 2018-12-14 2020-06-24 전자부품연구원 3차원 재구성 방법, 이를 위한 장치 및 시스템
KR102195965B1 (ko) * 2018-12-14 2020-12-28 한국전자기술연구원 3차원 재구성 방법, 이를 위한 장치 및 시스템
KR102625840B1 (ko) * 2022-08-24 2024-01-15 국방과학연구소 영상 패치 엔트로피를 이용한 적외선 카메라의 영상기반 불균일 보정 장치 및 방법

Similar Documents

Publication Publication Date Title
US8928730B2 (en) Method and system for correcting a distorted input image
JP5531194B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
JP4858263B2 (ja) ３次元計測装置
WO2014068779A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9117271B2 (en) Apparatus, method and recording medium for image processing
US20080278613A1 (en) Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses
KR101854355B1 (ko) 다중센서를 선택적으로 이용하는 영상보정 장치
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5424068B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP6532328B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP6614824B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
KR101854354B1 (ko) 다중센서 기반 영상보정 방법
US8179431B2 (en) Compound eye photographing apparatus, control method therefor, and program
US8331722B2 (en) Methods, apparatuses and systems providing pixel value adjustment for images produced by a camera having multiple optical states
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN111246108B (zh) 霍尔传感器标定方法和装置、防抖方法和装置
JP5484129B2 (ja) 撮像装置
WO2016194576A1 (ja) 情報処理装置および方法
JP6332982B2 (ja) 画像処理装置およびその方法
CN110692235B (zh) 图像处理装置、图像处理程序及图像处理方法
JP6728005B2 (ja) 撮像装置、撮像方法およびプログラム
JP6516574B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法
JP5401696B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20230058184A1 (en) Image device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant