KR101428364B1 - 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 - Google Patents
특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 Download PDFInfo
- Publication number
- KR101428364B1 KR101428364B1 KR1020130017038A KR20130017038A KR101428364B1 KR 101428364 B1 KR101428364 B1 KR 101428364B1 KR 1020130017038 A KR1020130017038 A KR 1020130017038A KR 20130017038 A KR20130017038 A KR 20130017038A KR 101428364 B1 KR101428364 B1 KR 101428364B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- value
- singular value
- contrast
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
특이값 분해를 이용하여 입체 영상을 처리하는 방법 및 장치가 개시된다. 입체 영상 처리 방법은, 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출하는 단계와, 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 생성하는 단계와, 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출하고 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계와, 두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리하는 단계를 포함한다. 또한, 노이즈 제거를 위한 파라미터를 적용하여 대비 강화 및 노이즈 제거가 동시에 수행될 수 있다.
Description
본 발명은 스테레오 영상의 처리에 관한 것으로, 더욱 상세하게는 특이값 분해를 이용하여 입체 영상을 처리하는 방법 및 장치에 관한 것이다.
의학, 위성, 방송 등에 사용되는 다시점(multi-view)의 입체 영상은 영상 간 저대비(low contrast) 또는 다른 밝기(different brightness) 등으로 인하여 주관적인 화질의 저하가 유발될 수 있다.
특히, 최근 위성을 이용하여 3차원의 입체 영상을 구현하는 기술에 대한 연구가 활발히 진행되고 있다.
그러나, 위성에서 촬영되는 입체 위성 영상(stereoscopic satellite image)은 우주 공간이라는 불안정한 환경에서 영상이 촬영되고, 이미 수 년 또는 수 십년 전에 우주 공간으로 보내진 위성에 탑재된 영상 촬영 장치의 노후화 등에 따라 위성에서 촬영된 영상을 이용하여 고품질의 입체 영상을 재현하기 어렵다.
또한, 촬영된 영상의 노이즈의 제거를 위한 다양한 기법이 현재 활용되고 있다. 예컨대, 영상의 노이즈를 제거하기 위하여 특이값 분해(SVD: Singular Value Decomposition)에 기반한 기법이 활용되고 있다.
그러나, 입체 영상의 구현에 있어서 영상 간 저대비 또는 노이즈 등으로 인하여 발생하는 화질 저하를 효과적으로 처리하는 기술은 미흡한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 특이값 분해를 이용하여 대비 강화 및 노이즈 제거를 수행하는 입체 영상 처리 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 특이값 분해를 이용하여 대비 강화 및 노이즈 제거를 수행하는 입체 영상 처리 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 입체 영상 처리 방법은, 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출하는 단계와, 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 생성하는 단계와, 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출하고 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계와, 두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리하는 단계를 포함한다.
여기에서, 상기 스테레오 영상은, 시점을 달리하는 좌측 영상과 우측 영상으로 구성될 수 있다.
여기에서, 상기 두 개의 영상을 처리하는 단계는, 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 제어 특이값의 최대값을 기준값으로 하며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 두 개의 영상을 처리할 수 있다.
여기에서, 상기 두 개의 영상을 처리하는 단계는, 대비 강화값을 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 두 개의 영상 간의 대비를 강화할 수 있다.
여기에서, 상기 두 개의 영상을 처리하는 단계는, 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영할 수 있다.
여기에서, 상기 노이즈 제거값은, 계수 근사법(rank approximation)을 통하여 산출될 수 있다.
여기에서, 상기 입체 영상 처리 방법은, MIE(Midway Image Equalization)을 이용하여 상기 두 개 영상에 대한 밝기를 조절하는 단계를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 입체 영상 처리 장치는, 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 산출하는 히스토그램 평활부와, 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출하고, 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출하는 특이값 산출부와, 두 개의 영상 각각에 대한 특이값 및 히스토그램 평활 영상에 대한 특이값을 이용하여 두 개의 영상을 처리하는 영상 처리부를 포함한다.
상기와 같은 본 발명의 실시예에 따른 입체 영상 처리 방법 및 장치는, 특이값 분해를 이용한 대비 강화 및 노이즈 제거를 수행하도록 하여 입체 영상의 화질을 향상시킬 수 있다.
또한, 본 발명은 우주 공간이라는 불안정한 환경에서 위성을 통하여 획득된 입체 위성 영상에 적용하여 고품질의 입체 영상이 재현되도록 할 수 있다.
도 1은 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 설명하기 위한 흐름도이다.
도 2a는 본 발명의 실시예에 따른 스테레오 영상의 원본의 좌측 및 우측 영상을 나타낸다.
도 2b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 및 우측 영상을 나타낸다.
도 2c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 및 우측 영상을 나타낸다.
도 3a는 본 발명의 실시예에 따른 원본의 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 4는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법의 적용 결과를 비교하기 위한 그래프이다.
도 5는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2a는 본 발명의 실시예에 따른 스테레오 영상의 원본의 좌측 및 우측 영상을 나타낸다.
도 2b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 및 우측 영상을 나타낸다.
도 2c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 및 우측 영상을 나타낸다.
도 3a는 본 발명의 실시예에 따른 원본의 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 4는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법의 적용 결과를 비교하기 위한 그래프이다.
도 5는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 장치의 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 본 발명에서 사용되는 특이점 분해(SVD: Singular Value Decomposition)에 대해 설명하면 다음과 같다.
본 발명의 실시예에 따르면, 시점(view point)을 달리하는 두 개의 영상으로 구성된 스테레오 영상에서, 저대비(low contrast)로 표현되는 영상을 새로운 특이값()을 이용하여 대비를 강화할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 설명하기 위한 흐름도이다. 이하 설명의 편의를 위하여, 특이값 분해를 이용한 입체 영상 처리 방법을입체 영상 처리 방법으로 칭한다.
도 1을 참조하면, 본 발명의 실시예에 따른 입체 영상 처리 방법은, 두 개의 영상 각각에 대한 특이값을 산출하는 단계(S120)와, 히스토그램 평활 영상을 생성하는 단계(S130)와, 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계(S140) 및 두 개의 영상 각각에 대한 특이값의 최대값과 제어 특이값의 최대값의 비를 대비 강화값으로 하여 두 개의 영상을 처리하는 단계(S150)를 포함한다.
먼저, 스테레오 영상을 수신한다(S110). 스테레오 영상은 시점(view point)을 달리하는 적어도 두 개의 영상으로 구성될 수 있다. 특히, 본 발명의 실시예에 따른 스테레오 영상은 위성(satellite)에 의해 촬영된 영상일 수 있다.
또한, 스테레오 영상은 시점을 달리하는 좌측 영상과 우측 영상으로 구성될 수 있으나, 본 발명의 실시예에 따르면 상측 영상 또는 하측 영상을 포함하여 구성될 수 있다. 따라서, 본 발명에서의 스테레오 영상은 두 개의 영상으로 구성되는 것에 한정하는 것은 아니다.
스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출할 수 있다(S120). 여기서, 특이값 분해는 상기한 수학식 1을 이용하여 수행할 수 있다.
스테레오 영상에 대해 히스토그램 평활화(HE: Histogram Equalization)를 수행할 수 있으며, 히스토그램 평활화된 영상을 평균하여 히스토그램 평활 영상을 생성할 수 있다(S130).
여기서, 히스토그램 평활화(HE)는 입력 영상의 히스토그램을 이용하여 변환 함수를 생성하는 것으로 입력 영상의 히스토그램 분포와 상관없이 출력 영상이 낮은 밝기에서부터 높은 밝기까지 균등하게 분포하도록 하는 것을 의미할 수 있다.
히스토그램 평활 영상에 대한 특이값 분해(SVD)를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출할 수 있고, 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출할 수 있다(S140).
두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리할 수 있다.
상세하게는, 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 제어 특이값의 최대값을 기준값으로 하며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 두 개의 영상을 처리할 수 있다(S150). 예컨대, 대비 강화값을 두 개의 영상 각각에 대한 특이값의 가중치로 적용할 수 있다.
또한, 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영할 수 있으며, 노이즈 제거값은 계수 근사법(rank approximation)을 통해 산출될 수 있다(S160).
따라서, 본 발명의 실시예에 따른 입체 영상 처리 방법은, 스테레오 영상에 대한 대비 강화(contrast enhancement) 및 노이즈 제거(noise cancellation)을 동시에 수행할 수 있다.
또한, 본 발명의 실시예에 따른 입체 영상 처리 방법은, MIE(Midway Image Equalization)을 이용하여 두 개 영상에 대한 밝기를 조절하는 단계를 더 포함할 수 있다(S170). 즉, 이를 통하여 좌측 영상과 우측 영상을 일치시킬 수 있다.
본 발명의 실시예에 따른 입체 영상 처리 방법을 수학식을 기초하여 상세히 설명하면 다음과 같다.
, , 은 k 번째 스테레오 영상을 구성하는 각각의 영상에 대한 특이값, k 번째 스테레오 영상을 구성하는 영상들의 평균 영상에 대한 특이값, 히스토그램 평활 영상에 대한 특이값을 각각 나타낸다.
은 대비 강화에 따라 발생할 수 있는 노이즈를 제거하는 항(노이즈 제거값)으로, 는 대각 행렬로 나타날 수 있다. 여기서, 인 경우 은 1이 되고, 그 외의 경우에는 은 0이 된다.
또한, 는 의 범위에 있는 변수이다. 가 0일 경우에는 는 k 번째 스테레오 영상을 구성하는 영상들의 평균 영상에 대한 특이값이 되고, 가 일 경우에는 는 히스토그램 평활 영상에 대한 특이값의 최대값이 될 수 있다.
수학식 4는 수학식 3의 해(solution)을 나타낸다. 수학식 4은 수학식 3의 각 항의 절대값의 제곱을 더함으로써 산출될 수 있다.
수학식 4은 상기의 수학식 5와 같이 나타낼 수 있으며, 수학식 5의 최소값에 따른 해(solution)는 하기의 수학식 6과 같이 나타낼 수 있다.
따라서, 본 발명의 실시예에 따르면, 제어 특이값()은 히스토그램 평활 영상에 대한 특이값(), 스테레오 영상을 구성하는 영상들의 평균 영상에 대한 특이값() 및 노이즈 제거값()을 이용하여 산출될 수 있다.
따라서, 본 발명의 실시예에 따르면, 두 개의 영상 각각에 대한 특이값의 최대값()을 입력값으로 하고, 제어 특이값의 최대값()을 기준값으로 하며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값()으로 하여 두 개의 영상을 처리할 수 있다.
는 전역 노이즈 변수(global noise variance)를 의미하는 것으로, 와 같이 나타날 수 있다. 즉, 는 웨이브렛(wavelet) 계수()를 이용하여 추정될 수 있다.
본 발명의 실시예에 따른 입체 영상 처리 방법은, MIE(Midway Image Equalization)을 이용하여 두 개 영상에 대한 밝기를 조절할 수 있다.
따라서, MIE를 이용하여 좌측 영상과 우측 영상의 밝기 등을 일치시킬 수 있다.
도 2a는 본 발명의 실시예에 따른 스테레오 영상의 원본의 좌측 및 우측 영상을 나타내고, 도 2b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 및 우측 영상을 나타내며, 도 2c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 및 우측 영상을 나타낸다.
도 2a를 참조하면, 스테레오 영상을 구성하는 좌측 및 우측의 원본 영상이 저대비(low contrast)의 특징을 가짐을 알 수 있다. 즉, 밝은 부분인 원형 부분과 그 외의 부분의 대비가 낮은 것을 알 수 있다. 따라서, 이렇게 대비가 낮은 원본 영상으로 구성된 스테레오 영상의 화질은 저하될 수 있다.
도 2b은 스테레오 영상을 구성하는 좌측 및 우측에 대하여 히스토그램 평활화(HE)를 수행한 경우를 나타낸다. 저대비의 원본 영상에 히스토그램 평활화(HE)를 수행한 결과로, 대비가 향상된 것을 알 수 있다.
그러나 도 2b를 참조하면, 밝은 부분인 원형 부분의 경계 부분에서 번짐 현상(blur)이 발생함을 알 수 있다. 즉, 원본 영상에 히스토그램 평활화(HE)를 수행하는 과정에서 노이즈(noise)가 발생할 수 있으며, 이로 인하여 스테레오 영상의 화질이 저하될 수 있다.
도 2c는 본 발명의 실시예에 따른 입체 영상 처리 방법에 의해 처리된 좌측 및 우측 영상을 나타낸다. 도 2c를 참조하면, 본 발명에 따른 입체 영상 처리 방법을 적용하여 대비를 향상시킬 수 있음을 알 수 있다. 즉, 원본 영상에 비하여 밝은 부분인 원형 부분과 그 외의 부분의 대비가 향상된 것을 알 수 있다.
또한, 도 2b와 도 2c를 비교하여 보면, 밝은 부분인 원형 부분의 경계 부분에서 발생하는 번짐 현상(blur)이 감소된 것을 알 수 있다.
따라서, 본 발명의 실시예에 따른 입체 영상 처리 방법을 스테레오 영상에 적용함으로써 대비를 향상시킴과 동시에 노이즈를 감소시킬 수 있다.
도 3a는 본 발명의 실시예에 따른 원본의 좌측 영상의 히스토그램을 나타내는 그래프이고, 도 3b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 영상의 히스토그램을 나타내는 그래프이며, 도 3c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3a, 도 3b 및 도 3c를 참조하면, 원본의 좌측 영상 및 히스토그램 평활된 좌측 영상과 비교하여 본 발명의 실시예에 따른 입체 영상 처리 방법을 적용한 좌측 영상의 대비가 향상된 것을 알 수 있다.
도 3a, 도 3b 및 도 3c에서, x축은 그레이 레벨(gray level)을 나타내고, y축은 그레이 레벨에 따른 히스토그램 값을 나타낸다.
도 3c는 도 3a 및 도 3b와 비교하여, 히스토그램 값의 피크값이 나타나는 그레이 레벨 간의 간격이 크다. 즉, 본 발명의 실시예에 따른 입체 영상 처리 방법을 적용한 경우 대비가 강화되었음을 알 수 있다.
또한, 도 3b와 도 3c를 비교하여 보면, 도 3c의 히스토그램의 그래프의 조밀도 및 경계가 뚜렷함을 알 수 있다.
따라서, 도 3a, 도 3b 및 도 3c를 참조하면, 본 발명의 실시예에 따른 입체 영상 처리 방법을 스테레오 영상에 적용함으로써, 대비 향상 및 노이즈 제거가 동시에 이루어질 수 있다.
도 4는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법의 적용 결과를 비교하기 위한 그래프이다.
도 4를 참조하면, 원본의 좌측 및 우측 영상, 히스토그램 평활화가 수행된 영상, 본 발명의 실시예에 따른 대비 강화 및 노이즈 제거가 수행된 좌측 및 우측 영상, MIE에 따른 밝기 조절을 더 수행한 좌측 및 우측 영상을 나타낸다.
본 발명의 실시예에 따른 대비 강화 및 노이즈 제거가 수행된 경우에 좌측 영상과 우측 영상이 더욱 유사한 대비를 가짐을 알 수 있다. 또한, 본 발명의 실시예에 따른 대비 강화 및 노이즈 제거가 수행된 경우에 좌측 영상과 우측 영상이 원본의 좌측 및 우측 영상과 비교하여 그레이 레벨(gray level)에 따른 확률(probability) 변화가 선형적으로 증가함을 알 수 있고, 이를 통하여 대비가 향상되었음을 알 수 있다.
또한, 히스토그램 평활화(HE)가 수행된 영상은 그레이 레벨에 따른 확률이 선행적으로 증가하여 대비가 향상되었으나, 원본의 좌측 영상과 우측 영상과 다른 그래프 특성을 보임을 알 수 있다. 이는, 히스토그램 평활화(HE)의 수행에 따라 노이즈가 발생할 수 있음을 나타낸다.
마지막으로 MIE에 따른 밝기 조절을 더 수행함으로써, 좌측 영상과 우측 영상의 밝기를 조절할 수 있으며, 이를 통하여 스테레오 영상의 화질을 더욱 향상시킬 수 있음을 알 수 있다.
도 5는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 장치(100)의 구성을 나타내는 블록도이다. 이하 설명의 편의를 위하여, 특이값 분해를 이용한 입체 영상 처리 장치(100)를 입체 영상 처리 장치(100)로 칭한다.
도 5를 참조하면, 본 발명의 실시예에 따른 입체 영상 처리 장치(100)는, 히스토그램 평활부(110), 특이값 산출부(120) 및 영상 처리부(130)를 포함한다.
히스토그램 평활부(110)는 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 산출할 수 있다.
여기서, 스테레오 영상은 시점을 달리하는 좌측 영상과 우측 영상으로 구성될 수 있다.
특이값 산출부(120)는 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출할 수 있다.
또한, 특이값 산출부(120)는 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출할 수 있다.
영상 처리부(130)는 두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리할 수 있다.
예를 들어, 영상 처리부는(130)는 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 히스토그램 평활 영상에 대한 특이값을 이용하여 산출된 제어 특이값의 최대값을 기준값으로 할 수 있으며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 두 개의 영상을 처리할 수 있다.
상세하게는, 영상 처리부(130)는 대비 강화값을 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 두 개의 영상 간의 대비를 강화하는 대비 강화부(131)를 포함할 수 있다.
또한, 영상 처리부(130)는 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영할 수 있다.
예를 들어, 노이즈 제거값은 계수 근사법(rank approximation)을 통해 산출될 수 있다.
또한, 영상 처리부(130)는 MIE(Midway Image Equalization)을 이용하여 두 개 영상에 대한 밝기를 조절하는 밝기 조절부(132)를 더 포함할 수 있다. 즉, MIE를 이용하여 좌측 영상과 우측 영상의 밝기 등을 일치시킬 수 있다.
본 발명의 실시예에 따른 입체 영상 처리 장치(100)의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 설명하였으나, 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 본 발명의 실시예에 따른 입체 영상 처리 장치(100)의 동작은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
상술한 본 발명의 실시예에 따른 입체 영상 처리 방법 및 장치는, 특이값 분해를 이용한 대비 강화 및 노이즈 제거를 수행하도록 하여 입체 영상의 화질을 향상시킬 수 있다.
특히, 본 발명은 우주 공간이라는 불안정한 환경에서 획득된 입체 위성 영상에 적용하여 고품질의 입체 영상이 재현되도록 할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 입체 영상 처리 장치
110: 히스토그램 평활부 120: 특이값 산출부
130: 영상 처리부 131: 대비 강화부
132: 밝기 조절부
110: 히스토그램 평활부 120: 특이값 산출부
130: 영상 처리부 131: 대비 강화부
132: 밝기 조절부
Claims (14)
- 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 상기 두 개의 영상 각각에 대한 특이값을 산출하는 단계;
상기 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 생성하는 단계;
상기 히스토그램 평활 영상에 대한 SVD를 수행하여 상기 히스토그램 평활 영상에 대한 특이값을 산출하고 상기 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계; 및
상기 두 개의 영상 각각에 대한 특이값 및 상기 제어 특이값을 이용하여 상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계를 포함하는 특이값 분해를 이용한 입체 영상 처리 방법. - 청구항 1에 있어서,
상기 스테레오 영상은
시점을 달리하는 좌측 영상과 우측 영상으로 구성되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법. - 청구항 1에 있어서,
상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계는
상기 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 상기 제어 특이값의 최대값을 기준값으로 하며, 상기 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 상기 두 개의 영상을 처리하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법. - 청구항 3에 있어서,
상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계는
상기 대비 강화값을 상기 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 상기 두 개의 영상 간의 대비를 강화하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법. - 청구항 4에 있어서,
상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계는
상기 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법. - 청구항 5에 있어서,
상기 노이즈 제거값은,
계수 근사법(rank approximation)을 통하여 산출되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법. - 청구항 1에 있어서,
MIE(Midway Image Equalization)을 이용하여 상기 두 개 영상에 대한 밝기를 조절하는 단계를 더 포함하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법. - 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 산출하는 히스토그램 평활부;
상기 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 상기 두 개의 영상 각각에 대한 특이값을 산출하고, 상기 히스토그램 평활 영상에 대한 SVD를 수행하여 상기 히스토그램 평활 영상에 대한 특이값을 산출하는 특이값 산출부; 및
상기 두 개의 영상 각각에 대한 특이값 및 상기 히스토그램 평활 영상에 대한 특이값을 이용하여 상기 두 개의 영상 간의 대비를 강화하도록 처리하는 영상 처리부를 포함하는 특이값 분해를 이용한 영상 처리 장치. - 청구항 8에 있어서,
상기 스테레오 영상은,
시점을 달리하는 좌측 영상과 우측 영상으로 구성되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치. - 청구항 8에 있어서,
상기 영상 처리부는
상기 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 상기 히스토그램 평활 영상에 대한 특이값을 이용하여 산출된 제어 특이값의 최대값을 기준값으로 하며, 상기 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 상기 두 개의 영상을 처리하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치. - 청구항 10에 있어서,
상기 영상 처리부는
상기 대비 강화값을 상기 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 상기 두 개의 영상 간의 대비를 강화하는 대비 강화부를 포함하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치. - 청구항 11에 있어서,
상기 대비 강화부는
상기 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치. - 청구항 12에 있어서,
상기 노이즈 제거값은
계수 근사법(rank approximation)을 통해 산출되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치. - 청구항 8에 있어서,
상기 영상 처리부는
MIE(Midway Image Equalization)을 이용하여 상기 두 개 영상에 대한 밝기를 조절하는 밝기 조절부를 더 포함하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130017038A KR101428364B1 (ko) | 2013-02-18 | 2013-02-18 | 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130017038A KR101428364B1 (ko) | 2013-02-18 | 2013-02-18 | 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101428364B1 true KR101428364B1 (ko) | 2014-08-18 |
Family
ID=51749929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130017038A KR101428364B1 (ko) | 2013-02-18 | 2013-02-18 | 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101428364B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210021158A (ko) | 2019-08-14 | 2021-02-25 | 서강대학교산학협력단 | 노이즈 제거장치 및 노이즈 제거방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000315257A (ja) * | 1999-04-30 | 2000-11-14 | Shiseido Co Ltd | 皮膚状態の三次元画像生成方法 |
JP2001078228A (ja) | 1999-09-03 | 2001-03-23 | Sony Corp | 画像生成装置及び方法 |
JP2008517352A (ja) | 2004-08-09 | 2008-05-22 | クラシフアイ・リミテッド | 非接触光学手段および3d指紋認識方法 |
KR20100019804A (ko) * | 2008-08-11 | 2010-02-19 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
-
2013
- 2013-02-18 KR KR1020130017038A patent/KR101428364B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000315257A (ja) * | 1999-04-30 | 2000-11-14 | Shiseido Co Ltd | 皮膚状態の三次元画像生成方法 |
JP2001078228A (ja) | 1999-09-03 | 2001-03-23 | Sony Corp | 画像生成装置及び方法 |
JP2008517352A (ja) | 2004-08-09 | 2008-05-22 | クラシフアイ・リミテッド | 非接触光学手段および3d指紋認識方法 |
KR20100019804A (ko) * | 2008-08-11 | 2010-02-19 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210021158A (ko) | 2019-08-14 | 2021-02-25 | 서강대학교산학협력단 | 노이즈 제거장치 및 노이즈 제거방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9123103B2 (en) | Method and apparatus for image denoising with three-dimensional block-matching | |
CN105469363B (zh) | 基于模糊图像生成清晰图像的方法和装置 | |
US9661328B2 (en) | Method of bit allocation for image and video compression using perceptual guidance | |
CN107333027B (zh) | 一种视频图像增强的方法和装置 | |
CN1638491A (zh) | 用于合成中间图像的瞬时平滑装置和方法 | |
JP4874184B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2012249038A (ja) | 画像信号処理装置、画像信号処理方法 | |
US10706507B2 (en) | Hybrid denoising of images and videos based on interest metrics | |
CN111709898B (zh) | 基于优化clahe的红外图像增强方法与*** | |
Lathey et al. | Homomorphic low pass filtering on encrypted multimedia over cloud | |
Ji et al. | An approach to underwater image enhancement based on image structural decomposition | |
US10229479B2 (en) | Image signal processing apparatus, image signal processing method and image signal processing program | |
Katkovnik et al. | Decoupled inverse and denoising for image deblurring: variational BM3D-frame technique | |
US7916967B2 (en) | Image processing apparatus and image processing method | |
KR101428364B1 (ko) | 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 | |
JP2008021163A (ja) | 画像処理装置 | |
KR101514152B1 (ko) | 특이값 분해를 이용한 화질 개선 방법 및 장치 | |
Son et al. | Iterative inverse halftoning based on texture-enhancing deconvolution and error-compensating feedback | |
JP6806136B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
AU2021101814A4 (en) | A novel image denoising method with hybrid dual tree complex wavelet transform | |
CN106530261B (zh) | 一种双动态模糊图像复原方法 | |
Zhao et al. | Local activity-tuned image filtering for noise removal and image smoothing | |
KR102567186B1 (ko) | 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법 | |
Kitchener et al. | Adaptive regularization for image restoration using a variational inequality approach | |
Ru et al. | Proposal of dehazing method and quantitative index for evaluation of haze removal quality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190624 Year of fee payment: 6 |