KR20130081080A - 영상 경계 명확화 장치 및 방법 - Google Patents

영상 경계 명확화 장치 및 방법 Download PDF

Info

Publication number
KR20130081080A
KR20130081080A KR1020120002051A KR20120002051A KR20130081080A KR 20130081080 A KR20130081080 A KR 20130081080A KR 1020120002051 A KR1020120002051 A KR 1020120002051A KR 20120002051 A KR20120002051 A KR 20120002051A KR 20130081080 A KR20130081080 A KR 20130081080A
Authority
KR
South Korea
Prior art keywords
image
boundary
pixel
value
weight
Prior art date
Application number
KR1020120002051A
Other languages
English (en)
Inventor
이교윤
호요성
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020120002051A priority Critical patent/KR20130081080A/ko
Publication of KR20130081080A publication Critical patent/KR20130081080A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 양측 필터(Bilateral Filter)에 랜덤워크 확률 모델을 이용하여 가중치를 산출하고 산출된 가중치를 이용하여 인접한 화소들 간의 평균화를 하여 영상 경계에 대한 정보를 보존하면서 경계를 명확하게 하기 위한 영상 경계 명확화 장치 및 방법과 이를 위한 기록매체에 관한 것이다. 본 발명에 따른 영상 경계 명확화 방법은 양측 필터(Bilateral Filter)를 이용하여 영상의 경계부분을 명확하게 하기 위한 방법에 있어서, 랜덤워크(Random Walk) 확률을 이용하여 가중치를 산출하는 랜덤워크 가중치 산출단계를 포함하는 것을 특징으로 한다.

Description

영상 경계 명확화 장치 및 방법{Apparatus and Method for Color Image Boundary Clearness}
본 발명은 영상 경계 명확화 장치 및 방법과 이를 위한 기록매체에 관한 것이다. 보다 상세하게는, 본 발명은 양측 필터(Bilateral Filter)에 랜덤워크 확률 모델을 이용하여 가중치를 산출하고 산출된 가중치를 이용하여 인접한 화소들 간의 평균화를 하여 영상 경계에 대한 정보를 보존하면서 경계를 명확하게 하기 위한 영상 경계 명확화 장치 및 방법과 이를 위한 기록매체에 관한 것이다.
최근 방송과 통신을 위한 정보처리 기술이 빠르게 발전함에 따라 차세대 방송 서비스에 대한 관심이 높아지고 있다. 이와 관련하여 기존의 2차원 영상과 차별되는 실감나는 3차원 입체 영상을 제공하기 위하여 스테레오 영상(Stereoscopic video)과 다시점 영상(Multi-view video, MVC) 등에 대한 연구가 진행되고 있다. 또한, 사용자가 원하는 임의의 시점에서의 영상을 제공하는 FTV(Free-viewpoint TV)에 대한 연구도 진행되고 있다.
이러한 기술들에 있어서 뎁스 영상(Depth Image)은 영상의 합성이나 다시점 영상의 생성 또는 중간 시점에 대한 영상 생성시 효과적으로 이용될 수 있다. 뎁스 영상은 컬러 영상과는 달리 텍스쳐 정보가 아닌 객체의 깊이 정보와 윤곽선 정보를 가지고 있다.
양측 필터(Bilateral Filter)는 영상의 경계를 보존하면서 노이즈 제거 및 평탄화에 이용된다. 일반적인 양측 필터의 경우 색상과 거리에 따른 가중치를 산출한다. 계산한 가중치를 이용하여 인접한 화소들의 값을 평균화한다. 일반적으로 양측 필터는 가깝고 비슷한 색상간의 가중치를 크게 계산하여 경계정보를 보존하는 방법을 이용한다.
일반적인 양측 필터의 경우 모호한 색상영역에 대하여 경계가 명확하지 않는 문제가 존재한다.
또 다른 양측 필터의 방법으로는 영상과 뎁스맵(Depth Map)의 경계를 일치시켜 영상의 경계를 명확화하는 방법이 있다.
이와 같은 방법을 사용할 경우, 실제로 촬영되어 획득한 정확한 뎁스값이 주변 예측 값과의 가중 합에 의해 오차가 발생할 수 있으며, 초기 뎁스 정보에 영향을 많이 받아 경계 주변의 모호한 색상 영역에서는 경계의 정확도가 떨어지는 문제가 존재한다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 랜덤워크(Random Walk) 확률을 이용하여 가중치를 산출하고, 산출한 가중치를 이용하여 뎁스맵(Depth Map)의 신뢰도 향상 및 영상의 경계를 명확하게 하기 위한 영상 경계 명확화 장치 및 방법과 이를 위한 기록매체를 제공하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 경계 명확화 방법은 양측 필터(Bilateral Filter)를 이용하여 영상의 경계부분을 명확하게 하기 위한 방법에 있어서, 랜덤워크(Random Walk) 확률을 이용하여 가중치를 산출하는 랜덤워크 가중치 산출단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 가중치를 이용하여 인접한 영상의 화소들의 값을 평균화하여 필터링하는 필터링단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 랜덤워크 확률을 이용한 가중치는, 초기 확률 1에서 경계부분의 화소부터 중심부분의 화소까지의 비용값들의 합을 뺀 값인 것을 특징으로 한다.
바람직하게는, 상기 비용값은, 인접한 화소간에 가우시안 분포(Gaussian Distribution)를 이용하여 색상차이를 산출한 값인 것을 특징으로 한다.
바람직하게는, 상기 영상의 전체 영역을 일정한 크기의 블록 단위로 구분하는 블록 구분단계를 더 포함하고,
상기 가중치 산출은, 상기 구분된 블록 단위에서 각각 산출되는 것을 특징으로 한다.
바람직하게는, 상기 비용값들의 합은, 상기 경계부분 화소부터 상기 중심 화소까지의 경로가 2 이상이 존재하는 경우, 상기 가중치가 최대인 경로 또는 상기 비용값이 최소인 경로 중 어느 하나인 경로를 선택하여 산출한 값인 것을 특징으로 한다.
바람직하게는, 상기 랜덤워크 확률이 최대인 경로 또는 비용값이 최소인 경로의 산출은, 디리클레 프라블럼(Dirichlet Problem) 방법을 적용하여 산출하는 것을 특징으로 한다.
바람직하게는, 상기 영상의 뎁스맵(Depth Map)에서 상기 필터링이 수행되는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 경계 명확화 장치는 양측 필터(Bilateral Filter)를 이용하여 영상의 경계부분을 명확하게 하기 위한 장치에 있어서, 랜덤워크(Random Walk) 확률을 이용하여 가중치를 산출하는 랜덤워크 가중치 산출부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 가중치를 이용하여 인접한 영상의 화소들의 값을 평균화하여 필터링하는 필터링부를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 랜덤워크 확률을 이용한 가중치는, 초기 확률 1에서 경계부분의 화소부터 중심부분의 화소까지의 비용값들의 합을 감한 값인 것을 특징으로 한다.
바람직하게는, 상기 비용값은, 인접한 화소간에 가우시안 분포(Gaussian Distribution)를 이용하여 색상차이를 산출한 값인 것을 특징으로 한다.
바람직하게는, 상기 영상의 전체 영역을 일정한 크기의 블록 단위로 구분하는 블록 구분부를 더 포함하고, 상기 가중치 산출은, 상기 구분된 블록 단위에서 각각 산출되는 것을 특징으로 한다.
바람직하게는, 상기 비용값들의 합은, 상기 경계부분 화소부터 상기 중심 화소까지의 경로가 2 이상이 존재하는 경우, 상기 가중치가 최대인 경로 또는 상기 비용값이 최소인 경로 중 어느 하나인 경로를 선택하여 산출한 값인 것을 특징으로 한다.
바람직하게는, 상기 랜덤워크 확률이 최대인 경로 또는 비용값이 최소인 경로의 산출은, 디리클레 프라블럼(Dirichlet Problem) 장치을 적용하여 산출하는 것을 특징으로 한다.
바람직하게는, 상기 영상의 뎁스맵(Depth Map)에서 상기 필터링이 수행되는 것을 특징으로 한다.
본 발명은 랜덤워크 확률을 이용하여 가중치를 산출하고, 산출한 가중치를 이용하여 양측 필터에 적용함으로써, 뎁스맵(Depth Map)의 신뢰도를 향상시킬 수 있으며, 영상의 경계를 명확하게 할 수 있다.
또한, 본 발명은 영상의 색수차 발생하여 영상의 전체적인 해상도를 저하시키는 문제점을 감소시킬 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 경계 명확화 장치의 블록도이다.
도 2는 본 발명이 블록 단위로 가중치가 산출되는 경우 영상의 전체 영역에서 중심 화소와 경계부분 화소를 설명하기 위한 바람직한 예시도이다.
도 3은 본 발명에 따른 영상 경계 명확화 장치에서 비용값을 설명하기 위한 예시도이다.
도 4는 본 발명에 따른 영상 경계 명확화 장치에서 가중치를 산출하는 과정을 설명하는 예시도이다.
도 5는 본 발명에 따른 영상 경계 명확화 장치에서 경로가 2 이상인 경우 비용값 산출 방법을 설명하기 위한 예시도이다.
도 6은 본 발명에 따른 영상 경계 명확화 장치에서 경로가 2 이상인 경우 비용값 산출 방법을 설명하기 위한 또 다른 예시도이다.
도 7은 본 발명의 바람직한 실시예에 따른 영상 경계 방법의 순서도이다.
도 8은 본 발명에 따른 영상 경계 명확화 방법을 뎁스맵에 적용한 예를 설명하기 위한 예시도이다.
도 9는 본 발명에 따른 영상 경계 명확화 방법을 뎁스맵에 적용한 또 다른 예를 설명하기 위한 예시도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 경계 명확화 장치의 블록도이다.
도 1을 참조하여 설명하면, 영상 경계 명확화 장치(100)는 랜덤워크 가중치 산출부(120), 블록 구분부(110) 및 필터링부(130)를 포함한다.
랜덤워크 가중치 산출부(120)는 랜덤워크(Random Walk) 확률을 이용하여 가중치를 산출한다.
구체적으로, 랜덤워크 가중치 산출부(120)가 랜덤워크 확률을 이용하여 가중치를 산출하는 방법에 대하여 일반적인 양측 필터(Bilateral Filter)가 가중치를 산출하는 방법과 비교하여 설명하여 본다. 일반적인 양측 필터의 경우 화소들 간의 거리와 색상 정보를 이용하여 가중치를 산출한다.
Figure pat00001
수학식 1을 참조하여 일반적인 양측 필터의 가중치 산출방법을 살펴보면, Dp는 현재 화소 p에서의 뎁스값(Depth Value)이다. f(∥p-q∥)는 p지점에서의 화소와 q지점에서의 화소의 거리차이의 절대값이다. g(∥Ip-Iq∥)는 화소들 간의 가우시안 색 분포(Gaussian Color Distribution)이다. kp는 정규화 수(Normalization Factor)이다. 수학식 1을 이용하는 일반적인 양측 필터는 화소간 거리가 가깝고 유사한 색상간의 가중치를 크게 산출하여 경계 부분의 정보를 보존하고 명확화한다.
일반적인 양측 필터의 가중치 산출 방법과는 달리 랜덤워크 가중치 산출부(120)는 랜덤워크 확률을 이용하여 가중치를 산출한다.
블록 구분부(110)가 영상 전체를 일정한 크기로 블록화할 수 있다.
영상은 색상 화소가 포함되어 있는 색상 영상일 수 있으며 뎁스 맵(Depth Map) 영상일 수 있다.
가중치 산출은 영상을 블록 단위로 구분한 후 산출될 있다. 블록 단위로 구분한 후 가중치 산출을 수행하여 양측 필터로 사용하는 경우, 영상 전체에 랜덤워크 확률을 적용시켜 분할하는 경우보다 노이즈(Noise) 영향을 감소시킬 수 있다.
도 2는 본 발명이 블록 단위로 가중치가 산출되는 경우 영상의 전체 영역에서 중심 화소와 경계부분 화소를 설명하기 위한 바람직한 예시도이다.
Figure pat00002
도 2와 수학식 2를 참조하여 랜덤워크 확률을 이용한 가중치 산출에 관하여 살펴보면, i는 현재 화소로 도 2의 블록의 집합에서 가운데에 위치한 화소이다. j는 경계부분 화소이다. 도 2에서 경계부분 화소는 가장자리에 음영이 들어간 부분의 화소를 의미한다. n은 반복되는 수이다. Dn(i)는 가운데 위치한 블록부분의 화소값이다. Dn-1(j)는 경계부분에 위치한 블록의 화소값이다. 즉, 수학식 2는 경계부분에 위치한 블록의 화소값에 가중치를 곱한것을 중앙부분에 위치한 화소값으로 보는 것이다.
랜덤워크 확률을 이용한 가중치는 초기 확률 1에서 경계부분 화소부터 중심부분 화소까지의 비용값들의 합을 뺀 것이다. 따라서 랜덤워크 확률을 나타내는 모델 P(i,j)는 수학식 3과 같이 나타낼 수 있다.
Figure pat00003
수학식 3에서 wij는 경계부분의 화소 j부터 중심블록의 화소 i까지의 비용값을 나타낸다. k는 경로를 의미하는데 화소 i와 j에 의하여 결정된다. 비용값은 수학식 4와 같이 나타낼 수 있다.
Figure pat00004
도 3은 본 발명에 따른 영상 경계 명확화 장치에서 비용값을 설명하기 위한 예시도이다.
도 3과 수학식 4을 참조하여 비용값에 대하여 설명하면, 비용값은 인접한 화소간에 가우시안 분포(Gaussian Distribution)를 이용하여 색상차이를 산출한 값일 수 있다.
도 3에서 중심블록의 화소 i와 인접한 화소 1, 2, 3, 4 사이의 비용값은 수학식 4를 이용하여 구할 수 있다. 수학식 4에서 xi-xj는 중심 화소와 인접한 화소간의 RGB 색상 차이를 의미한다. 중심 화소와 인접화소는 상대적인 의미를 가질 수 있는바 xi-xj는 블록 i와 블록 j 사이의 RGB 색상 차이를 의미할 수도 있다. σ는 가우시안 확률 분포에서 분산값을 의미하며, 조절 가능한 값이다.
도 4는 본 발명에 따른 영상 경계 명확화 장치에서 가중치를 산출하는 과정을 설명하는 예시도이다.
도 4에서 수학식 4에 따라 산출된 각 블록의 비용값을 w1은 0.1, w2는 0.05, w3는 0.05 및 w4는 0.1이라 가정하면, 가중치는 1-(w1+w2+w3+w4)=1-(0.1+0.05+0.05+0.1)=0.7이 된다.
도 5는 본 발명에 따른 영상 경계 명확화 장치에서 경로가 2 이상인 경우 비용값 산출 방법을 설명하기 위한 예시도이다.
도 6은 본 발명에 따른 영상 경계 명확화 장치에서 경로가 2 이상인 경우 비용값 산출 방법을 설명하기 위한 또 다른 예시도이다.
도 5와 6을 참조하면, 비용값들의 합을 산출할 때, 경계부분 화소부터 중심 화소까지의 경로가 2 이상이 존재할 수 있다. 각각의 경로는 비용값이 다를 수 있는 다른 블록을 지나갈 수 있는바 동일한 경계부분 화소부터 동일한 중심 화소까지의 비용값들의 합이 다를 수 있다. 비용값의 합이 다르면, 가중치가 달라진다.
경로가 2이상 존재하는 경우 랜덤워크 확률을 이용한 가중치가 최대인 경로 또는 비용값이 최소인 경로 중 어느 하나인 경로를 선택하여 비용값을 산출한다. 예를 들어 도 5에서 경로 1의 경우 비용값이 0.1, 경로 2의 경우 비용값이 0.2, 경로 3의 경우 비용값이 0.15인 경우, 경로 1의 비용값이 최소이기 때문에 경로 1을 선택하여 가중치를 산출한다. 비용값이 최소인 경로를 이용하여 산출한 가중치는 최대가 된다.
도 6에서 회색 동그라미는 색상 화소(Color Pixel)이며, 검은색 동그라미는 경계 화소(Border Pixel)이다. 가운데 흰색 동그라미는 현재 화소(Current Pixel) 또는 중심 화소이다. 중심이란 것은 어떤 화소를 기준으로 보느냐에 따라 달라질 수 있는 것인바 현재 화소를 중심 화소로 기준으로 설정하여 비용값들의 합을 산출할 수 있다. 비용값의 산출은 인접 화소의 RGB 색상 차이를 이용하는바, 도 6은 특정 경계 화소로부터 중심화소까지 선택한 특정 경로를 따라 이동할 때, 선택한 경로에 따라 통과하는 색상 화소가 다르므로 가중치가 달라지는 것을 보여준다.
구체적으로 랜덤워크 확률이 최대인 경로 또는 비용값이 최소인 경로는 디리클레 프라블럼(Dirichlet Problem) 방법을 적용하여 결정할 수 있다. 디리클레 프라블럼 방법은 수학식 5 내지 8을 참조하여 설명한다.
Figure pat00005
Figure pat00006
Figure pat00007
Figure pat00008
디리클레 프라블럼 방법은 라플라스 행렬을 이용한 방법이다. D[x]는 Dn(i)를행렬 형태로 표현한 것이다. 수학식 5에서 wij는 화소들간의 비용값을 나타내며, Σwij(xi-xj)2는 행렬연산 xTLx로 변환할 수 있다. L은 각 경로의 비용값과 각 경로 비용값의 합으로 나타낸 라플라스 행렬이다.
구체적으로 행렬 L을 수학식 6을 참조하여 설명하면, i와 j는 각각 화소를 한다. di는 화소 i가 인접한 화소들과 가지는 각 경로 비용값의 합이다. i와 j가 같다면 행렬 L은 di가 된다.
두 화소가 서로 근접해 있다면, 예를 들어 │i-j│=1이라면 행렬 L은 -wij가 된다.
수학식 5의 행렬 연산들을 각 요소들로 나타내면 수학식 7과 같이 표현할 수 있다. Lborder, xborder, 즉 border가 들어간 것은 행렬에서 행의 인덱스(Index)가 경계(Border) 화소 성분들이고, Lnon - border, xnon - border, 즉 non-border가 들어간 것은 행렬의 행의 인덱스가 경계 화소 성분이 아닌 경우이다. B는 전체 라플라스 행렬 중 Lborder와Lnon-border에 속하지 않는 행렬의 부분들이다.
수학식 7을 Xnon - border에 관하여 미분을 하면 수학식 7을 유도할 수 있다. 수학식 7은 수학식 6에서 비용값들의 합이 최소가 되는 경로를 찾기 위한 식이다.
최소경로 해결 방법으로 디리클레 프라블럼 방법 이외에 다른 방법을 사용할 수도 있다. 예를 들어, 그래프 이론(Graph theroy)을 이용한 방법인 디리클레 프라블럼 방법이 아닌, 그래프-컷(Graph-Cut) 방법을 이용하는 것도 가능하다.
필터링부(130)는 랜덤워크 가중치 산출부(120)가 산출한 가중치를 이용하여 인접한 영상의 화소들의 값을 평균화하여 필터링한다.
즉, 본 발명에 따른 영상 경계 명확화 장치(100)는 각 화소 별로 최소경로 찾아 확률을 정의하고 정의된 확률을 이용하여 필터를 수행하는 것이다.
본 발명에 따른 영상 경계 명확화 장치(100)는 영상에 적용될 수 있으며, 3차원 영상을 위한 뎁스맵(Depth Map)에도 적용될 수 있다. 본 발명을 뎁스맵에 적용하는 경우 뎁스맵의 특성을 향상시킬 수 있다.
구체적으로는, 본 발명에 따른 영상 경계 명확화 장치(100)가 색상 영상에 적용되는 경우, 경계가 보존된 평탄화된 색상 영상을 얻을 수 있다.
본 발명에 따른 영상 경계 명확화 장치(100)가 뎁스 맵 영상에 적용되는 경우,경계 불일치 문제를 해소할 수 있으며, 뎁스값의 정확도를 높일 수 있다.
또한 본 발명에 따른 영상 경계 명확화 장치(100)는, 블록 단위로 랜덤워크를 이용한 가중치를 산출하여 노이즈에 대한 민감성을 감소시켰다.
또한, 본 발명에 따른 영상 경계 명확화 장치(100)는 인접한 화소가 모호한 색상인 경우에도 경계를 명확하게 할 수 있어, 경계가 보존된 평탄화된 영상을 획득할 수 있다.
도 7은 본 발명의 바람직한 실시예에 따른 영상 경계 방법의 순서도이다.
도 7을 참조하여 영상 경계 방법에 관하여 설명하면, 블록 구분부(110)가 영상을 일정한 크기 블록 단위로 구분한다(S710 단계). 일정한 크기는 설정에 따라 바뀔 수 있으며, 반드시 일정한 크기로 구분할 필요는 없으며, 주기적 성질 또는 비주기적 성질을 가지는 크기로 구분될 수 있다.
랜덤워크 가중치 산출부(120)가 비용값을 산출하고(S720 단계) 1에서 산출한 비용값을 감하여 가중치를 산출한다(S730 단계).
필터링부(130)가 산출된 가중치를 이용하여 인접한 화소들 간의 평균을 산출하여 필터링 한다.(S740 단계).
본 발명에 따른 영상 경계 명확화 방법이 색상 영상에 적용되는 경우, 경계가 보존된 평탄화된 색상 영상을 얻을 수 있다.
본 발명에 따른 영상 경계 명확화 방법이 뎁스 맵 영상에 적용되는 경우,경계 불일치 문제를 해소할 수 있으며, 뎁스값의 정확도를 높일 수 있다.
또한 본 발명에 따른 영상 경계 명확화 방법은 블록 단위로 랜덤워크를 이용한 가중치를 산출하여 노이즈에 대한 민감성을 감소시켰다.
또한, 본 발명에 따른 영상 경계 명확화 방법은 인접한 화소가 모호한 색상인 경우에도 경계를 명확하게 할 수 있어, 경계가 보존된 평탄화된 영상을 획득할 수 있다.
도 8은 본 발명에 따른 영상 경계 명확화 방법을 뎁스맵에 적용한 예를 설명하기 위한 예시도이다.
도 8의 초기 뎁스맵과 본 발명에 따른 영상 경계 명확화 방법으로 필터링된 뎁스맵을 비교하여 보면, 본 발명에 따른 영상 경계 명확화 방법으로 필터링된 뎁스맵이 더 경계가 명확한 것을 살펴 볼 수 있다.
단위(dB) Original Depth Map Filtered Depth Map
색상 영상 1 32.1729 32.6592
색상 영상 2 29.1415 29.1720
표 1을 살펴보면, 도 8에서 색상 영상 1, 2 모두 초기 뎁스맵(Original Depth Map)의 dB값 보다 본 발명에 따른 영상 경계 명확화 방법으로 필터링된 뎁스맵(Filtered Depth Map)의 dB값이 더 높다. 즉, 본 발명에 따른 영상 경계 명확화 방법으로 필터링된 뎁스맵의 특성이 더 좋다.
도 9는 본 발명에 따른 영상 경계 명확화 방법을 뎁스맵에 적용한 또 다른 예를 설명하기 위한 예시도이다.
도 9를 살펴보면, 영상 이미지가 있고 이 영상 이미지를 기반으로 뎁스맵을 만든다. 초기 뎁스맵(Initial Depth Map)에 비하여 본 발명에서 제시하는 방법을 이용한 뎁스맵(Proposed Depth map)이 경계가 더욱 명확하고 경계 정보가 보존된 것을 볼 수 있다.
본 발명의 바람직한 실시예에 따른 영상 경계 명확화 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트(Segment)들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야할 것이다.

Claims (16)

  1. 양측 필터(Bilateral Filter)를 이용하여 영상의 경계부분을 명확하게 하기 위한 방법에 있어서,
    랜덤워크(Random Walk) 확률을 이용하여 가중치를 산출하는 랜덤워크 가중치 산출단계를 포함하는 것을 특징으로 하는 영상 경계 명확화 방법.
  2. 제 1 항에 있어서,
    상기 가중치를 이용하여 인접한 영상의 화소들의 값을 평균화하여 필터링하는 필터링단계를 더 포함하는 것을 특징으로 하는 영상 경계 명확화 방법.
  3. 제 1 항에 있어서,
    상기 랜덤워크 확률을 이용한 가중치는, 초기 확률 1에서 경계부분의 화소부터 중심부분의 화소까지의 비용값들의 합을 뺀 값인 것을 특징으로 하는 영상 경계 명확화 방법.
  4. 제 3 항에 있어서,
    상기 비용값은, 인접한 화소간에 가우시안 분포(Gaussian Distribution)를 이용하여 색상차이를 산출한 값인 것을 특징으로 하는 영상 경계 명확화 방법.
  5. 제 1 항에 있어서,
    상기 영상의 전체 영역을 일정한 크기의 블록 단위로 구분하는 블록 구분단계를 더 포함하고,
    상기 가중치 산출은, 상기 구분된 블록 단위에서 각각 산출되는 것을 특징으로 하는 영상 경계 명확화 방법.
  6. 제 3 항에 있어서,
    상기 비용값들의 합은, 상기 경계부분 화소부터 상기 중심 화소까지의 경로가 2 이상이 존재하는 경우, 상기 가중치가 최대인 경로 또는 상기 비용값이 최소인 경로 중 어느 하나인 경로를 선택하여 산출한 값인 것을 특징으로 하는 영상 경계 명확화 방법.
  7. 제 6 항에 있어서,
    상기 랜덤워크 확률이 최대인 경로 또는 비용값이 최소인 경로의 산출은, 디리클레 프라블럼(Dirichlet Problem) 방법을 적용하여 산출하는 것을 특징으로 하는 영상 경계 명확화 방법.
  8. 제 2 항에 있어서,
    상기 영상의 뎁스맵(Depth Map)에서 상기 필터링이 수행되는 것을 특징으로 하는 영상 경계 명확화 방법.
  9. 양측 필터(Bilateral Filter)를 이용하여 영상의 경계부분을 명확하게 하기 위한 장치에 있어서,
    랜덤워크(Random Walk) 확률을 이용하여 가중치를 산출하는 랜덤워크 가중치 산출부를 포함하는 것을 특징으로 하는 영상 경계 명확화 장치.
  10. 제 9 항에 있어서,
    상기 가중치를 이용하여 인접한 영상의 화소들의 값을 평균화하여 필터링하는 필터링부를 더 포함하는 것을 특징으로 하는 영상 경계 명확화 장치.
  11. 제 9 항에 있어서,
    상기 랜덤워크 확률을 이용한 가중치는, 초기 확률 1에서 경계부분의 화소부터 중심부분의 화소까지의 비용값들의 합을 감한 값인 것을 특징으로 하는 영상 경계 명확화 장치.
  12. 제 11 항에 있어서,
    상기 비용값은, 인접한 화소간에 가우시안 분포(Gaussian Distribution)를 이용하여 색상차이를 산출한 값인 것을 특징으로 하는 영상 경계 명확화 장치.
  13. 제 9 항에 있어서,
    상기 영상의 전체 영역을 일정한 크기의 블록 단위로 구분하는 블록 구분부를 더 포함하고,
    상기 가중치 산출은, 상기 구분된 블록 단위에서 각각 산출되는 것을 특징으로 하는 영상 경계 명확화 장치.
  14. 제 11 항에 있어서,
    상기 비용값들의 합은, 상기 경계부분 화소부터 상기 중심 화소까지의 경로가 2 이상이 존재하는 경우, 상기 가중치가 최대인 경로 또는 상기 비용값이 최소인 경로 중 어느 하나인 경로를 선택하여 산출한 값인 것을 특징으로 하는 영상 경계 명확화 장치.
  15. 제 14 항에 있어서,
    상기 랜덤워크 확률이 최대인 경로 또는 비용값이 최소인 경로의 산출은, 디리클레 프라블럼(Dirichlet Problem) 장치을 적용하여 산출하는 것을 특징으로 하는 영상 경계 명확화 장치.
  16. 제 10 항에 있어서,
    상기 영상의 뎁스맵(Depth Map)에서 상기 필터링이 수행되는 것을 특징으로 하는 영상 경계 명확화 장치.
KR1020120002051A 2012-01-06 2012-01-06 영상 경계 명확화 장치 및 방법 KR20130081080A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120002051A KR20130081080A (ko) 2012-01-06 2012-01-06 영상 경계 명확화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120002051A KR20130081080A (ko) 2012-01-06 2012-01-06 영상 경계 명확화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130081080A true KR20130081080A (ko) 2013-07-16

Family

ID=48992929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120002051A KR20130081080A (ko) 2012-01-06 2012-01-06 영상 경계 명확화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130081080A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545071A (zh) * 2019-03-12 2021-10-22 Kddi 株式会社 图像解码装置、图像解码方法和程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545071A (zh) * 2019-03-12 2021-10-22 Kddi 株式会社 图像解码装置、图像解码方法和程序

Similar Documents

Publication Publication Date Title
CN102867288B (zh) 深度图像转换设备和方法
US9445075B2 (en) Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
US9525858B2 (en) Depth or disparity map upscaling
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
EP2293586A1 (en) Method and system to transform stereo content
KR102464523B1 (ko) 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치
US20140340486A1 (en) Image processing system, image processing method, and image processing program
TW201432622A (zh) 產生一關於一影像之深度圖
CN104994375A (zh) 一种基于立体视觉显著性的立体图像质量客观评价方法
EP1958149A2 (en) Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input
KR20100135032A (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
EP2643810A1 (en) Depth estimation based on global motion
TW201029443A (en) Method and device for generating a depth map
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
Ko et al. 2D to 3D stereoscopic conversion: depth-map estimation in a 2D single-view image
US9519956B2 (en) Processing stereo images
CN106530336B (zh) 基于色彩信息和图割理论的立体匹配方法
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
CN101710426B (zh) 一种深度图像跟踪方法
US9787980B2 (en) Auxiliary information map upsampling
CN106683072B (zh) 一种基于pup图的3d图像舒适度质量评价方法及***
KR20130081080A (ko) 영상 경계 명확화 장치 및 방법
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
CN102595167B (zh) 2d/3d视频转换中的深度归一化方法及装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination