KR101391095B1 - 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치 - Google Patents

이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치 Download PDF

Info

Publication number
KR101391095B1
KR101391095B1 KR1020120128569A KR20120128569A KR101391095B1 KR 101391095 B1 KR101391095 B1 KR 101391095B1 KR 1020120128569 A KR1020120128569 A KR 1020120128569A KR 20120128569 A KR20120128569 A KR 20120128569A KR 101391095 B1 KR101391095 B1 KR 101391095B1
Authority
KR
South Korea
Prior art keywords
image
depth map
calculated
spread function
point spread
Prior art date
Application number
KR1020120128569A
Other languages
English (en)
Inventor
이동혁
김민규
조남규
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020120128569A priority Critical patent/KR101391095B1/ko
Application granted granted Critical
Publication of KR101391095B1 publication Critical patent/KR101391095B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치가 개시된다. 이미지의 화질을 개선하는 방법은 상기 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 단계, 상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 단계 및 상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 단계를 포함할 수 있다.

Description

이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치{METHOD AND APPARATUS FOR IMPROVING STEREO VISION IMAGE USING DEPTH INFORMATION OF AN IMAGE}
본 발명의 실시예들은 이미지의 뎁스 정보를 이용하여 스테레오 비전 이미지의 화질을 개선하는 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치에 관한 것이다.
최근 광학기술 및 CCD(Charge-Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)와 같은 이미지 센서의 발달과, 측정 속도가 빠른 장비의 가격의 저렴화에 따라 비전 카메라를 이용한 3차원 정보 획득 방법이 널리 사용되고 있다.
비전 카메라를 이용한 3차원 정보 획득 방법은 크게 구조광을 이용한 능동형 스테레오 비전(Active stereo vision)과 구조광을 사용하지 않고 획득되는 이미지 정보를 활용하는 수동형 스테레오 비전(passive stereo vision)을 이용한 3차원 정보 획득 방법으로 분류할 수 있다. 이 두 방법은 시차(parallax) 즉, 관측 위치에 따른 물체의 위치나 방향의 차이를 이용하여 3차원 정보를 복원한다는 점에서 공통점을 갖지만, 대응점(corresponding point) 문제를 해결하기 위한 방법은 서로 다르다. 이로 인해, 능동형 스테레오 비전은 비교적 정확하고 정밀한 3차원 정보가 요구되는 경우에 사용된다. 그러나, 능동형 스테레오 비전은 구조광보다 주변광이 밝거나 주변광이 이동하는 경우와 같이, 측정환경을 제어하기 어려운 경우에는 사용하기 곤란하다. 따라서, 일반적인 3차원 카메라뿐만 아니라 로봇, 우주항공, 군사분야에서는 수동형 스테레오 비전을 이용한 3차원 정보 획득 방법이 많이 사용된다.
일 예로, 이미지로부터 3차원 정보를 획득하는 기술에 관한 것으로, 한국공개특허공보 제10-2010-0002617호(공개일 2011년 7월 20일) "뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라"에는 동일 피사체에 대한 제1 렌즈로 제1 이미지를 촬영하고 제2 렌즈로 제2 이미지를 촬영한 후 제1 이미지 및 제2 이미지의 뎁스 정보를 추출하고, 추출된 뎁스 정보를 이용하여 제1 이미지 또는 제2 이미지에 아웃포커스를 수행하는 것이 기재되어 있다.
그러나, 이와 같이 수동형 스테레오 비전을 이용하여 이미지로부터 3차원 정보를 획득하기 위해서는 획득된 이미지들 내의 모든 영역에서 초점이 정확하게 맞아야 한다. 즉, 수동형 스테레오 비전을 이용하여 3차원 정보를 획득하기 위해서는 심도(depth)가 깊은 이미지가 요구된다. 그러나, 광량을 많이 필요로 하여 구경이 큰 렌즈를 사용할 수 밖에 없거나, 고배율 렌즈를 사용할 수 밖에 없는 경우 등에는 심도가 매우 얕은 이미지를 얻을 수 밖에 없다.
따라서, 초점이 맞지 않는 영역을 가지는 이미지를 이용하여 스테레오 비전 이미지를 생성하는 경우의 화질 개선을 위해 얕은 심도를 가지는 이미지를 무한 심도를 갖는 이미지로 복원할 수 있는 방법이 요구되고 있다.
초점이 맞지 않는 영역을 가지는 이미지로부터 3차원 정보를 복원할 수 있는 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치가 제공된다.
보다 빠른 속도로 3차원 정보를 복원할 수 있는 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치가 제공된다.
이미지의 심도 및 초점 위치를 임의로 재조정하거나, 깊은 심도를 가지는 이미지에 아웃 포커스 효과를 적용할 수 있는 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치가 제공된다.
이미지의 화질을 개선하는 방법은 상기 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 단계, 상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 단계 및 상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 단계를 포함할 수 있다.
일측에 따르면, 상기 이미지는 복수개의 렌즈를 구비하는 스테레오 카메라를 통해 획득된 복수개의 이미지일 수 있다.
다른 측면에 따르면, 상기 복수개의 이미지는 서로 초점이 맞지 않는 영역을 포함할 수 있다.
또 다른 측면에 따르면, 상기 역필터링하는 단계 이전에 상기 복수개의 이미지에 포함된 피사체들이 서로 다른 아웃포커스 정도를 가질 경우, 각 피사체에 따라 역필터링을 수행할 수 있도록 해당 이미지를 상기 각 피사체 별로 세분화하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 추정하는 단계 이전에 상기 복수개의 이미지 중 어느 하나의 이미지만 사용되는 경우, 해당 이미지와 상기 산출된 뎁스 맵을 기반으로 상기 해당 이미지의 심도 및 초점의 위치를 임의로 재조정하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 추정하는 단계 이전에 상기 복수개의 이미지의 해상도가 동일하지 않을 경우, 상기 복수개의 이미지의 해상도를 맞추기 위한 리샘플링을 수행하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 추정하는 단계 이전에 SIFT(Scale-Invariant Feature Transform) 알고리즘을 이용하여 상기 획득된 이미지 각각에서 특징점을 추출하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 초기 뎁스 맵은 상기 추출된 특징점을 기초로 산출될 수 있다.
또 다른 측면에 따르면, 상기 추정하는 단계는 상기 초기 뎁스 맵과 상기 스테레오 카메라의 초점 거리에 대한 정보를 이용하여 상기 점확산함수의 크기를 추정하는 단계일 수 있다.
또 다른 측면에 따르면, 상기 역필터링하는 단계는 상기 추정된 점확산함수의 크기와 상기 점확산함수의 형태를 이용하여 상기 이미지를 역필터링하는 단계일 수 있다.
또 다른 측면에 따르면, 상기 산출하는 단계는 상기 역필터링된 이미지로부터 특징점을 추출하고 특징점 기반의 스테레오 정합 방법을 이용하여 상기 뎁스 맵을 산출하는 단계일 수 있다.
또 다른 측면에 따르면, 상기 산출하는 단계 이후에 상기 산출된 뎁스 맵이 기 설정된 심도 이상인지를 판단하는 단계 및 상기 산출된 뎁스 맵이 기 설정된 심도 미만인 경우 산출된 뎁스 맵을 기반으로 점확산함수를 추정하고 추정된 점확산함수를 이용하여 상기 이미지를 역필터링한 후 상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 과정을 반복하며, 상기 산출된 뎁스 맵이 기 설정된 심도 이상인 경우 산출된 뎁스 맵을 기반으로 상기 이미지의 3차원 정보를 복원하는 단계를 더 포함할 수 있다.
이미지 개선 장치는 스테레오 카메라를 통해 획득된 복수개의 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 추정부, 상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 역필터링부 및 상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 산출부를 포함할 수 있다.
이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하고 추정된 점확산함수를 이용하여 해당 이미지를 역필터링한 후 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 과정을 해당 이미지가 기 설정된 심도를 가질 때까지 반복함으로써 초점이 맞지 않는 영역을 가지는 이미지로부터 3차원 정보를 복원할 수 있다.
SIFT(Scale-Invariant Feature Transform) 알고리즘을 이용하여 이미지에서 특징점을 추출하여 뎁스 맵을 산출하는 특징점 기반의 스테레오 정합 방법을 사용하기 때문에 보다 빠른 속도로 3차원 정보를 복원할 수 있다.
이미지에 대해 최종적으로 획득한 뎁스 맵을 저장하고 있으므로 이를 이용하여 이미지의 심도 및 초점 위치를 임의로 재조정하거나, 깊은 심도를 가지는 이미지에 아웃 포커스 효과를 적용할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 스테레오 이미지의 화질을 개선하는 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 스테레오 카메라를 이용하여 획득한 이미지를 나타내는 예시도이다.
도 3은 본 발명의 일실시예에 있어서, 도 2의 이미지 각각으로부터 추출된 특징점을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 있어서, 도 3의 특징점 중 등극선 기하를 만족하는 특징점을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 있어서, 초점과 점확산함수의 크기와의 관계를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 있어서, 초점이 흐려짐에 따른 점확산함수의 형태를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 있어서, 역필터링 과정을 1회 거친 후 추출된 특징점을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 있어서, 도 7의 특징점 중 등극선 기하를 만족하는 특징점을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 있어서, 개선 전의 스테레오 이미지와 개선 후의 스테레오 이미지를 나타내는 도면이다.
도 10은 본 발명의 일실시예에 있어서, 개선 전의 스테레오 이미지로부터 추출된 뎁스 맵과 개선 후의 스테레오 이미지로부터 추출된 뎁스 맵을 나타내는 도면이다.
도 11은 본 발명의 일실시예에 있어서, 개선 전의 스테레오 이미지로부터 3차원 정보를 복원한 결과와 개선 후의 스테레오 이미지로부터 3차원 정보를 복원한 결과를 나타내는 도면이다.
도 12는 본 발명의 일실시예에 있어서, 이미지 개선 장치를 나타내는 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 스테레오 이미지의 화질을 개선하는 방법을 나타내는 흐름도이다.
본 발명에 따른 이미지 개선 방법은 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수(PSF: point spread function)를 추정하고, 추정된 점확산함수를 이용하여 역필터링(De-convolution)을 수행한다. 그리고, 역필터링을 통과한 이미지를 기반으로 다시 뎁스 맵을 산출하는 것을 반복함으로써 초점이 맞지 않는 영역을 가진 이미지나 심도가 얕은 이미지를 깊은 심도의 이미지로 교정하여 이로부터 3차원 정보를 복원 시 화질이 개선되도록 한다. 이 때, 본 발명에 따른 이미지 개선 방법은 특징점 기반의 스테레오 정합 방법을 이용하여 뎁스 맵을 산출함으로써 보다 빠른 속도로 거리정보를 산출할 수 있다. 또한, 교정된 깊은 심도의 이미지와 뎁스 정보를 바탕으로 아웃 포커스 효과도 가능하게 한다,
이를 위하여 이미지 개선 장치는 먼저, 복수개의 렌즈를 구비하는 스테레오 카메라를 통해 촬영된 복수개의 이미지를 획득할 수 있다(110). 여기서, 상기 복수개의 이미지는 이미지들 간에 동일 피사체에 대한 시차(parallax)를 가지는 스테레오 비전을 위한 이미지일 수 있고, 서로 초점이 맞지 않는 영역을 포함할 수 있다. 이 때, 복수개의 이미지에 포함된 피사체들이 서로 다른 아웃포커스 정도를 가질 경우, 각 피사체에 따라 역필터링을 수행할 수 있도록 해당 이미지를 각 피사체 별로 세분화할 수 있다.
한편, 복수개의 이미지 중 어느 하나의 이미지만 사용하는 경우, 이미지 개선 장치는 사용자고자 하는 이미지와 해당 이미지로부터 산출된 뎁스 맵을 기반으로 해당 이미지의 심도 및 초점의 위치를 임의로 재조정할 수 있다. 또한, 복수개의 이미지의 해상도가 서로 동일하지 않을 경우, 이미지 개선 장치는 복수개의 이미지의 해상도를 맞추기 위한 리샘플링(예를 들어, 업샘플링 또는 다운샘플링)을 수행할 수도 있다.
이미지 개선 장치는 스테레오 이미지가 획득되면 획득된 이미지 각각에서 특징점들을 추출한다(120). 이 때, 이미지 개선 장치는 SIFT(Scale-Invariant Feature Transform) 알고리즘을 이용하여 특징점을 추출할 수 있다. SIFT 알고리즘은 피사체의 모서리나 꼭지점 등에서 생성되는 특징 점을 벡터로 추출하는 것으로 이미지의 크기변화,　회전,　조명변화 등에 의한 변형에 대해 뛰어난 매칭 성능을 가진다.
특징점이 추출되면, 이미지 개선 장치는 추출된 특징점들을 기초로 상기 획득한 스테레오 이미지에 대한 초기 뎁스 맵을 산출한다(130). 이 때, 이미지 개선 장치는 특징점 기반의 스테레오 정합 방법을 이용하여 뎁스 맵을 산출할 수 있다.
이 후, 이미지 개선 장치는 산출된 초기 뎁스 맵이 기 설정된 심도 이상인지를 판단한다(140). 여기서, 산출된 초기 뎁스 맵이 기 설정된 심도 이상인 경우, 이미지 개선 장치는 산출된 초기 뎁스 맵을 기반으로 스테레오 이미지의 3차원 정보를 복원한다. 그러나, 산출된 초기 뎁스 맵이 기 설정된 심도 미만인 경우, 이미지 개선 장치는 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정한다(150).
일 예로, 이미지 개선 장치는 초기 뎁스 맵과 스테레오 카메라의 초점 거리에 대한 정보를 이용하여 점확산함수의 크기 즉, 블러(Blur)의 반지름을 추정할 수 있다. 구체적으로, 이미지 개선 장치는 초기에 추정된 뎁스 맵으로부터 피사체까지의 거리를 추정하고, 스테레오 카메라에 설정된 초점거리, 조리개값 및 이미지센서와 제2 주요면(second principle plane)까지의 거리를 이용하여 블러의 직경을 구한 후 이를 기초로 점확산함수의 크기를 추정할 수 있다.
이후, 이미지 개선 장치는 추정된 점확산함수를 이용하여 역필터링(De-convolution)을 수행함으로써 이미지로부터 블러 효과를 제거한다(160). 이 때, 이미지 개선 장치는 추정된 점확산함수의 크기와 상기 점확산함수의 형태를 이용하여 해당 이미지를 역필터링할 수 있다.
역필터링이 수행되면 이미지 개선 장치는 블러 효과가 제거된 이미지로부터 다시 특징점을 추출하고 추출된 특징점을 기반으로 뎁스 맵을 산출하는 과정을 최종적으로 산출된 뎁스 맵이 기 설정된 심도 이상을 만족할 때가지 반복한다.
이하, 도 2 내지 도 11을 참조하여 본 발명에 따른 이미지 개선 장치가 이미지의 화질을 개선하는 방법에 대해 보다 상세히 설명한다.
도 2는 본 발명의 일실시예에 있어서, 스테레오 카메라를 이용하여 획득한 이미지를 나타내는 예시도이다.
도 2(a)와 2(b)에는 각각 스테레오 카메라에 의해 촬영된 동일 피사체에 대한 좌시점 이미지와 우시점 이미지가 도시되어 있다. 이미지 개선 장치는 도 2에 도시된 것과 같은 두 개의 이미지를 스테레오 카메라로부터 획득할 수 있다. 이하에서는, 스테레오 이미지의 화질을 개선하기 위하여 도 2에 도시된 것과 같은 좌시점 이미지와 우시점 이미지 즉, 두 개의 이미지로부터 뎁스 맵을 산출하는 방법에 대해 예를 들어 설명한다.
도 2(a) 및 2(b)에 도시된 것과 같이, 하나의 이미지는 복수개의 피사체를 포함할 수 있고, 초점이 맞지 않는 영역을 포함할 수 있다. 이 때, 복수개의 피사체가 서로 다른 아웃포커스 정도를 가질 경우, 이미지 개선 장치는 각각의 피사체 별로 역필터링을 수행하기 위하여 해당 이미지를 각 피사체 별로 분할할 수 있다.
한편, 좌시점 이미지 및 우시점 이미지 중 어느 하나의 이미지만 사용하고자 하는 경우, 이미지 개선 장치는 사용자고자 하는 이미지와 해당 이미지로부터 산출된 뎁스 맵을 기반으로 해당 이미지의 심도 및 초점의 위치를 임의로 재조정하여 임의의 이미지를 생성하고 이들을 이용하여 스테레오 이미지를 생성할 수도 있다.
또한, 이미지 개선 장치는 좌시점 이미지와 우시점 이미지의 해상도가 서로 동일하지 않을 경우, 어느 하나의 이미지를 업샘플링 또는 다운샘플링하여 두 개의 이미지의 해상도를 맞출 수도 있다.
도 3은 본 발명의 일실시예에 있어서 도 2의 이미지 각각으로부터 추출된 특징점을 나타내는 도면이고, 도 4는 본 발명의 일실시예에 있어서 도 3의 특징점 중 등극선 기하를 만족하는 특징점을 나타내는 도면이다.
도 2와 같은 스테레오 이미지가 획득되면, 이미지 개선 장치는 도 3에 도시된 것과 같이 SIFT 알고리즘을 이용하여 획득된 이미지 각각에서 특징점들을 추출할 수 있다. 도 3(a) 및 3(b)에는 일 예로, 도 2(a)와 같은 좌시점 이미지로부터 추출한 특징점들과 도 2(b)와 같은 우시점 이미지로부터 추출한 특징점들이 각각 도시되어 있다.
한편, 도 4에는 이와 같은 추출된 특징점들 중 등극선 기하(epipolar geometry)를 만족하는 특징점이 도시되어 있다. 도 4를 참조하면, 좌시점 이미지(I1)로부터 추출된 특징점과 우시점 이미지(I2)로부터 추출된 특징점 중 3차원 복원을 위한 유효한 특징점 즉, 기하적으로 매치되는 특징점의 개수는 25개임을 알 수 있다.
도 5는 본 발명의 일실시예에 있어서 초점과 점확산함수의 크기와의 관계를 나타내는 도면이고, 도 6은 본 발명의 일실시예에 있어서 초점이 흐려짐에 따른 점확산함수의 형태를 나타내는 도면이다.
도 4과 같이 이미지로부터 특징점이 추출되면, 이미지 개선 장치는 추출된 특징점들을 기초로 특징점 기반의 스테레오 정합 방법을 이용하여 뎁스 맵을 산출하고 산출한 뎁스 맵을 이용하여 해당 이미지의 3차원 정보를 복원한다. 이 때, 이미지 개선 장치는 산출한 뎁스 맵과 도 5에 도시된 것과 같은 스테레오 카메라의 초점 거리에 대한 정보를 이용하여 점확산함수의 크기(블러의 반지름)를 추정할 수 있다.
도 5에서, p1은 제1 주요면(principal plan), p2는 제2 주요면, P는 피사체의 위치, p는 이미지에서 피사체의 위치, I는 이미지 센서, s는 제2 주요면에서 이미지 센서까지의 거리, f는 렌즈의 초점거리, D는 렌즈의 개구수(numerical aperture), u는 피사체로부터 제1 주요면까지의 거리, v는 제2 주요면으로부터 피사체의 역상(p')까지의 거리, d는 블러의 직경을 각각 나타낸다.
여기서, 피사체의 위치(P)와 이미지에서 피사체의 위치(p)간의 관계는 다음의 수학식 1과 같은 렌즈 방정식을 통해 얻을 수 있다.
Figure 112012093467073-pat00001
블러의 직경(d)은 초기에 추정된 뎁스 맵으로부터 피사체(P)까지의 거리(u)를 추정하고, 스테레오 카메라에 설정된 초점거리(f), 조리개값(D) 및 이미지센서(I)와 제2 주요면(p2)까지의 거리(s)를 다음의 수학식 2에 적용하면 구할 수 있다.
Figure 112012093467073-pat00002
이와 같은 방법을 통해 점확산함수의 크기가 추정되면, 이미지 개선 장치는 추정된 점확산함수의 크기와 도 6에 도시된 것과 같은 점확산함수의 형태에 대한 정보를 이용하여 역필터링을 수행한다. 도 6에는 일 예로, 디포커스(De-focus)에 의한 점확산함수의 4가지 형태가 도시되어 있다.
도 7은 본 발명의 일실시예에 있어서 역필터링 과정을 1회 거친 후 추출된 특징점을 나타내는 도면이고, 도 8은 본 발명의 일실시예에 있어서 도 7의 특징점 중 등극선 기하를 만족하는 특징점을 나타내는 도면이다.
이미지 개선 장치는 역필터링을 수행한 후 블러 효과가 제거된 이미지로부터 다시 특징점을 추출하고 추출된 특징점을 기반으로 뎁스 맵을 산출하는 과정을 최종적으로 산출된 뎁스 맵이 기 설정된 심도 이상을 만족할 때가지 반복한다.
특징점은 3차원 복원 시에 대응점문제를 해결하기 위한 주요한 정보로서 특징점이 많이 추출되면, 특징점이 많이 추출된 영역에 대해서 보다 정밀하게 뎁스 맵을 산출할 수 있다. 또한, 이 뎁스 맵을 이용하여 3차원 복원이 가능하다. 도 7은 역필터링 과정을 1회 거친 후 도 2의 좌시점 이미지와 우시점 이미지로부터 추출된 특징점을 나타내는 도면으로, 도 8을 참조하면 한 번의 De-blurring 과정을 통해 대응점의 개수가 많이 늘어난 것을 확인할 수 있으며, 특히 초점이 맞지 않았던 영역에서 영상이 복원됨에 따라 유효한 특징점의 개수가 25개에서 32개로 늘어난 것을 쉽게 확인할 수 있다.
따라서, 이미지 개선 장치는 산출된 초기 뎁스 맵이 기 설정된 심도 이상인지를 판단하여 만족하는 경우 산출된 초기 뎁스 맵을 기반으로 스테레오 이미지의 3차원 정보를 복원하고, 만족하지 않는 경우 기 설정된 심도 이상의 이미지가 산출될 때까지 점확산함수를 추정하고, 역필터링을 수행하며 뎁스 맵을 산출 하는 과정을 반복할 수 있다.
도 9는 본 발명의 일실시예에 있어서 개선 전의 스테레오 이미지와 개선 후의 스테레오 이미지를 나타내는 도면이고, 도 10은 본 발명의 일실시예에 있어서 개선 전의 스테레오 이미지로부터 추출된 뎁스 맵과 개선 후의 스테레오 이미지로부터 추출된 뎁스 맵을 나타내는 도면이며, 도 11은 본 발명의 일실시예에 있어서 개선 전의 스테레오 이미지로부터 3차원 정보를 복원한 결과와 개선 후의 스테레오 이미지로부터 3차원 정보를 복원한 결과를 나타내는 도면이다.
먼저 도 9를 참조하면, 개선 전의 스테레오 이미지에 비해 본 발명에 따른 이미지 개선 장치에 의해 개선된 스테레오 이미지는 화질이 많이 향상됨을 알 수 있다. 또한, 도 10에 도시된 것과 같이 개선 후의 스테레오 이미지는 개선 전의 스테레오 이미지보다 깊은 심도를 가짐을 알 수 있다. 그리고, 도 11에 도시된 붉은색 박스를 통해 알 수 있는 바와 같이, 개선 전의 스테레오 이미지로부터 3차원 정보를 복원한 결과보다 개선 후의 스테레오 이미지로부터 3차원 정보를 복원한 결과의 화질이 보다 향상됨을 알 수 있다.
도 12는 본 발명의 일실시예에 있어서, 이미지 개선 장치를 나타내는 블록도이다.
도 12를 참조하면, 이미지 개선 장치(1200)는 산출부(1210), 판단부(1220), 복원부(1230), 추정부(1240) 및 역필터링부(1250)를 포함할 수 있다.
이미지 개선 장치(1200)는 스테레오 카메라를 통해 획득된 복수개의 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정한다.
이를 위하여 산출부(1210)는 복수개의 렌즈를 구비하는 스테레오 카메라를 통해 촬영된 복수개의 이미지를 획득할 수 있다. 여기서, 상기 복수개의 이미지는 이미지들 간에 동일 피사체에 대한 시차를 가지는 스테레오 비전을 위한 이미지일 수 있고, 서로 초점이 맞지 않는 영역을 포함할 수 있다.
이 때, 복수개의 이미지에 포함된 피사체들이 서로 다른 아웃포커스 정도를 가질 경우, 이미지 개선 장치(1200)는 도 12에는 도시되지 않았지만 획득한 이미지를 각 피사체 별로 세분화하는 세분화부를 더 포함하여 각 피사체에 따라 역필터링이 수행되도록 할 수 있다.
한편, 복수개의 이미지 중 어느 하나의 이미지만 사용하고자 하는 경우, 이미지 개선 장치(1200)는 조정부(미도시)를 포함하여 이를 통해 사용자고자 하는 이미지와 해당 이미지로부터 산출된 뎁스 맵을 기반으로 해당 이미지의 심도 및 초점의 위치를 임의로 재조정할 수 있다. 또한, 복수개의 이미지의 해상도가 서로 동일하지 않을 경우, 이미지 개선 장치(1200)는 리샘플링부(미도시)를 더 포함하여 리샘플링부가 복수개의 이미지의 해상도를 맞추기 위한 리샘플링(예를 들어, 업샘플링 또는 다운샘플링)을 수행하도록 할 수도 있다.
한편, 산출부(1210)는 스테레오 이미지가 획득되면 SIFT 알고리즘을 이용하여 획득된 이미지 각각에서 특징점들을 추출하고, 추출된 특징점들을 기초로 특징점 기반의 스테레오 정합 방법을 이용하여 뎁스 맵을 산출한다. 이 때, 산출된 뎁스 맵은 저장부(미도시)에 저장되어 조정부가 이미지의 심도 및 초점 위치를 임의로 재조정할 때 사용될 수 있다.
판단부(1220)는 산출부(1210)에서 산출된 뎁스 맵이 기 설정된 심도 이상인지를 판단한다.
복원부(1230)는 산출부(1210)에서 산출된 뎁스 맵이 기 설정된 심도 이상인 것으로 판단되면, 산출된 뎁스 맵을 기반으로 스테레오 이미지의 3차원 정보를 복원한다.
추정부(1240)는 산출부(1210)에서 산출된 초기 뎁스 맵이 기 설정된 심도 미만인 것으로 판단되면, 산출된 뎁스 맵을 기반으로 점확산함수를 추정한다. 이 때, 추정부(1240)는 산출된 뎁스 맵과 스테레오 카메라의 초점 거리에 대한 정보를 이용하여 점확산함수의 크기를 추정할 수 있다. 이 경우, 추정부(1240)는 초기에 추정된 뎁스 맵으로부터 피사체까지의 거리를 추정하고, 스테레오 카메라에 설정된 초점거리, 조리개값 및 이미지센서와 제2 주요면까지의 거리를 이용하여 블러의 직경을 구한 후 이를 기초로 점확산함수의 크기를 추정할 수 있다.
역필터링부(1250)는 추정부(1240)에서 추정된 점확산함수를 이용하여 이미지를 역필터링한다. 이 때, 역필터링부(1250)는 점확산함수의 크기와 형태를 이용하여 이미지를 역필터링할 수 있다.
산출부(1210)는 역필터링부(1250)를 통해 역필터링된 이미지로부터 다시 특징점을 추출하고 추출된 특징점을 기반으로 뎁스 맵을 산출하는 과정을 반복한다.
이와 같은 과정은 판단부(1220)가 산출된 뎁스 맵을 기 설정된 심도 이상인 것으로 판단할 때까지 반복될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 이미지 개선 장치가 이미지의 화질을 개선하는 방법에 있어서,
    상기 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 단계;
    상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 단계; 및
    상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 단계
    를 포함하는 이미지 개선 방법.
  2. 제1항에 있어서,
    상기 이미지는,
    복수개의 렌즈를 구비하는 스테레오 카메라를 통해 획득된 복수개의 이미지인 것을 특징으로 하는 이미지 개선 방법.
  3. 제2항에 있어서,
    상기 복수개의 이미지는,
    서로 초점이 맞지 않는 영역을 포함하는 것을 특징으로 하는 이미지 개선 방법.
  4. 제2항에 있어서,
    상기 역필터링하는 단계 이전에,
    상기 복수개의 이미지에 포함된 피사체들이 서로 다른 아웃포커스 정도를 가질 경우, 각 피사체에 따라 역필터링을 수행할 수 있도록 상기 복수개의 이미지를 상기 각 피사체 별로 세분화하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.
  5. 제2항에 있어서,
    상기 추정하는 단계 이전에,
    상기 복수개의 이미지 중 어느 하나의 이미지만 사용되는 경우, 상기 하나의 이미지와 상기 하나의 이미지로부터 산출된 뎁스 맵을 기반으로 상기 하나의 이미지의 심도 및 초점의 위치를 임의로 재조정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.
  6. 제2항에 있어서,
    상기 추정하는 단계 이전에,
    상기 복수개의 이미지의 해상도가 동일하지 않을 경우, 상기 복수개의 이미지의 해상도를 맞추기 위한 리샘플링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법
  7. 제2항에 있어서,
    상기 추정하는 단계 이전에,
    SIFT(Scale-Invariant Feature Transform) 알고리즘을 이용하여 상기 획득된 이미지 각각에서 특징점을 추출하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.
  8. 제7항에 있어서,
    상기 초기 뎁스 맵은,
    상기 추출된 특징점을 기초로 산출되는 것을 특징으로 하는 이미지 개선 방법.
  9. 제2항에 있어서,
    상기 추정하는 단계는,
    상기 초기 뎁스 맵과 상기 스테레오 카메라의 초점 거리에 대한 정보를 이용하여 상기 점확산함수의 크기를 추정하는 단계인 것을 특징으로 하는 이미지 개선 방법.
  10. 제9항에 있어서,
    상기 역필터링하는 단계는,
    상기 추정된 점확산함수의 크기와 상기 점확산함수의 형태를 이용하여 상기 이미지를 역필터링하는 단계인 것을 특징으로 하는 이미지 개선 방법.
  11. 제1항에 있어서,
    상기 산출하는 단계는,
    상기 역필터링된 이미지로부터 특징점을 추출하고 특징점 기반의 스테레오 정합 방법을 이용하여 상기 뎁스 맵을 산출하는 단계인 것을 특징으로 하는 이미지 개선 방법.
  12. 제1항에 있어서,
    상기 산출하는 단계 이후에,
    상기 산출된 뎁스 맵이 기 설정된 심도 이상인지를 판단하는 단계; 및
    상기 산출된 뎁스 맵이 기 설정된 심도 미만인 경우 산출된 뎁스 맵을 기반으로 점확산함수를 추정하고 추정된 점확산함수를 이용하여 상기 이미지를 역필터링한 후 상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 과정을 반복하며, 상기 산출된 뎁스 맵이 기 설정된 심도 이상인 경우 산출된 뎁스 맵을 기반으로 상기 이미지의 3차원 정보를 복원하는 단계
    를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.
  13. 스테레오 카메라를 통해 획득된 복수개의 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 추정부;
    상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 역필터링부; 및
    상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 산출부
    를 포함하는 이미지 개선 장치.
  14. 제13항에 있어서,
    상기 복수개의 이미지는,
    서로 초점이 맞지 않는 영역을 포함하는 것을 특징으로 하는 이미지 개선 장치.
  15. 제13항에 있어서,
    상기 산출된 뎁스 맵이 기 설정된 심도 이상인지를 판단하는 판단부; 및
    상기 산출된 뎁스 맵이 기 설정된 심도 미만인 경우 산출된 뎁스 맵을 기반으로 점확산함수를 추정하고 추정된 점확산함수를 이용하여 상기 이미지를 역필터링한 후 상기 역필터링을 통과한 이미지를 기반으로 뎁스 맵을 산출하는 과정을 반복하여 상기 산출된 뎁스 맵이 기 설정된 심도 이상이 되는 경우 산출된 뎁스 맵을 기반으로 상기 이미지의 3차원 정보를 복원하는 복원부
    를 더 포함하는 것을 특징으로 하는 이미지 개선 장치.
KR1020120128569A 2012-11-14 2012-11-14 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치 KR101391095B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120128569A KR101391095B1 (ko) 2012-11-14 2012-11-14 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120128569A KR101391095B1 (ko) 2012-11-14 2012-11-14 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101391095B1 true KR101391095B1 (ko) 2014-05-07

Family

ID=50892978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120128569A KR101391095B1 (ko) 2012-11-14 2012-11-14 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101391095B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554369A (zh) * 2014-10-23 2016-05-04 三星电子株式会社 用于处理图像的电子设备和方法
US10565691B2 (en) 2016-08-24 2020-02-18 Korea Institute Of Science And Technology Method of multi-view deblurring for 3D shape reconstruction, recording medium and device for performing the method
KR102270009B1 (ko) 2020-03-20 2021-06-28 주식회사 인포웍스 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
WO2023192706A1 (en) * 2022-03-31 2023-10-05 Qualcomm Incorporated Image capture using dynamic lens positions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011044825A (ja) 2009-08-19 2011-03-03 Canon Inc 画像処理装置、画像処理方法、及びコンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011044825A (ja) 2009-08-19 2011-03-03 Canon Inc 画像処理装置、画像処理方法、及びコンピュータプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554369A (zh) * 2014-10-23 2016-05-04 三星电子株式会社 用于处理图像的电子设备和方法
US10430957B2 (en) 2014-10-23 2019-10-01 Samsung Electronics Co., Ltd. Electronic device for processing images obtained using multiple image sensors and method for operating the same
CN105554369B (zh) * 2014-10-23 2020-06-23 三星电子株式会社 用于处理图像的电子设备和方法
US10970865B2 (en) 2014-10-23 2021-04-06 Samsung Electronics Co., Ltd. Electronic device and method for applying image effect to images obtained using image sensor
US11455738B2 (en) 2014-10-23 2022-09-27 Samsung Electronics Co., Ltd. Electronic device and method for applying image effect to images obtained using image sensor
US10565691B2 (en) 2016-08-24 2020-02-18 Korea Institute Of Science And Technology Method of multi-view deblurring for 3D shape reconstruction, recording medium and device for performing the method
KR102270009B1 (ko) 2020-03-20 2021-06-28 주식회사 인포웍스 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
WO2023192706A1 (en) * 2022-03-31 2023-10-05 Qualcomm Incorporated Image capture using dynamic lens positions

Similar Documents

Publication Publication Date Title
TWI510086B (zh) 數位重對焦方法
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
KR101233013B1 (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
Sabater et al. Accurate disparity estimation for plenoptic images
KR101391095B1 (ko) 이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치
Takeda et al. Fusing depth from defocus and stereo with coded apertures
EP3208773B1 (en) Disparity-to-depth calibration for plenoptic imaging systems
JP2016225811A (ja) 画像処理装置、画像処理方法およびプログラム
Alam et al. Hybrid stereo imaging including a light field and a regular camera
KR101027003B1 (ko) 스테레오 매칭 장치 및 그 방법
Jang et al. 3D image correlator using computational integral imaging reconstruction based on modified convolution property of periodic functions
JP6239985B2 (ja) 画像処理装置、画像処理プログラム及び撮像装置
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
JP2013162369A (ja) 撮像装置
Sakurikar et al. Dense view interpolation on mobile devices using focal stacks
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
Chen et al. Depth map generation based on depth from focus
KR100927236B1 (ko) 영상 복원 방법, 영상 복원 장치 및 영상 복원 방법을 실행하는 프로그램이 기록된 컴퓨터에서 판독될 수 있는 기록매체
KR100843099B1 (ko) 영상을 복원하기 위한 장치 및 방법
Zhou et al. Enhanced reconstruction of partially occluded objects with occlusion removal in synthetic aperture integral imaging
Aslantas et al. Multi focus image fusion by differential evolution algorithm
Zhang et al. Parallax based motion estimation in integral imaging
Lin et al. Depth recovery from motion and defocus blur

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 6