KR102112019B1 - 중간시점 영상 생성 장치 및 방법 - Google Patents

중간시점 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR102112019B1
KR102112019B1 KR1020180100685A KR20180100685A KR102112019B1 KR 102112019 B1 KR102112019 B1 KR 102112019B1 KR 1020180100685 A KR1020180100685 A KR 1020180100685A KR 20180100685 A KR20180100685 A KR 20180100685A KR 102112019 B1 KR102112019 B1 KR 102112019B1
Authority
KR
South Korea
Prior art keywords
point
correlation
correlation point
view image
feature
Prior art date
Application number
KR1020180100685A
Other languages
English (en)
Other versions
KR20190038312A (ko
Inventor
김상원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US16/142,614 priority Critical patent/US10839540B2/en
Publication of KR20190038312A publication Critical patent/KR20190038312A/ko
Application granted granted Critical
Publication of KR102112019B1 publication Critical patent/KR102112019B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

입체 영상의 중간시점 영상을 생성하는 장치로서, 좌시점 영상과 우시점 영상에서 윤곽선을 검출하고, 검출된 윤곽선에서 특징점을 검출하는 특징점 검출부, 상기 좌시점 영상과 상기 우시점 영상의 상기 특징점에 대한 상관점을 검출하는 상관점 검출부, 그리고 상기 특징점과 상기 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 합성부를 포함하는 중간시점 영상 생성 장치가 제공된다.

Description

중간시점 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING INTERMEDIATE VIEW IMAGE}
본 기재는 입체 영상의 중간시점 영상을 생성하는 장치 및 방법에 관한 것이다.
중간시점 영상을 생성하는 방법으로는 영상의 전영역에 대한 균일한 시차 정보를 활용하는 방법, 영상의 모든 픽셀에 대한 시차 정보를 활용하는 방법, 영상의 일부 픽셀들에 대한 시차 정보를 활용하는 방법이 있다.
영상의 전영역에 대한 균일한 시차 정보를 활용하는 방법은 좌우 영상의 일부 또는 전체에 대한 사각형 영역을 지정하고, 사각형 영역을 3차원 변환(Transformation)하여 중간시점의 사각형 영역을 찾으며, 좌우 영상의 사각형 영역에서 중간시점의 사각형 영역으로 영상 모핑하여 중간시점 영상을 생성한다. 이 방법은 시차 정보가 사각형 전영역에서 균일하다고 가정하므로, 복잡한 변화가 없는 영상에 한해서 사용 가능한 문제점이 있다.
영상의 모든 픽셀에 대한 시차 정보를 활용하는 방법은 좌우 영상의 모든 픽셀에 대한 시차 정보를 구하여 시차맵을 생성하고, 시차맵과 좌우 영상을 참조하여 중간시점 영상을 생성한다. 구체적으로, 해당 시차맵을 참조하여 좌우 각 영상을 3차원 공간으로 투사하여 합친 후, 3차원 공간상의 각 픽셀 정보를 다시 좌우 영상이 존재하는 평면의 지정된 중간 위치로 투사하여 중간시점 영상을 생성한다.
상기 방법은 복잡한 영상에 대해서도 중간시점을 구할 수 있으나, 사용되는 시차맵의 품질에 따라 생성되는 중간시점의 전체 품질이 좌우되는 문제점이 있다. 시차맵이 불완전하면 좌우 영상의 각 픽셀들이 3차원 공간상의 엉뚱한 위치로 투사되고, 다시 중간시점 평면의 엉뚱한 위치로 투사되면서 원래 픽셀이 위치할 곳에 구멍이 발생하고, 잘못 투사된 위치의 픽셀값이 교란된다. 이 방법은 좌우 영상의 모든 픽셀에 대한 시차 정보를 구해야 하므로 계산 시간이 오래 걸리고, 잘못된 시차 정보가 포함된 노이즈가 발생하기 쉬우므로 높은 품질의 시차맵을 구하는 것이 어려운 문제점이 있다.
영상의 전체가 아닌 일부 지점의 픽셀에 대한 시차 정보를 구하는 방법은 필요한 지점을 찾는 것을 최소화해야 하고, 각 지점에서 구한 시차 정보의 오차를 최소화해야 하는 문제점이 있다.
한 실시예는 입체 영상의 중간시점 영상을 생성하는 장치를 제공한다.
다른 실시예는 입체 영상의 중간시점 영상을 생성하는 방법을 제공한다.
한 실시예에 따르면, 입체 영상의 중간시점 영상을 생성하는 장치는, 좌시점 영상과 우시점 영상에서 윤곽선을 검출하고, 검출된 윤곽선에서 특징점을 검출하는 특징점 검출부, 상기 좌시점 영상과 상기 우시점 영상의 상기 특징점에 대한 상관점을 검출하는 상관점 검출부, 그리고 상기 특징점과 상기 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 합성부를 포함한다.
상기 상관점 검출부는, 상기 상관점에 대한 역상관점을 검출하고, 상기 역상관점과 상기 특징점의 위치를 바탕으로 상기 상관점 중에서 비정상 상관점을 제거하여 유효 상관점을 선택하고, 상기 합성부는, 상기 특징점과 상기 유효 상관점의 시차 정보를 이용하여 상기 중간시점 영상을 생성할 수 있다.
상기 상관점 검출부는, 상기 역상관점과 상기 특징점의 위치가 다르면 상기 검출된 상관점이 비정상인 것으로 판단하고, 비정상으로 판단된 상관점을 제거할 수 있다.
상기 상관점 검출부는, 상기 좌시점 영상과 상기 우시점 영상의 특징점 중 배경과 전경에 포함된 특징점을 분리하고, 상기 배경에 포함된 특징점에 대한 상관점과 상기 전경에 포함된 특징점에 대한 상관점을 검출하여 통합할 수 있다.
다른 실시예에 따르면, 입체 영상의 중간시점 영상을 생성하는 방법은, 좌시점 영상과 우시점 영상에서 윤곽선을 검출하는 단계, 상기 윤곽선에서 특징점을 검출하는 단계, 상기 특징점에 대한 상관점을 검출하는 단계, 그리고 상기 특징점과 상기 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 단계를 포함한다.
상기 상관점을 검출하는 단계 이후, 상기 상관점에 대한 역상관점을 검출하고, 상기 역상관점과 상기 특징점의 위치를 바탕으로 상기 상관점 중에서 비정상 상관점을 제거하여 유효 상관점을 선택하는 단계를 더 포함하고, 상기 중간시점 영상을 생성하는 단계는, 상기 특징점과 상기 유효 상관점의 시차 정보를 이용하여 중간시점 영상을 생성할 수 있다.
상기 유효 상관점을 선택하는 단계는, 상기 역상관점과 상기 검출된 특징점의 위치가 다르면 상기 검출된 상관점이 비정상인 것으로 판단하고, 비정상으로 판단된 상관점을 제거할 수 있다.
상기 상관점을 검출하는 단계는, 상기 좌시점 영상과 상기 우시점 영상의 특징점 중 배경과 전경에 포함된 특징점을 분리하는 단계, 그리고 상기 배경에 포함된 특징점에 대한 상관점과 상기 전경에 포함된 특징점에 대한 상관점을 검출하여 통합하는 단계를 포함할 수 있다.
상기 상관점을 검출하여 통합하는 단계는, 상기 배경에 포함된 특징점에 대한 상관점과 상기 전경에 포함된 특징점에 대한 상관점을 검출하는 단계, 상기 배경과 상기 전경에 포함된 상관점에 대한 각각의 역상관점을 검출하는 단계, 상기 역상관점과 상기 배경과 상기 전경에 포함된 특징점의 위치가 다르면 비정상 상관점으로 판단하여 상기 비정상 상관점을 제거하는 단계, 그리고 상기 비정상 상관점이 제거된 상기 배경 및 상기 전경에 포함된 상관점을 통합하는 단계를 포함할 수 있다.
다른 실시예에 따르면, 입체 영상의 중간시점 영상을 생성하는 장치는, 프로세서 및 메모리를 포함하고, 상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여, 좌시점 영상과 우시점 영상에서 윤곽선을 검출하고, 검출된 윤곽선에서 특징점을 검출하는 단계, 상기 좌시점 영상과 상기 우시점 영상의 상기 특징점에 대한 상관점을 검출하는 단계, 그리고 상기 특징점과 상기 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 단계를 수행한다.
영상 전체에서 시차 정보를 구하지 않고 유효한 특징점에 대한 시차 정보를 확보함으로써, 고품질의 중간시점 영상을 생성할 수 있다.
또한, 영상 전체에서 시차 정보를 구하지 않으므로, 고속으로 중간시점 영상을 생성할 수 있다.
도 1은 좌측시점 영상(a)과 우측시점 영상(b)을 나타내는 도면이다.
도 2는 영상의 전영역에서 시차 정보를 구하는 방법을 통해 도출된 시차맵을 나타내는 도면이다.
도 3은 영상의 전영역에서 시차 정보를 구하는 방법을 통해 생성된 중간시점 영상을 나타내는 도면이다.
도 4는 좌측시점 영상(a)과 우측시점 영상(b)을 나타내는 도면이다.
도 5는 시차 정보를 나타내는 도면이다.
도 6은 영상의 일부 픽셀에서 시차 정보를 구하는 방법을 통해 생성된 중간시점 영상을 나타내는 도면이다.
도 7은 한 실시예에 따른 중간시점 영상 생성 장치의 블록도이다.
도 8은 한 실시예에 따른 중간시점 영상 생성 장치에 의해 변환된 그레이 스케일 영상을 나타내는 도면이다.
도 9는 그레이 스케일 영상에서 검출된 특징점을 나타내는 도면이다.
도 10은 한 실시예에 따른 중간시점 영상 생성 장치에 의해 수행된 캐니 필터링을 수행하여 검출된 윤곽선을 나타내는 도면이다.
도 11은 윤곽선에서 검출된 특징점을 나타내는 도면이다.
도 12는 소벨 필터링된 영상과 캐니 필터링된 영상을 합성한 영상을 나타내는 도면이다.
도 13은 캐니 필터링된 영상에서 검출된 특징점을 나타내는 도면이다.
도 14 및 도 15는 한 실시예에 따른 중간시점 영상 생성 장치에 의해 검출된 상관점과 시차 벡터를 나타내는 도면이다.
도 16 내지 도 19는 비정상 상관점을 설명하기 위한 도면이다.
도 20 및 도 21은 배경 또는 전경을 분리하여 검출된 특징점을 나타내는 도면이다.
도 22는 모핑을 통해 생성된 중간시점 영상을 나타내는 도면이다.
도 23 및 도 24는 한 실시예에 따른 중간시점 영상 생성 방법을 나타내는 흐름도이다.
도 25는 한 실시예에 따른 상관점을 검출하는 단계를 나타내는 흐름도이다.
도 26은 다른 실시예에 따른 중간시점 영상 생성 장치를 나타내는 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
촬영된 좌우 영상 사이에서 중간시점 영상을 구하는 방법은 좌우 영상 사이에서 시차(Disparity) 정보를 구하는 방법과 시차 정보를 사용하여 좌우 영상을 합성하는 방법으로 구성된다.
시차 정보를 구하는 방법은 영상의 전영역에서 시차 정보를 구하는 방법과 영상의 일부 영역에서 시차 정보를 구하는 방법으로 나뉜다.
도 1은 좌측 영상(a)과 우측 영상(b)을 나타내는 도면이고, 도 2는 영상의 전영역에서 시차 정보를 구하는 방법을 통해 도출된 시차맵을 나타내는 도면이며, 도 3은 영상의 전영역에서 시차 정보를 구하는 방법을 통해 생성된 중간시점 영상을 나타내는 도면이다.
영상의 전영역에서 시차 정보를 구하는 방법은 좌우 영상의 모든 픽셀을 특징점으로 삼고, 특징점에 대응하는 상관점을 구하여 시차를 계산하는 방법이다. 이 방법은 스테레오 매칭(Stereo Matching) 기술을 통해 영상과 같은 사이즈의 시차맵(Disparity Map)을 구한다. 이 방법은 좌우 영상의 모든 픽셀에서 시차를 구하기 때문에 계산 시간이 많이 걸리고, 모든 픽셀에 대해 정확한 시차값을 구하는 것이 불가능하므로 중간시점 영상의 품질을 높이기 어렵다.
도 2를 참조하면, 시차맵에는 잘못된 시차 정보를 나타내는 노이즈가 많이 포함된 것을 확인할 수 있다. 이러한 노이즈로 인해, 도 3과 같이 중간시점 영상에서 인물의 윤곽선 부분이 깨지는 현상이 발생하게 된다.
도 4는 좌측 영상(a)과 우측 영상(b)을 나타내는 도면이고, 도 5는 시차 정보를 나타내는 도면이며, 도 6은 영상의 일부 픽셀에서 시차 정보를 구하는 방법을 통해 생성된 중간시점 영상을 나타내는 도면이다.
영상의 일부 영역에서 시차 정보를 구하는 방법은 좌시점 영상 또는 우시점 영상 중 한쪽 영상에서 몇 개의 특징점을 찾고, 다른 한쪽 영상에서 각 특징점에 대응하는 상관점을 찾은 후 특징점과 상관점 사이의 거리(픽셀)로부터 시차값을 계산한다. 도 5를 참조하면, 특징점은 모서리 등을 구별하는 지점, 예컨데 손가락 끝 지점일 수 있고, 상관점은 다른 한쪽 영상의 해당 손가락 끝 지점일 수 있다.
상관점을 찾는 방법은 좌우 각각의 영상에서 모든 특징점를 찾은 후, 특징점 매칭(Feature Point Matching) 기술을 사용하여 각 특징점에 대응되는 다른 한쪽 영상의 특징점을 상관점으로 하는 방법과 도 5에 도시된 바와 같이 옵티컬 플로우(Optical Flow) 기술을 사용하여 상관점을 찾는 방법이 있다.
특징점에 대응하는 상관점 사이를 연결한 수평방향의 선의 길이가 길면 시차가 큰 것을 의미하고, 선의 길이가 짧으면 시차가 작은 것을 의미한다.
도 5를 참조하면, 카메라에서 가까운 인물에 대해서는 시차가 크고 카메라에서 먼 배경에 대해서는 시차가 작은 것을 확인할 수 있다. 도 6을 참조하면, 특징점과 상관점의 시차가 정확하지 않은 부분은 중간시점 영상에서 뿌옇게 보이거나 겹쳐 보이는 것을 확인할 수 있다.
도 7은 한 실시예에 따른 중간시점 영상 생성 장치의 블록도이고, 도 8은 한 실시예에 따른 중간시점 영상 생성 장치에 의해 변환된 그레이 스케일 영상을 나타내는 도면이며, 도 9는 도 8의 그레이 스케일 영상에서 검출된 특징점을 나타내는 도면이며, 도 10은 한 실시예에 따른 중간시점 영상 생성 장치에 의해 수행된 캐니 필터링을 통해 검출된 윤곽선을 나타내는 도면이며, 도 11은 도 10의 윤곽선에서 검출된 특징점을 나타내는 도면이며, 도 12는 소벨 필터링된 영상과 캐니 필터링된 영상을 합성한 영상을 나타내는 도면이며, 도 13은 캐니 필터링된 영상에서 검출된 특징점을 나타내는 도면이다.
도 7을 참조하면, 한 실시예에 따른 중간시점 영상 생성 장치(1)는 특징점 검출부(30), 상관점 검출부(50), 합성부(70)를 포함한다.
특징점 검출부(30)는 좌시점 영상과 우시점 영상에서 윤곽선 또는 중요지점을 검출하고, 검출된 윤곽선 또는 중요지점에서 특징점을 검출한다. 영상에서 찾은 특징점 모두가 중요한 것은 아니다. 무늬를 갖는 옷이나 벽지가 포함된 영상에서 검출되는 특징점들은 특징점 근처에서 시차 변화가 거의 없기 때문에 중요도가 낮다. 반면, 인물의 윤곽선에서 발견되는 특징점들은 특징점 근처에서 시차 변화가 크기 때문에 중요도가 높다.
특징점 검출부(30)는 좌시점 영상과 우시점 영상을 그레이 스케일(Gray-scale) 영상으로 변환한 후 소벨(Sobel) 필터링, 라플라시안(Laplacian) 필터링, 캐니(Canny) 필터링 등의 필터링을 수행하고, 필터링된 영상들을 하나로 합성하여 윤곽선 또는 중요지점을 검출한다. 그레이 스케일 영상으로 변환된 영상은 도 8과 같으며, 이 상태에서 특징점을 검출하면 도 9와 같이 특징점이 비교적 고르게 분포하는 것을 확인할 수 있다. 그레이 스케일 영상에 대해 캐니(Canny) 필터링을 수행하면 도 10과 같이 윤곽선만 나타나는 영상이 생성된다.
특징점 검출부(30)는 필터링을 통해 검출된 영상에서 특징점을 검출할 수 있다. 영상에서 특징점을 검출한 영상은 도 11과 같다.
특징점 검출부(30)는 한 실시예로서 세부적인 변화도(Gradient)까지 포함하는 소벨 필터링된 영상과 윤곽선 위주의 캐니 필터링된 영상을 합성한 영상에서 특징점을 검출할 수 있다. 소벨 필터링된 영상과 캐니 필터링된 영상을 합성한 영상은 도 12와 같다.
캐니 필터링된 영상을 사용하면 윤곽선 위주로 특징점들을 검출할 수 있으나, 윤곽선의 품질 문제가 발생할 수 있다. 캐니 필터링을 수행할 때 임계값(Threshold)을 낮게 설정하면, 윤곽선과 특징점들이 풍부하게 검출될 수 있다. 그러나, 실제 윤곽선을 중심으로 겹선이 발생하거나 노이즈 선분들이 발생하게 되므로, 특징점들이 실제 윤곽선에서 검출되지 않고 윤곽선 근처에서 검출되는 문제가 발생한다. 윤곽선 근처의 특징점들은 시차 변화가 뚜렷하지 않기 때문에 정확한 상관점이 검출되기 어렵다.
캐니 필터링을 수행할 때 임계값을 높게 설정하면, 확실만 윤곽선만 검출되므로 특징점들이 도 13과 같이 깔끔하게 검출될 수 있다. 그러나, 도 13의 사각박스 부분과 같이, 윤곽선이 검출되지 않은 부분에서 특징점이 검출되지 않는 문제가 발생한다.
위와 같은 문제를 해결하기 위해 특징점 검출부(30)는 윤곽석을 구할 때 단계적으로 접근하여 중요한 윤곽선의 특징점을 먼저 구하고, 이후 덜 중요한 윤곽선의 특징점을 검출한다. 한 실시예로서 임계값을 제1 값과 제2 값으로 설정하여 각 임계값으로 캐니 필터링을 수행하고, 제1 값에 의한 캐니 필터링으로부터 검출된 특징점과 제2 값에 의한 캐니 필터링으로부터 검출된 특징점을 통합한다. 제1 값은 제2 값보다 더 큰 값일 수 있으며, 제1 값과 제2 값은 설정에 따라 달라질 수 있는 값이다.
특징점 검출부(30)는 한 실시예로서 임계값을 다양하게 설정하여 캐니 필터링을 수행하고 특징점을 검출하는 단계를 수 회 실시하고, 각 단계에서 검출된 특징점들을 하나로 통합할 수 있다. 특징점 검출부(30)는 임계값을 높게 설정한 상태에서 검출한 특징점들은 유지하고, 임계값을 높게 설정한 상태에서 검출한 특징점들 근처에 임계값을 낮게 설정한 상태에서 검출한 특징점들을 선별적으로 추가할 수 있다. 이를 통해, 유효하고, 중요도가 높으며, 품질이 높은 특징점을 검출할 수 있다.
도 14 및 도 15는 한 실시예에 따른 중간시점 영상 생성 장치에 의해 검출된 상관점과 시차 벡터를 나타내는 도면이며, 도 16 내지 도 19는 비정상 상관점을 설명하기 위한 도면이며, 도 20 및 도 21은 배경 또는 전경을 분리하여 검출한 특징점을 나타내는 도면이며, 도 22는 모핑을 통해 생성된 중간시점 영상을 나타내는 도면이다.
상관점 검출부(50)는 좌시점 영상과 우시점 영상의 특징점에 대한 상관점을 검출한다. 상관점 검출부(50)는 특징점 검출부(30)를 통해 검출된 유효한 특징점에 대한 상관점을 검출한다.
상관점은 영상에서 광류(Optical Flow)를 계산하는 방법을 통해 검출될 수 있다. 이 방법은 좌시점 영상 또는 우시점 영상 중 한쪽 영상의 특징점이 다른 한쪽 영상의 어느 지점으로 이동되는지를 계산하는 것으로, 여기서 이동된 지점이 상관점이 된다.
도 14 및 도 15를 참조하면, 특징점(100)에서 상관점(200)으로의 이동 변화는 시차 벡터(300)로 표현될 수 있다. 좌시점 영상에서 구해진 특징점들에 대응하는 상관점들이 우시점 영상에서 검출될 수 있고, 우시점 영상에서 구해진 특징점들에 대응하는 상관점들이 좌시점 영상에서 검출될 수도 있다. 좌시점 영상과 우시점 영상에서 각각 구한 특징점과 상관점 사이의 시차 정보를 합산함으로써, 보다 풍부한 시차 정보를 계산할 수 있다.
일반적으로 광류(Optical Flow)를 계산하는 방법을 통해 대부분의 특징점들에 대한 상관점들이 정확하게 얻어질 수 있지만, 일부 특징점들에 대해서 비정상 상관점들이 검출되는 문제가 발생할 수 있다.
도 16의 사각박스를 참조하면, 단독 특징점에 대한 상관점이 엉뚱한 위치에 발생된 것을 확인할 수 있다. 도 17의 사각박스를 참조하면, 일부 영역의 특징점 군에 대해서 전체적으로 비정상 상관점 군이 검출되는 것을 확인할 수 있다. 도 16의 나무의 상관점들은 비교적 정확하게 검출되었지만, 도 17의 나무의 일부 상관점이 비정상적으로 검출되었음을 확인할 수 있다. 도 17의 이와 같은 문제는 대부분 시차가 매우 큰 물체의 윤곽선 근처에 있는 배경에서 발생한다.
단독 특징점에 대한 상관점이 엉뚱한 위치에 발생되는 문제는 도 16의 사각박스와 같이 엉뚱한 위치의 상관점과 특징점 사이의 거리가 긴 경우에는 육안으로 확인하여 제거할 수 있지만, 거리가 짧은 경우에는 육안으로 확인하여 제거하는데 어려움이 있다. 만일 특정 거리 이상의 상관점들을 모두 걸러낸다면, 도 18과 같이 카메라에 근접한 인물의 윤곽선에 놓인 특징점들에 대응하는 상관점들이 긴 거리 때문에 모두 걸러지게 된다. 만일 거리 조건을 완화하면 비정상 상관점들이 제거되지 않을 수도 있다.
단독 특징점에 대한 상관점이 엉뚱한 위치에 발생되는 문제를 해결하기 위해 상관점 검출부(50)는 검출된 상관점에 대한 역상관점을 검출하고, 역상관점과 특징점 검출부(30)에서 검출된 특징점의 위치를 바탕으로 검출된 상관점 중에서 비정상 상관점을 제거하여 유효 상관점을 선택하고, 합성부(70)는 유효 상관점과 특징점 검출부(30)에서 검출된 유효 특징점의 시차 정보를 이용하여 중간시점 영상을 생성한다.
구체적으로, 도 14 및 도 15를 참조하면, 상관점 검출부(50)는 검출된 모든 상관점(200)들을 특징점(100)으로 삼아서 반대쪽 영상의 역상관점을 검출한 다음 특징점 검출부(30)에서 검출된 처음의 특징점(100) 위치와 역상관점의 위치를 비교한다. 만일 상관점이 정확하게 검출되었다면 역상관점도 정확하게 검출되므로, 특징점의 위치와 역상관점의 위치는 차이가 없게 된다.
상관점 검출부(50)는 역상관점과 특징점 검출부(30)에서 검출된 특징점의 위치가 다르면 검출된 상관점이 비정상인 것으로 판단하고, 비정상으로 판단된 상관점을 제거한다. 이를 통해, 도 19와 같이 비정상 상관점들이 효과적으로 제거된다.
일부 영역의 특징점 군에 대해서 전체적으로 비정상 상관점 군이 검출되는 문제를 해결하기 위해 상관점 검출부(50)는 도 20 및 도 21과 같이 좌시점 영상과 우시점 영상의 특징점 중 배경과 전경에 포함된 특징점을 분리하고, 배경에 포함된 특징점에 대한 상관점과 전경에 포함된 특징점에 대한 상관점을 검출하여 통합한다.
구체적으로, 상관점 검출부(50)는 좌시점 영상과 우시점 영상에서 배경과 전경에 해당하는 특징점을 분리한다. 전경은 인물 등의 주요 객체를 의미한다. 배경과 전경의 특징점에 대한 각각의 상관점을 검출하여 통합한다.
상관점의 품질을 높이기 위해 상관점 검출부(50)는 좌시점 영상과 우시점 영상의 특징점 중 배경과 전경에 포함된 특징점을 분리한 후 배경과 전경에 포함된 상관점에 대한 각각의 역상관점을 검출한다. 각각의 역상관점과 배경 및 전경에 포함된 각각의 특징점의 위치를 비교하여 배경과 전경에 포함된 상관점이 정상인지 판단하며, 역상관점과 배경 및 전경에 포함된 특징점의 위치가 다르면 비정상 상관점으로 판단하여 비정상 상관점을 제거한다. 비정상 상관점이 제거된 배경과 전경에 포함된, 나머지 상관점을 통합한다.
합성부(70)는 특징점 검출부(30)를 통해 검출된 유효 특징점과 상관점 검출부(50)로부터 검출된 유효 상관점의 시차 정보를 이용하여 중간시점 영상을 생성한다. 합성부(70)는 시차 정보를 이용하는 모핑(Morping) 또는 와핑(Warping)을 수행하여 중간시점 영상을 생성한다.
도 22를 참조하면, 합성부(70)는 검출된 특징점에서 구한 삼각패치와 상관점에서 구한 삼각패치 사이를 모핑하여 중간시점 영상을 생성한다.
도 23은 한 실시예에 따른 중간시점 영상 생성 방법을 나타내는 흐름도이다.
도 23을 참조하면, 한 실시예에 따른 중간시점 영상 생성 방법은, 좌시점 영상과 우시점 영상에서 윤곽선을 검출하는 단계(S100), 윤곽선에서 특징점을 검출하는 단계(S200), 특징점에 대한 상관점을 검출하는 단계(S300), 그리고 특징점과 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 단계(S400)를 포함한다.
도 24는 한 실시예에 따른 중간시점 영상 생성 방법을 나타내는 흐름도이다.
도 24를 참조하면, 중간시점 영상 생성 방법은 상관점을 검출하는 단계(S300) 이후, 상관점에 대한 역상관점을 검출하고, 역상관점과 특징점의 위치를 바탕으로 상관점 중에서 비정상 상관점을 제거하여 유효 상관점을 선택하는 단계(S310)를 더 포함할 수 있다. 중간시점 영상을 생성하는 단계(S400)는, 검출된 특징점과 유효 상관점의 시차 정보를 이용하여 중간시점 영상을 생성한다.
유효 상관점을 선택하는 단계(S310)는, 역상관점과 검출된 특징점의 위치가 다르면 검출된 상관점이 비정상인 것으로 판단하고, 비정상으로 판단된 상관점을 제거한다.
도 25은 한 실시예에 따른 상관점을 검출하는 단계를 나타내는 흐름도이다.
도 25을 참조하면, 상관점을 검출하는 단계(S300)는, 좌시점 영상과 우시점 영상의 특징점 중 배경과 전경에 포함된 특징점을 분리하는 단계(S320), 그리고 배경에 포함된 특징점에 대한 상관점과 전경에 포함된 특징점에 대한 상관점을 검출하여 통합하는 단계(S330)를 포함할 수 있다.
상관점을 검출하여 통합하는 단계(S330)는, 배경에 포함된 특징점에 대한 상관점과 전경에 포함된 특징점에 대한 상관점을 검출하는 단계(S332), 배경과 전경에 포함된 상관점에 대한 각각의 역상관점을 검출하는 단계(S333), 역상관점과 배경 및 전경에 포함된 특징점의 위치가 다르면 비정상 상관점으로 판단하여 비정상 상관점을 제거하는 단계(S334), 그리고 비정상 상관점이 제거된 배경과 전경에 포함된 상관점을 통합하는 단계(S335)를 포함할 수 있다.
중간시점 영상을 생성하는 단계(S400)는, 시차 정보에 기반한 모핑 또는 와핑을 수행하여 중간시점 영상을 생성할 수 있다.
윤곽선을 검출하는 단계(S100), 윤곽선에서 특징점을 검출하는 단계(S200), 특징점에 대한 상관점을 검출하는 단계(S300), 그리고 특징점과 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 단계(S400)는 위에서 설명한 특징점 검출부(30), 상관점 검출부(50), 합성부(70)의 동작 내용과 동일하므로, 상세한 설명은 생략한다.
도 26은 한 실시예에 따른 중간시점 영상 생성 장치를 나타내는 블록도이다.
도 26을 참조하면, 한 실시예에 따른 중간시점 영상 생성 장치는, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 컴퓨터 시스템(700)은, 버스(720)를 통해 통신하는 프로세서(710), 메모리(730), 사용자 인터페이스 입력 장치(760), 사용자 인터페이스 출력 장치(770), 및 저장 장치(780) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(700)은 또한 네트워크에 결합된 네트워크 인터페이스(790)를 포함할 수 있다. 프로세서(710)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(730) 또는 저장 장치(780)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 저장 장치(780)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory)(731) 및 RAM(random access memory)(732)를 포함할 수 있다. 본 기재의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
한 실시예에 따른 중간시점 영상 생성 장치는 프로세서(710) 및 메모리(730)를 포함하고, 프로세서(710)는 메모리(730)에 저장된 프로그램을 실행하여, 좌시점 영상과 우시점 영상에서 윤곽선을 검출하고, 검출된 윤곽선에서 특징점을 검출하는 단계, 좌시점 영상과 우시점 영상의 특징점에 대한 상관점을 검출하는 단계, 그리고 특징점과 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 단계를 수행할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 입체 영상의 중간시점 영상을 생성하는 장치로서,
    좌시점 영상과 우시점 영상에서 윤곽선을 검출하고, 검출된 윤곽선에서 특징점을 검출하는 특징점 검출부,
    상기 좌시점 영상과 상기 우시점 영상의 상기 특징점에 대한 상관점을 검출하고, 상기 상관점에 대한 역상관점을 검출하고, 상기 역상관점과 상기 특징점의 위치를 바탕으로 상기 상관점 중에서 비정상 상관점을 제거하여 유효 상관점을 선택하는 상관점 검출부, 그리고
    상기 특징점과 상기 유효 상관점의 시차 정보를 이용하여 중간시점 영상을 생성하는 합성부
    를 포함하는 중간시점 영상 생성 장치.
  2. 삭제
  3. 제1항에서,
    상기 상관점 검출부는,
    상기 역상관점과 상기 특징점의 위치가 다르면 상기 검출된 상관점이 비정상인 것으로 판단하고, 비정상으로 판단된 상관점을 제거하는, 중간시점 영상 생성 장치.
  4. 제1항에서,
    상기 상관점 검출부는,
    상기 좌시점 영상과 상기 우시점 영상의 특징점 중 배경과 전경에 포함된 특징점을 분리하고, 상기 배경에 포함된 특징점에 대한 상관점과 상기 전경에 포함된 특징점에 대한 상관점을 검출하여 통합하는, 중간시점 영상 생성 장치.
  5. 입체 영상의 중간시점 영상을 생성하는 방법으로서,
    좌시점 영상과 우시점 영상에서 윤곽선을 검출하는 단계,
    상기 윤곽선에서 특징점을 검출하는 단계,
    상기 특징점에 대한 상관점을 검출하는 단계,
    상기 상관점에 대한 역상관점을 검출하는 단계,
    상기 역상관점과 상기 특징점의 위치를 바탕으로 상기 상관점 중에서 비정상 상관점을 제거하여 유효 상관점을 선택하는 단계, 그리고
    상기 특징점과 상기 유효 상관점의 시차 정보를 이용하여 중간시점 영상을 생성하는 단계
    를 포함하는 중간시점 영상 생성 방법.
  6. 삭제
  7. 제5항에서,
    상기 유효 상관점을 선택하는 단계는
    상기 역상관점과 상기 검출된 특징점의 위치가 다르면 상기 검출된 상관점이 비정상인 것으로 판단하는 단계, 그리고
    상기 비정상인 것으로 판단된 상관점을 제거하는 단계를 포함하는 중간시점 영상 생성 방법.
  8. 제5항에서,
    상기 상관점을 검출하는 단계는,
    상기 좌시점 영상과 상기 우시점 영상의 특징점 중 배경과 전경에 포함된 특징점을 분리하는 단계, 그리고
    상기 배경에 포함된 특징점에 대한 상관점과 상기 전경에 포함된 특징점에 대한 상관점을 검출하여 통합하는 단계를 포함하는, 중간시점 영상 생성 방법.
  9. 제8항에서,
    상기 상관점을 검출하여 통합하는 단계는,
    상기 배경에 포함된 특징점에 대한 상관점과 상기 전경에 포함된 특징점에 대한 상관점을 검출하는 단계,
    상기 배경과 상기 전경에 포함된 상관점에 대한 각각의 역상관점을 검출하는 단계,
    상기 역상관점과 상기 배경과 상기 전경에 포함된 특징점의 위치가 다르면 비정상 상관점으로 판단하여 상기 비정상 상관점을 제거하는 단계, 그리고
    상기 비정상 상관점이 제거된 상기 배경 및 상기 전경에 포함된 상관점을 통합하는 단계를 포함하는, 중간시점 영상 생성 방법.
  10. 입체 영상의 중간시점 영상을 생성하는 장치로서,
    프로세서 및 메모리를 포함하고,
    상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여,
    좌시점 영상과 우시점 영상에서 윤곽선을 검출하고, 검출된 윤곽선에서 특징점을 검출하는 단계,
    상기 좌시점 영상과 상기 우시점 영상의 상기 특징점에 대한 상관점을 검출하는 단계,
    상기 상관점에 대한 역상관점을 검출하는 단계,
    상기 역상관점과 상기 특징점의 위치를 바탕으로 상기 상관점 중에서 비정상 상관점을 제거하여 유효 상관점을 선택하는 단계, 그리고
    상기 특징점과 상기 유효 상관점의 시차 정보에 기반하여 중간시점 영상을 생성하는 단계
    를 수행하는, 중간시점 영상 생성 장치.
KR1020180100685A 2017-09-29 2018-08-27 중간시점 영상 생성 장치 및 방법 KR102112019B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/142,614 US10839540B2 (en) 2017-09-29 2018-09-26 Apparatus and method for generating intermediate view image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170127776 2017-09-29
KR20170127776 2017-09-29

Publications (2)

Publication Number Publication Date
KR20190038312A KR20190038312A (ko) 2019-04-08
KR102112019B1 true KR102112019B1 (ko) 2020-05-18

Family

ID=66164391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180100685A KR102112019B1 (ko) 2017-09-29 2018-08-27 중간시점 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102112019B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065488B2 (ja) * 2001-12-14 2008-03-26 キヤノン株式会社 ３次元画像生成装置、３次元画像生成方法及び記憶媒体
JP2015087846A (ja) * 2013-10-29 2015-05-07 山九株式会社 三次元モデル作成システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065488B2 (ja) * 2001-12-14 2008-03-26 キヤノン株式会社 ３次元画像生成装置、３次元画像生成方法及び記憶媒体
JP2015087846A (ja) * 2013-10-29 2015-05-07 山九株式会社 三次元モデル作成システム

Also Published As

Publication number Publication date
KR20190038312A (ko) 2019-04-08

Similar Documents

Publication Publication Date Title
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
CN111066065B (zh) 用于混合深度正则化的***和方法
US9898856B2 (en) Systems and methods for depth-assisted perspective distortion correction
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
JP7134012B2 (ja) 視差推定装置及び方法
JP6355346B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
US10957068B2 (en) Information processing apparatus and method of controlling the same
CN107924571A (zh) 从点云中对人耳进行三维重建
KR20190101382A (ko) 장면의 공동 세그먼테이션 및 3d 복원을 위한 방법 및 디바이스
JP2011134114A (ja) パターン認識方法およびパターン認識装置
US20190080464A1 (en) Stereo matching method and apparatus
US9460513B1 (en) Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
US9430834B2 (en) Visual perception matching cost on binocular stereo images
US9582859B2 (en) System and a method for depth-image-based rendering
US20200288102A1 (en) Image processing method and apparatus
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
JP2016505185A (ja) エッジ選択機能を有するイメージプロセッサ
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
JP2015148895A (ja) 物体数分布推定方法
Srikakulapu et al. Depth estimation from single image using defocus and texture cues
US11393116B2 (en) Information processing apparatus, method thereof, and non-transitory computer-readable storage medium
KR101915843B1 (ko) 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
KR102112019B1 (ko) 중간시점 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant