KR20210004737A - 관심영역 기반 잔차 영상 생성 방법 및 장치 - Google Patents

Abstract

관심영역 기반 잔차 영상 생성 방법 및 장치가 개시된다.

Description

관심영역 기반 잔차 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING RESIDUAL IMAGE BASED REGION OF INTEREST}

본 발명은 복수개의 참조 시점 영상을 이용하여 전방위 자유도를 지원하는 영상합성 기법에서, 참조시점 간의 중복되는 영역을 제거하고 남은 잔차영상을 이용하여 영상 데이터를 효율적으로 군집화, 규격화하는 방법에 대한 것이다

최근 MPEG Visual-I 그룹에서는 Immersive media 재현을 위한 관련 기술에 대한 표준화가 진행되고 있다. 그중 3DoF+ 영상의 부복호화 및 파일 규격 기술 표준화를 위해 지난 19년 1월 회의에서 CfP를 발간한 이후로 3월 회의에서 도 1과 같이 TMIV(Test Model for Immersive Video)이 만들어졌다.

본 발명은 복수개의 참조 시점 영상을 이용할 경우, 참조시점이 늘어날수록 영상 데이터가 방대하여 데이터 처리에 어려움이 발생할 수 있다. 이를 효과적으로 처리하기 위해 참조시점 간의 중복되는 영역을 제거하고 남은 잔차영상을 생성하게 되는데, 해당 과정에서 최종 영상품질을 향상시키는 방법에 대한 것이다.

본 발명에 따르면, 관심영역 기반 잔차 영상 생성 방법 및 장치가 제공될 수 있다.

다시점 영상을 이용한 전방위 자유도 지원 영상합성을 하는 방법에 있어서 복수개의 참조 시점 영상을 이용할 경우, 참조시점이 늘어날수록 영상 데이터가 방대하여 데이터 처리에 어려움이 발생할 수 있다. 이를 효과적으로 처리하기 위해 참조시점 간의 중복되는 영역을 제거하는 과정이 있다. 이 과정에서 구분된 기본 시점을 기준으로 추가 시점영상의 중복 영역을 제거할 경우에 본 발명에서 제안하는 방법을 통해 전처리로서 순서를 결정하는 단계와 후처리로서 잔차영상의 마스크를 적응적으로 확장하는 단계를 추가함으로써 이후에 압축 효율과 영상 합성 품질을 향상시킬 수 있다.

도 1 내지 도 7은 관심영역 기반 잔차 영상 생성 방법 및 장치를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 TMIV에서 부호화 부분에 대한 도식이다. 부호화 부분은 크게 View optimizer와 Atlas constructor 로 나뉘고 Atlas constructor는 다시 pruner, aggregator, patch packer로 나뉜다. 전체 과정은 다음와 같이 이루어진다. 복수개의 시점 영상과 깊이영상이 주어지면, 우선 View optimizer에서 기준이 되는 기본 시점영상(basic view)을 1개 이상 지정한다. 기본 영상이 지정되면, 나머지 시점 영상들은 추가 시점영상(additional view)으로 분류되며, 기본 영상에서 존재하는 화소들을 찾아서 중복영역(redundancy)이 제거되어 해당 시점에서만 보이는 영상 정보만 남은 잔차 (residual)영상이 생성되는데 이 과정을 프루닝(pruning)이라고 한다. 제거방법은 기본 영상의 위치로 워핑(warping)하여 아래의 조건에 맞는 영역을 중복영역으로 간주하여 없앤다.

|z - z_p |<RedundancyFactor x min(z,z_p)

여기서 여기서 z_p는 비교 대상이되는 위치의 깊이값을 말하며, z는 제거될 대상인 현재의 깊이값을 말한다. RedundanyFactor는 중복 판정범위 보정값이다.

도 2는 TMIV 1.0에 포함된 프루닝 방법을 보인다. 기본적으로 프루닝 방법은 크게 두 단계로 나뉜다. 첫 번째는 기본 영상을 토대로 추가영상의 중복영역을 제거하는 단계이고, 두 번째는 추가 영상간의 중복영역을 제거하는 단계이다. 첫 번째 과정은 도 2에서 보이듯이 기본 시점 v0과 v1에 대해 모든 추가 영상 v2, v3, v4이 독립적으로 수행되기 때문에 서로 입력 순서에 영향을 받지 않아 병렬적으로 수행이 가능하다. 반면에 두 번째 단계에서 추가 영상의 입력 순서에 따라 프루닝된 결과가 달라질 수 있다.

도 2에서 추가 영상 v2는 다음 순서인 v3의 기준 영상이 되므로 v3을 프루닝할 때 v2와의 중복 영역을 제거하게 된다. 이후의 순서로 배정된 추가영상의 프루닝 결과는 모두 앞서 프루닝 된 추가 영상에 영향을 받는다. 도3은 프루닝 순서에 의해 잔차영상이 달라지는 경우를 보인다. 장면에 대해서 서로 위치가 다른 시점 영상인 view 1, view 2, view3이 있고, 프루닝 과정에서 view 1이 기본 영상(basic view)로 정해졌을 경우에 view2와 view3의 순서가 뒤 바뀐 경우를 보인다. Case 1에서는 view 2가 선순위인 경우로 기본 영상과의 중복된 영역이 제거되고, view2는 기본 영상과 view2을 모두 참고하여 모두에서 중복된 영역이 제거된된다. Case 2에서는 view 3가 선순위인 경우로 view2에서 보이는 영역이 기본 영상과 view3에서 모두 보이는 영역이므로 case1과 달리 잔차영상이 거의 남지 않게 된다. 이처럼 프루닝 순서에 의해 결과가 달라지게 되는데, 최종 영상 합성의 품질은 앞선 프루닝에서 잔차영상의 군집화 양상과 군집화로 인해 패킹(packing) 시에 함께 부가되는 화소의 양에 영향을 받는다.

모든 추가영상에서 중복영역이 제거되면 잔차영상에 해당되는 유효한 영역만 남은 마스크(mask) 영상이 생성되며, 다음 과정인 aggregator과정의 입력된다. aggregator에서는 intrapeiod단위로 mask영역을 결합(aggregation)하여 각 프레임의 마스크보다 다소 영역이 확장된 마스크영상이 intraperiod 단위로 생기게 된다.

도 4는 aggregation 과정으로 intraperiod 단위로 결합 잔차영상의 군집화(clustering)와 패킹을 그림으로 보인다. 프루닝 과정을 통해 생긴 잔차영상은 도 4의 좌측 영상처럼 마스크 영역으로 표현된다. 각 마스크 영상은 압축 및 전송을 위해 사각형(rectangle) 모양의 영상에 담기 위한 전처리 과정을 거친다. 이는 현재 널리 쓰이고 있는 기존의 부복호화기와의 호환을 위해 사각형 모양의 영상으로 규격화되어 전송되어야 한다. 이를 위해 일련의 군집화 과정을 거쳐 다수개의 사각형 모양의 패치(patch)가 만들어진다. 각 패치들은 atlas라고 명명된 다수의 영상에 담는 담는 패킹(packing)과정을 거쳐 atlas의 어느 위치에 각 패치들이 놓이는지가 결정된다. 위치가 결정되면 최종적으로 패치의 마스크 정보를 토대로 각 시점의 텍스처 정보와 깊이 정보를 덧씌워서 atlas를 완성하게 되며, 완성된 복수개의 atlas를 부호화되어 네트워크를 통해 전송되고 수신단말에서 이를 수신하여 복호화 과정을 통해 각 시점영상을 복원한 이후에 임의의 시점에서의 영상합성을 하게 된다.

본 제안 방법은 상기 TMIV 부호화 과정에서 기본 영상과 추가 영상 간의 중복영역을 제거하는 프루닝(pruning)과정에서 상대적으로 중요한 영역에 대한 정보에 우선순위를 두기 위한 방법으로서 프루닝 순서와 적응적 마스크 확장 방법에 대한 것이다.

도 5는 본 발명의 구성을 기존 TMIV 1.0의 순서도에 맞춰 재구성한 것이다. 입력영상 최적화부는 TMIV 1.0에서의 view optimizer에 대응되고, 잔차영상 생성부는 pruner, 잔차영상 결합부는 aggregator, 잔차영상 패킹부는 patch packer, 영상 부호화부는 atlas generator와 부호화부와 대응된다. 본 발명은 기존 순서도에서 잔차영상 생성부 전후로 전처리부와 후처리부에 대한 것이다.

앞서 설명한 바와 같이 기존의 TMIV 1.0은 카메라 배치나 장면의 특성을 고려하지 않고 프루닝 순서를 카메라 번호로 고정하여 프루닝을 거친다. 도 3에서 보이듯이 프루닝 순서에 의해 하나의 객체를 이루는 화소들이 서로 쪼개져서 각기 다른 시점에 나뉠 수도 있고 합쳐져서 한 시점에 모여있을 수도 있다. 나중에 영상합성의 결과를 감안하면 의미상 같은 영역을 이루는 화소들은 작은 단위로 쪼개져서 나뉜 상태보다 큰 단위로 뭉쳐 있는 게 좋다. 작은 단위로 쪼개져있는 경우에는 이후에 영상합성의 영상혼합과정(view blending)에서 일련의 기법을 통해 서로 혼합하게 되는데 이때 품질 저하가 발생할 수 있기 때문이다. 따라서 이를 위해 가능하면 의미상 같은 영역을 구성하는 화소들이 군집할 수 있도록 최적의 군집화 방법을 고려하여 프루닝 순서를 정한다.

하지만, 시점 영상의 개수가 많은 경우에는 영상의 모든 영역을 모두 고려하여 이상적인 군집화를 고려하는 건 복잡도가 매우 높기 마련이고, 특정 영역을 위주로 군집화를 하게 되면 다른 영역이 이산화될 수 있기 때문에 본 제안 방법에서는 관심 영역 중심의 군집화를 고려한 전역 순서를 결정하고 이후에 관심영역과 관심영역과 인접한 임의의 시점에서의 합성의 품질을 높이기 위해 해당 영역의 정보가 잘 군집화될 수 있도록 관심영역에 대한 정보가 포함된 추가영상의 우선순위를 변경하는 과정을 거친다.

도 6에서 관심영역의 결정 방법은 장면을 촬영하는 제작자의 의도에 의해 미리 선택되어 사용자 입력으로 입력될 수도 있고 주어진 복수개의 시점영상을 분석하여 관심 영역을 결정할 수도 있다. 그에 대한 방법으로서 장면 내 움직임이 많은 객체가 많이 포함된 시점영상이 관심영역으로 지정될 수도 있고, 장면의 각 객체의 깊이 정보를 토대로 시청자에 비교적 가까운 객체가 많이 포진된 시점 영상이 관심 영역으로 지정될 수도 있다.

관심 영역이 결정되면 전체 추가시점(additional view)의 전역 순서(global order)를 계산한다. 전역 순서를 결정하는 방법은 장면의 구성에 따라 여러 기준에 의해 달라질 수 있다.

기본적으로 장면에 보이는 모든 영역은 기본 영상(basic view)에 포함이 되기 때문에 추가 영상에서는 기본 영상에서 보이지 않지만 합성 시에 중요한 영역을 포함하기 때문에 기준 영상의 객체에 의해서 가려졌던 영역(occluded area)가 담긴 영역 중심으로 군집화될 수 있도록 순서를 정할 수 있다. 그에 대한 방법 중 하나로 기본 영상과 중첩되는 영역(overlap)이 가장 적은 순으로 정렬될 수 있다. 또는 실제로 기본 영상에서 가려진 영역이 얼마나 포함하는지를 계산하여 해당 영역이 가장 많이 포함한 순으로 정렬될 수도 있다.

전역 순서가 결정되면 이후에 관심영역에 대한 우선순위를 결정하는 단계를 거친다. 관심영역 포함 비중이 가장 높은 시점영상을 가장 선순위로 정할 수 있다. 이때, 잔차영상 생성 순서에서 관심영역의 순서가 선순위가 되면 해당 관심영역을 표현하는 화소들이 군집화 되어 해당 시점 영상에서의 합성된 영상의 품질이 향상될 수 있다. 하지만 이로 인해 오히려 선순위로 관심영역에 인접한 가려짐 영역(occlusion) 정보를 포함한 영역을 포함한 추가영상이 후순위로 밀리게 되어 선순위의 추가영상에 의해 해당 영역이 프루닝 과정을 통해 제거될 수 있다. 프루닝 과정은 기본적으로 깊이를 토대로 중복 영역을 판단하기 때문에 잡음에 의해 제거되면 안되는 영역이 제거될 수도 있다. 이는 나중에 영상합성 과정에서 정보의 부재로 인해 합성의 품질을 저하시키는 요인이 될 수 있다.

따라서, 관심 영역을 고려하여 관심영역 및 관심영역의 인접한 가려짐 영역을 포함하는 시점 영상을 복수개 선택하여 우선순위를 결정하는 과정을 거친다.

잔차영상 전처리부에 의해서 프루닝 순서가 정해지면, 잔차영상 생성부를 통해 잔차영상이 생성된다. 생성된 잔차영상은 기본영상과 추가시점 간의 중복이 제거된 영역이 마스크 영상으로 표현된다. 잔차영상을 생성할 경우에 프루닝 과정에서 잡음에 의해서 의도하지 않게 중요한 부분이 중복영역으로 간주되어 제거되었을 수도 있으며, 또한 잔차영상에서 관심영역과 같이 우선순위가 높은 마스크에 해당하는 부분의 화소값 혹은 깊이값 등을 고려하여 이를 토대로 적응적으로 확장(dilation)하여 관심영역 혹은 그 인접한 영역을 구성하는 화소값의 비중을 늘리는 단계를 거친다. 도 7은 잔차영상 후처리부를 보인다.

잔차영상이 입력되면 잔차영상에서 관심영역에 해당하는 영역을 여러 추가 시점에서 찾는다. 관심영역에 대응되는 잔차 영상의 마스크를 해당 마스크에 대응되는 화소값과 깊이값 혹은 카메라 정보를 고려하여 마스크를 적응적으로 추가 확장한다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (1)

1. 관심영역 기반 잔차 영상 생성 방법 및 장치.

Images