KR20210006307A - 아틀라스 영상 생성 방법 및 이를 위한 장치 - Google Patents

아틀라스 영상 생성 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20210006307A
KR20210006307A KR1020200083988A KR20200083988A KR20210006307A KR 20210006307 A KR20210006307 A KR 20210006307A KR 1020200083988 A KR1020200083988 A KR 1020200083988A KR 20200083988 A KR20200083988 A KR 20200083988A KR 20210006307 A KR20210006307 A KR 20210006307A
Authority
KR
South Korea
Prior art keywords
image
area
present disclosure
atlas image
atlas
Prior art date
Application number
KR1020200083988A
Other languages
English (en)
Inventor
김재곤
김현호
박도현
이예진
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Publication of KR20210006307A publication Critical patent/KR20210006307A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시에 따른 아틀라스 영상 생성 방법은, 클러스터들을 아틀라스 영상에 패킹하는 단계, 상기 클러스터들 각각은 유효 영역 및 비유효 영역을 포함함, 상기 아틀라스 영상 내 상기 비유효 영역이 점유하는 영역을 패딩하는 단계, 및 상기 패딩된 영역에 평활화 필터를 적용하는 단계를 포함할 수 있다.

Description

아틀라스 영상 생성 방법 및 이를 위한 장치{METHOD FOR GENERATING ATLAS AND APPARATUS THEREFOR}
본 개시는 부호화 효율이 개선된 아틀라스 영상의 생성 방법에 대한 것이다.
가상현실(virtual reality) 서비스는 전방위 영상을 실사 혹은 CG (Computer Graphics) 형태로 생성하여 HMD, 스마트폰 등에 재생함으로써 몰입감 및 현장감이 극대화된 서비스를 제공하는 방향으로 진화하고 있다. 현재 HMD를 통해 자연스럽고 몰입감 있는 전방위 영상을 재생하려면 6 자유도 (DoF: Degrees of Freedom)를 지원해야 하는 것으로 알려져 있다. 6DoF 영상은 (1) 좌우 회전, (2) 상하 회전, (3) 좌우 이동, (4) 상하 이동 등 여섯 방향에 대해 자유로운 영상을 HMD 화면을 통해 제공해야 한다. 하지만 현재 실사에 기반한 대부분의 전방위 영상은 회전운동만을 지원하고 있다. 이에, 6DoF 전방위 영상의 획득, 재현 기술 등의 분야에 대한 연구가 활발히 진행 중에 있다.
본 개시에서는 운동시차를 지원하는 대용량의 이머시브 영상 서비스 제공을 위해, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공하는 것을 목적으로 한다.
또한, 본 개시는 아틀라스 영상의 부호화/복호화 효율을 향상시키는 방법을 제공하는 것을 목적으로 한다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에 따른 아틀라스 영상 생성 방법은, 클러스터들을 아틀라스 영상에 패킹하는 단계, 상기 클러스터들 각각은 유효 영역 및 비유효 영역을 포함함, 상기 아틀라스 영상 내 상기 비유효 영역이 점유하는 영역을 패딩하는 단계, 및 상기 패딩된 영역에 평활화 필터를 적용하는 단계를 포함한다.
본 발명에 따른 아틀라스 영상 생성 방법에 있어서, 상기 비유효 영역 내 비유효 픽셀의 패딩은, 상기 비유효 픽셀의 좌측에 위치하는 유효 픽셀 및 우측에 위치하는 유효 픽셀을 이용하여 수행될 수 있다.
본 발명에 따른 아틀라스 영상 생성 방법에 있어서, 상기 평활화 필터는 수직 방향으로 적용될 수 있다.
본 발명에 따른 아틀라스 영상 생성 방법에 있어서, 상기 평활화 필터의 탭 수는 컬러 성분에 따라 상이할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 의하면, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공할 수 있다.
본 개시에 의하면, 아틀라스 영상의 부호화/복호화 효율을 높일 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 아틀라스 영상 생성 방법의 흐름도이다.
도 4 및 도 5는 본 개시에서 제안하는 아틀라스 영상 생성 방법의 적용 유무에 따른 아틀라스 영상을 나타낸다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 개시의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 개시에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 개시의 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결 되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 개시의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 개시에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 개시의 실시 또는 본 개시의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 개시의 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다.
이하, 도면을 참조하여 본 개시의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 명세서에서 설명하는 이머시브 영상은 3DoF, 3DoF+, Windowed-6DoF 또는 6DoF 영상을 의미할 수 있다. 이머시브 영상은 복수개의 입력 영상들로 구현될 수 있다. 일 예로, 3DoF 영상은 복수개의 2D 영상들을 합성하여 구현되고, 6DoF 영상은 복수개의 3DoF 영상들을 합성하여 구성할 수 있다.
이하, 본 개시에 따른, 이머시브 영상 처리 방법에 대해 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 1을 참조하면, 본 개시에 따른 이머시브 영상 처리 장치는 시점 최적화부(View Optimizer, 110), 아틀라스(Atlas) 영상 생성부(120), 메타데이터 생성부(130), 영상 인코더부(140) 및 비트스트림 생성부(150)를 포함할 수 있다.
시점 최적화부(110)는 입력 영상들 간 참조 관계 및/또는 우선 순위를 결정한다. 입력 영상들 간 우선 순위는, 프루닝 우선 순위를 나타낼 수 있다. 일 예로, 프루닝 우선 순위가 높은 입력 영상은, 프루닝 우선 순위가 낮은 입력 영상의 참조 영상으로 활용될 수 있다.
프루닝 우선 순위에 따라, 입력 영상들을 트리 구조로 배열할 수 있다. 트리 구조 상 프루닝 우선 순위가 가장 높은 입력 영상을 기본 영상이라 정의하고, 기본 영상이 아닌 입력 영상을 추가 영상이라 정의할 수 있다. 일 예로, 기본 영상은 부모 노드가 존재하지 않는 입력 영상을 의미하고, 추가 영상은 부모 노드가 존재하는 입력 영상을 의미할 수 있다.
부모 노드의 입력 영상은 자식 노드의 입력 영상의 참조 영상으로 이용될 수 있다. 자식 노드가 존재하지 않는 입력 영상은 리프 노드라 호칭될 수 있다.
아틀라스 영상 생성부(120)는 프루닝부(Pruning Unit, 122), 집합부(Aggregation Unit, 124) 및 패치 패킹부(Patch Packing Unit, 126)를 포함할 수 있다.
프루닝부(122)는 입력 영상들에 대한 프루닝을 수행한다. 프루닝은 입력 영상들 간 중복 데이터를 제거하는 과정을 의미한다. 구체적으로, 프루닝을 통해 입력 영상과 참조 영상 사이의 중복 데이터가 제거될 수 있다.
입력 영상으로부터 상기 중복 데이터를 제거함으로써, 잔차 영상이 생성될 수 있다. 잔차 영상에는 공간적으로 분산 분포되는 잔차 데이터가 포함될 수 있다.
집합부(124)는 잔차 영상들이 포함하는 잔차 데이터를 수집한다. 이때, 잔차 영상에 분산 분포된 잔차 데이터 각각을 패치(Patch)라 호칭할 수 있다.
패치 패킹부(126)는, 패치를 기반으로 클러스터(Cluster)를 생성한다. 클러스터는 패치를 포함하는 사각 형태의 영역으로 정의될 수 있다. 클러스터 내 패치가 점유하는 영역은 유효한 화소값이 존재하는 유효(Valid) 영역이고, 패치를 제외한 잔여 영역은 유효한 화소값이 존재하지 않는 비유효(Invalid) 영역이다.
또한, 패치 패킹부(126)는 클러스터들을 패킹하여, 아틀라스 영상을 생성할 수 있다. 구체적으로, 클러스터들을 래스터 순서(raster order)를 따라 배치하여, 아틀라스 영상을 생성할 수 있다. 즉, 아틀라스 영상 내 좌상단에서부터 순차적으로 클러스터들을 배치할 수 있다.
이때, 클러스터들이 점유하는 영역의 크기가 최소가 되도록, 클러스터를 회전 또는 클러스터들을 중첩(overlapping)하여 배치할 수 있다.
클러스터들을 중첩 배치하는 경우, 클러스터들 간의 유효 영역이 서로 겹쳐지지 않도록 설정할 수 있다. 반면, 클러스터들 간의 비유효 영역은 겹쳐질 수 있다.
또는, 패치 인 패치(Patch-in-Patch) 기법을 허용할 수 있다. 패치 인 패치 기법이 허용되는 경우, 클러스터 내 유효 영역 위 다른 클러스터가 배치될 수 있다.
메타데이터 생성부(130)는 이머시브 영상 합성을 위한 메타데이터를 생성한다.
메타데이터는 입력 영상들의 우선 순위 정보를 포함할 수 있다.
상기 우선 순위 정보는, 입력 영상이 리프 노드인지 여부를 나타내는 정보(예컨대, 플래그)를 포함할 수 있다. 상기 입력 영상이 리프 노드가 아닌 경우, 상기 입력 영상의 자식 노드의 개수 및/또는 자식 노드의 식별자가 추가 부호화될 수 있다.
메타데이터는 클러스터 정보를 포함할 수 있다.
클러스터 정보는, 아틀라스 영상 내 클러스터의 위치, 상기 클러스터가 속한 입력 영상을 식별하는 정보 또는 패킹시 상기 클러스터가 회전되었는지 여부를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
영상 인코더부(140)는 아틀라스 영상을 인코딩한다. 영상 인코더부는 텍스처 영상을 위한 텍스처 영상 인코더부(142) 및 뎁스 영상을 위한 뎁스 영상 인코더부(144)를 포함할 수 있다.
비트스트림 생성부(150)는 인코딩된 영상 및 메타데이터를 기초로 비트스트림을 생성한다. 생성된 비트스트림은 이머시브 영상 출력 장치로 전송될 수 있다.
패치들이 잔차 영상에 분산 분포된 바, 사각 형태의 클러스터를 아틀라스에 배치하는 경우, 클러스터 경계에서 불연속 경계(discontinuous edges)가 발생한다. 또한, 위와 같은 불연속 경계는 클러스트들이 중첩 배치된 경우(예컨대, 클러스트들 간의 비유효 영역이 중첩된 경우), 더욱 극명하게 드러날 수 있다.
위와 같은 불연속 경계는, 아틀라스 영사의 부호화 효율을 떨어뜨리게 되는바, 본 개시에서는 위 문제점을 해소하기 위한 방안을 제안한다.
도 2는 본 개시의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 2를 참조하면, 이머시브 영상 처리 장치는, 도 1에 도시된 아틀라스 영상 처리 장치에서 아틀라스 영상 처리부(210)를 더 포함할 수 있다. 아틀라스 영상 처리부(210)는 아틀라스 영상 내 비유효 영역이 점유하는 영역에 대해 패딩 및/또는 평활화 필터를 적용할 수 있다. 이하, 도면을 참조하여, 아틀라스 영상 처리부(210)를 거친 아틀라스 영상 생성 방법에 대해 상세히 살펴보기로 한다.
도 3은 본 개시의 일 실시예에 따른 아틀라스 영상 생성 방법의 흐름도이다.
아틀라스 영상이 생성되면, 아틀라스 영상 내 클러스터의 비유효 영역을 탐색한다(S310). 그리고 나서, 유효 영역에 포함된 픽셀을 이용하여, 비유효 영역을 패딩할 수 있다(S320). 비유효 영역을 패딩함으로써, 불연속 경계를 제거하고 아틀라스 영상에 대한 부호화 효율을 향상시킬 수 있다.
비유효 영역에 포함된 픽셀(이하, 비유효 픽셀이라 함)의 값을 유도하기 위해, 적어도 하나 이상의 유효 영역에 포함된 픽셀(이하, 유효 픽셀이라 함)이 이용될 수 있다. 구체적으로, 비유효 픽셀과 동일한 수평선상에 위치하고, 상호 반대 방향에 위치하는 유효 픽셀들을 이용하여, 비유효 픽셀의 값을 유도할 수 있다.
일 예로, 비유효 픽셀의 좌측 방향으로 첫번째로 탐색되는 픽셀 및 비유효 픽셀의 우측 방향으로 첫번째로 탐색되는 픽셀을 보간하여 비유효 픽셀의 값을 유도할 수 있다.
또는, 비유효 픽셀의 좌측에 위치하는 유효 영역으로부터, n개의 유효 픽셀을 추출하고, 비유효 픽셀의 우측에 위치하는 유효 영역으로부터 m개의 유효 픽셀을 추출하여 비유효 픽셀의 값을 유도할 수도 있다. 여기서, n 및 m은 1 이상의 자연수이고, 동일한 값을 갖거나 또는 상이한 값을 가질 수 있다.
비유효 픽셀의 값은 유효 픽셀들을 이용한 선형(Linear) 패딩, 다항식(Polynomial) 패딩 또는 스플라인(Spline) 패딩 중 적어도 하나를 이용하여 유도될 수 있다. 일 예로, 좌측 첫번째 유효 픽셀 및 우측 첫번째 유효 픽셀을 보간하여 비유효 픽셀의 값을 유도할 수 있다.
이후, 패딩된 영역에 대해 평활화 필터(Smoothing Filter)를 적용할 수 있다(S330). 구체적으로, 패딩된 영역에 대해 수직 방향의 평활화 필터를 적용할 수 있다.
이때, 필터 타입은, 색상 성분, 색상 포맷 또는 비유효 영역의 크기 중 적어도 하나에 기초하여 결정될 수 있다. 일 예로, 루마 성분에 대해서는 5탭의 평활화 필터를 적용하고, 크로마 성분에 대해서는 3탭의 평활화 필터를 적용할 수 있다.
상술한 예에서와 반대로, 비유효 영역에 대해 수직 방향으로 패딩을 수행하고, 패딩된 영역에 대해 수평 방향으로 평활화 필터를 적용할 수도 있다. 즉, 패딩이 제1 방향으로 수행된 경우, 제1 방향과 수직인 제2 방향으로 평활화 필터를 적용할 수 있다. 이때, 수직 방향으로 패딩을 수행하는 것은, 비유효 픽셀의 상단 방향에 위치하는 유효 픽셀 및 비유효 픽셀의 하단 방향에 위치하는 유효 픽셀을 이용하여 비유효 픽셀의 값이 유도됨을 의미한다.
아틀라스 영상 내 클러스터들이 배치되지 않은 유휴 공간(free space)에 속한 픽셀들은 디폴트(Default) 값으로 설정될 수 있다. 상기 유휴 공간에는 상기 패딩 및 평활화 필터가 적용되지 않도록 설정될 수 있다.
또는, 유휴 공간 내 픽셀(이하, 유휴 픽셀이라 함)의 양쪽 방향 모두에 유효 픽셀이 존재하는 경우에만 상기 패딩 및 평활화 필터가 적용될 수 있다. 일 예로, 유휴 픽셀의 좌측 방향에 위치하는 유효 픽셀 및 유휴 픽셀의 우측 방향에 위치하는 유효 픽셀이 모두 존재하는 경우에는, 좌측 유효 픽셀 및 우측 유효 픽셀을 이용하여 상기 유효 픽셀의 값을 유도할 수 있다.
도 4 및 도 5는 본 개시에서 제안하는 아틀라스 영상 생성 방법의 적용 유무에 따른 아틀라스 영상을 나타낸다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 개시는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 개시의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 개시는 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 개시에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 개시에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 개시가 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 개시의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 개시가 상기 실시예들에 한정되는 것은 아니며, 본 개시가 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 개시의 사상의 범주에 속한다고 할 것이다.

Claims (5)

  1. 클러스터들을 아틀라스 영상에 패킹하는 단계, 상기 클러스터들 각각은 유효 영역 및 비유효 영역을 포함함;
    상기 아틀라스 영상 내 상기 비유효 영역이 점유하는 영역을 패딩하는 단계; 및
    상기 패딩된 영역에 평활화 필터를 적용하는 단계를 포함하는, 아틀라스 영상 생성 방법.
  2. 제1항에 있어서,
    상기 비유효 영역 내 비유효 픽셀의 패딩은, 상기 비유효 픽셀의 좌측에 위치하는 유효 픽셀 및 우측에 위치하는 유효 픽셀을 이용하여 수행되는 것을 특징으로 하는, 아틀라스 영상 생성 방법.
  3. 제2항에 있어서,
    상기 평활화 필터는 수직 방향으로 적용되는 것을 특징으로 하는, 아틀라스 영상 생성 방법.
  4. 제1항에 있어서,
    상기 평활화 필터의 탭 수는 컬러 성분에 따라 상이한 것을 특징으로 하는, 아틀라스 영상 생성 방법.
  5. 입력 영상들을 프루닝하고, 상기 프루닝된 입력 영상으로부터 유효 영역 및 비유효 영역을 포함하는 클러스터를 생성하고, 상기 클러스터를 아틀라스 영상에 패킹하는 아틀라스 영상 생성부; 및
    상기 아틀라스 영상 내 상기 비유효 영역이 점유하는 영역을 패딩하고, 상기 패딩된 영역에 평활화 필터를 적용하는 아틀라스 영상 처리부를 포함하는, 이머시브 영상 처리 장치.
KR1020200083988A 2019-07-08 2020-07-08 아틀라스 영상 생성 방법 및 이를 위한 장치 KR20210006307A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190082337 2019-07-08
KR20190082337 2019-07-08

Publications (1)

Publication Number Publication Date
KR20210006307A true KR20210006307A (ko) 2021-01-18

Family

ID=74236898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083988A KR20210006307A (ko) 2019-07-08 2020-07-08 아틀라스 영상 생성 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR20210006307A (ko)

Similar Documents

Publication Publication Date Title
US11616938B2 (en) Method for processing immersive video and method for producing immersive video
KR20200111643A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
KR20200007733A (ko) Pcc 데이터의 효과적인 압축을 위한 부호화/복호화 방법 및 장치
KR20200013607A (ko) 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치
KR20200143276A (ko) 비디오 부호화 방법 및 비디오 복호화 방법
KR20210006307A (ko) 아틀라스 영상 생성 방법 및 이를 위한 장치
US11651472B2 (en) Method for processing immersive video and method for producing immersive video
US20220345742A1 (en) Immersive video decoding method and immersive video encoding method
KR102680366B1 (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
US11457199B2 (en) Method for processing immersive video and method for producing immversive video
KR102591133B1 (ko) 이머시브 영상 부호화 방법 및 이머시브 영상 복호화 방법
KR20210036834A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
KR20210084242A (ko) 아틀라스 영상 생성 방법 및 이를 위한 장치
KR20210003057A (ko) Ctu 기반으로 클러스터를 패킹하는 이머시브 영상 부호화/복호화 방법 및 장치.
KR20200095408A (ko) 이머시브 비디오 포맷팅 방법 및 장치
US20230230285A1 (en) Method for decoding immersive video and method for encoding immersive video
KR20210040271A (ko) 영상 부호화/복호화 방법 및 장치
KR20230110187A (ko) 이머시브 영상 복호화 방법 및 이머시브 영상 부호화 방법
KR20220068887A (ko) 아틀라스 영상 생성 방법 및 이를 위한 장치
KR20210089105A (ko) 영상 부호화/복호화 방법 및 장치
KR20200143299A (ko) 이머시브 영상 부호화/복호화 방법 및 장치
US20240251086A1 (en) Method for decoding immersive video and method for encoding immersive video
US20230336789A1 (en) Method for decoding immersive video and method for encoding immersive video
KR20230140418A (ko) 사용자의 시청 위치에 따라 아틀라스 스위칭을 수행하는 방법 및 이를 위한 장치
US20230334706A1 (en) Method and apparatus for immersive video encoding and decoding, and method for transmitting a bitstream generated by the immersive video encoding method