KR20190015495A - 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치 - Google Patents
비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치 Download PDFInfo
- Publication number
- KR20190015495A KR20190015495A KR1020197000196A KR20197000196A KR20190015495A KR 20190015495 A KR20190015495 A KR 20190015495A KR 1020197000196 A KR1020197000196 A KR 1020197000196A KR 20197000196 A KR20197000196 A KR 20197000196A KR 20190015495 A KR20190015495 A KR 20190015495A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sub
- resolution
- reconstructed
- type
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명의 실시예들은 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치를 제공한다. 비디오 이미지 디코딩 방법은 고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 제1 유형의 서브이미지의 보조 정보를 생성하는 단계 - 상기 보조 정보는 디코더에 의해 재구성될 이미지 내의 서브이미지의 위치 정보 및 서브이미지의 크기 정보를 나타내고, 서브이미지는 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 디코더에 의해 재구성되는 완전한 이미지가 제1 유형의 서브이미지의 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계 - 상기 제2 유형의 서브이미지는 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 와, 보조 정보에 기초하여, 제1 유형의 서브이미지의 재구성된 이미지 및 제2 유형의 서브이미지의 상기 재구성된 이미지를 스플라이싱하여, 디코더에 의해 재구성되는 이미지를 생성하는 단계를 포함한다.
Description
본 출원은 2016년 6월 16일에 중국 특허청에 출원되었고 발명의 명칭이 "비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치"인 중국특허출원 제201610430405.8호의 우선권을 주장하며, 이 출원은 그 전체가 참고로서 본 명세서에 포함된다.
본 발명의 실시예는 비디오 이미지 압축 분야에 관한 것이며, 구체적으로는 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치에 관한 것이다.
오큘러스 리프트(Oculus Rift) 및 기어 VR(Gear VR)과 같은 일련의 가상 현실(VR) 제품 및 애플리케이션의 급속한 보급에 따라, 비디오 콘텐츠의 브라우징 또는 VR 제품을 이용한 실시간 영상 통화가 VR 제품의 중요한 애플리케이션들 중 하나가 되고 있다.
VR 단말 장치의 일반적인 형태는 머리에 착용하여 보는(head mounted viewing) 장치이며, 보통은 안경이다. 비디오 이미지를 표시하기 위해 발광 화면이 내장된다. 위치 및 방향 감지 시스템이 장치 내부에 배치되고, 사용자의 머리의 다양한 움직임을 추적할 수 있으며, 화면의 대응 위치 및 방향에 비디오 이미지 콘텐츠를 표시할 수 있다. VR 단말 장치는 사용자 시선 추적 시스템과 같은 고급 상호 작용 기능 모듈을 더 포함할 수 있고, 사용자 관심 영역을 화면에 표시할 수 있다. 전방향의 비디오 이미지 콘텐츠의 프리젠테이션(presentation)을 지원하기 위해, VR 비디오 이미지는 3차원 공간의 360도 전방향 시각 정보를 포함할 필요가 있다. 이것은 지구의 내부 중심 위치에서 지구 상의 지도를 보는 것으로 상상할 수 있다. 따라서, VR 비디오 이미지는 파노라마 비디오 이미지라고도 한다.
비디오 이미지는 다른 순간에 수집되는 이미지들의 이미지 시퀀스로서 이해할 수도 있다. 객체의 움직임은 시공간 영역에서 연속적이기 때문에, 이미지 시퀀스 내의 인접한 이미지들의 콘텐츠는 높은 유사도를 갖는다. 따라서, 비디오에 대한 다양한 처리가 비디오 내 이미지들에 대해 개별적으로 수행되는 대응하는 처리로 분해될 수도 있다.
파노라마 비디오 이미지가 구형 포맷이면, 파노라마 비디오 이미지는 인덱스를 사용하여 편리하게 표현, 저장 또는 검색될 수 없다. 따라서, 종래기술에서는 2차원 평면 파노라마를 얻기 위해 구형 파노라마를 편 다음 2차원 평면 파노라마에 압축, 처리, 저장, 전송 등의 연산을 수행하였다. 2차원 평면 파노라마를 얻기 위해 3차원 구면 파노라마를 펴는 동작을 맵핑이라고도 한다. 현재, 다수의 맵핑 방법이 존재하며, 이에 대응하여 여러 2차원 평면 파노라마 포맷을 얻을 수 있다. 가장 일반적인 파노라마 포맷은 경도-위도 지도라고도 하며, 경도-위도 지도는 도 1처럼 시각적으로 표현될 수 있다. 경도-위도 지도에서 북극과 남극에 가까운 지역의 이미지는 늘이기(stretching)를 통해 얻어지며 심각한 왜곡 및 데이터 중복이 존재한다.
경도-위도 지도의 심각한 왜곡을 극복하기 위해, 도 2에 도시된 바와 같이, 파노라마는 피라미드 형태의 5면체로 투영될 수 있고, 사용자의 현재 시야의 투영은 피라미드의 바닥에 유지된다. 이 투영 방식에서, 피라미드의 바닥에 대한 현재 시야의 이미지 해상도는 변함없이 유지되고, 다른 4개의 면에 의해 표현되는 사용자의 측방 및 후방 시야에 대해서는 해상도 축소 처리가 수행되고, 그 후, 도 3에 도시된 바와 같이, 5면체가 펼쳐지고, 피라미드의 4개의 측면에 대해 변형 처리가 수행되며, 따라서, 도 3에 도시된 바와 같이, 피라미드의 5개의 모든 면이 정방형 이미지로 합쳐진다. 사용자의 시야 전환 요구 사항에 응답하기 위해, 공간 구면이 여러 시점으로 더 세분화되고, 피라미드 포맷의 이미지가 각 관점에 대해 생성되며, 여러 관점의 피라미드 포맷의 파노라마가 저장될 수 있다.
따라서, 임의의 관점의 비디오 콘텐츠를 시청하기 위한 사용자의 요구를 만족시키기 위해서는, 대량의 비디오 데이터가 저장될 필요가 있고, 복수의 관점의 비디오 데이터가 인코딩될 필요가 있다. 이는 인코딩 또는 디코딩 장치의 데이터 처리 복잡성 및 전력 소비를 증가시키고, 결과적으로 실시간 파노라마 비디오 통신에 대한 어려움을 증가시킨다.
본 발명의 실시예는 인코딩 효율을 향상시키기 위한 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치를 제공한다.
전술한 목적을 달성하기 위해, 다음의 기술적 해결책들이 본 발명의 실시예에 사용된다.
제1 양태에 따르면, 비디오 이미지 인코딩 방법은, 인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계 - 상기 서브이미지는 상기 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 상기 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 상기 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하는 단계 - 상기 보조 정보는 상기 인코딩될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타냄 - 를 포함한다.
제1 적절한 구현예에서, 상기 인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계는, 상기 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하는 단계와, 상기 저해상도 이미지를 인코딩하여 저해상도의 이미지 비트스트림 및 저해상도의 재구성된 이미지를 생성하는 단계와, 상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수(predictor)를 얻는 단계와, 상기 적어도 하나의 서브이미지의 원래의 픽셀 값 및 상기 예측변수에 기초하여 상기 적어도 하나의 서브이미지의 나머지 값을 얻고, 상기 나머지 값을 인코딩하여 상기 고해상도의 이미지 비트스트림을 생성하는 단계를 포함한다.
제2 적절한 구현예에서, 상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수(predictor)를 얻는 단계는, 상기 해상도 비에 기초하여 상기 적어도 하나의 서브이미지의 상기 보조 정보에 대한 맵핑을 수행하여, 상기 저해상도의 재구성된 이미지 내의 상기 적어도 하나의 서브이미지에 대응하는 저해상도 서브이미지의 크기 정보와, 상기 저해상도의 재구성된 이미지 내의 상기 저해상도 서브이미지의 위치 정보를 결정하는 단계와, 상기 해상도 비에 기초하여 상기 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 적어도 하나의 서브이미지의 상기 예측변수를 얻는 단계를 포함한다.
제3 적절한 구현예에서, 상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 인코딩될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 인코딩될 이미지 내에서의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함한다.
제4 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반한다.
제5 적절한 구현예에서, 상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 제2 보조 정보는 상기 인코딩될 이미지가 상기 서브이미지로 분할되는 모드를 포함한다.
제6 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반한다.
제7 적절한 구현예에서, 상기 해상도 비는 미리 설정된 값이다.
제8 적절한 구현예에서, 상기 해상도 비는 상기 저해상도의 이미지 비트스트림의 픽처 파라미터 세트 또는 제1 슬라이스의 슬라이스 헤더로 인코딩된다.
제9 적절한 구현예에서, 상기 인코딩될 이미지의 해상도는 상기 고해상도의 이미지 비트스트림으로 인코딩되고, 상기 저해상도 이미지의 해상도는 상기 저해상도의 이미지 비트스트림으로 인코딩된다.
제2 양태에 따르면, 본 발명의 일 실시예는, 고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하는 단계 - 상기 보조 정보는 디코더에 의해 재구성될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타내고, 상기 서브이미지는 상기 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 상기 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 디코더에 의해 재구성되는 완전한 이미지가 상기 제1 유형의 서브이미지의 상기 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계 - 상기 제2 유형의 서브이미지는 상기 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 와, 상기 보조 정보에 기초하여, 상기 제1 유형의 서브이미지의 상기 재구성된 이미지 및 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 스플라이싱하여, 상기 디코더에 의해 재구성되는 이미지를 생성하는 단계를 포함하는 비디오 이미지 디코딩 방법을 제공한다.
제1 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림을 파싱하여, 상기 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하는 단계는, 상기 고해상도의 이미지 비트스트림을 파싱하여, 상기 디코더에 의해 재구성될 이미지 내의 상기 제1 유형의 서브이미지의 나머지 값 및 상기 보조 정보를 얻는 단계와, 상기 저해상도의 이미지 비트스트림, 상기 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비, 및 상기 제1 유형의 서브이미지의 상기 보조 정보에 기초하여 상기 제1 유형의 서브이미지의 예측변수를 얻는 단계와, 상기 제1 유형의 서브이미지의 상기 나머지 값 및 상기 예측변수에 기초하여 상기 제1 유형의 서브이미지의 상기 재구성된 이미지를 생성하는 단계를 포함한다.
제2 적절한 구현예에서, 상기 저해상도의 이미지 비트스트림, 상기 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비, 및 상기 제1 유형의 서브이미지의 상기 보조 정보에 기초하여 상기 제1 유형의 서브이미지의 예측변수를 얻는 단계는, 상기 해상도 비에 기초하여 상기 제1 유형의 서브이미지의 상기 보조 정보에 대해 맵핑을 수행하여, 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 서브이미지에 대응하는 제1 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 저해상도 서브이미지의 위치 정보를 결정하는 단계와, 상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제1 유형의 저해상도 서브이미지를 생성하는 단계와, 상기 해상도 비에 기초하여 상기 제1 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 제1 유형의 서브이미지의 예측변수를 얻는 단계를 포함한다.
제3 적절한 구현예에서, 상기 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계는, 상기 제1 유형의 서브이미지의 상기 보조 정보와, 상기 디코더에 의해 재구성될 이미지와 상기 저해상도의 재구성될 이미지 사이의 해상도 비에 기초하여, 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 서브이미지에 대응하는 제2 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 저해상도 서브이미지의 위치 정보를 결정하는 단계와, 상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제2 유형의 저해상도 서브이미지를 생성하는 단계와, 상기 해상도 비에 기초하여 상기 제2 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여, 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 생성하는 단계를 포함한다.
제4 적절한 구현예에서, 상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 디코더에 의해 재구성될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 모서리 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 디코더에 의해 재구성될 이미지 내의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함한다.
제5 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반한다.
제6 적절한 구현예에서, 상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 보조 정보는 상기 디코더에 의해 재구성될 이미지가 상기 서브이미지로 분할되는 모드를 포함한다.
제7 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반한다.
제8 적절한 구현예에서, 상기 해상도 비는 미리 설정된 값이다.
제9 적절한 구현예에서, 제1 슬라이스의 슬라이스 헤더 또는 상기 저해상도의 이미지 비트스트림의 픽처 파라미터 세트를 파싱하여 상기 해상도 비를 얻는다.
제10 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림을 파싱하여 상기 디코더에 의해 재구성될 이미지의 해상도를 얻고, 상기 저해상도의 이미지 비트스트림을 파싱하여 상기 저해상도의 재구성될 이미지의 해상도를 얻는다.
제3 양태에 따르면, 본 발명의 일 실시예는, 인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하도록 구성된 제1 인코딩 모듈 - 상기 서브이미지는 상기 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 상기 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 상기 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하도록 구성된 제2 인코딩 모듈 - 상기 보조 정보는 상기 인코딩될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타냄 - 을 포함하는 비디오 이미지 인코딩 장치를 제공한다.
제1 적절한 구현예에서, 상기 제1 인코딩 모듈은, 상기 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하도록 구성된 다운샘플링 모듈과, 상기 저해상도 이미지를 인코딩하여 저해상도의 이미지 비트스트림 및 저해상도의 재구성된 이미지를 생성하도록 구성된 제3 인코딩 모듈과, 상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수(predictor)를 얻도록 구성된 예측 모듈과, 상기 적어도 하나의 서브이미지의 원래의 픽셀 값 및 상기 예측변수에 기초하여 상기 적어도 하나의 서브이미지의 나머지 값을 얻고, 상기 나머지 값을 인코딩하여 상기 고해상도의 이미지 비트스트림을 생성하도록 구성된 제4 인코딩 모듈을 포함한다.
제2 적절한 구현예에서, 상기 예측 모듈은, 상기 해상도 비에 기초하여 상기 적어도 하나의 서브이미지의 상기 보조 정보에 대한 맵핑을 수행하여, 상기 저해상도의 재구성된 이미지 내의 상기 적어도 하나의 서브이미지에 대응하는 저해상도 서브이미지의 크기 정보와, 상기 저해상도의 재구성된 이미지 내의 상기 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 결정 모듈과, 상기 해상도 비에 기초하여 상기 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 적어도 하나의 서브이미지의 상기 예측변수를 얻도록 구성된 업샘플링 모듈을 포함한다.
제3 적절한 구현예에서, 상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 인코딩될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 인코딩될 이미지 내에서의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함한다.
제4 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반한다.
제5 적절한 구현예에서, 상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 제2 보조 정보는 상기 인코딩될 이미지가 상기 서브이미지로 분할되는 모드를 포함한다.
제6 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반한다.
제4 양태에 따르면, 본 발명의 일 실시예는, 고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하도록 구성된 제1 파싱 모듈 - 상기 보조 정보는 디코더에 의해 재구성될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타내고, 상기 서브이미지는 상기 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 상기 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 과, 디코더에 의해 재구성되는 완전한 이미지가 상기 제1 유형의 서브이미지의 상기 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하도록 구성된 제2 파싱 모듈 - 상기 제2 유형의 서브이미지는 상기 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 과, 상기 보조 정보에 기초하여, 상기 제1 유형의 서브이미지의 상기 재구성된 이미지 및 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 스플라이싱하여, 상기 디코더에 의해 재구성되는 이미지를 생성하도록 구성된 스플라이싱 모듈을 포함하는 비디오 이미지 디코딩 장치를 제공한다.
제1 적절한 구현예에서, 상기 제1 파싱 모듈은, 상기 고해상도의 이미지 비트스트림을 파싱하여, 상기 디코더에 의해 재구성될 이미지 내의 상기 제1 유형의 서브이미지의 나머지 값 및 상기 보조 정보를 얻도록 구성된 제3 파싱 모듈과, 상기 저해상도의 이미지 비트스트림, 상기 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비, 및 상기 제1 유형의 서브이미지의 상기 보조 정보에 기초하여 상기 제1 유형의 서브이미지의 예측변수를 얻도록 구성된 예측 모듈과, 상기 제1 유형의 서브이미지의 상기 나머지 값 및 상기 예측변수에 기초하여 상기 제1 유형의 서브이미지의 상기 재구성된 이미지를 생성하도록 구성된 재구성 모듈을 포함한다.
제2 적절한 구현예에서, 상기 예측 모듈은, 상기 해상도 비에 기초하여 상기 제1 유형의 서브이미지의 상기 보조 정보에 대해 맵핑을 수행하여, 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 서브이미지에 대응하는 제1 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 제1 결정 모듈과, 상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제1 유형의 저해상도 서브이미지를 생성하도록 구성된 제4 파싱 모듈과, 상기 해상도 비에 기초하여 상기 제1 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 제1 유형의 서브이미지의 예측변수를 얻도록 구성된 제1 업샘플링 모듈을 포함한다.
제3 적절한 구현예에서, 상기 제2 파싱 모듈은, 상기 제1 유형의 서브이미지의 상기 보조 정보와, 상기 디코더에 의해 재구성될 이미지와 상기 저해상도의 재구성될 이미지 사이의 해상도 비에 기초하여, 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 서브이미지에 대응하는 제2 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 제2 결정 모듈과, 상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제2 유형의 저해상도 서브이미지를 생성하도록 구성된 제5 파싱 모듈과, 상기 해상도 비에 기초하여 상기 제2 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여, 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 생성하도록 구성된 제2 업샘플링 모듈을 포함한다.
제4 적절한 구현예에서, 상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 디코더에 의해 재구성될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 모서리 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 디코더에 의해 재구성될 이미지 내의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함한다.
제5 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반한다.
제6 적절한 구현예에서, 상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 보조 정보는 상기 디코더에 의해 재구성될 이미지가 상기 서브이미지로 분할되는 모드를 포함한다.
제7 적절한 구현예에서, 상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반한다.
제5 양태에 따르면, 본 발명의 일 실시예는 메모리 및 상기 메모리에 연결된 프로세서를 포함하는 비디오 이미지 인코딩 장치를 제공하며, 상기 메모리는 코드 및 명령어를 저장하도록 구성되며, 상기 프로세서는 상기 코드 및 상기 명령어에 따라 단계들을 수행하도록 구성되되, 상기 단계들은 인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계 - 상기 서브이미지는 상기 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 상기 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 상기 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하는 단계 - 상기 보조 정보는 상기 인코딩될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타냄 - 를 포함한다.
제1 적절한 구현예에서, 상기 프로세서는, 상기 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하고, 상기 저해상도 이미지를 인코딩하여 저해상도의 이미지 비트스트림 및 저해상도의 재구성된 이미지를 생성하며, 상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수를 얻고, 상기 적어도 하나의 서브이미지의 원래의 픽셀 값 및 상기 예측변수에 기초하여 상기 적어도 하나의 서브이미지의 나머지 값을 얻고, 상기 나머지 값을 인코딩하여 상기 고해상도의 이미지 비트스트림을 생성하도록 구성된다.
제6 양태에 따르면, 본 발명의 일 실시예는 메모리 및 상기 메모리에 연결된 프로세서를 포함하는 비디오 이미지 디코딩 장치를 제공하며, 상기 메모리는 코드 및 명령어를 저장하도록 구성되고, 상기 프로세서는 상기 코드 및 상기 명령어에 따라 단계들을 수행하도록 구성되되, 상기 단계들은, 고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하는 단계 - 상기 보조 정보는 디코더에 의해 재구성될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타내고, 상기 서브이미지는 상기 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 상기 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 디코더에 의해 재구성되는 완전한 이미지가 상기 제1 유형의 서브이미지의 상기 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계 - 상기 제2 유형의 서브이미지는 상기 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 와, 상기 보조 정보에 기초하여, 상기 제1 유형의 서브이미지의 상기 재구성된 이미지 및 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 스플라이싱하여, 상기 디코더에 의해 재구성되는 이미지를 생성하는 단계를 포함한다.
제7 양태에 따르면, 본 발명의 일 실시예는 명령어를 저장하는 컴퓨터 판독가능한 저장 매체를 제공하며, 상기 명령어가 실행될 경우, 비디오 이미지 데이터를 인코딩하는 장치의 하나 이상의 프로세서는 제1 양태의 방법 및 제1 양태의 적절한 구현예를 수행하는데 사용된다.
제8 양태에 따르면, 본 발명의 일 실시예는 명령어를 저장하는 컴퓨터 판독가능한 저장 매체를 제공하며, 상기 명령어가 실행될 경우, 비디오 이미지 데이터를 디코딩 장치의 하나 이상의 프로세서는 제2 양태의 방법 및 제2 양태의 적절한 구현예를 수행하는데 사용된다.
본 발명의 실시예들에서, 제3, 제5 및 제7 양태의 발명 개념들은 제1 양태의 발명 개념과 부합하고, 제3, 제5, 및 제7 양태의 기술적 해결책은 제1 양태의 기술적 해결책과 유사하며, 제4, 제6 및 제8 양태의 발명 개념들은 제2 양태의 발명 개념과 부합하고, 제4, 제6 및 제8 양태의 기술적 해결책은 제2 양태의 기술적 해결책과 유사하다. 본 발명의 실시예들 및 적절한 구현예들에서 제3, 제5, 및 제7 양태의 해결책 및 적절한 구현예들의 유익한 효과, 및 제4, 제6 및 제8 양태의 해결책 및 적절한 구현예들의 유익한 효과는 제1 양태 및 제2 양토의 관련 내용과 관련되며, 세부사항은 여기서 다시 설명하지 않는다.
본 발명의 실시예들 또는 종래 기술에서의 기술적 해결책을 보다 명확히 설명하기 위해, 다음은 이들 실시예들 또는 종래 기술을 설명하기 위해 요구되는 첨부 도면들을 간략하게 설명한다. 분명히, 다음의 설명에서 첨부 도면들은 단지 본 발명의 일부 실시예들을 보여주며, 당업자는 창의적인 노력 없이 이들 첨부 도면으로부터 다른 도면들을 도출할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 경도-위도 지도 맵핑의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 피라미드 포맷의 파노라마의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 피라미드 포맷의 투영 프로세스의 개략도이다.
도 4는 본 발명의 일 실시예에 따른 멀티뷰 피라미드 포맷의 파노라마의 개략도이다.
도 5는 본 발명의 일 실시예에 따른 VR 비디오 이미지 콘텐츠 엔드투엔드 시스템(end to end system)의 개략도이다.
도 6은 본 발명의 일 실시예에 따른 비디오 이미지 인코딩 방법의 개략적인 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 분할을 통해 서브이미지를 얻는 방법의 개략도이다.
도 8(a)는 본 발명의 일 실시예에 따른 분할을 통해 서브이미지를 얻는 다른 방법의 개략도이다.
도 8(b)는 본 발명의 일 실시예에 따른 분할을 통해 서브이미지를 얻는 또 다른 방법의 개략도이다.
도 9는 본 발명의 일 실시예에 따른 서브이미지의 위치 정보 및 차원 정보를 표현하는 방식의 개략도이다.
도 10은 본 발명의 일 실시예에 따른 서브이미지 일련번호 표현 방식의 개략도이다.
도 11은 본 발명의 일 실시예에 따른 다른 서브이미지 일련번호 표현 방식의 개략도이다.
도 12는 본 발명의 일 실시예에 따른 또 다른 서브이미지 일련번호 표현 방식의 개략도이다.
도 13은 본 발명의 일 실시예에 따른 비디오 이미지 디코딩 방법의 개략적인 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 비디오 이미지 인코딩 장치의 개략적인 블록도이다.
도 15는 본 발명의 일 실시예에 따른 비디오 이미지 디코딩 장치의 개략적인 블록도이다.
도 16은 본 발명의 일 실시예에 따른 비디오 이미지 인코딩 장치의 개략적인 블록도이다.
도 17은 본 발명의 일 실시예에 따른 비디오 이미지 디코딩 장치의 개략적인 블록도이다.
도 1은 본 발명의 일 실시예에 따른 경도-위도 지도 맵핑의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 피라미드 포맷의 파노라마의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 피라미드 포맷의 투영 프로세스의 개략도이다.
도 4는 본 발명의 일 실시예에 따른 멀티뷰 피라미드 포맷의 파노라마의 개략도이다.
도 5는 본 발명의 일 실시예에 따른 VR 비디오 이미지 콘텐츠 엔드투엔드 시스템(end to end system)의 개략도이다.
도 6은 본 발명의 일 실시예에 따른 비디오 이미지 인코딩 방법의 개략적인 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 분할을 통해 서브이미지를 얻는 방법의 개략도이다.
도 8(a)는 본 발명의 일 실시예에 따른 분할을 통해 서브이미지를 얻는 다른 방법의 개략도이다.
도 8(b)는 본 발명의 일 실시예에 따른 분할을 통해 서브이미지를 얻는 또 다른 방법의 개략도이다.
도 9는 본 발명의 일 실시예에 따른 서브이미지의 위치 정보 및 차원 정보를 표현하는 방식의 개략도이다.
도 10은 본 발명의 일 실시예에 따른 서브이미지 일련번호 표현 방식의 개략도이다.
도 11은 본 발명의 일 실시예에 따른 다른 서브이미지 일련번호 표현 방식의 개략도이다.
도 12는 본 발명의 일 실시예에 따른 또 다른 서브이미지 일련번호 표현 방식의 개략도이다.
도 13은 본 발명의 일 실시예에 따른 비디오 이미지 디코딩 방법의 개략적인 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 비디오 이미지 인코딩 장치의 개략적인 블록도이다.
도 15는 본 발명의 일 실시예에 따른 비디오 이미지 디코딩 장치의 개략적인 블록도이다.
도 16은 본 발명의 일 실시예에 따른 비디오 이미지 인코딩 장치의 개략적인 블록도이다.
도 17은 본 발명의 일 실시예에 따른 비디오 이미지 디코딩 장치의 개략적인 블록도이다.
다음은, 본 발명의 실시예들의 첨부 도면을 참조하여 본 발명의 실시예들에서의 기술적인 해결책을 명확하고 완전하게 설명한다. 분명히, 설명된 실시예들은 단지 본 발명의 실시예들 중 일부일 뿐 전부는 아니다.
종래 기술에서는, 사용자의 시각에 기초하여 대응하는 시야의 콘텐츠를 적응적으로 얻고 재생하기 위해, 모든 관점의 피라미드 포맷의 비디오 콘텐츠가 서버측에 저장될 필요가 있다. 이는 시간에 따라 파노라마 비디오 저장 오버헤드를 증가시킨다. 또한, 서버가 모든 시야의 피라미드 포맷의 비디오 콘텐츠를 인코딩한 다음 인코딩된 콘텐츠를 저장할 필요가 있다. 이는 시간에 따라 VR 비디오 인코딩 복잡도 및 전력 소비를 증가시킨다. 그 결과, 복잡도가 너무 높아져서 파노라마 비디오 콘텐츠의 실시간 인코딩 및 전송이 구현될 수 없다. 본 발명에서의 파노라마 비디오 이미지 인코딩 및 디코딩을 위한 기술적 해결책에서, 인코딩될 이미지의 콘텐츠의 일부분이 선택적으로 인코딩되고, 디코더에서, 원본 해상도 버전의 인코딩될 이미지의 재구축된 이미지가 저해상도 버전의 인코딩될 이미지의 재구축된 이미지에 기초하여 적응적으로 생성된다. 이는 인코딩 복잡도와 디코딩 복잡도를 모두 줄일 수 있고, 파노라마 비디오 전송 대역폭을 감소시킬 수 있으며, 따라서 실시간 파노라마 비디오 통신이 구현될 수 있다. 또한, 본 발명에서의 해결책은 또한 파노라마 비디오 저장 오버헤드를 상당히 감소시키며, 따라서 파노라마 비디오 스트리밍 미디어 서비스의 대규모 배포가 구현될 수 있다.
본 발명의 실시예들에서 기술적 해결책들에 대한 설명을 보다 쉽게 하기 위해, 기본적으로 동일한 기능 또는 목적을 제공하는 동일한 항목들 또는 유사한 항목들 사이를 구별하도록 "제1", "제2" 및 "제3"과 같은 단어가 본 발명의 실시예들에서 사용된다. 당업자는 "제1", "제2" 및 "제3"과 같은 단어가 양이나 실행 순서를 제한하지 않음을 이해할 수 있을 것이다.
도 5는 본 발명의 일 실시예에 따른 VR 비디오 이미지 콘텐츠 엔드투엔드 시스템의 개략도이다. VR 비디오 이미지 콘텐츠 엔드투엔드 시스템은 수집 모듈, 스플라이싱 모듈, 인코딩 모듈, 전송 모듈, 디코딩 모듈 및 디스플레이 모듈을 포함한다. 한 응용에서, 대응하는 사용자가 보낸 방향 정보에 기초하여, 서버는 대응하는 관점의 발견된 비디오 이미지 콘텐츠를 그 사용자에게 실시간으로 전송할 필요가 있다. 다른 응용에서, VR 콘텐츠가 필름 형태로 사용자에게 배포될 수 있으며, 사용자는 자기 디스크와 같은 매체로부터 VR 콘텐츠 파일을 읽고, VR 콘텐츠 파일을 디코딩하고 디스플레이한다.
기존의 VR 비디오 이미지 수집 장치는 일반적으로 환형 멀티 카메라 어레이 또는 구형 멀티 카메라 어레이이며, 각 카메라는 상이한 각도에서의 이미지들을 수집하여 현재 시나리오의 멀티뷰 비디오 이미지를 얻는다. 그 다음에, 3차원 구형 파노라마에 대해 이미지 스플라이싱이 수행되어, 처리, 압축, 전송 및 저장과 같은 후속 동작의 입력에 사용되는 2차원 평면 파노라마를 얻는다.
기존의 VR 비디오 이미지 디스플레이 장치는 일반적으로 머리에 착용하여 보는 장치이며, 2차원 평면 파노라마가 VR 비디오 이미지 디스플레이 장치에 입력된다. VR 디스플레이 장치는 사용자의 현재 시각에 기초하여 2차원 평면 파노라마의 대응하는 부분을 3차원 구 표면에 투영하고, 대응하는 부분을 사용자에게 제시한다. 입력된 2차원 평면 파노라마는 실시간으로 수신될 수도 있고 아니면 저장된 파일로부터 읽어낼 수도 있다. 입력된 2차원 평면 파노라마는 이미지 프로세싱 및 압축과 같은 조작이 행해졌을 수도 있다.
사용자 경험 연구에 따르면, 비교적 높은 화질을 달성하기 위해, 2차원 평면 파노라마의 공간 해상도가 11520×5760에 달할 필요가 있는 것으로 나타났는데, 이는 8K 비디오 해상도를 초과한다. 그러나, 디스플레이 화면의 해상도 및 디코딩 능력의 제한으로 인해, 기존의 VR 제품에서의 파노라마의 해상도는 단지 2K이다.
본 발명의 해결책은 2차원 파노라마의 인코딩 및 디코딩 동작과 관련되지만, 파노라마의 데이터 포맷이 제한되지는 않는다. 설명의 편의를 위해, 이하에서는 설명을 위한 일례로서 경도-위도 지도를 사용한다. 그러나, 본 발명의 해결책은 육면체, 환형 및 다면체와 같은 다양한 포맷으로 2차원 평면 파노라마에 적용될 수도 있다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예는 비디오 이미지 인코딩 방법을 제공한다.
S601. 인코딩될 이미지에 다운샘플링을 수행하여 저해상도 이미지를 생성한다.
도 7에 도시된 바와 같이, 본 발명의 이 실시예에서 인코딩될 이미지는 파노라마 
이고, 저해상도 버전 파노라마 
인 저해상도 이미지가 생성된다고 가정한다.
이미지의 해상도를 줄이는 것을 일반적으로 이미지에 대해 수행된 다운샘플링(downsampling)이라 한다. 적절한 구현예에서, 다운샘플링은, 2:1 또는 4:1과 같은 정수 배율 또는 3:2 또는 4:3과 같은 분수 배율에 기초하여, 인코딩될 이미지에 대해 수행될 수 있으며, 그 제한은 없다. 배율은 다운샘플링을 통해 얻은 저해상도 이미지의 해상도에 대한 인코딩될 이미지의 해상도의 비이다. 적절한 구현예에서, 배율은 사전에 설정될 수 있으며, 다른 적절한 구현예에서는, 인코딩 동안에, 전송 대역폭 또는 비디오 화질에 대한 요건에 따라 배율이 수작업으로 설정될 수도 있으며, 제한은 없다. 통상의 정수배 비율의 다운샘플링 동작은 신호에 대해 저역 통과 필터링을 수행하는 것과, 그 후 다운샘플링 신호를 얻기 위해 특정 배율에 기초한 간격으로 원본 샘필링 신호를 추출하는 것을 포함하며, 여기서 가우스 필터 및 양방향 필터와 같은 다양한 저역 필터가 사용될 수 있다. 통상의 분수 배율 다운샘플링 동작은 다운샘플링 신호를 획득하기 위해 미리 설정된 보간 필터를 사용하여 지정된 샘플링 위치에서 수행되는 보간 동작을 포함하는데, 여기서 이중 선형(bilinear) 필터 및 쌍입방(bicubic) 필터와 같은 다양한 보간 필터가 사용될 수 있다. 다른 실시예에서는, 저해상도 파노라마를 얻기 위해 다른 다운샘플링 방법이 사용되며, 특정 다운샘플링 방법에 제한되지 않는다.
S602. 저해상도의 이미지 비트스트림 및 저해상도 재구성 이미지를 생성하기 위해, 저해상도 이미지를 인코딩한다.
본 발명의 이 실시예에서는, 
의 압축된 비트스트림을 생성하고 
의 재구성된 이미지 
을 얻기 위해 
에 대해 압축 및 인코딩이 수행된다. 적절한 구현예에서, 예를 들어, 비디오 코딩 표준 H.265 또는 H.264와 같은 임의의 알려진 비디오 또는 이미지 압축 및 인코딩 방법 또는 JPEG(Joint Photographic Experts Group) 이미지 인코딩 표준과 같은 표준에서 지정된 비디오 이미지 인코딩 방법을 이용하여, 또는 프레임 내 코딩 방법을 이용하여, 또는 프레임간 코딩 방법을 이용하여 
에 대해 압축 및 인코딩이 수행될 수 있으며, 제한은 없다.
적절한 실시예에서, 디코더는 S601에서 설명된 다운샘플링 배율을 알 필요가 있다. 적절한 실시예에서, 인코더 및 디코더는 인코딩이나 인코더와 디코더 사이의 정보 전송 없이 다운샘플링 배율에 관해 합의한다. 예를 들어, 다운샘플링 배율은 지정된 값일 수도 있고, 또는 다운샘플링 배율과 인코딩될 이미지의 해상도와 같은 속성 사이에 미리 설정된 맵핑 관계가 존재할 수도 있으며, 제한은 없다. 적절한 구현예에서, 다운샘플링 배율은 인코딩되고 전송된다. 예를 들어, 
의 다운샘플링 배율은 제1 슬라이스의 슬라이스 헤더에서 전달되거나 또는 픽처 파라미터 세트에서 전달될 수 있으며, 제한은 없다. 적절한 실시예에서, 인코딩될 이미지의 해상도 및 저해상도 이미지의 해상도는 제각기의 비트스트림 인코딩 프로세스에서 고해상도의 이미지 비트스트림 및 저해상도의 이미지 비트스트림으로 제각기 인코딩되며, 디코더는 고해상도의 이미지 비트스트림 및 저해상도의 이미지 비트스트림을 개별적으로 파싱하고 파싱을 통해 얻어지는 고해상도 이미지의 해상도와 저해상도 이미지의 해상도를 비교함으로써 다운샘플링 배율을 얻을 수 있다.
S603. 고해상도의 이미지 비트스트림을 생성하기 위해, 파노라마의 적어도 하나의 서브이미지를 인코딩한다.
본 발명의 이 실시예에서, 인코딩될 파노라마는 몇몇 서브이미지로 분할될 수 있으며, 여기서 서브이미지는 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 서브이미지는 서로 중첩되지 않고, 서브이미지는 픽셀 또는 복수의 픽셀일 수 있으며, 제한은 없다는 것을 이해해야 한다. 예를 들어, 픽셀 세트는 256×256 또는 1024×512의 픽셀 블록과 같은 직사각형 픽셀 블록일 수 있다.
본 발명의 이 실시예에서 파노라마에 대해 경계 확장 프로세싱이 미리 수행되어, 파노라마가 서브이미지의 전체 량의 서브이미지로 분할될 수 있다는 것을 이해해야 한다. 경계 확장 프로세싱은 비디오 이미지 인코딩 및 디코딩의 일반적인 프로세싱 동작이며, 본 명세서에서 자세한 사항은 설명하지 않는다.
도 7에 도시된 바와 같이, 서브이미지들은 동일한 크기의 이미지 블록들일 수 있다. 또는, 도 8(a)에 도시된 바와 같이, 서브이미지들은 동일하지 않은 크기의 이미지 블록들일 수 있다. 도 8(b)는 보다 유연한 이미지 블록 분할 방법을 보여준다.
인코딩될 이미지의 임의의 서브이미지는 서브이미지의 크기 정보 및 인코딩될 이미지 내의 서브이미지의 위치 정보에 기초하여 결정될 수 있다.
적절한 구현예에서, 크기 정보 및 서브이미지의 위치 정보는 다음과 같이 표현될 수 있는데, 즉, 도 9에 도시된 바와 같이, 서브이미지(
)의 크기 정보는 서브이미지(
)의 폭 및 높이
를 사용하여 표현되고, 서브이미지(
)의 위치 정보는 파노라마(
) 내의 서브이미지 (
)의 좌측상단 모서리의 픽셀 위치에 대한 서브이미지(
)의 좌측상단의 모서리 위치의 오프셋
을 사용하여 표현된다. 서브이미지의 폭 및 높이는 이미지 픽셀의 기본 단위 또는 4×4의 이미지 블록과 같은 이미지 블록의 고정된 크기로 측정될 수 있다. 파노라마에 대한 서브이미지의 위치 오프셋은 이미지 픽셀의 단위 또는 4×4의 이미지 블록과 같은 고정된 크기의 이미지 블록으로 측정될 수 있다.
다른 적절한 구현예에서, 파노라마 내의 서브이미지는 도 10에 도시된 바와 같이 미리설정된 배열 순서로 넘버링될 수 있다. 각 서브이미지의 위치 정보 및 크기 정보는 파노라마 분할 정보 및 서브이미지 일련번호 정보를 모두 이용하여 결정된다. 예를 들어, 도 10에서, 제1 서브이미지 행 및 제2 서브이미지 행의 높이는 각각 64 픽셀 및 64 픽셀이며, 제1 서브이미지 열, 제2 서브이미지 열, 및 제3 서브이미지 열의 폭은 각각 256, 128, 512 픽셀이다. 따라서, 일련번호가 7인 서브이미지의 위치 정보는 
=256+128=384이고 
=64이며, 서브이미지의 크기 정보는 
=512 및 
=64이다.
적절한 구현예에서, 서브이미지는 적어도 하나의 코딩 유닛을 포함하고, 코딩 유닛은 적어도 하나의 기본 코딩 유닛을 포함한다. 기본 코딩 유닛은 이미지를 인코딩 및 디코딩하기 위한 기본 유닛이며, 미리 설정된 양을 가지며 분산된 픽셀을 포함한다. 예를 들어, 코딩 유닛은 256×256 픽셀의 직사각형 이미지일 수도 있고, 기본 코딩 유닛은 16×16 또는 64×256 또는 256×128 픽셀의 직사각형 이미지 블록일 수도 있으며, 제한은 없다. 일부 비디오 이미지 인코딩 표준에서, 기본 코딩 유닛은 보다 적은 예측 유닛들로 분할될 수 있으며, 보다 작은 예측 유닛들은 예측 코딩을 위한 기본 유닛으로 사용된다. 예를 들어, 예측 유닛은 4×4 또는 16×8 또는 64×256 픽셀의 직사각형 이미지 블록일 수 있으며, 제한은 없다.
적절한 구현예에서, 서브이미지 내의 코딩 유닛을 결정하는 방식이 도 11에 도시되어 있다. 예를 들어, 서브이미지(5) 내 일련번호가 7인 직사각형 이미지 블록은 
의 크기 정보를 갖는 코딩 유닛이고, 서브이미지(5) 내의 직사각형 이미지 블록의 위치 정보는 
이다. 서브이미지(5)의 위치 정보
와 관련하여, 파노라마 내의 코딩 유닛(7)의 오프셋은 
으로 결정될 수 있다.
적절한 구현예에서, 서브이미지 내 기본 코딩을 결정하는 방식이 도 12에 도시되어 있다. 서브이미지의 경계는 실선으로 표현되고 코딩 유닛의 경계는 점선으로 표현되어 있다. 예를 들어, 파노라마 내의 모든 코딩 유닛이 주어진 순서로 넘버링될 수 있으며, 파노라마 내 코딩 유닛들의 위치 정보는 인코딩을 통해 결정된다.
적절한 구현예에서, 파노라마 내 서브이미지의 크기 정보 및 서브이미지의 위치 정보는 인코딩되어 디코더로 전송될 필요가 있다. 크기 정보 및 위치 정보는 보조 정보라고도 한다. 적절한 구현예에서, 서브이미지 내의 기본 코딩 유닛 또는 코딩 유닛의 크기 정보 및 위치 정보는 보조 정보로 사용되며, 서브이미지의 크기 정보 및 위치 정보를 나타낸다. 예를 들어, 서브이미지의 위치 정보는 서브이미지의 좌측 상단 모서리에 있는 코딩 유닛의 위치 정보일 수 있으며, 서브이미지의 크기 정보는 서브이미지 내 코딩 유닛이 차지하는 행과 열의 양으로 결정될 수 있다.
고해상도의 이미지 비트스트림을 생성하는 방법은 단계(S602)에서의 임의의 비디오 또는 이미지 압축 및 인코딩 방법일 수 있다. S602와 동일한 방법이 이용될 수도 있고, 또는 S602와 다른 방법이 사용될 수도 있으며, 제한은 없다.
예를 들어, 적절한 구현예에서, 적어도 하나의 서브이미지를 포함하는 고해상도의 이미지 비트스트림을 생성하기 위해 예측 코딩 방법이 사용된다.
S6031. 저해상도의 재구성된 이미지 내의 적어도 하나의 서브이미지에 대응하는 저해상도의 서브이미지의 크기 정보 및 저해상도의 재구성된 이미지 내의 저해상도의 서브이미지의 위치 정보를 결정하기 위해, 해상도 비에 기초하여 적어도 하나의 서브이미지의 보조 정보에 대한 맵핑을 수행한다.
구체적으로, 서브이미지(
)의 위치 정보 및 크기 정보에 기초하여 저해상도 파노라마(
)의 인코딩된 재구성된 이미지(
) 내의 서브이미지(
)의 대응하는 이미지 영역(
)이 얻어진다. 서브이미지(
)의 오프셋
및 크기
가 단계(S601)에서 다운샘플링 배율에 기초하여 감소되어, 
내의 
의 오프셋
및 크기
를 구하여 
을 얻을 수 있다.
S6032. 해상도 비에 기초하여 저해상도 서브이미지에 업샘플링을 수행하여 적어도 하나의 서브이미지의 예측변수(predictor)를 얻는다.
구체적으로는, 현재의 서브이미지(
)의 해상도와 같은 해상도를 갖는 예상 서브이미지(
)를 얻기 위해 에 대해 해상도 높이기 동작이 수행된다. 예를 들어, 이미지 업샘플링 방법이 해상도 높이기 동작을 구현하는데 사용될 수 있다. 이미지 다운샘플링 프로세스와 유사하게, 임의의 보간 필터를 사용하여 업샘플링 동작이 수행될 수 있다. 예를 들어, 이중 선형 필터 및 쌍입방 필터와 같은 다양한 보간 필터가 사용될 수 있으며, 다시 설명하지는 않는다.
S6033. 예측변수와 적어도 하나의 서브이미지의 본래의 픽셀 값을 구하고, 나머지 값을 인코딩하여 고해상도의 이미지 비트스트림을 생성한다.
구체적으로, 예측 서브이미지(
)를 사용하여 서브이미지(
)에 대해 예측 코딩을 수행하여 
의 압축된 비트스트림을 생성한다. 예측 서브이미지(
)는 
내 서브이미지(
)의 대응하는 이미지 영역에 대해 업샘플링을 수행하여 구해지기 때문에, 
내의 픽셀 값은 
내의 대응하는 위치 내의 픽셀 값의 예측변수로서 직접 사용될 수 있으며, 예측변수와 서브이미지(
)의 본래 픽셀 값 사이의 차를 유도하여, 
내의 모든 픽셀들의 나머지 값을 구하고, 그 후 이들 나머지 값을 인코딩하여 압축된 비트스트림, 즉, 
의 고해상도의 이미지 비트스트림을 생성한다. 예측 코딩 동작은 대체로 서브이미지(
)를 사용하여 수행될 수도 있고, 또는 예측 코딩 동작은 코딩 유닛의 단위로 서브이미지(
) 내 각 코딩 유닛에 대해 선택적으로 수행될 수도 있다. 적절한 구현예에서, 예측 코딩은, 또한, 코딩 유닛 내 적어도 하나의 기본 코딩 유닛에 대해 선택적으로 수행될 수 있다. 적절한 구현예에서, 예측 코딩은, 또한, 기본 코딩 유닛 내의 적어도 하나의 예측 유닛에 대해 선택적으로 수행될 수 있다.
S604. 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩한다.
적절한 구현예에서, 보조 정보가 파노라마의 좌측 상단 모서리의 픽셀에 대한 서브이미지의 좌측 상단 모서리의 픽셀의 위치 오프셋과, 서브이미지의 폭 및 높이, 예컨대, 도 9에 도시된 서브이미지의 폭과 높이
및 오프셋
, 또는 파노라마에서 미리설정된 배치 내에서의 서브이미지의 일련번호, 예컨대, 도 10에 도시된 서브이미지의 일련번호(7)를 포함할 경우, 이 유형의 보조 정보는 제1 보조 정보인 것으로 추정된다. 제1 보조 정보는, 보조 정보에 의해 표현되며 고해상도의 이미지 비트스트림 내에 있는 서브이미지의 제1 슬라이스의 슬라이스 헤더로 인코딩되어지고, 디코더로 전송된다. 제1 보조 정보는 또한 서브이미지를 나타내는 다른 비트스트림 위치 내에서 인코딩될 수도 있으며, 제한은 없다는 점을 이해해야 한다.
적절한 구현예에서, 보조 정보가 파노라마가 서브이미지로 분할되는 모드를 포함할 경우, 이 유형의 보조 정보는 제2 보조 정보인 것으로 추정된다. 분할 모드는 파노라마를 서브이미지들로 분할하는 방법을 나타내는데 사용된다. 예를 들어, 분할 모드는 파노라마를 도 7에 도시된 동일한 크기의 서브이미지, 또는 도 8(a)에 도시된 동일하지 않은 크기의 서브이미지, 또는 도 8(b)에 도시된 보다 유연한 분할 방식으로 분할하는 것일 수 있다. 구체적으로, 분할 모드는 각 경도 및 위도 라인의 시작점 및 종점과 길이를 포함할 수도 있고, 또는 미리 설정된 분할 모드의 색인 번호일 수도 있으며, 제한은 없다. 제2 보조 정보는 고해상도의 이미지 비트스트림의 픽처 파라미터 세트로 인코딩되어진다. 제2 보조 정보는 전체적인 이미지 속성을 나타내는 다른 비트스트림 위치에서 인코딩될 수도 있으며, 제한은 없다.
디코더는 파노라마의 좌측 상단 모서리 픽셀에 대한 서브이미지의 좌측 상단 모서리 픽셀의 위치 오프셋 및 서브이미지의 폭과 높이를 디코딩함으로써 서브이미지를 결정할 수도 있고 또는 파노라마 내의 미리 설정된 배열 순서로 서브이미지의 일련번호 및 파노라마가 서브이미지로 분할되는 모드를 디코딩함으로써 서브이미지를 결정할 수도 있음을 이해해야 한다. 따라서, 제1 보조 정보 및 제2 보조 정보는 개별적으로 사용되거나 또는 다른 적절한 구현예에서는 함께 사용될 수 있다.
본 발명의 이 실시예에서, 인코딩될 파노라마에서는 적어도 하나의 서브이미지가 고해상도의 이미지 비트스트림으로 선택적으로 인코딩됨을 이해해야 한다. 모든 서브이미지가 특정 실시예에 따라 인코딩될 필요는 없다.
본 발명의 이 실시예에 따르면, 이미지의 일부분이 선택적으로 인코딩되고, 이미지의 인코딩된 부분의 보조 정보가 비트스트림으로 인코딩되어지며, 따라서 인코딩되고 저장될 필요가 있는 데이터가 감소하여 인코딩 효율이 향상되고 전력 소비가 저감된다. 또한, 저해상도 이미지가 고해상도 이미지를 인코딩하기 위한 선행 정보로서 사용되어, 고해상도 이미지의 인코딩 효율이 향상된다.
도 13에 도시된 바와 같이, 본 발명은 비디오 이미지 디코딩 방법을 제공한다.
본 발명의 실시예들에 제공된 비디오 이미지 인코딩 방법에 기술된 바와 같이, 인코딩될 이미지 내의 모든 서브이미지가 인코딩되어 디코더로 전송될 필요가 없다. 적절한 구현예에서, 인코더에 의해 선택적으로 인코딩되어 전송되는 모든 서브이미지 비트스트림이 디코더로 전송될 필요는 없다. 예를 들어, 사용자의 현재 시야와 관련된 서브이미지 비트스트림만 디코더로 전송될 수도 있다. 적절한 실시예에서, 디코더는 모든 수신된 서브이미지 비트스트림을 디코드할 필요는 없다. 예를 들어, 디코딩 능력 또는 전력 소비가 제한되는 경우, 디코더는 수신된 서브이미지 비트스트림 중 일부를 디코딩하도록 선택할 수 있다. 디코더가 재구성한 이미지 안에 있고 서브이미지 비트스트림을 디코딩함으로써 디코더에 의해 생성되는 서브이미지는 제1 유형의 서브이미지이고, 제1 유형의 서브이미지 외의 디코더가 재구성하는 이미지 내의 이미지 부분은 제2 유형의 서브이미지를 포함한다고 가정한다. 디코더에 의해 재구성될 이미지는 재구성될 본래의 해상도 파노라마이다. 서브이미지 비트스트림은 서브이미지에 대해 본래의 해상도 인코딩을 수행함으로써 인코더에 의해 생성되고, 인코더에 의해 생성되는, 저해상도 버전의 인코딩된 비트스트림과 비교하여, 서브이미지 비트스트림을 고해상도의 이미지 비트스트림이라고도 한다.
S1301. 고해상도의 이미지 비트스트림을 파싱하여, 디코더가 재구성할 이미지 내에 제1 유형의 서브이미지를 생성하고, 서브이미지의 보조 정보를 얻는다.
단계(S603)에 대응하여, 인코딩 방법에 대응하는 디코딩 방법을 이용하여 고해상도의 이미지 비트스트림이 파싱되어, 디코딩될 파노라마 내에 제1 유형의 서브이미지를 생성하고, 고해상도의 이미지 비트스트림을 파싱함으로써 제1 유형의 서브이미지의 보조 정보가 얻어진다.
예를 들어, 적절한 구현예에서, 고해상도의 이미지 비트스트림을 파싱하기 위해 예측 코딩 방법이 이용되어, 제1 유형의 서브이미지의 재구성된 이미지를 생성한다.
S13011. 고해상도의 이미지 비트스트림을 파싱하여 디코더가 재구성할 이미지 내의 제1 유형의 서브이미지의 나머지 값 및 보조 정보를 얻는다.
단계(S6033)에 대응하여, 서브이미지의 나머지 값은 고해상도의 이미지 비트스트림을 분석함으로써 얻어질 수 있다. 단계(S604)에 대응하여, 보조 정보에 대응하는 비트스트림 위치에서의 파싱을 통해 서브이미지의 보조 정보가 얻어지고, 이 보조 정보는 파노라마 내의 서브이미지의 위치 정보 및 서브이미지의 크기 정보를 결정하는데 사용될 수 있다. 특정 동작 프로세스는 단계들(S6033 및 S604)에서의 인코딩 프로세스에 대응하며, 자세한 내용은 다시 설명하지 않는다.
S13012. 해상도 비에 기초하여 제1 유형의 서브이미지의 보조 정보에 대한 맵핑을 수행하여, 저해상도의 재구성될 이미지 내의 제1 유형의 서브이미지에 대응하는 제1 유형의 저해상도의 서브이미지의 크기 정보 및 저해상도의 재구성될 이미지 내의 제1 유형의 저해상도의 서브이미지의 위치 정보를 결정한다.
디코더가 해상도 비, 즉, 다운샘플링 배율을 알게 되는 방식은 단계(S602)에서 결정된다. 인코더에 대응하여, 일부 적절한 구현예에서, 인코더 및 디코더는 인코더와 디코더 사이의 인코딩 또는 정보 전송 없이 다운샘플링 배율에 합의한다. 적절한 구현예에서, 인코딩된 다운샘플링 배율은 전송 후에 디코딩된다. 예를 들어, 다운샘플링 배율은 저해상도의 비트스트림 내의 제1 슬라이스의 슬라이스 헤더에 대응하는 위치 또는 픽처 파라미터 세트의 위치에서의 파싱을 통해 얻어질 수 있다. 적절한 구현예에서, 인코딩될 이미지의 해상도 및 저해상도 이미지의 해상도는 제각기의 비트스트림 인코딩 프로세스에서 고해상도의 이미지 비트스트림 및 저해상도의 이미지 비트스트림으로 각각 인코딩되고, 디코더는 고해상도의 이미지 비트스트림 및 저해상도의 이미지 비트스트림을 개별적으로 파싱하고 파싱을 통해 얻어지는 고해상도 이미지의 해상도 및 저해상도 이미지의 해상도를 비교함으로써 다운샘플링 배율을 얻을 수 있다.
해상도 비가 얻어진 후, 저해상도 이미지 내의 서브이미지에 대응하는 위치 정보와 크기 정보, 즉, 제1 유형의 저해상도 서브이미지의 위치 정보 및 크기 정보는 단계(S6031)에서의 방법을 참조하여 얻어질 수 있으며, 세부사항은 다시 설명하지 않는다.
S13013. 저해상도의 이미지 비트스트림을 파싱하여 제1 유형의 저해상도 서브이미지를 생성한다.
단계(S602)에 대응하여, 인코딩 방법에 대응하는 디코딩 방법을 이용하여 저해상도의 이미지 비트스트림이 파싱되고, 단계(S13012)에서 결정되는 제1 유형의 저해상도 서브이미지의 크기 및 위치 정보에 기초하여 제1 유형의 저해상도 서브이미지가 생성된다. 특정 구현 방법은 단계(S602)와 유사하며, 세부사항은 다시 설명하지 않는다.
S13014. 해상도 비에 기초하여 제1 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여 제1 유형의 서브이미지의 예측변수를 얻는다.
특정 구현 방법은 단계(S6032)와 유사하며, 세부사항은 다시 설명하지 않는다.
S13015. 제1 유형의 서브이미지의 나머지 값 및 예측변수에 기초하여 제1 유형의 서브이미지의 재구성된 이미지를 생성한다.
구체적으로, 단계(S13011)에서의 파싱을 통해 얻어지는 제1 유형의 서브이미지의 나머지 값이 단계(S13014)에서의 저해상도 서브이미지에 대해 업샘플링을 수행함으로써 얻어진 예측변수에 더해져서 제1 유형의 서브이미지의 재구성된 이미지를 얻는다.
S1302. 디코더에 의해 재구성되는 완전한 이미지가 제1 유형의 서브이미지의 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성한다.
전술한 바와 같이, 보조 정보는 디코더가 재구성할 이미지 내의 제1 유형의 서브이미지의 위치 정보 및 크기 정보를 나타내고, 제1 유형의 서브이미지 및 제2 유형의 서브이미지는 함께 디코딩될 파노라마를 구성한다.
제1 유형의 서브이미지의 위치 정보 및 크기 정보는 보조 정보에 기초하여 얻어질 수 있다. 고해상도의 이미지 비트스트림이 수신되고 디코더에 의해 파싱된 후에, 재구성될 파노라마의 완전한 이미지가 제1 유형의 서브이미지의 모든 재구성된 이미지에 기초하여 얻어질 수 없으면, 이는 재구성될 파노라마가 제2 유형의 서브이미지를 더 포함함을 의미하며, 제1 유형의 서브이미지 이외의 픽셀 세트의 위치가 제2 유형의 서브이미지의 위치로 결정될 수 있다.
이 경우, 단계(S13012 내지 13014)와 유사하게, 저해상도 비트스트림이 파싱되어 저해상도 디코더가 재구성할 이미지의 대응 위치 내의 제2 유형의 서브이미지의 제2 유형의 저해상도 서브이미지를 얻고, 업샘플링 동작이 동일한 해상도 비에 기초하여 제2 유형의 저해상도 서브이미지에 대해 수행되어 제2 유형의 서브이미지의 재구성된 이미지를 얻는다.
S1303. 제1 유형의 서브이미지의 재구성된 이미지 및 제2 유형의 서브이미지의 재구성된 이미지를 보조 정보 내에 제공된 위치 정보에 기초하여 스플라이싱하여, 디코더가 재구성한 이미지를 생성한다.
본 발명의 이 실시예에 따르면, 이미지의 일부분이 선택적으로 인코딩되고, 이미지의 인코딩된 부분의 보조 정보가 비트스트림으로 인코딩되어지며, 디코더에서, 업샘플링을 통해 얻어진 저해상도 이미지가 디코더에 의해 재구성될 이미지 내 아직 생성되지 않은 재구성된 이미지 부분을 채우는데 사용되며, 따라서 인코딩되어 저장될 필요가 있는 데이터가 감소하여, 인코딩 효율이 향상되고 전력 소비가 저감된다. 또한, 저해상도 이미지는 고해상도 이미지를 인코딩하기 위한 선행 정보로서 사용되어, 고해상도 이미지의 인코딩 효율이 향상된다.
적절한 구현예에서, 디코더는 전체 이미지에 기초하여 저해상도 비트스트림을 파싱하여, 저해상도의 재구성된 이미지를 생성할 수 있다. 구체적으로, 비디오 이미지 디코딩 방법은 다음과 같을 수 있다.
S1201. 저해상도의 이미지 비트스트림을 파싱하여, 저해상도의 재구성된 이미지를 생성한다.
S1202. 고해상도의 이미지 비트스트림을 파싱하여, 디코더에 의해 재구성될 이미지 내의 제1 유형의 서브이미지를 생성하고, 서브이미지의 보조 정보를 얻는다.
S1202는 다음 단계들을 포함한다.
S12021. 고해상도의 이미지 비트스트림을 파싱하여, 디코더에 의해 재구성될 이미지 내의 제1 유형의 서브이미지의 나머지 값 및 보조 정보를 얻는다.
S12022. 해상도에 기초하여 제1 유형의 서브이미지의 보조 정보에 대해 맵핑을 수행하여, 저해상도의 재구성된 이미지 내의 제1 유형의 서브이미지에 대응하는 제1 유형의 저해상도 서브이미지의 크기 정보 및 저해상도의 재구성된 이미지 내의 제1 유형의 저해상도 서브이미지의 위치 정보를 결정한다.
S12023. 해상도 비에 기초하여 제1 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여, 제1 유형의 서브이미지의 예측변수를 얻는다.
S12024. 제1 유형의 서브이미지의 나머지 값 및 예측변수에 기초하여 제1 유형의 서브이미지의 재구성된 이미지를 생성한다.
S1203. 디코더에 재구성되는 완전한 이미지가 제1 유형의 서브이미지의 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 재구성된 이미지에 기초하여 제2 유형의 서브이미지의 재구성된 이미지를 생성한다.
S1204. 보조 정보에서 제공된 위치 정보에 기초하여 제1 유형의 서브이미지의 재구성된 이미지 및 제2 유형의 서브이미지의 개구성된 이미지를 스플라이싱하여 디코더에 의해 개구성되는 이미지를 생성한다.
적절한 구현예에서, 후속 단계에서 사용하도록, 단계(S1201) 후에 생성된 저해상도의 재구성된 이미지에 대해 업샘플링이 수행될 수 있다.
본 발명의 이 실시예에 따르면, 이미지의 일부분이 선택적으로 인코딩되고, 이미지의 인코딩된 부분의 보조 정보가 비트스트림으로 인코딩되어지며, 업샘플링을 통해 얻어진 저해상도 이미지가 디코더에 의해 재구성될 이미지 내 아직 생성되지 않은 재구성된 이미지 부분을 채우는데 사용되며, 따라서 인코딩되어 저장될 필요가 있는 데이터가 감소하여, 인코딩 효율이 향상되고 전력 소비가 저감된다. 또한, 저해상도 이미지는 고해상도 이미지를 인코딩하기 위한 선행 정보로서 사용되어, 고해상도 이미지의 인코딩 효율이 향상된다.
도 14에 도시된 바와 같이, 본 발명의 실시예는, 인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하도록 구성된 제1 인코딩 모듈(1401) - 서브이미지는 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하도록 구성된 제2 인코딩 모듈(1402) - 보조 정보는 인코딩될 이미지 내의 서브이미지의 크기 정보 및 서브이미지의 위치 정보를 나타냄 - 을 포함하는 비디오 이미지 인코딩 장치(1400)를 제공한다. 제2 인코딩 모듈(1402)은 구체적으로 단계(S604)를 수행할 수 있다.
제1 인코딩 모듈(1401)은, 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하도록 구성된 다운샘플링 모듈(1403) - 다운 샘플링 모듈(1403)은 구체적으로는 단계(S601)를 수행할 수 있음 - 과, 저해상도 이미지를 인코딩하여 저해상도의 이미지 비트스트림 및 저해상도의 재구성된 이미지를 생성하도록 구성된 제3 인코딩 모듈(1404) - 제3 인코딩 모듈(1404)은 구체적으로는 단계(S602)를 수행할 수 있음 - 과, 저해상도의 재구성된 이미지, 인코딩될 이미지와 저해상도 이미지 사이의 해상도 비, 및 적어도 하나의 서브이미지의 보조 정보에 기초하여 적어도 하나의 서브이미지의 예측변수(predictor)를 얻도록 구성된 예측 모듈(1405)과, 적어도 하나의 서브이미지의 원래의 픽셀 값 및 예측변수에 기초하여 적어도 하나의 서브이미지의 나머지 값을 얻고, 나머지 값을 인코딩하여 고해상도의 이미지 비트스트림을 생성하도록 구성된 제4 인코딩 모듈(1406) - 제4 인코딩 모듈(1404)은 구체적으로는 단계(S6033)를 수행할 수 있음 - 을 포함한다.
예측 모듈(1405)은, 해상도 비에 기초하여 적어도 하나의 서브이미지의 보조 정보에 대한 맵핑을 수행하여, 저해상도의 재구성된 이미지 내의 적어도 하나의 서브이미지에 대응하는 저해상도 서브이미지의 크기 정보와, 저해상도의 재구성된 이미지 내의 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 결정 모듈(1407) - 결정 모듈(1407)은 구체적으로는 단계(S6031)를 수행할 수 있음 - 과, 해상도 비에 기초하여 저해상도 서브이미지에 대해 업샘플링을 수행하여 적어도 하나의 서브이미지의 예측변수를 얻도록 구성된 업샘플링 모듈(1408) - 업샘플링 모듈(1408)은 구체적으로는 단계(S6032)를 수행할 수 있음 - 을 포함한다.
본 발명의 이 실시예에 따르면, 이미지의 일부분이 선택적으로 인코딩되고, 이미지의 인코딩된 부분의 보조 정보가 비트스트림으로 인코딩되어, 인코딩되어 저장될 필요가 있는 데이터가 감소하며, 인코딩 효율이 향상되고, 전력 소비가 저감된다. 또한, 저해상도의 이미지가 고해상도 이미지를 인코딩하기 위한 사전 정보로서 사용되어, 고해상도 이미지의 인코딩 효율이 향상된다.
도 15에 도시된 바와 같이, 본 발명의 일 실시예는, 고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 제1 유형의 서브이미지의 보조 정보를 생성하도록 구성된 제1 파싱 모듈(1501) - 보조 정보는 디코더에 의해 재구성될 이미지 내의 서브이미지의 위치 정보 및 서브이미지의 크기 정보를 나타내고, 서브이미지는 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 과, 디코더에 의해 재구성되는 완전한 이미지가 제1 유형의 서브이미지의 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하도록 구성된 제2 파싱 모듈(1502) - 제2 유형의 서브이미지는 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 과, 보조 정보에 기초하여, 제1 유형의 서브이미지의 재구성된 이미지 및 제2 유형의 서브이미지의 재구성된 이미지를 스플라이싱하여, 디코더에 의해 재구성되는 이미지를 생성하도록 구성된 스플라이싱 모듈(1503) - 스플라이싱 모듈(1503)은 구체적으로는 단계(S1303)를 수행할 수 있음 - 을 포함하는 비디오 이미지 디코딩 장치(1500)를 제공한다.
제1 파싱 모듈(1501)은, 고해상도의 이미지 비트스트림을 파싱하여, 디코더에 의해 재구성될 이미지 내의 제1 유형의 서브이미지의 나머지 값 및 보조 정보를 얻도록 구성된 제3 파싱 모듈(1504) - 제3 파싱 모듈(1504)은 구체적으로는 단계(S13011)를 수행할 수 있음 - 과, 저해상도의 이미지 비트스트림, 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비, 및 제1 유형의 서브이미지의 보조 정보에 기초하여 제1 유형의 서브이미지의 예측변수를 얻도록 구성된 예측 모듈(1505)과, 제1 유형의 서브이미지의 나머지 값 및 예측변수에 기초하여 제1 유형의 서브이미지의 재구성된 이미지를 생성하도록 구성된 재구성 모듈(1506) - 재구성 모듈(1506)은 구체적으로는 단계(S13015)를 수행할 수 있음 - 을 포함한다.
예측 모듈(1505)은, 해상도 비에 기초하여 제1 유형의 서브이미지의 보조 정보에 대해 맵핑을 수행하여, 저해상도의 재구성될 이미지 내의 제1 유형의 서브이미지에 대응하는 제1 유형의 저해상도 서브이미지의 크기 정보 및 저해상도의 재구성될 이미지 내의 제1 유형의 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 제1 결정 모듈(1507) - 제1 결정 모듈(1507)은 구체적으로는 단계(S13012)를 수행할 수 있음 - 과, 저해상도의 이미지 비트스트림을 파싱하여 제1 유형의 저해상도 서브이미지를 생성하도록 구성된 제4 파싱 모듈(1508) - 제4 파싱 모듈(1508)은 구체적으로는 단계(S13013)를 수행할 수 있음 - 과, 해상도 비에 기초하여 제1 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여 제1 유형의 서브이미지의 예측변수를 얻도록 구성된 제1 업샘플링 모듈(1509) - 제1 업샘플링 모듈(1509)은 구체적으로는 단계(S13014)를 수행할 수 있음 - 을 포함한다.
제2 파싱 모듈(1502)은, 제1 유형의 서브이미지의 보조 정보와, 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비에 기초하여, 저해상도의 재구성될 이미지 내의 제2 유형의 서브이미지에 대응하는 제2 유형의 저해상도 서브이미지의 크기 정보 및 저해상도의 재구성될 이미지 내의 제2 유형의 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 제2 결정 모듈(1510) - 제2 결정 모듈(1510)은 구체적으로는 단계(S1302)를 수행할 수 있음 - 과, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 저해상도 서브이미지를 생성하도록 구성된 제5 파싱 모듈(1511) - 제5 파싱 모듈(1510)은 구체적으로는 단계(S1302)를 수행할 수 있음 - 과, 해상도 비에 기초하여 제2 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여, 제2 유형의 서브이미지의 재구성된 이미지를 생성하도록 구성된 제2 업샘플링 모듈(1512) - 제2 업샘플링 모듈(1510)은 구체적으로는 단계(S1302)를 수행할 수 있음 - 을 포함한다.
본 발명의 이 실시예에 따르면, 이미지의 일부분이 선택적으로 인코딩되고, 이미지의 인코딩된 부분의 보조 정보가 비트스트림으로 인코딩되며, 디코더에서, 업샘플링을 통해 얻어진 저해상도 이미지가 디코더에 의해 재구성될 이미지 내의 아직 생성되지 않은 재구성된 이미지를 채우는데 사용되어, 인코딩되어 저장될 필요가 있는 데이터가 감소하며, 인코딩 효율이 향상되고, 전력 소비가 저감된다. 또한, 저해상도의 이미지가 고해상도 이미지를 인코딩하기 위한 사전 정보로서 사용되어, 고해상도 이미지의 인코딩 효율이 향상된다.
도 16에 도시된 바와 같이, 본 발명의 일 실시예는 메모리(1601) 및 메모리에 연결된 프로세서(1602)를 포함하는 비디오 이미지 인코딩 장치(1600)를 제공한다. 메모리는 코드 및 명령어를 저장하도록 구성된다. 프로세서는 코드 및 명령어에 따라 단계들을 수행하도록 구성되되, 이들 단계들은 인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계 - 서브이미지는 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하는 단계 - 보조 정보는 인코딩될 이미지 내의 서브이미지의 크기 정보 및 서브이미지의 위치 정보를 나타냄 - 를 포함한다. 프로세서는 구체적으로, 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하고, 저해상도 이미지를 인코딩하여 저해상도의 이미지 비트스트림 및 저해상도의 재구성된 이미지를 생성하며, 저해상도의 재구성된 이미지, 인코딩될 이미지와 저해상도 이미지 사이의 해상도 비, 및 적어도 하나의 서브이미지의 보조 정보에 기초하여 적어도 하나의 서브이미지의 예측변수를 얻고, 적어도 하나의 서브이미지의 원래의 픽셀 값 및 예측변수에 기초하여 적어도 하나의 서브이미지의 나머지 값을 얻고, 나머지 값을 인코딩하여 고해상도의 이미지 비트스트림을 생성하도록 구성된다.
도 17에 도시된 바와 같이, 본 발명의 일 실시예는 메모리(1701) 및 메모리에 연결된 프로세서(1702)를 포함하는 비디오 이미지 디코딩 장치(1700)를 제공한다. 메모리는 코드 및 명령어를 저장하도록 구성된다. 프로세서는 코드 및 명령어에 따라 단계들을 수행하도록 구성되되, 이들 단계들은, 고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 제1 유형의 서브이미지의 보조 정보를 생성하는 단계 - 보조 정보는 디코더에 의해 재구성될 이미지 내의 서브이미지의 위치 정보 및 서브이미지의 크기 정보를 나타내고, 서브이미지는 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 와, 디코더에 의해 재구성되는 완전한 이미지가 제1 유형의 서브이미지의 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계 - 제2 유형의 서브이미지는 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 와, 보조 정보에 기초하여, 제1 유형의 서브이미지의 재구성된 이미지 및 제2 유형의 서브이미지의 재구성된 이미지를 스플라이싱하여, 디코더에 의해 재구성되는 이미지를 생성하는 단계를 포함한다.
본 발명의 이 실시예에 따르면, 이미지의 일부분이 선택적으로 인코딩되고, 이미지의 인코딩된 부분의 보조 정보가 비트스트림으로 인코딩되며, 디코더에서, 업샘플링을 통해 얻어진 저해상도 이미지가 디코더에 의해 재구성될 이미지 내의 아직 생성되지 않은 재구성 이미지 부분을 채우는데 사용되어, 인코딩되어 저장될 필요가 있는 데이터가 감소하며, 인코딩 효율이 향상되고, 전력 소비가 저감된다. 또한, 저해상도의 이미지가 고해상도 이미지를 인코딩하기 위한 사전 정보로서 사용되어, 고해상도 이미지의 인코딩 효율이 향상된다.
설명을 편리하고 간단히 하기 위해, 전술한 기능 모듈들 각각이 설명을 위한 예로서 사용된다는 점을 당업자는 분명히 이해할 수 있을 것이다. 실제로는 전술 한 기능들이 다른 기능 모듈에 할당될 수 있으며 요구에 기초하여 구현될 수 있는데, 즉, 장치의 내부 구조가 전술한 기능들 중 일부 또는 전부를 구현하도록 다른 기능 모듈들로 분할된다. 전술한 시스템, 장치 및 유닛의 상세한 작업 프로세스에 대해서는, 전술한 방법 실시예에서의 대응하는 프로세스를 참조하고, 상세한 설명은 여기서 다시 설명하지 않는다.
본 출원에서 제공된 몇몇 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 설명된 장치 실시예는 단지 일례일 뿐이다. 예를 들어, 모듈 또는 유닛 구분은 단지 논리적인 기능 구분일 뿐이며 실제 구현에서는 다른 구분일 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 결합되거나 다른 시스템에 통합되거나, 또는 일부 특징들이 무시되거나 수행되지 않을 수도 있다. 또한, 디스플레이되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통해 구현될 수 있다. 장치들 또는 유닛들 간의 간접적 결합 또는 통신 연결은 전자 또는 다른 형태로 구현될 수있다.
별개의 부분들로서 설명된 유닛들은 물리적으로 분리될 수도 있고 그렇지 않을 수도 있으며, 유닛으로서 디스플레이된 부분들이 물리적 유닛일 수도 있고 아닐 수도 있으며, 또는 한 위치에 위치될 수도 있고, 또는 복수의 네트워크 유닛 상에 분산될 수도 있다. 유닛들 중 일부 또는 전부는 실시예의 해결책의 목적을 달성하기 위해 실제 요건에 기초하여 선택될 수 있다.
또한, 본 발명의 실시예에 있어서의 기능 유닛들이 하나의 처리 유닛에 통합될 수도 있고, 또는 각각의 유닛이 물리적으로 단독으로 존재할 수도 있으며, 또는 2 이상의 유닛이 하나의 유닛으로 통합될 수도 있다. 통합 유닛은 소프트웨어 기능 유닛의 형태로 구현될 수 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 통합 유닛은 컴퓨터 판독 가능 저장 매체에 저장될 수있다. 이러한 이해에 기초하여, 기술적 해결책들의 전부 또는 일부가 소프트웨어 제품의 형태로 구현될 수 있다. 소프트웨어 제품은 저장 매체에 저장되며, 컴퓨터 장치(개인용 컴퓨터, 서버 또는 네트워크 장치일 수 있음) 또는 프로세서로 하여금 본 발명의 실시예에 기술된 방법의 모든 단계 또는 일부 단계를 수행하도록 지시는 몇몇 명령어를 포함한다. 기억 매체는 비 일시적(non-transitory) 매체이며, 플래시 메모리, 탈착식 하드 디스크, 판독 전용 메모리, 랜덤 액세스 메모리, 자기 디스크 또는 광 디스크와 같이, 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
전술한 내용은 단지 본 발명의 예시적인 실시예에 불과하다. 당업자는 본 발명의 사상 및 범위를 벗어나지 않고 본 발명에 대한 다양한 수정 및 변형을 행할 수 있다. 당업자는 이들 실시예들 또는 다른 실시예의 특징들이 충돌하지 않는 조건 하에서 새로운 실시예로 결합될 수 있다는 것을 이해할 수 있을 것이다.
Claims (39)
- 비디오 이미지 인코딩 방법으로서,
인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계 - 상기 서브이미지는 상기 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 상기 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와,
상기 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하는 단계 - 상기 보조 정보는 상기 인코딩될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타냄 - 를 포함하는
비디오 이미지 인코딩 방법.
- 제1항에 있어서,
상기 인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계는,
상기 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하는 단계와,
상기 저해상도 이미지를 인코딩하여 저해상도의 재구성된 이미지를 생성하는 단계와,
상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수(predictor)를 얻는 단계와,
상기 적어도 하나의 서브이미지의 원래의(original) 픽셀 값 및 상기 예측변수에 기초하여 상기 적어도 하나의 서브이미지의 나머지(residual) 값을 얻고, 상기 나머지 값을 인코딩하여 상기 고해상도의 이미지 비트스트림을 생성하는 단계를 포함하는
비디오 이미지 인코딩 방법.
- 제2항에 있어서,
상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수(predictor)를 얻는 단계는,
상기 해상도 비에 기초하여 상기 적어도 하나의 서브이미지의 상기 보조 정보에 대한 맵핑을 수행하여, 상기 저해상도의 재구성된 이미지 내의 상기 적어도 하나의 서브이미지에 대응하는 저해상도 서브이미지의 크기 정보와, 상기 저해상도의 재구성된 이미지 내의 상기 저해상도 서브이미지의 위치 정보를 결정하는 단계와,
상기 해상도 비에 기초하여 상기 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 적어도 하나의 서브이미지의 상기 예측변수를 얻는 단계를 포함하는
비디오 이미지 인코딩 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 인코딩될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 인코딩될 이미지 내에서의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함하는
비디오 이미지 인코딩 방법.
- 제4항에 있어서,
상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반하는
비디오 이미지 인코딩 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 제2 보조 정보는 상기 인코딩될 이미지가 상기 서브이미지로 분할되는 모드를 포함하는
비디오 이미지 인코딩 방법.
- 제6항에 있어서,
상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반하는
비디오 이미지 인코딩 방법.
- 제2항 내지 제7항 중 어느 한 항에 있어서,
상기 해상도 비는 미리 설정된 값인
비디오 이미지 인코딩 방법.
- 제2항 내지 제7항 중 어느 한 항에 있어서,
상기 저해상도 이미지를 인코딩함으로써 저해상도의 이미지 비트스트림이 또한 생성되고,
상기 방법은, 상기 해상도 비를 상기 저해상도의 이미지 비트스트림의 픽처 파라미터 세트 또는 제1 슬라이스의 슬라이스 헤더로 인코딩하는 단계를 더 포함하는
비디오 이미지 인코딩 방법.
- 제2항 내지 제7항 중 어느 한 항에 있어서,
상기 저해상도 이미지를 인코딩함으로써 저해상도의 이미지 비트스트림이 더 생성되고,
상기 방법은,
상기 인코딩될 이미지의 해상도를 상기 고해상도의 이미지 비트스트림으로 인코딩하는 단계와,
상기 저해상도 이미지의 해상도를 상기 저해상도의 이미지 비트스트림으로 인코딩하는 단계를 더 포함하는
비디오 이미지 인코딩 방법.
- 비디오 이미지 디코딩 방법으로서,
고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하는 단계 - 상기 보조 정보는 디코더에 의해 재구성될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타내고, 상기 서브이미지는 상기 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 상기 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 와,
디코더에 의해 재구성되는 완전한 이미지가 상기 제1 유형의 서브이미지의 상기 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계 - 상기 제2 유형의 서브이미지는 상기 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 와,
상기 보조 정보에 기초하여, 상기 제1 유형의 서브이미지의 상기 재구성된 이미지 및 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 스플라이싱하여, 상기 디코더에 의해 재구성되는 이미지를 생성하는 단계를 포함하는
비디오 이미지 디코딩 방법.
- 제11항에 있어서,
상기 고해상도의 이미지 비트스트림을 파싱하여, 상기 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하는 단계는
상기 고해상도의 이미지 비트스트림을 파싱하여, 상기 디코더에 의해 재구성될 이미지 내의 상기 제1 유형의 서브이미지의 나머지 값 및 상기 보조 정보를 얻는 단계와,
상기 저해상도의 이미지 비트스트림, 상기 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비, 및 상기 제1 유형의 서브이미지의 상기 보조 정보에 기초하여 상기 제1 유형의 서브이미지의 예측변수를 얻는 단계와,
상기 제1 유형의 서브이미지의 상기 나머지 값 및 상기 예측변수에 기초하여 상기 제1 유형의 서브이미지의 상기 재구성된 이미지를 생성하는 단계를 포함하는
비디오 이미지 디코딩 방법.
- 제12항에 있어서,
상기 저해상도의 이미지 비트스트림, 상기 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비, 및 상기 제1 유형의 서브이미지의 상기 보조 정보에 기초하여 상기 제1 유형의 서브이미지의 예측변수를 얻는 단계는,
상기 해상도 비에 기초하여 상기 제1 유형의 서브이미지의 상기 보조 정보에 대해 맵핑을 수행하여, 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 서브이미지에 대응하는 제1 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 저해상도 서브이미지의 위치 정보를 결정하는 단계와,
상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제1 유형의 저해상도 서브이미지를 생성하는 단계와,
상기 해상도 비에 기초하여 상기 제1 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 제1 유형의 서브이미지의 예측변수를 얻는 단계를 포함하는
비디오 이미지 디코딩 방법.
- 제11항 내지 제13항 중 어느 한 항에 있어서,
상기 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계는,
상기 제1 유형의 서브이미지의 상기 보조 정보와, 상기 디코더에 의해 재구성될 이미지와 상기 저해상도의 재구성될 이미지 사이의 해상도 비에 기초하여, 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 서브이미지에 대응하는 제2 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 저해상도 서브이미지의 위치 정보를 결정하는 단계와,
상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제2 유형의 저해상도 서브이미지를 생성하는 단계와,
상기 해상도 비에 기초하여 상기 제2 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여, 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 생성하는 단계를 포함하는
비디오 이미지 디코딩 방법.
- 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 디코더에 의해 재구성될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 모서리 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 디코더에 의해 재구성될 이미지 내의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함하는
비디오 이미지 디코딩 방법.
- 제15항에 있어서,
상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반하는
비디오 이미지 디코딩 방법.
- 제11항 내지 제16항 중 어느 한 항에 있어서,
상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 제2 보조 정보는 상기 디코더에 의해 재구성될 이미지가 상기 서브이미지로 분할되는 모드를 포함하는
비디오 이미지 디코딩 방법.
- 제17항에 있어서,
상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반하는
비디오 이미지 디코딩 방법.
- 제12항 내지 제18항 중 어느 한 항에 있어서,
상기 해상도 비는 미리 설정된 값인
비디오 이미지 디코딩 방법.
- 제12항 내지 제18항 중 어느 한 항에 있어서,
제1 슬라이스의 슬라이스 헤더 또는 상기 저해상도의 이미지 비트스트림의 픽처 파라미터 세트를 파싱하여 상기 해상도 비를 얻는 단계를 더 포함하는
비디오 이미지 디코딩 방법.
- 제12항 내지 제18항 중 어느 한 항에 있어서,
상기 고해상도의 이미지 비트스트림을 파싱하여 상기 디코더에 의해 재구성될 이미지의 해상도를 얻는 단계와,
상기 저해상도의 이미지 비트스트림을 파싱하여 상기 저해상도의 재구성될 이미지의 해상도를 얻는 단계를 더 포함하는
비디오 이미지 디코딩 방법.
- 비디오 이미지 인코딩 장치로서,
인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하도록 구성된 제1 인코딩 모듈 - 상기 서브이미지는 상기 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 상기 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와,
상기 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하도록 구성된 제2 인코딩 모듈 - 상기 보조 정보는 상기 인코딩될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타냄 - 을 포함하는
비디오 이미지 인코딩 장치.
- 제22항에 있어서,
상기 제1 인코딩 모듈은,
상기 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하도록 구성된 다운샘플링 모듈과,
상기 저해상도 이미지를 인코딩하여 저해상도의 재구성된 이미지를 생성하도록 구성된 제3 인코딩 모듈과,
상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수(predictor)를 얻도록 구성된 예측 모듈과,
상기 적어도 하나의 서브이미지의 원래의 픽셀 값 및 상기 예측변수에 기초하여 상기 적어도 하나의 서브이미지의 나머지 값을 얻고, 상기 나머지 값을 인코딩하여 상기 고해상도의 이미지 비트스트림을 생성하도록 구성된 제4 인코딩 모듈을 포함하는
비디오 이미지 인코딩 장치.
- 제23항에 있어서,
상기 예측 모듈은,
상기 해상도 비에 기초하여 상기 적어도 하나의 서브이미지의 상기 보조 정보에 대한 맵핑을 수행하여, 상기 저해상도의 재구성된 이미지 내의 상기 적어도 하나의 서브이미지에 대응하는 저해상도 서브이미지의 크기 정보와, 상기 저해상도의 재구성된 이미지 내의 상기 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 결정 모듈과,
상기 해상도 비에 기초하여 상기 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 적어도 하나의 서브이미지의 상기 예측변수를 얻도록 구성된 업샘플링 모듈을 포함하는
비디오 이미지 인코딩 장치.
- 제22항 내지 제24항 중 어느 한 항에 있어서,
상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 인코딩될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 인코딩될 이미지 내에서의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함하는
비디오 이미지 인코딩 장치.
- 제25항에 있어서,
상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반하는
비디오 이미지 인코딩 장치.
- 제22항 내지 제26항 중 어느 한 항에 있어서,
상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 제2 보조 정보는 상기 인코딩될 이미지가 상기 서브이미지로 분할되는 모드를 포함하는
비디오 이미지 인코딩 장치.
- 제27항에 있어서,
상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반하는
비디오 이미지 인코딩 장치.
- 비디오 이미지 디코딩 장치로서,
고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하도록 구성된 제1 파싱 모듈 - 상기 보조 정보는 디코더에 의해 재구성될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타내고, 상기 서브이미지는 상기 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 상기 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 과,
디코더에 의해 재구성되는 완전한 이미지가 상기 제1 유형의 서브이미지의 상기 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하도록 구성된 제2 파싱 모듈 - 상기 제2 유형의 서브이미지는 상기 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 과,
상기 보조 정보에 기초하여, 상기 제1 유형의 서브이미지의 상기 재구성된 이미지 및 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 스플라이싱하여, 상기 디코더에 의해 재구성되는 이미지를 생성하도록 구성된 스플라이싱 모듈을 포함하는
비디오 이미지 디코딩 장치.
- 제29항에 있어서,
상기 제1 파싱 모듈은,
상기 고해상도의 이미지 비트스트림을 파싱하여, 상기 디코더에 의해 재구성될 이미지 내의 상기 제1 유형의 서브이미지의 나머지 값 및 상기 보조 정보를 얻도록 구성된 제3 파싱 모듈과,
상기 저해상도의 이미지 비트스트림, 상기 디코더에 의해 재구성될 이미지와 저해상도의 재구성될 이미지 사이의 해상도 비, 및 상기 제1 유형의 서브이미지의 상기 보조 정보에 기초하여 상기 제1 유형의 서브이미지의 예측변수를 얻도록 구성된 예측 모듈과,
상기 제1 유형의 서브이미지의 상기 나머지 값 및 상기 예측변수에 기초하여 상기 제1 유형의 서브이미지의 상기 재구성된 이미지를 생성하도록 구성된 재구성 모듈을 포함하는
비디오 이미지 디코딩 장치.
- 제30항에 있어서,
상기 예측 모듈은,
상기 해상도 비에 기초하여 상기 제1 유형의 서브이미지의 상기 보조 정보에 대해 맵핑을 수행하여, 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 서브이미지에 대응하는 제1 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제1 유형의 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 제1 결정 모듈과,
상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제1 유형의 저해상도 서브이미지를 생성하도록 구성된 제4 파싱 모듈과,
상기 해상도 비에 기초하여 상기 제1 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여 상기 제1 유형의 서브이미지의 예측변수를 얻도록 구성된 제1 업샘플링 모듈을 포함하는
비디오 이미지 디코딩 장치.
- 제29항 내지 제31항 중 어느 한 항에 있어서,
상기 제2 파싱 모듈은,
상기 제1 유형의 서브이미지의 상기 보조 정보와, 상기 디코더에 의해 재구성될 이미지와 상기 저해상도의 재구성될 이미지 사이의 해상도 비에 기초하여, 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 서브이미지에 대응하는 제2 유형의 저해상도 서브이미지의 크기 정보 및 상기 저해상도의 재구성될 이미지 내의 상기 제2 유형의 저해상도 서브이미지의 위치 정보를 결정하도록 구성된 제2 결정 모듈과,
상기 저해상도의 이미지 비트스트림을 파싱하여 상기 제2 유형의 저해상도 서브이미지를 생성하도록 구성된 제5 파싱 모듈과,
상기 해상도 비에 기초하여 상기 제2 유형의 저해상도 서브이미지에 대해 업샘플링을 수행하여, 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 생성하도록 구성된 제2 업샘플링 모듈을 포함하는
비디오 이미지 디코딩 장치.
- 제29항 내지 제32항 중 어느 한 항에 있어서,
상기 보조 정보는 제1 보조 정보를 포함하고, 상기 제1 보조 정보는 상기 디코더에 의해 재구성될 이미지의 좌측 상단 모서리 픽셀에 대한 상기 서브이미지의 좌측 상단 모서리 픽셀의 위치 오프셋 및 상기 서브이미지의 폭 및 높이, 또는 상기 디코더에 의해 재구성될 이미지 내의 미리 설정된 배열 순서의 상기 서브이미지의 일련번호를 포함하는
비디오 이미지 디코딩 장치.
- 제33항에 있어서,
상기 고해상도의 이미지 비트스트림 내의 상기 서브이미지의 제1 슬라이스의 슬라이스 헤더는 상기 제1 보조 정보를 운반하는
비디오 이미지 디코딩 장치.
- 제29항 내지 제34항 중 어느 한 항에 있어서,
상기 보조 정보는 제2 보조 정보를 더 포함하고, 상기 보조 정보는 상기 디코더에 의해 재구성될 이미지가 상기 서브이미지로 분할되는 모드를 포함하는
비디오 이미지 디코딩 장치.
- 제35항에 있어서,
상기 고해상도의 이미지 비트스트림의 픽처 파라미터 세트는 상기 제2 보조 정보를 운반하는
비디오 이미지 디코딩 장치.
- 비디오 이미지 인코딩 장치로서,
메모리 및 상기 메모리에 연결된 프로세서를 포함하고,
상기 메모리는 코드 및 명령어를 저장하도록 구성되며,
상기 프로세서는 상기 코드 및 상기 명령어에 따라 단계들을 수행하도록 구성되되, 상기 단계들은,
인코딩될 이미지의 적어도 하나의 서브이미지를 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계 - 상기 서브이미지는 상기 인코딩될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이고, 상기 인코딩될 이미지의 서브이미지는 서로 중첩되지 않음 - 와,
상기 적어도 하나의 서브이미지의 보조 정보를 고해상도의 이미지 비트스트림으로 인코딩하는 단계 - 상기 보조 정보는 상기 인코딩될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타냄 - 를 포함하는
비디오 이미지 인코딩 장치.
- 제37항에 있어서,
상기 프로세서는
상기 인코딩될 이미지에 대해 다운샘플링을 수행하여 저해상도 이미지를 생성하고,
상기 저해상도 이미지를 인코딩하여 저해상도의 재구성된 이미지를 생성하며,
상기 저해상도의 재구성된 이미지, 상기 인코딩될 이미지와 상기 저해상도 이미지 사이의 해상도 비, 및 상기 적어도 하나의 서브이미지의 상기 보조 정보에 기초하여 상기 적어도 하나의 서브이미지의 예측변수를 얻고,
상기 적어도 하나의 서브이미지의 원래의 픽셀 값 및 상기 예측변수에 기초하여 상기 적어도 하나의 서브이미지의 나머지 값을 얻고, 상기 나머지 값을 인코딩하여 상기 고해상도의 이미지 비트스트림을 생성하도록 구성되는
비디오 이미지 인코딩 장치.
- 비디오 이미지 디코딩 장치로서,
메모리 및 상기 메모리에 연결된 프로세서를 포함하고,
상기 메모리는 코드 및 명령어를 저장하도록 구성되며,
상기 프로세서는 상기 코드 및 상기 명령어에 따라 단계들을 수행하도록 구성되되, 상기 단계들은,
고해상도의 이미지 비트스트림을 파싱하여, 제1 유형의 서브이미지의 재구성된 이미지 및 상기 제1 유형의 서브이미지의 보조 정보를 생성하는 단계 - 상기 보조 정보는 디코더에 의해 재구성될 이미지 내의 상기 서브이미지의 위치 정보 및 상기 서브이미지의 크기 정보를 나타내고, 상기 서브이미지는 상기 디코더에 의해 재구성될 이미지 내의 임의의 연속적인 영역의 픽셀 세트이며, 상기 디코더에 의해 재구성될 이미지의 서브이미지는 서로 중첩되지 않음 - 와,
디코더에 의해 재구성되는 완전한 이미지가 상기 제1 유형의 서브이미지의 상기 재구성된 이미지에 기초하여 얻어질 수 없는 경우, 저해상도의 이미지 비트스트림을 파싱하여 제2 유형의 서브이미지의 재구성된 이미지를 생성하는 단계 - 상기 제2 유형의 서브이미지는 상기 제1 유형의 서브이미지의 해상도와 동일한 해상도를 가짐 - 와,
상기 보조 정보에 기초하여, 상기 제1 유형의 서브이미지의 상기 재구성된 이미지 및 상기 제2 유형의 서브이미지의 상기 재구성된 이미지를 스플라이싱하여, 상기 디코더에 의해 재구성되는 이미지를 생성하는 단계를 포함하는
비디오 이미지 디코딩 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610430405.8A CN107517385B (zh) | 2016-06-16 | 2016-06-16 | 一种视频图像的编解码方法和装置 |
| CN201610430405.8 | 2016-06-16 | ||
| PCT/CN2017/088024 WO2017215587A1 (zh) | 2016-06-16 | 2017-06-13 | 一种视频图像的编解码方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190015495A true KR20190015495A (ko) | 2019-02-13 |
Family
ID=60664069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197000196A KR20190015495A (ko) | 2016-06-16 | 2017-06-13 | 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20190141323A1 (ko) |
| EP (1) | EP3457697B1 (ko) |
| KR (1) | KR20190015495A (ko) |
| CN (1) | CN107517385B (ko) |
| WO (1) | WO2017215587A1 (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018025660A1 (ja) * | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| CN109996072B (zh) * | 2018-01-03 | 2021-10-15 | 华为技术有限公司 | 视频图像的处理方法及装置 |
| US11431972B2 (en) * | 2018-05-15 | 2022-08-30 | Sharp Kabushiki Kaisha | Image encoding device, encoded stream extraction device, and image decoding device |
| CN110519652B (zh) * | 2018-05-22 | 2021-05-18 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
| CN108769681B (zh) * | 2018-06-20 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 视频编码、解码方法、装置、计算机设备和存储介质 |
| CN110741635A (zh) * | 2018-06-29 | 2020-01-31 | 深圳市大疆创新科技有限公司 | 编码方法、解码方法、编码设备和解码设备 |
| CN118042135A (zh) * | 2019-03-19 | 2024-05-14 | 华为技术有限公司 | 点云编码方法、点云解码方法、装置及存储介质 |
| CN111726598B (zh) * | 2019-03-19 | 2022-09-16 | 浙江大学 | 图像处理方法和装置 |
| CN110232657A (zh) * | 2019-06-17 | 2019-09-13 | 深圳市迅雷网络技术有限公司 | 一种图像缩放方法、装置、设备及介质 |
| JP7188856B2 (ja) * | 2019-06-18 | 2022-12-13 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 動的な画像解像度評価 |
| CN112188180B (zh) * | 2019-07-05 | 2022-04-01 | 浙江大学 | 一种处理子块图像的方法及装置 |
| CN110677690B (zh) * | 2019-09-27 | 2022-07-01 | 腾讯科技（深圳）有限公司 | 视频处理方法和装置、存储介质 |
| BR112022020525A2 (pt) * | 2020-04-13 | 2022-12-06 | Op Solutions Llc | Métodos e sistemas para codificação sem perdas e com perdas combinadas |
| CN111711818B (zh) * | 2020-05-13 | 2022-09-09 | 西安电子科技大学 | 视频图像编码传输方法及其装置 |
| US11259055B2 (en) * | 2020-07-10 | 2022-02-22 | Tencent America LLC | Extended maximum coding unit size |
| US11997399B1 (en) | 2022-03-14 | 2024-05-28 | Amazon Technologies, Inc. | Decoupled captured and external frame rates for an object camera |
| CN117793367B (zh) * | 2024-02-26 | 2024-06-04 | 此芯科技(上海)有限公司 | 一种图像编码方法及*** |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| CN101389021B (zh) * | 2007-09-14 | 2010-12-22 | 华为技术有限公司 | 视频编解码方法及装置 |
| CN101389014B (zh) * | 2007-09-14 | 2010-10-06 | 浙江大学 | 一种基于区域的分辨率可变的视频编解码方法 |
| US8873617B2 (en) * | 2010-07-15 | 2014-10-28 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based on same sized blocks |
| CN102595123B (zh) * | 2011-01-14 | 2014-06-04 | 华为技术有限公司 | 条带编码方法及装置、条带解码方法及装置 |
| EP2490179B1 (en) * | 2011-02-18 | 2018-05-09 | Alcatel Lucent | Method and apparatus for transmitting and receiving a panoramic video stream |
-
2016
- 2016-06-16 CN CN201610430405.8A patent/CN107517385B/zh active Active
-
2017
- 2017-06-13 WO PCT/CN2017/088024 patent/WO2017215587A1/zh unknown
- 2017-06-13 EP EP17812698.3A patent/EP3457697B1/en active Active
- 2017-06-13 KR KR1020197000196A patent/KR20190015495A/ko not_active Application Discontinuation
-
2018
- 2018-12-14 US US16/220,749 patent/US20190141323A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN107517385B (zh) | 2020-02-21 |
| EP3457697A4 (en) | 2019-03-20 |
| EP3457697B1 (en) | 2021-08-04 |
| US20190141323A1 (en) | 2019-05-09 |
| EP3457697A1 (en) | 2019-03-20 |
| WO2017215587A1 (zh) | 2017-12-21 |
| CN107517385A (zh) | 2017-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190015495A (ko) | 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치 | |
| EP3669333B1 (en) | Sequential encoding and decoding of volymetric video | |
| US10904570B2 (en) | Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same | |
| CN109996072B (zh) | 视频图像的处理方法及装置 | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| US20180098090A1 (en) | Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters | |
| KR20140038424A (ko) | 스케일-독립적인 맵 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| WO2020055655A1 (en) | Scalability of multi-directional video streaming | |
| KR20220069086A (ko) | 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 | |
| CN113557729A (zh) | 已编码点云数据的划分 | |
| JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
| US20200267385A1 (en) | Method for processing synchronised image, and apparatus therefor | |
| US20180338160A1 (en) | Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images | |
| Simone et al. | Omnidirectional video communications: new challenges for the quality assessment community | |
| CN115567756A (zh) | 基于视角的vr视频***和处理方法 | |
| EP3698543A1 (en) | Stereo omnidirectional frame packing | |
| US11405630B2 (en) | Video decoding method for decoding part of bitstream to generate projection-based frame with constrained picture size and associated electronic device | |
| US20210203995A1 (en) | Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |