KR102254986B1 - 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 - Google Patents
구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 Download PDFInfo
- Publication number
- KR102254986B1 KR102254986B1 KR1020197023206A KR20197023206A KR102254986B1 KR 102254986 B1 KR102254986 B1 KR 102254986B1 KR 1020197023206 A KR1020197023206 A KR 1020197023206A KR 20197023206 A KR20197023206 A KR 20197023206A KR 102254986 B1 KR102254986 B1 KR 102254986B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel block
- content
- coding
- image
- block
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/547—Motion estimation performed in a transform domain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
다방향성(multi-directional) 이미지 데이터는 종종 전통적인 "평평한" 이미지 콘텐츠를 프로세싱하도록 설계된 비디오 코더들에 의해 프로세싱될 때 문제들을 야기하는 이미지 콘텐츠의 왜곡들을 포함한다. 본 발명의 실시예들은 그러한 코더들을 사용하여 다방향성 이미지 데이터를 코딩하기 위한 기술들을 제공한다. 코딩될 프레임 내의 각각의 픽셀 블록에 대해, 인코더는 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 기준 화상 데이터를 각각 입력 픽셀 블록의 위치와 검색 윈도우 내의 기준 화상의 부분들 사이의 변위에 기초하여 변환할 수 있다. 인코더는 변환된 기준 화상 데이터 중에서 예측 검색을 수행하여 입력 픽셀 블록과 변환된 기준 화상의 일부분 사이의 매칭을 식별하고, 매칭이 식별되는 경우, 인코더는 입력 픽셀 블록을 변환된 기준 화상의 매칭 부분에 대해 차별적으로 코딩할 수 있다. 변환은 다방향성 포맷에 의해 기준 화상 데이터의 이미지 콘텐츠에 부과되는 왜곡들을 상쇄시킬 수 있으며, 이는 콘텐츠를 입력 화상의 이미지 콘텐츠와 정렬시킨다. 기술들은 인트라-코딩과 인터-코딩 둘 모두에 적용된다.
Description
본 발명은 전방향성(omnidirectional) 및 다방향성(multi-directional) 이미지들 및 비디오들을 위한 코딩 기술들에 관한 것이다.
일부 현대의 이미징 애플리케이션들은 카메라를 중심으로 하는 다수의 방향들로부터 이미지 데이터를 캡처한다. 일부 카메라들은 이미지 캡처 동안 선회하며, 이는 카메라로 하여금 카메라의 유효 시야(effective field of view)를 확장시키는 각도 스위프(angular sweep)를 가로질러 이미지 데이터를 캡처하게 한다. 일부 다른 카메라들은 여러 상이한 시야들에서 이미지 데이터를 캡처하는 다수의 이미징 시스템들을 갖는다. 어느 경우든, 이들 다수의 뷰들로부터 캡처된 이미지 데이터의 병합(merger) 또는 "스티칭(stitching)"을 나타내는 집합 이미지가 생성될 수 있다.
많은 현대 코딩 애플리케이션들이 그러한 전방향성 또는 다방향성 이미지 콘텐츠를 처리하도록 설계되지 않는다. 그러한 코딩 애플리케이션들은 이미지 내의 이미지 데이터가 "평평하다" 또는 단일 시야로부터 캡처된다는 가정에 기초하여 설계된다. 따라서, 코딩 애플리케이션들은 왜곡들이 내부에 포함된 이들 전방향성 또는 다방향성 이미지들을 처리할 때 일어날 수 있는 이미지 왜곡들을 고려하지 않는다. 이들 왜곡들은 통상의 비디오 코더들이 이미지 콘텐츠의 중복들을 인식하는 데 실패하게 할 수 있으며, 이는 비효율적인 코딩을 야기한다.
따라서, 본 발명자들은 전방향성 및 다방향성 이미지 콘텐츠를 프로세싱하고 왜곡을 제한할 수 있는 코딩 기술에 대한 당업계에서의 필요성을 인지한다.
도 1은 본 발명의 실시예들이 채용될 수 있는 시스템을 예시한다.
도 2는 본 발명의 일 실시예에 따른 코딩 시스템의 기능적 블록도이다.
도 3은 본 발명의 실시예들과 함께 사용되는 이미지 소스들을 예시한다.
도 4는 다방향성 이미징에 의해 캡처된 예시적인 등장방형 투영 이미지를 예시한다.
도 5는 구면 이미지들 내에 일어날 수 있는 왜곡 효과를 모델링한다.
도 6은 예시적인 등장방형 프레임 내의 예시적인 객체의 왜곡을 예시하는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 코딩 방법을 예시한다.
도 8은 본 발명의 일 실시예에 따른 코딩 방법을 예시한다.
도 9는 도 8의 방법에 따라 기준 프레임 데이터에 적용될 수 있는 변환들을 예시한다.
도 10은 본 발명의 일 실시예에 따른 코딩 시스템의 기능적 블록도이다.
도 11은 본 발명의 일 실시예에 따른 디코딩 시스템의 기능적 블록도이다.
도 12는 본 발명의 실시예들과 함께 사용하기에 적합한 컴퓨터 시스템을 예시한다.
도 2는 본 발명의 일 실시예에 따른 코딩 시스템의 기능적 블록도이다.
도 3은 본 발명의 실시예들과 함께 사용되는 이미지 소스들을 예시한다.
도 4는 다방향성 이미징에 의해 캡처된 예시적인 등장방형 투영 이미지를 예시한다.
도 5는 구면 이미지들 내에 일어날 수 있는 왜곡 효과를 모델링한다.
도 6은 예시적인 등장방형 프레임 내의 예시적인 객체의 왜곡을 예시하는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 코딩 방법을 예시한다.
도 8은 본 발명의 일 실시예에 따른 코딩 방법을 예시한다.
도 9는 도 8의 방법에 따라 기준 프레임 데이터에 적용될 수 있는 변환들을 예시한다.
도 10은 본 발명의 일 실시예에 따른 코딩 시스템의 기능적 블록도이다.
도 11은 본 발명의 일 실시예에 따른 디코딩 시스템의 기능적 블록도이다.
도 12는 본 발명의 실시예들과 함께 사용하기에 적합한 컴퓨터 시스템을 예시한다.
본 발명의 실시예들은 구면 이미지 및 비디오를 코딩하는 기술들을 제공한다. 코딩될 프레임 내의 각각의 픽셀 블록에 대해, 인코더는 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 기준 화상 데이터를 각각 입력 픽셀 블록의 위치와 검색 윈도우 내의 기준 화상의 부분들 사이의 변위에 기초하여 변환할 수 있다. 인코더는 변환된 기준 화상 데이터 중에서 예측 검색을 수행하여 입력 픽셀 블록과 변환된 기준 화상의 일부분 사이의 매칭을 식별하고, 매칭이 식별되는 경우, 인코더는 입력 픽셀 블록을 변환된 기준 화상의 매칭 부분에 대해 차별적으로 코딩할 수 있다. 변환은 구면 투영 포맷에 의해 기준 화상 데이터의 이미지 콘텐츠에 부과되는 왜곡들을 상쇄시킬 수 있으며, 이는 콘텐츠를 입력 화상의 이미지 콘텐츠와 정렬시킨다.
도 1은 본 발명의 실시예들이 채용될 수 있는 시스템(100)을 예시한다. 시스템(100)은 네트워크(130)를 통해 상호접속된 적어도 2개의 단말기들(110-120)을 포함할 수 있다. 제1 단말기(110)는 다방향성 및 전방향성 비디오를 생성하는 이미지 소스를 가질 수 있다. 단말기(110)는 또한 코딩 시스템 및 다방향성 비디오의 코딩된 표현이 소비될 수 있는 제2 단말기(120)로 송신하기 위한 송신 시스템(도시되지 않음)을 포함할 수 있다. 예를 들어, 제2 단말기(120)는 로컬 디스플레이 상에 구면 비디오를 디스플레이할 수 있거나, 그것은 구면 비디오를 수정하도록 비디오 편집 프로그램을 실행할 수 있거나, 또는 구면 비디오를 애플리케이션(예를 들어, 가상 현실 프로그램) 내에 통합할 수 있거나, 머리 장착형 디스플레이(예를 들어, 가상 현실 애플리케이션들)에 제시할 수 있거나, 또는 그것은 추후 사용을 위해 구면 비디오를 저장할 수 있다.
도 1은 제1 단말기(110)로부터 제2 단말기(120)로의 구면 비디오의 단방향 송신에 적합한 컴포넌트들을 예시한다. 일부 애플리케이션들에서, 비디오 데이터의 양방향 교환을 제공하는 것이 적절할 수 있으며, 이 경우에 제2 단말기(120)는 그 자신의 이미지 소스, 비디오 코더 및 송신기들(도시되지 않음)를 포함할 수 있고, 제1 단말기(110)는 그 자신의 수신기 및 디스플레이(역시 도시되지 않음)를 포함할 수 있다. 구면 비디오를 양방향으로 교환하는 것이 요구되는 경우, 이하에서 논의되는 기술들은 구면 비디오의 한 쌍의 독립적인 단방향 교환들을 생성하기 위해 복제될 수 있다. 다른 애플리케이션들에서, 구면형 비디오를 (예를 들어, 제1 단말기(110)로부터 제2 단말기(120)로의) 하나의 방향으로 송신하고, "평평한" 비디오(예를 들어, 제한된 시야로부터의 비디오)를 역방향으로 송신하는 것이 허용가능할 것이다.
도 1에서, 제2 단말기(120)는 컴퓨터 디스플레이로 예시되나, 본 발명의 원리들이 그렇게 제한되는 것은 아니다. 본 발명의 실시예들은 랩톱 컴퓨터들, 태블릿 컴퓨터들, 스마트 폰들, 서버들, 미디어 플레이어들, 가상 현실 머리 장착형 디스플레이들, 증강 현실 디스플레이, 홀로그램 디스플레이들, 및/또는 전용 비디오 회의 장비와의 애플리케이션을 발견한다. 네트워크(130)는 예를 들어 유선 및/또는 무선 통신 네트워크들을 포함한, 단말기들(110-120) 사이에서 코딩된 비디오 데이터를 전달하는 임의의 수의 네트워크들을 나타낸다. 통신 네트워크(130)는 회선 교환형(circuit-switched) 및/또는 패킷 교환형(packet-switched) 채널들에서 데이터를 교환할 수 있다. 대표적인 네트워크들은 원격 통신망(telecommunications network)들, 근거리 통신망(local area network)들, 광역 통신망(wide area network)들 및/또는 인터넷을 포함한다. 본 논의를 위해, 네트워크(130)의 아키텍처 및 토폴로지는 하기에 설명되지 않는 한 본 발명의 동작에 중요하지 않다.
도 2는 본 발명의 일 실시예에 따른 코딩 시스템(200)의 기능적 블록도이다. 시스템(200)은 이미지 소스(210), 이미지 프로세싱 시스템(220), 비디오 코더(230), 비디오 디코더(240), 기준 화상 저장소(250), 예측기(260), 및 옵션적으로, 한 쌍의 구면 변환 유닛들(270, 280)을 포함할 수 있다. 이미지 소스(210)는 기준점을 중심으로 다수의 방향들로 연장되는 시야의 이미지 데이터를 포함하는 다방향성 이미지로서 이미지 데이터를 생성할 수 있다. 이미지 프로세싱 시스템(220)은 비디오 코더(230)의 요건들에 부합하기 위해 필요에 따라 이미지 소스(210)로부터의 이미지 데이터를 전환할 수 있다. 비디오 코더(230)는 전형적으로 이미지 데이터의 공간적 및/또는 시간적 중복들을 이용함으로써 그의 입력 이미지 데이터의 코딩된 표현을 생성할 수 있다. 비디오 코더(230)는 송신 및/또는 저장될 때 입력 데이터보다 적은 대역폭을 소비하는 입력 데이터의 코딩된 표현을 출력할 수 있다.
비디오 디코더(240)는 비디오 인코더(230)에 의해 수행되는 코딩 동작들을 반전시켜, 코딩된 비디오 데이터로부터 재구성된 화상을 획득할 수 있다. 전형적으로, 비디오 코더(230)에 의해 적용되는 코딩 프로세스들은 손실(lossy) 프로세스들로서, 이는 재구성된 화상이 원래의 화상과 비교할 때 다양한 에러들을 갖게 한다. 비디오 디코더(240)는 "기준 화상들"로 지정되는 선택 코딩된 화상들의 화상을 재구성할 수 있고, 디코딩된 기준 화상들을 기준 화상 저장소(250)에 저장할 수 있다. 송신 오류들의 부재 시, 디코딩된 기준 화상들은 디코더(도 2에 도시되지 않음)에 의해 획득된 디코딩된 기준 화상들을 복제할 것이다.
예측기(260)는 새로운 입력 화상들이 코딩될 때 그들에 대한 예측 기준들을 선택할 수 있다. 코딩되고 있는 입력 화상의 각각의 부분(편의상 "픽셀 블록"으로 지칭됨)에 대해, 예측기(260)는 코딩 모드를 선택하고, 코딩되고 있는 픽셀 블록에 대한 예측 기준 검색으로서 기능할 수 있는 기준 화상의 일부분을 식별할 수 있다. 코딩 모드는 인트라-코딩 모드일 수 있으며, 이 경우에 예측 기준은 코딩되고 있는 화상의 이전에 코딩된(그리고 디코딩된) 부분으로부터 인출될 수 있다. 대안적으로, 코딩 모드는 인터-코딩 모드일 수 있으며, 이 경우에 예측 기준은 다른 이전에 코딩되고 디코딩된 화상으로부터 인출될 수 있다.
일 실시예에서, 예측기(260)는 입력 화상 및 구면 투영 표현으로 변환된 기준 화상 상에 동작하여 코딩되고 있는 화상들의 예측 기준들을 검색할 수 있다. 구면 변환 유닛들(270, 280)은 입력 화상 및 기준 화상을 구면 투영 표현들로 변환할 수 있다.
적절한 예측 기준이 식별될 때, 예측기(260)는 예측 데이터를 비디오 코더(230)에 제공할 수 있다. 비디오 코더(230)는 입력 비디오 데이터를 예측기(260)에 의해 제공되는 예측 데이터에 대해 차별적으로 코딩할 수 있다. 전형적으로, 예측 동작들 및 차별적 코딩은 픽셀 블록 단위로(pixel block-by-pixel block basis) 동작한다. 입력 픽셀 블록들과 예측 픽셀 블록들 사이의 픽셀-단위(pixel-wise) 차이들을 나타내는 예측 잔차(prediction residual)들은 대역폭을 추가로 감소시키기 위해 추가의 코딩 동작들을 겪을 수 있다.
표시된 바와 같이, 비디오 코더(230)에 의해 출력된 코딩된 비디오 데이터는 송신 및/또는 저장될 때 입력 데이터보다 적은 대역폭을 소비해야 한다. 코딩 시스템(200)은 코딩된 비디오 데이터를 통신 네트워크(130)(도 1) 또는 전자, 자기 및/또는 광학 저장 매체와 같은 저장 디바이스(도시되지 않음)를 가로질러 송신할 수 있는 송신기(역시 도시되지 않음)와 같은 출력 장치(290)로 코딩된 비디오 데이터를 출력할 수 있다.
도 3은 본 발명의 실시예들과 함께 사용되는 이미지 소스들(310, 340)을 예시한다. 제1 이미지 소스는 축을 따라 선회하는 단일 이미지 센서(도시되지 않음)를 갖는, 도 3a에 도시된 카메라(310)일 수 있다. 동작 동안, 카메라(310)는 미리결정된 각도 거리(바람직하게는, 전체 360도)를 따라 선회하면서 이미지 콘텐츠를 캡처하고 캡처된 이미지 콘텐츠를 360° 이미지로 병합할 수 있다. 캡처 동작은 미리결정된 차원(M×N 픽셀들)을 갖는 등장방형 이미지(320)를 생성할 수 있다. 등장방형 화상(320)은 원통형 시야를 데이터의 2차원 어레이로 나누는 슬라이스(322)를 따라 분할된 다방향성 시야(320)를 나타낼 수 있다. 등장방형 화상(320)에서, 이미지(320)의 어느 하나의 에지(322, 324)상의 픽셀들은 이들이 등장방형 화상(320)의 상이한 에지들 상에 보이더라도 인접한 이미지 콘텐츠를 나타낸다.
옵션적으로, 등장방형 이미지(320)는 구면 투영부로 변환될 수 있다. 구면 변환 유닛(270)은 하기와 같은 변환에 따라 등장방형 화상(320) 내의 위치(x,y)에서의 픽셀 데이터를 구면 투영부(320)를 따른 위치(θ, φ)로 변환할 수 있다:
[수학식 1]
[수학식 2]
θ 및 φ는 각각 구면 투영부(330) 내의 위치의 경도 및 위도를 나타내고, θ0, φ0은 구면 투영부(330)의 원점을 나타내고, x 및 y는 등장방형 화상(320) 내의 소스 데이터의 수평 좌표 및 수직 좌표를 나타낸다.
변환을 적용할 때, 구면 변환 유닛(270)은 각각의 픽셀 위치를 등장방형 화상(320)의 미리결정된 행을 따라 변형시켜 구면 투영부(330) 내의 적도 위도에 있는 고유 위치를 가질 수 있다. 그러한 영역들에서, 구면 투영부(330) 내의 각각의 위치는 등장방형 화상(320)의 대응하는 위치들로부터의 픽셀 값들을 할당받을 수 있다. 다른 위치들에서, 특히 구면 투영부(330)의 극(pole)들을 향해, 구면 투영 유닛(270)은 등장방형 화상(320)로부터의 몇몇 소스 위치들을 구면 투영부(330) 내의 공통 위치에 맵핑시킬 수 있다. 그러한 경우에, 구면 투영 유닛(270)은 (예를 들어, 등장방형 화상(320)의 대응하는 위치들에서의 픽셀 값들의 평균을 구함으로써) 등장방형 화상(320) 내의 대응하는 픽셀 값들의 블렌딩으로부터 구면 투영부(330) 내의 위치들에 대한 픽셀 값들을 도출할 수 있다.
도 3b는 다른 유형의 이미지 소스인, 전방향성 카메라(340)의 이미지 캡처 동작들을 예시한다. 이 실시예에서, 카메라 시스템(340)은 다방향성 캡처 동작을 수행하고, 이미지 콘텐츠가 정육면체 맵 캡처(350)에 따라 배열되는, 차원(M×N 픽셀들)을 갖는 정육면체 맵 화상(360)을 출력할 수 있다. 이미지 캡처는 정육면체 맵 레이아웃에 따라 함께 스티칭되는 미리결정된 수의 방향들(전형적으로, 6개 방향들)의 각각에서 이미지 데이터를 캡처할 수 있다. 도 3에 예시된 예에서, 좌측 뷰(361), 전방 뷰(362), 우측 뷰(363), 후방 뷰(364), 상부 뷰(365), 및 하부 뷰(366)에 대응하는 6개의 서브-이미지들이 각자의 뷰들 사이의 이미지 콘텐츠의 "시임(seam)"에 따라 다방향성 화상(360) 내에 캡처, 스티칭 및 배열될 수 있다. 따라서, 도 3에 예시된 바와 같이, 상부, 좌측, 우측 및 하부 이미지들 각각으로부터의 픽셀들에 인접한 전방 이미지로부터의 픽셀들이 인접한 서브-이미지들의 콘텐츠에 각각 인접한 이미지 콘텐츠를 나타낸다. 유사하게, 서로 인접한 우측 및 후방 이미지들로부터의 픽셀들이 인접한 이미지 콘텐츠를 나타낸다. 또한, 후방 이미지의 말단 에지(368)로부터의 콘텐츠가 좌측 이미지의 대향하는 말단 에지(369)로부터의 콘텐츠에 인접한다. 정육면체 맵 화상(360)은 또한 임의의 이미지에 속하지 않는 영역들(367.1 내지 367.4)을 가질 수 있다.
옵션적으로, 정육면체 맵 이미지(360)는 구면 투영부(330)로 변환될 수 있다. 구면 변환 유닛(270)은 정육면체 맵 화상(360) 내의 위치(x,y)에서의 픽셀 데이터를, 정육면체 맵 내의 각각의 서브-이미지로부터 도출된 변환에 따라, 구면 투영부(330)를 따라 위치(θ, φ)로 변환할 수 있다. 도 3은 생성될 구면 투영부(330) 위에 중첩된 이미지 캡처(360)의 6개의 면들(361 내지 366)을 예시한다. 이미지 캡처의 각각의 서브-이미지는 구면 투영부(330)의 표면의 미리결정된 각도 영역에 대응한다. 따라서, 전방 면(362)의 이미지 데이터가 구면 투영부의 표면 상의 미리결정된 부분에 투영될 수 있고, 좌측, 우측, 후방, 상부 및 하부 서브-이미지들의 이미지 데이터가 구면 투영부(330)의 표면의 대응하는 부분들 상에 투영될 수 있다.
정사각형 서브-이미지들을 갖는 정육면체 맵에서, 즉 서브-이미지들(361 내지 366)의 높이 및 폭이 동일한 정육면체 맵에서, 각각의 서브-이미지는 투영 표면의 90° × 90° 영역으로 투영된다. 따라서, 서브-이미지를 갖는 각각의 위치 x,y는 형태 φ= fk(x, y) 및 θ= gk(x, y)의 정현파 투영 함수에 기초하여 구면 투영부(330) 상의 θ, φ 위치로 맵핑되며, 여기서, x,y는 상부, 하부, 전방, 우측, 좌측, 우측에 대한 정육면체 면(k)의 중심으로부터의 변위들을 나타내고, θ, φ는 구 내의 각도 편차들을 나타낸다.
변환을 적용할 때, 정육면체 맵 화상(360) 내의 일부 픽셀 위치들은 구면 투영부(330) 내의 고유 위치에 맵핑될 수 있다. 그러한 영역에서, 구면 투영부(330) 내의 각각의 위치는 정육면체 맵 화상(360)의 대응하는 위치들로부터의 픽셀 값들을 할당받을 수 있다. 다른 위치들에서, 특히 각자의 서브-이미지들의 에지들을 향해, 구면 투영 유닛(270)은 정육면체 맵 화상(360) 내의 여러 소스 위치들로부터의 이미지 데이터를 구면 투영부(430) 내의 공통 위치에 맵핑할 수 있다. 그러한 경우에, 구면 투영 유닛(270)은 (예를 들어, 정육면체 맵 화상(360)의 대응하는 위치들에서의 픽셀 값들의 가중 평균을 구함으로써) 정육면체 맵 화상(360) 내의 대응하는 픽셀 값들의 블렌딩으로부터 구면 투영부(430) 내의 위치들에 대한 픽셀 값들을 도출할 수 있다.
도 3c는 다른 유형의 이미지 소스인, 한 쌍의 어안 렌즈들을 갖는 카메라(370)의 이미지 캡처 동작들을 예시한다. 이 실시예에서, 각각의 렌즈 시스템은 상이한 180° 시야로 데이터를 캡처하여 대향하는 "하프-쉘(half shells)들"을 표현한다. 카메라(370)는 각각의 렌즈 시스템으로부터 생성된 이미지들의 스티칭으로부터 이미지(380)를 생성할 수 있다. 어안 렌즈는 전형적으로 각각의 하프-쉘 시야 내의 객체 위치에 기초한 왜곡을 유도한다. 일 실시예에서, 다방향성 이미지(380)는 구면 투영부(330)로 변환될 수 있다.
본 발명의 기술들은 다른 유형들의 이미지 캡처 기술들과의 애플리케이션을 발견한다. 예를 들어, 절두 피라미드, 사면체, 팔면체, 십이면체 및 이십면체 기반 이미지 캡처 기술들이 채용될 수 있다. 그로부터 얻어진 이미지들은 유사한 기술들을 통해 구면 투영부로 매핑될 수 있다.
이미지 소스들은 카메라들을 포함할 필요가 없다. 다른 실시예들에서, 이미지 소스(210)(도 2)는 360° 이미지 데이터를 생성하는 컴퓨터 애플리케이션일 수 있다. 예를 들어, 게임 애플리케이션이 3차원의 가상 세계를 모델링하고 합성 콘텐츠에 기초하여 구면 이미지를 생성할 수 있다. 또한, 구면 이미지는 물론 자연적 콘텐츠(카메라로부터 생성된 콘텐츠)와 컴퓨터 애플리케이션에 의해 함께 병합된 합성 콘텐츠(컴퓨터 그래픽 콘텐츠) 둘 모두를 포함할 수 있다.
다방향성 이미징 시스템들은 전형적으로 이미지 콘텐츠의 공간적 왜곡들을 포함하는 이미지 데이터를 생성한다. 도 4는 다방향성 이미징 시스템에 의해 캡처된 예시적인 등장방형 이미지를 예시한다. 이미지는, 무엇보다도, 각각 동일한 크기의 2개의 객체들(Obj1 및 Obj2)을 예시한다. 다방향성 이미징 시스템에 의해 캡처되는 경우, 객체들은 등장방형 이미지 내의 그들의 위치에 기초하여 상이한 크기들을 갖는 것처럼 보인다. 예를 들어, 객체(Obj1)는 중심 축들(410, 420)에 상당히 가깝게 위치되고, 그 결과, 객체(Obj2)보다 더 낮은 레벨의 왜곡을 보인다. 그렇더라도, 객체(Obj1)의 에지들은 수평 축(410)에 더 가까운 객체의 부분들보다 더 큰 정도로 왜곡(직선들의 곡률)을 보인다. 객체(Obj2)는 수평 축(410)으로부터 객체(Obj1)의 임의의 부분보다 훨씬 더 멀리 변위되고, 그 결과, 객체의 높이의 왜곡 - 도 4의 예시에서 객체(Obj1)의 높이의 대략 32%임 -과 객체(Obj1)의 수평 이미지 성분들의 곡률의 왜곡.
도 5는 구면 이미지 투영부들 내에 일어날 수 있는 왜곡 효과를 모델링한다. 2차원의 "평평한" 비디오에서, 객체의 측방향 모션은 평평한 이미지 센서에 의해 캡처되는데, 이는 이동하는 객체의 크기가 일관되게 유지되게 한다. 그러한 이미지 데이터가 구면 표면 상으로 투영되는 경우, 객체 모션은 이미지 데이터의 왜곡을 야기할 수 있다. 도 5에 도시된 예를 고려해보면, 길이(l)를 갖는 객체(510)가 객체의 모션 평면(520)의 중심에서의 위치로부터, 중심으로부터 멀리 떨어진 다른 위치로, 거리(y)만큼 이동한다. 논의를 위해, 객체(510)가 구면 투영부의 중심으로부터 공통 거리(d)에 위치되는 것으로 가정될 수 있다.
수학적으로, 왜곡은 다음과 같이 모델링될 수 있다:
따라서, 객체가 투영 시야의 중심(y0)으로부터 거리(y)만큼 이동하는 경우, 구면 투영부 내의 객체의 길이(l)의 비는 다음과 같이 주어질 수 있다:
보다 간단한 용어로 언급하면, 객체의 겉보기 길이는 투영부의 중심으로부터의 그것의 변위에 기초하여 변한다.
도 6은 예시적인 등장방형 프레임 내의 예시적인 객체의 왜곡을 예시하는 그래프이다. 여기서, 등장방형 이미지의 크기는 3,820 픽셀 × 1,920 픽셀이다. 따라서, 구면 투영부 내에서, 구의 각각의 각도 단위는 라디안으로 취해질 수 있고, 길이(l)는 1과 동일한 단일 픽셀의 높이이다. 거리(d)는 로 취해질 수 있다. 도 6은 y가 0으로부터 960으로 변함에 따르는 길이(l)의 왜곡을 예시한다.
도 4에 예시된 바와 같이, 도 6에서와 수학식 1 내지 수학식 5에 기술된 왜곡들은 다수의 차원들에서 동시에 일어날 수 있다. 따라서, 객체(410)가 등장방형 소스 이미지에 대해 수직 방향으로 이동하는 경우 왜곡들이 수직 방향으로 일어날 수 있다. 객체가 등장방형 소스 이미지에 대해 수평 방향으로 이동하는 경우, 추가의 왜곡들이 수평 방향으로 일어날 수 있다. 따라서, 위의 수학식 1 내지 수학식 5는 다음과 같이 수평 방향(X)에서의 측방향 이동에 적용될 수 있다:
따라서, 객체가 투영 시야의 중심(x0)으로부터 거리(x)만큼 이동하는 경우, 구면 투영부 최대(max)에서의 객체의 폭(w)의 비는 다음과 같이 주어질 수 있다:
본 발명의 일 실시예에 따르면, 단말기는 객체들이 구면 도메인 표현 또는 등장방형 표현으로 투영되는 경우 이미지 데이터 내에 발생할 가능성이 있는 왜곡들을 모델링하고, 이어서 그 모델을 사용하여 구면-도메인 또는 등장방형 표현 내의 데이터를 보정하여 왜곡들을 상쇄시킬 수 있다.
높은 레벨에서, 본 발명의 실시예들은 후보 기준 프레임 데이터에 대한 변환을 수행하여 다중 이미지들 내에 발생하는 왜곡들을 반전시킨다. 예를 들어, 도 4로 돌아가면, 객체(Obj2)의 이미지 데이터가 기준 프레임 내에 존재한다면, 객체(Obj2)의 이미지 데이터는 코딩될 입력 프레임 내에 보이는 객체(Obj1)의 적절한 예측 기준의 역할을 할 수 있다. 2개의 객체들은 동일한 이미지 콘텐츠를 가지며, 이미징 프로세스로부터 발생하는 왜곡들이 없다면, 동일한 크기를 갖는다. 본 발명의 실시예들은 수학식 (5) 및 수학식 (10)에서 식별된 관계들에 따라 기준 화상 데이터를 변환하여, 코딩되고 있는 이미지 데이터에 더 나은 맞춤(better fit)을 제공할 수 있는 변환된 기준 화상 데이터를 생성한다.
도 7은 본 발명의 일 실시예에 따른 코딩 방법(700)을 예시한다. 방법(700)은 픽셀 블록 단위로 동작하여, 코딩될 새로운 입력 화상을 코딩할 수 있다. 방법(700)은 입력 픽셀 블록 데이터와 이미징 왜곡을 상쇄시키도록 변환되는 기준 화상 데이터 사이의 비교로부터 예측 검색을 수행할 수 있다(박스(710)). 적절한 예측 기준이 발견되는 경우, 방법(700)은 변환된 기준 화상 데이터(편의상 "기준 블록")를 예측을 위한 기초로서 사용하여 입력 픽셀 블록을 차별적으로 코딩할 수 있다(박스(720)). 전형적으로, 이러한 차별적 코딩은 입력 픽셀 블록 데이터에 대한 예측 블록 데이터의 픽셀-단위 차감으로부터의 픽셀 잔차들의 계산(박스(822)) 및 그로부터 획득된 픽셀 잔차들의 변환, 양자화 및 엔트로피 코딩(entropy coding)을 포함한다(박스(724)) 이와 관련하여, 방법(700)은 ITU H.265(또한 "HEVC"로도 알려짐), H.264(또한, "AVC")와 같은 지배적 코딩 규격 또는 선행자 코딩 규격(predecessor coding specification)에 의해 정의된 코딩 프로토콜들을 준수할 수 있다. 이들 규격들은 픽셀 블록들을 정의하고, 예측 기준들을 위한 검색 윈도우들을 정의하고, 기준 블록들을 참조하여 픽셀 블록들의 차별적 코딩을 수행하기 위한 프로토콜들을 정의한다. 방법(700)은 또한 모션 벡터의 구면-도메인 표현을 비디오 코딩 규격에 의해 사용되는 코더-도메인 표현으로 변환할 수 있다(박스(726)). 방법(700)은 코딩된 픽셀 잔차들, 모션 벡터들 및 예측과 연관된 다른 메타데이터(전형적으로, 코딩 모드 표시자들 및 기준 화상 ID들)를 출력할 수 있다(박스(728)).
예측 검색(박스(710))은 이미징-유도된 왜곡을 반전시키기 위한 기준 화상 데이터의 변환을 포함할 수 있다. 예측 검색의 검색 윈도우에서 이용가능한 각각의 후보 모션 벡터에 대해, 방법(700)은 모션 벡터에 의해 표현되는, 입력 픽셀 블록으로부터의 공간적 변위에 기초하여 기준 프레임을 변환할 수 있다(박스(712)). 방법(700)은 후보 모션 벡터가 사용된다면 얻어질 예측 잔차들을 추정할 수 있다(박스(714)). 이들 계산들은 입력 픽셀 블록과 모션 벡터에 대응하는 변환된 기준 프레임의 픽셀-단위 비교에 의해 수행될 수 있다. 전형적으로, 비교들이 높은 크기 및 높은 분산(variance)의 픽셀 잔차들을 생성하는 경우, 그것은 더 낮은 크기 및 더 낮은 분산을 갖는 픽셀 잔차들을 생성하는 다른 기준 블록들의 비교들보다 더 낮은 코딩 효율들을 나타낸다. 방법(700)은 또한 변환된 기준 블록이 사용된다면 일어날 코딩 왜곡들을 추정할 수 있다(박스(716)). 이들 계산들은 입력 픽셀 블록에 적용될 것으로 예측되는 양자화 파라미터 레벨들에 기초하여 픽셀 잔차들의 손실을 추정하는 것에 의해 수행될 수 있다. 고려되는 모든 후보 모션 벡터들에 대해 추정치들이 획득되면, 방법(700)은 전체 코딩 비용을 최소화하는 모션 벡터를 선택할 수 있다(박스(718)).
예를 들어, 모션 벡터 mv에 따라 생성되는 후보 "기준 블록"(BLKmv)을 참조하여 입력 픽셀 블록의 코딩 비용(J)은 다음과 같이 주어질 수 있다:
J = Bits(BLKmv)+k*DIST(BLKmv), 여기서 (11)
Bits(BLKmv)는 기준 블록(BLKmv)을 참조하여 입력 픽셀 블록을 코딩하는 데 필요한 것으로 추정되는 다수의 비트들을 나타내고, DIST(BLKmv)는 기준 블록(BLKmv)을 참조하여 입력 픽셀 블록을 코딩하는 것으로부터 획득될 왜곡을 나타내고, k는 이들 인자들의 기여도의 균형을 맞추기 위한 오퍼레이터-선택된 스칼라(operator-selected scalar)일 수 있다. 설명된 바와 같이, 방법(700)은 값(J)을 최소화하는 모션 벡터를 선택하기 위해 수행될 수 있다.
일 실시예에서, 변환들은 수학식 (5) 및 수학식 (10)에 의해 표현되는 왜곡들을 반전시키기 위해 수행될 수 있다.
도 7의 실시예는 고려 중인 각각의 후보 모션 벡터에 대한 기준 프레임 데이터의 하나의 변환을 수반한다. 다른 실시예들에서, 프로세싱 리소스들을 절약할 수 있는 기준 프레임 프리프로세싱(preprocessing)이 수행될 수 있다.
도 8은 본 발명의 일 실시예에 따른 코딩 방법(800)을 예시한다. 방법(800)은 픽셀 블록 단위로 동작하여, 코딩될 새로운 입력 화상을 코딩할 수 있다. 방법(800)은 입력 픽셀 블록 데이터와 이미징 왜곡을 상쇄시키도록 변환되는 기준 화상 데이터 사이의 비교로부터 예측 검색을 수행할 수 있다(박스(810)). 적절한 예측 기준이 발견되는 경우, 방법(800)은 변환된 기준 화상 데이터(다시, 편의상 "기준 블록")를 예측을 위한 기초로서 사용하여 입력 픽셀 블록을 차별적으로 코딩할 수 있다(박스(820)). 전형적으로, 이러한 차별적 코딩은 입력 픽셀 블록 데이터에 대한 예측 블록 데이터의 픽셀-단위 차감으로부터의 픽셀 잔차들의 계산(박스(822)) 및 그로부터 획득된 픽셀 잔차들의 변환, 양자화 및 엔트로피 코딩을 포함한다(박스(824)). 이와 관련하여, 방법(800)은 ITU H.265(또한 "HEVC"로도 알려짐), H.264(또한, "AVC")와 같은 지배적 코딩 규격 또는 선행자 코딩 규격에 의해 정의된 코딩 프로토콜들을 준수할 수 있다. 이들 규격들은 픽셀 블록들을 정의하고, 예측 기준들을 위한 검색 윈도우들을 정의하고, 기준 블록들을 참조하여 픽셀 블록들의 차별적 코딩을 수행하기 위한 프로토콜들을 정의한다. 방법(800)은 또한 모션 벡터의 구면-도메인 표현을 비디오 코딩 규격에 의해 사용되는 코더-도메인 표현으로 변환할 수 있다(박스(826)). 방법(800)은 코딩된 픽셀 잔차들, 모션 벡터들 및 예측과 연관된 다른 메타데이터(전형적으로, 코딩 모드 표시자들 및 기준 화상 ID들)를 출력할 수 있다(박스(828)).
일 실시예에서, 예측 검색(박스(810))은 대역폭 보존 및 정보 손실들과 프로세싱 리소스 비용들의 균형을 맞추기 위해 수행될 수 있다. 각각의 후보 모션 벡터(mv)에 대해, 방법(800)은 우선 입력 픽셀 블록에 관하여 수직 방향(y)을 따라 기준 화상을 변환할 수 있다(박스(811)). 이러한 변환은 본질적으로, 예측 검색의 검색 윈도우 내의 기준 화상 데이터를, 코딩되고 있는 입력 픽셀 블록으로부터의 그것의 수직 변위에 기초하여 변환한다. 그 후에, 방법(800)은, 검색 윈도우의 각각의 후보(x) 값에 대해, 모션 벡터가 사용된다면 일어날 예측 잔차들을 추정할 수 있고(박스(812)), 또한 생성된 왜곡을 추정할 수 있다(박스(813)). 그 후에, 방법(800)은 입력 픽셀 블록에 관하여 수평 방향(x)을 따라 기준 화상을 변환할 수 있다(박스(814)). 이러한 변환은 본질적으로, 예측 검색의 검색 윈도우 내의 기준 화상 데이터를, 코딩되고 있는 입력 픽셀 블록으로부터의 그것의 수평 변위에 기초하여 변환한다. 방법(800)은, 검색 윈도우의 각각의 후보(y) 값에 대해, 모션 벡터가 사용된다면 일어날 예측 잔차들을 추정할 수 있고(박스(815)) 또한 생성된 왜곡을 추정할 수 있다(박스(816)). 고려되는 모든 후보 모션 벡터들에 대해 추정치들이 획득되면, 방법(800)은 전체 코딩 비용을 최소화하는 모션 벡터를 선택할 수 있다(박스(818)).
표시된 바와 같이, 박스들(811 및 814)에서 수행되는 변환들은 본질적으로, 기준 이미지 데이터를 입력 픽셀 블록들과 행-단위(row-basis)(박스(811)) 및 열-단위(column-basis)(박스(814))로 정렬시키는 변환을 야기한다. 이들 변환들의 결과들은 입력 픽셀 블록들과 각각 행-단위 또는 열-단위로 또한 정렬되는 다른 입력 픽셀 블록들의 코딩에 재사용될 수 있다. 다시 말하면, 도 8의 방법(800)을 채용하는 시스템은 박스(811) 아래로 단일 변환을 수행하여 공통 행 내의 모든 입력 픽셀 블록들에 대한 코딩 비용 및 왜곡을 추정할 수 있다. 또한, 도 8의 방법(800)을 채용하는 시스템은 박스(814) 아래로 단일 변환을 수행하여 공통 열 내의 모든 입력 픽셀 블록들에 대한 코딩 비용 및 왜곡을 추정할 수 있다. 따라서, 방법(800)의 동작은 도 7의 방법(700)의 동작에 비해 프로세싱 리소스들을 절약할 것으로 예상된다.
도 9는 도 8의 방법(800)에 따라 기준 프레임 데이터에 적용될 수 있는 변환들을 예시한다. 도 9a는 코딩될 예시적인 입력 픽셀 블록(PBi,j)과 기준 프레임 데이터(900) 사이의 관계들을 예시한다. 입력 픽셀 블록(PBi,j)은, 코더가 픽셀 블록(PBi,j)의 예측을 위한 기초로서 사용될 기준 프레임 데이터(900)를 선택할 수 있는 검색 윈도우(SW)를 정의하는 위치(i,j)를 갖는다. 코딩 동안, 방법(800)은 탐색 윈도우(SW) 내의 후보 모션 벡터들(mv1, mv2 등)을 테스트하여, 적절한 기준 블록이 기준 화상 내에서 발견될 수 있는지 여부를 결정할 수 있다.
도 9b는 박스(811)에 따라 수행될 수 있는 기준 프레임 데이터의 예시적인 변환들을 예시한다. 도시된 바와 같이, 기준 프레임 데이터는 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 수직 변위에 기초하여 변환될 수 있다. 도 9에 예시된 예에서, 변환은 본질적으로, 기준 프레임 콘텐츠를 수직 변위에 기초하여 신장시킨다. 신장의 정도는 입력 픽셀 블록으로부터의 변위가 증가함에 따라 증가한다. 방법은 소스 기준 프레임 데이터(900) 보다는 신장된 기준 프레임 데이터(910) 내의 후보 모션 벡터들을 테스트할 수 있다. 도 4에 예시된 바와 같이, 객체(Obj2)의 신장된 데이터는 객체(Obj2)의 소스 데이터보다 객체(Obj1)에 대한 더 나은 예측 소스를 제공할 수 있다.
다른 사용 경우들에서, 이미지 데이터는 신장될 필요가 없다. 예를 들어, 도 4의 객체(Obj2)의 이미지 콘텐츠의 코딩 동안, 기준 프레임은 객체(Obj1)에 대응하는 위치에서의 객체의 콘텐츠를 포함할 수 있다. 이 경우에, 기준 프레임으로부터의 이미지 데이터는 객체(Obj2)에 대한 적절한 예측 매칭을 제공하기 위해 공간적으로 압축될 수 있다. 따라서, 확장이든 수축이든, 신장의 유형은 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 변위, 및 또한 코딩되고 있는 픽셀 블록(PBi,j)의 위치에 기초하여 결정될 수 있다.
도 9b에 예시된 바와 같이, 방법(800)은 기준 프레임 데이터(910)의 단일 변환을 수행할 수 있으며, 이것이 공통 행 내의 모든 픽셀 블록들(PB0,j 내지 PBmax,j)의 예측 검색들로서 기능한다. 따라서, 도 8의 방법(800)은 도 7의 방법(700)과 비교하여 프로세싱 리소스들을 절약할 것으로 예상된다.
도 9c는 박스(814)에 따라 수행될 수 있는 기준 프레임 데이터의 예시적인 변환들을 예시한다. 도시된 바와 같이, 기준 프레임 데이터(900)는 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 수평 변위에 기초하여 변환될 수 있다. 도 9c에 예시된 예에서, 변환은 본질적으로, 기준 프레임 콘텐츠를 수평 변위에 기초하여 신장시킨다. 신장의 정도는 입력 픽셀 블록으로부터의 변위가 증가함에 따라 증가한다. 방법은 소스 기준 프레임 데이터(900) 보다는 신장된 기준 프레임 데이터(920) 내의 후보 모션 벡터들을 테스트할 수 있다.
모든 경우에서 이미지 데이터가 신장될 필요는 없다. 도 9b의 예에서와 같이, 확장이든 수축이든, 신장의 유형은 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 변위, 및 또한 코딩되고 있는 픽셀 블록(PBi,j)의 위치에 기초하여 결정될 수 있다.
도 9c에 예시된 바와 같이, 방법(800)은 기준 프레임 데이터(910)의 단일 변환을 수행할 수 있으며, 이것이 공통 행 내의 모든 픽셀 블록들(PBi,0 내지 PBi,max)의 예측 검색들로서 기능한다. 다시, 도 8의 방법(800)은 도 7의 방법(700)과 비교하여 프로세싱 리소스들을 절약할 것으로 예상된다.
모션 벡터 기반 코딩이 수행될 것인지 여부를 예측함으로써 방법들(700 및/또는 800)에 대한 추가 리소스 보존이 채용될 수 있다. 예를 들어, 주변 동작 상황들에 기초하여, 주어진 프레임에 대해, 또는 프레임 콘텐츠의 일부분에 대해 인터 예측이 사용되지 않을 것으로 추정될 수 있다. 그러한 상황들에서, 예측 검색들(710 및/또는 810)은 생략될 수 있다. 다른 실시예에서, 주변 동작 상황들은 입력 데이터의 행을 따라, 또는 열을 따라 더 높은 모션의 가능성이 있음을 나타낼 수 있다. 그러한 표시들은 이미지 데이터를 제공하는 디바이스에 의해 제공되는 모션 센서 데이터로부터 도출되거나, 또는 이미지 콘텐츠 사이의 모션의 프레임간 분석(frame-to-frame analysis)들로부터 도출될 수 있다. 그러한 경우들에서, 방법(800)은 행-기반 모션에 대한 박스들(814 내지 816)의 동작을 생략하거나 열방향(columnar) 모션에 대한 박스들(811 내지 813)의 동작을 생략하도록 수행될 수 있다. 대안적으로, 방법(800)은 이미지 데이터의 행 또는 열(예를 들어, 대각선 벡터)에 정렬될 필요가 없는 추정된 모션 방향을 따라 변환들을 수행할 수 있다.
다른 실시예들에서, 코더는 변환들을 수행할 프레임 영역들의 서브세트를 선택할 수 있다. 예를 들어, 코더는 변환들이 적용될 콘텐츠의 영역들을, 변환들이 적용될 필요가 없는 각각의 다른 영역들 이전에 식별할 수 있다. 그러한 영역들은, 예를 들어, 관찰자들에게 관심 영역들일 가능성이 있는 프레임 콘텐츠 내의 객체들(예를 들어, 얼굴들, 신체들 또는 다른 미리결정된 콘텐츠)을 식별하기 위해 프레임 콘텐츠의 분석에 기초하여 선택될 수 있다. 그러한 영역들은 이미지 데이터 내의 전경 콘텐츠를 식별하는 프레임 콘텐츠의 분석에 기초하여 선택될 수 있으며, 관심 영역들로 지정될 수 있다. 또한, 그러한 영역들은 디스플레이 디바이스(120)(도 1)에 의해 보고된 디스플레이 활동에 기초하여 선택될 수 있으며; 예를 들어, 인코더가 등장방형 이미지의 일부분만이 디스플레이(120)상에 렌더링되고 있음을 나타내는 통신을 디스플레이(120)로부터 수신하는 경우, 인코더는 렌더링되고 있는 부분 상에는 그러한 변환들을 적용하고, 렌더링되고 있지 않은 다른 영역들 상에는 변환-기반 검색을 생략하도록(forego) 결정할 수 있다. 다른 실시예에서, 특히 높은 모션의 영역들이 그러한 변환들이 없는 코딩에 대해 지정될 수 있고; 전형적으로, 높은 모션 영역들 내의 코딩 손실들은 낮은 모션 영역 내의 코딩 손실들 만큼이나 인간 관찰자들에게 인지가능하지 않다.
추가 실시예에서, 글로벌 카메라 모션을 고려하기 위해 변환들이 수행될 수 있다. 인코더는 모션 센서(290)(도 2)로부터 데이터를 수신하거나, 이미지 캡처 동안 카메라가 이동하고 있음을 나타내는 이미지 분석을 수행할 수 있다. 이미지 프로세서(220)는 기준 프레임 데이터를 모션 동안 카메라 시스템(210)(도 2)에 의해 출력되는 프레임들과 공간적으로 정렬하기 위해, 기준 프레임들에 대해 이미지 변환 동작들을 수행할 수 있다.
본 발명의 원리들은 인트라-코딩 기술들 뿐만 아니라 인터-코딩 기술들에 이용되는 예측 기준 데이터에 적용된다. 인터-코딩이 프레임들 사이의 이미지 데이터의 시간적 중복성을 이용한다면, 인트라-코딩은 단일 프레임 내의 공간적 중복성을 이용한다. 따라서, 입력 픽셀 블록은 입력 픽셀 블록이 존재하는 동일한 프레임의 이전에 코딩된 데이터를 참조하여 코딩될 수 있다. 전형적으로, 비디오 코더들은 미리결정된 순서, 예를 들어 래스터 스캔(raster scan) 순서로 픽셀 블록 단위로 입력 프레임을 코딩한다. 따라서, 프레임 내의 중간 지점에서 입력 픽셀 블록을 코딩하는 경우, 인코더는 코딩 순서로 입력 픽셀 블록에 선행하는 다른 픽셀 블록들의 코딩된 이미지 데이터를 가질 것이다. 선행 픽셀 블록들의 디코딩된 데이터는 중간 픽셀 블록의 데이터가 디코딩될 때 인코더 및 디코더 둘 모두에 이용가능할 수 있고, 따라서, 선행 픽셀 블록들은 예측 기준으로서 사용될 수 있다.
그러한 실시예들에서, 인트라-코딩을 위한 예측 검색 동작들은 입력 픽셀 블록과 수학식 (5) 및 수학식 (10)에 따라 변환된 예측 기준 데이터(동일한 프레임의 이전에 코딩된 픽셀 블록들) 사이에서, 입력 픽셀 블록과 예측 기준 데이터 내의 후보 예측 블록들 사이의 변위에 따라 수행될 수 있다. 따라서, 본 발명의 기술들은 또한 인트라-코딩에서 사용하기 위한 애플리케이션을 발견한다.
도 10은 본 발명의 일 실시예에 따른 코딩 시스템(1000)의 기능적 블록도이다. 시스템(1000)은 픽셀 블록 코더(1010), 픽셀 블록 디코더(1020), 인-루프 필터(in-loop filter) 시스템(1030), 기준 화상 저장소(1040), 변환 유닛(1050), 예측기(1060), 제어기(1070), 및 신택스(syntax) 유닛(1080)을 포함할 수 있다. 픽셀 블록 코더(1010)와 픽셀 블록 디코더(1020) 및 예측기(1060)는 화상의 개별 픽셀 블록들에 대해 반복적으로 동작할 수 있다. 예측기(1060)는 새롭게 제시된 입력 픽셀 블록의 코딩 동안 사용하기 위한 데이터를 예측할 수 있다. 픽셀 블록 코더(1010)는 예측 코딩 기술들에 의해 새로운 픽셀 블록을 코딩하고, 코딩된 픽셀 블록 데이터를 신택스 유닛(1080)에 제시할 수 있다. 픽셀 블록 디코더(1020)는 코딩된 픽셀 블록 데이터를 디코딩하여, 그로부터 디코딩된 픽셀 블록 데이터를 생성할 수 있다. 인-루프 필터(1030)는 픽셀 블록 디코더(1020)에 의해 획득된 디코딩된 픽셀 블록들로부터 어셈블된 디코딩된 화상에 대해 다양한 필터링 동작들을 수행할 수 있다. 필터링된 화상은 기준 화상 저장소(1040) 내에 저장될 수 있고 이후 수신되는 픽셀 블록의 예측의 소스로 사용될 수 있다. 신택스 유닛(1080)은 조정 코딩 프로토콜을 따르는 코딩된 픽셀 블록 데이터로부터의 데이터 스트림을 어셈블할 수 있다.
픽셀 블록 코더(1010)은 감산기(1012), 변환 유닛(1014), 양자화기(1016) 및 엔트로피 코더(1018)를 포함할 수 있다. 픽셀 블록 코더(1010)는 입력 데이터의 픽셀 블록들을 감산기(1012)에 수용할 수 있다. 감산기(1012)는 예측기(1060)로부터 예측된 픽셀 블록들을 수신하고, 그로부터 입력 픽셀 블록과 예측된 픽셀 블록 사이의 차이를 나타내는 픽셀 잔차들의 어레이를 생성할 수 있다. 변환 유닛(1014)은 감산기(1012)로부터 출력된 샘플 데이터에 변환을 적용하여 데이터를 픽셀 도메인으로부터 변환 계수들의 도메인으로 전환할 수 있다. 양자화기(1016)는 변환 유닛(1014)에 의해 출력되는 변환 계수들의 양자화를 수행할 수 있다. 양자화기(1016)는 균일하거나 불균일한 양자화기일 수 있다. 엔트로피 코더(1018)는 예를 들어, 출력을 가변 길이 코드 워드들에 의해 코딩함으로써 계수 양자화기의 출력의 대역폭을 감소시킬 수 있다.
변환 유닛(1014)은 제어기(1070)에 의해 결정되는 다양한 변환 모드들에서 동작할 수 있다. 예를 들어, 변환 유닛(1014)은 이산 코사인 변환(discrete cosine transform, DCT), 이산 사인 변환(discrete sine transform, DST), 월시-아다마르 변환(Walsh-Hadamard transform), 하르 변환(Haar transform), 다우비치 웨이블릿 변환(Daubechies wavelet transform) 등을 적용할 수 있다. 일 실시예에서, 제어기(1070)는 변환 유닛(1015)에 의해 적용될 코딩 모드(M)를 선택할 수 있고, 이에 따라 변환 유닛(1015)을 구성할 수 있고, 코딩 모드(M)를 코딩된 비디오 데이터 내에 명시적 또는 암시적으로 시그널링할 수 있다.
양자화기(1016)는 제어기(1070)에 의해 공급되는 양자화 파라미터(QP)에 따라 동작할 수 있다. 일 실시예에서, 양자화 파라미터(QP)는, 예를 들어, 변환-도메인 픽셀 블록 내의 상이한 계수 위치들에 걸쳐 변할 수 있는 다중 값 양자화 파라미터로서 변환 계수들에 적용될 수 있다. 따라서, 양자화 파라미터(QP)는 양자화 파라미터들 어레이로서 제공될 수 있다.
픽셀 블록 디코더(1020)는 픽셀 블록 코더(1010)의 코딩 동작들을 반전시킬 수 있다. 예를 들어, 픽셀 블록 디코더(1020)는 역양자화기(1022), 역변환 유닛(1024), 및 가산기(1026)를 포함할 수 있다. 픽셀 블록 디코더(1020)는 양자화기(1016)의 출력으로부터 그의 입력 데이터를 취할 수 있다. 허용가능하지만, 픽셀 블록 디코더(1020)는 엔트로피 코딩이 무손실 이벤트이기 때문에 엔트로피 코딩된 데이터의 엔트로피 디코딩을 수행할 필요가 없다. 역양자화기(1022)는 픽셀 블록 코더(1010)의 양자화기(1016)의 동작들을 반전시킬 수 있다. 역양자화기(1022)는 디코딩된 신호(QP)에 의해 특정된 바와 같이 균일하거나 불균일한 역양자화를 수행할 수 있다. 유사하게, 역변환 유닛(1024)은 변환 유닛(1014)의 동작들을 반전시킬 수 있다. 역양자화기(1022) 및 역변환 유닛(1024)은 동일한 양자화 파라미터(QP)들 및 변환 모드(M)를 픽셀 블록 코더(1010) 내의 그들의 대응부들로서 사용할 수 있다. 양자화 동작들은 다양한 경우들에서 데이터를 절단할 가능성이 있으며, 따라서, 역양자화기(1022)에 의해 복구된 데이터는 픽셀 블록 코더(1010) 내의 양자화기(1016)에 제시된 데이터와 비교할 때 코딩 에러들을 가질 가능성이 있다.
가산기(1026)는 감산기(1012)에 의해 수행되는 동작들을 반전시킬 수 있다. 가산기는 예측기(1060)로부터 감산기(1012)가 잔차 신호들을 생성하는 데 사용했던 것과 동일한 예측 픽셀 블록을 수신할 수 있다. 가산기(1026)는 예측 픽셀 블록을 역변환 유닛(1024)에 의해 출력되는 재구성된 잔차 값들에 추가할 수 있고, 재구성된 픽셀 블록 데이터를 출력할 수 있다.
인-루프 필터(1030)는 복구된 픽셀 블록 데이터에 대해 다양한 필터링 동작들을 수행할 수 있다. 예를 들어, 인-루프 필터(1030)는 디블록킹 필터(1032) 및 샘플 적응형 오프셋("SAO") 필터(1033)를 포함할 수 있다. 디블록킹 필터(1032)는 코딩으로 인해 일어나는 픽셀 블록들 사이의 불연속성들을 감소시키기 위해 재구성된 픽셀 블록들 사이의 시임들에서의 데이터를 필터링할 수 있다. SAO 필터들은, 예를 들어, 에지 방향/형상 및/또는 픽셀/컬러 컴포넌트 레벨에 기초하여, SAO "유형"에 따라 오프셋들을 픽셀 값들에 추가할 수 있다. 인-루프 필터(1030)는 제어기(1070)에 의해 선택되는 파라미터들에 따라 동작할 수 있다.
기준 화상 저장소(1040)는 다른 픽셀 블록들의 이후 예측에 사용하기 위해 필터링된 픽셀 데이터를 저장할 수 있다. 상이한 유형들의 예측 데이터가 상이한 예측 모드들에 대해 예측기(1060)에 이용가능하게 된다. 예를 들어, 입력 픽셀 블록에 대해, 인트라 예측은 입력 픽셀 블록이 위치되는 동일한 화상의 디코딩된 데이터로부터 예측 기준을 취한다. 따라서, 기준 화상 저장소(1040)는 각각의 화상이 코딩될 때 그것의 디코딩된 픽셀 블록 데이터를 저장할 수 있다. 동일한 입력 픽셀 블록에 대해, 인터 예측은 이전에 코딩되고 디코딩된 화상(들) - 이들은 기준 화상들로 지정됨 -으로부터 예측 기준을 취할 수 있다. 따라서, 기준 화상 저장소(1040)는 이들 디코딩된 기준 화상들을 저장할 수 있다.
변환 유닛(1050)은 전술한 실시예들에서 논의된 바와 같이 기준 화상 데이터의 변환들을 수행할 수 있다. 따라서, 입력 픽셀 블록과 입력 픽셀 블록에 대한 검색 윈도우 내의 기준 화상 데이터 사이의 변위에 기초하여, 변환 유닛(1050)은 변환된 기준 화상 데이터를 생성할 수 있다. 변환 유닛(1050)은 변환된 기준 화상 데이터를 예측기(1060)로 출력할 수 있다.
논의된 바와 같이, 예측기(1060)는 잔차들을 생성하는 데 사용하기 위해 예측 데이터를 픽셀 블록 코더(1010)에 공급할 수 있다. 예측기(1060)는 인터 예측기(1062), 인트라 예측기(1063) 및 모드 결정 유닛(1064)을 포함할 수 있다. 인터 예측기(1062)는 코딩될 새로운 픽셀 블록을 나타내는 구면-투영된 픽셀 블록 데이터를 수신할 수 있고, 입력 픽셀 블록을 코딩하는 데 사용하기 위해 기준 화상(들)으로부터의 픽셀 블록 데이터에 대해 저장소(1040)로부터의 기준 화상 데이터의 구면 투영들을 검색할 수 있다. 인터 예측기(1062)는 P 모드 코딩 및 B 모드 코딩과 같은 복수의 예측 모드들을 지원할 수 있다. 인터 예측기(1062)는 인터 예측 모드, 및 코딩되고 있는 입력 픽셀 블록에 가장 근접한 매칭을 제공하는 후보 예측 기준 데이터의 식별을 선택할 수 있다. 인터 예측기(1062)는 모션 벡터들과 같은 예측 기준 메타데이터를 생성하여, 어느 기준 화상들의 어느 부분(들)이 입력 픽셀 블록에 대한 예측의 소스(들)로 선택되었는지 식별할 수 있다.
인트라 예측기(1063)는 인트라(I) 모드 코딩을 지원할 수 있다. 인트라 예측기(1063)는 코딩되고 있는 픽셀 블록과 동일한 화상으로부터의 구면-투영된 픽셀 블록 데이터 중에서 구면-투영된 입력 픽셀 블록에 가장 근접한 매칭을 제공하는 것을 검색할 수 있다. 인트라 예측기(1063)는 또한 예측 기준 표시자들을 생성하여 화상의 어느 부분이 입력 픽셀 블록에 대한 예측의 소스로서 선택되었는지 식별할 수 있다.
모드 결정 유닛(1064)은 입력 픽셀 블록에 적용될 최종 코딩 모드를 선택할 수 있다. 전형적으로, 전술된 바와 같이, 모드 결정 유닛(1064)은 목표 비트레이트를 고려하여 비디오가 디코딩되는 경우 최저 왜곡을 달성할 예측 모드를 선택한다. 코딩 모드들이 특정 채널 거동을 만족시키거나, 랜덤 액세스를 지원하는 것과 같은 코딩 시스템(1000)이 준수하는 다른 정책들, 또는 데이터 리프레시 정책들을 만족시키도록 선택되는 경우 예외들이 발생할 수 있다. 모드 결정이 최종 코딩 모드를 선택하는 경우, 모드 결정 유닛(1064)은 저장소(1040)로부터 비구면-투영된 기준 블록을 픽셀 블록 코더(1010) 및 픽셀 블록 디코더(1020)로 출력할 수 있고, 선택된 예측 모드의 식별을 선택된 모드에 대응하는 예측 기준 표시자들과 함께 제어기(1070)에 공급할 수 있다.
제어기(1070)는 코딩 시스템(1000)의 전체 동작을 제어할 수 있다. 제어기(1070)는 입력 픽셀 블록들 및 또한 코딩 비트레이트 목표들 및 다른 동작 파라미터들과 같은 외부 제약들의 분석에 기초하여 픽셀 블록 코더(1010) 및 예측기(1060)에 대한 동작 파라미터들을 선택할 수 있다. 본 논의와 관련된 바와 같이, 양자화 파라미터(QP)들, 균일한 또는 불균일한 양자화기들의 사용, 및/또는 변환 모드(M)를 선택하는 경우, 그러한 파라미터들을 신택스 유닛(1080)에 제공할 수 있으며, 신택스 유닛은 그러한 파라미터들을 나타내는 데이터를 시스템(1000)에 의해 출력되는 코딩된 비디오 데이터의 데이터 스트림 내에 포함할 수 있다.
동작 동안, 제어기(1070)는 양자화기(1016) 및 변환 유닛(1015)의 동작 파라미터들을 이미지 데이터의 상이한 세분성들로 변경할 수 있으며, 픽셀 블록별 단위(per pixel block basis)로, 또는 더 큰 세분성(예를 들어, 화상별, 슬라이스별, 최대 코딩 유닛(largest coding unit, "LCU")별 또는 다른 영역)으로 변경할 수 있다. 일 실시예에서, 양자화 파라미터들은 코딩된 화상 내에서 픽셀별 단위(per-pixel basis)로 변경될 수 있다.
추가적으로, 논의된 바와 같이, 제어기(1070)는 인-루프 필터(1030) 및 예측 유닛(1060)의 동작을 제어할 수 있다. 그러한 제어는, 예측 유닛(1060)에 대해, 모드 선택(람다, 테스트될 모드들, 검색 윈도우들, 왜곡 전략들 등), 및 인-루프 필터(1030)에 대해, 필터 파라미터들, 재정렬 파라미터들, 가중된 예측 등의 선택을 포함할 수 있다.
일 실시예에서, 예측기(1060)는 입력 픽셀 블록 데이터 및 구면 투영부 내의 기준 픽셀 블록 데이터를 사용하여 예측 검색들을 수행할 수 있다. 그러한 예측 기술들의 동작이 2016년 12월 23일자로 출원되고 본 출원의 양수인에게 양도된 미국 특허 출원 제15/390,202 호에 기술되어 있다. 그러한 실시예에서, 코더(1000)는 예측기(1060)에 입력되기 전에 입력 픽셀 블록 데이터를 구면 도메인으로 변환하는 구면 변환 유닛(1090)을 포함할 수 있다. 변환 유닛(1050)은 (위에서 설명된 변환들을 수행하는 것에 더하여) 예측기(1060)에 입력되기 전에 기준 화상 데이터를 구면 도메인으로 변환할 수 있다.
도 11은 본 발명의 일 실시예에 따른 디코딩 시스템(1100)의 기능적 블록도이다. 디코딩 시스템(1100)은 신택스 유닛(1110), 픽셀 블록 디코더(1120), 인-루프 필터(1130), 기준 화상 저장소(1140), 변환 유닛(1150), 예측기(1160), 및 제어기(1170)를 포함할 수 있다. 신택스 유닛(1110)은 코딩된 비디오 데이터 스트림을 수신할 수 있고, 코딩된 데이터를 그것의 구성 부분들로 파싱할 수 있다. 코딩 파라미터들을 나타내는 데이터는 제어기(1170)에 제공될 수 있는 한편, 코딩된 잔차들을 나타내는 데이터(도 10의 픽셀 블록 코더(1010)에 의해 출력된 데이터)는 픽셀 블록 디코더(1120)에 제공될 수 있다. 픽셀 블록 디코더(1120)는 픽셀 블록 코더(1010)(도 10)에 의해 제공되는 코딩 동작들을 반전시킬 수 있다. 인-루프 필터(1130)는 재구성된 픽셀 블록 데이터를 필터링할 수 있다. 재구성된 픽셀 블록 데이터는 디스플레이를 위한 화상들로 어셈블되고, 디코딩 시스템(1100)으로부터 출력 비디오로서 출력될 수 있다. 화상들은 또한 예측 동작들에 사용하기 위해 예측 버퍼(1140)에 저장될 수 있다. 변환 유닛(1150)은 전술한 논의에 기술된 바와 같이, 코딩된 픽셀 블록 데이터에 포함된 모션 벡터들에 의해 식별되는 기준 화상 데이터의 변환을 수행할 수 있다. 예측기(1160)는 코딩된 비디오 데이터 스트림 내에 수신된 코딩 데이터에 의해 결정되는 바에 따라 예측 데이터를 픽셀 블록 디코더(1120)에 공급할 수 있다.
픽셀 블록 디코더(1120)는 엔트로피 디코더(1122), 역양자화기(1124), 역변환 유닛(1126), 및 가산기(1128)를 포함할 수 있다. 엔트로피 디코더(1122)는 엔트로피 코더(1018)(도 10)에 의해 수행되는 프로세스들을 반전시키기 위해 엔트로피 디코딩을 수행할 수 있다. 역양자화기(1124)는 픽셀 블록 코더(1010)(도 10)의 양자화기(1016)의 동작들을 반전시킬 수 있다. 유사하게, 역변환 유닛(1126)은 변환 유닛(1014)(도 10)의 동작들을 반전시킬 수 있다. 그들은 코딩된 비디오 데이터 스트림 내에 제공되는 양자화 파라미터(QP)들 및 변환 모드(M)들을 사용할 수 있다. 양자화는 데이터를 절단할 가능성이 있기 때문에, 역양자화기(1124)에 의해 복구된 데이터는 픽셀 블록 코더(1010)(도 10) 내의 그것의 대응 양자화기(1016)에 제시된 입력 데이터와 비교할 때 코딩 에러들을 가질 가능성이 있다.
가산기(1128)는 감산기(1011)(도 10)에 의해 수행되는 동작들을 반전시킬 수 있다. 그것은 코딩된 비디오 데이터 스트림 내의 예측 기준들에 의해 결정되는 바에 따라 예측기(1160)로부터 예측 픽셀 블록을 수신할 수 있다. 가산기(1128)는 예측 픽셀 블록을 역변환 유닛(1126)에 의해 출력되는 재구성된 잔차 값들에 추가할 수 있고, 재구성된 픽셀 블록 데이터를 출력할 수 있다.
인-루프 필터(1130)는 재구성된 픽셀 블록 데이터에 대해 다양한 필터링 동작들을 수행할 수 있다. 예시된 바와 같이, 인-루프 필터(1130)는 디블록킹 필터(deblocking filter)(1132) 및 SAO 필터(1134)를 포함할 수 있다. 디블록킹 필터(1132)는 코딩으로 인해 일어나는 픽셀 블록들 사이의 불연속성들을 감소시키기 위해 재구성된 픽셀 블록들 사이의 시임들에서의 데이터를 필터링할 수 있다. SAO 필터(1134)들은, 예를 들어, 에지 방향/형상 및/또는 픽셀 레벨에 기초하여, SAO 유형에 따라 오프셋을 픽셀 값들에 추가할 수 있다. 다른 유형들의 인-루프 필터들이 또한 유사한 방식으로 사용될 수 있다. 디블록킹 필터(1132) 및 SAO 필터(1134)의 동작은 이상적으로는 코딩 시스템(1000)(도 10) 내의 그들의 대응부들의 동작을 모방할 것이다. 따라서, 송신 에러들 또는 다른 이상들의 부재 시, 디코딩 시스템(1100)의 인-루프 필터(1130)로부터 획득된 디코딩된 화상은 코딩 시스템(1000)(도 10)의 인-루프 필터(1030)로부터 획득된 디코딩된 화상과 동일할 것이며; 이러한 방식으로, 코딩 시스템(1000) 및 디코딩 시스템(1100)은 그들 각자의 기준 화상 저장소들(1040, 1140)에 공통 세트의 기준 화상들을 저장해야 한다.
기준 화상 저장소(1140)들은 다른 픽셀 블록들의 이후 예측에 사용하기 위해 필터링된 픽셀 데이터를 저장할 수 있다. 기준 화상 저장소(1140)들은 인트라 예측에 사용하기 위해 코딩될 때 각각의 화상의 디코딩된 픽셀 블록 데이터를 저장할 수 있다. 기준 화상 저장소(1140)들은 또한 디코딩된 기준 화상들을 저장할 수 있다.
변환 유닛(1150)은 전술한 실시예들에서 논의된 바와 같이 기준 화상 데이터의 변환들을 수행할 수 있다. 디코더(1100)에서, 변환 유닛(1150)은 코딩된 비디오 데이터에 포함된 모션 벡터들에 의해 식별되는 기준 화상의 변환들을 수행하기에 충분하다. 모션 벡터는 인코더(1000)(도 10)가 기준 블록을 도출했던 기준 화상 내의 위치를 디코더(1100)에게 식별해 줄 수 있다. 디코더의 변환 유닛(1150)은 변환된 기준 블록 데이터를 생성하기 위해, 모션 벡터를 사용하여, 그리고 디코딩되고 있는 픽셀 블록 및 기준 블록에 기초하여, 기준 화상 데이터의 동일한 변환을 수행할 수 있다.
논의된 바와 같이, 예측기(1160)는 변환된 기준 블록 데이터를 픽셀 블록 디코더(1120)에 공급할 수 있다. 예측기(1160)는 코딩된 비디오 데이터 스트림 내에 공급된 예측 기준 표시자들에 의해 결정되는 바에 따라 예측된 픽셀 블록 데이터를 공급할 수 있다.
제어기(1170)는 코딩 시스템(1100)의 전체 동작을 제어할 수 있다. 제어기(1170)는 코딩된 비디오 데이터 스트림 내에 수신된 파라미터들에 기초하여 픽셀 블록 디코더(1120) 및 예측기(1160)에 대한 동작 파라미터들을 설정할 수 있다. 본 논의와 관련된 바와 같이, 이러한 동작 파라미터들은 역양자화기(1124)에 대한 양자화 파라미터(QP)들 및 역변환 유닛(1115)에 대한 변환 모드(M)들을 포함할 수 있다. 논의된 바와 같이, 수신된 파라미터들은 이미지 데이터의 다양한 세분성들로 설정될 수 있으며, 예를 들어, 픽셀 블록별 단위, 화상별 단위, 슬라이스별 단위, LCU별 단위, 또는 입력 이미지에 대해 정의된 다른 유형들의 영역들에 기초하여 설정될 수 있다.
실제로, 인코더들 및 디코더들은 수행되는 코딩 동작들의 파라미터들을 식별하기 위해 시그널링을 교환할 수 있다. 시그널링은 전형적으로, 이러한 파라미터의 통신을 위한 신택스 요소들을 정의하는 HEVC, AVC 및 관련 프로토콜들과 같은 코딩 프로토콜을 참조하여 수행된다. 일 실시예에서, 전술한 실시예들의 기술들은, 다음에 의한 것과 같이, 시퀀스 파라미터 데이터세트에 "reference_ correction_ id"로 불리는 새로운 파라미터를 추가하는 HEVC 코딩 프로토콜과 통합될 수 있다:
일 실시예에서, reference_correction_id는 다음과 같은 값들을 취할 수 있다:
여기서:
reference_correction_id = 0은 특별한 처리가 수행되지 않음을 나타내고,
reference_correction_id = 1은 수평 왜곡 보정만이 수행된다는 것을 나타내고,
reference_correction_id = 2는 수직 왜곡 보정만이 수행된다는 것을 나타내고,
reference_correction_id = 3은 수평 왜곡 보정이 먼저 수행되고, 이어서 상이한 행 내의 각각의 블록에 대해 수직 보정이 수행됨을 나타낸다.
reference_correction_id = 4는 수직 왜곡 보정이 먼저 수행되고, 이어서 상이한 열 내의 각각의 블록에 대해 수평 보정이 수행됨을 나타낸다.
reference_correction_id = 5는 블록 단위(block by block) 변환들이 예측 검색들 동안 각각의 기준 후보에 대해 적용됨을 나타낸다.
물론, 코딩 파라미터들은 요구될 수 있는 바에 따라 상이한 신택스에 따라 시그널링될 수 있다.
전술된 논의에서 비디오 코더들 및 디코더들과 관련하여 본 발명의 실시예들의 동작을 기술하였다. 통상, 이들 컴포넌트들은 전자 디바이스들로서 제공된다. 비디오 디코더들 및/또는 제어기들은 주문형 집적 회로들, 필드 프로그래밍가능 게이트 어레이들 및/또는 디지털 신호 프로세서들과 같은 집적 회로들 내에 내장될 수 있다. 대안적으로, 그들은 카메라 디바이스들, 개인용 컴퓨터들, 노트북 컴퓨터들, 태블릿 컴퓨터들, 스마트폰들 또는 컴퓨터 서버들 상에서 실행되는 컴퓨터 프로그램들 내에 내장될 수 있다. 그러한 컴퓨터 프로그램들은 전형적으로, 전자, 자기 및/또는 광학 기반 저장 디바이스들과 같은 물리적 저장 매체들에 저장되고, 여기서 이들은 프로세서로 판독 및 실행된다. 디코더들은 통상적으로, 스마트폰들, 태블릿 컴퓨터들, 게임 시스템들, DVD 플레이어들, 휴대용 미디어 플레이어들 등과 같은 소비자 전자 디바이스들 내에 패키징되고, 이들은 또한 비디오 게임들, 미디어 플레이어들, 미디어 편집기들 등과 같은 소비자 소프트웨어 애플리케이션들 내에 패키징될 수 있다. 그리고, 물론 이러한 컴포넌트들은 요구되는 바에 따라 전용 하드웨어 컴포넌트들 및 프로그래밍된 범용 프로세서들에 걸쳐 기능을 분산시키는 하이브리드 시스템들로서 제공될 수 있다.
예를 들어, 본 명세서에 기술된 기술들은 컴퓨터 시스템의 중앙 프로세서에 의해 수행될 수 있다. 도 12는 그러한 기술들을 수행할 수 있는 예시적인 컴퓨터 시스템(1200)을 예시한다. 컴퓨터 시스템(1200)은 서로 통신하도록 제공되는, 중앙 프로세서(1210), 하나 이상의 카메라들(1220), 메모리(1230), 및 송수신기(1240)를 포함할 수 있다. 카메라(1220)는 이미지 캡처를 수행할 수 있고, 캡처된 이미지 데이터를 메모리(1230)에 저장할 수 있다. 옵션적으로, 디바이스는 또한 요구되는 바에 따라 코더(1250) 및 디스플레이(1260)와 같은 싱크(sink) 컴포넌트들을 포함할 수 있다.
중앙 프로세서(1210)는 시스템(1200)의 운영 체제(1212) 및 다양한 애플리케이션들(1214.1 내지 1214.N)을 정의하는, 메모리(1230)에 저장된 다양한 프로그램 명령어들을 판독 및 실행할 수 있다. 프로그램 명령어들은 본 명세서에 기술된 기술들에 따라 코딩 모드 제어를 수행할 수 있다. 중앙 프로세서(1210)가 프로그램 명령어들을 실행함에 따라, 중앙 프로세서는 메모리(1230)로부터, 카메라(1220) 또는 애플리케이션들(1214.1 내지 1214.N) 중 어느 하나에 의해 생성된 이미지 데이터를 판독할 수 있으며, 이는 송신을 위해 코딩될 수 있다. 중앙 프로세서(1210)는 도 6의 원리들에 따라 동작하는 프로그램을 실행할 수 있다. 대안적으로, 시스템(1200)은 독립형 프로세싱 시스템 및/또는 집적 회로로서 제공되는 전용 코더(1250)를 가질 수 있다.
지시된 바와 같이, 메모리(1230)는, 실행될 때, 프로세서로 하여금 전술된 기술들을 수행하게 하는 프로그램 명령어들을 저장할 수 있다. 메모리(1230)는 프로그램 명령어들을 전기, 자기 및/또는 광학 기반 저장 매체들에 저장할 수 있다.
송수신기(1240)는 송신 유닛들을 송신하고 네트워크(도시되지 않음)로부터 확인응답 메시지(acknowledgement message)들을 수신하기 위한 통신 시스템을 나타낼 수 있다. 중앙 프로세서(1210)가 소프트웨어 기반 비디오 코더를 동작시키는 일 실시예에서, 송수신기(1240)는 프로세서(1210)에 의해 검색하기 위해, 메모리(1230) 내의 확인응답 메시지의 상태를 나타내는 데이터를 배치할 수 있다. 시스템(1200)이 전용 코더를 갖는 일 실시예에서, 송수신기(1240)는 상태 정보를 코더(1250)와 교환할 수 있다.
전술된 설명은 예시 및 설명의 목적을 위해 제공되었다. 이는 망라하는 것이 아니며, 본 발명의 실시예들을 개시된 바로 그 형태들로 한정하지 않는다. 수정들 및 변경들이 위의 교시에 비추어 가능하거나, 본 발명에 따른 실시 중인 실시예들로부터 획득될 수 있다. 본 명세서에서 달리 설명되지 않는 한, 방법들 중 임의의 방법이 임의의 조합으로 실시될 수 있다.
Claims (29)
- 다방향성(multi-directional) 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법으로서,
기준 화상(reference picture)으로부터, 상기 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 변환하는 단계 - 상기 변환은 상기 검색 윈도우 내의 콘텐츠 요소들의 구면 도메인 변환에 의하고, 상기 콘텐츠 요소들의 각각은 상기 입력 픽셀 블록의 위치와 상기 검색 윈도우 내의 상기 콘텐츠 요소의 위치 사이의 변위에 따라 변환됨 -,
상기 기준 화상의 상기 구면 도메인 변환된 콘텐츠 내에서 예측 검색을 수행하여 상기 입력 픽셀 블록과 상기 기준 화상의 상기 변환된 콘텐츠의 매칭 부분 사이의 매칭을 식별하는 단계, 및
매칭이 식별되는 경우, 상기 입력 픽셀 블록을 상기 매칭 부분에 대해 차별적으로 코딩하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법. - 제1항에 있어서, 상기 변환하는 단계는, 상기 검색 윈도우 내의 각각의 후보 모션 벡터에 대해, 상기 기준 화상으로부터 상기 후보 모션 벡터에 의해 식별된 기준 블록을 변환하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 행에 대해, 상기 변환하는 단계는 상기 픽셀 블록들의 행에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 열들을 따라 수직으로 변환하는 단계를 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 행 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 열에 대해, 상기 변환하는 단계는 상기 픽셀 블록들의 열에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 행들을 따라 수평으로 변환하는 단계를 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 열 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 변환하는 단계는 상기 입력 픽셀 블록을 포함하는 프레임에 대해 식별된 모션 방향을 따르는 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 변환하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 코딩하는 단계는 인트라-코딩(intra-coding) 예측 모드를 사용하고, 상기 기준 화상은 상기 입력 픽셀 블록이 위치되는 동일한 프레임의 이전에 코딩된 데이터의 디코딩된 데이터를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 코딩하는 단계는 인터-코딩(inter-coding) 예측 모드를 사용하고, 상기 기준 화상은 상기 입력 픽셀 블록이 위치되는 프레임의 코딩에 앞서 코딩되었던 다른 프레임의 디코딩된 데이터를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 다방향성 이미지 콘텐츠는 어안 렌즈들을 갖는 다시점 카메라(multi-view camera)에 의해 생성되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 다방향성 이미지 콘텐츠는 전방향성(omnidirectional) 카메라에 의해 생성되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 다방향성 이미지 콘텐츠는 컴퓨터 애플리케이션에 의해 생성되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서, 상기 코딩하는 단계는
상기 입력 픽셀 블록의 픽셀들과 상기 변환된 기준 화상의 상기 매칭 부분 사이의 차이들을 나타내는 예측 잔차(prediction residual)들을 계산하는 단계,
상기 예측 잔차들을 변환 계수들로 변환하는 단계,
상기 변환 계수들을 양자화하는 단계, 및
상기 양자화된 계수들을 엔트로피 코딩(entropy coding)하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법. - 제1항에 있어서, 상기 입력 픽셀 블록의 코딩된 데이터와 함께, 상기 기준 화상 상에 수행된 변환의 유형을 식별하는 파라미터를 송신하는 단계를 추가로 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
- 제1항에 있어서,
복수의 입력 픽셀 블록들을 상기 인코더에 의해 코딩하는 단계를 추가로 포함하고, 각각 각자의 픽셀 블록을 코딩하는 것은,
상기 각자의 픽셀 블록에 적용될 예측 모드를 추정하는 것,
상기 추정된 예측 모드가 인터-코딩 모드인 경우, 상기 변환, 상기 예측 검색 및 상기 차별적 코딩을 수행하는 것에 의해 상기 각자의 픽셀 블록을 코딩하는 것, 및
상기 추정된 예측 모드가 인트라-코딩 모드인 경우, 상기 변환, 상기 예측 검색 및 상기 차별적 코딩을 수행하지 않고 상기 각자의 픽셀 블록을 코딩하는 것을 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법. - 제1항에 있어서,
상기 입력 픽셀 블록이 속하는 프레임의 글로벌 모션을 추정하는 단계를 추가로 포함하며,
상기 변환하는 단계는 상기 기준 화상을 상기 입력 픽셀 블록의 프레임에 대해 공간적으로 정렬하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법. - 프로그램 명령어들이 저장된 비일시적인(non-transitory) 컴퓨터 판독가능 저장 매체로서, 상기 프로그램 명령어들은 프로세싱 인코더 디바이스에 의해 실행될 때, 상기 인코더 디바이스로 하여금
기준 화상으로부터, 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 변환하고 - 상기 변환은 상기 검색 윈도우 내의 콘텐츠 요소들의 구면 도메인 변환에 의하고, 상기 콘텐츠 요소들의 각각은 상기 입력 픽셀 블록의 위치와 상기 검색 윈도우 내의 상기 콘텐츠 요소의 위치 사이의 변위에 따라 변환됨 -,
상기 기준 화상의 상기 구면 도메인 변환된 콘텐츠 내에서 예측 검색을 수행하여 상기 입력 픽셀 블록과 상기 기준 화상의 상기 변환된 콘텐츠의 매칭 부분 사이의 매칭을 식별하고,
매칭이 식별되는 경우, 상기 입력 픽셀 블록을 상기 매칭 부분에 대해 차별적으로 코딩하게 하는, 컴퓨터 판독가능 저장 매체. - 제15항에 있어서, 상기 변환하는 것은, 상기 검색 윈도우 내의 각각의 후보 모션 벡터에 대해, 상기 기준 화상으로부터 상기 후보 모션 벡터에 의해 식별된 기준 블록을 변환하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제15항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 행에 대해, 상기 변환하는 것은 상기 픽셀 블록들의 행에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 열들을 따라 수직으로 변환하는 것을 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 행 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 컴퓨터 판독가능 저장 매체.
- 제15항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 열에 대해, 상기 변환하는 것은 상기 픽셀 블록들의 열에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 행들을 따라 수평으로 변환하는 것을 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 열 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 컴퓨터 판독가능 저장 매체.
- 제15항에 있어서, 다방향성 이미지 콘텐츠가 어안 렌즈들을 갖는 다방향성 카메라에 의해 생성되는, 컴퓨터 판독가능 저장 매체.
- 제15항에 있어서, 다방향성 이미지 콘텐츠가 전방향성 카메라에 의해 생성되는, 컴퓨터 판독가능 저장 매체.
- 제15항에 있어서, 다방향성 이미지 콘텐츠가 컴퓨터 애플리케이션에 의해 생성되는, 컴퓨터 판독가능 저장 매체.
- 제15항에 있어서, 상기 코딩하는 것은
상기 입력 픽셀 블록의 픽셀들과 상기 변환된 기준 화상의 상기 매칭 부분 사이의 차이들을 나타내는 예측 잔차들을 계산하는 것,
상기 예측 잔차들을 변환 계수들로 변환하는 것,
상기 변환 계수들을 양자화하는 것, 및
상기 양자화된 계수들을 엔트로피 코딩하는 것을 포함하는, 컴퓨터 판독가능 저장 매체. - 제15항에 있어서, 상기 프로그램 명령어들은 상기 디바이스로 하여금 상기 입력 픽셀 블록의 코딩된 데이터와 함께, 상기 기준 화상 상에 수행된 변환의 유형을 식별하는 파라미터를 송신하게 하는, 컴퓨터 판독가능 저장 매체.
- 비디오 인코더로서,
픽셀 블록 코더,
상기 픽셀 블록 코더의 출력에 결합된 입력을 갖는 픽셀 블록 디코더,
상기 픽셀 블록 디코더로부터 출력된 픽셀 블록들로부터의 기준 화상들을 저장하는 기준 화상 저장소,
상기 기준 화상 저장소로부터의, 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 기준 화상 콘텐츠를 변환하는 변환 유닛 - 상기 변환은 상기 검색 윈도우 내의 콘텐츠 요소들의 구면 도메인 변환에 의하고, 상기 콘텐츠 요소들의 각각은 상기 입력 픽셀 블록의 위치와 상기 검색 윈도우 내의 상기 콘텐츠 요소의 위치 사이의 변위에 따라 변환됨 -, 및
모션 예측기를 포함하는, 비디오 인코더. - 제24항에 있어서, 상기 검색 윈도우 내의 각각의 후보 모션 벡터에 대해, 상기 변환 유닛은 상기 기준 화상으로부터 상기 후보 모션 벡터에 의해 식별된 기준 블록을 변환하는, 비디오 인코더.
- 제24항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 행에 대해, 상기 변환 유닛은 상기 픽셀 블록들의 행에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 열들을 따라 수직으로 변환하고, 상기 모션 예측기는 상기 행 내의 다른 픽셀 블록들의 예측 검색들을 위해 상기 기준 화상의 상기 변환된 콘텐츠를 사용하는, 비디오 인코더.
- 제24항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 열에 대해, 상기 변환 유닛은 상기 픽셀 블록들의 열에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 행들을 따라 수평으로 변환하고, 상기 모션 예측기는 상기 열 내의 다른 픽셀 블록들의 예측 검색들을 위해 상기 기준 화상의 상기 변환된 콘텐츠를 사용하는, 비디오 인코더.
- 코딩된 픽셀 블록을 디코더에 의해 디코딩하는 방법으로서,
기준 화상으로부터, 상기 코딩된 픽셀 블록의 데이터 내에 제공되는 모션 벡터에 의해 식별되는 기준 블록을 변환하는 단계 - 상기 변환은 구면 도메인 변환에 의하고, 상기 기준 블록은 상기 코딩된 픽셀 블록의 위치와 상기 기준 블록의 위치 사이의 변위에 기초하여 변환됨 -, 및
입력 픽셀 블록을, 상기 코딩된 픽셀 블록의 다른 데이터를 사용하여, 상기 변환된 기준 블록에 대해 차별적으로 디코딩하는 단계를 포함하는, 코딩된 픽셀 블록을 디코더에 의해 디코딩하는 방법. - 제28항에 있어서, 상기 변환하는 단계는 상기 코딩된 픽셀 블록의 상기 다른 데이터 내에 식별된 변환의 유형에 따라 수행되는, 코딩된 픽셀 블록을 디코더에 의해 디코딩하는 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/433,505 US11259046B2 (en) | 2017-02-15 | 2017-02-15 | Processing of equirectangular object data to compensate for distortion by spherical projections |
US15/433,505 | 2017-02-15 | ||
PCT/US2018/017124 WO2018151978A1 (en) | 2017-02-15 | 2018-02-06 | Processing of equirectangular object data to compensate for distortion by spherical projections |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190104053A KR20190104053A (ko) | 2019-09-05 |
KR102254986B1 true KR102254986B1 (ko) | 2021-05-24 |
Family
ID=61257111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020197023206A KR102254986B1 (ko) | 2017-02-15 | 2018-02-06 | 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11259046B2 (ko) |
EP (1) | EP3566451B1 (ko) |
JP (1) | JP6899443B2 (ko) |
KR (1) | KR102254986B1 (ko) |
CN (1) | CN110268716B (ko) |
WO (1) | WO2018151978A1 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
US20190005709A1 (en) * | 2017-06-30 | 2019-01-03 | Apple Inc. | Techniques for Correction of Visual Artifacts in Multi-View Images |
US11582599B2 (en) * | 2018-04-09 | 2023-02-14 | Nokia Technologies Oy | Method and apparatus for remote provisioning of protection policies in an edge node based on signaling between edge nodes |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160142697A1 (en) * | 2014-11-14 | 2016-05-19 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
US20170013279A1 (en) * | 2012-11-13 | 2017-01-12 | Ntel Corporation | Content adaptive dominant motion compensated prediction for next generation video coding |
Family Cites Families (532)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2191917A (en) | 1986-06-16 | 1987-12-23 | Ibm | A multiple window display system |
US5448687A (en) | 1988-09-13 | 1995-09-05 | Computer Design, Inc. | Computer-assisted design system for flattening a three-dimensional surface and for wrapping a flat shape to a three-dimensional surface |
EP0462565B1 (en) | 1990-06-19 | 1995-12-27 | Fujitsu Limited | Multiwindow display control method and apparatus |
US5359363A (en) | 1991-05-13 | 1994-10-25 | Telerobotics International, Inc. | Omniview motionless camera surveillance system |
US5185667A (en) | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
US5313306A (en) | 1991-05-13 | 1994-05-17 | Telerobotics International, Inc. | Omniview motionless camera endoscopy system |
US5990941A (en) | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
US7382399B1 (en) | 1991-05-13 | 2008-06-03 | Sony Coporation | Omniview motionless camera orientation system |
US5262777A (en) | 1991-11-16 | 1993-11-16 | Sri International | Device for generating multidimensional input signals to a computer |
US5787207A (en) | 1991-12-30 | 1998-07-28 | Golin; Stuart J. | Method and apparatus for minimizing blockiness in reconstructed images |
US5684937A (en) | 1992-12-14 | 1997-11-04 | Oxaal; Ford | Method and apparatus for performing perspective transformation on visible stimuli |
US5537155A (en) | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
KR960706261A (ko) | 1994-08-31 | 1996-11-08 | 이데이 노부유키 | 정지 화상 시스템(Still picture system) |
US5715016A (en) | 1995-04-05 | 1998-02-03 | Graphic Communication Laboratories | Motion estimation method and apparatus for calculating a motion vector |
US5689800A (en) | 1995-06-23 | 1997-11-18 | Intel Corporation | Video feedback for reducing data rate or increasing quality in a video processing system |
US6031540A (en) | 1995-11-02 | 2000-02-29 | Imove Inc. | Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery |
JP3994445B2 (ja) | 1995-12-05 | 2007-10-17 | ソニー株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
JP2798035B2 (ja) | 1996-01-17 | 1998-09-17 | 日本電気株式会社 | 適応動きベクトル補間による動き補償フレーム間予測方法 |
US5903270A (en) | 1997-04-15 | 1999-05-11 | Modacad, Inc. | Method and apparatus for mapping a two-dimensional texture onto a three-dimensional surface |
US6459451B2 (en) | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
US6331869B1 (en) | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
US6043837A (en) | 1997-05-08 | 2000-03-28 | Be Here Corporation | Method and apparatus for electronically distributing images from a panoptic camera system |
JPH10327415A (ja) | 1997-05-22 | 1998-12-08 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
US6993201B1 (en) | 1997-07-08 | 2006-01-31 | At&T Corp. | Generalized scalability for video coder based on video objects |
JPH11119303A (ja) | 1997-10-20 | 1999-04-30 | Fujitsu Ltd | 監視システム及び監視方法 |
KR100269125B1 (ko) | 1997-10-25 | 2000-10-16 | 윤덕용 | 양자화효과감소를위한영상데이터후처리방법및장치 |
US6144890A (en) | 1997-10-31 | 2000-11-07 | Lear Corporation | Computerized method and system for designing an upholstered part |
JPH11308574A (ja) | 1998-04-22 | 1999-11-05 | Sony Corp | 走査線数変換装置及び方法 |
US6535643B1 (en) | 1998-11-03 | 2003-03-18 | Lg Electronics Inc. | Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor |
US6204854B1 (en) | 1998-12-04 | 2001-03-20 | France Telecom | Method and system for encoding rotations and normals in 3D generated scenes |
US6850565B2 (en) | 1998-12-18 | 2005-02-01 | Intel Corporation | Real time bit rate control system |
US6222883B1 (en) | 1999-01-28 | 2001-04-24 | International Business Machines Corporation | Video encoding motion estimation employing partitioned and reassembled search window |
US6690374B2 (en) | 1999-05-12 | 2004-02-10 | Imove, Inc. | Security camera system for tracking moving objects in both forward and reverse directions |
US7050085B1 (en) | 2000-10-26 | 2006-05-23 | Imove, Inc. | System and method for camera calibration |
JP2001008232A (ja) | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US6769131B1 (en) | 1999-11-18 | 2004-07-27 | Canon Kabushiki Kaisha | Image processing apparatus and method, image distribution system and storage medium |
FR2802002B1 (fr) | 1999-12-02 | 2002-03-01 | Ge Medical Syst Sa | Procede de recalage automatique d'images tridimensionnelles |
JP2001189902A (ja) | 1999-12-28 | 2001-07-10 | Nec Corp | ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置 |
US6559853B1 (en) | 2000-02-16 | 2003-05-06 | Enroute, Inc. | Environment map creation using texture projections with polygonal curved surfaces |
US7259760B1 (en) | 2000-02-16 | 2007-08-21 | Be Here Corporation | Polygonal curvature mapping to increase texture efficiency |
GB2363019B (en) | 2000-04-07 | 2004-02-25 | Discreet Logic Inc | Processing image data |
US6973130B1 (en) | 2000-04-25 | 2005-12-06 | Wee Susie J | Compressed video signal including information for independently coded regions |
US7149549B1 (en) | 2000-10-26 | 2006-12-12 | Ortiz Luis M | Providing multiple perspectives for a venue activity through an electronic hand held device |
US7095905B1 (en) | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
US20020080878A1 (en) | 2000-10-12 | 2002-06-27 | Webcast Technologies, Inc. | Video apparatus and method for digital video enhancement |
US7742073B1 (en) | 2000-11-01 | 2010-06-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device |
US7327787B1 (en) | 2000-11-20 | 2008-02-05 | Intel Corporation | Method and apparatus for motion estimation |
US6952286B2 (en) | 2000-12-07 | 2005-10-04 | Eastman Kodak Company | Doubleprint photofinishing service with the second print having subject content-based modifications |
US7003061B2 (en) | 2000-12-21 | 2006-02-21 | Adobe Systems Incorporated | Image extraction from complex scenes in digital video |
US8253754B2 (en) | 2001-01-16 | 2012-08-28 | Microsoft Corporation | Sampling-efficient mapping of images |
GB0101371D0 (en) | 2001-01-19 | 2001-03-07 | Virtual Mirrors Ltd | Production and visualisation of garments |
WO2002080521A2 (en) | 2001-03-30 | 2002-10-10 | Digeo, Inc. | System and method for a software steerable web camera with multiple image subset capture |
US6756990B2 (en) | 2001-04-03 | 2004-06-29 | Be Here Corporation | Image filtering on 3D objects using 2D manifolds |
US7006707B2 (en) | 2001-05-03 | 2006-02-28 | Adobe Systems Incorporated | Projecting images onto a surface |
JP4446663B2 (ja) | 2001-05-11 | 2010-04-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 医療レポートを作成する方法、システム及びコンピュータプログラム |
US7450749B2 (en) | 2001-07-06 | 2008-11-11 | Koninklijke Electronics N.V. | Image processing method for interacting with a 3-D surface represented in a 3-D image |
WO2003019471A2 (en) | 2001-08-25 | 2003-03-06 | Eyesee360,Inc. | Method and apparatus for encoding photogrraphic images |
WO2003027766A2 (en) | 2001-09-27 | 2003-04-03 | Eyesee360, Inc. | System and method for panoramic imaging |
US7039113B2 (en) | 2001-10-16 | 2006-05-02 | Koninklijke Philips Electronics N.V. | Selective decoding of enhanced video stream |
US7161599B2 (en) | 2001-10-18 | 2007-01-09 | Microsoft Corporation | Multiple-level graphics processing system and method |
JP2003141562A (ja) | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
US20030099294A1 (en) | 2001-11-27 | 2003-05-29 | Limin Wang | Picture level adaptive frame/field coding for digital video content |
JP4082021B2 (ja) | 2001-11-29 | 2008-04-30 | コニカミノルタホールディングス株式会社 | テクスチャ画像生成プログラム、テクスチャ画像データ及びデータ処理装置 |
CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
US7782357B2 (en) | 2002-06-21 | 2010-08-24 | Microsoft Corporation | Minimizing dead zones in panoramic images |
US20040022322A1 (en) | 2002-07-19 | 2004-02-05 | Meetrix Corporation | Assigning prioritization during encode of independently compressed objects |
US7023921B2 (en) | 2002-08-06 | 2006-04-04 | Motorola, Inc. | Method and apparatus for determining block match quality |
US6925123B2 (en) | 2002-08-06 | 2005-08-02 | Motorola, Inc. | Method and apparatus for performing high quality fast predictive motion search |
US20040032906A1 (en) | 2002-08-19 | 2004-02-19 | Lillig Thomas M. | Foreground segmentation for digital video |
US20040056900A1 (en) | 2002-09-23 | 2004-03-25 | Blume Leo R | System and method for window priority rendering |
SE0203908D0 (sv) | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
US7385995B2 (en) | 2003-01-13 | 2008-06-10 | Brooktree Broadband Holding, Inc. | System and method for dynamic bandwidth allocation on PONs |
US8027473B2 (en) | 2003-01-13 | 2011-09-27 | Conexant Systems, Inc. | System and method for improved data protection in PONs |
US7995652B2 (en) | 2003-03-20 | 2011-08-09 | Utc Fire & Security Americas Corporation, Inc. | Systems and methods for multi-stream image processing |
US8065614B2 (en) | 2003-04-09 | 2011-11-22 | Ati Technologies, Inc. | System for displaying video and method thereof |
RU2225035C1 (ru) | 2003-04-21 | 2004-02-27 | Общество с ограниченной ответственностью "Р.Т.С.-Сервис" | Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства |
TW594594B (en) | 2003-05-16 | 2004-06-21 | Ind Tech Res Inst | A multilevel texture processing method for mapping multiple images onto 3D models |
US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
US7212206B2 (en) | 2003-08-20 | 2007-05-01 | Sony Computer Entertainment Inc. | Method and apparatus for self shadowing and self interreflection light capture |
US7719978B2 (en) | 2003-09-12 | 2010-05-18 | Newsouth Innovations Pty Limited | Method for transmitting data over lossy packet-based communication networks |
US7433535B2 (en) | 2003-09-30 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Enhancing text-like edges in digital images |
US20050069682A1 (en) | 2003-09-30 | 2005-03-31 | Tan Tseng | Custom 3-D Milled Object with Vacuum-Molded 2-D Printout Created from a 3-D Camera |
JP2005159824A (ja) | 2003-11-27 | 2005-06-16 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそれらの記録媒体 |
KR100657261B1 (ko) | 2003-12-10 | 2006-12-14 | 삼성전자주식회사 | 적응적 움직임 보상 보간 방법 및 장치 |
US20050204113A1 (en) | 2004-03-09 | 2005-09-15 | International Business Machines Corp. | Method, system and storage medium for dynamically selecting a page management policy for a memory controller |
EP1589763A2 (en) * | 2004-04-20 | 2005-10-26 | Sony Corporation | Image processing apparatus, method and program |
US7496141B2 (en) | 2004-04-29 | 2009-02-24 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
US7400679B2 (en) | 2004-04-29 | 2008-07-15 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
US20050286777A1 (en) * | 2004-06-27 | 2005-12-29 | Roger Kumar | Encoding and decoding images |
US8442311B1 (en) | 2005-06-30 | 2013-05-14 | Teradici Corporation | Apparatus and method for encoding an image generated in part by graphical commands |
US7929800B2 (en) | 2007-02-06 | 2011-04-19 | Meadow William D | Methods and apparatus for generating a continuum of image data |
US8194093B2 (en) | 2004-09-15 | 2012-06-05 | Onlive, Inc. | Apparatus and method for capturing the expression of a performer |
US20060055706A1 (en) | 2004-09-15 | 2006-03-16 | Perlman Stephen G | Apparatus and method for capturing the motion of a performer |
US7660245B1 (en) | 2004-09-16 | 2010-02-09 | Qualcomm Incorporated | FEC architecture for streaming services including symbol-based operations and packet tagging |
EP1795006A2 (en) | 2004-09-24 | 2007-06-13 | Koninklijke Philips Electronics N.V. | System and method for the production of composite images comprising or using one or more cameras for providing overlapping images |
US7978761B2 (en) | 2004-10-05 | 2011-07-12 | Vectormax Corporation | Method and system for loss-tolerant multimedia multicasting |
KR20070086037A (ko) | 2004-11-12 | 2007-08-27 | 목3, 인크. | 장면 간 전환 방법 |
US7620261B2 (en) | 2004-11-23 | 2009-11-17 | Stmicroelectronics Asia Pacific Pte. Ltd. | Edge adaptive filtering system for reducing artifacts and method |
US7432936B2 (en) | 2004-12-02 | 2008-10-07 | Avid Technology, Inc. | Texture data anti-aliasing method and apparatus |
US8576924B2 (en) | 2005-01-25 | 2013-11-05 | Advanced Micro Devices, Inc. | Piecewise processing of overlap smoothing and in-loop deblocking |
US7792385B2 (en) | 2005-01-25 | 2010-09-07 | Globalfoundries Inc. | Scratch pad for storing intermediate loop filter data |
US8693537B2 (en) | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
JP4708819B2 (ja) | 2005-03-14 | 2011-06-22 | キヤノン株式会社 | 画像処理装置、方法、コンピュータプログラム及び記憶媒体 |
US20060282855A1 (en) | 2005-05-05 | 2006-12-14 | Digital Display Innovations, Llc | Multiple remote display system |
US7755667B2 (en) | 2005-05-17 | 2010-07-13 | Eastman Kodak Company | Image sequence stabilization method and camera having dual path image sequence stabilization |
US8045615B2 (en) | 2005-05-25 | 2011-10-25 | Qualcomm Incorporated | Deblock filtering techniques for video coding according to multiple video standards |
US8600125B2 (en) | 2005-06-22 | 2013-12-03 | The Research Foundation Of State University Of New York | System and method for computer aided polyp detection |
US20070024705A1 (en) | 2005-08-01 | 2007-02-01 | Richter Roger K | Systems and methods for video stream selection |
US20070064120A1 (en) | 2005-09-16 | 2007-03-22 | Richard Didow | Chroma-key event photography |
US9258519B2 (en) | 2005-09-27 | 2016-02-09 | Qualcomm Incorporated | Encoder assisted frame rate up conversion using various motion models |
KR101329167B1 (ko) | 2005-10-12 | 2013-11-14 | 톰슨 라이센싱 | 관심 구역의 h.264 스케일러블 비디오 코딩 |
US7956929B2 (en) | 2005-10-31 | 2011-06-07 | Broadcom Corporation | Video background subtractor system |
GB0600141D0 (en) | 2006-01-05 | 2006-02-15 | British Broadcasting Corp | Scalable coding of video signals |
US7415356B1 (en) | 2006-02-03 | 2008-08-19 | Zillow, Inc. | Techniques for accurately synchronizing portions of an aerial image with composited visual information |
EP2077525A1 (en) | 2006-02-13 | 2009-07-08 | SNELL & WILCOX LIMITED | Method and apparatus for spatially segmenting a moving image sequence |
US8279928B2 (en) | 2006-05-09 | 2012-10-02 | Canon Kabushiki Kaisha | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
JP5155159B2 (ja) | 2006-05-24 | 2013-02-27 | パナソニック株式会社 | 動画像復号装置 |
EP2041976A4 (en) | 2006-07-12 | 2012-06-20 | Nokia Corp | SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES |
US8446509B2 (en) | 2006-08-09 | 2013-05-21 | Tenebraex Corporation | Methods of creating a virtual window |
US7643662B2 (en) | 2006-08-15 | 2010-01-05 | General Electric Company | System and method for flattened anatomy for interactive segmentation and measurement |
US7693349B2 (en) | 2006-08-15 | 2010-04-06 | General Electric Company | Systems and methods for interactive image registration |
WO2008039371A2 (en) | 2006-09-22 | 2008-04-03 | Objectvideo, Inc. | Video background replacement system |
JP4931055B2 (ja) | 2006-11-22 | 2012-05-16 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US8462109B2 (en) | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
WO2008092131A2 (en) | 2007-01-25 | 2008-07-31 | Skyfire Labs, Inc. | Mobile device user interface for remote interaction |
JP4682990B2 (ja) | 2007-02-06 | 2011-05-11 | 日本ビクター株式会社 | カメラ画像圧縮処理装置及び圧縮処理方法 |
JP4685825B2 (ja) * | 2007-04-06 | 2011-05-18 | 学校法人東京理科大学 | 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム |
KR100866230B1 (ko) | 2007-04-12 | 2008-10-30 | 삼성전자주식회사 | 파노라마 사진 촬영 방법 |
KR101328950B1 (ko) | 2007-04-24 | 2013-11-13 | 엘지전자 주식회사 | 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기 |
AU2007202789B9 (en) | 2007-06-15 | 2011-08-18 | Canon Kabushiki Kaisha | High-fidelity motion summarisation method |
JPWO2009001793A1 (ja) | 2007-06-26 | 2010-08-26 | 株式会社東芝 | 画像符号化と画像復号化の方法及び装置 |
KR100882011B1 (ko) | 2007-07-29 | 2009-02-04 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 |
JP2009042811A (ja) | 2007-08-06 | 2009-02-26 | Univ Of Tokyo | 3次元形状展開装置、3次元形状展開方法、および3次元形状展開用プログラム |
EP2210421A4 (en) | 2007-10-16 | 2013-12-04 | Lg Electronics Inc | METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL |
US8638327B2 (en) | 2007-11-14 | 2014-01-28 | Microsoft Corporation | Tiled projections for planar processing of round earth data |
KR100914846B1 (ko) | 2007-12-15 | 2009-09-02 | 한국전자통신연구원 | 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템 |
US8170367B2 (en) | 2008-01-28 | 2012-05-01 | Vistaprint Technologies Limited | Representing flat designs to be printed on curves of a 3-dimensional product |
CA2714362A1 (en) | 2008-01-29 | 2009-08-06 | Enforcement Video, Llc | Omnidirectional camera for use in police car event recording |
US8269765B2 (en) | 2008-02-28 | 2012-09-18 | Autodesk, Inc. | System and method for removing seam artifacts |
US9305389B2 (en) | 2008-02-28 | 2016-04-05 | Autodesk, Inc. | Reducing seam artifacts when applying a texture to a three-dimensional (3D) model |
US8217956B1 (en) | 2008-02-29 | 2012-07-10 | Adobe Systems Incorporated | Method and apparatus for rendering spherical panoramas |
US20090262838A1 (en) | 2008-04-21 | 2009-10-22 | Qualcomm Incorporated | Method and apparatus for encoding transmission data blocks for enhanced switching performance |
KR20090129926A (ko) | 2008-06-13 | 2009-12-17 | 삼성전자주식회사 | 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치 |
KR101595344B1 (ko) | 2008-08-01 | 2016-02-18 | 엘지전자 주식회사 | 디스플레이 모듈 및 이를 구비한 휴대 단말기 |
US8804821B2 (en) | 2008-09-26 | 2014-08-12 | Microsoft Corporation | Adaptive video processing of an interactive environment |
US20100079605A1 (en) | 2008-09-29 | 2010-04-01 | William Marsh Rice University | Sensor-Assisted Motion Estimation for Efficient Video Encoding |
US9596485B2 (en) | 2008-10-27 | 2017-03-14 | Sk Telecom Co., Ltd. | Motion picture encoding/decoding apparatus, adaptive deblocking filtering apparatus and filtering method for same, and recording medium |
KR101315456B1 (ko) | 2008-11-05 | 2013-10-04 | 삼성전자주식회사 | 화상형성장치와 연결된 호스트장치, 이를 포함하는 화상형성시스템 및 화상형성장치의 배경화면 변경방법 |
WO2010057170A1 (en) | 2008-11-17 | 2010-05-20 | Cernium Corporation | Analytics-modulated coding of surveillance video |
US8295360B1 (en) | 2008-12-23 | 2012-10-23 | Elemental Technologies, Inc. | Method of efficiently implementing a MPEG-4 AVC deblocking filter on an array of parallel processors |
US20100316129A1 (en) | 2009-03-27 | 2010-12-16 | Vixs Systems, Inc. | Scaled motion search section with downscaling filter and method for use therewith |
US8364561B2 (en) | 2009-05-26 | 2013-01-29 | Embodee Corp. | Garment digitization system and method |
US20130124156A1 (en) | 2009-05-26 | 2013-05-16 | Embodee Corp | Footwear digitization system and method |
US20100329361A1 (en) | 2009-06-30 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same |
KR101749269B1 (ko) | 2009-06-30 | 2017-06-22 | 삼성전자주식회사 | 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법 |
KR100988872B1 (ko) | 2009-07-08 | 2010-10-20 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서 |
US9300969B2 (en) | 2009-09-09 | 2016-03-29 | Apple Inc. | Video storage |
JP5357685B2 (ja) | 2009-09-28 | 2013-12-04 | 株式会社ソニー・コンピュータエンタテインメント | 3次元オブジェクト処理装置、3次元オブジェクト処理方法、プログラム、及び情報記憶媒体 |
US20110128350A1 (en) | 2009-11-30 | 2011-06-02 | Motorola, Inc. | Method and apparatus for choosing a desired field of view from a wide-angle image or video |
US20110142306A1 (en) | 2009-12-16 | 2011-06-16 | Vivek Nair | Method and system for generating a medical image |
US9762795B2 (en) | 2013-09-04 | 2017-09-12 | Gyeongil Kweon | Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens |
CN102763136B (zh) | 2010-02-11 | 2015-04-01 | 诺基亚公司 | 用于提供多线程视频解码的方法和设备 |
WO2011115659A1 (en) | 2010-03-16 | 2011-09-22 | Thomson Licensing | Methods and apparatus for implicit adaptive motion vector predictor selection for video encoding and decoding |
US20110235706A1 (en) | 2010-03-25 | 2011-09-29 | Texas Instruments Incorporated | Region of interest (roi) video encoding |
US9094658B2 (en) | 2010-05-10 | 2015-07-28 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
US8660174B2 (en) | 2010-06-15 | 2014-02-25 | Mediatek Inc. | Apparatus and method of adaptive offset for video coding |
US8730267B2 (en) | 2010-06-21 | 2014-05-20 | Celsia, Llc | Viewpoint change on a display device based on movement of the device |
EP2596475B1 (en) | 2010-07-19 | 2019-01-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Filling disocclusions in a virtual view |
US8762890B2 (en) | 2010-07-27 | 2014-06-24 | Telcordia Technologies, Inc. | System and method for interactive projection and playback of relevant media segments onto the facets of three-dimensional shapes |
US20130170726A1 (en) | 2010-09-24 | 2013-07-04 | The Research Foundation Of State University Of New York | Registration of scanned objects obtained from different orientations |
US20120082216A1 (en) | 2010-10-01 | 2012-04-05 | General Instrument Corporation | Coding and decoding utilizing picture boundary padding in flexible partitioning |
US8913666B2 (en) | 2010-10-01 | 2014-12-16 | Qualcomm Incorporated | Entropy coding coefficients using a joint context model |
RU2010144450A (ru) | 2010-10-29 | 2012-05-10 | ЭлЭсАй Корпорейшн (US) | Оценка движения для видео транскодера |
US9007432B2 (en) | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
JP5631229B2 (ja) | 2011-01-31 | 2014-11-26 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
EP2678944B1 (en) | 2011-02-25 | 2019-11-06 | BlackBerry Limited | Methods and devices for data compression using offset-based adaptive reconstruction levels |
US9288501B2 (en) | 2011-03-08 | 2016-03-15 | Qualcomm Incorporated | Motion vector predictors (MVPs) for bi-predictive inter mode in video coding |
US8907968B2 (en) | 2011-03-31 | 2014-12-09 | Panasonic Corporation | Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images |
US9071484B1 (en) | 2011-04-05 | 2015-06-30 | Elemental Technologies, Inc. | Feedback optimized video coding parameters |
US9360991B2 (en) | 2011-04-11 | 2016-06-07 | Microsoft Technology Licensing, Llc | Three-dimensional icons for organizing, invoking, and using applications |
US9143795B2 (en) | 2011-04-11 | 2015-09-22 | Texas Instruments Incorporated | Parallel motion estimation in video coding |
US20160286119A1 (en) | 2011-04-18 | 2016-09-29 | 360fly, Inc. | Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom |
US9247266B2 (en) | 2011-04-18 | 2016-01-26 | Texas Instruments Incorporated | Temporal motion data candidate derivation in video coding |
US9288500B2 (en) | 2011-05-12 | 2016-03-15 | Texas Instruments Incorporated | Luma-based chroma intra-prediction for video coding |
US20120309321A1 (en) | 2011-05-31 | 2012-12-06 | Broadcom Corporation | Synchronized calibration for wireless communication devices |
US9866859B2 (en) | 2011-06-14 | 2018-01-09 | Texas Instruments Incorporated | Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding |
US8964008B2 (en) | 2011-06-17 | 2015-02-24 | Microsoft Technology Licensing, Llc | Volumetric video presentation |
US8484391B2 (en) | 2011-06-20 | 2013-07-09 | Intel Corporation | Configurable buffer allocation for multi-format video processing |
US10484693B2 (en) | 2011-06-22 | 2019-11-19 | Texas Instruments Incorporated | Method and apparatus for sample adaptive offset parameter estimation for image and video coding |
US9153031B2 (en) | 2011-06-22 | 2015-10-06 | Microsoft Technology Licensing, Llc | Modifying video regions using mobile device input |
US9674521B2 (en) | 2011-06-28 | 2017-06-06 | Samsung Electronics Co., Ltd. | Prediction method and apparatus for chroma component of image using luma component of image |
US20130003858A1 (en) | 2011-06-30 | 2013-01-03 | Vivienne Sze | Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements |
US10440373B2 (en) | 2011-07-12 | 2019-10-08 | Texas Instruments Incorporated | Method and apparatus for coding unit partitioning |
US8724711B2 (en) | 2011-07-12 | 2014-05-13 | Intel Corporation | Luma-based chroma intra prediction |
US8890863B1 (en) | 2011-08-12 | 2014-11-18 | Google Inc. | Automatic method for photo texturing geolocated 3-D models from geolocated imagery |
US8682091B2 (en) | 2011-08-18 | 2014-03-25 | International Business Machines Corporation | Real-time image compression |
US8804816B2 (en) | 2011-08-30 | 2014-08-12 | Microsoft Corporation | Video encoding enhancements |
US20130051467A1 (en) | 2011-08-31 | 2013-02-28 | Apple Inc. | Hybrid inter/intra prediction in video coding systems |
EP2754295B1 (en) | 2011-09-09 | 2018-01-24 | Sun Patent Trust | Low complex deblocking filter decisions |
US8988446B2 (en) | 2011-10-07 | 2015-03-24 | Zynga Inc. | 2D animation from a 3D mesh |
US8913656B2 (en) | 2011-10-14 | 2014-12-16 | Mediatek Inc. | Method and apparatus for in-loop filtering |
BR112014008403B1 (pt) | 2011-10-19 | 2022-05-10 | Sun Patent Trust | Método de codificação de imagem, aparelho de codificação de imagem, método de decodificação de imagem, e aparelho de decodificação de imagem |
US9510020B2 (en) | 2011-10-20 | 2016-11-29 | Qualcomm Incorporated | Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding |
US8504941B2 (en) | 2011-10-31 | 2013-08-06 | Utc Fire & Security Corporation | Digital image magnification user interface |
US9253482B2 (en) | 2011-11-08 | 2016-02-02 | Texas Insturments Incorporated | Method and apparatus for sample adaptive offset without sign coding |
US20130128986A1 (en) | 2011-11-23 | 2013-05-23 | Mediatek Inc. | Method and Apparatus of Slice Boundary Padding for Loop Filtering |
KR20130058584A (ko) | 2011-11-25 | 2013-06-04 | 삼성전자주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
US9838687B1 (en) | 2011-12-02 | 2017-12-05 | Amazon Technologies, Inc. | Apparatus and method for panoramic video hosting with reduced bandwidth streaming |
US20130141526A1 (en) | 2011-12-02 | 2013-06-06 | Stealth HD Corp. | Apparatus and Method for Video Image Stitching |
US9723223B1 (en) | 2011-12-02 | 2017-08-01 | Amazon Technologies, Inc. | Apparatus and method for panoramic video hosting with directional audio |
US9404764B2 (en) | 2011-12-30 | 2016-08-02 | Here Global B.V. | Path side imagery |
WO2013102293A1 (en) | 2012-01-04 | 2013-07-11 | Mediatek Singapore Pte. Ltd. | Improvements of luma-based chroma intra prediction |
US9332259B2 (en) | 2012-01-18 | 2016-05-03 | Qualcomm Incorporated | Indication of use of wavefront parallel processing in video coding |
US9729870B2 (en) | 2012-01-31 | 2017-08-08 | Apple Inc. | Video coding efficiency with camera metadata |
US9967563B2 (en) | 2012-02-03 | 2018-05-08 | Hfi Innovation Inc. | Method and apparatus for loop filtering cross tile or slice boundaries |
US9423994B2 (en) | 2012-02-22 | 2016-08-23 | Citrix Systems, Inc. | Hierarchical display |
US11094137B2 (en) | 2012-02-24 | 2021-08-17 | Matterport, Inc. | Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications |
US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
JP6222576B2 (ja) | 2012-03-21 | 2017-11-01 | サン パテント トラスト | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置 |
US20130251028A1 (en) | 2012-03-22 | 2013-09-26 | The Hong Kong University Of Science And Technology | Video encoding and decoding with channel prediction and error correction capability |
US20150016522A1 (en) | 2012-04-05 | 2015-01-15 | Sony Corporation | Image processing apparatus and image processing method |
US10721487B2 (en) | 2012-04-17 | 2020-07-21 | Texas Instruments Incorporated | Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture |
US9591312B2 (en) | 2012-04-17 | 2017-03-07 | Texas Instruments Incorporated | Memory bandwidth reduction for motion compensation in video coding |
US9451163B2 (en) | 2012-05-11 | 2016-09-20 | Qualcomm Incorporated | Motion sensor assisted rate control for video encoding |
US9256961B2 (en) | 2012-06-28 | 2016-02-09 | Here Global B.V. | Alternate viewpoint image enhancement |
US9467653B2 (en) | 2012-06-29 | 2016-10-11 | Avaya Inc. | System and method for aggressive downstream bandwidth conservation based on user inactivity |
RU2625534C2 (ru) | 2012-07-02 | 2017-07-14 | Сан Пэтент Траст | Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений |
US9264710B2 (en) | 2012-07-06 | 2016-02-16 | Texas Instruments Incorporated | Method and system for video picture intra-prediction estimation |
GB2505912B (en) | 2012-09-14 | 2015-10-07 | Canon Kk | Method and device for generating a description file, and corresponding streaming method |
US9898829B2 (en) | 2012-09-18 | 2018-02-20 | Hanwha Techwin Co., Ltd. | Monitoring apparatus and system using 3D information of images and monitoring method using the same |
US8880563B2 (en) | 2012-09-21 | 2014-11-04 | Adobe Systems Incorporated | Image search by query object segmentation |
SG11201502435XA (en) | 2012-09-27 | 2015-05-28 | Dolby Lab Licensing Corp | Inter-layer reference picture processing for coding standard scalability |
US8989508B2 (en) | 2012-09-28 | 2015-03-24 | Sharp Kabushiki Kaisha | Electronic device for signaling a sub-picture buffer parameter |
US20140368669A1 (en) | 2012-10-04 | 2014-12-18 | Google Inc. | Gpu-accelerated background replacement |
US9253503B2 (en) | 2012-12-18 | 2016-02-02 | Xerox Corporation | Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments |
JP6044328B2 (ja) | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
US9639635B2 (en) | 2013-01-02 | 2017-05-02 | Embodee Corp | Footwear digitization system and method |
BR112015017059A2 (ko) | 2013-01-17 | 2018-09-25 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus, a video decoding method based on the set decoder and a device for setting the decoder |
US20140218356A1 (en) | 2013-02-06 | 2014-08-07 | Joshua D.I. Distler | Method and apparatus for scaling images |
US9544597B1 (en) * | 2013-02-11 | 2017-01-10 | Google Inc. | Hybrid transform in video encoding and decoding |
CN104020935A (zh) | 2013-02-28 | 2014-09-03 | 国际商业机器公司 | 用于控制显示屏上的显示对象的方法和装置 |
US9398302B2 (en) | 2013-03-08 | 2016-07-19 | Mediatek Inc. | Image encoding method and apparatus with rate control by selecting target bit budget from pre-defined candidate bit budgets and related image decoding method and apparatus |
CN105580369B (zh) | 2013-03-11 | 2019-04-26 | 杜比实验室特许公司 | 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及*** |
JP2014176034A (ja) | 2013-03-12 | 2014-09-22 | Ricoh Co Ltd | 映像伝送装置 |
US9013536B2 (en) | 2013-03-13 | 2015-04-21 | Futurewei Technologies, Inc. | Augmented video calls on mobile devices |
US10127636B2 (en) | 2013-09-27 | 2018-11-13 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
US10205962B2 (en) | 2013-03-15 | 2019-02-12 | Raymond Zenkich | System and method for non-uniform video coding |
US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
US9854252B2 (en) | 2013-05-20 | 2017-12-26 | Texas Instruments Incorporated | Method and apparatus of HEVC de-blocking filter |
US10015515B2 (en) | 2013-06-21 | 2018-07-03 | Qualcomm Incorporated | Intra prediction from a predictive block |
AU2013206597A1 (en) | 2013-06-28 | 2015-01-22 | Canon Kabushiki Kaisha | Depth constrained superpixel-based depth map refinement |
CA2909601A1 (en) | 2013-07-07 | 2015-01-15 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing video signal |
US9055186B2 (en) | 2013-07-23 | 2015-06-09 | Personify, Inc | Systems and methods for integrating user personas with content during video conferencing |
JP6091371B2 (ja) | 2013-07-29 | 2017-03-08 | ローランドディー.ジー.株式会社 | スライスデータ作成装置、スライスデータ作成方法、プログラムおよびコンピューター読み取り可能な記録媒体 |
CA2922081C (en) | 2013-08-28 | 2016-12-06 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
JP2015050661A (ja) * | 2013-09-02 | 2015-03-16 | キヤノン株式会社 | 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム |
US20150089348A1 (en) | 2013-09-23 | 2015-03-26 | Yahoo! Inc. | System and method for web page background image delivery |
US9819941B2 (en) | 2013-10-10 | 2017-11-14 | Qualcomm Incorporated | Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding |
CA2931529C (en) | 2013-11-27 | 2022-08-23 | Children's National Medical Center | 3d corrected imaging |
CN104683801B (zh) | 2013-11-29 | 2018-06-05 | 华为技术有限公司 | 图像压缩方法和装置 |
US9781356B1 (en) | 2013-12-16 | 2017-10-03 | Amazon Technologies, Inc. | Panoramic video viewer |
US9414016B2 (en) | 2013-12-31 | 2016-08-09 | Personify, Inc. | System and methods for persona identification using combined probability maps |
US10368097B2 (en) | 2014-01-07 | 2019-07-30 | Nokia Technologies Oy | Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures |
CN106105220B (zh) | 2014-01-07 | 2019-07-05 | 诺基亚技术有限公司 | 用于视频编码和解码的方法和装置 |
US9883197B2 (en) | 2014-01-09 | 2018-01-30 | Qualcomm Incorporated | Intra prediction of chroma blocks using the same vector |
US20150215631A1 (en) | 2014-01-23 | 2015-07-30 | Broadcom Corporation | Parallel Coding with Overlapped Tiles |
KR102149448B1 (ko) | 2014-02-21 | 2020-08-28 | 삼성전자주식회사 | 이미지를 처리하기 위한 전자 장치 및 방법 |
JP2015170994A (ja) | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法 |
US10250895B2 (en) | 2014-03-14 | 2019-04-02 | Sharp Kabushiki Kaisha | DPB capacity limits |
GB2524249B (en) | 2014-03-17 | 2021-01-20 | Sony Interactive Entertainment Inc | Image Processing |
US20150264404A1 (en) | 2014-03-17 | 2015-09-17 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
US9756354B2 (en) | 2014-03-17 | 2017-09-05 | Qualcomm Incorporated | Block vector predictor for intra block copying |
US10477232B2 (en) | 2014-03-21 | 2019-11-12 | Qualcomm Incorporated | Search region determination for intra block copy in video coding |
US20150278155A1 (en) | 2014-03-27 | 2015-10-01 | Knockout Concepts, Llc | Identifying objects using a 3d scanning device, images, and 3d models |
GB2526263B (en) | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
US9986154B2 (en) | 2014-05-21 | 2018-05-29 | Here Global B.V. | Developing a panoramic image |
US10104397B2 (en) | 2014-05-28 | 2018-10-16 | Mediatek Inc. | Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method |
US20150346812A1 (en) * | 2014-05-29 | 2015-12-03 | Nextvr Inc. | Methods and apparatus for receiving content and/or playing back content |
CA2948642A1 (en) | 2014-05-29 | 2015-12-03 | Nextvr Inc. | Methods and apparatus for delivering content and/or playing back content |
WO2015191466A1 (en) | 2014-06-09 | 2015-12-17 | GroupeSTAHL | Apparatuses and methods of interacting with 2d design documents and 3d models and generating production textures for wrapping artwork around portions of 3d objects |
US10154286B2 (en) | 2014-06-19 | 2018-12-11 | Vid Scale, Inc. | Systems and methods for model parameter optimization in three dimensional based color mapping |
US9930341B2 (en) | 2014-06-20 | 2018-03-27 | Qualcomm Incorporated | Block vector coding for intra block copying |
WO2015197818A1 (en) | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
US10204658B2 (en) | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
CN104156947B (zh) | 2014-07-23 | 2018-03-16 | 小米科技有限责任公司 | 图像分割方法、装置及设备 |
CN105814880A (zh) | 2014-07-28 | 2016-07-27 | 联发科技股份有限公司 | 具有自适应全景图像处理器的便携式设备 |
WO2016017245A1 (ja) | 2014-07-31 | 2016-02-04 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
WO2016038970A1 (ja) | 2014-09-08 | 2016-03-17 | 富士フイルム株式会社 | 撮像制御装置、撮像制御方法、カメラシステム及びプログラム |
GB2520822B (en) | 2014-10-10 | 2016-01-13 | Aveva Solutions Ltd | Image rendering of laser scan data |
US9918082B2 (en) | 2014-10-20 | 2018-03-13 | Google Llc | Continuous prediction domain |
US20160112713A1 (en) | 2014-10-20 | 2016-04-21 | Google Inc. | Mapping spherical image to 2d representations |
US9917877B2 (en) | 2014-10-20 | 2018-03-13 | Google Llc | Streaming the visible parts of a spherical video |
KR102309281B1 (ko) | 2014-11-07 | 2021-10-08 | 삼성전자주식회사 | 오브젝트를 표시하는 방향 기반 전자 장치 및 방법 |
US10237559B2 (en) | 2014-11-20 | 2019-03-19 | Getgo, Inc. | Layer-based video decoding |
EP3029937B1 (en) | 2014-12-03 | 2016-11-16 | Axis AB | Method and encoder for video encoding of a sequence of frames |
US9866815B2 (en) | 2015-01-05 | 2018-01-09 | Qualcomm Incorporated | 3D object segmentation |
CN104539962B (zh) | 2015-01-20 | 2017-12-01 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
US10070130B2 (en) | 2015-01-30 | 2018-09-04 | Qualcomm Incorporated | Flexible partitioning of prediction units |
JP5846549B1 (ja) | 2015-02-06 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム |
US10075701B2 (en) | 2015-02-17 | 2018-09-11 | Nextvr Inc. | Methods and apparatus for mapping at least one received image to a surface of a model in a manner that efficiently uses the image content as a texture |
US10362290B2 (en) | 2015-02-17 | 2019-07-23 | Nextvr Inc. | Methods and apparatus for processing content based on viewing information and/or communicating content |
WO2016140439A1 (ko) | 2015-03-02 | 2016-09-09 | 엘지전자(주) | 향상된 예측 필터를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치 |
JP6688469B2 (ja) | 2015-03-05 | 2020-04-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6685995B2 (ja) | 2015-03-05 | 2020-04-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6687015B2 (ja) | 2015-03-05 | 2020-04-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP5920507B1 (ja) | 2015-03-10 | 2016-05-18 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
US9232189B2 (en) | 2015-03-18 | 2016-01-05 | Avatar Merger Sub Ii, Llc. | Background modification in video conferencing |
US9754413B1 (en) | 2015-03-26 | 2017-09-05 | Google Inc. | Method and system for navigating in panoramic images using voxel maps |
JP6491957B2 (ja) | 2015-05-25 | 2019-03-27 | 京セラ株式会社 | 電子機器および画像処理方法 |
US20160353146A1 (en) | 2015-05-27 | 2016-12-01 | Google Inc. | Method and apparatus to reduce spherical video bandwidth to user headset |
US10038887B2 (en) | 2015-05-27 | 2018-07-31 | Google Llc | Capture and render of panoramic virtual reality content |
JP6501904B2 (ja) | 2015-05-27 | 2019-04-17 | グーグル エルエルシー | 球面ビデオのストリーミング |
US9866752B2 (en) | 2015-06-02 | 2018-01-09 | Qualcomm Incorporated | Systems and methods for producing a combined view from fisheye cameras |
GB2538998A (en) | 2015-06-03 | 2016-12-07 | Nokia Technologies Oy | A method, an apparatus, a computer program for video coding |
CN115002457A (zh) | 2015-06-05 | 2022-09-02 | 杜比实验室特许公司 | 图像编码和解码方法和图像解码设备 |
CN115134593B (zh) | 2015-06-05 | 2024-07-23 | 杜比实验室特许公司 | 用于执行帧间预测的图像编解码方法、比特流存储方法 |
US10681371B2 (en) | 2015-06-07 | 2020-06-09 | Lg Electronics Inc. | Method and device for performing deblocking filtering |
WO2016204531A1 (ko) | 2015-06-16 | 2016-12-22 | 엘지전자(주) | 블록 경계에 따라 적응적으로 필터링을 수행하는 방법 및 장치 |
JP6642573B2 (ja) | 2015-06-24 | 2020-02-05 | ソニー株式会社 | 符号化装置、復号装置及び伝送制御方法 |
JP6677098B2 (ja) | 2015-07-01 | 2020-04-08 | 株式会社リコー | 全天球動画の撮影システム、及びプログラム |
EP4404572A2 (en) | 2015-07-08 | 2024-07-24 | InterDigital Madison Patent Holdings, SAS | Enhanced chroma coding using cross plane filtering |
WO2017020808A1 (en) | 2015-07-31 | 2017-02-09 | Versitech Limited | A depth discontinuity-based method for efficient intra coding for depth videos |
US20170038942A1 (en) | 2015-08-07 | 2017-02-09 | Vrideo | Playback initialization tool for panoramic videos |
US9277122B1 (en) | 2015-08-13 | 2016-03-01 | Legend3D, Inc. | System and method for removing camera rotation from a panoramic video |
US20170054907A1 (en) | 2015-08-21 | 2017-02-23 | Yoshito NISHIHARA | Safety equipment, image communication system, method for controlling light emission, and non-transitory recording medium |
US9967577B2 (en) | 2015-08-31 | 2018-05-08 | Microsoft Technology Licensing, Llc | Acceleration interface for video decoding |
CN108141600A (zh) | 2015-09-01 | 2018-06-08 | 瑞典爱立信有限公司 | 变换块的空间改进 |
US10491711B2 (en) | 2015-09-10 | 2019-11-26 | EEVO, Inc. | Adaptive streaming of virtual reality data |
US9781350B2 (en) | 2015-09-28 | 2017-10-03 | Qualcomm Incorporated | Systems and methods for performing automatic zoom |
US20170104927A1 (en) | 2015-10-07 | 2017-04-13 | Little Star Media, Inc. | Systems, methods and software programs for 360 degree video distribution platforms |
US20170026659A1 (en) | 2015-10-13 | 2017-01-26 | Mediatek Inc. | Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video |
US10152825B2 (en) | 2015-10-16 | 2018-12-11 | Fyusion, Inc. | Augmenting multi-view image data with synthetic objects using IMU and image data |
GB2543766B (en) | 2015-10-26 | 2018-02-14 | Advanced Risc Mach Ltd | Graphics processing systems |
US10277858B2 (en) | 2015-10-29 | 2019-04-30 | Microsoft Technology Licensing, Llc | Tracking object of interest in an omnidirectional video |
US9948893B2 (en) | 2015-11-18 | 2018-04-17 | Avaya Inc. | Background replacement based on attribute of remote user or endpoint |
CN115118968A (zh) | 2015-11-20 | 2022-09-27 | 韩国电子通信研究院 | 用于对图像进行编/解码的方法 |
JP6937302B2 (ja) * | 2015-11-23 | 2021-09-29 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute | 多視点ビデオの符号化/復号化方法 |
US10977764B2 (en) | 2015-12-29 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Viewport independent image coding and rendering |
US20170200315A1 (en) | 2016-01-07 | 2017-07-13 | Brendan Lockhart | Live stereoscopic panoramic virtual reality streaming system |
US10282814B2 (en) | 2016-01-07 | 2019-05-07 | Mediatek Inc. | Method and apparatus of image formation and compression of cubic images for 360 degree panorama display |
WO2017127816A1 (en) | 2016-01-22 | 2017-07-27 | Ziyu Wen | Omnidirectional video encoding and streaming |
US20170214937A1 (en) | 2016-01-22 | 2017-07-27 | Mediatek Inc. | Apparatus of Inter Prediction for Spherical Images and Cubic Images |
US9992502B2 (en) | 2016-01-29 | 2018-06-05 | Gopro, Inc. | Apparatus and methods for video compression using multi-resolution scalable coding |
JP6665558B2 (ja) | 2016-01-29 | 2020-03-13 | 株式会社リコー | 画像管理システム、画像管理方法、画像通信システム及びプログラム |
US20170230668A1 (en) * | 2016-02-05 | 2017-08-10 | Mediatek Inc. | Method and Apparatus of Mode Information Reference for 360-Degree VR Video |
US10728546B2 (en) | 2016-02-05 | 2020-07-28 | Apple Inc. | Sample adaptive offset systems and methods |
US10509954B2 (en) | 2016-02-10 | 2019-12-17 | Intel Corporation | Method and system of image segmentation refinement for image processing |
US10147224B2 (en) | 2016-02-16 | 2018-12-04 | Samsung Electronics Co., Ltd. | Method and apparatus for generating omni media texture mapping metadata |
US9743060B1 (en) | 2016-02-22 | 2017-08-22 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
US10334224B2 (en) | 2016-02-19 | 2019-06-25 | Alcacruz Inc. | Systems and method for GPU based virtual reality video streaming server |
US10484621B2 (en) | 2016-02-29 | 2019-11-19 | Gopro, Inc. | Systems and methods for compressing video content |
US20170272758A1 (en) | 2016-03-16 | 2017-09-21 | Mediatek Inc. | Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus |
US10319071B2 (en) * | 2016-03-23 | 2019-06-11 | Qualcomm Incorporated | Truncated square pyramid geometry and frame packing structure for representing virtual reality video content |
FI20165256L (fi) | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
WO2017168949A1 (ja) | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、撮像装置、画像再生装置、および方法とプログラム |
US9990775B2 (en) | 2016-03-31 | 2018-06-05 | Verizon Patent And Licensing Inc. | Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content |
US10275928B2 (en) | 2016-04-05 | 2019-04-30 | Qualcomm Incorporated | Dual fisheye image stitching for spherical image content |
US10645362B2 (en) | 2016-04-11 | 2020-05-05 | Gopro, Inc. | Systems, methods and apparatus for compressing video content |
US10834419B2 (en) | 2016-04-13 | 2020-11-10 | Qualcomm Incorporated | Conformance constraint for collocated reference index in video coding |
US9940697B2 (en) | 2016-04-15 | 2018-04-10 | Gopro, Inc. | Systems and methods for combined pipeline processing of panoramic images |
US20170302714A1 (en) | 2016-04-15 | 2017-10-19 | Diplloid Inc. | Methods and systems for conversion, playback and tagging and streaming of spherical images and video |
US10685542B2 (en) | 2016-04-26 | 2020-06-16 | Sensormatic Electronics, LLC | System and method for monitoring a premises based on parsed codec data |
KR20170124811A (ko) | 2016-05-03 | 2017-11-13 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작방법 |
KR20170124814A (ko) | 2016-05-03 | 2017-11-13 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작 방법 |
WO2017190288A1 (en) | 2016-05-04 | 2017-11-09 | Microsoft Technology Licensing, Llc | Intra-picture prediction using non-adjacent reference lines of sample values |
US10249019B2 (en) | 2016-05-06 | 2019-04-02 | Mediatek Inc. | Method and apparatus for mapping omnidirectional image to a layout output format |
CN109074628A (zh) | 2016-05-13 | 2018-12-21 | 索尼公司 | 生成装置和生成方法以及再现装置和再现方法 |
US10602191B2 (en) | 2016-05-13 | 2020-03-24 | Gopro, Inc. | Apparatus and methods for video compression |
GB2550372B (en) | 2016-05-17 | 2022-01-19 | Nctech Ltd | Imaging system having multiple imaging sensors and an associated method of operation |
US11019257B2 (en) | 2016-05-19 | 2021-05-25 | Avago Technologies International Sales Pte. Limited | 360 degree video capture and playback |
US10681326B2 (en) | 2016-05-19 | 2020-06-09 | AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED | 360 degree video system with coordinate compression |
US10848668B2 (en) | 2016-05-19 | 2020-11-24 | Avago Technologies International Sales Pte. Limited | 360 degree video recording and playback with object tracking |
US10582201B2 (en) | 2016-05-19 | 2020-03-03 | Qualcomm Incorporated | Most-interested region in an image |
US10979691B2 (en) | 2016-05-20 | 2021-04-13 | Qualcomm Incorporated | Circular fisheye video in virtual reality |
US10565463B2 (en) | 2016-05-24 | 2020-02-18 | Qualcomm Incorporated | Advanced signaling of a most-interested region in an image |
US9639935B1 (en) | 2016-05-25 | 2017-05-02 | Gopro, Inc. | Apparatus and methods for camera alignment model calibration |
US20170353737A1 (en) | 2016-06-07 | 2017-12-07 | Mediatek Inc. | Method and Apparatus of Boundary Padding for VR Video Processing |
US11025933B2 (en) | 2016-06-09 | 2021-06-01 | Apple Inc. | Dynamic video configurations |
US10368067B2 (en) | 2016-06-15 | 2019-07-30 | Mediatek Inc. | Method and apparatus for selective filtering of cubic-face frames |
WO2017217411A1 (ja) | 2016-06-17 | 2017-12-21 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び記憶媒体 |
JP6780315B2 (ja) | 2016-06-22 | 2020-11-04 | カシオ計算機株式会社 | 投影装置、投影システム、投影方法及びプログラム |
US10277914B2 (en) | 2016-06-23 | 2019-04-30 | Qualcomm Incorporated | Measuring spherical image quality metrics based on user field of view |
US10264282B2 (en) | 2016-06-27 | 2019-04-16 | Mediatek Inc. | Method and apparatus of inter coding for VR video using virtual reference frames |
US10460501B2 (en) | 2016-07-04 | 2019-10-29 | Liquid Cinema Inc., Canada | System and method for processing digital video |
US10297086B2 (en) | 2016-07-04 | 2019-05-21 | Liquid Cinema Inc. | System and method for processing digital video |
TWI775760B (zh) | 2016-07-08 | 2022-09-01 | 美商Vid衡器股份有限公司 | 使用幾何投影360度視訊編碼 |
US20180018807A1 (en) | 2016-07-15 | 2018-01-18 | Aspeed Technology Inc. | Method and apparatus for generating panoramic image with texture mapping |
US20180020238A1 (en) | 2016-07-15 | 2018-01-18 | Mediatek Inc. | Method and apparatus for video coding |
US10375371B2 (en) | 2016-07-15 | 2019-08-06 | Mediatek Inc. | Method and apparatus for filtering 360-degree video boundaries |
US10277886B2 (en) | 2016-07-19 | 2019-04-30 | Gopro, Inc. | Mapping of spherical image data into rectangular faces for transport and decoding across networks |
US10339688B2 (en) | 2016-07-28 | 2019-07-02 | Cyberlink Corp. | Systems and methods for rendering effects in 360 video |
US10055882B2 (en) | 2016-08-15 | 2018-08-21 | Aquifi, Inc. | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function |
KR102567002B1 (ko) | 2016-08-16 | 2023-08-14 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작방법 |
EP3503556B1 (en) | 2016-08-21 | 2024-05-01 | LG Electronics Inc. | Image coding/decoding method and apparatus therefor |
US20180054613A1 (en) | 2016-08-22 | 2018-02-22 | Mediatek Inc. | Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus |
CN109076215A (zh) | 2016-08-23 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于提高对弯曲视图视频进行编码/解码的效率的***和方法 |
CN109644262A (zh) | 2016-08-25 | 2019-04-16 | Lg电子株式会社 | 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置 |
CN109691094B (zh) | 2016-08-25 | 2021-10-22 | Lg电子株式会社 | 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置 |
US11153594B2 (en) | 2016-08-29 | 2021-10-19 | Apple Inc. | Multidimensional quantization techniques for video coding/decoding systems |
EP3507985A1 (en) | 2016-09-02 | 2019-07-10 | Vid Scale, Inc. | Method and system for signaling of 360-degree video information |
US20180075576A1 (en) | 2016-09-09 | 2018-03-15 | Mediatek Inc. | Packing projected omnidirectional videos |
KR20180028782A (ko) | 2016-09-09 | 2018-03-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR20180029315A (ko) | 2016-09-12 | 2018-03-21 | 삼성전자주식회사 | 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치 |
KR102545195B1 (ko) | 2016-09-12 | 2023-06-19 | 삼성전자주식회사 | 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치 |
KR102560029B1 (ko) | 2016-09-12 | 2023-07-26 | 삼성전자주식회사 | 가상 현실 콘텐트를 송수신하는 방법 및 장치 |
US10313686B2 (en) | 2016-09-20 | 2019-06-04 | Gopro, Inc. | Apparatus and methods for compressing video content using adaptive projection selection |
US20180091812A1 (en) | 2016-09-23 | 2018-03-29 | Apple Inc. | Video compression system providing selection of deblocking filters parameters based on bit-depth of video data |
CN107888928B (zh) * | 2016-09-30 | 2020-02-14 | 华为技术有限公司 | 运动补偿预测方法和设备 |
CN109804631B (zh) | 2016-09-30 | 2021-09-14 | 华为技术有限公司 | 一种用于编码和解码视频信号的装置和方法 |
CN114245124B (zh) | 2016-10-04 | 2023-04-07 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法、介质和发送比特流的方法 |
CN114531589B (zh) | 2016-10-04 | 2023-03-24 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法、介质和发送比特流的方法 |
CN113891096B (zh) | 2016-10-04 | 2022-12-06 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和装置 |
US20190253624A1 (en) | 2017-07-17 | 2019-08-15 | Ki Baek Kim | Image data encoding/decoding method and apparatus |
US20190238888A1 (en) | 2017-07-17 | 2019-08-01 | Ki Baek Kim | Image data encoding/decoding method and apparatus |
US20180098090A1 (en) | 2016-10-04 | 2018-04-05 | Mediatek Inc. | Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters |
CN116915985A (zh) | 2016-10-04 | 2023-10-20 | Lx 半导体科技有限公司 | 图像编码/解码方法和发送方法 |
CN109691095B (zh) | 2016-10-07 | 2021-10-15 | 联发科技股份有限公司 | 生成基于投影的帧的方法以及装置 |
US10339627B2 (en) | 2016-10-10 | 2019-07-02 | Gopro, Inc. | Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image |
US10652284B2 (en) | 2016-10-12 | 2020-05-12 | Samsung Electronics Co., Ltd. | Method and apparatus for session control support for field of view virtual reality streaming |
US20180109810A1 (en) | 2016-10-17 | 2018-04-19 | Mediatek Inc. | Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression |
KR20180042098A (ko) | 2016-10-17 | 2018-04-25 | 에스케이텔레콤 주식회사 | 영상 부호화 또는 복호화하기 위한 장치 및 방법 |
KR102498598B1 (ko) | 2016-10-18 | 2023-02-14 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
US10432856B2 (en) * | 2016-10-27 | 2019-10-01 | Mediatek Inc. | Method and apparatus of video compression for pre-stitched panoramic contents |
US20180130264A1 (en) | 2016-11-04 | 2018-05-10 | Arnoovo Inc. | Virtual reality editor |
KR20180051288A (ko) | 2016-11-08 | 2018-05-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
KR102633595B1 (ko) | 2016-11-21 | 2024-02-05 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
CN108111851B (zh) | 2016-11-25 | 2020-12-22 | 华为技术有限公司 | 一种去块滤波方法及终端 |
CN110121884B (zh) | 2016-11-28 | 2023-04-04 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
KR20180060236A (ko) | 2016-11-28 | 2018-06-07 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
US10244200B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | View-dependent operations during playback of panoramic video |
US20180167634A1 (en) | 2016-12-09 | 2018-06-14 | Nokia Technologies Oy | Method and an apparatus and a computer program product for video encoding and decoding |
EP3334164B1 (en) | 2016-12-09 | 2019-08-21 | Nokia Technologies Oy | A method and an apparatus and a computer program product for video encoding and decoding |
US9996945B1 (en) | 2016-12-12 | 2018-06-12 | Fyusion, Inc. | Live augmented reality guides |
US10620441B2 (en) | 2016-12-14 | 2020-04-14 | Qualcomm Incorporated | Viewport-aware quality metric for 360-degree video |
KR20180071012A (ko) | 2016-12-19 | 2018-06-27 | 삼성전자주식회사 | 전자 장치 및 전자 장치 제어 방법 |
US20180176468A1 (en) | 2016-12-19 | 2018-06-21 | Qualcomm Incorporated | Preferred rendering of signalled regions-of-interest or viewports in virtual reality video |
US10242714B2 (en) | 2016-12-19 | 2019-03-26 | Microsoft Technology Licensing, Llc | Interface for application-specified playback of panoramic video |
JP2018107500A (ja) | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム |
US20180184101A1 (en) | 2016-12-23 | 2018-06-28 | Apple Inc. | Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US20180192074A1 (en) | 2017-01-03 | 2018-07-05 | Mediatek Inc. | Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout |
US10277897B1 (en) | 2017-01-03 | 2019-04-30 | Google Llc | Signaling in-loop restoration filters for video coding |
JP6756269B2 (ja) | 2017-01-05 | 2020-09-16 | 株式会社リコー | 通信端末、画像通信システム、通信方法、及びプログラム |
US10536721B2 (en) | 2017-01-09 | 2020-01-14 | Qualcomm Incorporated | Restricted scheme design for video |
US10313664B2 (en) | 2017-01-11 | 2019-06-04 | Qualcomm Incorporated | Adjusting field of view of truncated square pyramid projection for 360-degree video |
US10104288B2 (en) | 2017-02-08 | 2018-10-16 | Aspeed Technology Inc. | Method and apparatus for generating panoramic image with stitching process |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US20180242016A1 (en) | 2017-02-21 | 2018-08-23 | Intel Corporation | Deblock filtering for 360 video |
US20180242017A1 (en) | 2017-02-22 | 2018-08-23 | Twitter, Inc. | Transcoding video |
US20180240276A1 (en) | 2017-02-23 | 2018-08-23 | Vid Scale, Inc. | Methods and apparatus for personalized virtual reality media interface design |
CN108470379B (zh) | 2017-02-23 | 2021-12-07 | 株式会社理光 | 三维图像融合方法和装置 |
CN108513119A (zh) | 2017-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 图像的映射、处理方法、装置和机器可读介质 |
US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
US11172208B2 (en) | 2017-02-28 | 2021-11-09 | Nokia Technologies Oy | Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming |
CN108537721B (zh) | 2017-03-02 | 2021-09-07 | 株式会社理光 | 全景图像的处理方法、装置及电子设备 |
KR101808327B1 (ko) | 2017-03-08 | 2017-12-13 | 광운대학교 산학협력단 | 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치 |
US11004173B2 (en) | 2017-03-13 | 2021-05-11 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout |
US11057643B2 (en) | 2017-03-13 | 2021-07-06 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout |
CN108632589A (zh) | 2017-03-15 | 2018-10-09 | 株式会社理光 | 信息处理装置、摄像***以及记录介质 |
US10643301B2 (en) | 2017-03-20 | 2020-05-05 | Qualcomm Incorporated | Adaptive perturbed cube map projection |
CN117425006A (zh) | 2017-03-22 | 2024-01-19 | 韩国电子通信研究院 | 使用参考块的预测方法和装置 |
US10839480B2 (en) | 2017-03-22 | 2020-11-17 | Qualcomm Incorporated | Sphere equator projection for efficient compression of 360-degree video |
US10593012B2 (en) | 2017-03-22 | 2020-03-17 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout |
WO2018174617A1 (ko) | 2017-03-22 | 2018-09-27 | 한국전자통신연구원 | 블록 형태에 기반한 예측 방법 및 장치 |
US10957044B2 (en) | 2017-03-22 | 2021-03-23 | Qualcomm Incorporated | Sphere pole projections for efficient compression of 360-degree video |
US11532128B2 (en) | 2017-03-23 | 2022-12-20 | Qualcomm Incorporated | Advanced signaling of regions of interest in omnidirectional visual media |
EP3603090A4 (en) | 2017-03-27 | 2020-08-19 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING OF VIDEO |
EP3586315B1 (en) | 2017-03-28 | 2024-06-26 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying image based on user motion information |
US10506255B2 (en) | 2017-04-01 | 2019-12-10 | Intel Corporation | MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video |
TWI832814B (zh) | 2017-04-06 | 2024-02-21 | 美商松下電器(美國)知識產權公司 | 解碼裝置及編碼裝置 |
US10587800B2 (en) | 2017-04-10 | 2020-03-10 | Intel Corporation | Technology to encode 360 degree video content |
WO2018191224A1 (en) | 2017-04-11 | 2018-10-18 | Vid Scale, Inc. | 360-degree video coding using face continuities |
US10567768B2 (en) | 2017-04-14 | 2020-02-18 | Apple Inc. | Techniques for calculation of quantization matrices in video coding |
WO2018194273A1 (en) | 2017-04-21 | 2018-10-25 | Samsung Electronics Co., Ltd. | Image display apparatus and method |
US20200074587A1 (en) | 2017-04-27 | 2020-03-05 | Mediatek Inc. | Method and Apparatus for Mapping Virtual-Reality Image to a Segmented Sphere Projection Format |
WO2018199701A1 (en) | 2017-04-28 | 2018-11-01 | Samsung Electronics Co., Ltd. | Method for providing content and apparatus therefor |
US10957009B2 (en) | 2017-05-04 | 2021-03-23 | Electronics And Telecommunications Research Institute | Image processing apparatus and method |
US10375375B2 (en) | 2017-05-15 | 2019-08-06 | Lg Electronics Inc. | Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same |
JP6919334B2 (ja) | 2017-05-26 | 2021-08-18 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム |
US10212456B2 (en) | 2017-06-02 | 2019-02-19 | Apple Inc. | Deblocking filter for high dynamic range (HDR) video |
US10200687B2 (en) | 2017-06-02 | 2019-02-05 | Apple Inc. | Sample adaptive offset for high dynamic range (HDR) video compression |
US10199074B2 (en) | 2017-06-02 | 2019-02-05 | Apple Inc. | Techniques for selecting frames for decode in media player |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
US10873763B2 (en) | 2017-06-02 | 2020-12-22 | Apple Inc. | Video compression techniques for high dynamic range data |
US10321109B1 (en) | 2017-06-13 | 2019-06-11 | Vulcan Inc. | Large volume video data transfer over limited capacity bus |
US10778993B2 (en) | 2017-06-23 | 2020-09-15 | Mediatek Inc. | Methods and apparatus for deriving composite tracks with track grouping |
EP3422724B1 (en) | 2017-06-26 | 2024-05-01 | Nokia Technologies Oy | An apparatus, a method and a computer program for omnidirectional video |
US10764582B2 (en) | 2017-06-29 | 2020-09-01 | Qualcomm Incorporated | Reducing seam artifacts in 360-degree video |
US10523913B2 (en) | 2017-06-30 | 2019-12-31 | Apple Inc. | Packed image format for multi-directional video |
US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
GB2563944B (en) | 2017-06-30 | 2021-11-03 | Canon Kk | 360-Degree video encoding with block-based extension of the boundary of projected parts |
US10484682B2 (en) | 2017-07-03 | 2019-11-19 | Qualcomm Incorporated | Reference picture derivation and motion compensation for 360-degree video coding |
CN116320399A (zh) | 2017-07-03 | 2023-06-23 | 汉阳大学校产学协力团 | 利用包含追加区域的分割单位的影像解码方法以及装置 |
CN110870307A (zh) | 2017-07-06 | 2020-03-06 | 佳稳电子有限公司 | 同步影像的处理方法及其装置 |
WO2019009448A1 (ko) | 2017-07-06 | 2019-01-10 | 삼성전자 주식회사 | 영상을 부호화 또는 복호화하는 방법 및 장치 |
JP6721631B2 (ja) | 2017-07-07 | 2020-07-15 | ノキア テクノロジーズ オーユー | ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト |
US10701263B2 (en) | 2017-07-18 | 2020-06-30 | Ricoh Company, Ltd. | Browsing system, image distribution apparatus, and image distribution method |
US10614609B2 (en) | 2017-07-19 | 2020-04-07 | Mediatek Inc. | Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images |
KR102468596B1 (ko) | 2017-07-31 | 2022-11-21 | 에스케이텔레콤 주식회사 | 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치 |
US20190045212A1 (en) | 2017-08-07 | 2019-02-07 | The Regents Of The University Of California | METHOD AND APPARATUS FOR PREDICTIVE CODING OF 360º VIDEO |
CN108520232B (zh) | 2017-08-16 | 2020-07-24 | 威盛电子股份有限公司 | 立体环景影片产生方法及装置 |
TWI681662B (zh) | 2017-08-18 | 2020-01-01 | 聯發科技股份有限公司 | 用於減少基於投影的圖框中的偽影的方法和裝置 |
EP3451670A1 (en) | 2017-08-28 | 2019-03-06 | Thomson Licensing | Method and apparatus for filtering with mode-aware deep learning |
JP7343487B2 (ja) | 2017-09-20 | 2023-09-12 | ヴィド スケール インコーポレイテッド | 360度ビデオ符号化におけるフェイス不連続の処理 |
US10623744B2 (en) | 2017-10-04 | 2020-04-14 | Apple Inc. | Scene based rate control for video compression and video streaming |
US10102611B1 (en) | 2017-10-16 | 2018-10-16 | Xplorit Llc | Interconnected 360 video virtual travel |
JP7031228B2 (ja) | 2017-10-26 | 2022-03-08 | 株式会社リコー | プログラム、画像表示方法、画像表示システム、情報処理装置 |
US10574997B2 (en) | 2017-10-27 | 2020-02-25 | Apple Inc. | Noise level control in video coding |
US10334222B2 (en) | 2017-11-20 | 2019-06-25 | Adobe Inc. | Focus-based video loop switching |
US10652578B2 (en) | 2018-02-05 | 2020-05-12 | Apple Inc. | Processing of multi-directional images in spatially-ordered video coding applications |
US10721465B2 (en) | 2018-02-14 | 2020-07-21 | Qualcomm Incorporated | Motion compensation for cubemap packed frames |
US11212438B2 (en) | 2018-02-14 | 2021-12-28 | Qualcomm Incorporated | Loop filter padding for 360-degree video coding |
WO2019166107A1 (en) | 2018-03-02 | 2019-09-06 | Huawei Technologies Co., Ltd. | Apparatus and method for picture coding with selective loop-filtering |
US11069026B2 (en) | 2018-03-02 | 2021-07-20 | Mediatek Inc. | Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding |
US20190281273A1 (en) | 2018-03-08 | 2019-09-12 | Mediatek Inc. | Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection |
US10771781B2 (en) | 2018-03-12 | 2020-09-08 | Electronics And Telecommunications Research Institute | Method and apparatus for deriving intra prediction mode |
KR20190107944A (ko) | 2018-03-13 | 2019-09-23 | 삼성전자주식회사 | 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법 |
US10559121B1 (en) | 2018-03-16 | 2020-02-11 | Amazon Technologies, Inc. | Infrared reflectivity determinations for augmented reality rendering |
US10986371B2 (en) | 2018-03-22 | 2021-04-20 | Mediatek Inc. | Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection |
TWI709107B (zh) | 2018-05-21 | 2020-11-01 | 國立清華大學 | 影像特徵提取方法及包含其顯著物體預測方法 |
US10848768B2 (en) | 2018-06-08 | 2020-11-24 | Sony Interactive Entertainment Inc. | Fast region of interest coding using multi-segment resampling |
US10573060B1 (en) | 2018-06-14 | 2020-02-25 | Kilburn Live, Llc | Controller binding in virtual domes |
US20190387251A1 (en) | 2018-06-19 | 2019-12-19 | Mediatek Inc. | Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems |
US11765349B2 (en) | 2018-08-31 | 2023-09-19 | Mediatek Inc. | Method and apparatus of in-loop filtering for virtual boundaries |
US11094088B2 (en) | 2018-08-31 | 2021-08-17 | Mediatek Inc. | Method and apparatus of in-loop filtering for virtual boundaries in video coding |
WO2020071703A1 (ko) | 2018-10-01 | 2020-04-09 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법 |
KR102154407B1 (ko) | 2018-11-15 | 2020-09-09 | 한국전자기술연구원 | 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치 |
US20200213570A1 (en) | 2019-01-02 | 2020-07-02 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout |
US11659206B2 (en) | 2019-07-02 | 2023-05-23 | Mediatek Inc. | Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus |
-
2017
- 2017-02-15 US US15/433,505 patent/US11259046B2/en active Active
-
2018
- 2018-02-06 KR KR1020197023206A patent/KR102254986B1/ko active IP Right Grant
- 2018-02-06 CN CN201880009683.3A patent/CN110268716B/zh active Active
- 2018-02-06 JP JP2019543046A patent/JP6899443B2/ja active Active
- 2018-02-06 WO PCT/US2018/017124 patent/WO2018151978A1/en unknown
- 2018-02-06 EP EP18706604.8A patent/EP3566451B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170013279A1 (en) * | 2012-11-13 | 2017-01-12 | Ntel Corporation | Content adaptive dominant motion compensated prediction for next generation video coding |
US20160142697A1 (en) * | 2014-11-14 | 2016-05-19 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
Also Published As
Publication number | Publication date |
---|---|
CN110268716A (zh) | 2019-09-20 |
EP3566451A1 (en) | 2019-11-13 |
EP3566451B1 (en) | 2023-04-05 |
US20180234700A1 (en) | 2018-08-16 |
KR20190104053A (ko) | 2019-09-05 |
CN110268716B (zh) | 2023-04-28 |
WO2018151978A1 (en) | 2018-08-23 |
US11259046B2 (en) | 2022-02-22 |
JP2020507998A (ja) | 2020-03-12 |
JP6899443B2 (ja) | 2021-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110115037B (zh) | 球面投影运动估计/补偿和模式决策 | |
KR102254986B1 (ko) | 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 | |
US10992919B2 (en) | Packed image format for multi-directional video | |
KR102359820B1 (ko) | 멀티뷰 비디오를 위한 비디오 코딩 기법 | |
CN114143550B (zh) | 图像数据编码/解码方法和计算机可读记录介质 | |
CN114554202B (zh) | 图像数据编码/解码方法、介质和发送比特流的方法 | |
US20200029092A1 (en) | Method and apparatus for encoding and decoding a large field of view video | |
US20190005709A1 (en) | Techniques for Correction of Visual Artifacts in Multi-View Images | |
CN107888928B (zh) | 运动补偿预测方法和设备 | |
US10652578B2 (en) | Processing of multi-directional images in spatially-ordered video coding applications | |
WO2018060328A1 (en) | Method and apparatus for calculating quantization parameters to encode and decode an immersive video | |
US11711540B2 (en) | Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device | |
WO2024081872A1 (en) | Method, apparatus, and medium for video processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |