KR102254986B1 - 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 - Google Patents

구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 Download PDF

Info

Publication number
KR102254986B1
KR102254986B1 KR1020197023206A KR20197023206A KR102254986B1 KR 102254986 B1 KR102254986 B1 KR 102254986B1 KR 1020197023206 A KR1020197023206 A KR 1020197023206A KR 20197023206 A KR20197023206 A KR 20197023206A KR 102254986 B1 KR102254986 B1 KR 102254986B1
Authority
KR
South Korea
Prior art keywords
pixel block
content
coding
image
block
Prior art date
Application number
KR1020197023206A
Other languages
English (en)
Other versions
KR20190104053A (ko
Inventor
재 훈 김
크리스 와이. 충
다종 장
항 위안
시-중 우
지에푸 자이
샤오송 조우
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20190104053A publication Critical patent/KR20190104053A/ko
Application granted granted Critical
Publication of KR102254986B1 publication Critical patent/KR102254986B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다방향성(multi-directional) 이미지 데이터는 종종 전통적인 "평평한" 이미지 콘텐츠를 프로세싱하도록 설계된 비디오 코더들에 의해 프로세싱될 때 문제들을 야기하는 이미지 콘텐츠의 왜곡들을 포함한다. 본 발명의 실시예들은 그러한 코더들을 사용하여 다방향성 이미지 데이터를 코딩하기 위한 기술들을 제공한다. 코딩될 프레임 내의 각각의 픽셀 블록에 대해, 인코더는 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 기준 화상 데이터를 각각 입력 픽셀 블록의 위치와 검색 윈도우 내의 기준 화상의 부분들 사이의 변위에 기초하여 변환할 수 있다. 인코더는 변환된 기준 화상 데이터 중에서 예측 검색을 수행하여 입력 픽셀 블록과 변환된 기준 화상의 일부분 사이의 매칭을 식별하고, 매칭이 식별되는 경우, 인코더는 입력 픽셀 블록을 변환된 기준 화상의 매칭 부분에 대해 차별적으로 코딩할 수 있다. 변환은 다방향성 포맷에 의해 기준 화상 데이터의 이미지 콘텐츠에 부과되는 왜곡들을 상쇄시킬 수 있으며, 이는 콘텐츠를 입력 화상의 이미지 콘텐츠와 정렬시킨다. 기술들은 인트라-코딩과 인터-코딩 둘 모두에 적용된다.

Description

구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱
본 발명은 전방향성(omnidirectional) 및 다방향성(multi-directional) 이미지들 및 비디오들을 위한 코딩 기술들에 관한 것이다.
일부 현대의 이미징 애플리케이션들은 카메라를 중심으로 하는 다수의 방향들로부터 이미지 데이터를 캡처한다. 일부 카메라들은 이미지 캡처 동안 선회하며, 이는 카메라로 하여금 카메라의 유효 시야(effective field of view)를 확장시키는 각도 스위프(angular sweep)를 가로질러 이미지 데이터를 캡처하게 한다. 일부 다른 카메라들은 여러 상이한 시야들에서 이미지 데이터를 캡처하는 다수의 이미징 시스템들을 갖는다. 어느 경우든, 이들 다수의 뷰들로부터 캡처된 이미지 데이터의 병합(merger) 또는 "스티칭(stitching)"을 나타내는 집합 이미지가 생성될 수 있다.
많은 현대 코딩 애플리케이션들이 그러한 전방향성 또는 다방향성 이미지 콘텐츠를 처리하도록 설계되지 않는다. 그러한 코딩 애플리케이션들은 이미지 내의 이미지 데이터가 "평평하다" 또는 단일 시야로부터 캡처된다는 가정에 기초하여 설계된다. 따라서, 코딩 애플리케이션들은 왜곡들이 내부에 포함된 이들 전방향성 또는 다방향성 이미지들을 처리할 때 일어날 수 있는 이미지 왜곡들을 고려하지 않는다. 이들 왜곡들은 통상의 비디오 코더들이 이미지 콘텐츠의 중복들을 인식하는 데 실패하게 할 수 있으며, 이는 비효율적인 코딩을 야기한다.
따라서, 본 발명자들은 전방향성 및 다방향성 이미지 콘텐츠를 프로세싱하고 왜곡을 제한할 수 있는 코딩 기술에 대한 당업계에서의 필요성을 인지한다.
도 1은 본 발명의 실시예들이 채용될 수 있는 시스템을 예시한다.
도 2는 본 발명의 일 실시예에 따른 코딩 시스템의 기능적 블록도이다.
도 3은 본 발명의 실시예들과 함께 사용되는 이미지 소스들을 예시한다.
도 4는 다방향성 이미징에 의해 캡처된 예시적인 등장방형 투영 이미지를 예시한다.
도 5는 구면 이미지들 내에 일어날 수 있는 왜곡 효과를 모델링한다.
도 6은 예시적인 등장방형 프레임 내의 예시적인 객체의 왜곡을 예시하는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 코딩 방법을 예시한다.
도 8은 본 발명의 일 실시예에 따른 코딩 방법을 예시한다.
도 9는 도 8의 방법에 따라 기준 프레임 데이터에 적용될 수 있는 변환들을 예시한다.
도 10은 본 발명의 일 실시예에 따른 코딩 시스템의 기능적 블록도이다.
도 11은 본 발명의 일 실시예에 따른 디코딩 시스템의 기능적 블록도이다.
도 12는 본 발명의 실시예들과 함께 사용하기에 적합한 컴퓨터 시스템을 예시한다.
본 발명의 실시예들은 구면 이미지 및 비디오를 코딩하는 기술들을 제공한다. 코딩될 프레임 내의 각각의 픽셀 블록에 대해, 인코더는 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 기준 화상 데이터를 각각 입력 픽셀 블록의 위치와 검색 윈도우 내의 기준 화상의 부분들 사이의 변위에 기초하여 변환할 수 있다. 인코더는 변환된 기준 화상 데이터 중에서 예측 검색을 수행하여 입력 픽셀 블록과 변환된 기준 화상의 일부분 사이의 매칭을 식별하고, 매칭이 식별되는 경우, 인코더는 입력 픽셀 블록을 변환된 기준 화상의 매칭 부분에 대해 차별적으로 코딩할 수 있다. 변환은 구면 투영 포맷에 의해 기준 화상 데이터의 이미지 콘텐츠에 부과되는 왜곡들을 상쇄시킬 수 있으며, 이는 콘텐츠를 입력 화상의 이미지 콘텐츠와 정렬시킨다.
도 1은 본 발명의 실시예들이 채용될 수 있는 시스템(100)을 예시한다. 시스템(100)은 네트워크(130)를 통해 상호접속된 적어도 2개의 단말기들(110-120)을 포함할 수 있다. 제1 단말기(110)는 다방향성 및 전방향성 비디오를 생성하는 이미지 소스를 가질 수 있다. 단말기(110)는 또한 코딩 시스템 및 다방향성 비디오의 코딩된 표현이 소비될 수 있는 제2 단말기(120)로 송신하기 위한 송신 시스템(도시되지 않음)을 포함할 수 있다. 예를 들어, 제2 단말기(120)는 로컬 디스플레이 상에 구면 비디오를 디스플레이할 수 있거나, 그것은 구면 비디오를 수정하도록 비디오 편집 프로그램을 실행할 수 있거나, 또는 구면 비디오를 애플리케이션(예를 들어, 가상 현실 프로그램) 내에 통합할 수 있거나, 머리 장착형 디스플레이(예를 들어, 가상 현실 애플리케이션들)에 제시할 수 있거나, 또는 그것은 추후 사용을 위해 구면 비디오를 저장할 수 있다.
도 1은 제1 단말기(110)로부터 제2 단말기(120)로의 구면 비디오의 단방향 송신에 적합한 컴포넌트들을 예시한다. 일부 애플리케이션들에서, 비디오 데이터의 양방향 교환을 제공하는 것이 적절할 수 있으며, 이 경우에 제2 단말기(120)는 그 자신의 이미지 소스, 비디오 코더 및 송신기들(도시되지 않음)를 포함할 수 있고, 제1 단말기(110)는 그 자신의 수신기 및 디스플레이(역시 도시되지 않음)를 포함할 수 있다. 구면 비디오를 양방향으로 교환하는 것이 요구되는 경우, 이하에서 논의되는 기술들은 구면 비디오의 한 쌍의 독립적인 단방향 교환들을 생성하기 위해 복제될 수 있다. 다른 애플리케이션들에서, 구면형 비디오를 (예를 들어, 제1 단말기(110)로부터 제2 단말기(120)로의) 하나의 방향으로 송신하고, "평평한" 비디오(예를 들어, 제한된 시야로부터의 비디오)를 역방향으로 송신하는 것이 허용가능할 것이다.
도 1에서, 제2 단말기(120)는 컴퓨터 디스플레이로 예시되나, 본 발명의 원리들이 그렇게 제한되는 것은 아니다. 본 발명의 실시예들은 랩톱 컴퓨터들, 태블릿 컴퓨터들, 스마트 폰들, 서버들, 미디어 플레이어들, 가상 현실 머리 장착형 디스플레이들, 증강 현실 디스플레이, 홀로그램 디스플레이들, 및/또는 전용 비디오 회의 장비와의 애플리케이션을 발견한다. 네트워크(130)는 예를 들어 유선 및/또는 무선 통신 네트워크들을 포함한, 단말기들(110-120) 사이에서 코딩된 비디오 데이터를 전달하는 임의의 수의 네트워크들을 나타낸다. 통신 네트워크(130)는 회선 교환형(circuit-switched) 및/또는 패킷 교환형(packet-switched) 채널들에서 데이터를 교환할 수 있다. 대표적인 네트워크들은 원격 통신망(telecommunications network)들, 근거리 통신망(local area network)들, 광역 통신망(wide area network)들 및/또는 인터넷을 포함한다. 본 논의를 위해, 네트워크(130)의 아키텍처 및 토폴로지는 하기에 설명되지 않는 한 본 발명의 동작에 중요하지 않다.
도 2는 본 발명의 일 실시예에 따른 코딩 시스템(200)의 기능적 블록도이다. 시스템(200)은 이미지 소스(210), 이미지 프로세싱 시스템(220), 비디오 코더(230), 비디오 디코더(240), 기준 화상 저장소(250), 예측기(260), 및 옵션적으로, 한 쌍의 구면 변환 유닛들(270, 280)을 포함할 수 있다. 이미지 소스(210)는 기준점을 중심으로 다수의 방향들로 연장되는 시야의 이미지 데이터를 포함하는 다방향성 이미지로서 이미지 데이터를 생성할 수 있다. 이미지 프로세싱 시스템(220)은 비디오 코더(230)의 요건들에 부합하기 위해 필요에 따라 이미지 소스(210)로부터의 이미지 데이터를 전환할 수 있다. 비디오 코더(230)는 전형적으로 이미지 데이터의 공간적 및/또는 시간적 중복들을 이용함으로써 그의 입력 이미지 데이터의 코딩된 표현을 생성할 수 있다. 비디오 코더(230)는 송신 및/또는 저장될 때 입력 데이터보다 적은 대역폭을 소비하는 입력 데이터의 코딩된 표현을 출력할 수 있다.
비디오 디코더(240)는 비디오 인코더(230)에 의해 수행되는 코딩 동작들을 반전시켜, 코딩된 비디오 데이터로부터 재구성된 화상을 획득할 수 있다. 전형적으로, 비디오 코더(230)에 의해 적용되는 코딩 프로세스들은 손실(lossy) 프로세스들로서, 이는 재구성된 화상이 원래의 화상과 비교할 때 다양한 에러들을 갖게 한다. 비디오 디코더(240)는 "기준 화상들"로 지정되는 선택 코딩된 화상들의 화상을 재구성할 수 있고, 디코딩된 기준 화상들을 기준 화상 저장소(250)에 저장할 수 있다. 송신 오류들의 부재 시, 디코딩된 기준 화상들은 디코더(도 2에 도시되지 않음)에 의해 획득된 디코딩된 기준 화상들을 복제할 것이다.
예측기(260)는 새로운 입력 화상들이 코딩될 때 그들에 대한 예측 기준들을 선택할 수 있다. 코딩되고 있는 입력 화상의 각각의 부분(편의상 "픽셀 블록"으로 지칭됨)에 대해, 예측기(260)는 코딩 모드를 선택하고, 코딩되고 있는 픽셀 블록에 대한 예측 기준 검색으로서 기능할 수 있는 기준 화상의 일부분을 식별할 수 있다. 코딩 모드는 인트라-코딩 모드일 수 있으며, 이 경우에 예측 기준은 코딩되고 있는 화상의 이전에 코딩된(그리고 디코딩된) 부분으로부터 인출될 수 있다. 대안적으로, 코딩 모드는 인터-코딩 모드일 수 있으며, 이 경우에 예측 기준은 다른 이전에 코딩되고 디코딩된 화상으로부터 인출될 수 있다.
일 실시예에서, 예측기(260)는 입력 화상 및 구면 투영 표현으로 변환된 기준 화상 상에 동작하여 코딩되고 있는 화상들의 예측 기준들을 검색할 수 있다. 구면 변환 유닛들(270, 280)은 입력 화상 및 기준 화상을 구면 투영 표현들로 변환할 수 있다.
적절한 예측 기준이 식별될 때, 예측기(260)는 예측 데이터를 비디오 코더(230)에 제공할 수 있다. 비디오 코더(230)는 입력 비디오 데이터를 예측기(260)에 의해 제공되는 예측 데이터에 대해 차별적으로 코딩할 수 있다. 전형적으로, 예측 동작들 및 차별적 코딩은 픽셀 블록 단위로(pixel block-by-pixel block basis) 동작한다. 입력 픽셀 블록들과 예측 픽셀 블록들 사이의 픽셀-단위(pixel-wise) 차이들을 나타내는 예측 잔차(prediction residual)들은 대역폭을 추가로 감소시키기 위해 추가의 코딩 동작들을 겪을 수 있다.
표시된 바와 같이, 비디오 코더(230)에 의해 출력된 코딩된 비디오 데이터는 송신 및/또는 저장될 때 입력 데이터보다 적은 대역폭을 소비해야 한다. 코딩 시스템(200)은 코딩된 비디오 데이터를 통신 네트워크(130)(도 1) 또는 전자, 자기 및/또는 광학 저장 매체와 같은 저장 디바이스(도시되지 않음)를 가로질러 송신할 수 있는 송신기(역시 도시되지 않음)와 같은 출력 장치(290)로 코딩된 비디오 데이터를 출력할 수 있다.
도 3은 본 발명의 실시예들과 함께 사용되는 이미지 소스들(310, 340)을 예시한다. 제1 이미지 소스는 축을 따라 선회하는 단일 이미지 센서(도시되지 않음)를 갖는, 도 3a에 도시된 카메라(310)일 수 있다. 동작 동안, 카메라(310)는 미리결정된 각도 거리(바람직하게는, 전체 360도)를 따라 선회하면서 이미지 콘텐츠를 캡처하고 캡처된 이미지 콘텐츠를 360° 이미지로 병합할 수 있다. 캡처 동작은 미리결정된 차원(M×N 픽셀들)을 갖는 등장방형 이미지(320)를 생성할 수 있다. 등장방형 화상(320)은 원통형 시야를 데이터의 2차원 어레이로 나누는 슬라이스(322)를 따라 분할된 다방향성 시야(320)를 나타낼 수 있다. 등장방형 화상(320)에서, 이미지(320)의 어느 하나의 에지(322, 324)상의 픽셀들은 이들이 등장방형 화상(320)의 상이한 에지들 상에 보이더라도 인접한 이미지 콘텐츠를 나타낸다.
옵션적으로, 등장방형 이미지(320)는 구면 투영부로 변환될 수 있다. 구면 변환 유닛(270)은 하기와 같은 변환에 따라 등장방형 화상(320) 내의 위치(x,y)에서의 픽셀 데이터를 구면 투영부(320)를 따른 위치(θ, φ)로 변환할 수 있다:
[수학식 1]
Figure 112019080788825-pct00001
및
[수학식 2]
Figure 112019080788825-pct00002
여기서
θ 및 φ는 각각 구면 투영부(330) 내의 위치의 경도 및 위도를 나타내고, θ0, φ0은 구면 투영부(330)의 원점을 나타내고, x 및 y는 등장방형 화상(320) 내의 소스 데이터의 수평 좌표 및 수직 좌표를 나타낸다.
변환을 적용할 때, 구면 변환 유닛(270)은 각각의 픽셀 위치를 등장방형 화상(320)의 미리결정된 행을 따라 변형시켜 구면 투영부(330) 내의 적도 위도에 있는 고유 위치를 가질 수 있다. 그러한 영역들에서, 구면 투영부(330) 내의 각각의 위치는 등장방형 화상(320)의 대응하는 위치들로부터의 픽셀 값들을 할당받을 수 있다. 다른 위치들에서, 특히 구면 투영부(330)의 극(pole)들을 향해, 구면 투영 유닛(270)은 등장방형 화상(320)로부터의 몇몇 소스 위치들을 구면 투영부(330) 내의 공통 위치에 맵핑시킬 수 있다. 그러한 경우에, 구면 투영 유닛(270)은 (예를 들어, 등장방형 화상(320)의 대응하는 위치들에서의 픽셀 값들의 평균을 구함으로써) 등장방형 화상(320) 내의 대응하는 픽셀 값들의 블렌딩으로부터 구면 투영부(330) 내의 위치들에 대한 픽셀 값들을 도출할 수 있다.
도 3b는 다른 유형의 이미지 소스인, 전방향성 카메라(340)의 이미지 캡처 동작들을 예시한다. 이 실시예에서, 카메라 시스템(340)은 다방향성 캡처 동작을 수행하고, 이미지 콘텐츠가 정육면체 맵 캡처(350)에 따라 배열되는, 차원(M×N 픽셀들)을 갖는 정육면체 맵 화상(360)을 출력할 수 있다. 이미지 캡처는 정육면체 맵 레이아웃에 따라 함께 스티칭되는 미리결정된 수의 방향들(전형적으로, 6개 방향들)의 각각에서 이미지 데이터를 캡처할 수 있다. 도 3에 예시된 예에서, 좌측 뷰(361), 전방 뷰(362), 우측 뷰(363), 후방 뷰(364), 상부 뷰(365), 및 하부 뷰(366)에 대응하는 6개의 서브-이미지들이 각자의 뷰들 사이의 이미지 콘텐츠의 "시임(seam)"에 따라 다방향성 화상(360) 내에 캡처, 스티칭 및 배열될 수 있다. 따라서, 도 3에 예시된 바와 같이, 상부, 좌측, 우측 및 하부 이미지들 각각으로부터의 픽셀들에 인접한 전방 이미지로부터의 픽셀들이 인접한 서브-이미지들의 콘텐츠에 각각 인접한 이미지 콘텐츠를 나타낸다. 유사하게, 서로 인접한 우측 및 후방 이미지들로부터의 픽셀들이 인접한 이미지 콘텐츠를 나타낸다. 또한, 후방 이미지의 말단 에지(368)로부터의 콘텐츠가 좌측 이미지의 대향하는 말단 에지(369)로부터의 콘텐츠에 인접한다. 정육면체 맵 화상(360)은 또한 임의의 이미지에 속하지 않는 영역들(367.1 내지 367.4)을 가질 수 있다.
옵션적으로, 정육면체 맵 이미지(360)는 구면 투영부(330)로 변환될 수 있다. 구면 변환 유닛(270)은 정육면체 맵 화상(360) 내의 위치(x,y)에서의 픽셀 데이터를, 정육면체 맵 내의 각각의 서브-이미지로부터 도출된 변환에 따라, 구면 투영부(330)를 따라 위치(θ, φ)로 변환할 수 있다. 도 3은 생성될 구면 투영부(330) 위에 중첩된 이미지 캡처(360)의 6개의 면들(361 내지 366)을 예시한다. 이미지 캡처의 각각의 서브-이미지는 구면 투영부(330)의 표면의 미리결정된 각도 영역에 대응한다. 따라서, 전방 면(362)의 이미지 데이터가 구면 투영부의 표면 상의 미리결정된 부분에 투영될 수 있고, 좌측, 우측, 후방, 상부 및 하부 서브-이미지들의 이미지 데이터가 구면 투영부(330)의 표면의 대응하는 부분들 상에 투영될 수 있다.
정사각형 서브-이미지들을 갖는 정육면체 맵에서, 즉 서브-이미지들(361 내지 366)의 높이 및 폭이 동일한 정육면체 맵에서, 각각의 서브-이미지는 투영 표면의 90° × 90° 영역으로 투영된다. 따라서, 서브-이미지를 갖는 각각의 위치 x,y는 형태 φ= fk(x, y) 및 θ= gk(x, y)의 정현파 투영 함수에 기초하여 구면 투영부(330) 상의 θ, φ 위치로 맵핑되며, 여기서, x,y는 상부, 하부, 전방, 우측, 좌측, 우측에 대한 정육면체 면(k)의 중심으로부터의 변위들을 나타내고, θ, φ는 구 내의 각도 편차들을 나타낸다.
변환을 적용할 때, 정육면체 맵 화상(360) 내의 일부 픽셀 위치들은 구면 투영부(330) 내의 고유 위치에 맵핑될 수 있다. 그러한 영역에서, 구면 투영부(330) 내의 각각의 위치는 정육면체 맵 화상(360)의 대응하는 위치들로부터의 픽셀 값들을 할당받을 수 있다. 다른 위치들에서, 특히 각자의 서브-이미지들의 에지들을 향해, 구면 투영 유닛(270)은 정육면체 맵 화상(360) 내의 여러 소스 위치들로부터의 이미지 데이터를 구면 투영부(430) 내의 공통 위치에 맵핑할 수 있다. 그러한 경우에, 구면 투영 유닛(270)은 (예를 들어, 정육면체 맵 화상(360)의 대응하는 위치들에서의 픽셀 값들의 가중 평균을 구함으로써) 정육면체 맵 화상(360) 내의 대응하는 픽셀 값들의 블렌딩으로부터 구면 투영부(430) 내의 위치들에 대한 픽셀 값들을 도출할 수 있다.
도 3c는 다른 유형의 이미지 소스인, 한 쌍의 어안 렌즈들을 갖는 카메라(370)의 이미지 캡처 동작들을 예시한다. 이 실시예에서, 각각의 렌즈 시스템은 상이한 180° 시야로 데이터를 캡처하여 대향하는 "하프-쉘(half shells)들"을 표현한다. 카메라(370)는 각각의 렌즈 시스템으로부터 생성된 이미지들의 스티칭으로부터 이미지(380)를 생성할 수 있다. 어안 렌즈는 전형적으로 각각의 하프-쉘 시야 내의 객체 위치에 기초한 왜곡을 유도한다. 일 실시예에서, 다방향성 이미지(380)는 구면 투영부(330)로 변환될 수 있다.
본 발명의 기술들은 다른 유형들의 이미지 캡처 기술들과의 애플리케이션을 발견한다. 예를 들어, 절두 피라미드, 사면체, 팔면체, 십이면체 및 이십면체 기반 이미지 캡처 기술들이 채용될 수 있다. 그로부터 얻어진 이미지들은 유사한 기술들을 통해 구면 투영부로 매핑될 수 있다.
이미지 소스들은 카메라들을 포함할 필요가 없다. 다른 실시예들에서, 이미지 소스(210)(도 2)는 360° 이미지 데이터를 생성하는 컴퓨터 애플리케이션일 수 있다. 예를 들어, 게임 애플리케이션이 3차원의 가상 세계를 모델링하고 합성 콘텐츠에 기초하여 구면 이미지를 생성할 수 있다. 또한, 구면 이미지는 물론 자연적 콘텐츠(카메라로부터 생성된 콘텐츠)와 컴퓨터 애플리케이션에 의해 함께 병합된 합성 콘텐츠(컴퓨터 그래픽 콘텐츠) 둘 모두를 포함할 수 있다.
다방향성 이미징 시스템들은 전형적으로 이미지 콘텐츠의 공간적 왜곡들을 포함하는 이미지 데이터를 생성한다. 도 4는 다방향성 이미징 시스템에 의해 캡처된 예시적인 등장방형 이미지를 예시한다. 이미지는, 무엇보다도, 각각 동일한 크기의 2개의 객체들(Obj1 및 Obj2)을 예시한다. 다방향성 이미징 시스템에 의해 캡처되는 경우, 객체들은 등장방형 이미지 내의 그들의 위치에 기초하여 상이한 크기들을 갖는 것처럼 보인다. 예를 들어, 객체(Obj1)는 중심 축들(410, 420)에 상당히 가깝게 위치되고, 그 결과, 객체(Obj2)보다 더 낮은 레벨의 왜곡을 보인다. 그렇더라도, 객체(Obj1)의 에지들은 수평 축(410)에 더 가까운 객체의 부분들보다 더 큰 정도로 왜곡(직선들의 곡률)을 보인다. 객체(Obj2)는 수평 축(410)으로부터 객체(Obj1)의 임의의 부분보다 훨씬 더 멀리 변위되고, 그 결과, 객체의 높이의 왜곡 - 도 4의 예시에서 객체(Obj1)의 높이의 대략 32%임 -과 객체(Obj1)의 수평 이미지 성분들의 곡률의 왜곡.
도 5는 구면 이미지 투영부들 내에 일어날 수 있는 왜곡 효과를 모델링한다. 2차원의 "평평한" 비디오에서, 객체의 측방향 모션은 평평한 이미지 센서에 의해 캡처되는데, 이는 이동하는 객체의 크기가 일관되게 유지되게 한다. 그러한 이미지 데이터가 구면 표면 상으로 투영되는 경우, 객체 모션은 이미지 데이터의 왜곡을 야기할 수 있다. 도 5에 도시된 예를 고려해보면, 길이(l)를 갖는 객체(510)가 객체의 모션 평면(520)의 중심에서의 위치로부터, 중심으로부터 멀리 떨어진 다른 위치로, 거리(y)만큼 이동한다. 논의를 위해, 객체(510)가 구면 투영부의 중심으로부터 공통 거리(d)에 위치되는 것으로 가정될 수 있다.
수학적으로, 왜곡은 다음과 같이 모델링될 수 있다:
Figure 112019080788825-pct00003
Figure 112019080788825-pct00004
Figure 112019080788825-pct00005
따라서, 객체가 투영 시야의 중심(y0)으로부터 거리(y)만큼 이동하는 경우, 구면 투영부 내의 객체의 길이(l)의 비는 다음과 같이 주어질 수 있다:
Figure 112019080788825-pct00006
보다 간단한 용어로 언급하면, 객체의 겉보기 길이는 투영부의 중심으로부터의 그것의 변위에 기초하여 변한다.
도 6은 예시적인 등장방형 프레임 내의 예시적인 객체의 왜곡을 예시하는 그래프이다. 여기서, 등장방형 이미지의 크기는 3,820 픽셀 × 1,920 픽셀이다. 따라서, 구면 투영부 내에서, 구의 각각의 각도 단위는
Figure 112019080788825-pct00007
라디안으로 취해질 수 있고, 길이(l)는 1과 동일한 단일 픽셀의 높이이다. 거리(d)는
Figure 112019080788825-pct00008
로 취해질 수 있다. 도 6은 y가 0으로부터 960으로 변함에 따르는 길이(l)의 왜곡을 예시한다.
도 4에 예시된 바와 같이, 도 6에서와 수학식 1 내지 수학식 5에 기술된 왜곡들은 다수의 차원들에서 동시에 일어날 수 있다. 따라서, 객체(410)가 등장방형 소스 이미지에 대해 수직 방향으로 이동하는 경우 왜곡들이 수직 방향으로 일어날 수 있다. 객체가 등장방형 소스 이미지에 대해 수평 방향으로 이동하는 경우, 추가의 왜곡들이 수평 방향으로 일어날 수 있다. 따라서, 위의 수학식 1 내지 수학식 5는 다음과 같이 수평 방향(X)에서의 측방향 이동에 적용될 수 있다:
Figure 112019080788825-pct00009
Figure 112019080788825-pct00010
Figure 112019080788825-pct00011
Figure 112019080788825-pct00012
따라서, 객체가 투영 시야의 중심(x0)으로부터 거리(x)만큼 이동하는 경우, 구면 투영부 최대(max)에서의 객체의 폭(w)의 비는 다음과 같이 주어질 수 있다:
Figure 112019080788825-pct00013
본 발명의 일 실시예에 따르면, 단말기는 객체들이 구면 도메인 표현 또는 등장방형 표현으로 투영되는 경우 이미지 데이터 내에 발생할 가능성이 있는 왜곡들을 모델링하고, 이어서 그 모델을 사용하여 구면-도메인 또는 등장방형 표현 내의 데이터를 보정하여 왜곡들을 상쇄시킬 수 있다.
높은 레벨에서, 본 발명의 실시예들은 후보 기준 프레임 데이터에 대한 변환을 수행하여 다중 이미지들 내에 발생하는 왜곡들을 반전시킨다. 예를 들어, 도 4로 돌아가면, 객체(Obj2)의 이미지 데이터가 기준 프레임 내에 존재한다면, 객체(Obj2)의 이미지 데이터는 코딩될 입력 프레임 내에 보이는 객체(Obj1)의 적절한 예측 기준의 역할을 할 수 있다. 2개의 객체들은 동일한 이미지 콘텐츠를 가지며, 이미징 프로세스로부터 발생하는 왜곡들이 없다면, 동일한 크기를 갖는다. 본 발명의 실시예들은 수학식 (5) 및 수학식 (10)에서 식별된 관계들에 따라 기준 화상 데이터를 변환하여, 코딩되고 있는 이미지 데이터에 더 나은 맞춤(better fit)을 제공할 수 있는 변환된 기준 화상 데이터를 생성한다.
도 7은 본 발명의 일 실시예에 따른 코딩 방법(700)을 예시한다. 방법(700)은 픽셀 블록 단위로 동작하여, 코딩될 새로운 입력 화상을 코딩할 수 있다. 방법(700)은 입력 픽셀 블록 데이터와 이미징 왜곡을 상쇄시키도록 변환되는 기준 화상 데이터 사이의 비교로부터 예측 검색을 수행할 수 있다(박스(710)). 적절한 예측 기준이 발견되는 경우, 방법(700)은 변환된 기준 화상 데이터(편의상 "기준 블록")를 예측을 위한 기초로서 사용하여 입력 픽셀 블록을 차별적으로 코딩할 수 있다(박스(720)). 전형적으로, 이러한 차별적 코딩은 입력 픽셀 블록 데이터에 대한 예측 블록 데이터의 픽셀-단위 차감으로부터의 픽셀 잔차들의 계산(박스(822)) 및 그로부터 획득된 픽셀 잔차들의 변환, 양자화 및 엔트로피 코딩(entropy coding)을 포함한다(박스(724)) 이와 관련하여, 방법(700)은 ITU H.265(또한 "HEVC"로도 알려짐), H.264(또한, "AVC")와 같은 지배적 코딩 규격 또는 선행자 코딩 규격(predecessor coding specification)에 의해 정의된 코딩 프로토콜들을 준수할 수 있다. 이들 규격들은 픽셀 블록들을 정의하고, 예측 기준들을 위한 검색 윈도우들을 정의하고, 기준 블록들을 참조하여 픽셀 블록들의 차별적 코딩을 수행하기 위한 프로토콜들을 정의한다. 방법(700)은 또한 모션 벡터의 구면-도메인 표현을 비디오 코딩 규격에 의해 사용되는 코더-도메인 표현으로 변환할 수 있다(박스(726)). 방법(700)은 코딩된 픽셀 잔차들, 모션 벡터들 및 예측과 연관된 다른 메타데이터(전형적으로, 코딩 모드 표시자들 및 기준 화상 ID들)를 출력할 수 있다(박스(728)).
예측 검색(박스(710))은 이미징-유도된 왜곡을 반전시키기 위한 기준 화상 데이터의 변환을 포함할 수 있다. 예측 검색의 검색 윈도우에서 이용가능한 각각의 후보 모션 벡터에 대해, 방법(700)은 모션 벡터에 의해 표현되는, 입력 픽셀 블록으로부터의 공간적 변위에 기초하여 기준 프레임을 변환할 수 있다(박스(712)). 방법(700)은 후보 모션 벡터가 사용된다면 얻어질 예측 잔차들을 추정할 수 있다(박스(714)). 이들 계산들은 입력 픽셀 블록과 모션 벡터에 대응하는 변환된 기준 프레임의 픽셀-단위 비교에 의해 수행될 수 있다. 전형적으로, 비교들이 높은 크기 및 높은 분산(variance)의 픽셀 잔차들을 생성하는 경우, 그것은 더 낮은 크기 및 더 낮은 분산을 갖는 픽셀 잔차들을 생성하는 다른 기준 블록들의 비교들보다 더 낮은 코딩 효율들을 나타낸다. 방법(700)은 또한 변환된 기준 블록이 사용된다면 일어날 코딩 왜곡들을 추정할 수 있다(박스(716)). 이들 계산들은 입력 픽셀 블록에 적용될 것으로 예측되는 양자화 파라미터 레벨들에 기초하여 픽셀 잔차들의 손실을 추정하는 것에 의해 수행될 수 있다. 고려되는 모든 후보 모션 벡터들에 대해 추정치들이 획득되면, 방법(700)은 전체 코딩 비용을 최소화하는 모션 벡터를 선택할 수 있다(박스(718)).
예를 들어, 모션 벡터 mv에 따라 생성되는 후보 "기준 블록"(BLKmv)을 참조하여 입력 픽셀 블록의 코딩 비용(J)은 다음과 같이 주어질 수 있다:
J = Bits(BLKmv)+k*DIST(BLKmv), 여기서 (11)
Bits(BLKmv)는 기준 블록(BLKmv)을 참조하여 입력 픽셀 블록을 코딩하는 데 필요한 것으로 추정되는 다수의 비트들을 나타내고, DIST(BLKmv)는 기준 블록(BLKmv)을 참조하여 입력 픽셀 블록을 코딩하는 것으로부터 획득될 왜곡을 나타내고, k는 이들 인자들의 기여도의 균형을 맞추기 위한 오퍼레이터-선택된 스칼라(operator-selected scalar)일 수 있다. 설명된 바와 같이, 방법(700)은 값(J)을 최소화하는 모션 벡터를 선택하기 위해 수행될 수 있다.
일 실시예에서, 변환들은 수학식 (5) 및 수학식 (10)에 의해 표현되는 왜곡들을 반전시키기 위해 수행될 수 있다.
도 7의 실시예는 고려 중인 각각의 후보 모션 벡터에 대한 기준 프레임 데이터의 하나의 변환을 수반한다. 다른 실시예들에서, 프로세싱 리소스들을 절약할 수 있는 기준 프레임 프리프로세싱(preprocessing)이 수행될 수 있다.
도 8은 본 발명의 일 실시예에 따른 코딩 방법(800)을 예시한다. 방법(800)은 픽셀 블록 단위로 동작하여, 코딩될 새로운 입력 화상을 코딩할 수 있다. 방법(800)은 입력 픽셀 블록 데이터와 이미징 왜곡을 상쇄시키도록 변환되는 기준 화상 데이터 사이의 비교로부터 예측 검색을 수행할 수 있다(박스(810)). 적절한 예측 기준이 발견되는 경우, 방법(800)은 변환된 기준 화상 데이터(다시, 편의상 "기준 블록")를 예측을 위한 기초로서 사용하여 입력 픽셀 블록을 차별적으로 코딩할 수 있다(박스(820)). 전형적으로, 이러한 차별적 코딩은 입력 픽셀 블록 데이터에 대한 예측 블록 데이터의 픽셀-단위 차감으로부터의 픽셀 잔차들의 계산(박스(822)) 및 그로부터 획득된 픽셀 잔차들의 변환, 양자화 및 엔트로피 코딩을 포함한다(박스(824)). 이와 관련하여, 방법(800)은 ITU H.265(또한 "HEVC"로도 알려짐), H.264(또한, "AVC")와 같은 지배적 코딩 규격 또는 선행자 코딩 규격에 의해 정의된 코딩 프로토콜들을 준수할 수 있다. 이들 규격들은 픽셀 블록들을 정의하고, 예측 기준들을 위한 검색 윈도우들을 정의하고, 기준 블록들을 참조하여 픽셀 블록들의 차별적 코딩을 수행하기 위한 프로토콜들을 정의한다. 방법(800)은 또한 모션 벡터의 구면-도메인 표현을 비디오 코딩 규격에 의해 사용되는 코더-도메인 표현으로 변환할 수 있다(박스(826)). 방법(800)은 코딩된 픽셀 잔차들, 모션 벡터들 및 예측과 연관된 다른 메타데이터(전형적으로, 코딩 모드 표시자들 및 기준 화상 ID들)를 출력할 수 있다(박스(828)).
일 실시예에서, 예측 검색(박스(810))은 대역폭 보존 및 정보 손실들과 프로세싱 리소스 비용들의 균형을 맞추기 위해 수행될 수 있다. 각각의 후보 모션 벡터(mv)에 대해, 방법(800)은 우선 입력 픽셀 블록에 관하여 수직 방향(y)을 따라 기준 화상을 변환할 수 있다(박스(811)). 이러한 변환은 본질적으로, 예측 검색의 검색 윈도우 내의 기준 화상 데이터를, 코딩되고 있는 입력 픽셀 블록으로부터의 그것의 수직 변위에 기초하여 변환한다. 그 후에, 방법(800)은, 검색 윈도우의 각각의 후보(x) 값에 대해, 모션 벡터가 사용된다면 일어날 예측 잔차들을 추정할 수 있고(박스(812)), 또한 생성된 왜곡을 추정할 수 있다(박스(813)). 그 후에, 방법(800)은 입력 픽셀 블록에 관하여 수평 방향(x)을 따라 기준 화상을 변환할 수 있다(박스(814)). 이러한 변환은 본질적으로, 예측 검색의 검색 윈도우 내의 기준 화상 데이터를, 코딩되고 있는 입력 픽셀 블록으로부터의 그것의 수평 변위에 기초하여 변환한다. 방법(800)은, 검색 윈도우의 각각의 후보(y) 값에 대해, 모션 벡터가 사용된다면 일어날 예측 잔차들을 추정할 수 있고(박스(815)) 또한 생성된 왜곡을 추정할 수 있다(박스(816)). 고려되는 모든 후보 모션 벡터들에 대해 추정치들이 획득되면, 방법(800)은 전체 코딩 비용을 최소화하는 모션 벡터를 선택할 수 있다(박스(818)).
표시된 바와 같이, 박스들(811 및 814)에서 수행되는 변환들은 본질적으로, 기준 이미지 데이터를 입력 픽셀 블록들과 행-단위(row-basis)(박스(811)) 및 열-단위(column-basis)(박스(814))로 정렬시키는 변환을 야기한다. 이들 변환들의 결과들은 입력 픽셀 블록들과 각각 행-단위 또는 열-단위로 또한 정렬되는 다른 입력 픽셀 블록들의 코딩에 재사용될 수 있다. 다시 말하면, 도 8의 방법(800)을 채용하는 시스템은 박스(811) 아래로 단일 변환을 수행하여 공통 행 내의 모든 입력 픽셀 블록들에 대한 코딩 비용 및 왜곡을 추정할 수 있다. 또한, 도 8의 방법(800)을 채용하는 시스템은 박스(814) 아래로 단일 변환을 수행하여 공통 열 내의 모든 입력 픽셀 블록들에 대한 코딩 비용 및 왜곡을 추정할 수 있다. 따라서, 방법(800)의 동작은 도 7의 방법(700)의 동작에 비해 프로세싱 리소스들을 절약할 것으로 예상된다.
도 9는 도 8의 방법(800)에 따라 기준 프레임 데이터에 적용될 수 있는 변환들을 예시한다. 도 9a는 코딩될 예시적인 입력 픽셀 블록(PBi,j)과 기준 프레임 데이터(900) 사이의 관계들을 예시한다. 입력 픽셀 블록(PBi,j)은, 코더가 픽셀 블록(PBi,j)의 예측을 위한 기초로서 사용될 기준 프레임 데이터(900)를 선택할 수 있는 검색 윈도우(SW)를 정의하는 위치(i,j)를 갖는다. 코딩 동안, 방법(800)은 탐색 윈도우(SW) 내의 후보 모션 벡터들(mv1, mv2 등)을 테스트하여, 적절한 기준 블록이 기준 화상 내에서 발견될 수 있는지 여부를 결정할 수 있다.
도 9b는 박스(811)에 따라 수행될 수 있는 기준 프레임 데이터의 예시적인 변환들을 예시한다. 도시된 바와 같이, 기준 프레임 데이터는 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 수직 변위에 기초하여 변환될 수 있다. 도 9에 예시된 예에서, 변환은 본질적으로, 기준 프레임 콘텐츠를 수직 변위에 기초하여 신장시킨다. 신장의 정도는 입력 픽셀 블록으로부터의 변위가 증가함에 따라 증가한다. 방법은 소스 기준 프레임 데이터(900) 보다는 신장된 기준 프레임 데이터(910) 내의 후보 모션 벡터들을 테스트할 수 있다. 도 4에 예시된 바와 같이, 객체(Obj2)의 신장된 데이터는 객체(Obj2)의 소스 데이터보다 객체(Obj1)에 대한 더 나은 예측 소스를 제공할 수 있다.
다른 사용 경우들에서, 이미지 데이터는 신장될 필요가 없다. 예를 들어, 도 4의 객체(Obj2)의 이미지 콘텐츠의 코딩 동안, 기준 프레임은 객체(Obj1)에 대응하는 위치에서의 객체의 콘텐츠를 포함할 수 있다. 이 경우에, 기준 프레임으로부터의 이미지 데이터는 객체(Obj2)에 대한 적절한 예측 매칭을 제공하기 위해 공간적으로 압축될 수 있다. 따라서, 확장이든 수축이든, 신장의 유형은 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 변위, 및 또한 코딩되고 있는 픽셀 블록(PBi,j)의 위치에 기초하여 결정될 수 있다.
도 9b에 예시된 바와 같이, 방법(800)은 기준 프레임 데이터(910)의 단일 변환을 수행할 수 있으며, 이것이 공통 행 내의 모든 픽셀 블록들(PB0,j 내지 PBmax,j)의 예측 검색들로서 기능한다. 따라서, 도 8의 방법(800)은 도 7의 방법(700)과 비교하여 프로세싱 리소스들을 절약할 것으로 예상된다.
도 9c는 박스(814)에 따라 수행될 수 있는 기준 프레임 데이터의 예시적인 변환들을 예시한다. 도시된 바와 같이, 기준 프레임 데이터(900)는 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 수평 변위에 기초하여 변환될 수 있다. 도 9c에 예시된 예에서, 변환은 본질적으로, 기준 프레임 콘텐츠를 수평 변위에 기초하여 신장시킨다. 신장의 정도는 입력 픽셀 블록으로부터의 변위가 증가함에 따라 증가한다. 방법은 소스 기준 프레임 데이터(900) 보다는 신장된 기준 프레임 데이터(920) 내의 후보 모션 벡터들을 테스트할 수 있다.
모든 경우에서 이미지 데이터가 신장될 필요는 없다. 도 9b의 예에서와 같이, 확장이든 수축이든, 신장의 유형은 코딩되고 있는 픽셀 블록(PBi,j)과 기준 프레임 데이터 사이의 변위, 및 또한 코딩되고 있는 픽셀 블록(PBi,j)의 위치에 기초하여 결정될 수 있다.
도 9c에 예시된 바와 같이, 방법(800)은 기준 프레임 데이터(910)의 단일 변환을 수행할 수 있으며, 이것이 공통 행 내의 모든 픽셀 블록들(PBi,0 내지 PBi,max)의 예측 검색들로서 기능한다. 다시, 도 8의 방법(800)은 도 7의 방법(700)과 비교하여 프로세싱 리소스들을 절약할 것으로 예상된다.
모션 벡터 기반 코딩이 수행될 것인지 여부를 예측함으로써 방법들(700 및/또는 800)에 대한 추가 리소스 보존이 채용될 수 있다. 예를 들어, 주변 동작 상황들에 기초하여, 주어진 프레임에 대해, 또는 프레임 콘텐츠의 일부분에 대해 인터 예측이 사용되지 않을 것으로 추정될 수 있다. 그러한 상황들에서, 예측 검색들(710 및/또는 810)은 생략될 수 있다. 다른 실시예에서, 주변 동작 상황들은 입력 데이터의 행을 따라, 또는 열을 따라 더 높은 모션의 가능성이 있음을 나타낼 수 있다. 그러한 표시들은 이미지 데이터를 제공하는 디바이스에 의해 제공되는 모션 센서 데이터로부터 도출되거나, 또는 이미지 콘텐츠 사이의 모션의 프레임간 분석(frame-to-frame analysis)들로부터 도출될 수 있다. 그러한 경우들에서, 방법(800)은 행-기반 모션에 대한 박스들(814 내지 816)의 동작을 생략하거나 열방향(columnar) 모션에 대한 박스들(811 내지 813)의 동작을 생략하도록 수행될 수 있다. 대안적으로, 방법(800)은 이미지 데이터의 행 또는 열(예를 들어, 대각선 벡터)에 정렬될 필요가 없는 추정된 모션 방향을 따라 변환들을 수행할 수 있다.
다른 실시예들에서, 코더는 변환들을 수행할 프레임 영역들의 서브세트를 선택할 수 있다. 예를 들어, 코더는 변환들이 적용될 콘텐츠의 영역들을, 변환들이 적용될 필요가 없는 각각의 다른 영역들 이전에 식별할 수 있다. 그러한 영역들은, 예를 들어, 관찰자들에게 관심 영역들일 가능성이 있는 프레임 콘텐츠 내의 객체들(예를 들어, 얼굴들, 신체들 또는 다른 미리결정된 콘텐츠)을 식별하기 위해 프레임 콘텐츠의 분석에 기초하여 선택될 수 있다. 그러한 영역들은 이미지 데이터 내의 전경 콘텐츠를 식별하는 프레임 콘텐츠의 분석에 기초하여 선택될 수 있으며, 관심 영역들로 지정될 수 있다. 또한, 그러한 영역들은 디스플레이 디바이스(120)(도 1)에 의해 보고된 디스플레이 활동에 기초하여 선택될 수 있으며; 예를 들어, 인코더가 등장방형 이미지의 일부분만이 디스플레이(120)상에 렌더링되고 있음을 나타내는 통신을 디스플레이(120)로부터 수신하는 경우, 인코더는 렌더링되고 있는 부분 상에는 그러한 변환들을 적용하고, 렌더링되고 있지 않은 다른 영역들 상에는 변환-기반 검색을 생략하도록(forego) 결정할 수 있다. 다른 실시예에서, 특히 높은 모션의 영역들이 그러한 변환들이 없는 코딩에 대해 지정될 수 있고; 전형적으로, 높은 모션 영역들 내의 코딩 손실들은 낮은 모션 영역 내의 코딩 손실들 만큼이나 인간 관찰자들에게 인지가능하지 않다.
추가 실시예에서, 글로벌 카메라 모션을 고려하기 위해 변환들이 수행될 수 있다. 인코더는 모션 센서(290)(도 2)로부터 데이터를 수신하거나, 이미지 캡처 동안 카메라가 이동하고 있음을 나타내는 이미지 분석을 수행할 수 있다. 이미지 프로세서(220)는 기준 프레임 데이터를 모션 동안 카메라 시스템(210)(도 2)에 의해 출력되는 프레임들과 공간적으로 정렬하기 위해, 기준 프레임들에 대해 이미지 변환 동작들을 수행할 수 있다.
본 발명의 원리들은 인트라-코딩 기술들 뿐만 아니라 인터-코딩 기술들에 이용되는 예측 기준 데이터에 적용된다. 인터-코딩이 프레임들 사이의 이미지 데이터의 시간적 중복성을 이용한다면, 인트라-코딩은 단일 프레임 내의 공간적 중복성을 이용한다. 따라서, 입력 픽셀 블록은 입력 픽셀 블록이 존재하는 동일한 프레임의 이전에 코딩된 데이터를 참조하여 코딩될 수 있다. 전형적으로, 비디오 코더들은 미리결정된 순서, 예를 들어 래스터 스캔(raster scan) 순서로 픽셀 블록 단위로 입력 프레임을 코딩한다. 따라서, 프레임 내의 중간 지점에서 입력 픽셀 블록을 코딩하는 경우, 인코더는 코딩 순서로 입력 픽셀 블록에 선행하는 다른 픽셀 블록들의 코딩된 이미지 데이터를 가질 것이다. 선행 픽셀 블록들의 디코딩된 데이터는 중간 픽셀 블록의 데이터가 디코딩될 때 인코더 및 디코더 둘 모두에 이용가능할 수 있고, 따라서, 선행 픽셀 블록들은 예측 기준으로서 사용될 수 있다.
그러한 실시예들에서, 인트라-코딩을 위한 예측 검색 동작들은 입력 픽셀 블록과 수학식 (5) 및 수학식 (10)에 따라 변환된 예측 기준 데이터(동일한 프레임의 이전에 코딩된 픽셀 블록들) 사이에서, 입력 픽셀 블록과 예측 기준 데이터 내의 후보 예측 블록들 사이의 변위에 따라 수행될 수 있다. 따라서, 본 발명의 기술들은 또한 인트라-코딩에서 사용하기 위한 애플리케이션을 발견한다.
도 10은 본 발명의 일 실시예에 따른 코딩 시스템(1000)의 기능적 블록도이다. 시스템(1000)은 픽셀 블록 코더(1010), 픽셀 블록 디코더(1020), 인-루프 필터(in-loop filter) 시스템(1030), 기준 화상 저장소(1040), 변환 유닛(1050), 예측기(1060), 제어기(1070), 및 신택스(syntax) 유닛(1080)을 포함할 수 있다. 픽셀 블록 코더(1010)와 픽셀 블록 디코더(1020) 및 예측기(1060)는 화상의 개별 픽셀 블록들에 대해 반복적으로 동작할 수 있다. 예측기(1060)는 새롭게 제시된 입력 픽셀 블록의 코딩 동안 사용하기 위한 데이터를 예측할 수 있다. 픽셀 블록 코더(1010)는 예측 코딩 기술들에 의해 새로운 픽셀 블록을 코딩하고, 코딩된 픽셀 블록 데이터를 신택스 유닛(1080)에 제시할 수 있다. 픽셀 블록 디코더(1020)는 코딩된 픽셀 블록 데이터를 디코딩하여, 그로부터 디코딩된 픽셀 블록 데이터를 생성할 수 있다. 인-루프 필터(1030)는 픽셀 블록 디코더(1020)에 의해 획득된 디코딩된 픽셀 블록들로부터 어셈블된 디코딩된 화상에 대해 다양한 필터링 동작들을 수행할 수 있다. 필터링된 화상은 기준 화상 저장소(1040) 내에 저장될 수 있고 이후 수신되는 픽셀 블록의 예측의 소스로 사용될 수 있다. 신택스 유닛(1080)은 조정 코딩 프로토콜을 따르는 코딩된 픽셀 블록 데이터로부터의 데이터 스트림을 어셈블할 수 있다.
픽셀 블록 코더(1010)은 감산기(1012), 변환 유닛(1014), 양자화기(1016) 및 엔트로피 코더(1018)를 포함할 수 있다. 픽셀 블록 코더(1010)는 입력 데이터의 픽셀 블록들을 감산기(1012)에 수용할 수 있다. 감산기(1012)는 예측기(1060)로부터 예측된 픽셀 블록들을 수신하고, 그로부터 입력 픽셀 블록과 예측된 픽셀 블록 사이의 차이를 나타내는 픽셀 잔차들의 어레이를 생성할 수 있다. 변환 유닛(1014)은 감산기(1012)로부터 출력된 샘플 데이터에 변환을 적용하여 데이터를 픽셀 도메인으로부터 변환 계수들의 도메인으로 전환할 수 있다. 양자화기(1016)는 변환 유닛(1014)에 의해 출력되는 변환 계수들의 양자화를 수행할 수 있다. 양자화기(1016)는 균일하거나 불균일한 양자화기일 수 있다. 엔트로피 코더(1018)는 예를 들어, 출력을 가변 길이 코드 워드들에 의해 코딩함으로써 계수 양자화기의 출력의 대역폭을 감소시킬 수 있다.
변환 유닛(1014)은 제어기(1070)에 의해 결정되는 다양한 변환 모드들에서 동작할 수 있다. 예를 들어, 변환 유닛(1014)은 이산 코사인 변환(discrete cosine transform, DCT), 이산 사인 변환(discrete sine transform, DST), 월시-아다마르 변환(Walsh-Hadamard transform), 하르 변환(Haar transform), 다우비치 웨이블릿 변환(Daubechies wavelet transform) 등을 적용할 수 있다. 일 실시예에서, 제어기(1070)는 변환 유닛(1015)에 의해 적용될 코딩 모드(M)를 선택할 수 있고, 이에 따라 변환 유닛(1015)을 구성할 수 있고, 코딩 모드(M)를 코딩된 비디오 데이터 내에 명시적 또는 암시적으로 시그널링할 수 있다.
양자화기(1016)는 제어기(1070)에 의해 공급되는 양자화 파라미터(QP)에 따라 동작할 수 있다. 일 실시예에서, 양자화 파라미터(QP)는, 예를 들어, 변환-도메인 픽셀 블록 내의 상이한 계수 위치들에 걸쳐 변할 수 있는 다중 값 양자화 파라미터로서 변환 계수들에 적용될 수 있다. 따라서, 양자화 파라미터(QP)는 양자화 파라미터들 어레이로서 제공될 수 있다.
픽셀 블록 디코더(1020)는 픽셀 블록 코더(1010)의 코딩 동작들을 반전시킬 수 있다. 예를 들어, 픽셀 블록 디코더(1020)는 역양자화기(1022), 역변환 유닛(1024), 및 가산기(1026)를 포함할 수 있다. 픽셀 블록 디코더(1020)는 양자화기(1016)의 출력으로부터 그의 입력 데이터를 취할 수 있다. 허용가능하지만, 픽셀 블록 디코더(1020)는 엔트로피 코딩이 무손실 이벤트이기 때문에 엔트로피 코딩된 데이터의 엔트로피 디코딩을 수행할 필요가 없다. 역양자화기(1022)는 픽셀 블록 코더(1010)의 양자화기(1016)의 동작들을 반전시킬 수 있다. 역양자화기(1022)는 디코딩된 신호(QP)에 의해 특정된 바와 같이 균일하거나 불균일한 역양자화를 수행할 수 있다. 유사하게, 역변환 유닛(1024)은 변환 유닛(1014)의 동작들을 반전시킬 수 있다. 역양자화기(1022) 및 역변환 유닛(1024)은 동일한 양자화 파라미터(QP)들 및 변환 모드(M)를 픽셀 블록 코더(1010) 내의 그들의 대응부들로서 사용할 수 있다. 양자화 동작들은 다양한 경우들에서 데이터를 절단할 가능성이 있으며, 따라서, 역양자화기(1022)에 의해 복구된 데이터는 픽셀 블록 코더(1010) 내의 양자화기(1016)에 제시된 데이터와 비교할 때 코딩 에러들을 가질 가능성이 있다.
가산기(1026)는 감산기(1012)에 의해 수행되는 동작들을 반전시킬 수 있다. 가산기는 예측기(1060)로부터 감산기(1012)가 잔차 신호들을 생성하는 데 사용했던 것과 동일한 예측 픽셀 블록을 수신할 수 있다. 가산기(1026)는 예측 픽셀 블록을 역변환 유닛(1024)에 의해 출력되는 재구성된 잔차 값들에 추가할 수 있고, 재구성된 픽셀 블록 데이터를 출력할 수 있다.
인-루프 필터(1030)는 복구된 픽셀 블록 데이터에 대해 다양한 필터링 동작들을 수행할 수 있다. 예를 들어, 인-루프 필터(1030)는 디블록킹 필터(1032) 및 샘플 적응형 오프셋("SAO") 필터(1033)를 포함할 수 있다. 디블록킹 필터(1032)는 코딩으로 인해 일어나는 픽셀 블록들 사이의 불연속성들을 감소시키기 위해 재구성된 픽셀 블록들 사이의 시임들에서의 데이터를 필터링할 수 있다. SAO 필터들은, 예를 들어, 에지 방향/형상 및/또는 픽셀/컬러 컴포넌트 레벨에 기초하여, SAO "유형"에 따라 오프셋들을 픽셀 값들에 추가할 수 있다. 인-루프 필터(1030)는 제어기(1070)에 의해 선택되는 파라미터들에 따라 동작할 수 있다.
기준 화상 저장소(1040)는 다른 픽셀 블록들의 이후 예측에 사용하기 위해 필터링된 픽셀 데이터를 저장할 수 있다. 상이한 유형들의 예측 데이터가 상이한 예측 모드들에 대해 예측기(1060)에 이용가능하게 된다. 예를 들어, 입력 픽셀 블록에 대해, 인트라 예측은 입력 픽셀 블록이 위치되는 동일한 화상의 디코딩된 데이터로부터 예측 기준을 취한다. 따라서, 기준 화상 저장소(1040)는 각각의 화상이 코딩될 때 그것의 디코딩된 픽셀 블록 데이터를 저장할 수 있다. 동일한 입력 픽셀 블록에 대해, 인터 예측은 이전에 코딩되고 디코딩된 화상(들) - 이들은 기준 화상들로 지정됨 -으로부터 예측 기준을 취할 수 있다. 따라서, 기준 화상 저장소(1040)는 이들 디코딩된 기준 화상들을 저장할 수 있다.
변환 유닛(1050)은 전술한 실시예들에서 논의된 바와 같이 기준 화상 데이터의 변환들을 수행할 수 있다. 따라서, 입력 픽셀 블록과 입력 픽셀 블록에 대한 검색 윈도우 내의 기준 화상 데이터 사이의 변위에 기초하여, 변환 유닛(1050)은 변환된 기준 화상 데이터를 생성할 수 있다. 변환 유닛(1050)은 변환된 기준 화상 데이터를 예측기(1060)로 출력할 수 있다.
논의된 바와 같이, 예측기(1060)는 잔차들을 생성하는 데 사용하기 위해 예측 데이터를 픽셀 블록 코더(1010)에 공급할 수 있다. 예측기(1060)는 인터 예측기(1062), 인트라 예측기(1063) 및 모드 결정 유닛(1064)을 포함할 수 있다. 인터 예측기(1062)는 코딩될 새로운 픽셀 블록을 나타내는 구면-투영된 픽셀 블록 데이터를 수신할 수 있고, 입력 픽셀 블록을 코딩하는 데 사용하기 위해 기준 화상(들)으로부터의 픽셀 블록 데이터에 대해 저장소(1040)로부터의 기준 화상 데이터의 구면 투영들을 검색할 수 있다. 인터 예측기(1062)는 P 모드 코딩 및 B 모드 코딩과 같은 복수의 예측 모드들을 지원할 수 있다. 인터 예측기(1062)는 인터 예측 모드, 및 코딩되고 있는 입력 픽셀 블록에 가장 근접한 매칭을 제공하는 후보 예측 기준 데이터의 식별을 선택할 수 있다. 인터 예측기(1062)는 모션 벡터들과 같은 예측 기준 메타데이터를 생성하여, 어느 기준 화상들의 어느 부분(들)이 입력 픽셀 블록에 대한 예측의 소스(들)로 선택되었는지 식별할 수 있다.
인트라 예측기(1063)는 인트라(I) 모드 코딩을 지원할 수 있다. 인트라 예측기(1063)는 코딩되고 있는 픽셀 블록과 동일한 화상으로부터의 구면-투영된 픽셀 블록 데이터 중에서 구면-투영된 입력 픽셀 블록에 가장 근접한 매칭을 제공하는 것을 검색할 수 있다. 인트라 예측기(1063)는 또한 예측 기준 표시자들을 생성하여 화상의 어느 부분이 입력 픽셀 블록에 대한 예측의 소스로서 선택되었는지 식별할 수 있다.
모드 결정 유닛(1064)은 입력 픽셀 블록에 적용될 최종 코딩 모드를 선택할 수 있다. 전형적으로, 전술된 바와 같이, 모드 결정 유닛(1064)은 목표 비트레이트를 고려하여 비디오가 디코딩되는 경우 최저 왜곡을 달성할 예측 모드를 선택한다. 코딩 모드들이 특정 채널 거동을 만족시키거나, 랜덤 액세스를 지원하는 것과 같은 코딩 시스템(1000)이 준수하는 다른 정책들, 또는 데이터 리프레시 정책들을 만족시키도록 선택되는 경우 예외들이 발생할 수 있다. 모드 결정이 최종 코딩 모드를 선택하는 경우, 모드 결정 유닛(1064)은 저장소(1040)로부터 비구면-투영된 기준 블록을 픽셀 블록 코더(1010) 및 픽셀 블록 디코더(1020)로 출력할 수 있고, 선택된 예측 모드의 식별을 선택된 모드에 대응하는 예측 기준 표시자들과 함께 제어기(1070)에 공급할 수 있다.
제어기(1070)는 코딩 시스템(1000)의 전체 동작을 제어할 수 있다. 제어기(1070)는 입력 픽셀 블록들 및 또한 코딩 비트레이트 목표들 및 다른 동작 파라미터들과 같은 외부 제약들의 분석에 기초하여 픽셀 블록 코더(1010) 및 예측기(1060)에 대한 동작 파라미터들을 선택할 수 있다. 본 논의와 관련된 바와 같이, 양자화 파라미터(QP)들, 균일한 또는 불균일한 양자화기들의 사용, 및/또는 변환 모드(M)를 선택하는 경우, 그러한 파라미터들을 신택스 유닛(1080)에 제공할 수 있으며, 신택스 유닛은 그러한 파라미터들을 나타내는 데이터를 시스템(1000)에 의해 출력되는 코딩된 비디오 데이터의 데이터 스트림 내에 포함할 수 있다.
동작 동안, 제어기(1070)는 양자화기(1016) 및 변환 유닛(1015)의 동작 파라미터들을 이미지 데이터의 상이한 세분성들로 변경할 수 있으며, 픽셀 블록별 단위(per pixel block basis)로, 또는 더 큰 세분성(예를 들어, 화상별, 슬라이스별, 최대 코딩 유닛(largest coding unit, "LCU")별 또는 다른 영역)으로 변경할 수 있다. 일 실시예에서, 양자화 파라미터들은 코딩된 화상 내에서 픽셀별 단위(per-pixel basis)로 변경될 수 있다.
추가적으로, 논의된 바와 같이, 제어기(1070)는 인-루프 필터(1030) 및 예측 유닛(1060)의 동작을 제어할 수 있다. 그러한 제어는, 예측 유닛(1060)에 대해, 모드 선택(람다, 테스트될 모드들, 검색 윈도우들, 왜곡 전략들 등), 및 인-루프 필터(1030)에 대해, 필터 파라미터들, 재정렬 파라미터들, 가중된 예측 등의 선택을 포함할 수 있다.
일 실시예에서, 예측기(1060)는 입력 픽셀 블록 데이터 및 구면 투영부 내의 기준 픽셀 블록 데이터를 사용하여 예측 검색들을 수행할 수 있다. 그러한 예측 기술들의 동작이 2016년 12월 23일자로 출원되고 본 출원의 양수인에게 양도된 미국 특허 출원 제15/390,202 호에 기술되어 있다. 그러한 실시예에서, 코더(1000)는 예측기(1060)에 입력되기 전에 입력 픽셀 블록 데이터를 구면 도메인으로 변환하는 구면 변환 유닛(1090)을 포함할 수 있다. 변환 유닛(1050)은 (위에서 설명된 변환들을 수행하는 것에 더하여) 예측기(1060)에 입력되기 전에 기준 화상 데이터를 구면 도메인으로 변환할 수 있다.
도 11은 본 발명의 일 실시예에 따른 디코딩 시스템(1100)의 기능적 블록도이다. 디코딩 시스템(1100)은 신택스 유닛(1110), 픽셀 블록 디코더(1120), 인-루프 필터(1130), 기준 화상 저장소(1140), 변환 유닛(1150), 예측기(1160), 및 제어기(1170)를 포함할 수 있다. 신택스 유닛(1110)은 코딩된 비디오 데이터 스트림을 수신할 수 있고, 코딩된 데이터를 그것의 구성 부분들로 파싱할 수 있다. 코딩 파라미터들을 나타내는 데이터는 제어기(1170)에 제공될 수 있는 한편, 코딩된 잔차들을 나타내는 데이터(도 10의 픽셀 블록 코더(1010)에 의해 출력된 데이터)는 픽셀 블록 디코더(1120)에 제공될 수 있다. 픽셀 블록 디코더(1120)는 픽셀 블록 코더(1010)(도 10)에 의해 제공되는 코딩 동작들을 반전시킬 수 있다. 인-루프 필터(1130)는 재구성된 픽셀 블록 데이터를 필터링할 수 있다. 재구성된 픽셀 블록 데이터는 디스플레이를 위한 화상들로 어셈블되고, 디코딩 시스템(1100)으로부터 출력 비디오로서 출력될 수 있다. 화상들은 또한 예측 동작들에 사용하기 위해 예측 버퍼(1140)에 저장될 수 있다. 변환 유닛(1150)은 전술한 논의에 기술된 바와 같이, 코딩된 픽셀 블록 데이터에 포함된 모션 벡터들에 의해 식별되는 기준 화상 데이터의 변환을 수행할 수 있다. 예측기(1160)는 코딩된 비디오 데이터 스트림 내에 수신된 코딩 데이터에 의해 결정되는 바에 따라 예측 데이터를 픽셀 블록 디코더(1120)에 공급할 수 있다.
픽셀 블록 디코더(1120)는 엔트로피 디코더(1122), 역양자화기(1124), 역변환 유닛(1126), 및 가산기(1128)를 포함할 수 있다. 엔트로피 디코더(1122)는 엔트로피 코더(1018)(도 10)에 의해 수행되는 프로세스들을 반전시키기 위해 엔트로피 디코딩을 수행할 수 있다. 역양자화기(1124)는 픽셀 블록 코더(1010)(도 10)의 양자화기(1016)의 동작들을 반전시킬 수 있다. 유사하게, 역변환 유닛(1126)은 변환 유닛(1014)(도 10)의 동작들을 반전시킬 수 있다. 그들은 코딩된 비디오 데이터 스트림 내에 제공되는 양자화 파라미터(QP)들 및 변환 모드(M)들을 사용할 수 있다. 양자화는 데이터를 절단할 가능성이 있기 때문에, 역양자화기(1124)에 의해 복구된 데이터는 픽셀 블록 코더(1010)(도 10) 내의 그것의 대응 양자화기(1016)에 제시된 입력 데이터와 비교할 때 코딩 에러들을 가질 가능성이 있다.
가산기(1128)는 감산기(1011)(도 10)에 의해 수행되는 동작들을 반전시킬 수 있다. 그것은 코딩된 비디오 데이터 스트림 내의 예측 기준들에 의해 결정되는 바에 따라 예측기(1160)로부터 예측 픽셀 블록을 수신할 수 있다. 가산기(1128)는 예측 픽셀 블록을 역변환 유닛(1126)에 의해 출력되는 재구성된 잔차 값들에 추가할 수 있고, 재구성된 픽셀 블록 데이터를 출력할 수 있다.
인-루프 필터(1130)는 재구성된 픽셀 블록 데이터에 대해 다양한 필터링 동작들을 수행할 수 있다. 예시된 바와 같이, 인-루프 필터(1130)는 디블록킹 필터(deblocking filter)(1132) 및 SAO 필터(1134)를 포함할 수 있다. 디블록킹 필터(1132)는 코딩으로 인해 일어나는 픽셀 블록들 사이의 불연속성들을 감소시키기 위해 재구성된 픽셀 블록들 사이의 시임들에서의 데이터를 필터링할 수 있다. SAO 필터(1134)들은, 예를 들어, 에지 방향/형상 및/또는 픽셀 레벨에 기초하여, SAO 유형에 따라 오프셋을 픽셀 값들에 추가할 수 있다. 다른 유형들의 인-루프 필터들이 또한 유사한 방식으로 사용될 수 있다. 디블록킹 필터(1132) 및 SAO 필터(1134)의 동작은 이상적으로는 코딩 시스템(1000)(도 10) 내의 그들의 대응부들의 동작을 모방할 것이다. 따라서, 송신 에러들 또는 다른 이상들의 부재 시, 디코딩 시스템(1100)의 인-루프 필터(1130)로부터 획득된 디코딩된 화상은 코딩 시스템(1000)(도 10)의 인-루프 필터(1030)로부터 획득된 디코딩된 화상과 동일할 것이며; 이러한 방식으로, 코딩 시스템(1000) 및 디코딩 시스템(1100)은 그들 각자의 기준 화상 저장소들(1040, 1140)에 공통 세트의 기준 화상들을 저장해야 한다.
기준 화상 저장소(1140)들은 다른 픽셀 블록들의 이후 예측에 사용하기 위해 필터링된 픽셀 데이터를 저장할 수 있다. 기준 화상 저장소(1140)들은 인트라 예측에 사용하기 위해 코딩될 때 각각의 화상의 디코딩된 픽셀 블록 데이터를 저장할 수 있다. 기준 화상 저장소(1140)들은 또한 디코딩된 기준 화상들을 저장할 수 있다.
변환 유닛(1150)은 전술한 실시예들에서 논의된 바와 같이 기준 화상 데이터의 변환들을 수행할 수 있다. 디코더(1100)에서, 변환 유닛(1150)은 코딩된 비디오 데이터에 포함된 모션 벡터들에 의해 식별되는 기준 화상의 변환들을 수행하기에 충분하다. 모션 벡터는 인코더(1000)(도 10)가 기준 블록을 도출했던 기준 화상 내의 위치를 디코더(1100)에게 식별해 줄 수 있다. 디코더의 변환 유닛(1150)은 변환된 기준 블록 데이터를 생성하기 위해, 모션 벡터를 사용하여, 그리고 디코딩되고 있는 픽셀 블록 및 기준 블록에 기초하여, 기준 화상 데이터의 동일한 변환을 수행할 수 있다.
논의된 바와 같이, 예측기(1160)는 변환된 기준 블록 데이터를 픽셀 블록 디코더(1120)에 공급할 수 있다. 예측기(1160)는 코딩된 비디오 데이터 스트림 내에 공급된 예측 기준 표시자들에 의해 결정되는 바에 따라 예측된 픽셀 블록 데이터를 공급할 수 있다.
제어기(1170)는 코딩 시스템(1100)의 전체 동작을 제어할 수 있다. 제어기(1170)는 코딩된 비디오 데이터 스트림 내에 수신된 파라미터들에 기초하여 픽셀 블록 디코더(1120) 및 예측기(1160)에 대한 동작 파라미터들을 설정할 수 있다. 본 논의와 관련된 바와 같이, 이러한 동작 파라미터들은 역양자화기(1124)에 대한 양자화 파라미터(QP)들 및 역변환 유닛(1115)에 대한 변환 모드(M)들을 포함할 수 있다. 논의된 바와 같이, 수신된 파라미터들은 이미지 데이터의 다양한 세분성들로 설정될 수 있으며, 예를 들어, 픽셀 블록별 단위, 화상별 단위, 슬라이스별 단위, LCU별 단위, 또는 입력 이미지에 대해 정의된 다른 유형들의 영역들에 기초하여 설정될 수 있다.
실제로, 인코더들 및 디코더들은 수행되는 코딩 동작들의 파라미터들을 식별하기 위해 시그널링을 교환할 수 있다. 시그널링은 전형적으로, 이러한 파라미터의 통신을 위한 신택스 요소들을 정의하는 HEVC, AVC 및 관련 프로토콜들과 같은 코딩 프로토콜을 참조하여 수행된다. 일 실시예에서, 전술한 실시예들의 기술들은, 다음에 의한 것과 같이, 시퀀스 파라미터 데이터세트에 "reference_ correction_ id"로 불리는 새로운 파라미터를 추가하는 HEVC 코딩 프로토콜과 통합될 수 있다:
Figure 112019080788825-pct00014
일 실시예에서, reference_correction_id는 다음과 같은 값들을 취할 수 있다:
Figure 112019080788825-pct00015
여기서:
reference_correction_id = 0은 특별한 처리가 수행되지 않음을 나타내고,
reference_correction_id = 1은 수평 왜곡 보정만이 수행된다는 것을 나타내고,
reference_correction_id = 2는 수직 왜곡 보정만이 수행된다는 것을 나타내고,
reference_correction_id = 3은 수평 왜곡 보정이 먼저 수행되고, 이어서 상이한 행 내의 각각의 블록에 대해 수직 보정이 수행됨을 나타낸다.
reference_correction_id = 4는 수직 왜곡 보정이 먼저 수행되고, 이어서 상이한 열 내의 각각의 블록에 대해 수평 보정이 수행됨을 나타낸다.
reference_correction_id = 5는 블록 단위(block by block) 변환들이 예측 검색들 동안 각각의 기준 후보에 대해 적용됨을 나타낸다.
물론, 코딩 파라미터들은 요구될 수 있는 바에 따라 상이한 신택스에 따라 시그널링될 수 있다.
전술된 논의에서 비디오 코더들 및 디코더들과 관련하여 본 발명의 실시예들의 동작을 기술하였다. 통상, 이들 컴포넌트들은 전자 디바이스들로서 제공된다. 비디오 디코더들 및/또는 제어기들은 주문형 집적 회로들, 필드 프로그래밍가능 게이트 어레이들 및/또는 디지털 신호 프로세서들과 같은 집적 회로들 내에 내장될 수 있다. 대안적으로, 그들은 카메라 디바이스들, 개인용 컴퓨터들, 노트북 컴퓨터들, 태블릿 컴퓨터들, 스마트폰들 또는 컴퓨터 서버들 상에서 실행되는 컴퓨터 프로그램들 내에 내장될 수 있다. 그러한 컴퓨터 프로그램들은 전형적으로, 전자, 자기 및/또는 광학 기반 저장 디바이스들과 같은 물리적 저장 매체들에 저장되고, 여기서 이들은 프로세서로 판독 및 실행된다. 디코더들은 통상적으로, 스마트폰들, 태블릿 컴퓨터들, 게임 시스템들, DVD 플레이어들, 휴대용 미디어 플레이어들 등과 같은 소비자 전자 디바이스들 내에 패키징되고, 이들은 또한 비디오 게임들, 미디어 플레이어들, 미디어 편집기들 등과 같은 소비자 소프트웨어 애플리케이션들 내에 패키징될 수 있다. 그리고, 물론 이러한 컴포넌트들은 요구되는 바에 따라 전용 하드웨어 컴포넌트들 및 프로그래밍된 범용 프로세서들에 걸쳐 기능을 분산시키는 하이브리드 시스템들로서 제공될 수 있다.
예를 들어, 본 명세서에 기술된 기술들은 컴퓨터 시스템의 중앙 프로세서에 의해 수행될 수 있다. 도 12는 그러한 기술들을 수행할 수 있는 예시적인 컴퓨터 시스템(1200)을 예시한다. 컴퓨터 시스템(1200)은 서로 통신하도록 제공되는, 중앙 프로세서(1210), 하나 이상의 카메라들(1220), 메모리(1230), 및 송수신기(1240)를 포함할 수 있다. 카메라(1220)는 이미지 캡처를 수행할 수 있고, 캡처된 이미지 데이터를 메모리(1230)에 저장할 수 있다. 옵션적으로, 디바이스는 또한 요구되는 바에 따라 코더(1250) 및 디스플레이(1260)와 같은 싱크(sink) 컴포넌트들을 포함할 수 있다.
중앙 프로세서(1210)는 시스템(1200)의 운영 체제(1212) 및 다양한 애플리케이션들(1214.1 내지 1214.N)을 정의하는, 메모리(1230)에 저장된 다양한 프로그램 명령어들을 판독 및 실행할 수 있다. 프로그램 명령어들은 본 명세서에 기술된 기술들에 따라 코딩 모드 제어를 수행할 수 있다. 중앙 프로세서(1210)가 프로그램 명령어들을 실행함에 따라, 중앙 프로세서는 메모리(1230)로부터, 카메라(1220) 또는 애플리케이션들(1214.1 내지 1214.N) 중 어느 하나에 의해 생성된 이미지 데이터를 판독할 수 있으며, 이는 송신을 위해 코딩될 수 있다. 중앙 프로세서(1210)는 도 6의 원리들에 따라 동작하는 프로그램을 실행할 수 있다. 대안적으로, 시스템(1200)은 독립형 프로세싱 시스템 및/또는 집적 회로로서 제공되는 전용 코더(1250)를 가질 수 있다.
지시된 바와 같이, 메모리(1230)는, 실행될 때, 프로세서로 하여금 전술된 기술들을 수행하게 하는 프로그램 명령어들을 저장할 수 있다. 메모리(1230)는 프로그램 명령어들을 전기, 자기 및/또는 광학 기반 저장 매체들에 저장할 수 있다.
송수신기(1240)는 송신 유닛들을 송신하고 네트워크(도시되지 않음)로부터 확인응답 메시지(acknowledgement message)들을 수신하기 위한 통신 시스템을 나타낼 수 있다. 중앙 프로세서(1210)가 소프트웨어 기반 비디오 코더를 동작시키는 일 실시예에서, 송수신기(1240)는 프로세서(1210)에 의해 검색하기 위해, 메모리(1230) 내의 확인응답 메시지의 상태를 나타내는 데이터를 배치할 수 있다. 시스템(1200)이 전용 코더를 갖는 일 실시예에서, 송수신기(1240)는 상태 정보를 코더(1250)와 교환할 수 있다.
전술된 설명은 예시 및 설명의 목적을 위해 제공되었다. 이는 망라하는 것이 아니며, 본 발명의 실시예들을 개시된 바로 그 형태들로 한정하지 않는다. 수정들 및 변경들이 위의 교시에 비추어 가능하거나, 본 발명에 따른 실시 중인 실시예들로부터 획득될 수 있다. 본 명세서에서 달리 설명되지 않는 한, 방법들 중 임의의 방법이 임의의 조합으로 실시될 수 있다.

Claims (29)

  1. 다방향성(multi-directional) 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법으로서,
    기준 화상(reference picture)으로부터, 상기 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 변환하는 단계 - 상기 변환은 상기 검색 윈도우 내의 콘텐츠 요소들의 구면 도메인 변환에 의하고, 상기 콘텐츠 요소들의 각각은 상기 입력 픽셀 블록의 위치와 상기 검색 윈도우 내의 상기 콘텐츠 요소의 위치 사이의 변위에 따라 변환됨 -,
    상기 기준 화상의 상기 구면 도메인 변환된 콘텐츠 내에서 예측 검색을 수행하여 상기 입력 픽셀 블록과 상기 기준 화상의 상기 변환된 콘텐츠의 매칭 부분 사이의 매칭을 식별하는 단계, 및
    매칭이 식별되는 경우, 상기 입력 픽셀 블록을 상기 매칭 부분에 대해 차별적으로 코딩하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  2. 제1항에 있어서, 상기 변환하는 단계는, 상기 검색 윈도우 내의 각각의 후보 모션 벡터에 대해, 상기 기준 화상으로부터 상기 후보 모션 벡터에 의해 식별된 기준 블록을 변환하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  3. 제1항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 행에 대해, 상기 변환하는 단계는 상기 픽셀 블록들의 행에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 열들을 따라 수직으로 변환하는 단계를 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 행 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  4. 제1항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 열에 대해, 상기 변환하는 단계는 상기 픽셀 블록들의 열에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 행들을 따라 수평으로 변환하는 단계를 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 열 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  5. 제1항에 있어서, 상기 변환하는 단계는 상기 입력 픽셀 블록을 포함하는 프레임에 대해 식별된 모션 방향을 따르는 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 변환하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  6. 제1항에 있어서, 상기 코딩하는 단계는 인트라-코딩(intra-coding) 예측 모드를 사용하고, 상기 기준 화상은 상기 입력 픽셀 블록이 위치되는 동일한 프레임의 이전에 코딩된 데이터의 디코딩된 데이터를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  7. 제1항에 있어서, 상기 코딩하는 단계는 인터-코딩(inter-coding) 예측 모드를 사용하고, 상기 기준 화상은 상기 입력 픽셀 블록이 위치되는 프레임의 코딩에 앞서 코딩되었던 다른 프레임의 디코딩된 데이터를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  8. 제1항에 있어서, 상기 다방향성 이미지 콘텐츠는 어안 렌즈들을 갖는 다시점 카메라(multi-view camera)에 의해 생성되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  9. 제1항에 있어서, 상기 다방향성 이미지 콘텐츠는 전방향성(omnidirectional) 카메라에 의해 생성되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  10. 제1항에 있어서, 상기 다방향성 이미지 콘텐츠는 컴퓨터 애플리케이션에 의해 생성되는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  11. 제1항에 있어서, 상기 코딩하는 단계는
    상기 입력 픽셀 블록의 픽셀들과 상기 변환된 기준 화상의 상기 매칭 부분 사이의 차이들을 나타내는 예측 잔차(prediction residual)들을 계산하는 단계,
    상기 예측 잔차들을 변환 계수들로 변환하는 단계,
    상기 변환 계수들을 양자화하는 단계, 및
    상기 양자화된 계수들을 엔트로피 코딩(entropy coding)하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  12. 제1항에 있어서, 상기 입력 픽셀 블록의 코딩된 데이터와 함께, 상기 기준 화상 상에 수행된 변환의 유형을 식별하는 파라미터를 송신하는 단계를 추가로 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  13. 제1항에 있어서,
    복수의 입력 픽셀 블록들을 상기 인코더에 의해 코딩하는 단계를 추가로 포함하고, 각각 각자의 픽셀 블록을 코딩하는 것은,
    상기 각자의 픽셀 블록에 적용될 예측 모드를 추정하는 것,
    상기 추정된 예측 모드가 인터-코딩 모드인 경우, 상기 변환, 상기 예측 검색 및 상기 차별적 코딩을 수행하는 것에 의해 상기 각자의 픽셀 블록을 코딩하는 것, 및
    상기 추정된 예측 모드가 인트라-코딩 모드인 경우, 상기 변환, 상기 예측 검색 및 상기 차별적 코딩을 수행하지 않고 상기 각자의 픽셀 블록을 코딩하는 것을 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  14. 제1항에 있어서,
    상기 입력 픽셀 블록이 속하는 프레임의 글로벌 모션을 추정하는 단계를 추가로 포함하며,
    상기 변환하는 단계는 상기 기준 화상을 상기 입력 픽셀 블록의 프레임에 대해 공간적으로 정렬하는 단계를 포함하는, 다방향성 이미지 콘텐츠를 포함하는 입력 픽셀 블록을 인코더에 의해 코딩하기 위한 방법.
  15. 프로그램 명령어들이 저장된 비일시적인(non-transitory) 컴퓨터 판독가능 저장 매체로서, 상기 프로그램 명령어들은 프로세싱 인코더 디바이스에 의해 실행될 때, 상기 인코더 디바이스로 하여금
    기준 화상으로부터, 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 변환하고 - 상기 변환은 상기 검색 윈도우 내의 콘텐츠 요소들의 구면 도메인 변환에 의하고, 상기 콘텐츠 요소들의 각각은 상기 입력 픽셀 블록의 위치와 상기 검색 윈도우 내의 상기 콘텐츠 요소의 위치 사이의 변위에 따라 변환됨 -,
    상기 기준 화상의 상기 구면 도메인 변환된 콘텐츠 내에서 예측 검색을 수행하여 상기 입력 픽셀 블록과 상기 기준 화상의 상기 변환된 콘텐츠의 매칭 부분 사이의 매칭을 식별하고,
    매칭이 식별되는 경우, 상기 입력 픽셀 블록을 상기 매칭 부분에 대해 차별적으로 코딩하게 하는, 컴퓨터 판독가능 저장 매체.
  16. 제15항에 있어서, 상기 변환하는 것은, 상기 검색 윈도우 내의 각각의 후보 모션 벡터에 대해, 상기 기준 화상으로부터 상기 후보 모션 벡터에 의해 식별된 기준 블록을 변환하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
  17. 제15항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 행에 대해, 상기 변환하는 것은 상기 픽셀 블록들의 행에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 열들을 따라 수직으로 변환하는 것을 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 행 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 컴퓨터 판독가능 저장 매체.
  18. 제15항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 열에 대해, 상기 변환하는 것은 상기 픽셀 블록들의 열에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 행들을 따라 수평으로 변환하는 것을 포함하며, 상기 기준 화상의 상기 변환된 콘텐츠는 상기 열 내의 다른 픽셀 블록들의 예측 검색들에 사용되는, 컴퓨터 판독가능 저장 매체.
  19. 제15항에 있어서, 다방향성 이미지 콘텐츠가 어안 렌즈들을 갖는 다방향성 카메라에 의해 생성되는, 컴퓨터 판독가능 저장 매체.
  20. 제15항에 있어서, 다방향성 이미지 콘텐츠가 전방향성 카메라에 의해 생성되는, 컴퓨터 판독가능 저장 매체.
  21. 제15항에 있어서, 다방향성 이미지 콘텐츠가 컴퓨터 애플리케이션에 의해 생성되는, 컴퓨터 판독가능 저장 매체.
  22. 제15항에 있어서, 상기 코딩하는 것은
    상기 입력 픽셀 블록의 픽셀들과 상기 변환된 기준 화상의 상기 매칭 부분 사이의 차이들을 나타내는 예측 잔차들을 계산하는 것,
    상기 예측 잔차들을 변환 계수들로 변환하는 것,
    상기 변환 계수들을 양자화하는 것, 및
    상기 양자화된 계수들을 엔트로피 코딩하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
  23. 제15항에 있어서, 상기 프로그램 명령어들은 상기 디바이스로 하여금 상기 입력 픽셀 블록의 코딩된 데이터와 함께, 상기 기준 화상 상에 수행된 변환의 유형을 식별하는 파라미터를 송신하게 하는, 컴퓨터 판독가능 저장 매체.
  24. 비디오 인코더로서,
    픽셀 블록 코더,
    상기 픽셀 블록 코더의 출력에 결합된 입력을 갖는 픽셀 블록 디코더,
    상기 픽셀 블록 디코더로부터 출력된 픽셀 블록들로부터의 기준 화상들을 저장하는 기준 화상 저장소,
    상기 기준 화상 저장소로부터의, 입력 픽셀 블록의 위치에 대한 검색 윈도우 내의 기준 화상 콘텐츠를 변환하는 변환 유닛 - 상기 변환은 상기 검색 윈도우 내의 콘텐츠 요소들의 구면 도메인 변환에 의하고, 상기 콘텐츠 요소들의 각각은 상기 입력 픽셀 블록의 위치와 상기 검색 윈도우 내의 상기 콘텐츠 요소의 위치 사이의 변위에 따라 변환됨 -, 및
    모션 예측기를 포함하는, 비디오 인코더.
  25. 제24항에 있어서, 상기 검색 윈도우 내의 각각의 후보 모션 벡터에 대해, 상기 변환 유닛은 상기 기준 화상으로부터 상기 후보 모션 벡터에 의해 식별된 기준 블록을 변환하는, 비디오 인코더.
  26. 제24항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 행에 대해, 상기 변환 유닛은 상기 픽셀 블록들의 행에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 열들을 따라 수직으로 변환하고, 상기 모션 예측기는 상기 행 내의 다른 픽셀 블록들의 예측 검색들을 위해 상기 기준 화상의 상기 변환된 콘텐츠를 사용하는, 비디오 인코더.
  27. 제24항에 있어서, 상기 입력 픽셀 블록을 포함하는 픽셀 블록들의 열에 대해, 상기 변환 유닛은 상기 픽셀 블록들의 열에 대한 검색 윈도우 내의 상기 기준 화상의 콘텐츠를 행들을 따라 수평으로 변환하고, 상기 모션 예측기는 상기 열 내의 다른 픽셀 블록들의 예측 검색들을 위해 상기 기준 화상의 상기 변환된 콘텐츠를 사용하는, 비디오 인코더.
  28. 코딩된 픽셀 블록을 디코더에 의해 디코딩하는 방법으로서,
    기준 화상으로부터, 상기 코딩된 픽셀 블록의 데이터 내에 제공되는 모션 벡터에 의해 식별되는 기준 블록을 변환하는 단계 - 상기 변환은 구면 도메인 변환에 의하고, 상기 기준 블록은 상기 코딩된 픽셀 블록의 위치와 상기 기준 블록의 위치 사이의 변위에 기초하여 변환됨 -, 및
    입력 픽셀 블록을, 상기 코딩된 픽셀 블록의 다른 데이터를 사용하여, 상기 변환된 기준 블록에 대해 차별적으로 디코딩하는 단계를 포함하는, 코딩된 픽셀 블록을 디코더에 의해 디코딩하는 방법.
  29. 제28항에 있어서, 상기 변환하는 단계는 상기 코딩된 픽셀 블록의 상기 다른 데이터 내에 식별된 변환의 유형에 따라 수행되는, 코딩된 픽셀 블록을 디코더에 의해 디코딩하는 방법.
KR1020197023206A 2017-02-15 2018-02-06 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 KR102254986B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/433,505 US11259046B2 (en) 2017-02-15 2017-02-15 Processing of equirectangular object data to compensate for distortion by spherical projections
US15/433,505 2017-02-15
PCT/US2018/017124 WO2018151978A1 (en) 2017-02-15 2018-02-06 Processing of equirectangular object data to compensate for distortion by spherical projections

Publications (2)

Publication Number Publication Date
KR20190104053A KR20190104053A (ko) 2019-09-05
KR102254986B1 true KR102254986B1 (ko) 2021-05-24

Family

ID=61257111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197023206A KR102254986B1 (ko) 2017-02-15 2018-02-06 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱

Country Status (6)

Country Link
US (1) US11259046B2 (ko)
EP (1) EP3566451B1 (ko)
JP (1) JP6899443B2 (ko)
KR (1) KR102254986B1 (ko)
CN (1) CN110268716B (ko)
WO (1) WO2018151978A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US11582599B2 (en) * 2018-04-09 2023-02-14 Nokia Technologies Oy Method and apparatus for remote provisioning of protection policies in an edge node based on signaling between edge nodes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US20170013279A1 (en) * 2012-11-13 2017-01-12 Ntel Corporation Content adaptive dominant motion compensated prediction for next generation video coding

Family Cites Families (532)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2191917A (en) 1986-06-16 1987-12-23 Ibm A multiple window display system
US5448687A (en) 1988-09-13 1995-09-05 Computer Design, Inc. Computer-assisted design system for flattening a three-dimensional surface and for wrapping a flat shape to a three-dimensional surface
EP0462565B1 (en) 1990-06-19 1995-12-27 Fujitsu Limited Multiwindow display control method and apparatus
US5359363A (en) 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US5262777A (en) 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5787207A (en) 1991-12-30 1998-07-28 Golin; Stuart J. Method and apparatus for minimizing blockiness in reconstructed images
US5684937A (en) 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5537155A (en) 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
KR960706261A (ko) 1994-08-31 1996-11-08 이데이 노부유키 정지 화상 시스템(Still picture system)
US5715016A (en) 1995-04-05 1998-02-03 Graphic Communication Laboratories Motion estimation method and apparatus for calculating a motion vector
US5689800A (en) 1995-06-23 1997-11-18 Intel Corporation Video feedback for reducing data rate or increasing quality in a video processing system
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
JP3994445B2 (ja) 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5903270A (en) 1997-04-15 1999-05-11 Modacad, Inc. Method and apparatus for mapping a two-dimensional texture onto a three-dimensional surface
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
JPH10327415A (ja) 1997-05-22 1998-12-08 Mitsubishi Electric Corp 動きベクトル検出装置
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
JPH11119303A (ja) 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
KR100269125B1 (ko) 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6144890A (en) 1997-10-31 2000-11-07 Lear Corporation Computerized method and system for designing an upholstered part
JPH11308574A (ja) 1998-04-22 1999-11-05 Sony Corp 走査線数変換装置及び方法
US6535643B1 (en) 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
US6204854B1 (en) 1998-12-04 2001-03-20 France Telecom Method and system for encoding rotations and normals in 3D generated scenes
US6850565B2 (en) 1998-12-18 2005-02-01 Intel Corporation Real time bit rate control system
US6222883B1 (en) 1999-01-28 2001-04-24 International Business Machines Corporation Video encoding motion estimation employing partitioned and reassembled search window
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6769131B1 (en) 1999-11-18 2004-07-27 Canon Kabushiki Kaisha Image processing apparatus and method, image distribution system and storage medium
FR2802002B1 (fr) 1999-12-02 2002-03-01 Ge Medical Syst Sa Procede de recalage automatique d'images tridimensionnelles
JP2001189902A (ja) 1999-12-28 2001-07-10 Nec Corp ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置
US6559853B1 (en) 2000-02-16 2003-05-06 Enroute, Inc. Environment map creation using texture projections with polygonal curved surfaces
US7259760B1 (en) 2000-02-16 2007-08-21 Be Here Corporation Polygonal curvature mapping to increase texture efficiency
GB2363019B (en) 2000-04-07 2004-02-25 Discreet Logic Inc Processing image data
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US7149549B1 (en) 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7095905B1 (en) 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US20020080878A1 (en) 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
US7327787B1 (en) 2000-11-20 2008-02-05 Intel Corporation Method and apparatus for motion estimation
US6952286B2 (en) 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US7003061B2 (en) 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
US8253754B2 (en) 2001-01-16 2012-08-28 Microsoft Corporation Sampling-efficient mapping of images
GB0101371D0 (en) 2001-01-19 2001-03-07 Virtual Mirrors Ltd Production and visualisation of garments
WO2002080521A2 (en) 2001-03-30 2002-10-10 Digeo, Inc. System and method for a software steerable web camera with multiple image subset capture
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
JP4446663B2 (ja) 2001-05-11 2010-04-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療レポートを作成する方法、システム及びコンピュータプログラム
US7450749B2 (en) 2001-07-06 2008-11-11 Koninklijke Electronics N.V. Image processing method for interacting with a 3-D surface represented in a 3-D image
WO2003019471A2 (en) 2001-08-25 2003-03-06 Eyesee360,Inc. Method and apparatus for encoding photogrraphic images
WO2003027766A2 (en) 2001-09-27 2003-04-03 Eyesee360, Inc. System and method for panoramic imaging
US7039113B2 (en) 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
US7161599B2 (en) 2001-10-18 2007-01-09 Microsoft Corporation Multiple-level graphics processing system and method
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20030099294A1 (en) 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
JP4082021B2 (ja) 2001-11-29 2008-04-30 コニカミノルタホールディングス株式会社 テクスチャ画像生成プログラム、テクスチャ画像データ及びデータ処理装置
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US20040022322A1 (en) 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
US7023921B2 (en) 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US6925123B2 (en) 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search
US20040032906A1 (en) 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
US20040056900A1 (en) 2002-09-23 2004-03-25 Blume Leo R System and method for window priority rendering
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7385995B2 (en) 2003-01-13 2008-06-10 Brooktree Broadband Holding, Inc. System and method for dynamic bandwidth allocation on PONs
US8027473B2 (en) 2003-01-13 2011-09-27 Conexant Systems, Inc. System and method for improved data protection in PONs
US7995652B2 (en) 2003-03-20 2011-08-09 Utc Fire & Security Americas Corporation, Inc. Systems and methods for multi-stream image processing
US8065614B2 (en) 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
RU2225035C1 (ru) 2003-04-21 2004-02-27 Общество с ограниченной ответственностью "Р.Т.С.-Сервис" Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
TW594594B (en) 2003-05-16 2004-06-21 Ind Tech Res Inst A multilevel texture processing method for mapping multiple images onto 3D models
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7212206B2 (en) 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for self shadowing and self interreflection light capture
US7719978B2 (en) 2003-09-12 2010-05-18 Newsouth Innovations Pty Limited Method for transmitting data over lossy packet-based communication networks
US7433535B2 (en) 2003-09-30 2008-10-07 Hewlett-Packard Development Company, L.P. Enhancing text-like edges in digital images
US20050069682A1 (en) 2003-09-30 2005-03-31 Tan Tseng Custom 3-D Milled Object with Vacuum-Molded 2-D Printout Created from a 3-D Camera
JP2005159824A (ja) 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらの記録媒体
KR100657261B1 (ko) 2003-12-10 2006-12-14 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치
US20050204113A1 (en) 2004-03-09 2005-09-15 International Business Machines Corp. Method, system and storage medium for dynamically selecting a page management policy for a memory controller
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
US7496141B2 (en) 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050286777A1 (en) * 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
US8442311B1 (en) 2005-06-30 2013-05-14 Teradici Corporation Apparatus and method for encoding an image generated in part by graphical commands
US7929800B2 (en) 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
US8194093B2 (en) 2004-09-15 2012-06-05 Onlive, Inc. Apparatus and method for capturing the expression of a performer
US20060055706A1 (en) 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US7660245B1 (en) 2004-09-16 2010-02-09 Qualcomm Incorporated FEC architecture for streaming services including symbol-based operations and packet tagging
EP1795006A2 (en) 2004-09-24 2007-06-13 Koninklijke Philips Electronics N.V. System and method for the production of composite images comprising or using one or more cameras for providing overlapping images
US7978761B2 (en) 2004-10-05 2011-07-12 Vectormax Corporation Method and system for loss-tolerant multimedia multicasting
KR20070086037A (ko) 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
US7620261B2 (en) 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US7432936B2 (en) 2004-12-02 2008-10-07 Avid Technology, Inc. Texture data anti-aliasing method and apparatus
US8576924B2 (en) 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US7792385B2 (en) 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
JP4708819B2 (ja) 2005-03-14 2011-06-22 キヤノン株式会社 画像処理装置、方法、コンピュータプログラム及び記憶媒体
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US8045615B2 (en) 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
US8600125B2 (en) 2005-06-22 2013-12-03 The Research Foundation Of State University Of New York System and method for computer aided polyp detection
US20070024705A1 (en) 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
US20070064120A1 (en) 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
KR101329167B1 (ko) 2005-10-12 2013-11-14 톰슨 라이센싱 관심 구역의 ｈ.264 스케일러블 비디오 코딩
US7956929B2 (en) 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7415356B1 (en) 2006-02-03 2008-08-19 Zillow, Inc. Techniques for accurately synchronizing portions of an aerial image with composited visual information
EP2077525A1 (en) 2006-02-13 2009-07-08 SNELL &amp; WILCOX LIMITED Method and apparatus for spatially segmenting a moving image sequence
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
JP5155159B2 (ja) 2006-05-24 2013-02-27 パナソニック株式会社 動画像復号装置
EP2041976A4 (en) 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US7643662B2 (en) 2006-08-15 2010-01-05 General Electric Company System and method for flattened anatomy for interactive segmentation and measurement
US7693349B2 (en) 2006-08-15 2010-04-06 General Electric Company Systems and methods for interactive image registration
WO2008039371A2 (en) 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
JP4931055B2 (ja) 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
WO2008092131A2 (en) 2007-01-25 2008-07-31 Skyfire Labs, Inc. Mobile device user interface for remote interaction
JP4682990B2 (ja) 2007-02-06 2011-05-11 日本ビクター株式会社 カメラ画像圧縮処理装置及び圧縮処理方法
JP4685825B2 (ja) * 2007-04-06 2011-05-18 学校法人東京理科大学 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム
KR100866230B1 (ko) 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
KR101328950B1 (ko) 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
AU2007202789B9 (en) 2007-06-15 2011-08-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
JPWO2009001793A1 (ja) 2007-06-26 2010-08-26 株式会社東芝 画像符号化と画像復号化の方法及び装置
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP2009042811A (ja) 2007-08-06 2009-02-26 Univ Of Tokyo ３次元形状展開装置、３次元形状展開方法、および３次元形状展開用プログラム
EP2210421A4 (en) 2007-10-16 2013-12-04 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
US8170367B2 (en) 2008-01-28 2012-05-01 Vistaprint Technologies Limited Representing flat designs to be printed on curves of a 3-dimensional product
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US8269765B2 (en) 2008-02-28 2012-09-18 Autodesk, Inc. System and method for removing seam artifacts
US9305389B2 (en) 2008-02-28 2016-04-05 Autodesk, Inc. Reducing seam artifacts when applying a texture to a three-dimensional (3D) model
US8217956B1 (en) 2008-02-29 2012-07-10 Adobe Systems Incorporated Method and apparatus for rendering spherical panoramas
US20090262838A1 (en) 2008-04-21 2009-10-22 Qualcomm Incorporated Method and apparatus for encoding transmission data blocks for enhanced switching performance
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101595344B1 (ko) 2008-08-01 2016-02-18 엘지전자 주식회사 디스플레이 모듈 및 이를 구비한 휴대 단말기
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
US20100079605A1 (en) 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
US9596485B2 (en) 2008-10-27 2017-03-14 Sk Telecom Co., Ltd. Motion picture encoding/decoding apparatus, adaptive deblocking filtering apparatus and filtering method for same, and recording medium
KR101315456B1 (ko) 2008-11-05 2013-10-04 삼성전자주식회사 화상형성장치와 연결된 호스트장치, 이를 포함하는 화상형성시스템 및 화상형성장치의 배경화면 변경방법
WO2010057170A1 (en) 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
US8295360B1 (en) 2008-12-23 2012-10-23 Elemental Technologies, Inc. Method of efficiently implementing a MPEG-4 AVC deblocking filter on an array of parallel processors
US20100316129A1 (en) 2009-03-27 2010-12-16 Vixs Systems, Inc. Scaled motion search section with downscaling filter and method for use therewith
US8364561B2 (en) 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US20130124156A1 (en) 2009-05-26 2013-05-16 Embodee Corp Footwear digitization system and method
US20100329361A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
KR101749269B1 (ko) 2009-06-30 2017-06-22 삼성전자주식회사 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
KR100988872B1 (ko) 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US9300969B2 (en) 2009-09-09 2016-03-29 Apple Inc. Video storage
JP5357685B2 (ja) 2009-09-28 2013-12-04 株式会社ソニー・コンピュータエンタテインメント ３次元オブジェクト処理装置、３次元オブジェクト処理方法、プログラム、及び情報記憶媒体
US20110128350A1 (en) 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
US20110142306A1 (en) 2009-12-16 2011-06-16 Vivek Nair Method and system for generating a medical image
US9762795B2 (en) 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
CN102763136B (zh) 2010-02-11 2015-04-01 诺基亚公司 用于提供多线程视频解码的方法和设备
WO2011115659A1 (en) 2010-03-16 2011-09-22 Thomson Licensing Methods and apparatus for implicit adaptive motion vector predictor selection for video encoding and decoding
US20110235706A1 (en) 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US8730267B2 (en) 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
EP2596475B1 (en) 2010-07-19 2019-01-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filling disocclusions in a virtual view
US8762890B2 (en) 2010-07-27 2014-06-24 Telcordia Technologies, Inc. System and method for interactive projection and playback of relevant media segments onto the facets of three-dimensional shapes
US20130170726A1 (en) 2010-09-24 2013-07-04 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
US20120082216A1 (en) 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
US8913666B2 (en) 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
RU2010144450A (ru) 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
JP5631229B2 (ja) 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
EP2678944B1 (en) 2011-02-25 2019-11-06 BlackBerry Limited Methods and devices for data compression using offset-based adaptive reconstruction levels
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US8907968B2 (en) 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US9071484B1 (en) 2011-04-05 2015-06-30 Elemental Technologies, Inc. Feedback optimized video coding parameters
US9360991B2 (en) 2011-04-11 2016-06-07 Microsoft Technology Licensing, Llc Three-dimensional icons for organizing, invoking, and using applications
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US20120309321A1 (en) 2011-05-31 2012-12-06 Broadcom Corporation Synchronized calibration for wireless communication devices
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US8484391B2 (en) 2011-06-20 2013-07-09 Intel Corporation Configurable buffer allocation for multi-format video processing
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US9674521B2 (en) 2011-06-28 2017-06-06 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
US20130003858A1 (en) 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
US10440373B2 (en) 2011-07-12 2019-10-08 Texas Instruments Incorporated Method and apparatus for coding unit partitioning
US8724711B2 (en) 2011-07-12 2014-05-13 Intel Corporation Luma-based chroma intra prediction
US8890863B1 (en) 2011-08-12 2014-11-18 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
US8682091B2 (en) 2011-08-18 2014-03-25 International Business Machines Corporation Real-time image compression
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US20130051467A1 (en) 2011-08-31 2013-02-28 Apple Inc. Hybrid inter/intra prediction in video coding systems
EP2754295B1 (en) 2011-09-09 2018-01-24 Sun Patent Trust Low complex deblocking filter decisions
US8988446B2 (en) 2011-10-07 2015-03-24 Zynga Inc. 2D animation from a 3D mesh
US8913656B2 (en) 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
BR112014008403B1 (pt) 2011-10-19 2022-05-10 Sun Patent Trust Método de codificação de imagem, aparelho de codificação de imagem, método de decodificação de imagem, e aparelho de decodificação de imagem
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US8504941B2 (en) 2011-10-31 2013-08-06 Utc Fire & Security Corporation Digital image magnification user interface
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US20130128986A1 (en) 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US9838687B1 (en) 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US9723223B1 (en) 2011-12-02 2017-08-01 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with directional audio
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
WO2013102293A1 (en) 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9729870B2 (en) 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
US9967563B2 (en) 2012-02-03 2018-05-08 Hfi Innovation Inc. Method and apparatus for loop filtering cross tile or slice boundaries
US9423994B2 (en) 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
US11094137B2 (en) 2012-02-24 2021-08-17 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
JP6222576B2 (ja) 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US20130251028A1 (en) 2012-03-22 2013-09-26 The Hong Kong University Of Science And Technology Video encoding and decoding with channel prediction and error correction capability
US20150016522A1 (en) 2012-04-05 2015-01-15 Sony Corporation Image processing apparatus and image processing method
US10721487B2 (en) 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
US9591312B2 (en) 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9467653B2 (en) 2012-06-29 2016-10-11 Avaya Inc. System and method for aggressive downstream bandwidth conservation based on user inactivity
RU2625534C2 (ru) 2012-07-02 2017-07-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
US9264710B2 (en) 2012-07-06 2016-02-16 Texas Instruments Incorporated Method and system for video picture intra-prediction estimation
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
SG11201502435XA (en) 2012-09-27 2015-05-28 Dolby Lab Licensing Corp Inter-layer reference picture processing for coding standard scalability
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US20140368669A1 (en) 2012-10-04 2014-12-18 Google Inc. Gpu-accelerated background replacement
US9253503B2 (en) 2012-12-18 2016-02-02 Xerox Corporation Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9639635B2 (en) 2013-01-02 2017-05-02 Embodee Corp Footwear digitization system and method
BR112015017059A2 (ko) 2013-01-17 2018-09-25 Samsung Electronics Co., Ltd. Video encoding method and apparatus, a video decoding method based on the set decoder and a device for setting the decoder
US20140218356A1 (en) 2013-02-06 2014-08-07 Joshua D.I. Distler Method and apparatus for scaling images
US9544597B1 (en) * 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
CN104020935A (zh) 2013-02-28 2014-09-03 国际商业机器公司 用于控制显示屏上的显示对象的方法和装置
US9398302B2 (en) 2013-03-08 2016-07-19 Mediatek Inc. Image encoding method and apparatus with rate control by selecting target bit budget from pre-defined candidate bit budgets and related image decoding method and apparatus
CN105580369B (zh) 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及***
JP2014176034A (ja) 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10205962B2 (en) 2013-03-15 2019-02-12 Raymond Zenkich System and method for non-uniform video coding
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9854252B2 (en) 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
AU2013206597A1 (en) 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
CA2909601A1 (en) 2013-07-07 2015-01-15 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
US9055186B2 (en) 2013-07-23 2015-06-09 Personify, Inc Systems and methods for integrating user personas with content during video conferencing
JP6091371B2 (ja) 2013-07-29 2017-03-08 ローランドディー．ジー．株式会社 スライスデータ作成装置、スライスデータ作成方法、プログラムおよびコンピューター読み取り可能な記録媒体
CA2922081C (en) 2013-08-28 2016-12-06 Ricoh Company, Ltd. Image processing apparatus, image processing method, and imaging system
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
US20150089348A1 (en) 2013-09-23 2015-03-26 Yahoo! Inc. System and method for web page background image delivery
US9819941B2 (en) 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
CA2931529C (en) 2013-11-27 2022-08-23 Children's National Medical Center 3d corrected imaging
CN104683801B (zh) 2013-11-29 2018-06-05 华为技术有限公司 图像压缩方法和装置
US9781356B1 (en) 2013-12-16 2017-10-03 Amazon Technologies, Inc. Panoramic video viewer
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US10368097B2 (en) 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
CN106105220B (zh) 2014-01-07 2019-07-05 诺基亚技术有限公司 用于视频编码和解码的方法和装置
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
KR102149448B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
JP2015170994A (ja) 2014-03-07 2015-09-28 ソニー株式会社 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法
US10250895B2 (en) 2014-03-14 2019-04-02 Sharp Kabushiki Kaisha DPB capacity limits
GB2524249B (en) 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9756354B2 (en) 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
US20150278155A1 (en) 2014-03-27 2015-10-01 Knockout Concepts, Llc Identifying objects using a 3d scanning device, images, and 3d models
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US10104397B2 (en) 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
CA2948642A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
WO2015191466A1 (en) 2014-06-09 2015-12-17 GroupeSTAHL Apparatuses and methods of interacting with 2d design documents and 3d models and generating production textures for wrapping artwork around portions of 3d objects
US10154286B2 (en) 2014-06-19 2018-12-11 Vid Scale, Inc. Systems and methods for model parameter optimization in three dimensional based color mapping
US9930341B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Block vector coding for intra block copying
WO2015197818A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN104156947B (zh) 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
CN105814880A (zh) 2014-07-28 2016-07-27 联发科技股份有限公司 具有自适应全景图像处理器的便携式设备
WO2016017245A1 (ja) 2014-07-31 2016-02-04 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
WO2016038970A1 (ja) 2014-09-08 2016-03-17 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
GB2520822B (en) 2014-10-10 2016-01-13 Aveva Solutions Ltd Image rendering of laser scan data
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
US20160112713A1 (en) 2014-10-20 2016-04-21 Google Inc. Mapping spherical image to 2d representations
US9917877B2 (en) 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
KR102309281B1 (ko) 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US10237559B2 (en) 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
EP3029937B1 (en) 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
US9866815B2 (en) 2015-01-05 2018-01-09 Qualcomm Incorporated 3D object segmentation
CN104539962B (zh) 2015-01-20 2017-12-01 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10075701B2 (en) 2015-02-17 2018-09-11 Nextvr Inc. Methods and apparatus for mapping at least one received image to a surface of a model in a manner that efficiently uses the image content as a texture
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
WO2016140439A1 (ko) 2015-03-02 2016-09-09 엘지전자(주) 향상된 예측 필터를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
JP6688469B2 (ja) 2015-03-05 2020-04-28 ソニー株式会社 画像処理装置および画像処理方法
JP6685995B2 (ja) 2015-03-05 2020-04-22 ソニー株式会社 画像処理装置および画像処理方法
JP6687015B2 (ja) 2015-03-05 2020-04-22 ソニー株式会社 画像処理装置および画像処理方法
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9232189B2 (en) 2015-03-18 2016-01-05 Avatar Merger Sub Ii, Llc. Background modification in video conferencing
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
JP6491957B2 (ja) 2015-05-25 2019-03-27 京セラ株式会社 電子機器および画像処理方法
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
JP6501904B2 (ja) 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US9866752B2 (en) 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
GB2538998A (en) 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
CN115002457A (zh) 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
CN115134593B (zh) 2015-06-05 2024-07-23 杜比实验室特许公司 用于执行帧间预测的图像编解码方法、比特流存储方法
US10681371B2 (en) 2015-06-07 2020-06-09 Lg Electronics Inc. Method and device for performing deblocking filtering
WO2016204531A1 (ko) 2015-06-16 2016-12-22 엘지전자(주) 블록 경계에 따라 적응적으로 필터링을 수행하는 방법 및 장치
JP6642573B2 (ja) 2015-06-24 2020-02-05 ソニー株式会社 符号化装置、復号装置及び伝送制御方法
JP6677098B2 (ja) 2015-07-01 2020-04-08 株式会社リコー 全天球動画の撮影システム、及びプログラム
EP4404572A2 (en) 2015-07-08 2024-07-24 InterDigital Madison Patent Holdings, SAS Enhanced chroma coding using cross plane filtering
WO2017020808A1 (en) 2015-07-31 2017-02-09 Versitech Limited A depth discontinuity-based method for efficient intra coding for depth videos
US20170038942A1 (en) 2015-08-07 2017-02-09 Vrideo Playback initialization tool for panoramic videos
US9277122B1 (en) 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US20170054907A1 (en) 2015-08-21 2017-02-23 Yoshito NISHIHARA Safety equipment, image communication system, method for controlling light emission, and non-transitory recording medium
US9967577B2 (en) 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding
CN108141600A (zh) 2015-09-01 2018-06-08 瑞典爱立信有限公司 变换块的空间改进
US10491711B2 (en) 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US9781350B2 (en) 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
US20170104927A1 (en) 2015-10-07 2017-04-13 Little Star Media, Inc. Systems, methods and software programs for 360 degree video distribution platforms
US20170026659A1 (en) 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US10152825B2 (en) 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
GB2543766B (en) 2015-10-26 2018-02-14 Advanced Risc Mach Ltd Graphics processing systems
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US9948893B2 (en) 2015-11-18 2018-04-17 Avaya Inc. Background replacement based on attribute of remote user or endpoint
CN115118968A (zh) 2015-11-20 2022-09-27 韩国电子通信研究院 用于对图像进行编/解码的方法
JP6937302B2 (ja) * 2015-11-23 2021-09-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 多視点ビデオの符号化／復号化方法
US10977764B2 (en) 2015-12-29 2021-04-13 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20170200315A1 (en) 2016-01-07 2017-07-13 Brendan Lockhart Live stereoscopic panoramic virtual reality streaming system
US10282814B2 (en) 2016-01-07 2019-05-07 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
WO2017127816A1 (en) 2016-01-22 2017-07-27 Ziyu Wen Omnidirectional video encoding and streaming
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
JP6665558B2 (ja) 2016-01-29 2020-03-13 株式会社リコー 画像管理システム、画像管理方法、画像通信システム及びプログラム
US20170230668A1 (en) * 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
US10728546B2 (en) 2016-02-05 2020-07-28 Apple Inc. Sample adaptive offset systems and methods
US10509954B2 (en) 2016-02-10 2019-12-17 Intel Corporation Method and system of image segmentation refinement for image processing
US10147224B2 (en) 2016-02-16 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for generating omni media texture mapping metadata
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10484621B2 (en) 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
FI20165256L (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
WO2017168949A1 (ja) 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
US9990775B2 (en) 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
US10275928B2 (en) 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US10645362B2 (en) 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
US9940697B2 (en) 2016-04-15 2018-04-10 Gopro, Inc. Systems and methods for combined pipeline processing of panoramic images
US20170302714A1 (en) 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US10685542B2 (en) 2016-04-26 2020-06-16 Sensormatic Electronics, LLC System and method for monitoring a premises based on parsed codec data
KR20170124811A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR20170124814A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
WO2017190288A1 (en) 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
CN109074628A (zh) 2016-05-13 2018-12-21 索尼公司 生成装置和生成方法以及再现装置和再现方法
US10602191B2 (en) 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
GB2550372B (en) 2016-05-17 2022-01-19 Nctech Ltd Imaging system having multiple imaging sensors and an associated method of operation
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10681326B2 (en) 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
US10848668B2 (en) 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
US10582201B2 (en) 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10979691B2 (en) 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10565463B2 (en) 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US20170353737A1 (en) 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
US11025933B2 (en) 2016-06-09 2021-06-01 Apple Inc. Dynamic video configurations
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
WO2017217411A1 (ja) 2016-06-17 2017-12-21 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP6780315B2 (ja) 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US10277914B2 (en) 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
US10460501B2 (en) 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
US10297086B2 (en) 2016-07-04 2019-05-21 Liquid Cinema Inc. System and method for processing digital video
TWI775760B (zh) 2016-07-08 2022-09-01 美商Ｖｉｄ衡器股份有限公司 使用幾何投影360度視訊編碼
US20180018807A1 (en) 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
US20180020238A1 (en) 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
US10375371B2 (en) 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
US10277886B2 (en) 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10339688B2 (en) 2016-07-28 2019-07-02 Cyberlink Corp. Systems and methods for rendering effects in 360 video
US10055882B2 (en) 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
KR102567002B1 (ko) 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
EP3503556B1 (en) 2016-08-21 2024-05-01 LG Electronics Inc. Image coding/decoding method and apparatus therefor
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
CN109076215A (zh) 2016-08-23 2018-12-21 深圳市大疆创新科技有限公司 用于提高对弯曲视图视频进行编码/解码的效率的***和方法
CN109644262A (zh) 2016-08-25 2019-04-16 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN109691094B (zh) 2016-08-25 2021-10-22 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
EP3507985A1 (en) 2016-09-02 2019-07-10 Vid Scale, Inc. Method and system for signaling of 360-degree video information
US20180075576A1 (en) 2016-09-09 2018-03-15 Mediatek Inc. Packing projected omnidirectional videos
KR20180028782A (ko) 2016-09-09 2018-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20180029315A (ko) 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
KR102545195B1 (ko) 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
KR102560029B1 (ko) 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US20180091812A1 (en) 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN107888928B (zh) * 2016-09-30 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
CN109804631B (zh) 2016-09-30 2021-09-14 华为技术有限公司 一种用于编码和解码视频信号的装置和方法
CN114245124B (zh) 2016-10-04 2023-04-07 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531589B (zh) 2016-10-04 2023-03-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN113891096B (zh) 2016-10-04 2022-12-06 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
CN116915985A (zh) 2016-10-04 2023-10-20 Lx 半导体科技有限公司 图像编码/解码方法和发送方法
CN109691095B (zh) 2016-10-07 2021-10-15 联发科技股份有限公司 生成基于投影的帧的方法以及装置
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US20180109810A1 (en) 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
KR20180042098A (ko) 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR102498598B1 (ko) 2016-10-18 2023-02-14 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US20180130264A1 (en) 2016-11-04 2018-05-10 Arnoovo Inc. Virtual reality editor
KR20180051288A (ko) 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN108111851B (zh) 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
CN110121884B (zh) 2016-11-28 2023-04-04 韩国电子通信研究院 用于滤波的方法和装置
KR20180060236A (ko) 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10244200B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US20180167634A1 (en) 2016-12-09 2018-06-14 Nokia Technologies Oy Method and an apparatus and a computer program product for video encoding and decoding
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US9996945B1 (en) 2016-12-12 2018-06-12 Fyusion, Inc. Live augmented reality guides
US10620441B2 (en) 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
KR20180071012A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US20180176468A1 (en) 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
JP2018107500A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US20180184101A1 (en) 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US20180192074A1 (en) 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
JP6756269B2 (ja) 2017-01-05 2020-09-16 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
US10536721B2 (en) 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10313664B2 (en) 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
US10104288B2 (en) 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180242016A1 (en) 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
US20180242017A1 (en) 2017-02-22 2018-08-23 Twitter, Inc. Transcoding video
US20180240276A1 (en) 2017-02-23 2018-08-23 Vid Scale, Inc. Methods and apparatus for personalized virtual reality media interface design
CN108470379B (zh) 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
CN108513119A (zh) 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11172208B2 (en) 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
CN108537721B (zh) 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
KR101808327B1 (ko) 2017-03-08 2017-12-13 광운대학교 산학협력단 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN108632589A (zh) 2017-03-15 2018-10-09 株式会社理光 信息处理装置、摄像***以及记录介质
US10643301B2 (en) 2017-03-20 2020-05-05 Qualcomm Incorporated Adaptive perturbed cube map projection
CN117425006A (zh) 2017-03-22 2024-01-19 韩国电子通信研究院 使用参考块的预测方法和装置
US10839480B2 (en) 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US10593012B2 (en) 2017-03-22 2020-03-17 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
WO2018174617A1 (ko) 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US11532128B2 (en) 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
EP3603090A4 (en) 2017-03-27 2020-08-19 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING OF VIDEO
EP3586315B1 (en) 2017-03-28 2024-06-26 Samsung Electronics Co., Ltd. Method and apparatus for displaying image based on user motion information
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
TWI832814B (zh) 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
WO2018191224A1 (en) 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
US10567768B2 (en) 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
WO2018194273A1 (en) 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method
US20200074587A1 (en) 2017-04-27 2020-03-05 Mediatek Inc. Method and Apparatus for Mapping Virtual-Reality Image to a Segmented Sphere Projection Format
WO2018199701A1 (en) 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
US10957009B2 (en) 2017-05-04 2021-03-23 Electronics And Telecommunications Research Institute Image processing apparatus and method
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
JP6919334B2 (ja) 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
US10212456B2 (en) 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
US10200687B2 (en) 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US10199074B2 (en) 2017-06-02 2019-02-05 Apple Inc. Techniques for selecting frames for decode in media player
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10873763B2 (en) 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
US10321109B1 (en) 2017-06-13 2019-06-11 Vulcan Inc. Large volume video data transfer over limited capacity bus
US10778993B2 (en) 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
EP3422724B1 (en) 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10764582B2 (en) 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US10523913B2 (en) 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
GB2563944B (en) 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts
US10484682B2 (en) 2017-07-03 2019-11-19 Qualcomm Incorporated Reference picture derivation and motion compensation for 360-degree video coding
CN116320399A (zh) 2017-07-03 2023-06-23 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
CN110870307A (zh) 2017-07-06 2020-03-06 佳稳电子有限公司 同步影像的处理方法及其装置
WO2019009448A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
JP6721631B2 (ja) 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
US10701263B2 (en) 2017-07-18 2020-06-30 Ricoh Company, Ltd. Browsing system, image distribution apparatus, and image distribution method
US10614609B2 (en) 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
KR102468596B1 (ko) 2017-07-31 2022-11-21 에스케이텔레콤 주식회사 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치
US20190045212A1 (en) 2017-08-07 2019-02-07 The Regents Of The University Of California METHOD AND APPARATUS FOR PREDICTIVE CODING OF 360º VIDEO
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
TWI681662B (zh) 2017-08-18 2020-01-01 聯發科技股份有限公司 用於減少基於投影的圖框中的偽影的方法和裝置
EP3451670A1 (en) 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
JP7343487B2 (ja) 2017-09-20 2023-09-12 ヴィド スケール インコーポレイテッド ３６０度ビデオ符号化におけるフェイス不連続の処理
US10623744B2 (en) 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US10102611B1 (en) 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
JP7031228B2 (ja) 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
US10574997B2 (en) 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
US10334222B2 (en) 2017-11-20 2019-06-25 Adobe Inc. Focus-based video loop switching
US10652578B2 (en) 2018-02-05 2020-05-12 Apple Inc. Processing of multi-directional images in spatially-ordered video coding applications
US10721465B2 (en) 2018-02-14 2020-07-21 Qualcomm Incorporated Motion compensation for cubemap packed frames
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
WO2019166107A1 (en) 2018-03-02 2019-09-06 Huawei Technologies Co., Ltd. Apparatus and method for picture coding with selective loop-filtering
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US20190281273A1 (en) 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10771781B2 (en) 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
KR20190107944A (ko) 2018-03-13 2019-09-23 삼성전자주식회사 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
TWI709107B (zh) 2018-05-21 2020-11-01 國立清華大學 影像特徵提取方法及包含其顯著物體預測方法
US10848768B2 (en) 2018-06-08 2020-11-24 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment resampling
US10573060B1 (en) 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US20190387251A1 (en) 2018-06-19 2019-12-19 Mediatek Inc. Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
WO2020071703A1 (ko) 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
KR102154407B1 (ko) 2018-11-15 2020-09-09 한국전자기술연구원 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치
US20200213570A1 (en) 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170013279A1 (en) * 2012-11-13 2017-01-12 Ntel Corporation Content adaptive dominant motion compensated prediction for next generation video coding
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Also Published As

Publication number Publication date
CN110268716A (zh) 2019-09-20
EP3566451A1 (en) 2019-11-13
EP3566451B1 (en) 2023-04-05
US20180234700A1 (en) 2018-08-16
KR20190104053A (ko) 2019-09-05
CN110268716B (zh) 2023-04-28
WO2018151978A1 (en) 2018-08-23
US11259046B2 (en) 2022-02-22
JP2020507998A (ja) 2020-03-12
JP6899443B2 (ja) 2021-07-07

Similar Documents

Publication Publication Date Title
CN110115037B (zh) 球面投影运动估计/补偿和模式决策
KR102254986B1 (ko) 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱
US10992919B2 (en) Packed image format for multi-directional video
KR102359820B1 (ko) 멀티뷰 비디오를 위한 비디오 코딩 기법
CN114143550B (zh) 图像数据编码/解码方法和计算机可读记录介质
CN114554202B (zh) 图像数据编码/解码方法、介质和发送比特流的方法
US20200029092A1 (en) Method and apparatus for encoding and decoding a large field of view video
US20190005709A1 (en) Techniques for Correction of Visual Artifacts in Multi-View Images
CN107888928B (zh) 运动补偿预测方法和设备
US10652578B2 (en) Processing of multi-directional images in spatially-ordered video coding applications
WO2018060328A1 (en) Method and apparatus for calculating quantization parameters to encode and decode an immersive video
US11711540B2 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
WO2024081872A1 (en) Method, apparatus, and medium for video processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant