KR20210038846A - Affine motion 모델 기반 비디오 코딩을 위한 적응형 제어 포인트 선택 - Google Patents
Affine motion 모델 기반 비디오 코딩을 위한 적응형 제어 포인트 선택 Download PDFInfo
- Publication number
- KR20210038846A KR20210038846A KR1020207037304A KR20207037304A KR20210038846A KR 20210038846 A KR20210038846 A KR 20210038846A KR 1020207037304 A KR1020207037304 A KR 1020207037304A KR 20207037304 A KR20207037304 A KR 20207037304A KR 20210038846 A KR20210038846 A KR 20210038846A
- Authority
- KR
- South Korea
- Prior art keywords
- control point
- subblock
- affine
- video block
- block
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 194
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 139
- 230000003044 adaptive effect Effects 0.000 title description 8
- 239000013598 vector Substances 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000002123 temporal effect Effects 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 description 37
- 238000005516 engineering process Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000009795 derivation Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 8
- 230000011664 signaling Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 241000760358 Enodes Species 0.000 description 4
- 239000000969 carrier Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 241000700159 Rattus Species 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 블록에 대해 아핀 모션 모드가 인에이블될 때 모션 벡터 클리핑을 위한 시스템들, 방법들 및 수단들이 개시된다. 비디오 코딩 디바이스는 비디오 블록에 대한 아핀 모드가 인에이블되는 것으로 결정할 수 있다. 비디오 코딩 디바이스는 비디오 블록과 연관된 복수의 제어 포인트 아핀 모션 벡터를 결정할 수 있다. 비디오 코딩 디바이스는 이웃 제어 포인트 아핀 모션 벡터의 모션 벡터 예측을 위해 복수의 클리핑된 제어 포인트 아핀 모션 벡터를 저장할 수 있다. 비디오 코딩 디바이스는 비디오 블록의 서브블록과 연관된 서브블록 모션 벡터를 도출하고, 도출된 서브블록 모션 벡터를 클리핑하고, 이것을 공간 모션 벡터 예측 또는 시간 모션 벡터 예측을 위해 저장할 수 있다. 예를 들어, 비디오 코딩 디바이스는 비트 깊이 값에 기초할 수 있는 모션 필드 범위에 기초하여 도출된 서브블록 모션 벡터를 클리핑할 수 있다.
Description
관련 출원들에 대한 상호 참조
본 출원은 2018년 6월 29일자로 출원된 미국 특허 가출원 제62/691,770호, 2018년 9월 21일자로 출원된 미국 특허 가출원 제62/734,728호, 및 2018년 12월 11일자로 출원된 미국 특허 가출원 제62/778,055호의 이익을 주장하며, 이에 따라 이들의 내용은 본 명세서에 참고로 통합된다.
비디오 코딩 시스템들은 예를 들어 디지털 비디오 신호들을 압축하여 이러한 신호들에 필요한 저장 및/또는 송신 대역폭을 감소시키는 데 사용될 수 있다. 비디오 코딩 시스템들은 블록 기반, 웨이블릿 기반 및/또는 객체 기반 시스템들을 포함할 수 있다. 블록 기반 하이브리드 비디오 코딩 시스템이 배치될 수 있다. 블록 기반 비디오 코딩 시스템에서, 비디오 블록의 서브블록과 연관된 모션 벡터들은 소정 범위 밖에 있을 수 있는 값들을 가질 수 있다. 이러한 값들을 사용하는 것은 의도하지 않은 결과들을 초래할 수 있다.
아핀 모션 모드가 비디오 블록(예를 들어, 코딩 유닛(CU))에 대해 인에이블될 때 모션 벡터 클리핑(motion vector clipping)을 위한 시스템들, 방법들 및 수단들이 개시된다. 비디오 코딩 디바이스는 비디오 블록(예를 들어, 현재 비디오 블록)에 대한 아핀 모드가 인에이블된 것으로 결정할 수 있다. 비디오 블록은 복수의 서브블록을 포함할 수 있다. 비디오 코딩 디바이스는 비디오 블록과 연관된 복수의 제어 포인트 아핀 모션 벡터를 결정할 수 있다. 현재 비디오 블록과 연관된 제어 포인트 아핀 모션 벡터들 중 적어도 하나가 하나 이상의 이웃하는 비디오 블록들과 연관된 하나 이상의 제어 포인트 아핀 모션 벡터들을 사용하여 결정될 수 있다. 비디오 코딩 디바이스는 현재 비디오 블록과 연관된 제어 포인트 아핀 모션 벡터들을 클리핑할 수 있다. 예를 들어, 제어 포인트 아핀 모션 벡터들은 모션 필드 저장을 위해 사용되는 비트 깊이에 기초하여 클리핑될 수 있다. 비디오 코딩 디바이스는 이웃 제어 포인트 아핀 모션 벡터의 모션 벡터 예측을 위해, 클리핑된 제어 포인트 아핀 모션 벡터들을 저장할 수 있다.
비디오 코딩 디바이스는 서브블록과 연관된 서브블록 모션 벡터를 도출할 수 있다. 비디오 코딩 디바이스는 하나 이상의 제어 포인트 아핀 모션 벡터들에 기초하여 서브블록 모션 벡터를 도출할 수 있다. 비디오 코딩 디바이스는 도출된 서브블록 모션 벡터를 클리핑할 수 있다. 예를 들어, 비디오 코딩 디바이스는 모션 필드 범위에 기초하여, 도출된 서브블록 모션 벡터를 클리핑할 수 있다. 모션 필드 범위는 모션 필드 저장에 사용될 수 있다. 모션 필드 범위는 비트 깊이 값에 기초할 수 있다. 비디오 코딩 디바이스는 공간 모션 벡터 예측 또는 시간 모션 벡터 예측을 위해, 클리핑된 서브블록 모션 벡터를 저장할 수 있다. 비디오 코딩 디바이스는 클리핑된 서브블록 모션 벡터를 사용하여 서브블록을 예측할 수 있다.
비디오 코딩 디바이스는 비디오 블록의 형상에 기초하여 비디오 블록의 제어 포인트 아핀 모션 벡터들과 연관된 제어 포인트 위치들을 결정할 수 있다. 예를 들어, 제어 포인트 위치들은 비디오 블록의 길이 및/또는 폭에 기초하여 결정될 수 있다.
예를 들어, 현재 비디오 블록의 폭이 현재 비디오 블록의 길이보다 큰 경우, 제어 포인트 위치들은 좌상 제어 포인트 및 우상 제어 포인트를 포함할 수 있다. 비디오 코딩 디바이스는 이러한 비디오 블록을 수평 직사각형 비디오 블록으로서 분류할 수 있다. 예를 들어, 현재 비디오 블록의 폭이 현재 비디오 블록의 길이보다 작은 경우, 제어 포인트 위치들은 좌상 제어 포인트 및 좌하 제어 포인트를 포함할 수 있다. 비디오 코딩 디바이스는 현재 비디오 블록을 수직 직사각형 비디오 블록으로서 분류할 수 있다. 예를 들어, 현재 비디오 블록의 폭이 현재 비디오 블록의 길이와 동일한 경우, 제어 포인트 위치들은 좌하 제어 포인트 및 우상 제어 포인트를 포함할 수 있다. 비디오 코딩 디바이스는 현재 비디오 블록을 정사각형 비디오 블록으로서 분류할 수 있다.
도 1a는 예시적인 통신 시스템을 도시하는 시스템 도면이다.
도 1b는 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송신/수신 유닛(WTRU)를 도시하는 시스템 도면이다.
도 1c는 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 라디오 액세스 네트워크(RAN) 및 예시적인 코어 네트워크(CN)를 도시하는 시스템 도면이다.
도 1d는 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템 도면이다.
도 2는 블록 기반 비디오 인코더의 예시적인 도면을 도시한다.
도 3은 비디오 디코더의 예시적인 블록도를 도시한다.
도 4는 다가형 트리 구조에서의 예시적인 블록 파티션들을 도시한다.
도 5는 4-파라미터 아핀 모드의 예를 도시한다.
도 6은 아핀 병합 후보들의 예를 도시한다.
도 7은 아핀 모션 모델에 대한 제어 포인트들에서의 예시적인 모션 벡터 도출을 도시한다.
도 8은 아핀 모션 예측자 구성의 예를 도시한다.
도 9는 아핀 MV 예측자 생성을 위한 모션 벡터(MV) 시간 스케일링의 예를 도시한다.
도 10은 블록 형상에 기초하는 적응적 제어 포인트 선택의 예를 도시한다.
도 11은 최대 제어 포인트 거리를 갖는 아핀 병합 선택의 예를 도시한다.
도 12는 아핀 모드에 대한 모션 필드 생성의 예시적인 작업흐름을 도시한다.
도 13은 아핀 코딩 유닛(CU)들에 대한 예측 샘플들을 생성하기 위해 MV 예측 및 디블로킹에 사용되는 모션 필드를 재사용하는 예시적인 작업흐름을 도시한다.
도 14는 아핀 CU들에 대한 MV 예측 및 디블로킹을 수행하기 위해 예측 샘플들을 생성하기 위한 모션 필드를 재사용하는 예시적인 작업흐름을 도시한다.
도 15는 기준 블록을 스케일링하기 위해 하나 이상의 제어 포인트 MV들을 수정하는 예를 도시한다.
도 16은 기준 블록을 포함하도록 제어 포인트 MV를 수정하는 예를 도시한다.
도 1b는 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송신/수신 유닛(WTRU)를 도시하는 시스템 도면이다.
도 1c는 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 라디오 액세스 네트워크(RAN) 및 예시적인 코어 네트워크(CN)를 도시하는 시스템 도면이다.
도 1d는 도 1a에 도시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템 도면이다.
도 2는 블록 기반 비디오 인코더의 예시적인 도면을 도시한다.
도 3은 비디오 디코더의 예시적인 블록도를 도시한다.
도 4는 다가형 트리 구조에서의 예시적인 블록 파티션들을 도시한다.
도 5는 4-파라미터 아핀 모드의 예를 도시한다.
도 6은 아핀 병합 후보들의 예를 도시한다.
도 7은 아핀 모션 모델에 대한 제어 포인트들에서의 예시적인 모션 벡터 도출을 도시한다.
도 8은 아핀 모션 예측자 구성의 예를 도시한다.
도 9는 아핀 MV 예측자 생성을 위한 모션 벡터(MV) 시간 스케일링의 예를 도시한다.
도 10은 블록 형상에 기초하는 적응적 제어 포인트 선택의 예를 도시한다.
도 11은 최대 제어 포인트 거리를 갖는 아핀 병합 선택의 예를 도시한다.
도 12는 아핀 모드에 대한 모션 필드 생성의 예시적인 작업흐름을 도시한다.
도 13은 아핀 코딩 유닛(CU)들에 대한 예측 샘플들을 생성하기 위해 MV 예측 및 디블로킹에 사용되는 모션 필드를 재사용하는 예시적인 작업흐름을 도시한다.
도 14는 아핀 CU들에 대한 MV 예측 및 디블로킹을 수행하기 위해 예측 샘플들을 생성하기 위한 모션 필드를 재사용하는 예시적인 작업흐름을 도시한다.
도 15는 기준 블록을 스케일링하기 위해 하나 이상의 제어 포인트 MV들을 수정하는 예를 도시한다.
도 16은 기준 블록을 포함하도록 제어 포인트 MV를 수정하는 예를 도시한다.
첨부 도면들과 관련하여 예로서 주어지는 이하의 설명으로부터 더 상세한 이해가 이루어질 수 있다.
도 1a는 하나 이상의 개시된 예가 구현될 수 있는 예시적인 통신 시스템(100)을 도시하는 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐츠를 다수의 무선 사용자에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다중 무선 사용자가 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 그러한 콘텐츠에 액세스하는 것을 가능하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA), ZT UW DTS-s OFDM(zero-tail unique-word DFT-Spread OFDM), UW-OFDM(unique word OFDM), 자원 블록 필터링된 OFDM, FBMC(filter bank multicarrier) 등과 같은 하나 이상의 채널 액세스 방법을 사용할 수 있다.
도 1a에 도시된 바와 같이, 통신 시스템(100)은 무선 송신/수신 유닛들(WTRU들)(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), PSTN(public switched telephone network)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 예들은 임의의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 고려한다는 것이 이해될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작하고/하거나 통신하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, WTRU들(102a, 102b, 102c, 102d)-이들 중 임의의 것은 "스테이션(station)" 및/또는 "STA(STA)"라고 지칭될 수 있음-은 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정 또는 이동 가입자 유닛, 가입 기반 유닛, 페이저, 셀룰러 전화, PDA(personal digital assistant), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 핫스폿 또는 Mi-Fi 디바이스, 사물 인터넷(IoT) 디바이스, 시계 또는 다른 웨어러블, HMD(head-mounted display), 차량, 드론, 의료 디바이스 및 애플리케이션들(예컨대, 원격 수술), 산업 디바이스 및 애플리케이션들(예컨대, 산업 및/또는 자동화된 처리 체인 상황들에서 동작하는 로봇 및/또는 다른 무선 디바이스들), 소비자 전자기기 디바이스, 상업 및/또는 산업 무선 네트워크들 상에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c, 102d) 중 임의의 것은 UE로 교환가능하게 지칭될 수 있다.
통신 시스템들(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은 CN(106/115), 인터넷(110), 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, 기지국들(114a, 114b)은 BTS(base transceiver station), Node-B, eNode B, Home Node B, Home eNode B, gNB, NR NodeB, 사이트 컨트롤러(site controller), 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 단일 요소로서 각각 묘사되지만, 기지국들(114a, 114b)은 임의 수의 상호접속된 기지국들 및/또는 네트워크 요소들을 포함할 수 있다는 것을 알 것이다.
기지국(114a)은 다른 기지국들, 및/또는 기지국 컨트롤러(BSC), 무선 네트워크 컨트롤러(RNC), 릴레이 노드들 등과 같은 네트워크 요소들(도시되지 않음)도 포함할 수 있는 RAN(104/113)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(도시되지 않음)이라고 지칭될 수 있는 하나 이상의 캐리어 주파수 상에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있다. 이러한 주파수들은 인가 스펙트럼 및 비인가 스펙트럼 또는 인가 스펙트럼과 비인가 스펙트럼의 조합 내에 있을 수 있다. 셀은 비교적 고정될 수 있거나 시간 경과에 따라 변할 수 있는 특정 지리 영역에 대한 무선 서비스를 위한 커버리지를 제공할 수 있다. 셀은 또한 셀 섹터들로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터로 분할될 수 있다. 따라서, 일례에서, 기지국(114a)은 3개의 트랜시버, 즉 셀의 섹터마다 하나의 트랜시버를 포함할 수 있다. 일례에서, 기지국(114a)은 MIMO(multiple-input multiple-output) 기술을 사용할 수 있고, 셀의 섹터마다 다수의 트랜시버를 이용할 수 있다. 예를 들어, 신호들을 원하는 공간 방향들로 송신 및/또는 수신하기 위해 빔포밍(beamforming)이 사용될 수 있다.
기지국들(114a, 114b)은 임의의 적절한 무선 통신 링크(예컨대, RF(radio frequency), 마이크로파, 센티미터파, 마이크로미터파, IR(infrared), UV(ultraviolet), 가시광 등)일 수 있는 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 에어 인터페이스(116)는 임의의 적절한 RAT(radio access technology)를 사용하여 확립될 수 있다.
더 구체적으로, 전술한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 사용할 수 있다. 예를 들어, RAN(104/113) 내의 기지국(114a), 및 WTRU들(102a, 102b, 102c)은 WCDMA(wideband CDMA)를 사용하여 에어 인터페이스(115/116/117)를 확립할 수 있는 UTRA(Universal Mobile Telecommunications System(UMTS) Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있다. WCDMA는 HSPA(High-Speed Packet Access) 및/또는 HSPA+(Evolved HSPA)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크(DL) 패킷 액세스(HSDPA) 및/또는 고속 UL 패킷 액세스(HSUPA)를 포함할 수 있다.
일례에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 사용하여 에어 인터페이스(116)를 확립할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있다.
일례에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 NR(New Radio)을 사용하여 에어 인터페이스(116)를 확립할 수 있는 NR 라디오 액세스와 같은 라디오 기술을 구현할 수 있다.
일례에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 다수의 라디오 액세스 기술을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 예를 들어 이중 접속성(DC) 원리들을 사용하여 LTE 라디오 액세스 및 NR 라디오 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 이용되는 에어 인터페이스는 다수의 유형의 라디오 액세스 기술들 및/또는 다수의 유형의 기지국들(예컨대, eNB 및 gNB)로/로부터 송신되는 송신들에 의해 특성화될 수 있다.
예들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, WiFi(Wireless Fidelity)), IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GERAN(GSM EDGE) 등과 같은 라디오 기술들을 구현할 수 있다.
도 1a의 기지국(114b)은 예를 들어 무선 라우터, Home Node B, Home eNode B, 또는 액세스 포인트일 수 있고, 사업장, 집, 차량, 캠퍼스, 산업 시설, (예를 들어, 드론들에 의한 사용을 위한) 에어 코리도(air corridor), 도로 등과 같은 국지화된 영역에서의 무선 접속성을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수 있다. 일례에서, 기지국(114b) 및 WTRU들(102c, 102d)은 WLAN(wireless local area network)을 확립하기 위해 IEEE 802.11과 같은 라디오 기술을 구현할 수 있다. 일례에서, 기지국(114b) 및 WTRU들(102c, 102d)은 WPAN(wireless personal area network)을 확립하기 위해 IEEE 802.15와 같은 라디오 기술을 구현할 수 있다. 일례에서, 기지국(114b) 및 WTRU들(102c, 102d)은 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)를 이용할 수 있다. 도 1a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 접속을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스하도록 요구되지 않을 수 있다.
RAN(104/113)은 음성, 데이터, 애플리케이션들, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에 제공하도록 구성된 임의의 유형의 네트워크일 수 있는 CN(106/115)과 통신할 수 있다. 데이터는 상이한 처리량 요구들, 레이턴시 요구들, 에러 허용 한계 요구들, 신뢰성 요구들, 데이터 처리량 요구들, 이동성 요구들 등과 같은 다양한 서비스 품질(QoS) 요구들을 가질 수 있다. CN(106/115)은 호출 제어, 과금 서비스들, 이동 위치 기반 서비스들, 선불 통화, 인터넷 접속성, 비디오 배포 등을 제공하고/하거나, 사용자 인증과 같은 하이 레벨 보안 기능들을 수행할 수 있다. 도 1a에 도시되지 않지만, RAN(104/113) 및/또는 CN(106/115)이 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 사용하는 다른 RAN들과 직접 또는 간접 통신을 할 수 있다는 것이 이해될 것이다. 예를 들어, NR 라디오 기술을 이용하는 것일 수 있는 RAN(104/113)에 대한 접속에 더하여, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 라디오 기술을 사용하여 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서 역할할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화 네트워크들을 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 모음 내의 TCP(transmission control protocol), UDP(user datagram protocol) 및/또는 IP(internet protocol)와 같은 공통 통신 프로토콜들을 사용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 유선 및/또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 사용할 수 있는 하나 이상의 RAN에 접속된 다른 CN을 포함할 수 있다.
통신 시스템(100) 내의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 전부는 다중-모드 능력들을 포함할 수 있다(예컨대, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위해 다수의 트랜시버를 포함할 수 있다). 예를 들어, 도 1a에 도시된 WTRU(102c)는 셀룰러 기반 라디오 기술을 사용할 수 있는 기지국(114a) 및 IEEE 802 라디오 기술을 사용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 1b는 예시적인 WTRU(102)를 도시하는 시스템 도면이다. 도 1b에 도시된 바와 같이, WTRU(102)는 특히 프로세서(118), 트랜시버(120), 송신/수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), GPS(global positioning system) 칩셋(136), 및/또는 다른 주변기기들(138)을 포함할 수 있다. WTRU(102)는 전술한 요소들의 임의의 하위조합을 포함할 수 있다는 것이 이해될 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 전통적인 프로세서, DSP(digital signal processor), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Arrays) 회로, 임의의 다른 유형의 IC, 상태 기계 등일 수 있다. 프로세서(118)는 WTRU(102)가 무선 환경에서 동작할 수 있게 하는 신호 코딩, 데이터 처리, 전력 제어, 입출력 처리, 및/또는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송신/수신 요소(122)에 결합될 수 있는 트랜시버(120)에 결합될 수 있다. 도 1b는 프로세서(118) 및 트랜시버(120)를 별개의 컴포넌트들로서 도시하지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩 내에 함께 통합될 수 있다는 것을 알 것이다.
송신/수신 요소(122)는 에어 인터페이스(116)를 통해 기지국(예컨대, 기지국(114a))으로 신호들을 송신하거나 기지국으로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일례에서, 송신/수신 요소(122)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 일례에서, 송신/수신 요소(122)는 예를 들어 IR, UV, 또는 가시 광 신호들을 송신 및/또는 수신하도록 구성된 방사체/검출기(emitter/detector)일 수 있다. 일례에서, 송신/수신 요소(122)는 RF 및 광 신호들 둘 다를 송신 및/또는 수신하도록 구성될 수 있다. 송신/수신 요소(122)가 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것이 이해될 것이다.
송신/수신 요소(122)가 단일 요소로서 도 1b에 도시되지만, WTRU(102)는 임의의 수의 송신/수신 요소(122)를 포함할 수 있다. 더 구체적으로, WTRU(102)는 MIMO 기술을 사용할 수 있다. 따라서, 일례에서, WTRU(102)는 에어 인터페이스(116)를 통해 무선 신호들을 송신 및 수신하기 위한 2개 이상의 송/수신 요소(122)(예컨대, 다수의 안테나)를 포함할 수 있다.
트랜시버(120)는 송신/수신 요소(122)에 의해 송신될 신호들을 변조하고 송신/수신 요소(122)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(102)는 다중 모드 능력들을 가질 수 있다. 따라서, 트랜시버(120)는 WTRU(102)가 예를 들어 NR 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신할 수 있게 하기 위해 다수의 트랜시버를 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예컨대, LCD(liquid crystal display) 디스플레이 유닛 또는 OLED(organic light emitting diode) 디스플레이 유닛)에 결합될 수 있고 그로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 사용자 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 출력할 수 있다. 또한, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 유형의 적절한 메모리로부터의 정보에 액세스하고 그 안에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 RAM(random-access memory), ROM(read-only memory), 하드 디스크, 또는 임의의 다른 유형의 메모리 저장 디바이스를 포함할 수 있다. 이동식 메모리(132)는 SIM(subscriber identity module) 카드, 메모리 스틱, SD(secure digital) 메모리 카드 등을 포함할 수 있다. 예들에서, 프로세서(118)는 WTRU(102) 상에, 예를 들어 서버 또는 홈 컴퓨터(도시되지 않음) 상에 물리적으로 위치되지 않은 메모리로부터의 정보에 액세스하고 그 안에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102) 내의 다른 컴포넌트들에 전력을 분배하고/하거나 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지 배터리(예컨대, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬-이온(Li-ion) 등), 태양 전지들, 연료 전지들 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예컨대, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 더하여 또는 그 대신에, WTRU(102)는 기지국(예컨대, 기지국들(114a, 114b))으로부터 에어 인터페이스(116)를 통해 위치 정보를 수신하고/하거나 2개 이상의 근처 기지국으로부터 수신되고 있는 신호들의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(102)가 임의의 적합한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 이해될 것이다.
프로세서(118)는 추가적인 특징들, 기능 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변기기들(138)에 추가로 결합될 수 있다. 예를 들어, 주변기기들(138)은 가속도계, 전자 나침반, 위성 트랜시버, (사진들 및/또는 비디오를 위한) 디지털 카메라, 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(VR/AR) 디바이스, 활동 추적기 등을 포함할 수 있다. 주변기기들(138)은 하나 이상의 센서를 포함할 수 있고, 센서들은 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 배향 센서, 근접 센서, 온도 센서, 시간 센서; 지리 위치 센서; 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체 인식 센서, 및/또는 습도 센서 중 하나 이상일 수 있다.
WTRU(102)는 (예컨대, (예컨대, 송신을 위한) UL 및 (예컨대, 수신을 위한) 다운링크 둘 다에 대한 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신이 동반적이고/이거나 동시적일 수 있는 전이중 라디오(full duplex radio)를 포함할 수 있다. 전이중 라디오는 하드웨어(예를 들어, 초크(choke))를 통해 또는 프로세서(예를 들어, 별개의 프로세서(도시되지 않음) 또는 프로세서(118))를 통한 신호 처리를 통해 자기-간섭을 줄이고/줄이거나 실질적으로 제거하는 간섭 관리 유닛(139)을 포함할 수 있다. 일례에서, WTRU(102)는 (예컨대, (예컨대, 송신을 위한) UL 또는 (예컨대, 수신을 위한) 다운링크에 대한 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신을 위한 반이중 라디오(half-duplex radio)를 포함할 수 있다.
도 1c는 예시적인 RAN(104) 및 CN(106)을 도시하는 시스템 도면이다. 전술한 바와 같이, RAN(104)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 라디오 기술을 사용할 수 있다. RAN(104)은 또한 CN(106)과 통신할 수 있다.
RAN(104)은 eNode-B들(160a, 160b, 160c)을 포함할 수 있지만, RAN(104)이 임의의 수의 eNode-B를 포함할 수 있다는 것이 이해될 것이다. eNode-B들(160a, 160b, 160c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 하나 이상의 트랜시버를 포함할 수 있다. 일례에서, eNode-B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(160a)는 예를 들어 WTRU(102a)에 무선 신호들을 송신하고/하거나 그로부터 무선 신호들을 수신하기 위해 다수의 안테나를 사용할 수 있다.
eNode-B들(160a, 160b, 160c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 라디오 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링 등을 핸들링하도록 구성될 수 있다. 도 1c에 도시된 바와 같이, eNodeB들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 1c에 도시된 CN(106)은 이동성 관리 엔티티(MME)(162), 서빙 게이트웨이(SGW)(164), 및 패킷 데이터 네트워크(PDN) 게이트웨이(또는 PGW)(166)를 포함할 수 있다. 전술한 요소들 각각이 CN(106)의 일부로서 묘사되지만, 이 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고/되거나 운영될 수 있다는 것이 이해될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B들(162a, 162b, 162c) 각각에 접속될 수 있고, 제어 노드로서 역할할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 부착 동안의 특정 서빙 게이트웨이의 선택 등을 담당할 수 있다. MME(162)는 RAN(104)과, GSM 및/또는 WCDMA와 같은 다른 라디오 기술들을 사용하는 다른 RAN들(도시되지 않음) 간에 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104) 내의 eNode B들(160a, 160b, 160c) 각각에 접속될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 사용자 데이터 패킷들을 라우팅하고 포워딩할 수 있다. SGW(164)는 eNode B간 핸드오버들 동안 사용자 평면들을 앵커링(anchoring)하는 것, WTRU들(102a, 102b, 102c)에 대해 DL 데이터가 이용가능할 때 페이징(paging)을 트리거링하는 것, WTRU들(102a, 102b, 102c)의 상황들을 관리하고 저장하는 것 등과 같은 다른 기능들을 수행할 수 있다.
SGW(164)는 WTRU들(102a, 102b, 102c)과 IP-인에이블드 디바이스들 사이의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 PGW(166)에 접속될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 전통적인 지상선 통신 디바이스들 사이의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이의 인터페이스로서 역할하는 IP 게이트웨이(예컨대, IMS(IP multimedia subsystem) 서버)를 포함할 수 있거나 그와 통신할 수 있다. 또한, CN(106)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다.
WTRU가 도 1a-1d에서 무선 단말기로서 설명되지만, 소정의 예들에서 그러한 단말기는 통신 네트워크와의 유선 통신 인터페이스들을 (예를 들어, 일시적으로 또는 영구적으로) 사용할 수 있다는 것이 고려된다.
예들에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라스트럭처 기본 서비스 세트(BSS) 모드의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 연관된 하나 이상의 스테이션(STA)을 가질 수 있다. AP는 BSS로 및/또는 BSS로부터 트래픽을 운반하는 분배 시스템(DS) 또는 다른 유형의 유선/무선 네트워크에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부로부터 비롯되는 STA들에 대한 트래픽은 AP를 통해 도착할 수 있고 STA들에 전달될 수 있다. STA들로부터 BSS 외부의 목적지들로 비롯되는 트래픽은 각각의 목적지들로 전달되도록 AP에 송신될 수 있다. BSS 내의 STA들 간의 트래픽은 AP를 통해 송신될 수 있는데, 예를 들어 소스 STA는 트래픽을 AP에 송신할 수 있고, AP는 트래픽을 목적지 STA에 전달할 수 있다. BSS 내의 STA들 사이의 트래픽은 피어-투-피어 트래픽으로 간주되고/되거나 지칭될 수 있다. 피어-투-피어 트래픽은 직접 링크 셋업(DLS)을 이용하여 소스 및 목적지 STA들 사이에서(예컨대, 그들 사이에서 직접) 송신될 수도 있다. 예들에서, DLS는 802.11e DLS 또는 802.11z TDLS(tunneled DLS)를 사용할 수 있다. IBSS(Independent BSS) 모드를 사용하는 WLAN은 AP를 갖지 않을 수 있고, IBSS 내의 또는 IBSS를 사용하는 STA들(예를 들어, 모든 STA들)은 서로 직접 통신할 수 있다. IBSS 통신 모드는 때때로 본 명세서에서 "애드혹" 통신 모드라고 지칭될 수 있다.
802.11ac 인프라스트럭처 동작 모드 또는 유사한 동작 모드를 사용할 때, AP는 주 채널과 같은 고정 채널 상에서 비컨을 송신할 수 있다. 주 채널은 고정된 폭(예를 들어, 20MHz 폭의 대역폭) 또는 시그널링을 통한 동적 설정 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있으며, STA들에 의해 AP와의 접속을 확립하기 위해 사용될 수 있다. 예들에서, CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)가 예를 들어 802.11 시스템들에서 구현될 수 있다. CSMA/CA의 경우, AP를 포함하는 STA들(예를 들어, 모든 STA)은 주 채널을 감지할 수 있다. 주 채널이 특정 STA에 의해 사용 중인 것으로 감지/검출 및/또는 결정되면, 특정 STA는 백오프될 수 있다. 하나의 STA(예를 들어, 단지 하나의 스테이션)는 주어진 BSS에서 임의의 주어진 시간에 송신할 수 있다.
고처리량(HT) STA들은 예를 들어 인접하거나 인접하지 않은 20MHz 채널과 주 20MHz 채널의 결합을 통해 통신을 위해 40MHz 폭의 채널을 사용하여 40MHz 폭의 채널을 형성할 수 있다.
초고처리량(VHT) STA들은 20MHz, 40MHz, 80MHz 및/또는 160MHz 폭의 채널들을 지원할 수 있다. 40MHz 및/또는 80MHz 채널들은 연속적인 20MHz 채널들을 결합함으로써 형성될 수 있다. 160MHz 채널은 8개의 연속적인 20MHz 채널을 결합함으로써 또는 80+80 구성이라고 지칭될 수 있는 2개의 비연속적인 80MHz 채널을 결합함으로써 형성될 수 있다. 80+80 구성의 경우, 데이터는 채널 인코딩 후에 데이터를 2개의 스트림으로 분할할 수 있는 세그먼트 파서를 통해 전달될 수 있다. IFFT(Inverse Fast Fourier Transform) 처리 및 시간 도메인 처리가 각각의 스트림에 대해 개별적으로 행해질 수 있다. 스트림들은 2개의 80MHz 채널에 매핑될 수 있고, 데이터는 송신 STA에 의해 송신될 수 있다. 수신 STA의 수신기에서, 80+80 구성에 대한 전술한 동작이 반전될 수 있고, 결합된 데이터는 매체 액세스 제어(MAC)에 송신될 수 있다.
서브 1 GHz 동작 모드들은 802.11af 및 802.11ah에 의해 지원된다. 채널 동작 대역폭들 및 캐리어들은 802.11n 및 802.11ac에서 사용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 백색 공간(TVWS) 스펙트럼에서 5MHz, 10MHz 및 20MHz 대역폭들을 지원하고, 802.11ah는 비-TVWS 스펙트럼을 사용하는 1MHz, 2MHz, 4MHz, 8MHz 및 16MHz 대역폭들을 지원한다. 일례에 따르면, 802.11ah는 매크로 커버리지 영역 내의 MTC 디바이스들과 같은 미터 유형 제어/기계 유형 통신을 지원할 수 있다. MTC 디바이스들은 소정 능력들 예를 들어 소정의 그리고/또는 제한된 대역폭들에 대한 지원(예를 들어, 그것들만의 지원)을 포함하는 제한된 능력들을 가질 수 있다. MTC 디바이스들은 (예를 들어, 매우 긴 배터리 수명을 유지하기 위해) 임계값 위의 배터리 수명을 갖는 배터리를 포함할 수 있다.
802.11n, 802.11ac, 802.11af 및 802.11ah와 같은 다수의 채널 및 채널 대역폭을 지원할 수 있는 WLAN 시스템들은 주 채널로서 지정될 수 있는 채널을 포함한다. 주 채널은 BSS 내의 모든 STA들에 의해 지원되는 가장 큰 공통 동작 대역폭과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 BSS에서 동작하는 모든 STA들 중에서 가장 작은 대역폭 동작 모드를 지원하는 STA에 의해 설정 및/또는 제한될 수 있다. 802.11ah의 예에서, 주 채널은 AP 및 BSS 내의 다른 STA들이 2MHz, 4MHz, 8MHz, 16MHz 및/또는 다른 채널 대역폭 동작 모드들을 지원하더라도 1MHz 모드를 지원하는(예를 들어, 오직 지원하는) STA들(예를 들어, MTC 유형 디바이스들)에 대해 1MHz 폭일 수 있다. 캐리어 감지 및/또는 네트워크 할당 벡터(NAV) 설정들은 주 채널의 상태에 의존할 수 있다. 주 채널이 예를 들어 STA(1MHz 동작 모드만을 지원함)의 AP로의 송신으로 인해 사용 중인 경우, 전체 가용 주파수 대역들은 주파수 대역들의 대부분이 유휴 상태로 유지되고 이용가능할 수 있더라도 사용 중인 것으로 간주될 수 있다.
미국에서, 802.11ah에 의해 사용될 수 있는 가용 주파수 대역들은 902MHz 내지 928MHz이다. 한국에서, 가용 주파수 대역들은 917.5MHz 내지 923.5MHz이다. 일본에서, 가용 주파수 대역들은 916.5MHz 내지 927.5MHz이다. 802.11ah에 대해 이용가능한 총 대역폭은 국가 코드에 따라 6MHz 내지 26MHz이다.
도 1d는 예시적인 RAN(113) 및 CN(115)을 도시하는 시스템 도면이다. 전술한 바와 같이, RAN(113)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 라디오 기술을 사용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)이 임의의 수의 gNB를 포함할 수 있다는 것이 이해될 것이다. gNB들(180a, 180b, 180c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 일례에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 180b)은 gNB들(180a, 180b, 180c)에 신호들을 송신하고/하거나 그들로부터 신호들을 수신하기 위해 빔포밍을 이용할 수 있다. 따라서, gNB(180a)는 예를 들어 WTRU(102a)에 무선 신호들을 송신하고/하거나 그로부터 무선 신호들을 수신하기 위해 다수의 안테나를 사용할 수 있다. 일례에서, gNB들(180a, 180b, 180c)은 캐리어 집성 기술을 구현할 수 있다. 예를 들어, gNB(180a)는 다수의 컴포넌트 캐리어를 WTRU(102a)에 송신할 수 있다(도시되지 않음). 이러한 컴포넌트 캐리어들의 서브세트는 비인가 스펙트럼 상에 있을 수 있는 반면, 나머지 컴포넌트 캐리어들은 인가 스펙트럼 상에 있을 수 있다. 일례에서, gNB들(180a, 180b, 180c)은 CoMP(Coordinated Multi-Point) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 협력 송신들을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 확장가능 뉴머롤로지(scalable numerology)와 연관된 송신들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 서브캐리어 간격은 상이한 송신들, 상이한 셀들, 및/또는 무선 송신 스펙트럼의 상이한 부분들에 대해 변할 수 있다. WTRU들(102a, 102b, 102c)은 (예컨대, 변하는 수의 OFDM 심벌들 및/또는 지속적인 변하는 절대 시간 길이들을 포함하는) 다양한 또는 확장가능 길이들의 서브프레임 또는 송신 시간 간격(TTI)들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)은 독립형 구성 및/또는 비독립형 구성에서 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예컨대, eNode-B들(160a, 160b, 160c)과 같은) 다른 RAN들에 또한 액세스하지 않고 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트로서 gNB들(180a, 180b, 180c) 중 하나 이상을 이용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 비인가 대역 내의 신호들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비독립형 구성에서, WTRU들(102a, 102b, 102c)은 eNode-B들(160a, 160b, 160c)과 같은 다른 RAN과 또한 통신하면서/그에 접속하면서 gNB들(180a, 180b, 180c)과 통신/그에 접속할 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 하나 이상의 gNB(180a, 180b, 180c) 및 하나 이상의 eNode-B(160a, 160b, 160c)와 실질적으로 동시에 통신하기 위해 DC 원리들을 구현할 수 있다. 비독립형 구성에서, eNode-B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)에 대한 이동성 앵커로서 역할할 수 있고, gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정의 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링, 네트워크 슬라이싱의 지원, 이중 접속성, NR과 E-UTRA 사이의 연동, 사용자 평면 데이터의 사용자 평면 기능(UPF)(184a, 184b)으로의 라우팅, 제어 평면 정보의 액세스 및 이동성 관리 기능(AMF)(182a, 182b)으로의 라우팅 등을 핸들링하도록 구성될 수 있다. 도 1d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 1d에 도시된 CN(115)은 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(SMF)(183a, 183b), 및 가능하게는 데이터 네트워크(DN)(185a, 185b)를 포함할 수 있다. 전술한 요소들 각각이 CN(115)의 일부로서 묘사되지만, 이 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고/되거나 운영될 수 있다는 것이 이해될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있고, 제어 노드로서 역할할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 네트워크 슬라이싱(예컨대, 상이한 요구들을 갖는 상이한 PDU 세션들의 핸들링)에 대한 지원, 특정의 SMF(183a, 183b)의 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)에 의해 이용되는 서비스들의 유형들에 기초하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 맞춤화하기 위해 AMF(182a, 182b)에 의해 사용될 수 있다. 예를 들어, URLLC(ultra-reliable low latency) 액세스에 의존하는 서비스들, eMBB(enhanced massive mobile broadband) 액세스에 의존하는 서비스들, MTC(machine type communication) 액세스에 대한 서비스들 등과 같은 상이한 사용 사례들에 대해 상이한 네트워크 슬라이스들이 확립될 수 있다. AMF(162)는 RAN(113)과, LTE, LTE-A, LTE-A Pro 및/또는 WiFi와 같은 비-3GPP 액세스 기술들과 같은 다른 라디오 기술들을 사용하는 다른 RAN들(도시되지 않음) 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115) 내의 AMF(182a, 182b)에 접속될 수 있다. SMF(183a, 183b)는 또한 N4 인터페이스를 통해 CN(115) 내의 UPF(184a, 184b)에 접속될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어하고, UPF(184a, 184b)를 통한 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 어드레스를 관리하고 할당하는 것, PDU 세션들을 관리하는 것, 정책 시행 및 QoS를 제어하는 것, 다운링크 데이터 통지들을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 유형은 IP 기반, 비-IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 WTRU들(102a, 102b, 102c)과 IP 인에이블드 디바이스들 사이의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 N3 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있다. UPF(184, 184b)는 패킷들을 라우팅 및 포워딩하는 것, 사용자 평면 정책들을 시행하는 것, 멀티-홈 PDU 세션들을 지원하는 것, 사용자 평면 QoS를 핸들링하는 것, 다운링크 패킷들을 버퍼링하는 것, 이동성 앵커링을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은 CN(115)과 PSTN(108) 사이의 인터페이스로서 역할하는 IP 게이트웨이(예컨대, IMS(IP multimedia subsystem) 서버)를 포함할 수 있거나 그와 통신할 수 있다. 또한, CN(115)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 일례에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)에 대한 N3 인터페이스 및 UPF(184a, 184b)와 DN(185a, 185b) 사이의 N6 인터페이스를 통해 UPF(184a, 184b)를 통해 로컬 데이터 네트워크(DN)(185a, 185b)에 접속될 수 있다.
도 1a 내지 도 1d, 및 도 1a 내지 도 1d의 대응하는 설명을 고려할 때, WTRU(102a-d), 기지국(114a-b), eNode-B(160a-c), MME(162), SGW(164), PGW(166), gNB(180a-c), AMF(182a-ab), UPF(184a-b), SMF(183a-b), DN(185a-b) 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상과 관련하여 본 명세서에 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에 설명된 기능들 중 하나 이상 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들을 테스트하고/하거나 네트워크 및/또는 WTRU 기능들을 시뮬레이션하기 위해 사용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현 및/또는 배치되면서 하나 이상의 또는 모든 기능들을 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서 하나 이상의 또는 모든 기능들을 수행할 수 있다. 에뮬레이션 디바이스는 테스트를 위해 다른 디바이스에 직접 결합될 수 있고/있거나 OTA(over-the-air) 무선 통신을 사용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서 모든 기능들을 포함하는 하나 이상의 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 컴포넌트의 테스트를 구현하기 위해 테스트 실험실 및/또는 배치되지 않은 (예컨대, 테스트) 유선 및/또는 무선 통신 네트워크에서의 테스트 시나리오에서 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. RF 회로(예를 들어, 하나 이상의 안테나를 포함할 수 있음)를 통한 직접 RF 결합 및/또는 무선 통신이 데이터를 송신 및/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 사용될 수 있다.
비디오 코딩 시스템들은 예를 들어 디지털 비디오 신호들을 압축하여, 이러한 신호들의 저장 및/또는 전달과 연관된 저장 공간 및/또는 송신 대역폭을 감소시킬 수 있다. 비디오 코딩 시스템들은 블록 기반 시스템, 웨이블릿 기반 시스템, 객체 기반 시스템 등을 포함할 수 있다.
비디오 코딩 디바이스는 블록 기반 하이브리드 비디오 코딩 프레임워크에 기초할 수 있다. 다가형 트리 기반 블록 분할 구조가 이용될 수 있다. 코딩 모듈들, 예를 들어 인트라 예측 모듈, 인터 예측 모듈, 변환/역변환 모듈 및 양자화/역양자화 모듈 중 하나 이상이 포함될 수 있다. 비디오 코딩 디바이스는 또한 인-루프 필터들을 포함할 수 있다.
비디오 코딩 디바이스는 65 각도 인트라 예측 방향, 수정된 계수 코딩, 향상된 다중 변환(AMT) + 4x4 분리 불가능 이차 변환(NSST), 아핀 모션 모델, 일반화된 적응적 루프 필터(GALF), 향상된 시간 모션 벡터 예측(ATMVP), 적응적 모션 벡터 정밀도, 디코더측 모션 벡터 정밀화(DMVR) 및/또는 선형 모델(LM) 크로마 모드와 같은 하나 이상의 코딩 도구들을 포함할 수 있다.
예시적인 블록 기반 비디오 코딩 시스템은 블록 기반 하이브리드 비디오 코딩 프레임워크를 포함할 수 있다. 도 2는 인코더를 위한 예시적인 블록 기반 하이브리드 비디오 인코딩 프레임워크(200)를 도시한다. 도 2에 도시된 바와 같이, 입력 비디오 신호(202)는 블록별로 처리될 수 있다. 블록은 코딩 유닛(CU)으로 지칭될 수 있다. CU는 비디오 블록으로도 지칭될 수 있다. 예를 들어, CU는 크기가 최대 128x128 픽셀일 수 있다. 코딩 프레임워크에서, CU는 예측 유닛(PU)들로 분할될 수 있고/있거나, 별개의 예측들이 사용될 수 있다. 코딩 프레임워크에서, CU는 추가적인 파티션들 없이 예측 및 변환 둘 다를 위한 기본 유닛으로 사용될 수 있다. CTU는, 예를 들어, 4가/2가/3가-트리 구조에 기초하여 가변 국지적 특성들을 적응시키기 위해 CU들로 분할될 수 있다. 다가형 트리 구조에서, CTU는 4가-트리 구조에 의해 분할될 수 있다. 4가-트리 리프 노드는 2가 및 3가 트리 구조에 의해 추가로 분할될 수 있다. 도 4에 도시된 바와 같이, 예를 들어 4가 분할(도 4a), 수평 2가 분할(도 4c), 수직 2가 분할(도 4b), 수직 3가 분할(도 4d), 및 수평 3가 분할(도 4e)을 포함하는 하나 이상의 분할 유형들이 제공될 수 있다.
도 2에 도시된 바와 같이, 입력 비디오 블록(예컨대, 매크로블록(MB) 및/또는 CU)에 대해, 공간 예측(260) 및/또는 시간 예측(262)이 수행될 수 있다. 공간 예측(260)(예를 들어, 인트라 예측)은 비디오 픽처/슬라이스 내의 코딩된 이웃 블록들(예를 들어, 기준 샘플들)의 샘플들로부터의 픽셀들을 사용하여 현재 비디오 블록을 예측할 수 있다. 공간 예측(260)은, 예를 들어, 비디오 신호에 고유할 수 있는 공간 중복성을 감소시킬 수 있다. 모션 예측(262)(예를 들어, 인터 예측 및/또는 시간 예측)은, 예를 들어, 현재 비디오 블록을 예측하기 위해, 코딩된 비디오 픽처들로부터의 재구성된 픽셀들을 사용할 수 있다. 모션 예측(262)은, 예를 들어, 비디오 신호에 고유할 수 있는 시간 중복성을 감소시킬 수 있다. 비디오 블록(예를 들어, CU)에 대한 모션 예측 신호들(예를 들어, 시간 예측 신호)은 하나 이상의 모션 벡터들(MV)에 의해 시그널링될 수 있다. MV들은 현재 블록 및/또는 현재 블록의 기준 블록 또는 그의 시간 기준 사이의 모션의 양 및/또는 방향을 나타낼 수 있다. 다수의 기준 픽처가 (예를 들어, 각각의) 비디오 블록에 대해 지원되는 경우, 비디오 블록의 기준 픽처 인덱스는 인코더에 의해 송신될 수 있다. 기준 픽처 인덱스는 기준 픽처 저장소(264) 내의 어느 기준 픽처로부터 모션 예측 신호가 도출될 수 있는지를 식별하기 위해 사용될 수 있다.
공간 예측(260) 및/또는 모션 예측(262) 후에, 인코더 내의 모드 결정 블록(280)은, 예를 들어, 레이트-왜곡 최적화에 기초하여 예측 모드(예를 들어, 최상의 예측 모드)를 결정할 수 있다. 예측 블록은 216에서 현재 비디오 블록으로부터 감산될 수 있고/있거나, 예측 잔차는 목표 비트 레이트와 같은 비트 레이트를 달성하기 위해 변환(204) 및/또는 양자화(206)를 사용하여 역상관될 수 있다. 양자화된 잔차 계수들은 예를 들어 역양자화(210)에서 역양자화되고/되거나 변환(212)에서 역변환되어 재구성된 잔차를 형성할 수 있고, 재구성된 잔차는 예를 들어 226에서 예측 블록에 추가되어 재구성된 비디오 블록을 형성할 수 있다. 재구성된 비디오 블록이 기준 픽처 저장소(264)에 넣어지고/지거나 비디오 블록들(예를 들어, 미래의 비디오 블록들)을 코딩하는 데 사용될 수 있기 전에, 재구성된 비디오 블록에 대해 루프 필터(266)에서 인-루프 필터링(예를 들어, 디블로킹 필터 및/또는 적응적 루프 필터들)이 적용될 수 있다. 출력 비디오 비트스트림(220)을 형성하기 위해, 코딩 모드(예컨대, 인터 또는 인트라), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔차 계수들이 예를 들어 엔트로피 코딩 모듈(208)에 송신되어(예를 들어, 모두 송신되어) 비트스트림을 형성하도록 압축 및/또는 팩킹(packing)될 수 있다.
도 3은 디코더를 위한 예시적인 블록 기반 비디오 디코딩 프레임워크의 블록도를 도시한다. 비디오 비트스트림(302)(예를 들어, 도 2의 비디오 비트스트림(220))이 엔트로피 디코딩 모듈(308)에서 언팩킹(예를 들어, 제1 언팩킹) 및/또는 엔트로피 디코딩될 수 있다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간 예측 모듈(360)(예를 들어, 인트라 코딩된 경우) 및/또는 모션 보상 예측 모듈(362)(예를 들어, 인터 코딩되고/되거나 시간 코딩된 경우)에 송신될 수 있다. 잔차 변환 계수들은 예를 들어 잔차 블록을 재구성하기 위해 역양자화 모듈(310) 및/또는 역변환 모듈(312)에 송신될 수 있다. 예측 블록 및/또는 잔차 블록은 326에서 함께 더해질 수 있다. 재구성된 블록은, 예를 들어, 재구성된 블록이 기준 픽처 저장소(364)에 저장되기 전에, 루프 필터(366)에서 인-루프 필터링을 거칠 수 있다. 기준 픽처 저장소(364) 내의 재구성된 비디오(320)는 디스플레이 디바이스를 구동하기 위해 송신될 수 있고/있거나 비디오 블록들(예를 들어, 미래의 비디오 블록들)을 예측하기 위해 사용될 수 있다.
본 명세서에 설명된 바와 같이, 아핀 모션 보상이 인터-코딩 도구로서 사용될 수 있다.
본 명세서에 설명된 바와 같이, 비디오 코딩을 위한 다양한 아핀 모드들 및 아핀 모션 모델들이 사용될 수 있다. 모션 보상 예측을 위해 병진 모션 모델이 적용될 수 있다. 다양한 종류의 모션들(예를 들어, 줌 인 또는 줌 아웃, 회전, 원근 모션 및/또는 다른 불규칙한 모션)이 존재할 수 있다. 아핀 변환(예를 들어, 단순화된 아핀 변환) 모션 보상 예측이 예측을 위해 적용될 수 있다. 예를 들어, 병진 모션 또는 아핀 모션 모델이 인터 예측을 위해 적용되는지를 나타내기 위해, 인터-코딩된 CU들(예를 들어, 각각의 인터-코딩된 CU)에 대한 플래그가 시그널링될 수 있다.
단순화된 아핀 모션 모델은 4-파라미터 모델일 수 있다. 모델의 4개의 파라미터 중에서, 2개의 파라미터가 (예를 들어, 수평 방향 및 수직 방향으로의) 병진 이동에 대해 사용될 수 있고, 하나의 파라미터가 줌 모션에 대해 사용될 수 있으며, 하나의 파라미터가 회전 모션에 대해 사용될 수 있다. 수평 줌 파라미터 값은 수직 줌 파라미터 값과 동일할 수 있다. 수평 회전 파라미터 값은 수직 회전 파라미터 값과 동일할 수 있다. 4-파라미터 모션 모델은 2개의 제어 포인트 위치에서, 예를 들어 현재 비디오 블록 또는 현재 CU의 좌상 코너 위치 및 우상 코너 위치에서 2개의 모션 벡터를 한 쌍의 모션 벡터로서 사용하여 코딩될 수 있다. 도 5에 도시된 바와 같이, CU 또는 블록의 아핀 모션 필드는 2개의 제어 포인트 모션 벡터(예를 들어, 
)에 의해 설명될 수 있다. 제어 포인트 모션에 기초하여, 모션 필드(v x , v y )가 다음과 같이 결정될 수 있다.
여기서, (v 0x , v 0y )는 좌상 코너 제어 포인트의 모션 벡터일 수 있고, (v 1x , v 1y )는 우상 코너 제어 포인트의 모션 벡터일 수 있다. 블록이 아핀 모드에서 코딩될 때, 그의 모션 필드는 예를 들어 서브블록의 입도에 기초하여 도출될 수 있다. 서브블록(예를 들어, 각각의 서브블록)의 모션 벡터는 예를 들어 수학식 1을 사용하여 서브블록의 중심 샘플의 모션 벡터를 계산함으로써 도출될 수 있다. 모션 벡터는 정확도 값(예컨대, 1/16 펠 정확도(pel accuracy))으로 라운딩될 수 있다. 도출된 모션 벡터는 현재 블록 내부의 서브블록(예를 들어, 각각의 서브블록)의 예측 신호를 생성하기 위해 모션 보상 스테이지에서 사용될 수 있다. 아핀 모션 보상을 위해 적용되는 서브블록의 크기는 이하의 수학식들을 사용하여 계산될 수 있다.
여기서, (v2x, v2y)는 좌하 제어 포인트의 모션 벡터일 수 있고, w 및 h는 예컨대 수학식 1에 의해 계산되는 바와 같은 CU 폭 및 CU 높이일 수 있으며, M 및 N은 도출된 서브블록 크기의 폭 및 높이일 수 있다.
아핀 병합 모드 코딩이 CU를 코딩하는 데 사용될 수 있다. 각각의 기준 픽처 리스트에 대한 2개의 제어 포인트와 연관된 2개의 모션 벡터 세트가 예측 코딩과 함께 시그널링될 수 있다. 아핀 병합 모드가 적용될 수 있고, 모션 벡터와 그의 예측자 사이의 차이들이 무손실 코딩 방식을 사용하여 코딩될 수 있다. (예를 들어, 낮은 비트 레이트에서) 상당할 수 있는 시그널링 오버헤드가 시그널링될 수 있다. 아핀 병합 모드는 예를 들어 모션 필드의 국지적 연속성을 고려함으로써 시그널링 오버헤드를 감소시키기 위해 적용될 수 있다. 현재 CU의 2개의 제어 포인트에서의 모션 벡터들이 도출될 수 있다. 현재 CU의 모션 벡터들은 그의 이웃 블록들로부터 선택될 수 있는 CU의 아핀 병합 후보의 아핀 모션을 사용하여 도출될 수 있다.
도 6에 도시된 바와 같이, 예를 들어, 아핀 병합 모드로 코딩된 현재 CU는 5개의 이웃 블록(N0 내지 N4)을 가질 수 있다. 이웃 블록들은 N0에서 N4 - N0, N1, N2, N3, N4의 순서로 검사될 수 있다. 제1 아핀 코딩된 이웃 블록은 아핀 병합 후보로서 사용될 수 있다. 도 7에 도시된 바와 같이, 현재 CU는 아핀 병합 모드로 코딩될 수 있다. 현재 CU의 좌하 이웃 블록(예를 들어, N0)은 아핀 병합 후보로서 선택될 수 있다. 좌하 이웃 블록(N0)은 이웃 CU(CU0)에 속할 수 있다. 블록 N0을 포함하는 CU의 폭 및 높이는 nw 및 nh로 표시될 수 있다. 현재 CU의 폭 및 높이는 cw 및 ch로 표시될 수 있다. 위치 Pi에서의 MV는 (v ix , v iy )로 표시될 수 있다. 제어 포인트 P0에서의 MV (v 0x , v 0y )는 다음의 수학식들에 따라 도출될 수 있다.
제어 포인트 Pi에서의 MV (v 1x , v 1y )는 다음의 수학식들에 따라 도출될 수 있다.
제어 포인트 P2에서의 MV (v 2x , v 2y )는 다음의 수학식들에 따라 도출될 수 있다.
2개의 제어 포인트(예를 들어, P0 및 P1)에서의 MV들이 결정되면, 현재 CU 내의 서브블록(예를 들어, 각각의 서브블록)의 MV가 도출될 수 있다. 서브블록의 도출된 MV는 미래의 픽처 코딩을 위한 서브블록 기반 모션 보상 및 시간적 모션 벡터 예측에 사용될 수 있다.
아핀 MV 예측이 수행될 수 있다. 비-병합 아핀 코딩된 CU들에 대해, 제어 포인트들에서의 MV들의 시그널링은 높은 시그널링 비용과 연관될 수 있다. 시그널링 오버헤드를 감소시키기 위해 예측 코딩이 사용될 수 있다. 아핀 MV 예측자가 그의 이웃하는 코딩된 블록들의 모션으로부터 생성될 수 있다. 아핀 코딩된 CU의 MV 예측을 위해 다양한 종류의 예측자들이 지원될 수 있다. 예를 들어, 제어 포인트들의 이웃 블록들로부터의 생성된 아핀 모션 예측자 및/또는 MV 예측에 사용되는 병진 모션 예측자. 병진 모션 예측자는 아핀 모션 예측자에 대한 보완으로서 사용될 수 있다.
MV들의 세트들이 획득되고, 다수의 아핀 모션 예측자를 생성하는 데 사용될 수 있다. 도 8에 도시된 바와 같이, MV 세트들은 다음을 포함할 수 있다: 세트 S1을 포함할 수 있고 {MVA, MVB, MVC}로서 표시될 수 있는 코너 P0에서의 이웃 블록들 {A, B, C}로부터의 MV; 세트 S2를 포함할 수 있고 {MVD, MVE}로서 표시될 수 있는 코너 P1에서의 이웃 블록들 {D, E}로부터의 MV; 및/또는 세트 S3을 포함할 수 있고 {MVF, MVG}로서 표시될 수 있는 코너 P2에서의 이웃 블록들 {F, G}로부터의 MV. 이웃 블록으로부터의 MV는 다음과 같이 도출될 수 있다. 공간 이웃 블록은 예를 들어 이웃 블록이 인터 코딩 블록인 경우에 검사될 수 있다. MV는 직접 사용될 수 있다. 이웃 블록의 기준 픽처는 현재 CU의 기준 픽처와 동일할 수 있다. MV는, 예를 들어, 이웃 블록의 기준 픽처가 현재 CU의 기준 픽처와 상이한 경우에, 시간 거리에 따라 스케일링될 수 있다. 도 9에 도시된 바와 같이, 현재 CU의 현재 픽처(902)와 기준 픽처(904) 사이의 시간 거리는 TB로서 표시될 수 있다. 현재 픽처(902)와 이웃 블록의 기준 픽처(906) 사이의 시간 거리는 TD로 표시될 수 있다. 이웃 블록의 MV1은 다음 수학식을 사용하여 스케일링될 수 있다.
여기서, MV2는 모션 벡터 세트에서 사용될 수 있다.
병치된 기준 픽처 내의 병치된 블록은, 예를 들어, 이웃 블록이 인터 코딩 블록이 아닌 경우에 검사될 수 있다. MV는, 예를 들어, 시간 병치된 블록이 인터 코딩 블록인 경우, 시간 거리에 기초하여 수학식 9에 따라 스케일링될 수 있다. 이웃 블록 내의 MV는 예를 들어 시간 병치된 블록이 인터 코딩 블록이 아닌 경우 0으로 설정될 수 있다.
MV들의 세트로부터 MV를 선택함으로써 아핀 MV 예측자가 생성될 수 있다. 예를 들어, MV들의 3개의 세트, 예컨대 S1, S2 및 S3이 있을 수 있다. S1, S2 및 S3의 크기들은 각각 3, 2 및 2일 수 있다. 이러한 예에서, 12(예컨대, 3x2x2)개의 가능한 조합이 있을 수 있다. 예를 들어, 하나 이상의 MV에 의해 표현되는 줌 또는 회전 관련 파라미터들의 크기가 임계값보다 큰 경우, 후보 MV가 폐기될 수 있다. 임계값은 미리 정의될 수 있다. 조합이 CU의 3개의 코너, 예를 들어 좌상, 우상 및 좌하 코너들에 대해 (MV0, MV1, MV2)로서 표시될 수 있다. 조건 MV는 다음과 같이 검사될 수 있다.
여기서, T는 1/2일 수 있다. 후보 MV는 예를 들어 조건이 만족되는 경우(예를 들어, 줌 또는 회전이 너무 큰 경우) 폐기될 수 있다.
나머지 후보들은 분류될 수 있다. 3개의 MV의 삼중쌍은 (예를 들어, 수평 및 수직 방향들에서의 병진, 줌 및 회전을 포함하는) 6-파라미터 모션 모델을 표현할 수 있다. 순서화 기준들은 6-파라미터 모션 모델과 (MV0, MV1)에 의해 표현되는 4-파라미터 모션 모델 간의 차이일 수 있다. 차이가 더 작은 후보는 순서화된 후보 리스트에서 더 작은 인덱스를 가질 수 있다. (MV0, MV1, MV2)로 표현되는 아핀 모션과 (MV0, MV1)로 표현되는 아핀 모션 모델 간의 차이는 다음의 수학식에 따라 평가될 수 있다.
아핀 모션 모델은 코딩 효율을 증가시키는 데 사용될 수 있다. 예를 들어, 2개의 제어 포인트에서의 MV들은 큰 CU에 대해 시그널링될 수 있다. CU 내의 서브블록에 대한 모션 벡터는 보간될 수 있다. 서브블록들(예를 들어, 각각의 서브블록)에 대한 모션은 예를 들어 줌 또는 회전 이동으로 인해 상이할 수 있다. 제어 포인트들은 예를 들어 코딩 블록이 병진 모션 모델 대신에 아핀 모션 모델을 선택할 때 아핀 모션 모델에서 고정될 수 있다. 이용되는 제어 포인트들은 고정될 수 있는데, 예를 들어 코딩 블록의 좌상 및 우상 코너들일 수 있다. 아핀 MV에 대한 모션 벡터 정밀도는 고정될 수 있다(예컨대, 1/4 펠). 서브블록의 수직 위치 y가 수학식 1에서 블록 폭(w)보다 클 때, 업 스케일링(y/w)이 이용될 수 있다.
아핀 병합 모드를 사용하는 동안, {N0, N1, N2, N3, N4}로부터의 제1의 이용가능한 이웃 블록은 최상의 것이 아닐 수 있다. (예컨대, 수학식() 내지 ()에서 제공되는 바와 같은) 병합 후보로부터의 아핀 MV 도출로부터, 정확도는 (예컨대, 수학식() 내지 ()에서 "nw"로 예시된 바와 같은) 병합 후보의 폭과 관련될 수 있다. 제1 아핀 병합 후보는 아핀 MV 도출에 대한 최상의 정확도를 갖지 않을 수 있다. 아핀 MV 예측에서, 조건 검사는 수학식 10에 기초하여 큰 줌 또는 회전을 갖는 후보를 폐기할 수 있다. 폐기된 후보들은 리스트에 다시 추가될 수 있다.
아핀 모션 모델 기반 코딩을 위한 시스템들, 방법들 및 수단들이 본 명세서에 개시될 수 있다. 본 명세서에 개시된 바와 같이, 적응적 제어 포인트 선택 기반 아핀 모션 코딩이 사용될 수 있다. 적응적 제어 포인트 선택 기반 아핀 모션 코딩에서, 제어 포인트 위치는 블록의 형상에 기초하여 적응적으로 선택될 수 있다. 예를 들어, 블록이 수평 직사각형 블록인지, 수직 직사각형 블록인지, 또는 정사각형 블록인지에 기초하여 하나 이상의 제어 포인트가 선택될 수 있다. 아핀 병합 후보는 2개의 제어 포인트 사이의 거리에 기초하여 이웃 블록들로부터 선택될 수 있다. 예를 들어, 가장 큰 제어 포인트 거리를 갖는 아핀 병합 후보가 선택될 수 있다. 큰 줌 또는 회전 이동을 갖는 후보들이 예측자 리스트의 후방에 배치될 수 있도록 아핀 예측자 생성이 수행될 수 있다.
적응적 제어 포인트 선택을 갖는 아핀 모션 기반 코딩이 사용될 수 있다. 아핀 모드에서 코딩되는 비디오 블록의 경우, 예를 들어, 비디오 블록의 좌상 및 우상 코너들이 제어 포인트들로서 사용될 수 있다. 서브블록(예를 들어, 비디오 블록과 연관된 각각의 서브블록)의 모션은 예를 들어 수학식 1에 기초하여 2개의 제어 포인트에서의 MV들을 사용하여 도출될 수 있다. 도출 정확도는 블록 폭(예를 들어, 2개의 제어 포인트 사이의 거리)에 관련될 수 있다. 일부 서브블록들은 2개의 제어 포인트(예를 들어, 도 10의 비디오 블록(1010)에 의해 도시된 바와 같은 P0 및 P1)로부터 멀 수 있다. 따라서, P0 및 P1에서의 MV를 사용하여 도출된 모션이 영향을 받을 수 있다.
형상 의존적 제어 포인트 선택이 수행될 수 있다. 비디오 블록들은 카테고리들, 예를 들어 수평 직사각형 블록, 수직 직사각형 블록 또는 정사각형 블록으로 분류될 수 있다. 예를 들어, 블록의 폭이 높이보다 큰 경우, 블록은 수평 직사각형으로 분류될 수 있다. 수평 직사각형 블록에 대한 제어 포인트들은 예를 들어 도 10의 블록(1010)에 의해 도시된 바와 같이 좌상 코너(예를 들어, P0) 및 우상 코너(예를 들어, P1)에 의해 정의될 수 있다. 블록의 폭이 높이보다 작은 경우, 블록은 수직 직사각형으로 분류될 수 있다. 수직 직사각형 블록에 대한 제어 포인트들은 예를 들어 도 10의 블록(1020)에 의해 도시된 바와 같이 좌상 코너(예를 들어, P0) 및 좌하 코너(예를 들어, P2)에 의해 정의될 수 있다. 예를 들어, 블록의 폭이 높이와 동일한 경우, 블록은 정사각형 블록으로 분류될 수 있다. 정사각형 블록에 대한 제어 포인트들은 예를 들어 도 10의 블록(1030)에 의해 도시된 바와 같이 우상 코너(예를 들어, P1) 및 좌하 코너(예를 들어, P2)에 의해 정의될 수 있다.
수평 직사각형 블록에 대해, 제어 포인트 P0 및 P1이 사용될 수 있다. 수평 직사각형 블록에 대한 서브블록의 MV는 수학식 1에 기초하여 도출될 수 있다.
수직 직사각형 블록에 대해, 제어 포인트 P0 및 P2가 사용될 수 있다. 수직 직사각형 블록에 대한 서브블록의 MV는 다음과 같이 도출될 수 있다. 블록의 좌상 코너에 대한 서브블록의 중심의 위치가 (x, y)로 표시되고, (x, y)에 중심을 둔 서브블록의 MV가 (vx, vy)로 표시된다고 가정한다. 또한, 블록 폭이 w로 표시되고, 블록 높이가 h로 표시되고, P0 및 P2에서의 MV들이 (v 0x , v 0y ), (v 2x , v 2y )로 표시된다고 가정하면, (x, y)에 중심을 둔 수평 정규 블록의 서브블록의 MV들은 다음과 같이 도출된다.
정사각형 블록에 대해, 제어 포인트 P1 및 P2가 사용될 수 있다. 정사각형 블록에 속하는 서브블록의 MV는 다음과 같이 도출될 수 있다.
여기서, a 및 b는 다음과 같이 계산될 수 있다.
정사각형 블록의 경우에 w가 h와 동일하다면, a 및 b는 다음과 같이 단순화될 수 있다.
아핀 코딩된 CU에 대한 제어 포인트 선택을 나타내는 모드가 시그널링될 수 있다. 예를 들어, 아핀 코딩된 CU에 대해, 어느 제어 포인트들이 사용되고 있는지를 나타내는 모드가 시그널링될 수 있다. 예를 들어, 모드는 제어 포인트들(P0, P1)이 수평 방향에서 사용되고 있다는 것, 또는 제어 포인트들(P0, P2)이 수직 방향에서 사용되고 있다는 것, 또는 제어 포인트들(P1, P2)이 대각선 방향에서 사용되고 있다는 것을 나타낼 수 있다. 제어 포인트 모드는 모션 추정 비용 또는 레이트 왜곡 비용에 기초하여 결정될 수 있다. 예를 들어, 비디오 블록(예를 들어, 각각의 블록)에 대해, 인코더는 각각의 가능한 제어 포인트 선택에 대한 예측 에러를 얻기 위해 상이한 제어 포인트 선택 모드들을 사용하여 아핀 모션 추정을 시도할 수 있다. 인코더는 예를 들어 모션 예측 왜곡 및 제어 포인트 MV 비트 비용을 합산함으로써 최저 모션 추정 비용을 갖는 모드를 선택할 수 있다.
최대 제어 포인트 거리를 갖는 아핀 병합 후보 선택이 사용될 수 있다. 현재 비디오 블록의 제어 포인트에서의 MV는 수학식 3-8을 사용하여 병합 후보의 MV들로부터 도출될 수 있다. 모션 벡터 도출의 정확도는 그의 이웃 블록의 2개의 제어 포인트 사이의 거리에 의존할 수 있다. 2개의 제어 포인트 사이의 거리는 블록의 폭일 수 있다. 본 명세서에 설명된 바와 같은 형상 의존적 제어 포인트 선택에서, 2개의 제어 포인트 사이의 거리는 블록 형상에 기초하여 측정될 수 있다. 2개의 제어 포인트 사이의 거리의 제곱은 이웃 블록, 예를 들어 도 6에 도시된 바와 같은 {N0, N1, N2, N3, N4}로부터 아핀 병합 후보를 선택하는 데 사용될 수 있다. 예를 들어, 거리가 더 큰 경우, 현재 블록에 대한 모션 도출에 대한 정확도가 더 높을 수 있다. 최대 제어 포인트 거리를 갖는 아핀 병합 후보는 예를 들어 도 11에 도시된 바와 같이 MV들을 도출하도록 선택될 수 있다. 후보 리스트 내의 아핀 병합 후보들(예를 들어, 모든 아핀 병합 후보들)은 예를 들어 도 6에 도시된 바와 같이 순차적으로 검사될 수 있다. 도 11에 도시된 바와 같이, 1102에서, 후보 이웃 블록 Nk가 이용 가능한 이웃 블록들의 리스트로부터 선택될 수 있다. 1104에서, 선택된 이웃 블록 Nk는 아핀 모드에 대해 검사될 수 있다. 선택된 이웃 블록 Nk에 대해 아핀 모드가 인에이블된다는 것을 검사한 후에, 1106에서, 2개의 제어 포인트 사이의 거리 D가 계산될 수 있다. 거리 D는 블록 형상에 기초하여 계산될 수 있다. 1106에서, 최대 제어 포인트 거리를 갖는 병합 후보는 현재 블록의 제어 포인트들에서 MV들을 도출하기 위해 현재 블록에 대한 아핀 병합 후보로서 선택될 수 있다. 1110에서, 모든 후보들이 평가되었다는 검사가 행해진다.
아핀 병합 인덱스가 시그널링될 수 있다. 2개의 제어 포인트 사이의 거리는 이용가능한 병합 후보들을 병합 후보 리스트에 순서화하는 데 사용될 수 있다. 최종 아핀 병합 후보가 다음의 방식으로 도출될 수 있다. 이용 가능한 아핀 병합 후보들(예를 들어, 모든 이용 가능한 아핀 병합 후보들)이 이웃 블록들로부터 획득될 수 있다. 2개의 제어 포인트 사이의 거리는 리스트 내의 후보들(예를 들어, 각각의 후보)에 대해 계산될 수 있다. 아핀 병합 후보 리스트는 예를 들어 제어 포인트 거리의 내림차순으로 순서화될 수 있다. 코딩 블록에 대해 시그널링된 병합 인덱스를 사용하여, 순서화된 리스트로부터 최종 아핀 병합 후보가 선택될 수 있다.
아핀 MV 예측은 본 명세서에 설명된 바와 같이 수행될 수 있다. 아핀 MV 예측자 생성에서의 후보 순서화는 예를 들어 조건 (10)을 검사하거나 다음의 수학식에서 제공되는 바와 같은 기준들을 사용하여 수행될 수 있다.
여기서, A1 및 A2는 줌 또는 회전 이동이 너무 큰 경우에 조정일 수 있다. A1 및 A2는 다음의 수학식들을 사용하여 계산될 수 있다.
여기서, T1 및 T2는 미리 정의된 임계값들일 수 있고(예를 들어, T1=3, T2=1/4), w 및 h는 코딩 블록의 폭 및 높이일 수 있다. 수학식 20에서 제공된 바와 같은 순서화 기준들을 사용하여, 큰 줌 또는 회전 이동을 갖는 후보들이 예측자 리스트의 후방에 배치될 수 있다.
아핀 모션 보상, 모션 벡터 예측 및/또는 디블로킹을 위한 통합된 제어 포인트 MV들이 사용될 수 있다. 본 명세서에 설명된 바와 같이, 아핀 모드가 인에이블될 때, CU는 동일한 크기를 갖는 다수의 서브블록들(예를 들어, 4x4 서브블록들)로 분할될 수 있다. 서브블록(예컨대, 각각의 서브블록)은 아핀 모드를 사용하여 도출될 수 있는 MV(예컨대, 하나의 고유 MV)를 할당받을 수 있다. 예를 들어, 아핀 모드는 4-파라미터 아핀 모드 또는 6-파라미터 아핀 모드일 수 있다. 아핀 모드는 CU-레벨에서 시그널링될 수 있다. 서브블록(예컨대, 각각의 서브블록)의 중심 위치는 선택된 아핀 모드에 기초하여 서브블록의 대응하는 MV를 도출하는 데 사용될 수 있다. (i,j) 서브블록의 MV 
는 아핀 CU의 좌상, 우상 및 좌하 코너들에 있는 3개의 제어 포인트 MV 
, 
및 
로부터 다음과 같이 도출될 수 있다.
여기서, (i,j)는 CU 내부의 서브블록의 수평 및 수직 인덱스들일 수 있고; 
및 
는 (예를 들어, 4와 동일할 수 있는) (예를 들어, 하나의) 서브블록의 폭 및 높이일 수 있다. CU는 제어 포인트 위치들을 포함하지 않을 수 있는 하나 이상의 서브블록을 가질 수 있다. 예를 들어, 4-파라미터 아핀 모드에 대한 좌상 및 우상 위치들, 및 6-파라미터 모드에 대한 좌상, 우상 및 좌하 위치들은 제어 포인트 위치들을 포함하지 않을 수 있다. 이러한 경우의 MV들은 수학식 23에서 제공된 바와 같이 계산될 수 있다. 이러한 MV들은 모션 보상 동안 서브블록의 예측 샘플들을 생성하는 데 사용될 수 있다. MV들은 CU의 공간적 및 시간적 이웃 블록들의 MV들을 예측하는 데 사용될 수 있다. MV들은 디블로킹 필터에 대하여 사용되는 경계 강도 값을 계산하는 데 사용될 수 있다. 제어 포인트 위치들에 위치하는 서브블록들의 경우, 그들의 MV들은 아핀 병합 모드를 통해 그들의 이웃 블록들의 제어 포인트 MV들을 도출하기 위한 시드(seed)들로서 사용될 수 있다. 아핀 병합 모드의 MV 정밀도를 유지하기 위해, 수학식 23에서의 MV는 제어 포인트 서브블록(예를 들어, 각각의 제어 포인트 서브블록)에 대한 모션 보상에서 사용될 수 있다. 공간/시간 MV 예측 및 디블로킹에 대해, 그들의 MV들은 대응하는 제어 포인트 MV들로 대체될 수 있다. 예를 들어, 4-파라미터 아핀 모델에 의해 코딩되는 CU에 대해, MV 예측 및 디블로킹을 위해 사용될 수 있는 그의 좌상 및 우상 서브블록들의 MV들은 다음과 같이 계산될 수 있다.
6-파라미터 아핀 모드로 코딩되는 CU에 대해, MV 예측 및/또는 디블로킹을 위해 사용될 수 있는 좌상, 우상 및 좌하 서브블록들의 MV들은 다음과 같이 계산될 수 있다.
도 12는 아핀 모드로 코딩될 수 있는 CU들의 모션 필드를 생성하는 예를 도시한다. 도 12에 도시된 작업흐름에 기초하여, 아핀 모션 보상 및 MV 예측의 MV 정밀도가 유지될 수 있다. 도 12에 도시된 작업흐름은 많은 방식으로 사용될 수 있다. 예를 들어, CU의 제어 포인트 위치를 포함하는 서브블록(예를 들어, CU와 연관된 각각의 서브블록)에 대해, 하나 이상의 상이한 MV들이 도출 및/또는 저장될 수 있다. 일례에서, MV는 수학식 23에 기초하여 도출될 수 있고, 서브블록의 예측 샘플들을 생성하는 데 사용될 수 있다. 일례에서, MV는 수학식 24 및 25에 기초하여 도출될 수 있고 MV 예측 및 디블로킹을 위해 사용될 수 있다.
제어 포인트 위치에서의 서브블록(예를 들어, 각각의 서브블록)에 대해, 그의 MV는 대응하는 제어 포인트 MV로 설정(예를 들어, 초기에 설정)될 수 있다. MV는 파싱 스테이지에서 그의 이웃 블록들의 MV들을 도출하기 위해 대응하는 제어 포인트 MV로 설정될 수 있다. 모션 보상 스테이지에서, 중심 위치를 선택된 아핀 모델에 대한 입력으로서 사용하여 서브블록의 MV가 재계산될 수 있다. 하나 이상의 상이한 MV들은 제어 포인트 위치(예를 들어, 각각의 제어 포인트 위치)에서의 서브블록에 대해 저장될 수 있다. 제어 포인트 위치(예를 들어, 각각의 제어 포인트 위치)에서의 서브블록에 대한 MV는 두 번 도출될 수 있다.
아핀 모드에 의해 코딩되는 CU들에 대해 상이한 코딩 프로세스에서 사용되는 모션 필드들이 통합될 수 있다. 예를 들어, 도 13에 도시된 바와 같이, 공간/시간 MV 예측 및 디블로킹을 위해 사용되는 (예컨대, 수학식 24 및 25로 표시되는 바와 같은) MV들은 아핀 CU들 내부의 제어 포인트 서브블록들의 예측 샘플들을 생성하기 위해 재사용될 수 있다. 아핀 CU의 제어 포인트 위치에 위치하는 서브블록의 경우, (예를 들어, 수학식 23에 따라) 서브블록의 중심 위치에 기초하여 도출되는 MV들은 모션 보상 스테이지에서 재사용될 수 있다. MV들은 공간/시간 MV 예측을 위한 MV 예측자들일 수 있다. MV들은 디블로킹 프로세스에 대한 경계 강도를 계산하는 데 사용될 수 있다. 도 14는 아핀 CU의 모션 필드를 도출하기 위한 작업흐름을 도시한다.
모션 벡터 클리핑이 사용될 수 있다. 예를 들어, 모션 벡터 클리핑은 비디오 블록 또는 CU와 연관된 아핀 모드가 인에이블될 때 사용될 수 있다. 아핀 모드가 인에이블될 때, CU는 하나 이상의 서브블록들로 분할될 수 있다. CU와 연관된 서브블록들은 크기가 동일할 수 있다(예를 들어, 4x4). Cu와 연관된 서브블록은 MV를 할당받을 수 있다. 예를 들어, CU의 MV들 각각에 할당된 MV는 고유 MV일 수 있다. 할당된 MV는 예를 들어 4-파라미터 아핀 모드 또는 6-파라미터 아핀 모드를 사용하여 도출될 수 있다. 아핀 모드의 유형(4-파라미터 아핀 모드 또는 6-파라미터 아핀 모드)은 CU-레벨에서 시그널링될 수 있다. CU와 연관된 도출된 MV들은 모션 필드에 저장될 수 있고, 제한된 비트 깊이(예컨대, VVC에서의 16-비트)를 사용하여 표현될 수 있다. 서브블록 MV를 도출할 때, 계산된 MV의 값은 모션 필드 비트 깊이에 기초하여 표현될 수 있는 값들의 범위 밖에 있을 수 있다. 계산된 MV가 값들의 범위 밖에 있는 것은 산술 언더플로우 및/또는 오버플로우 문제들을 야기할 수 있다. 이러한 언더플로우 및/또는 오버플로우 문제들은 제어 포인트 MV들이 모션 필드 비트 깊이에 의해 지정된 범위 내에 있을 때도 발생할 수 있다. MV는 예를 들어 MV의 도출 후에 클리핑될 수 있다. MV를 클리핑하는 것은 가변 비트 깊이 값들을 사용할 수 있는 다양한 시스템들 사이의 유사한 거동을 유발할 수 있다. 예를 들어, 비디오 인코딩 디바이스는 비디오 디코딩 디바이스에 의해 사용되는 것보다 더 높을 수 있는 비트 깊이 값을 사용할 수 있거나, 그 반대일 수 있다.
서브블록 (i,j)의 MV 
는 다음과 같이 수학식 26에 따라 클리핑될 수 있다.
여기서, N은 모션 필드 저장을 위해 사용되는 비트 깊이일 수 있다(예컨대, N= 16). 수학식 26에 나타난 바와 같이, 서브블록 (i,j)의 MV 
는 모션 필드 범위에 기초하여 클리핑될 수 있다. 모션 필드 범위는 모션 필드 저장 비트 깊이(MFSBD) 값일 수 있다. MFSBD는 비트들의 수(예컨대, 16 비트, 18 비트)로 표현될 수 있다.
하나 이상의 제어 포인트 MV들은 모션 필드 저장을 위해 사용되는 것과 동일할 수 있는 비트 깊이 값에 기초하여 클리핑될 수 있다. 제어 포인트 MV들은 클리핑될 수 있다. 예를 들어, 제어 포인트 MV들은 서브블록 MV 도출 후에 클리핑될 수 있다. 제어 포인트 MV들은 도출된 MV들의 정밀도를 유지하기 위해 클리핑될 수 있다. 제어 포인트 MV들은 모션 필드 저장 비트 깊이보다 더 높은 정밀도를 가질 수 있다. 예를 들어, 서브블록 도출에 사용되는 제어 포인트 MV들은 모션 필드 저장 비트 깊이를 고려하여 표현될 수 있는 값들의 범위보다 더 높은 정밀도를 가질 수 있다(예컨대, 더 많은 비트들을 가질 수 있다). 제어 포인트 MV들은 이웃 블록들의 아핀 병합 도출을 위해 클리핑되고 저장될 수 있다. 예를 들어, 제어 포인트 MV들은 도출 후에 클리핑되고 저장될 수 있다.
서브블록 MV들을 도출하기 위해 다양한 메커니즘들이 사용될 수 있다. 예를 들어, 평면 모션 벡터 예측 및/또는 회귀 기반 모션 벡터 필드가 사용될 수 있다. CU 내의 각각의 서브블록과 연관된 MV들은 CU의 이웃 블록들의 MV들로부터 도출될 수 있다. 예를 들어, 각각의 서브블록과 연관된 MV들은 CU의 이웃 블록들의 제어 포인트 MV들에 기초하여 도출될 수 있다. 도출된 서브블록 MV들은 미래의 코딩을 위해 모션 필드에 저장될 수 있다. 도출된 MV들은 오버플로우 및/또는 언더플로우 문제들을 회피하기 위해 모션 필드 저장 비트 깊이의 값에 기초하여 클리핑될 수 있다.
아핀 코딩된 CU의 제어 포인트 MV들 및/또는 서브블록 MV들은 MV 예측에서, 예를 들어 이웃 블록을 예측할 때 사용될 수 있다. MV가 가리키는 기준 영역은, 예를 들어, MV들이 모션 필드 저장 비트 깊이에 기초하여 클리핑될 때도, 픽처 경계들 밖에 있을 수 있고/있거나 픽처 경계들로부터 멀리 떨어질 수 있다.
아핀 제어 포인트 MV들 및/또는 아핀 서브블록 MV들은 범위 값 내에서 클리핑될 수 있다. 범위 값은 아핀-코딩된 CU의 MV들을 도출할 때 서브블록의 일부가 픽처의 외부에 있을 수 있게 하기 위해 픽처 경계들 플러스 마진에 의해 지정될 수 있다. 예를 들어, 제어 포인트 MV들은 아핀 모션 보상 후의 결과적인 기준 블록이 (예를 들어, 추가적인 마진을 고려하여) 픽처 경계들에 의해 경계가 정해지도록 클리핑 및/또는 스케일링될 수 있다. 모션 보상 후의 결과적인 기준 서브블록 및 기준 픽처가 적어도 하나의 샘플만큼 겹칠 수 있도록 서브블록 MV가 클리핑될 수 있다.
도 15는 기준 블록을 스케일링하기 위해 하나 이상의 제어 포인트 MV들을 수정하는 예를 도시한다. 도 15에 도시된 바와 같이, 초기 기준 블록(1506)과 연관된 하나 이상의 초기 제어 포인트 MV(vi)는 기준 블록이 원하는 범위 내에 완전히 포함되게 스케일링되도록 수정될 수 있다. 예를 들어, 범위는 픽처 경계들(1502) 플러스 마진(1504)에 기초할 수 있다. 도 15에 더 도시된 바와 같이, 수정된 제어 포인트 MV들(vm)은 스케일링된 기준 블록(1508)의 좌표들에 기초하여 결정될 수 있다. 일례에서, 초기 제어 포인트 MV는 기준 블록이 범위 값 내에 완전히 포함되게 스케일링되도록 수정될 수 있다. 범위 값은 픽처 경계들(1502) 플러스 마진(1504)에 기초할 수 있다.
도 16은 기준 블록을 포함하도록 제어 포인트 MV를 수정하는 예를 도시한다. 도 16에 도시된 바와 같이, 초기 제어 포인트 MV(v2 i)는 초기 기준 블록(1606)이 유효 영역(1604)을 넘도록 수정될 수 있다. 유효 영역(1604)은 픽처 경계들(1602) 플러스 마진(1604)에 기초할 수 있다. 초기 제어 포인트 MV(v2 i)는 수정된 기준 블록(1608)의 좌하 코너가 초기 기준 블록(1606)과 유효 영역(1604) 사이의 교점으로서 선택되도록 수정될 수 있다. 제어 포인트 MV들(예를 들어, 모든 제어 포인트 MV들)은 다양한 메커니즘들을 사용하여 수정될 수 있다. 다양한 기술들이 평가될 수 있고, 최상의 성능을 산출할 수 있는 기술이 선택될 수 있다. 예를 들어, 아핀 제어 포인트 MV들로부터 서브블록 MV(예를 들어, 각각의 서브블록 MV)가 도출될 수 있다. 도출된 서브블록 MV에 클리핑이 적용될 수 있다. 예를 들어, 클리핑은 픽처 경계들에 대한 서브블록의 위치에 기초하여 적용될 수 있다. 일례에서, 서브블록 MV(예를 들어, 각각의 서브블록 MV)는 연관된 참조 서브블록 및 기준 픽처가 하나 이상의 샘플만큼 겹치도록 클리핑될 수 있다. 예를 들어, 서브블록 MV의 수평 성분은 수학식 27 및 28을 사용하여 
과 
사이에 클리핑될 수 있다.
여기서, 
및 
는 각각 픽처 폭 및 서브블록 폭일 수 있다. 
는 픽처 내의 서브블록의 좌상 코너의 수평 좌표일 수 있다. 서브블록 MV의 수직 성분은 수학식 29 및 수학식 30을 사용하여 
과 
사이에 클리핑될 수 있다.
여기서, 
및 
는 각각 픽처 높이 및 서브블록 높이일 수 있다. o는 필터링 동작들에 대한 오프셋일 수 있다. 
는 픽처 내의 서브블록의 좌상 코너의 수직 좌표일 수 있다. 픽처 경계들에 대한 CU 좌상 위치가 (예를 들어, 서브블록 위치 대신에) 사용될 수 있다.
특징들 및 요소들이 위에서 특정 조합들로 설명되었지만, 이 분야의 통상의 기술자는 각각 특징 또는 요소가 단독으로 또는 다른 특징들 및 요소들과의 임의의 조합으로 사용될 수 있다는 것을 이해할 것이다. 또한, 본 명세서에 설명된 방법들은 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능 매체 내에 통합된 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체들의 예들은 (유선 또는 무선 접속들을 통해 송신되는) 전자 신호들 및 컴퓨터 판독가능 저장 매체들을 포함한다. 컴퓨터 판독가능 저장 매체의 예들은 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내장형 하드 디스크들 및 이동식 디스크들과 같은 자기 매체들, 광자기 매체들, 및 CD-ROM 디스크들 및 디지털 다기능 디스크들(DVD들)과 같은 광학 매체들을 포함하지만, 이에 한정되지 않는다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말기, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 사용하기 위한 라디오 주파수 트랜시버를 구현하는 데 사용될 수 있다.
Claims (15)
- 비디오 코딩을 수행하기 위해 비디오 코딩 디바이스에 의해 구현되는 방법에 있어서,
현재 비디오 블록 - 상기 현재 비디오 블록은 복수의 서브블록을 포함함 - 에 대해 아핀 모드(affine mode)가 인에이블되는 것으로 결정하는 단계;
상기 비디오 블록과 연관된 복수의 제어 포인트 아핀 모션 벡터를 결정하는 단계;
상기 복수의 제어 포인트 아핀 모션 벡터 중 적어도 하나에 기초하여 상기 복수의 서브블록 중의 서브블록과 연관된 서브블록 모션 벡터를 도출하는 단계;
모션 필드 범위에 기초하여 상기 서브블록 모션 벡터를 클리핑하는 단계; 및
상기 클리핑된 서브블록 모션 벡터를 사용하여 상기 서브블록을 예측하는 단계
를 포함하는, 비디오 코딩을 수행하기 위해 비디오 코딩 디바이스에 의해 구현되는 방법. - 제1항에 있어서, 공간 모션 벡터 예측 또는 시간 모션 벡터 예측을 위해 상기 클리핑된 서브블록 모션 벡터를 저장하는 단계를 더 포함하는, 방법.
- 제1항에 있어서, 상기 현재 비디오 블록과 연관된 상기 복수의 제어 포인트 아핀 모션 벡터 중 적어도 하나는 하나 이상의 이웃 비디오 블록과 연관된 하나 이상의 제어 포인트 아핀 모션 벡터를 사용하여 결정되는 것인, 방법.
- 제1항에 있어서, 모션 필드 저장에 사용되는 비트 깊이에 기초하여 상기 현재 비디오 블록과 연관된 상기 복수의 제어 포인트 아핀 모션 벡터를 클리핑하는 단계를 더 포함하는, 방법.
- 제4항에 있어서, 이웃 제어 포인트 아핀 모션 벡터의 모션 벡터 예측을 위해 상기 복수의 클리핑된 제어 포인트 아핀 모션 벡터를 저장하는 단계를 더 포함하는, 방법.
- 제1항에 있어서, 상기 모션 필드 범위는 모션 필드 저장을 위해 사용되는 것인, 방법.
- 제1항에 있어서, 상기 모션 필드 범위는 비트 깊이 값에 기초하는 것인, 방법.
- 제1항에 있어서,
상기 현재 비디오 블록의 길이 및 상기 현재 비디오 블록의 폭을 결정하는 단계; 및
상기 현재 비디오 블록의 상기 길이 및 상기 현재 비디오 블록의 상기 폭에 기초하여 상기 현재 비디오 블록의 상기 복수의 제어 포인트 아핀 모션 벡터와 연관된 복수의 제어 포인트 위치를 결정하는 단계
를 더 포함하는, 방법. - 제8항에 있어서, 상기 복수의 제어 포인트 위치는, 상기 현재 비디오 블록의 상기 폭이 상기 현재 비디오 블록의 상기 길이보다 큰 경우에 좌상(top-left) 제어 포인트 및 우상(top-right) 제어 포인트를 포함하도록 결정되는 것인, 방법.
- 제8항에 있어서, 상기 복수의 제어 포인트 위치는, 상기 현재 비디오 블록의 상기 폭이 상기 현재 비디오 블록의 상기 길이보다 작은 경우에 좌상 제어 포인트 및 좌하(bottom-left) 제어 포인트를 포함하도록 결정되는 것인, 방법.
- 제8항에 있어서, 상기 복수의 제어 포인트 위치는, 상기 현재 비디오 블록의 상기 폭이 상기 현재 비디오 블록의 상기 길이와 동일한 경우에 좌하 제어 포인트 및 우상 제어 포인트를 포함하도록 결정되는 것인, 방법.
- 비디오 코딩 디바이스에 있어서,
프로세서를 포함하고, 상기 프로세서는 적어도:
현재 비디오 블록 - 상기 현재 비디오 블록은 복수의 서브블록을 포함함 - 에 대해 아핀 모드가 인에이블되는 것으로 결정하고;
상기 비디오 블록과 연관된 복수의 제어 포인트 아핀 모션 벡터를 결정하고;
상기 복수의 제어 포인트 아핀 모션 벡터 중 적어도 하나에 기초하여 상기 복수의 서브블록 중의 서브블록과 연관된 서브블록 모션 벡터를 도출하고;
모션 필드 범위에 기초하여 상기 서브블록 모션 벡터를 클리핑하고;
상기 클리핑된 서브블록 모션 벡터를 사용하여 상기 서브블록을 예측하도록
구성되는 것인, 비디오 코딩 디바이스. - 제12항에 있어서, 상기 프로세서는 또한, 공간 모션 벡터 예측 또는 시간 모션 벡터 예측을 위해 상기 클리핑된 서브블록 모션 벡터를 저장하도록 구성되는 것인, 비디오 코딩 디바이스.
- 제12항에 있어서, 상기 현재 비디오 블록과 연관된 상기 복수의 제어 포인트 아핀 모션 벡터 중 적어도 하나는 하나 이상의 이웃 비디오 블록과 연관된 하나 이상의 제어 포인트 아핀 모션 벡터를 사용하여 결정되는 것인, 비디오 코딩 디바이스.
- 제12항에 있어서, 상기 프로세서는 또한, 모션 필드 저장에 사용되는 비트 깊이에 기초하여 상기 현재 비디오 블록과 연관된 상기 복수의 제어 포인트 아핀 모션 벡터를 클리핑하도록 구성되는 것인, 비디오 코딩 디바이스.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862691770P | 2018-06-29 | 2018-06-29 | |
| US62/691,770 | 2018-06-29 | ||
| US201862734728P | 2018-09-21 | 2018-09-21 | |
| US62/734,728 | 2018-09-21 | ||
| US201862778055P | 2018-12-11 | 2018-12-11 | |
| US62/778,055 | 2018-12-11 | ||
| PCT/US2019/039611 WO2020006304A1 (en) | 2018-06-29 | 2019-06-27 | Adaptive control point selection for affine motion model based video coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210038846A true KR20210038846A (ko) | 2021-04-08 |
Family
ID=67263124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207037304A KR20210038846A (ko) | 2018-06-29 | 2019-06-27 | Affine motion 모델 기반 비디오 코딩을 위한 적응형 제어 포인트 선택 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11503328B2 (ko) |
| EP (1) | EP3815375A1 (ko) |
| JP (1) | JP2021529462A (ko) |
| KR (1) | KR20210038846A (ko) |
| CN (1) | CN112335247A (ko) |
| CA (1) | CA3105072A1 (ko) |
| SG (1) | SG11202012967VA (ko) |
| WO (1) | WO2020006304A1 (ko) |
| ZA (1) | ZA202100014B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023171988A1 (ko) * | 2022-03-11 | 2023-09-14 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233662A1 (en) | 2019-05-21 | 2020-11-26 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling for optical-flow based inter coding |
| KR20210158400A (ko) * | 2019-06-19 | 2021-12-30 | 엘지전자 주식회사 | 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링 |
| US11432002B2 (en) * | 2019-07-08 | 2022-08-30 | Hyundai Motor Company | Method and apparatus for encoding and decoding video using inter-prediction |
| US11317111B2 (en) * | 2019-09-29 | 2022-04-26 | Qualcomm Incorporated | Affine coding with vector clipping |
| EP4032290A4 (en) | 2019-10-18 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS |
| CN115567709A (zh) * | 2020-07-30 | 2023-01-03 | 北京达佳互联信息技术有限公司 | 对子块中的像素位置处的样点进行编码的方法和装置 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7206346B2 (en) | 1997-06-25 | 2007-04-17 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs |
| KR20120088488A (ko) | 2011-01-31 | 2012-08-08 | 한국전자통신연구원 | 시간적 움직임 벡터 저장 방법 및 그 장치 |
| US9083983B2 (en) * | 2011-10-04 | 2015-07-14 | Qualcomm Incorporated | Motion vector predictor candidate clipping removal for video coding |
| WO2016008157A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
| US10681379B2 (en) * | 2015-09-29 | 2020-06-09 | Qualcomm Incorporated | Non-separable secondary transform for video coding with reorganizing |
| GB2561507B (en) * | 2016-01-07 | 2021-12-22 | Mediatek Inc | Method and apparatus for affine merge mode prediction for video coding system |
| WO2017147765A1 (en) * | 2016-03-01 | 2017-09-08 | Mediatek Inc. | Methods for affine motion compensation |
| WO2017156705A1 (en) * | 2016-03-15 | 2017-09-21 | Mediatek Inc. | Affine prediction for video coding |
| US10638152B2 (en) | 2016-03-15 | 2020-04-28 | Mediatek Inc. | Method and apparatus of video coding with affine motion compensation |
| WO2018061563A1 (ja) | 2016-09-27 | 2018-04-05 | シャープ株式会社 | アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
| CN109804630A (zh) * | 2016-10-10 | 2019-05-24 | 夏普株式会社 | 对视频数据编码执行运动补偿的***以及方法 |
| US10681370B2 (en) * | 2016-12-29 | 2020-06-09 | Qualcomm Incorporated | Motion vector generation for affine motion model for video coding |
| US10873760B2 (en) * | 2017-04-07 | 2020-12-22 | Futurewei Technologies, Inc. | Motion vector (MV) constraints and transformation constraints in video coding |
| EP3410717A1 (en) | 2017-05-31 | 2018-12-05 | Thomson Licensing | Methods and apparatus for candidate list pruning |
| US11877001B2 (en) * | 2017-10-10 | 2024-01-16 | Qualcomm Incorporated | Affine prediction in video coding |
| US20190116376A1 (en) * | 2017-10-12 | 2019-04-18 | Qualcomm Incorporated | Motion vector predictors using affine motion model in video coding |
| US11381834B2 (en) * | 2018-04-02 | 2022-07-05 | Hfi Innovation Inc. | Video processing methods and apparatuses for sub-block motion compensation in video coding systems |
| HRP20230521T1 (hr) * | 2018-06-03 | 2023-08-04 | Lg Electronics Inc. | Postupak i uređaj za obradu video signala pomoću smanjene transformacije |
| KR20230156805A (ko) * | 2018-06-06 | 2023-11-14 | 엘지전자 주식회사 | 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치 |
| US10798394B2 (en) * | 2018-06-27 | 2020-10-06 | Avago Technologies International Sales Pte. Limited | Low complexity affine merge mode for versatile video coding |
| US10863193B2 (en) * | 2018-06-29 | 2020-12-08 | Qualcomm Incorporated | Buffer restriction during motion vector prediction for video coding |
| US10462488B1 (en) * | 2018-07-13 | 2019-10-29 | Tencent America LLC | Method and apparatus for video coding |
| CN112640452B (zh) * | 2018-08-29 | 2024-06-18 | Vid拓展公司 | 用于基于仿射运动模型的视频译码的自适应运动向量精度 |
| TWI729483B (zh) | 2018-09-04 | 2021-06-01 | 聯發科技股份有限公司 | 視訊編解碼系統的運動向量湊整統一的方法以及裝置 |
| EP3852374A4 (en) * | 2018-09-23 | 2021-12-08 | Lg Electronics Inc. | PROCESS FOR ENCODING / DECODING VIDEO SIGNALS AND ASSOCIATED EQUIPMENT |
| CN112740663B (zh) * | 2018-09-24 | 2022-06-14 | 华为技术有限公司 | 图像预测方法、装置以及相应的编码器和解码器 |
| KR20210104895A (ko) * | 2018-12-28 | 2021-08-25 | 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) | 인코더 및 디코더에서 변환 선택을 선택하기 위한 방법 및 장치 |
| US11089325B2 (en) * | 2019-02-08 | 2021-08-10 | Qualcomm Incorporated | Constrained affine motion inheritance for video coding |
| US10986334B2 (en) * | 2019-03-09 | 2021-04-20 | Tencent America LLC | Method and apparatus for video coding |
| US20220053206A1 (en) * | 2019-05-15 | 2022-02-17 | Wilus Institute Of Standards And Technology Inc. | Video signal processing method and apparatus using adaptive motion vector resolution |
| US11032572B2 (en) * | 2019-05-17 | 2021-06-08 | Qualcomm Incorporated | Low-frequency non-separable transform signaling based on zero-out patterns for video coding |
| US11949870B2 (en) * | 2019-06-21 | 2024-04-02 | Qualcomm Incorporated | Context modeling for low-frequency non-separable transformation signaling for video coding |
| US11677984B2 (en) * | 2019-08-20 | 2023-06-13 | Qualcomm Incorporated | Low-frequency non-separable transform (LFNST) signaling |
| US11184617B2 (en) * | 2019-09-19 | 2021-11-23 | Qualcomm Incorporated | Transform unit design for video coding |
| US11153576B2 (en) * | 2019-09-20 | 2021-10-19 | Qualcomm Incorporated | Scaling matrices and signaling for video coding |
| US11206400B2 (en) * | 2019-09-26 | 2021-12-21 | Qualcomm Incorporated | Low-frequency non-separable transform (LFNST) simplifications |
| US11228787B2 (en) * | 2019-11-27 | 2022-01-18 | Mediatek Inc. | Signaling multiple transmission selection |
-
2019
- 2019-06-27 KR KR1020207037304A patent/KR20210038846A/ko unknown
- 2019-06-27 SG SG11202012967VA patent/SG11202012967VA/en unknown
- 2019-06-27 US US17/256,769 patent/US11503328B2/en active Active
- 2019-06-27 EP EP19739842.3A patent/EP3815375A1/en active Pending
- 2019-06-27 CA CA3105072A patent/CA3105072A1/en active Pending
- 2019-06-27 WO PCT/US2019/039611 patent/WO2020006304A1/en active Application Filing
- 2019-06-27 JP JP2020571756A patent/JP2021529462A/ja active Pending
- 2019-06-27 CN CN201980044216.9A patent/CN112335247A/zh active Pending
-
2021
- 2021-01-04 ZA ZA2021/00014A patent/ZA202100014B/en unknown
-
2022
- 2022-11-11 US US17/985,652 patent/US11991384B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023171988A1 (ko) * | 2022-03-11 | 2023-09-14 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112335247A (zh) | 2021-02-05 |
| ZA202100014B (en) | 2023-10-25 |
| US20210274209A1 (en) | 2021-09-02 |
| US20230073342A1 (en) | 2023-03-09 |
| US11991384B2 (en) | 2024-05-21 |
| SG11202012967VA (en) | 2021-01-28 |
| US11503328B2 (en) | 2022-11-15 |
| JP2021529462A (ja) | 2021-10-28 |
| WO2020006304A1 (en) | 2020-01-02 |
| EP3815375A1 (en) | 2021-05-05 |
| CA3105072A1 (en) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7390300B2 (ja) | ビデオコーディングにおける適応ループフィルタを簡略化する方法 | |
| US11553206B2 (en) | Bl-prediction for video coding | |
| US10917660B2 (en) | Prediction approaches for intra planar coding | |
| US11991384B2 (en) | Adaptive control point selection for affine motion model based video coding | |
| CN112166608A (zh) | 采用简化梯度推导的双向光流方法 | |
| CN111316649A (zh) | 重叠块运动补偿 | |
| JP2022516433A (ja) | 対称的な動きベクトル差分符号化 | |
| JP7432505B2 (ja) | マルチタイプツリーコーディング | |
| US20220070441A1 (en) | Combined inter and intra prediction | |
| JP2023130415A (ja) | オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法 | |
| US20240089427A1 (en) | History-based motion vector prediction | |
| US11943467B2 (en) | Affine motion estimation for affine model-based video coding | |
| TWI842802B (zh) | 結合的間和內預測的裝置及方法 |