KR102408278B1 - 이미지 예측 방법 및 장치 - Google Patents

이미지 예측 방법 및 장치 Download PDF

Info

Publication number
KR102408278B1
KR102408278B1 KR1020217022989A KR20217022989A KR102408278B1 KR 102408278 B1 KR102408278 B1 KR 102408278B1 KR 1020217022989 A KR1020217022989 A KR 1020217022989A KR 20217022989 A KR20217022989 A KR 20217022989A KR 102408278 B1 KR102408278 B1 KR 102408278B1
Authority
KR
South Korea
Prior art keywords
image block
current image
unit
prediction
control points
Prior art date
Application number
KR1020217022989A
Other languages
English (en)
Other versions
KR20210093387A (ko
Inventor
줘이 뤼
리 리
허우창 리
하이타오 양
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
중국과학기술대학
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드, 중국과학기술대학 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20210093387A publication Critical patent/KR20210093387A/ko
Application granted granted Critical
Publication of KR102408278B1 publication Critical patent/KR102408278B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

이미지 예측 방법 및 장치가 개시된다. 방법은: 이미지 유닛의 제1 참조 유닛을 획득하는 단계 - 각각의 예측 이미지는 동일한 아핀 모델을 사용하여 이미지 유닛 및 제1 참조 유닛에 대해 획득됨 - ; 상기 제1 참조 유닛 내의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계; 및 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계를 포함한다. 이 방법에서, 동일한 아핀 예측 모델을 사용하는 제1 참조 유닛의 모션 정보가 재사용되므로, 현재 이미지 유닛의 더 정확한 모션 벡터가 획득되고, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.

Description

이미지 예측 방법 및 장치{IMAGE PREDICTION METHOD AND DEVICE}
본 출원은 2015년 8월 29일에 중국특허청에 출원되고 발명의 명칭이 "이미지 예측 방법 및 장치(image prediction method and device)"인 중국특허출원 No. 201510543542.8에 대한 우선권을 주장하는 바이며, 상기 문헌은 본 명세서에 원용되어 포함된다.
본 발명은 비디오 이미지 프로세싱 분야에 관한 것이며, 특히 이미지 예측 방법 및 장치에 관한 것이다.
인터넷 기술의 급속한 발전과 사람들의 물질적 및 정신적 문화의 풍부함의 증가와 함께, 비디오의 응용을 위한, 특히 고화질 비디오의 응용을 위한 인터넷에 대한 요구가 증가하고 있다. 그렇지만, 고화질 비디오는 매우 많은 양의 데이터를 가지고 있다. 제한된 대역폭으로 인터넷상에서 고화질 비디오를 전송하려면 해결해야 할 첫 번째 문제는 고화질 비디오의 압축 및 코딩이다.
현재, 비디오 코딩 표준 개발에 전념하는 두 개의 국제기구가 있는데, 즉 국제 표준화기구(International Organization for Standardization, ISO로 약칭)/국제전기표준회의(International Electrotechnical Commission, IEC로 약칭)의 동영상 전문가 그룹(Moving Picture Experts Group, "MPEG"으로 약칭) 및 국제전기통신연합-전기통신표준화부문(International Telecommunication Union-Telecommunication standardization sector, "ITU-T"로 약칭)의 비디오 코딩 전문가 그룹(Video Coding Experts Group, "VCEG"로 약칭)이 있다. 1986년에 설립된 MPEG는 멀티미디어 분야에서 관련 표준을 개발하는 책임이 있으며, 이는 주로 저장, 방송 텔레비전, 인터넷 또는 무선 네트워크상의 스트리밍 미디어 등에 적용된다. ITU-T는 비디오 전화, 이미지 회의 또는 기타 응용 프로그램과 같이, 실시간 비디오 통신 분야의 비디오 코딩 표준을 주로 개발한다.
지난 수십 년 동안 다양한 응용 프로그램에 대한 국제 비디오 코딩 표준이 성공적으로 개발되었는데, 이러한 표준으로는 비디오 컴팩트 디스크(Video Compact Disc, "VCD"로 약칭)를 위한 MPEG-1 표준, 디지털 비디오 디스크(digital video disc, "DVD"로 약칭) 및 디지털 비디오 방송(digital video broadcasting, "DVB"로 약칭)을 위한 MPEG-2 표준, H.261 표준, H.263 표준 및 이미지 회의용 H.264 표준, 어떤 형태로든 객체를 코딩할 수 있게 해주는 MPEG-4 표준 및 최신 고효율 비디오 코딩(High Efficiency Video Coding, "HEVC"로 약칭) 표준을 주로 들 수 있다.
최신 비디오 코딩 표준인 HEVC와 비교하여, 회전 및 줌 모션을 포함하는 시퀀스에 대해, 모션 벡터 필드가 선형 변화에 기초하는 모션 보상 예측 기술은 코딩 성능을 현저하게 향상시킬 수 있다. 아핀 변환에 의한 기존의 모션 보상 예측 기술에서는, 이미지 블록의 아핀 변환 파라미터를 구한 후에, 이미지 블록 내의 각 포인트의 모션 벡터를 계산하고, 그 포인트의 모션 벡터에 따라 모션 보상 예측을 수행하여, 각 포인트의 모션 보상 예측 신호를 획득해야 한다.
아핀 변환 기반 모션 모델은 회전 및 줌 모션을 효과적으로 코딩하는 방법이다. 처리될 이미지 블록 내의 각 픽셀의 모션 벡터를 블록의 4개의 정점의 모션 벡터를 이용하여 도출할 수 있다. 회전 및 줌만을 포함하는 모션에 대해서는, 처리될 이미지 블록의 임의의 2개의 제어 포인트의 모션 벡터만을 획득함으로써 아핀 변환 모델이 획득될 수 있다. 제어 포인트의 모션 벡터를 이용하여 아핀 변환 모델 파라미터를 계산하여 현재 블록 내의 각 픽셀 포인트의 모션 벡터를 얻는다. 아핀 모션 예측 모드의 레이트 왜곡 비용은 비디오 코딩 표준의 인터-프레임 예측 모드의 레이트 왜곡 비용과 비교된다. 아핀 모션 예측 모드의 레이트 왜곡 비용이 작으면, 아핀 모션 예측 모드를 사용해서 그 처리될 이미지 블록을 코딩한다. 이러한 블록은 아핀 모션 예측 블록으로 지칭되고, 대응하는 예측 유닛은 아핀 모션 예측 유닛으로 지칭된다. 또한, 아핀 모션 예측 블록의 4개의 정점의 모션 정보와 중심 위치의 모션 정보는 4×4 크기의 기본 단위로 저장된다. 중심 위치의 모션 벡터 값은 2개의 제어 포인트의 모션 벡터 값의 평균값이다. 모션 정보는 모션 벡터, 참조 프레임 인덱스, 예측 방향 등을 포함한다.
코딩 효율을 높이기 위해, 인접 블록의 모션 벡터를 탐색 시작점으로 사용해서 모션 탐색을 추가로 수행하지 않고 모션 벡터 차분을 코딩함이 없이, 처리될 이미지 블록 내의 인접 블록의 모션 정보를 처리될 이미지 블록의 제어 포인트의 모션 정보로 직접 재사용될 수 있으므로, 모션 벡터 차분을 코딩하는 데 소비되는 비트를 줄인다. 이러한 방법은 현재 블록에 대해 재사용되는 인접 블록의 모션 벡터 정보의 정확도에 대한 요구가 상대적으로 높지만, 종래 기술에서는 인접 블록의 모션 벡터 정보의 정확도를 보장할 수 없다. 따라서, 코딩 효율을 향상시킬 수 없다.
본 발명은 코딩 효율을 높이기 위한 이미지 예측 방법 및 장치를 제공한다.
제1 관점에 따라, 이미지 예측 방법이 제공되며, 상기 방법은:
이미지 유닛의 제1 참조 유닛을 획득하는 단계 - 각각의 예측 이미지는 동일한 아핀 모델을 사용하여 이미지 유닛 및 제1 참조 유닛에 대해 획득됨 - ;
상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계; 및
상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계
를 포함한다.
제1 관점을 참조해서, 제1 관점의 제1 가능한 실시에서, 이미지 유닛의 제1 참조 유닛을 획득하는 단계는,
상기 아핀 모델을 사용해서 이미지 유닛에 인접하는 예측 유닛에 대해 예측 이미지가 획득되는지를 미리 설정된 순서로 검사하는 단계; 및
예측 이미지가 획득되면, 상기 검사를 중단하고 상기 예측 유닛을 제1 참조 유닛으로서 사용하는 단계
를 포함한다.
제1 관점을 참조해서, 제1 관점의 제2 가능한 실시에서, 상기 미리 설정된 위치는 제1 참조 유닛의 유닛 코너-포인트 위치이다.
제1 관점, 제1 관점의 제1 가능한 실시 또는 제1 관점의 제2 가능한 실시 중 어느 하나를 참조해서, 제1 관점의 제3 가능한 실시에서, 상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계는:
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계
를 포함하며,
이에 대응해서, 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계는:
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 단계
를 포함한다.
제1 관점의 제3 가능한 실시를 참조해서, 제1 관점의 제4 가능한 실시에서, 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 단계는:
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 예측 방향을 할당하는 단계;
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 참조 프레임 인덱스를 할당하는 단계; 및
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 단계
를 포함한다.
제1 관점의 제4 가능한 실시를 참조해서, 제1 관점의 제5 가능한 실시에서, 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 단계는 다음의 방식으로 실행되며:
Figure 112021083661270-pat00001
Figure 112021083661270-pat00002
Figure 112021083661270-pat00003
Figure 112021083661270-pat00004
여기서
Figure 112021083661270-pat00005
및
Figure 112021083661270-pat00006
는 각각 이미지 유닛의 기본 모션 보상 유닛의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00007
및
Figure 112021083661270-pat00008
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00009
,
Figure 112021083661270-pat00010
및
Figure 112021083661270-pat00011
그리고
Figure 112021083661270-pat00012
,
Figure 112021083661270-pat00013
및
Figure 112021083661270-pat00014
는 각각 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00015
,
Figure 112021083661270-pat00016
및
Figure 112021083661270-pat00017
그리고
Figure 112021083661270-pat00018
,
Figure 112021083661270-pat00019
및
Figure 112021083661270-pat00020
는 대응하는 수평 및 수직 모션 벡터이다.
제1 관점, 제1 관점의 제1 가능한 실시 또는 제1 관점의 제2 가능한 실시 중 어느 하나를 참조해서, 제1 관점의 제6 가능한 실시에서, 상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계는:
상기 제1 참조 유닛의 2개의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계
를 포함하고,
이에 대응해서, 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계는:
상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 단계
를 포함한다.
제1 관점의 제6 가능한 실시를 참조해서, 제1 관점의 제7 가능한 실시에서, 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 단계는:
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 예측 방향을 할당하는 단계;
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 참조 프레임 인덱스를 할당하는 단계; 및
상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 단계
를 포함한다.
제1 관점의 제7 가능한 실시를 참조해서, 제1 관점의 제8 가능한 실시에서, 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 단계는 다음의 방식으로 실행되며:
Figure 112021083661270-pat00021
Figure 112021083661270-pat00022
Figure 112021083661270-pat00023
여기서
Figure 112021083661270-pat00024
및
Figure 112021083661270-pat00025
는 각각 이미지 유닛의 기본 모션 보상 유닛의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00026
및
Figure 112021083661270-pat00027
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00028
및
Figure 112021083661270-pat00029
그리고
Figure 112021083661270-pat00030
및
Figure 112021083661270-pat00031
는 각각 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00032
및
Figure 112021083661270-pat00033
그리고
Figure 112021083661270-pat00034
및
Figure 112021083661270-pat00035
는 대응하는 수평 및 수직 모션 벡터이다.
제2 관점에 따라, 이미지 예측 장치가 제공되며, 상기 장치는:
이미지 유닛의 제1 참조 유닛을 획득하도록 구성되어 있는 제1 획득 모듈 - 각각의 예측 이미지는 동일한 아핀 모델을 사용하여 이미지 유닛 및 제1 참조 유닛에 대해 획득됨 - ;
상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하도록 구성되어 있는 제2 획득 모듈; 및
상기 위치 정보 및 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하도록 구성되어 있는 제3 획득 모듈
을 포함한다.
제2 관점을 참조해서, 제2 관점의 제1 가능한 실시에서, 상기 제1 획득 모듈은:
상기 아핀 모델을 사용해서 이미지 유닛에 인접하는 예측 유닛에 대해 예측 이미지가 획득되는지를 미리 설정된 순서로 검사하고,
예측 이미지가 획득되면, 상기 검사를 중단하고 상기 예측 유닛을 제1 참조 유닛으로서 사용하도록 구성되어 있다.
제2 관점의 제1 가능한 실시를 참조해서, 제2 관점의 제2 가능한 실시에서, 상기 미리 설정된 위치는 제1 참조 유닛의 유닛 코너-포인트 위치이다.
제2 관점, 제2 관점의 제1 가능한 실시 또는 제2 관점의 제2 가능한 실시 중 어느 하나를 참조해서, 제2 관점의 제3 가능한 실시에서, 상기 제3 획득 모듈은 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하도록 구성되어 있으며,
이에 대응해서, 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 것은:
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 것
을 포함한다.
제2 관점의 제3 가능한 실시를 참조해서, 제2 관점의 제4 가능한 실시에서, 상기 제3 획득 모듈은:
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 예측 방향을 할당하고;
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 참조 프레임 인덱스를 할당하며; 그리고
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하도록 구성되어 있다.
제2 관점의 제4 가능한 실시를 참조해서, 제2 관점의 제5 가능한 실시에서, 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 것은 다음의 방식으로 실행되며:
Figure 112021083661270-pat00036
Figure 112021083661270-pat00037
Figure 112021083661270-pat00038
Figure 112021083661270-pat00039
여기서
Figure 112021083661270-pat00040
및
Figure 112021083661270-pat00041
는 각각 이미지 유닛의 기본 모션 보상 유닛의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00042
및
Figure 112021083661270-pat00043
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00044
,
Figure 112021083661270-pat00045
및
Figure 112021083661270-pat00046
그리고
Figure 112021083661270-pat00047
,
Figure 112021083661270-pat00048
및
Figure 112021083661270-pat00049
는 각각 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00050
,
Figure 112021083661270-pat00051
및
Figure 112021083661270-pat00052
그리고
Figure 112021083661270-pat00053
,
Figure 112021083661270-pat00054
및
Figure 112021083661270-pat00055
는 대응하는 수평 및 수직 모션 벡터이다.
제2 관점, 제2 관점의 제1 가능한 실시 또는 제2 관점의 제2 가능한 실시 중 어느 하나를 참조해서, 제2 관점의 제6 가능한 실시에서, 상기 제3 획득 모듈은 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하도록 구성되어 있으며,
이에 대응해서, 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 것은:
상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 것
을 포함한다.
제2 관점의 제6 가능한 실시를 참조해서, 제2 관점의 제7 가능한 실시에서, 상기 제3 획득 모듈은:
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 예측 방향을 할당하고;
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 참조 프레임 인덱스를 할당하며; 그리고
상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하도록 구성되어 있다.
제2 관점의 제7 가능한 실시를 참조해서, 제2 관점의 제8 가능한 실시에서, 상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 것은 다음의 방식으로 실행되며:
Figure 112021083661270-pat00056
Figure 112021083661270-pat00057
Figure 112021083661270-pat00058
여기서
Figure 112021083661270-pat00059
및
Figure 112021083661270-pat00060
는 각각 이미지 유닛의 기본 모션 보상 유닛의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00061
및
Figure 112021083661270-pat00062
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00063
및
Figure 112021083661270-pat00064
그리고
Figure 112021083661270-pat00065
및
Figure 112021083661270-pat00066
는 각각 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00067
및
Figure 112021083661270-pat00068
그리고
Figure 112021083661270-pat00069
및
Figure 112021083661270-pat00070
는 대응하는 수평 및 수직 모션 벡터이다.
전술한 기술적 솔루션에 기초해서, 본 발명의 실시예에서의 이미지 예측 방법 및 장치에 따르면, 동일한 아핀 예측 모델을 사용하는 제1 참조 유닛의 모션 정보가 재사용되므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터가 획득된다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
본 발명의 실시예의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 실시예 또는 종래기술을 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 이미지 예측 방법에 대한 개략적인 흐름도이다.
도 2는 본 발명의 실시예에 따른 후보 예측 유닛에 대한 개략도이다.
도 3은 본 발명의 실시예에 따른 아핀 이미지 블록 및 제어 포인트에 대한 개략도이다.
도 4는 본 발명의 실시예에 따른 이미지 예측 방법에 대한 다른 개략적인 흐름도이다.
도 5는 본 발명의 실시예에 따른 이미지 예측 장치에 대한 개략적인 블록도이다.
도 6은 본 발명의 실시예에 따른 이미지 예측 장치에 대한 다른 개략적인 블록도이다.
도 7은 본 발명의 실시예에 따른 이미지 예측 장치에 대한 다른 개략적인 블록도이다.
도 8은 본 발명의 실시예에 따른 이미지 예측 장치에 대한 다른 개략적인 블록도이다.
이하에서는 본 발명의 실시예에 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 솔루션에 대해 명확하고 완전하게 설명한다. 당연히, 설명된 실시예는 본 발명의 모든 실시예가 아닌 일부에 지나지 않는다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 발명의 보호 범위 내에 있게 된다.
본 발명의 실시예에서, 각 예측 유닛의 2개의 제어 포인트(4개의 파라미터)에 기초하는 회전 및 줌 아핀 모델이 사용될 수도 있고 각 예측 유닛의 3개의 제어 포인트(6개의 파라미터)에 기초하는 회전 및 줌 아핀 모델이 사용될 수도 있고, 각 예측 유닛의 4개의 제어 포인트(8개의 파라미터)에 기초하는 원근 아핀 모델 등도 사용될 수 있으며, 이에 대해서는 본 발명에서 제한되지 않는다.
기본 모션 보상 유닛은 모션 보상을 수행하기 위한 최소 유닛이고, 그 유닛은 일정한 모션 정보를 가진다는 것을 이해해야 한다. 본 발명의 실시예에서는, 픽셀 포인트가 기본 모션 보상 유닛으로 사용되거나, 픽셀 행렬 등이 기본 모션 보상 유닛으로 사용될 수 있으며, 이에 대해서는 본 발명에서 제한되지 않는다.
4-파라미터 아핀 모델에서, 임의의 2개의 기본 모션 보상 유닛의 모션 정보로부터, 2개의 기본 모션 보상 유닛이 위치하는 아핀 예측 유닛 내의 모든 모션 보상 유닛의 모션 정보가 보간될 수 있다는 것을 이해해야 한다. 바람직하게, 아핀 예측 유닛 내의 임의의 2개의 유닛 코너-포인트(unit corner-point)에서 기본 모션 보상 유닛을 선택함으로써 더 정확한 보간 모션 정보가 획득될 수 있다. 유닛 코너-포인트의 위치는 아핀 예측 유닛, 즉 제1 참조 유닛의 2개의 인접 측면이 수렴하는 포인트이다. 예를 들어, 아핀 예측 유닛이 삼각형이면, 유닛 코너-포인트는 삼각형의 3개의 정점이고, 아핀 예측 유닛이 사각형이면, 유닛 코너-포인트는 사각형의 4개의 정점이며, 이와 같이 계속된다. 실시예에서는 설명을 쉽게 하기 위해, 아핀 예측 유닛 내의 모든 모션 보상 유닛의 모션 정보가 보간되는 기본 모션 보상 유닛을 제어 포인트라 지칭한다.
본 발명의 실시예는 디코더에서 실행되는 이미지 예측 방법을 제공한다. 방법은 구체적으로 다음의 단계:
이미지 유닛의 제1 참조 유닛을 획득하는 단계 - 각각의 예측 이미지는 동일한 아핀 모델을 사용하여 이미지 유닛 및 제1 참조 유닛에 대해 획득됨 - ;
상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계; 및
상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계
를 포함한다.
본 발명의 이 실시예에서의 이미지 예측 방법 및 장치에 따르면, 동일한 아핀 예측 모델을 사용하는 제1 참조 유닛의 모션 정보가 재사용되므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터가 획득된다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
바람직하게, 미리 설정된 위치는 제1 참조 유닛의 유닛 코너-포인트 위치(unit corner-point position)이고, 코너-포인트 위치는 제1 참조 유닛의 2개의 인접 측면이 수렴하는 포인트이다.
바람직하게, 예를 들어, 상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계는:
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계
를 포함하며,
이에 대응해서, 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계는:
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 단계
를 포함한다.
상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 단계는:
상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 예측 방향을 할당하는 단계; 상기 이미지 유닛의 기본 모션 보상 유닛 및 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛에 동일한 참조 프레임 인덱스를 할당하는 단계; 및 상기 제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 단계일 수 있다.
제1 참조 유닛의 3개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 단계는 다음의 방식으로 실행되며:
Figure 112021083661270-pat00071
Figure 112021083661270-pat00072
Figure 112021083661270-pat00073
Figure 112021083661270-pat00074
여기서
Figure 112021083661270-pat00075
및
Figure 112021083661270-pat00076
는 각각 이미지 유닛의 기본 모션 보상 유닛의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00077
및
Figure 112021083661270-pat00078
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00079
,
Figure 112021083661270-pat00080
, 및
Figure 112021083661270-pat00081
, 그리고
Figure 112021083661270-pat00082
,
Figure 112021083661270-pat00083
, 및
Figure 112021083661270-pat00084
는 각각 제1 참조 유닛의 미리 설정된 위치에서의 기본 모션 보상 유닛의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00085
,
Figure 112021083661270-pat00086
, 및
Figure 112021083661270-pat00087
, 그리고
Figure 112021083661270-pat00088
,
Figure 112021083661270-pat00089
, 및
Figure 112021083661270-pat00090
는 대응하는 수평 및 수직 모션 벡터이다.
이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 데 사용되는 전술한 식들은 제1 참조 유닛의 임의의 선택된 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 정보에 따라 보간을 완료하는 데 사용된다. 특정한 실시예에서, 이 식들은 선택된 미리 설정된 위치의 특수성에 따라 다른 애플리케이션 시나리오에 맞게 단순화될 수 있다. 예를 들어, 본 발명의 특정한 실시예에서는, 유닛 내의 좌상(upper left), 좌하(bottom left) 및 우상(upper right)의 유닛 코너-포인트를 미리 설정된 위치로 선택하면, 식들은 다음과 같이 단순화된다:
Figure 112021083661270-pat00091
여기서
Figure 112021083661270-pat00092
및
Figure 112021083661270-pat00093
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00094
및
Figure 112021083661270-pat00095
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00096
,
Figure 112021083661270-pat00097
, 및
Figure 112021083661270-pat00098
, 그리고
Figure 112021083661270-pat00099
,
Figure 112021083661270-pat00100
, 및
Figure 112021083661270-pat00101
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00102
,
Figure 112021083661270-pat00103
, 및
Figure 112021083661270-pat00104
, 그리고
Figure 112021083661270-pat00105
,
Figure 112021083661270-pat00106
, 및
Figure 112021083661270-pat00107
는 대응하는 수평 및 수직 모션 벡터이다.
대안으로, 예를 들어, 방법은:
제1 참조 유닛의 2개의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계
를 포함하고,
이에 대응해서, 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계는:
상기 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 예측 방향, 참조 프레임 인덱스 및 모션 벡터를 획득하는 단계
를 포함한다.
제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 벡터에 따라 이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 단계는 다음의 방식으로 실행되며:
Figure 112021083661270-pat00108
Figure 112021083661270-pat00109
Figure 112021083661270-pat00110
여기서
Figure 112021083661270-pat00111
및
Figure 112021083661270-pat00112
는 각각 이미지 유닛의 기본 모션 보상 유닛의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00113
및
Figure 112021083661270-pat00114
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00115
및
Figure 112021083661270-pat00116
그리고
Figure 112021083661270-pat00117
및
Figure 112021083661270-pat00118
는 각각 제1 참조 유닛의 2개의 미리 설정된 위치에서의 기본 모션 보상 유닛의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00119
및
Figure 112021083661270-pat00120
그리고
Figure 112021083661270-pat00121
및
Figure 112021083661270-pat00122
는 대응하는 수평 및 수직 모션 벡터이다.
이미지 유닛의 기본 모션 보상 유닛의 모션 벡터를 보간법으로 획득하는 데 사용되는 전술한 식들은 제1 참조 유닛의 임의의 선택된 미리 설정된 위치에서의 기본 모션 보상 유닛의 모션 정보에 따라 보간을 완료하는 데 사용된다. 특정한 실시예에서, 이 식들은 선택된 미리 설정된 위치의 특수성에 따라 다른 애플리케이션 시나리오에 맞게 단순화될 수 있다. 예를 들어, 본 발명의 특정한 실시예에서는, 유닛 내의 좌상 및 우상의 유닛 코너-포인트를 미리 설정된 위치로 선택하면, 식들은 다음과 같이 단순화된다:
Figure 112021083661270-pat00123
여기서
Figure 112021083661270-pat00124
및
Figure 112021083661270-pat00125
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00126
및
Figure 112021083661270-pat00127
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00128
및
Figure 112021083661270-pat00129
그리고
Figure 112021083661270-pat00130
및
Figure 112021083661270-pat00131
은 각각 아핀 예측 유닛의 2개의 제어 포인트의 수평 및 수직 좌표이며, 여기서
Figure 112021083661270-pat00132
는
Figure 112021083661270-pat00133
과 같으며,
Figure 112021083661270-pat00134
및
Figure 112021083661270-pat00135
그리고
Figure 112021083661270-pat00136
및
Figure 112021083661270-pat00137
은 대응하는 수평 및 수직 모션 벡터이다.
또한, 본 발명은 인코딩 프로세스에 적용되는 이미지 예측 방법을 추가로 제공한다. 인코딩 프로세스에 적용되는 이미지 예측 방법은 디코딩 프로세스에 적용되는 전술한 이미지 예측 방법과 같다. 그러므로 인코딩 성능을 높이는 효과와 동일한 효과를 얻을 수 있다.
이하에서는 특정한 예를 사용해서 본 발명의 특정한 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 예측 방법에 대한 개략적인 흐름도이다. 도 1에 도시된 방법은 디코더와 같은 디코딩 장치에 의해 수행될 수 있다.
구체적으로, 도 1에 도시된 바와 같이, 방법(1000)은 이하의 단계를 포함한다.
S1100. 비트스트림을 판독하고 그 비트스트림을 파싱하여 구문 요소를 획득하며, 상기 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 모델 모션 정보를 재사용할지를 결정하는 데 사용된다. 처리될 이미지 블록이 인접 블록의 아핀 모델 모션 정보를 재사용하는 것으로 결정되면, 프로세스는 단계 S1200으로 진행한다.
S1200. 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정한다.
단계의 제1 특정 실시 방법(1210)은 이하의 단계를 포함한다:
S1211. 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정한다.
도 2에 도시된 바와 같이, 본 발명의 이 실시예에서, 처리될 이미지 블록에 공간적으로 인접하는 5개의 위치 A, B, C, D 및 E에서의 4×4 블록이 각각 위치하는 예측 유닛이 선택되어 후보 예측 유닛 집합을 형성한다. 대안으로, 위치 A, B, C, D 및 E 중 일부가 선택될 수 있거나 시간 도메인에서 처리될 이미지 블록에 인접하는 다른 블록이 위치하는 예측 유닛이 후보 예측 유닛 집합을 형성하도록 선택될 수 있다는 것을 이해해야 하며, 이에 대해서는 어떠한 제한도 두지 않는다.
S1212. 후보 예측 유닛 집합 내의 예측 유닛이 아핀 모션 예측 유닛인지를 미리 설정된 순서로 검사한다.
미리 설정된 순서는 인코딩 측 및 디코딩 측에 의해 프로토콜에서 미리 결정되며 인코딩 측 및 디코딩 측 사이에서 일관되게 유지된다. 본 발명의 이 실시예에서, 미리 설정된 순서는 A, B, C, D 및 E이다. 대안으로 미리 설정된 순서는 B, D, A, E 및 C일 수 있거나 다른 순서일 수 있다는 것을 이해해야 하며, 이에 대해서는 어떠한 제한도 두지 않는다.
S1213. 예측 유닛이 아핀 모션 예측 유닛인 것으로 발견되면, 검사를 중단하고 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로서 사용한다.
단계 중 제2 특정한 실시 방법(1220)은 이하의 단계를 포함한다.
S1221. 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정한다.
S1211에서의 후보 예측 유닛 집합 결정 방식과 동일한 방식에 더해, 방법은: 후보 예측 유닛 집합 내의 논-아핀 예측 유닛 블록을 후보 예측 유닛 집합에서 제거하는 단계를 더 포함할 수 있다. 예를 들어, S1211의 결정 방식을 사용해서 결정되는 후보 예측 유닛 집합은 A, B, C, D 및 E가 위치하는 예측 유닛을 포함하고, C 및 D가 위치하는 예측 유닛은 아핀 예측 유닛이 아니다. 그러므로 C 및 D는 후보 예측 유닛 집합에서 제거되며, 결정된 후보 예측 유닛 집합은 A, B 및 E가 위치하는 예측 유닛을 포함한다.
대안으로, 방법은: 후보 예측 유닛 집합의 용량을 제한하는 단계, 및 검사 순서가 허용 가능한 수량의 후보 예측 유닛 집합보다 낮은 후보 예측 유닛을 후보 예측 유닛 집합에서 제거하는 단계를 포함할 수 있다. 예를 들어, 후보 예측 유닛 집합 내의 후보 예측 유닛의 수량은 최대 2로 설정되고, S1212의 검사 순서에 따라 S1211의 결정 방식을 사용해서 결정되는 집합과 검사 순서는 A, D, C, E 및 B이다. 그러므로 C, E 및 B는 집합에서 제거되고, 결정된 후보 예측 유닛 집합은 A 및 D가 위치하는 예측 유닛을 포함한다. 집합의 용량은 3 또는 4에 설정될 수 있거나, 그 용량이 0보다 크지만 S1211의 결정 방식을 사용해서 결정되는 후보 예측 유닛의 최대 수량보다 작거나 같은 범위 있으면 제한되지 않을 수도 있다는 것을 이해해야 한다.
대안으로, 전술한 2가지 집합 결정 방식은 조합으로 사용될 수 있다.
S1222. 비트스트림을 판독하고 그 비트스트림을 파싱하여 구문 요소를 획득하며, 상기 구문 요소는 후보 예측 유닛 집합에 있으면서 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛의 인덱스 정보를 나타내는 데 사용된다.
S1223. 인덱스 정보에 따라, 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정한다.
S1300. 아핀 예측 유닛의 제어 포인트의 위치 정보 및 모션 정보를 획득한다.
단계 중 제1 특정한 실시 방법(1310)은: 아핀 예측 유닛의 4개의 제어 포인트 중에서 임의의 3개의 제어 포인트를 선택하는 단계, 및 3개의 제어 포인트의 위치 정보, 모션 벡터 정보, 예측 방향 및 참조 프레임 인덱스를 획득하는 단계를 포함한다. 동일한 아핀 예측 유닛 내의 모든 픽셀 포인트는 동일한 예측 방향 및 동일한 참조 프레임 인덱스를 가지므로, 모든 제어 포인트의 예측 방향 및 참조 프레임 인덱스 역시 동일하다.
단계 중 제2 특정한 실시 방법(1320)은: 아핀 예측 유닛의 4개의 제어 포인트 중에서 제1 및 제2 제어 포인트로 지칭될 수 있는 임의의 2개의 제어 포인트를 선택하는 단계, 및 2개의 제어 포인트의 위치 정보, 모션 벡터 정보, 예측 방향 및 참조 프레임 인덱스를 획득하는 단계, 및 남아 있는 2개의 제어 포인트 중에서 제3 제어 포인트로 지칭될 수 있는 임의의 제어 포인트를 선택하고 제3 제어 포인트의 위치 정보를 획득하는 단계를 포함한다. 제3 제어 포인트의 모션 벡터 정보는 제1 및 제2 제어 포인트에 따라 다음의 방식으로 유도될 수 있다:
Figure 112021083661270-pat00138
여기서
Figure 112021083661270-pat00139
및
Figure 112021083661270-pat00140
는 제3 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00141
및
Figure 112021083661270-pat00142
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00143
및
Figure 112021083661270-pat00144
그리고
Figure 112021083661270-pat00145
및
Figure 112021083661270-pat00146
는 각각 제1 및 제2 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00147
및
Figure 112021083661270-pat00148
그리고
Figure 112021083661270-pat00149
및
Figure 112021083661270-pat00150
는 대응하는 수평 및 수직 모션 벡터이다.
동일한 아핀 예측 유닛 내의 모든 픽셀 포인트는 동일한 예측 방향 및 동일한 참조 프레임 인덱스를 가지므로, 모든 제어 포인트의 예측 방향 및 참조 프레임 인덱스 역시 동일하다. 제3 제어 포인트는 제1 및 제2 제어 포인트와 동일한 예측 방향 및 참조 프레임 인덱스를 가진다.
전술한 2가지 특정한 실시 중 하나에 따라, 단계 S1300 후에, 적어도 3개의 제어 포인트의 모션 정보 및 위치 정보가 획득된다.
도 3에 도시된 바와 같이, 본 발명의 이 실시예에서, 처리될 이미지 블록의 인접 블록 A가 위치하는 아핀 예측 유닛의 3개의 정점, 즉: 좌상(x2, y2) 정점, 우상(x3, y3) 정점 및 좌하(x4, y4) 정점으로 표시되는 제어 포인트는 선택된다. 이 실시예에서, x2는 x4와 같고 y2는 y3과 같다.
제어 포인트는 무작위로 선택된다는 것을 이해해야 하고 이에 대해서는 어떠한 제한도 두지 않는다.
S1400: 전술한 3개의 선택된 제어 포인트의 모션 정보에 따라 이미지 블록 내의 제어 포인트의 모션 정보를 획득한다.
단계 중 제1 특정한 실시 방법(1410)은 이하의 단계를 포함한다:
S1411. 모든 제어 포인트의 예측 방향 및 참조 프레임 인덱스는 동일하므로, 제어 포인트 중 어느 하나의 제어 포인트의 예측 방향 및 참조 프레임 인덱스는 처리될 이미지 블록 내의 픽셀 포인트에 할당된다. 대안으로, 비트스트림을 파싱하여 처리될 이미지 블록의 참조 프레임 정보를 획득하며, 여기서 참조 프레임 정보는 예측 방향 및 참조 프레임 인덱스를 포함한다.
S1412. 임의의 3개의 제어 포인트의 S1300에서 획득된 위치 정보 및 모션 벡터에 따라, 처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터를 획득한다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00151
여기서
Figure 112021083661270-pat00152
및
Figure 112021083661270-pat00153
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00154
및
Figure 112021083661270-pat00155
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00156
,
Figure 112021083661270-pat00157
, 및
Figure 112021083661270-pat00158
, 그리고
Figure 112021083661270-pat00159
,
Figure 112021083661270-pat00160
, 및
Figure 112021083661270-pat00161
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00162
,
Figure 112021083661270-pat00163
, 및
Figure 112021083661270-pat00164
, 그리고
Figure 112021083661270-pat00165
,
Figure 112021083661270-pat00166
, 및
Figure 112021083661270-pat00167
는 대응하는 수평 및 수직 모션 벡터이다.
단계 중 제2 특정한 실시 방법(1420)은 다음의 단계를 포함한다.
S1421. 모든 제어 포인트의 예측 방향 및 참조 프레임 인덱스는 동일하므로, 제어 포인트 중 어느 하나의 제어 포인트의 예측 방향 및 참조 프레임 인덱스는 처리될 이미지 블록 내의 픽셀 포인트에 할당된다. 대안으로, 비트스트림을 파싱하여 처리될 이미지 블록의 참조 프레임 정보를 획득하며, 여기서 참조 프레임 정보는 예측 방향 및 참조 프레임 인덱스를 포함한다.
S1422. 도 3에 도시된 바와 같이, 임의의 3개의 제어 포인트의 S1300에서 획득된 위치 정보 및 모션 벡터에 따라, 처리될 이미지 블록 내의 임의의 2개의 제어 포인트의 모션 벡터를 획득한다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00168
여기서
Figure 112021083661270-pat00169
및
Figure 112021083661270-pat00170
그리고
Figure 112021083661270-pat00171
및
Figure 112021083661270-pat00172
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00173
는
Figure 112021083661270-pat00174
과 같으며,
Figure 112021083661270-pat00175
및
Figure 112021083661270-pat00176
그리고
Figure 112021083661270-pat00177
및
Figure 112021083661270-pat00178
은 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00179
,
Figure 112021083661270-pat00180
및
Figure 112021083661270-pat00181
그리고
Figure 112021083661270-pat00182
,
Figure 112021083661270-pat00183
및
Figure 112021083661270-pat00184
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00185
,
Figure 112021083661270-pat00186
및
Figure 112021083661270-pat00187
그리고
Figure 112021083661270-pat00188
,
Figure 112021083661270-pat00189
및
Figure 112021083661270-pat00190
는 대응하는 수평 및 수직 모션 벡터이다.
S1423. 2개의 제어 포인트의 S1422에서 획득된 모션 벡터에 따라, 처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터를 획득한다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00191
여기서
Figure 112021083661270-pat00192
및
Figure 112021083661270-pat00193
는 각각, 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00194
및
Figure 112021083661270-pat00195
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00196
및
Figure 112021083661270-pat00197
그리고
Figure 112021083661270-pat00198
및
Figure 112021083661270-pat00199
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이며, 여기서
Figure 112021083661270-pat00200
는
Figure 112021083661270-pat00201
과 같으며,
Figure 112021083661270-pat00202
및
Figure 112021083661270-pat00203
그리고
Figure 112021083661270-pat00204
및
Figure 112021083661270-pat00205
은 대응하는 수평 및 수직 모션 벡터이다.
단계 중 제3 특정한 실시 방법(1430)은 다음의 단계를 포함한다.
S1431. 모든 제어 포인트의 예측 방향 및 참조 프레임 인덱스는 동일하므로, 제어 포인트 중 어느 하나의 제어 포인트의 예측 방향 및 참조 프레임 인덱스는 처리될 이미지 블록 내의 픽셀 포인트에 할당된다. 대안으로, 비트스트림을 파싱하여 처리될 이미지 블록의 참조 프레임 정보를 획득하며, 여기서 참조 프레임 정보는 예측 방향 및 참조 프레임 인덱스를 포함한다.
S1432. 도 3에 도시된 바와 같이, 임의의 3개의 제어 포인트의 S1400에서 획득된 위치 정보 및 모션 벡터에 따라, 처리될 이미지 블록의 임의의 2개의 제어 포인트의 모션 벡터를 획득한다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00206
여기서
Figure 112021083661270-pat00207
및
Figure 112021083661270-pat00208
그리고
Figure 112021083661270-pat00209
및
Figure 112021083661270-pat00210
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00211
는
Figure 112021083661270-pat00212
과 같으며,
Figure 112021083661270-pat00213
및
Figure 112021083661270-pat00214
그리고
Figure 112021083661270-pat00215
및
Figure 112021083661270-pat00216
은 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00217
,
Figure 112021083661270-pat00218
및
Figure 112021083661270-pat00219
그리고
Figure 112021083661270-pat00220
,
Figure 112021083661270-pat00221
및
Figure 112021083661270-pat00222
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00223
,
Figure 112021083661270-pat00224
및
Figure 112021083661270-pat00225
그리고
Figure 112021083661270-pat00226
,
Figure 112021083661270-pat00227
및
Figure 112021083661270-pat00228
는 대응하는 수평 및 수직 모션 벡터이다.
S1433. 비트스트림을 파싱하여, 처리될 이미지 블록의 2개의 제어 포인트의 모션 벡터의 나머지를 획득하고, 그 나머지를 2개의 제어 포인트의 S1432에서 획득된 모션 벡터에 부가하여, 처리될 이미지 블록의 2개의 제어 포인트의 갱신된 모션 벡터를 획득한다. 나머지의 부가로 인해, 갱신된 모션 벡터는 더 정확하다.
S1434. 2개의 제어 포인트의 S1433에서 획득된 모션 벡터에 따라, 처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터를 획득한다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00229
여기서
Figure 112021083661270-pat00230
및
Figure 112021083661270-pat00231
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00232
및
Figure 112021083661270-pat00233
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00234
및
Figure 112021083661270-pat00235
그리고
Figure 112021083661270-pat00236
및
Figure 112021083661270-pat00237
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이며, 여기서
Figure 112021083661270-pat00238
는
Figure 112021083661270-pat00239
과 같으며,
Figure 112021083661270-pat00240
및
Figure 112021083661270-pat00241
그리고
Figure 112021083661270-pat00242
및
Figure 112021083661270-pat00243
은 대응하는 수평 및 수직 모션 벡터이다.
S1500. 획득되는 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 모션 보상을 수행하여, 처리될 이미지 블록 내의 픽셀 포인트의 예측 값을 찾아내며, 여기서 모든 픽셀 포인트의 예측 값은 처리될 이미지 블록의 예측 이미지를 형성한다.
본 발명의 이 실시예에서, 제1, 제2, 제3 및 제4는 단지 픽셀 포인트를 구별하고자 하는 것이며, 본 발명의 보호 범위에 대한 제한으로 이해되어서는 안 된다는 것을 이해해야 한다. 예를 들어, 제1 제어 포인트는 제2 제어 포인트로도 지칭될 수 있으며, 제2 제어 포인트는 제1 제어 포인트로 지칭될 수 있으며, 다른 것도 이와 같다.
전술한 프로세스의 순번은 실행 순서를 의미지 않는다는 것도 이해해야 한다. 프로세서의 실행 순서는 프로세스의 기능 및 내부 논리에 따라 결정되어야 하며, 본 발명의 이 실시예의 실행 순서에 대한 어떠한 제한으로 이해되어서는 안 된다.
6-파라미터 아핀 변환 모델 또는 8-파라미터 아핀 변환 모델을 사용해서 예측 이미지를 획득하는 방법은 4-파라미터 아핀 변환 모델을 사용해서 예측 이미지를 획득하는 방법과 본질적으로 같다는 것도 이해해야 한다. 간략화를 위해, 이에 대해서는 여기서 설명하지 않는다.
구체적으로, 디코딩 측은 동일한 아핀 예측 모델을 사용하는 아핀 예측 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
본 발명의 이로운 효과를 입증하기 위해, 랜덤 액세스(Random Access) 인코딩 구성 및 낮은 지연(Low delay) 인코딩 구성과 관련해서, 본 발명의 이 실시예와 종래기술의 2개의 제어 포인트에 기초하여 아핀 변환 모델을 사용하는 예측 방법 간의 성능 비교를 수행한다. 네거티브 값은 향상된 인코딩 성능의 백분율을 나타내고, 포지티브 값은 저하된 인코딩 성능의 백분율을 나타낸다.
랜덤 액세스(하위 비트 레이트) 랜덤 액세스(상위 비트 레이트)
휘도 색차 1 색차 2 구조 유사성 휘도 색차 1 색차 2 구조 유사성
인코딩 성능 -2.7% -2.7% -2.7% -3.3% -2.1% -1.9% -1.9% -2.5%
인코딩 시간 99% 99%
디코딩 시간 104% 104%
낮은 지연(하위 비트 레이트) 낮은 지연(상위 비트 레이트)
휘도 색차 1 색차 2 구조 유사성 휘도 색차 1 색차 2 구조 유사성
인코딩 성능 -5.7% -6.1% -6.1% -6.6% -4.3% -4.6% -4.4% -5.4%
인코딩 시간 100% 100%
디코딩 시간 105% 105%
아핀 시퀀스랜덤 액세스의 저 비트 레이트, 랜덤 액세스의 고 비트 레이트, 낮은 지연의 저 비트 레이트 및 낮은 지연의 고 비트 레이트의 테스트 조건 하에서, 본 발명은 복잡도가 기본적으로 변하지 않을 때 비트 레이트가 2.7%, 2.1%, 5.7% 및 4.3%씩 각각 감소하였고 이에 의해 인코딩 효율이 향상되었다는 것을 알 수 있다.이상으로 도 1 내지 도 3을 참조하여 본 발명의 이 실시예에 따라 디코딩 측에서 실시되는 이미지 예측 방법을 상세히 설명하였으며, 이하에서는 도 2 내지 도 4를 참조하여 본 발명의 이 실시예에 따라 인코딩 측에서 실시되는 이미지 예측 방법을 상세히 설명한다. 인코딩 측의 관련 동작은 본질적으로 디코딩 측의 동작과 일치한다는 것에 유의해야 한다. 반복을 피하기 위해, 여기서 상세히 설명하지 않는다.
도 4는 본 발명의 실시예에 따른 이미지 예측 방법(2000)에 대한 다른 개략적인 흐름도이다. 도 4에 도시된 방법은 인코딩 장치, 예를 들어 인코더에 의해 수행될 수 있다.
구체적으로, 도 4에 도시된 바와 같이, 방법(2000)은 이하의 단계를 포함한다.
S2100. 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정한다.
단계 중 제1 특정한 실시 방법(2110)은 이하의 단계를 포함한다.
처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정한다.
도 2에 도시된 바와 같이, 본 발명의 이 실시예에서, 처리될 이미지 블록에 공간적으로 인접하는 5개의 위치 A, B, C, D 및 E에서의 4×4 블록이 각각 위치하는 예측 유닛이 선택되어 후보 예측 유닛 집합을 형성한다. 대안으로, 위치 A, B, C, D 및 E 중 일부가 선택될 수 있거나 시간 도메인에서 처리될 이미지 블록에 인접하는 다른 블록이 위치하는 예측 유닛이 후보 예측 유닛 집합을 형성하도록 선택될 수 있다는 것을 이해해야 하며, 이에 대해서는 어떠한 제한도 두지 않는다.
S2112. 후보 예측 유닛 집합 내의 예측 유닛이 아핀 모션 예측 유닛인지를 미리 설정된 순서로 검사한다.
미리 설정된 순서는 인코딩 측 및 디코딩 측에 의해 프로토콜에서 미리 결정되며 인코딩 측 및 디코딩 측 사이에서 일관되게 유지된다. 본 발명의 이 실시예에서, 미리 설정된 순서는 A, B, C, D 및 E이다. 대안으로 미리 설정된 순서는 B, D, A, E 및 C일 수 있거나 다른 순서일 수 있다는 것을 이해해야 하며, 이에 대해서는 어떠한 제한도 두지 않는다.
S2113. 예측 유닛이 아핀 모션 예측 유닛인 것으로 발견되면, 검사를 중단하고 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로서 사용한다.
S2114. 후보 예측 유닛 중 어느 것도 아핀 예측 유닛이 아니면, 구문 요소를 인코딩하고, 여기서 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 예측 정보를 재사용하지 않는다는 것을 나타내는 데 사용되며, 후속의 단계를 수행하는 것을 중단하고, 그렇지 않으면 후속의 단계를 계속 수행한다.
단계 중 제2 특정한 실시 방법(2120)은 이하의 단계를 포함한다:
S2121. 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정한다.
S2111에서의 후보 예측 유닛 집합 결정 방식과 동일한 방식에 더해, 방법은: 후보 예측 유닛 집합 내의 논-아핀 예측 유닛 블록을 후보 예측 유닛 집합에서 제거하는 단계를 더 포함할 수 있다. 예를 들어, S1211의 결정 방식을 사용해서 결정되는 후보 예측 유닛 집합은 A, B, C, D 및 E가 위치하는 예측 유닛을 포함하고, C 및 D가 위치하는 예측 유닛은 아핀 예측 유닛이 아니다. 그러므로 C 및 D는 후보 예측 유닛 집합에서 제거되며, 결정된 후보 예측 유닛 집합은 A, B 및 E가 위치하는 예측 유닛을 포함한다.
대안으로, 방법은: 후보 예측 유닛 집합의 용량을 제한하는 단계, 및 검사 순서가 허용 가능한 수량의 후보 예측 유닛 집합보다 낮은 후보 예측 유닛을 후보 예측 유닛 집합에서 제거하는 단계를 포함할 수 있다. 예를 들어, 후보 예측 유닛 집합 내의 후보 예측 유닛의 수량은 최대 2로 설정되고, S2112의 검사 순서에 따라 S2111의 결정 방식을 사용해서 결정되는 집합과 검사 순서는 A, D, C, E 및 B이다. 그러므로 C, E 및 B는 집합에서 제거되고, 결정된 후보 예측 유닛 집합은 A 및 D가 위치하는 예측 유닛을 포함한다. 집합의 용량은 3 또는 4에 설정될 수 있거나, 그 용량이 0보다 크지만 S2111의 결정 방식을 사용해서 결정되는 후보 예측 유닛의 최대 수량보다 작거나 같은 범위 있으면 제한되지 않을 수도 있다는 것을 이해해야 한다.
대안으로, 전술한 2가지 집합 결정 방식은 조합으로 사용될 수 있다.
S2122. 후보 예측 유닛 중 어느 것도 아핀 예측 유닛이 아니면, 구문 요소를 인코딩하고, 여기서 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 예측 정보를 재사용하지 않는다는 것을 나타내는 데 사용되며, 후속의 단계를 수행하는 것을 중단하고, 그렇지 않으면 후속의 단계를 계속 수행한다.
S2123. 후보 예측 유닛 집합 내의 각각의 후보 예측 유닛에 인덱스 값을 할당한다. 각각의 인덱스 값에 의해 나타나는 후보 예측 유닛은 인코딩 측 및 디코딩 측에 의해 프로토콜에서 미리 결정되며 인코딩 측 및 디코딩 측 사이에서 일관되게 유지된다.
S2124. 후보 예측 유닛 집합 내의 모든 후보 예측 유닛을 탐색하고, 후속의 단계 S2200 내지 S2400에 따라 프로세싱을 수행하여, 처리될 이미지 블록의 예측 이미지를 획득하고, 처리될 이미지 블록에 대한 인코딩을 완료하며, 선택된 후보 예측 벡터에 의해 만들어진 인코딩 이득들을 비교하고, 인코딩 이득이 가장 큰 후보 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로 선택한다.
예를 들어, 후보 예측 유닛 집합이 2개의 후보 예측 유닛 A 및 B를 포함하면, A의 인덱스는 0이고 B의 인덱스는 1이다. 후속 프로세싱 단계를 완료하고, 처리될 이미지 블록의 예측 이미지를 획득하며, 처리될 이미지 블록에 의해 참조되는 인코딩을 완료하기 위해, A를 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로서 사용하여 획득되는 이득이 가장 크면, A가 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛이고, 그렇지 않으면, B가 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛이다.
인코딩 속도를 향상시키기 위해, 단계 S2124는 고속 알고리즘으로 대체될 수 있다는 것을 이해해야 한다. 예를 들어, 후보 예측 유닛 집합 내의 후보 예측 유닛 중 전부가 아닌 일부가 탐색을 위해 선택될 수 있다. 대안으로, 처리될 이미지 블록의 전체 인코딩 프로세스가 완료되지 않고, 예측 이미지가 획득된 후, 예측 이미지의 정확도에 따라, 가장 정확한 예측 이미지를 획득하는 데 사용될 수 있는 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로 사용된다.
S2200. 아핀 예측 유닛의 제어 포인트의 위치 정보 및 모션 정보를 획득한다. 이 단계는 S1300과 일치하므로 다시 설명하지 않는다.
S2300. 전술한 3개의 선택 제어 포인트의 위치 정보 및 모션 정보에 따라 이미지 블록 내의 픽셀 포인트의 모션 정보를 획득한다. 이 단계는 S1400과 일치하므로 다시 설명하지 않는다.
S2400. 획득되는 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 모션 보상을 수행하여, 처리될 이미지 블록 내의 픽셀 포인트의 예측 값을 찾아내며, 여기서 모든 픽셀 포인트의 예측 값은 처리될 이미지 블록의 예측 이미지를 형성한다. 이 단계는 S1500과 일치하므로 다시 설명하지 않는다.
S2500. 단계 S2100 내지 단계 S2400을 사용해서 획득되는 예측 이미지를 사용해서 완료되는 인코딩의 인코딩 성능과 다른 방법을 사용해서 획득되는 예측 이미지를 사용해서 완료되는 인코딩의 인코딩 성능을 비교하고, 가장 큰 인코딩 이득이 획득되는 방법을 예측 이미지를 인코딩하는 방법으로 선택한다.
인코딩 속도를 향상시키기 위해, 단계 S2500도 단계 S2124에서 설명된 고속 알고리즘으로 대체될 수 있다는 것을 이해해야 하며, 이에 대해서는 다시 설명하지 않는다.
S2600. 단계 S2100 내지 단계 S2400을 사용해서 예측 이미지를 획득하는 방법이 S2500에서 사용되면, 구문 요소를 인코딩하고, 여기서 구문 요소는 처리될 이미지 블록이 단계 S2100 내지 단계 S2400을 사용해서 예측 이미지를 획득하는 방법을 사용해서 예측 이미지를 획득한다는 것을 나타내는 데 사용되며, 다른 구문 요소를 인코딩하고, 여기서 구문 요소는 S2124에서 선택된 예측 유닛의 인덱스 정보를 나타내는 데 사용된다.
예측 기술로서의 본 발명의 실시예에서의 이미지 예측 방법은, 예측을 위해 복수의 참조 프레임을 사용하는 기술과 같이, 종래의 다른 예측 기술과 기술적으로 결합될 수 있으며, 이에 대해서는 제한이 없다는 것을 이해해야 한다.
구체적으로, 인코딩 측은 동일한 아핀 예측 모델을 사용하는 제1 참조 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
이하에서는 도 5를 참조하여 본 발명의 실시예에 따른 디코딩 장치를 상세히 설명한다. 도 5에 도시된 바와 같이, 디코딩 장치(10)는:
이미지 유닛의 아핀 모션 예측 유닛을 획득하도록 구성되어 있는 제1 획득 모듈(11);
아핀 모션 예측 유닛의 위치 정보 및 모션 정보를 획득하도록 구성되어 있는 제2 획득 모듈(12); 및
위치 정보 및 모션 정보에 따라 이미지 유닛의 모션 정보를 획득하도록 구성되어 있는 제3 획득 모듈(13)
을 포함한다.
구체적으로, 인코딩 측은 동일한 아핀 예측 모델을 사용하는 제1 참조 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
본 발명의 이 실시예에서, 선택적으로, 비트스트림을 판독하고 파싱하여 구문 요소를 획득하며, 상기 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 모델 모션 정보를 재사용할지를 결정하는 데 사용된다. 처리될 이미지 블록이 인접 블록의 아핀 모델 모션 정보를 재사용하는 것으로 결정되면, 프로세스는 계속된다.
본 발명의 이 실시예에서, 선택적으로, 제1 획득 모듈(11)이 구체적으로 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정하도록 구성되어 있는 것은: 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 후보 예측 유닛 집합 내의 예측 유닛이 아핀 모션 예측 유닛인지를 미리 설정된 순서로 검사하는 단계, 예측 유닛이 아핀 모션 예측 유닛인 것으로 발견되면, 검사를 중단하고 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로서 사용하는 단계; 또는 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 비트스트림을 판독하고 그 비트스트림을 파싱하여 구문 요소를 획득하며, 상기 구문 요소는 후보 예측 유닛 집합에 있으면서 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛의 인덱스 정보를 나타내는 데 사용되며, 인덱스 정보에 따라, 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정하는 단계를 포함한다.
본 발명의 이 실시예에서, 선택적으로, 제2 획득 모듈(12)이 구체적으로 아핀 예측 유닛의 제어 포인트의 위치 정보 및 모션 정보를 획득하도록 구성되어 있는 것은: 아핀 예측 유닛의 4개의 제어 포인트 중에서 임의의 3개의 제어 포인트를 선택하는 단계, 및 3개의 제어 포인트의 위치 정보, 모션 벡터 정보, 예측 방향 및 참조 프레임 인덱스를 획득하는 단계; 또는 아핀 예측 유닛의 4개의 제어 포인트 중에서 제1 제어 포인트 및 제2 제어 포인트로 지칭될 수 있는 임의의 2개의 제어 포인트를 선택하고, 이 2개의 제어 포인트의 위치 정보, 모션 벡터 정보, 예측 방향 및 참조 프레임 인덱스를 획득하는 단계, 및 그런 다음 남아 있는 2개의 제어 포인트 중에서 제3 제어 포인트로 지칭될 수 있는 임의의 제어 포인트를 선택하고 제3 제어 포인트의 위치 정보를 획득하는 단계를 포함한다. 제3 제어 포인트의 모션 벡터 정보는 제1 제어 포인트 및 제2 제어 포인트에 따라 다음의 방식으로 유도될 수 있다:
Figure 112021083661270-pat00244
여기서
Figure 112021083661270-pat00245
및
Figure 112021083661270-pat00246
는 제3 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00247
및
Figure 112021083661270-pat00248
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00249
및
Figure 112021083661270-pat00250
그리고
Figure 112021083661270-pat00251
및
Figure 112021083661270-pat00252
는 각각 제1 및 제2 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00253
및
Figure 112021083661270-pat00254
그리고
Figure 112021083661270-pat00255
및
Figure 112021083661270-pat00256
는 대응하는 수평 및 수직 모션 벡터이다.
동일한 아핀 예측 유닛 내의 모든 픽셀 포인트는 동일한 예측 방향 및 동일한 참조 프레임 인덱스를 가지므로, 모든 제어 포인트의 예측 방향 및 참조 프레임 인덱스 역시 동일하다. 제3 제어 포인트는 제1 및 제2 제어 포인트와 동일한 예측 방향 및 참조 프레임 인덱스를 가진다.
본 발명의 이 실시예에서, 선택적으로, 제3 획득 모듈(13)이 구체적으로 전술한 3개의 선택된 제어 포인트의 위치 정보 및 모션 정보에 따라 이미지 블록 내의 픽셀 포인트의 모션 정보를 획득하도록 구성되어 있는 것은: 제어 포인트 중 임의의 하나의 제어 포인트의 참조 프레임 인덱스를 처리될 이미지 블록 내의 픽셀 포인트에 할당하는 단계; 또는 비트스트림을 파싱하여 처리될 이미지 블록의 참조 프레임 정보를 획득하는 단계 - 참조 프레임 정보는 예측 방향 및 참조 프레임 인덱스를 포함함 - 를 포함한다.
본 발명의 이 실시예에서, 선택적으로, 제3 획득 모듈(13)이 구체적으로 전술한 3개의 선택된 제어 포인트의 위치 정보 및 모션 정보에 따라 이미지 블록 내의 픽셀 포인트의 모션 정보를 획득하도록 구성되어 있는 것은: 임의의 3개의 제어 포인트의 위치 정보 및 모션 정보에 따라, 처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터를 획득하는 단계를 포함한다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00257
여기서
Figure 112021083661270-pat00258
및
Figure 112021083661270-pat00259
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00260
및
Figure 112021083661270-pat00261
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00262
,
Figure 112021083661270-pat00263
, 및
Figure 112021083661270-pat00264
, 그리고
Figure 112021083661270-pat00265
,
Figure 112021083661270-pat00266
, 및
Figure 112021083661270-pat00267
는 각각 아핀 예측 유닛의 임의의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00268
,
Figure 112021083661270-pat00269
, 및
Figure 112021083661270-pat00270
, 그리고
Figure 112021083661270-pat00271
,
Figure 112021083661270-pat00272
, 및
Figure 112021083661270-pat00273
는 대응하는 수평 및 수직 모션 벡터이다.
대안으로, 처리될 이미지 블록의 임의의 2개의 제어 포인트의 모션 벡터는 임의의 3개의 제어 포인트의 위치 정보 및 모션 정보에 따라 획득된다. 이것은 다음의 방식으로 실행된다:
Figure 112021083661270-pat00274
여기서
Figure 112021083661270-pat00275
및
Figure 112021083661270-pat00276
그리고
Figure 112021083661270-pat00277
및
Figure 112021083661270-pat00278
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00279
는
Figure 112021083661270-pat00280
과 같으며,
Figure 112021083661270-pat00281
및
Figure 112021083661270-pat00282
그리고
Figure 112021083661270-pat00283
및
Figure 112021083661270-pat00284
은 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00285
및
Figure 112021083661270-pat00286
은 각각 처리될 이미지 블록의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00287
,
Figure 112021083661270-pat00288
및
Figure 112021083661270-pat00289
그리고
Figure 112021083661270-pat00290
,
Figure 112021083661270-pat00291
및
Figure 112021083661270-pat00292
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00293
,
Figure 112021083661270-pat00294
및
Figure 112021083661270-pat00295
그리고
Figure 112021083661270-pat00296
,
Figure 112021083661270-pat00297
및
Figure 112021083661270-pat00298
는 대응하는 수평 및 수직 모션 벡터이다.
처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터는 2개의 제어 포인트의 획득된 모션 벡터에 따라 획득된다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00299
여기서
Figure 112021083661270-pat00300
및
Figure 112021083661270-pat00301
는 각각, 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00302
및
Figure 112021083661270-pat00303
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00304
및
Figure 112021083661270-pat00305
그리고
Figure 112021083661270-pat00306
및
Figure 112021083661270-pat00307
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이며, 여기서
Figure 112021083661270-pat00308
는
Figure 112021083661270-pat00309
과 같으며,
Figure 112021083661270-pat00310
및
Figure 112021083661270-pat00311
그리고
Figure 112021083661270-pat00312
및
Figure 112021083661270-pat00313
은 대응하는 수평 및 수직 모션 벡터이다.
대안으로, 처리될 이미지 블록의 임의의 2개의 제어 포인트의 모션 벡터는 임의의 3개의 제어 포인트의 획득된 위치 정보 및 모션 벡터에 따라 획득된다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00314
여기서
Figure 112021083661270-pat00315
및
Figure 112021083661270-pat00316
그리고
Figure 112021083661270-pat00317
및
Figure 112021083661270-pat00318
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00319
는
Figure 112021083661270-pat00320
과 같으며,
Figure 112021083661270-pat00321
와
Figure 112021083661270-pat00322
는 각각 처리될 이미지 블록의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00323
,
Figure 112021083661270-pat00324
및
Figure 112021083661270-pat00325
그리고
Figure 112021083661270-pat00326
,
Figure 112021083661270-pat00327
및
Figure 112021083661270-pat00328
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00329
,
Figure 112021083661270-pat00330
및
Figure 112021083661270-pat00331
그리고
Figure 112021083661270-pat00332
,
Figure 112021083661270-pat00333
및
Figure 112021083661270-pat00334
는 대응하는 수평 및 수직 모션 벡터이다.
비트스트림을 파싱하여, 처리될 이미지 블록 내의 2개의 제어 포인트의 모션 벡터의 나머지를 획득하고, 그 나머지를 2개의 제어 포인트의 획득된 모션 벡터에 부가하여, 처리될 이미지 블록 내의 2개의 제어 포인트의 갱신된 모션 벡터를 획득한다.
처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터는 2개의 제어 포인트의 획득된 모션 벡터에 따라 획득된다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00335
여기서
Figure 112021083661270-pat00336
및
Figure 112021083661270-pat00337
는 각각, 이미지 블록의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00338
및
Figure 112021083661270-pat00339
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00340
및
Figure 112021083661270-pat00341
그리고
Figure 112021083661270-pat00342
및
Figure 112021083661270-pat00343
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이며, 여기서
Figure 112021083661270-pat00344
는
Figure 112021083661270-pat00345
과 같으며,
Figure 112021083661270-pat00346
및
Figure 112021083661270-pat00347
그리고
Figure 112021083661270-pat00348
및
Figure 112021083661270-pat00349
은 대응하는 수평 및 수직 모션 벡터이다.
본 발명의 이 실시예에서, 선택적으로, 제3 획득 모듈(13)이 구체적으로 획득되는 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 모션 보상을 수행하여, 처리될 이미지 블록 내의 픽셀 포인트의 예측 값을 찾아내도록 구성되어 있다. 모든 픽셀 포인트의 예측 값은 처리될 이미지 블록의 예측 이미지를 형성한다.
본 발명의 이 실시예에 따른 인코딩 장치(10)는 본 발명의 실시예에서의 이미지 예측 방법(1000)을 대응해서 수행할 수 있고 인코딩 장치(10)의 모듈들의 전술한 동작 및/또는 기능은 도 1에서의 방법의 대응하는 과정을 실행하는 데 개별적으로 사용된다는 것을 이해해야 한다. 간략화를 위해, 이에 대해서는 여기서 설명하지 않는다.
그러므로 본 발명의 이 실시예에서의 디코딩 장치는 동일한 아핀 예측 모델을 사용하는 아핀 예측 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
이하에서는 도 6을 참조해서 본 발명의 실시예에 따라 인코딩 장치를 상세히 설명한다. 도 6에 도시된 바와 같이, 인코딩 장치(20)는:
이미지 유닛의 아핀 모션 예측 유닛을 획득하도록 구성되어 있는 제1 획득 모듈(21);
아핀 모션 예측 유닛의 위치 정보 및 모션 정보를 획득하도록 구성되어 있는 제2 획득 모듈(22); 및
위치 정보 및 모션 정보에 따라 이미지 유닛의 모션 정보를 획득하도록 구성되어 있는 제3 획득 모듈(23)
을 포함한다.
구체적으로, 인코딩 측은 동일한 아핀 예측 모델을 사용하는 제1 참조 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
본 발명의 이 실시예에서, 선택적으로, 제1 획득 모듈(21)이 구체적으로 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정하도록 구성되어 있는 것은: 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 후보 예측 유닛 집합 내의 예측 유닛이 아핀 모션 예측 유닛인지를 미리 설정된 순서로 검사하는 단계, 예측 유닛이 아핀 모션 예측 유닛인 것으로 발견되면, 검사를 중단하고 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로서 사용하는 단계를 포함하거나; 또는 후보 예측 유닛 중 어느 것도 아핀 예측 유닛이 아니면, 구문 요소를 인코딩하고, 여기서 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 예측 정보를 재사용하지 않는다는 것을 나타내는 데 사용되며, 후속의 단계를 수행하는 것을 중단하고, 그렇지 않으면 후속의 단계를 계속 수행하는 단계를 포함하거나; 또는 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 후보 예측 유닛 중 어느 것도 아핀 예측 유닛이 아니면, 구문 요소를 인코딩하고, 여기서 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 예측 정보를 재사용하지 않는다는 것을 나타내는 데 사용되며, 후속의 단계를 수행하는 것을 중단하고, 그렇지 않으면 후속의 단계를 계속 수행하며, 후보 예측 유닛 집합 내의 각각의 후보 예측 유닛에 인덱스 값을 할당하는 단계를 포함한다. 각각의 인덱스 값에 의해 나타나는 후보 예측 유닛은 인코딩 측 및 디코딩 측에 의해 프로토콜에서 미리 결정되며 인코딩 측 및 디코딩 측 사이에서 일관되게 유지된다. 후보 예측 유닛 집합 내의 모든 후보 예측 유닛은 처리될 이미지 블록의 예측 이미지를 획득하기 위해 탐색되고, 처리될 이미지 블록에 대한 인코딩을 완료한다. 선택된 후보 예측 벡터에 의해 만들어진 인코딩 이득들을 비교하고, 인코딩 이득이 가장 큰 후보 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로 선택한다.
본 발명의 이 실시예에서, 선택적으로, 제2 획득 모듈(22)은 구체적으로 아핀 예측 유닛의 제어 포인트의 위치 정보 및 모션 정보를 획득하도록 구성되어 있다. 모듈의 기능은 제2 획득 모듈(12)의 기능과 같으므로 이에 대해서는 다시 설명하지 않는다.
본 발명의 이 실시예에서, 선택적으로, 제3 획득 모듈(23)은 구체적으로 전술한 3개의 선택된 제어 포인트의 위치 정보 및 모션 정보에 따라 이미지 블록 내의 픽셀 포인트의 모션 정보를 획득하도록 구성되어 있다. 모듈의 기능은 제3 획득 모듈(13)의 기능과 같으므로 이에 대해서는 다시 설명하지 않는다.
본 발명의 이 실시예에서, 선택적으로, 제3 획득 모듈(23)은 구체적으로 획득되는 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 모션 보상을 수행하여, 처리될 이미지 블록 내의 픽셀 포인트의 예측 값을 찾아내도록 구성되어 있다. 모든 픽셀 포인트의 예측 값은 처리될 이미지 블록의 예측 이미지를 형성한다. 모듈의 기능은 제3 획득 모듈(13)의 기능과 같으므로 이에 대해서는 다시 설명하지 않는다.
본 발명의 이 실시예에서, 선택적으로, 이 장치에 의해 획득되는 예측 이미지를 사용해서 완료되는 인코딩의 인코딩 성능은 다른 장치를 사용해서 획득되는 예측 이미지를 사용해서 완료되는 인코딩의 인코딩 성능과 비교되고, 가장 큰 인코딩 이득이 획득되는 장치를 예측 이미지를 인코딩하는 장치로 선택한다.
본 발명의 이 실시예에서, 선택적으로, 이 장치에 의해 획득되는 예측 이미지가 사용되면, 구문 요소를 인코딩하고, 여기서 구문 요소는 다른 장치를 사용해서 예측 이미지를 획득하는 방법이 사용된다는 것을 나타내는 데 사용되며, 다른 구문 요소가 인코딩되고, 여기서 구문 요소는 선택된 예측 유닛의 인덱스 정보를 나타내는 데 사용된다.
본 발명의 이 실시예에 따른 인코딩 장치(20)는 본 발명의 실시예에서의 이미지 예측 방법(2000)을 대응해서 수행할 수 있고 인코딩 장치(20)의 모듈들의 전술한 동작 및/또는 기능은 도 4에서의 방법의 대응하는 과정을 실행하는 데 개별적으로 사용된다는 것을 이해해야 한다. 간략화를 위해, 이에 대해서는 여기서 설명하지 않는다.
그러므로 본 발명의 이 실시예에서의 인코딩 장치는 동일한 아핀 예측 모델을 사용하는 아핀 예측 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
도 7에 도시된 바와 같이, 본 발명의 실시예는 프로세서(31), 메모리(32) 및 버스시스템(33)을 포함하는 디코딩 장치(30)를 추가로 제공한다. 프로세서(31) 및 메모리(32)는 버스시스템(33)을 사용해서 연결되고, 메모리(32)는 명령을 저장하도록 구성되어 있으며, 프로세서(31)는 메모리(32)에 저장되어 있는 명령을 실행하도록 구성되어 있다. 디코딩 장치(30)의 메모리(32)는 프로그램 코드를 저장하며, 프로세서(31)는 메모리(32)에 저장되어 있는 프로그램 코드를 불러내어 다음의 단계: 이미지 유닛의 제1 참조 유닛을 획득하는 단계 - 각각의 예측 이미지는 동일한 아핀 모델을 사용하여 이미지 유닛 및 제1 참조 유닛에 대해 획득됨 - ; 상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계; 및 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계를 수행할 수 있다.
그러므로 본 발명의 이 실시예에서의 디코딩 장치는 동일한 아핀 예측 모델을 사용하는 아핀 예측 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
본 발명의 이 실시예에서, 프로세서(31)는 중앙 처리 장치(central processing unit, CPU)일 수도 있고, 프로세서(31)는 다른 범용 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적회로(application-specific integrated circuit, ASIC), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 또는 다른 프로그래머블 논리 장치, 이산 게이트, 트랜지스터 논리 장치, 이산 하드웨어 컴포넌트 등일 수도 있다는 것을 이해해야 한다. 범용 프로세서는 마이크로프로세서일 수도 있으며, 프로세서는 어떠한 임의의 종래의 프로세서 등일 수도 있다.
메모리(32)는 리드-온리 메모리 및 랜덤 액세스 메모리를 포함할 수 있으며, 프로세서(31)에 명령 및 데이터를 제공한다. 메모리(32)의 일부는 비휘발성 랜덤 액세스 메모리를 더 포함할 수 있다. 예를 들어, 메모리(32)는 장치 유형 정보를 더 저장할 수 있다.
버스시스템(33)은 데이터 버스 외에, 전력 버스, 제어 버스, 상태 신호 버스 등을 더 포함할 수 있다. 그렇지만, 명확한 설명의 목적상, 도면 중 다양한 유형의 버스는 모두 버시스템(33)으로 표시되어 있다.
실시 동안, 전술한 방법의 각 단계는 프로세서(31) 내의 하드웨어 집적 논리 회로에 의해서나 소프트웨어 형태의 명령에 의해 실행될 수 있다. 본 발명의 실시예를 참조하여 설명된 방법의 단계는 하드웨어 프로세스를 사용해서 직접 수행되고 완료될 수도 있고, 하드웨어와 프로세서 내의 소프트웨어 모듈과의 조합을 사용해서 수행되고 완료될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 리드-온리 메모리, 프로그래머블 리드-온리 메모리, 전기적으로 소거 가능한 프로그래머블 메모리 또는 레지스터와 같은 당업계에 많이 보급된 저장 매체에 위치할 수 있다. 저장 매체는 메모리(32)에 위치하며, 프로세서(31)는 메모리(32) 내의 정보를 판독하고 프로세서(31)의 하드웨어와의 조합으로 전술한 방법의 단계를 완료한다. 반복을 피하기 위해, 이에 대해서는 여기서 다시 설명하지 않는다.
선택적으로, 실시예에서, 프로세서(31)는 구체적으로: 비트스트림을 판독하고 그 비트스트림을 파싱하여 구문 요소를 획득하도록 구성되어 있으며, 상기 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 모델 모션 정보를 재사용할지를 결정하는 데 사용된다. 처리될 이미지 블록이 인접 블록의 아핀 모델 모션 정보를 재사용하는 것으로 결정되면, 프로세스는 계속된다.
선택적으로, 실시예에서, 프로세서(31)가 구체적으로 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정하도록 구성되어 있는 것은: 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 후보 예측 유닛 집합 내의 예측 유닛이 아핀 모션 예측 유닛인지를 미리 설정된 순서로 검사하는 단계, 예측 유닛이 아핀 모션 예측 유닛인 것으로 발견되면, 검사를 중단하고 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로서 사용하는 단계를 포함하거나; 또는 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 비트스트림을 판독하고 그 비트스트림을 파싱하여 구문 요소를 획득하며, 상기 구문 요소는 후보 예측 유닛 집합에 있으면서 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛의 인덱스 정보를 나타내는 데 사용되며, 인덱스 정보에 따라, 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정하는 단계를 포함한다.
선택적으로, 실시예에서, 프로세서(31)가 구체적으로 아핀 예측 유닛의 제어 포인트의 위치 정보 및 모션 정보를 획득하도록 구성되어 있는 것은: 아핀 예측 유닛의 4개의 제어 포인트 중에서 임의의 3개의 제어 포인트를 선택하는 단계, 및 3개의 제어 포인트의 위치 정보, 모션 벡터 정보, 예측 방향 및 참조 프레임 인덱스를 획득하는 단계를 포함하거나; 또는 아핀 예측 유닛의 4개의 제어 포인트 중에서 제1 및 제2 제어 포인트로 지칭될 수 있는 임의의 2개의 제어 포인트를 선택하는 단계, 및 2개의 제어 포인트의 위치 정보, 모션 벡터 정보, 예측 방향 및 참조 프레임 인덱스를 획득하는 단계, 및 그런 다음 남아 있는 2개의 제어 포인트 중에서 제3 제어 포인트로 지칭될 수 있는 임의의 제어 포인트를 선택하고 제3 제어 포인트의 위치 정보를 획득하는 단계를 포함한다. 제3 제어 포인트의 모션 벡터 정보는 제1 및 제2 제어 포인트에 따라 다음의 방식으로 유도될 수 있다:
Figure 112021083661270-pat00350
여기서
Figure 112021083661270-pat00351
및
Figure 112021083661270-pat00352
는 제3 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00353
은
Figure 112021083661270-pat00354
와 같으며,
Figure 112021083661270-pat00355
및
Figure 112021083661270-pat00356
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00357
및
Figure 112021083661270-pat00358
그리고
Figure 112021083661270-pat00359
및
Figure 112021083661270-pat00360
는 각각 제1 및 제2 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00361
및
Figure 112021083661270-pat00362
그리고
Figure 112021083661270-pat00363
및
Figure 112021083661270-pat00364
는 대응하는 수평 및 수직 모션 벡터이다.
동일한 아핀 예측 유닛 내의 모든 픽셀 포인트는 동일한 예측 방향 및 동일한 참조 프레임 인덱스를 가지므로, 모든 제어 포인트의 예측 방향 및 참조 프레임 인덱스 역시 동일하다. 제3 제어 포인트는 제1 및 제2 제어 포인트와 동일한 예측 방향 및 참조 프레임 인덱스를 가진다.
선택적으로, 실시예에서, 프로세서(31)가 구체적으로 전술한 3개의 선택된 제어 포인트의 위치 정보 및 모션 정보에 따라 이미지 블록 내의 픽셀 포인트의 모션 정보를 획득하도록 구성되어 있는 것은: 제어 포인트 중 임의의 하나의 제어 포인트의 예측 방향 및 참조 프레임 인덱스를 처리될 이미지 블록 내의 픽셀 포인트에 할당하는 단계; 또는 비트스트림을 파싱하여 처리될 이미지 블록의 참조 프레임 정보를 획득하는 단계 - 참조 프레임 정보는 예측 방향 및 참조 프레임 인덱스를 포함함 - 를 포함한다.
선택적으로, 실시예에서, 프로세서(31)가 구체적으로 전술한 3개의 선택된 제어 포인트의 위치 정보 및 모션 정보에 따라 이미지 블록 내의 픽셀 포인트의 모션 정보를 획득하도록 구성되어 있는 것은: 임의의 3개의 제어 포인트의 획득된 위치 정보 및 모션 벡터에 따라, 처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터를 획득하는 단계를 포함한다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00365
여기서
Figure 112021083661270-pat00366
및
Figure 112021083661270-pat00367
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00368
및
Figure 112021083661270-pat00369
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00370
,
Figure 112021083661270-pat00371
, 및
Figure 112021083661270-pat00372
, 그리고
Figure 112021083661270-pat00373
,
Figure 112021083661270-pat00374
, 및
Figure 112021083661270-pat00375
는 각각 아핀 예측 유닛의 임의의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00376
,
Figure 112021083661270-pat00377
, 및
Figure 112021083661270-pat00378
, 그리고
Figure 112021083661270-pat00379
,
Figure 112021083661270-pat00380
, 및
Figure 112021083661270-pat00381
는 대응하는 수평 및 수직 모션 벡터이다.
대안으로, 처리될 이미지 블록의 임의의 2개의 제어 포인트의 모션 벡터는 임의의 3개의 제어 포인트의 획득된 위치 정보 및 모션 벡터에 따라 획득된다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00382
여기서
Figure 112021083661270-pat00383
및
Figure 112021083661270-pat00384
그리고
Figure 112021083661270-pat00385
및
Figure 112021083661270-pat00386
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00387
는
Figure 112021083661270-pat00388
과 같으며,
Figure 112021083661270-pat00389
및
Figure 112021083661270-pat00390
그리고
Figure 112021083661270-pat00391
및
Figure 112021083661270-pat00392
은 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00393
,
Figure 112021083661270-pat00394
및
Figure 112021083661270-pat00395
그리고
Figure 112021083661270-pat00396
,
Figure 112021083661270-pat00397
및
Figure 112021083661270-pat00398
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00399
,
Figure 112021083661270-pat00400
및
Figure 112021083661270-pat00401
그리고
Figure 112021083661270-pat00402
,
Figure 112021083661270-pat00403
및
Figure 112021083661270-pat00404
는 대응하는 수평 및 수직 모션 벡터이다.
처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터는 2개의 제어 포인트의 획득된 모션 벡터에 따라 획득된다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00405
여기서
Figure 112021083661270-pat00406
및
Figure 112021083661270-pat00407
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00408
및
Figure 112021083661270-pat00409
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00410
및
Figure 112021083661270-pat00411
그리고
Figure 112021083661270-pat00412
및
Figure 112021083661270-pat00413
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이며, 여기서
Figure 112021083661270-pat00414
는
Figure 112021083661270-pat00415
과 같으며,
Figure 112021083661270-pat00416
및
Figure 112021083661270-pat00417
그리고
Figure 112021083661270-pat00418
및
Figure 112021083661270-pat00419
은 대응하는 수평 및 수직 모션 벡터이다.
대안으로, 처리될 이미지 블록의 임의의 2개의 제어 포인트의 모션 벡터는 임의의 3개의 제어 포인트의 획득된 위치 정보 및 모션 벡터에 따라 획득된다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00420
여기서
Figure 112021083661270-pat00421
및
Figure 112021083661270-pat00422
그리고
Figure 112021083661270-pat00423
및
Figure 112021083661270-pat00424
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00425
는
Figure 112021083661270-pat00426
과 같으며,
Figure 112021083661270-pat00427
및
Figure 112021083661270-pat00428
그리고
Figure 112021083661270-pat00429
및
Figure 112021083661270-pat00430
은 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00431
,
Figure 112021083661270-pat00432
및
Figure 112021083661270-pat00433
그리고
Figure 112021083661270-pat00434
,
Figure 112021083661270-pat00435
및
Figure 112021083661270-pat00436
는 각각 아핀 예측 유닛의 3개의 제어 포인트의 수평 및 수직 좌표이며,
Figure 112021083661270-pat00437
,
Figure 112021083661270-pat00438
및
Figure 112021083661270-pat00439
그리고
Figure 112021083661270-pat00440
,
Figure 112021083661270-pat00441
및
Figure 112021083661270-pat00442
는 대응하는 수평 및 수직 모션 벡터이다.
비트스트림은 파싱되어 처리될 이미지 블록의 2개의 제어 포인트의 모션 벡터의 나머지를 획득하고 그 나머지는 2개의 제어 포인트의 획득된 모션 벡터에 부가되어 처리될 이미지 블록의 2개의 제어 포인트의 갱신된 모션 벡터를 획득한다.
처리될 이미지 블록 내의 픽셀 포인트의 모션 벡터는 2개의 제어 포인트의 획득된 모션 벡터에 따라 획득된다. 이것은 다음의 방식으로 실시된다:
Figure 112021083661270-pat00443
여기서
Figure 112021083661270-pat00444
및
Figure 112021083661270-pat00445
는 각각, 처리될 이미지 블록 내의 픽셀 포인트의 수평 및 수직 좌표이고,
Figure 112021083661270-pat00446
및
Figure 112021083661270-pat00447
는 대응하는 수평 및 수직 모션 벡터이고,
Figure 112021083661270-pat00448
및
Figure 112021083661270-pat00449
그리고
Figure 112021083661270-pat00450
및
Figure 112021083661270-pat00451
은 각각, 처리될 이미지 블록의 2개의 제어 포인트의 수평 및 수직 좌표이며, 여기서
Figure 112021083661270-pat00452
는
Figure 112021083661270-pat00453
과 같으며,
Figure 112021083661270-pat00454
및
Figure 112021083661270-pat00455
그리고
Figure 112021083661270-pat00456
및
Figure 112021083661270-pat00457
은 대응하는 수평 및 수직 모션 벡터이다.
선택적으로, 실시예에서, 프로세서(31)는 구체적으로 획득되는 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 모션 보상을 수행하여, 처리될 이미지 블록 내의 픽셀 포인트의 예측 값을 찾아내며, 여기서 모든 픽셀 포인트의 예측 값은 처리될 이미지 블록의 예측 이미지를 형성한다.
본 발명의 이 실시예에 따른 디코딩 장치(30)는 본 발명의 실시예에서의 디코딩 장치(10)에 대응할 수 있고 본 발명의 실시예에서의 방법(1000)을 수행하는 대응하는 메인 엔티티에 대응할 수 있다. 디코딩 장치(30)의 모듈들의 전술한 동작 및/또는 기능은 도 1에서의 방법의 대응하는 과정을 실행하는 데 개별적으로 사용된다는 것을 이해해야 한다. 간략화를 위해, 이에 대해서는 여기서 설명하지 않는다.
그러므로 본 발명의 이 실시예에서의 디코딩 장치는 동일한 아핀 예측 모델을 사용하는 아핀 예측 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
도 8에 도시된 바와 같이, 본 발명의 실시예는 프로세서(41), 메모리(42) 및 버스시스템(43)을 포함하는 인코딩 장치(40)를 추가로 제공한다. 프로세서(41) 및 메모리(42)는 버스시스템(43)을 사용해서 연결되고, 메모리(42)는 명령을 저장하도록 구성되어 있으며, 프로세서(41)는 메모리(42)에 저장되어 있는 명령을 실행하도록 구성되어 있다. 인코딩 장치(40)의 메모리(42)는 프로그램 코드를 저장하며, 프로세서(41)는 메모리(42)에 저장되어 있는 프로그램 코드를 불러내어 다음의 단계: 이미지 유닛의 제1 참조 유닛을 획득하는 단계 - 각각의 예측 이미지는 동일한 아핀 모델을 사용하여 이미지 유닛 및 제1 참조 유닛에 대해 획득됨 - ; 상기 제1 참조 유닛의 2개 이상의 미리 설정된 위치에서 기본 모션 보상 유닛의 모션 정보를 획득하는 단계; 및 상기 모션 정보에 따라 상기 이미지 유닛의 기본 모션 보상 유닛의 모션 정보를 획득하는 단계를 수행할 수 있다.
그러므로 본 발명의 이 실시예에서의 인코딩 장치는 동일한 아핀 예측 모델을 사용하는 아핀 예측 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
본 발명의 이 실시예에서, 프로세서(41)는 중앙 처리 장치(central processing unit, CPU)일 수도 있고, 프로세서(41)는 다른 범용 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적회로(application-specific integrated circuit, ASIC), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 또는 다른 프로그래머블 논리 장치, 이산 게이트, 트랜지스터 논리 장치, 이산 하드웨어 컴포넌트 등일 수도 있다는 것을 이해해야 한다. 범용 프로세서는 마이크로프로세서일 수도 있으며, 프로세서는 어떠한 임의의 종래의 프로세서 등일 수도 있다.
메모리(42)는 리드-온리 메모리 및 랜덤 액세스 메모리를 포함할 수 있으며, 프로세서(41)에 명령 및 데이터를 제공한다. 메모리(42)의 일부는 비휘발성 랜덤 액세스 메모리를 더 포함할 수 있다. 예를 들어, 메모리(42)는 장치 유형 정보를 더 저장할 수 있다.
버스시스템(43)은 데이터 버스 외에, 전력 버스, 제어 버스, 상태 신호 버스 등을 더 포함할 수 있다. 그렇지만, 명확한 설명의 목적상, 도면 중 다양한 유형의 버스는 모두 버시스템(43)으로 표시되어 있다.
실시 동안, 전술한 방법의 각 단계는 프로세서(41) 내의 하드웨어 집적 논리 회로에 의해서나 소프트웨어 형태의 명령에 의해 실행될 수 있다. 본 발명의 실시예를 참조하여 설명된 방법의 단계는 하드웨어 프로세스를 사용해서 직접 수행되고 완료될 수도 있고, 하드웨어와 프로세서 내의 소프트웨어 모듈과의 조합을 사용해서 수행되고 완료될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 리드-온리 메모리, 프로그래머블 리드-온리 메모리, 전기적으로 소거 가능한 프로그래머블 메모리 또는 레지스터와 같은 당업계에 많이 보급된 저장 매체에 위치할 수 있다. 저장 매체는 메모리(42)에 위치하며, 프로세서(41)는 메모리(42) 내의 정보를 판독하고 프로세서(41)의 하드웨어와의 조합으로 전술한 방법의 단계를 완료한다. 반복을 피하기 위해, 이에 대해서는 여기서 다시 설명하지 않는다.
선택적으로, 실시예에서, 프로세서(41)가 구체적으로 처리될 이미지 블록에 대한 참조로서 사용되는 아핀 모션 예측 유닛을 결정하도록 구성되어 있는 것은:
처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 후보 예측 유닛 집합 내의 예측 유닛이 아핀 모션 예측 유닛인지를 미리 설정된 순서로 검사하는 단계, 예측 유닛이 아핀 모션 예측 유닛인 것으로 발견되면, 검사를 중단하고 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로서 사용하는 단계를 포함하거나; 또는 후보 예측 유닛 중 어느 것도 아핀 예측 유닛이 아니면, 구문 요소를 인코딩하고, 여기서 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 예측 정보를 재사용하지 않는다는 것을 나타내는 데 사용되며, 후속의 단계를 수행하는 것을 중단하고, 그렇지 않으면 후속의 단계를 계속 수행하는 단계를 포함하거나; 또는 처리될 이미지 블록에 대한 후보 예측 유닛 집합을 결정하는 단계, 후보 예측 유닛 중 어느 것도 아핀 예측 유닛이 아니면, 구문 요소를 인코딩하고, 여기서 구문 요소는 처리될 이미지 블록이 인접 블록의 아핀 예측 정보를 재사용하지 않는다는 것을 나타내는 데 사용되며, 후속의 단계를 수행하는 것을 중단하고, 그렇지 않으면 후속의 단계를 계속 수행하며, 후보 예측 유닛 집합 내의 각각의 후보 예측 유닛에 인덱스 값을 할당하는 단계를 포함한다. 각각의 인덱스 값에 의해 나타나는 후보 예측 유닛은 인코딩 측 및 디코딩 측에 의해 프로토콜에서 미리 결정되며 인코딩 측 및 디코딩 측 사이에서 일관되게 유지된다. 후보 예측 유닛 집합 내의 모든 후보 예측 유닛은 처리될 이미지 블록의 예측 이미지를 획득하기 위해 탐색되고, 처리될 이미지 블록에 대한 인코딩을 완료한다. 선택된 후보 예측 벡터에 의해 만들어진 인코딩 이득들을 비교하고, 인코딩 이득이 가장 큰 후보 예측 유닛을 처리될 이미지 블록에 의해 참조되는 아핀 모션 예측 유닛으로 선택한다.
선택적으로, 실시예에서, 프로세서(41)는 구체적으로 아핀 예측 유닛의 제어 포인트의 위치 정보 및 모션 정보를 획득하도록 구성되어 있다. 모듈의 기능은 프로세서(31)의 기능과 같으므로 이에 대해서는 다시 설명하지 않는다.
선택적으로, 실시예에서, 프로세서(41)는 구체적으로 3개의 선택된 제어 포인트의 위치 정보 및 모션 정보에 따라 이미지 블록 내의 픽셀 포인트의 모션 정보를 획득하도록 구성되어 있다. 모듈의 기능은 프로세서(31)의 기능과 같으므로 이에 대해서는 다시 설명하지 않는다.
선택적으로, 실시예에서, 프로세서(41)는 구체적으로 획득되는 예측 방향, 참조 프레임 인덱스 및 모션 벡터에 따라 모션 보상을 수행하여, 처리될 이미지 블록 내의 픽셀 포인트의 예측 값을 찾아내도록 구성되어 있다. 모든 픽셀 포인트의 예측 값은 처리될 이미지 블록의 예측 이미지를 형성한다. 모듈의 기능은 프로세서(31)의 기능과 같으므로 이에 대해서는 다시 설명하지 않는다.
선택적으로, 실시예에서, 프로세서(41)는 구체적으로: 이 장치에 의해 획득되는 예측 이미지를 사용해서 완료되는 인코딩의 인코딩 성능과 다른 장치를 사용해서 획득되는 예측 이미지를 사용해서 완료되는 인코딩의 인코딩 성능을 비교하고, 가장 큰 인코딩 이득이 획득되는 장치를 예측 이미지를 인코딩하는 장치로 선택한다.
선택적으로, 실시예에서, 프로세서(41)는 구체적으로: 이 장치에 의해 획득되는 예측 이미지가 사용되면, 구문 요소를 인코딩하고, 여기서 구문 요소는 이 장치를 사용해서 예측 이미지를 획득하는 방법이 사용된다는 것을 나타내는 데 사용되며, 다른 구문 요소를 인코딩하고, 여기서 구문 요소는 선택된 예측 유닛의 인덱스 정보를 나타내는 데 사용된다.
본 발명의 이 실시예에 따른 인코딩 장치(40)는 본 발명의 실시예에서의 인코딩 장치(20)에 대응할 수 있고 본 발명의 실시예에서의 이미지 예측 방법(2000)을 수행하는 대응하는 메인 엔티티에 대응할 수 있다. 인코딩 장치(40)의 모듈들의 전술한 동작 및/또는 기능은 도 4에서의 방법의 대응하는 과정을 실행하는 데 개별적으로 사용된다는 것을 이해해야 한다. 간략화를 위해, 이에 대해서는 여기서 설명하지 않는다.
그러므로 본 발명의 이 실시예에서의 인코딩 장치는 동일한 아핀 예측 모델을 사용하는 아핀 예측 유닛의 모션 정보를 재사용하므로, 모션 벡터 차이를 인코딩 및 디코딩하지 않고 고정밀 모션 벡터에 대한 추가의 검색 없이 현재 이미지 유닛의 더 정확한 모션 벡터를 획득한다. 이 방법에서는, 예측 정확도를 높이고 인코딩 및 디코딩 복잡도를 유지하며, 이에 의해 인코딩 및 디코딩 성능을 향상시킨다.
"실시예" 또는 전체 명세서에서 언급된 "실시예"는 실시예와 관련된 특정한 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다는 것을 이해해야 한다. 그러므로 "실시예에서" 또는 명세서 전반에 걸쳐 나타나는 "실시예에서"는 동일한 실시예를 지칭하는 것이 아니다. 또한, 이러한 특정한 특징, 구조 도는 특성은 임의의 적절한 방식을 사용해서 하나 이상의 실시예에 결합될 수 있다.
전술한 프로세스의 순번은 본 발명의 다양한 실시예의 실행 순서를 의미하지 않는다는 것을 이해해야 한다. 프로세스의 실행 순서는 프로세스의 기능 및 내부 논리에 따라 결정되어야 하며, 본 발명의 실시예에서의 실행 프로세스에 어떠한 제한이라도 두는 것으로 파악되어서는 안 된다.
용어 "시스템"과 "네트워크"는 본 명세서에서 서로 바꿔서 사용될 수 있다. 본 발명의 명세서에서 용어 "및/또는"은 관련 대상 간의 연합 관계만을 설명하며, 3가지 관계가 존재할 수도 있다는 것을 나타낸다는 것에 유의해야 한다. 예를 들어, A 및/또는 B는 이하의 3가지 경우를 나타낼 수 있다: A만 존재하고, A 및 B 모두가 존재하며, B만 존재한다. 또한, 본 명세서에서 기호 "/"는 일반적으로 관련 대상 간의 "또는" 관계를 나타낸다.
본 출원의 명세서에서, "A에 대응하는 B"는 B가 A와 관련 있다는 것을 나타내고, B는 A에 따라 결정될 수 있다. 그렇지만, B에 따라 A를 결정하는 것이 B가 A에 따라서만 결정된다는 것을 의미하지 않으며, 즉 B는 A 및/또는 다른 정보에 따라 결정될 수도 있다는 것도 추가로 이해해야 한다.
당업자라면 여기에 개시된 실시예와 결합해서 설명되는 다양한 예의 유닛 및 단계는 전자식 하드웨어, 또는 컴퓨터 소프트웨어와 전자식 하드웨어의 결합으로 실현될 수 있다는 것을 인식하고 있을 것이다. 하드웨어와 소프트웨어 간의 상호교환성을 자세히 설명하기 위해, 위에서는 일반적으로 기능에 따라 각각의 예에 대한 조성 및 단계를 설명하였다. 이러한 기능들이 하드웨어의 방식으로 또는 소프트웨어의 방식으로 수행되느냐 하는 것은 기술적 솔루션의 특정한 애플리케이션 및 설계상의 제약에 달려 있다. 당업자라면 상이한 방법을 사용하여 각각의 특정한 애플리케이션에 대한 설명된 기능을 실행할 수 있을 것이다. 그렇지만, 이러한 실행이 본 발명의 범주를 넘는 것으로 파악되어서는 안 된다.
당업자라면 설명의 편의 및 간략화를 위해, 전술한 시스템, 장치, 및 유닛에 대한 상세한 작업 프로세스에 대해서는 전술한 방법 실시예의 대응하는 프로세스를 참조하면 된다는 것을 자명하게 이해할 수 있을 것이므로 그 상세한 설명은 여기서 다시 설명하지 않는다.
본 출원에서 제공하는 수 개의 실시예에서, 전술한 시스템, 장치, 및 방법은 다른 방식으로도 실현될 수 있다는 것은 물론이다. 예를 들어, 설명된 장치 실시예는 단지 예시에 불과하다. 예를 들어, 유닛의 분할은 단지 일종의 논리적 기능 분할일 뿐이며, 실제의 실행 동안 다른 분할 방식으로 있을 수 있다. 예를 들어, 복수의 유닛 또는 구성요소를 다른 시스템에 결합 또는 통합할 수 있거나, 또는 일부의 특징은 무시하거나 수행하지 않을 수도 있다. 또한, 도시되거나 논의된 상호 커플링 또는 직접 결합 또는 통신 접속은 일부의 인터페이스를 통해 실현될 수 있다. 장치 또는 유닛 간의 간접 결합 또는 통신 접속은 전자식, 기계식 또는 다른 형태로 실현될 수 있다.
별도의 부분으로 설명된 유닛들은 물리적으로 별개일 수 있고 아닐 수도 있으며, 유닛으로 도시된 부분은 물리적 유닛일 수도 있고 아닐 수도 있으며, 한 위치에 위치할 수도 있고, 복수의 네트워크 유닛에 분산될 수도 있다. 유닛 중 일부 또는 전부는 실제의 필요에 따라 선택되어 실시예의 솔루션의 목적을 달성할 수 있다.
또한, 본 발명의 실시예에서의 기능 유닛은 하나의 프로세싱 유닛으로 통합될 수 있거나, 각각의 유닛이 물리적으로 단독으로 존재할 수도 있거나, 2개 이상의 유닛이 하나의 유닛으로 통합될 수도 있다. 통합 유닛은 하드웨어의 형태로 실현될 수도 있고, 소프트웨어 기능 유닛의 형태로 실현될 수도 있다.
또한, 본 발명의 실시예에서의 기능 유닛들은 하나의 프로세싱 유닛으로 통합될 수도 있고, 각각의 유닛이 물리적으로 단독으로 존재할 수도 있으며, 2개 이상의 유닛이 하나의 유닛으로 통합될 수도 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 실현되어 독립 제품으로 시판되거나 사용되면, 이 통합 유닛은 컴퓨터 판독 가능형 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 발명의 필수적인 기술적 솔루션 또는 종래기술에 기여하는 부분, 또는 기술적 솔루션의 일부는 소프트웨어 제품의 형태로 실현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, 본 발명의 실시예에 설명된 방법의 단계 중 일부 또는 전부를 수행하도록 컴퓨터 장치(이것은 퍼스널 컴퓨터, 서버, 또는 네트워크 장치 등이 될 수 있다)에 명령하는 수개의 명령어를 포함한다. 전술한 저장 매체는: 프로그램 코드를 저장할 수 있는 임의의 저장 매체, 예를 들어, USB 플래시 디스크, 휴대형 하드디스크, 리드-온리 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기디스크 또는 광디스크를 포함한다.
전술한 설명은 단지 본 발명의 특정한 실행 방식에 불과하며, 본 발명의 보호 범위를 제한하려는 것이 아니다. 본 발명에 설명된 기술적 범위 내에서 당업자가 용이하게 실현하는 모든 변형 또는 대체는 본 발명의 보호 범위 내에 있게 된다. 그러므로 본 발명의 보호 범위는 특허청구범위의 보호 범위에 있게 된다.

Claims (13)

  1. 이미지 디코딩에서의 사용을 위해, 현재 이미지 블록의 인터 예측을 위한 방법으로서,
    이미지 디코더가, 후보 아핀 블록을 결정하는 단계 - 상기 후보 아핀 블록은 상기 현재 이미지 블록에 공간적으로 인접하는 아핀 코딩된 블록임 -;
    상기 후보 아핀 블록의 적어도 두 개의 제어 포인트의 모션 벡터에 따라서 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 모션 벡터 예측자(motion vector predictor, MVP)를 도출하는 단계;
    비트스트림으로부터, 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 모션 벡터 차이(motion vector difference, MVD)를 획득하는 단계;
    상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 MVP 및 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 MVD에 기초하여, 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 모션 벡터(motion vector, MV)를 도출하는 단계;
    상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 MV에 따라, 상기 현재 이미지 블록의 각각의 픽셀 포인트 또는 각각의 픽셀 행렬의 모션 벡터를 도출하는 단계; 및
    상기 현재 이미지 블록의 각각의 픽셀 포인트 또는 각각의 픽셀 행렬의 모션 벡터에 기초하여 상기 현재 이미지 블록의 예측값을 획득하는 단계
    를 포함하는 현재 이미지 블록의 인터 예측을 위한 방법.
  2. 제1항에 있어서,
    상기 현재 이미지 블록의 각각의 픽셀 포인트 또는 각각의 픽셀 행렬의 모션 벡터에 기초하여 상기 현재 이미지 블록의 예측값을 획득하는 단계는,
    상기 현재 이미지 블록의 참조 프레임 정보 및 상기 현재 이미지 블록의 각각의 픽셀 포인트 또는 각각의 픽셀 행렬의 모션 벡터에 따라 모션 보상을 통해 상기 현재 이미지 블록의 각각의 픽셀 포인트 또는 각각의 픽셀 행렬의 예측값을 획득하는 단계; 및
    상기 현재 이미지 블록의 각각의 픽셀 포인트 또는 각각의 픽셀 행렬의 예측값에 기초하여, 상기 현재 이미지 블록의 예측값을 획득하는 단계
    를 포함하는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  3. 제2항에 있어서,
    상기 현재 이미지 블록의 참조 프레임 정보는 상기 비트스트림으로부터 파싱되는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  4. 제1항에 있어서,
    상기 현재 이미지 블록의 상기 적어도 두 개의 제어 포인트의 MVP는 상기 비트스트림에 포함되는 인덱스 또는 상기 후보 아핀 블록에 대응하는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 후보 아핀 블록의 적어도 두 개의 제어 포인트의 모션 벡터에 따라서 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 모션 벡터 예측자(motion vector predictor, MVP)를 도출하는 단계는,
    6-파라미터 아핀 모델이 상기 현재 이미지 블록을 위해 사용될 때, 상기 후보 아핀 블록의 세 개의 제어 포인트의 모션 벡터에 따라 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 MVP를 도출하는 단계; 또는
    4-파라미터 아핀 모델이 상기 현재 이미지 블록을 위해 사용될 때, 상기 후보 아핀 블록의 두 개의 제어 포인트의 모션 벡터에 따라 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 MVP를 도출하는 단계
    를 포함하는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 후보 아핀 블록의 적어도 두 개의 제어 포인트의 모션 벡터에 따라서 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 모션 벡터 예측자(motion vector predictor, MVP)를 도출하는 단계는,
    상기 후보 아핀 블록의 폭과 높이 중 적어도 하나 및 상기 후보 아핀 블록의 적어도 두 개의 제어 포인트의 모션 벡터에 따라 상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 MVP를 도출하는 단계
    를 포함하는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  7. 제6항에 있어서,
    상기 후보 아핀 블록의 폭과 높이 중 적어도 하나는, 상기 후보 아핀 블록의 상기 적어도 두 개의 제어 포인트의 위치 좌표와 연관되는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  8. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 후보 아핀 블록은 사각 블록이고,
    상기 후보 아핀 블록의 제어 포인트는, 상기 후보 아핀 블록의 왼쪽 상단 코너 포인트, 오른쪽 상단 코너 포인트, 왼쪽 하단 코너 포인트, 오른쪽 하단 코너 포인트 중 두 개 이상을 포함하는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  9. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 현재 이미지 블록은 사각 블록이고,
    상기 현재 이미지 블록의 제어 포인트는, 상기 현재 이미지 블록의 왼쪽 상단 코너 포인트, 오른쪽 상단 코너 포인트, 왼쪽 하단 코너 포인트, 오른쪽 하단 코너 포인트 중 두 개 이상을 포함하는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  10. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 현재 이미지 블록의 적어도 두 개의 제어 포인트의 MV에 따라, 상기 현재 이미지 블록의 각각의 픽셀 포인트 또는 각각의 픽셀 행렬의 모션 벡터를 도출하는 단계는,
    상기 현재 이미지 블록의 두 개의 제어 포인트의 상기 모션 벡터에 따라, 상기 현재 이미지 블록의 각각의 픽셀 포인트의 모션 벡터를 도출하는 단계
    Figure 112022028845432-pat00479

    를 포함하고,
    Figure 112022028845432-pat00480
    및
    Figure 112022028845432-pat00481
    는 각각 상기 현재 이미지 블록의 픽셀 포인트의 수평 및 수직 좌표를 나타내고,
    Figure 112022028845432-pat00482
    및
    Figure 112022028845432-pat00483
    는 상기 이미지 블록에서 픽셀 포인트의 대응하는 수평 및 수직 모션 벡터를 나타내고,
    Figure 112022028845432-pat00484
    ,
    Figure 112022028845432-pat00485
    ,
    Figure 112022028845432-pat00486
    , 및
    Figure 112022028845432-pat00487
    는 각각 상기 현재 이미지 블록의 두 개의 제어 포인트의 수평 및 수직 좌표를 나타내고,
    Figure 112022028845432-pat00488
    ,
    Figure 112022028845432-pat00489
    ,
    Figure 112022028845432-pat00490
    , 및
    Figure 112022028845432-pat00491
    는 각각 상기 현재 이미지 블록의 두 개의 제어 포인트의 대응하는 수평 및 수직 모션 벡터를 나타내는,
    현재 이미지 블록의 인터 예측을 위한 방법.
  11. 제1항 내지 제4항 중 어느 한 항에 따른 방법을 수행하기 위한 처리 회로를 포함하는 디코더.
  12. 하나 이상의 프로세서에 의해 실행되면, 상기 하나 이상의 프로세서로 하여금 제1항 내지 제4항 중 어느 한 항에 따른 방법을 수행하도록 하는 컴퓨터 명령어를 저장하는 비일시적인 컴퓨터 판독 가능 매체.
  13. 제1항 내지 제4항 중 어느 한 항에 따른 방법에 의해 디코딩되는 비트스트림을 포함하는 비일시적인 저장 매체.
KR1020217022989A 2015-08-29 2015-12-31 이미지 예측 방법 및 장치 KR102408278B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201510543542.8A CN105163116B (zh) 2015-08-29 2015-08-29 图像预测的方法及设备
CN201510543542.8 2015-08-29
KR1020207021446A KR102281830B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치
PCT/CN2015/100091 WO2017036045A1 (zh) 2015-08-29 2015-12-31 图像预测的方法及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207021446A Division KR102281830B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210093387A KR20210093387A (ko) 2021-07-27
KR102408278B1 true KR102408278B1 (ko) 2022-06-13

Family

ID=54803857

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217022989A KR102408278B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치
KR1020207021446A KR102281830B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치
KR1020217022988A KR102408277B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치
KR1020187006066A KR102138931B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020207021446A KR102281830B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치
KR1020217022988A KR102408277B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치
KR1020187006066A KR102138931B1 (ko) 2015-08-29 2015-12-31 이미지 예측 방법 및 장치

Country Status (21)

Country Link
US (3) US10880543B2 (ko)
EP (2) EP3331242B1 (ko)
JP (2) JP6669855B2 (ko)
KR (4) KR102408278B1 (ko)
CN (3) CN105163116B (ko)
AU (5) AU2015407876B2 (ko)
BR (3) BR122020023963B1 (ko)
DK (1) DK3331242T3 (ko)
ES (1) ES2946901T3 (ko)
FI (1) FI3331242T3 (ko)
HR (1) HRP20230509T1 (ko)
HU (1) HUE063094T2 (ko)
LT (1) LT3331242T (ko)
MX (3) MX2018002414A (ko)
PL (1) PL3331242T3 (ko)
PT (1) PT3331242T (ko)
RU (3) RU2714362C2 (ko)
SG (3) SG10202106076VA (ko)
SI (1) SI3331242T1 (ko)
WO (1) WO2017036045A1 (ko)
ZA (2) ZA202109388B (ko)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163116B (zh) 2015-08-29 2018-07-31 华为技术有限公司 图像预测的方法及设备
CN109274974B (zh) 2015-09-29 2022-02-11 华为技术有限公司 图像预测的方法及装置
GB2561507B (en) * 2016-01-07 2021-12-22 Mediatek Inc Method and apparatus for affine merge mode prediction for video coding system
CN111526361B (zh) 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
ES2737841B1 (es) * 2016-02-25 2021-07-27 Kt Corp Método y aparato para procesar señales de vídeo
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
CN113612994B (zh) * 2016-03-15 2023-10-27 寰发股份有限公司 具有仿射运动补偿的视频编解码的方法
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
KR20240025714A (ko) * 2016-03-24 2024-02-27 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10939096B2 (en) * 2016-05-05 2021-03-02 Interdigital Madison Patent Holdings, Sas Control-point based intra direction representation for intra coding
CN109076234A (zh) * 2016-05-24 2018-12-21 华为技术有限公司 图像预测方法和相关设备
EP3449630B1 (en) * 2016-05-28 2024-07-10 Mediatek Inc. Method and apparatus of current picture referencing for video coding
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
CN108271023B (zh) * 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
US11082721B2 (en) * 2017-09-07 2021-08-03 Lg Electronics Inc. Method and apparatus for entropy-encoding and entropy-decoding video signal
CN109510991B (zh) * 2017-09-15 2021-02-19 浙江大学 一种运动矢量导出方法及装置
EP3468195A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
CN111247806B (zh) * 2017-10-27 2023-11-14 松下电器（美国）知识产权公司 解码装置和解码方法
CN109729352B (zh) * 2017-10-27 2020-07-21 华为技术有限公司 确定仿射编码块的运动矢量的方法和装置
US11889100B2 (en) 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
US20190208211A1 (en) * 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors
CN108449599B (zh) * 2018-03-23 2021-05-18 安徽大学 一种基于面透射变换的视频编码与解码方法
WO2019194507A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 어파인 움직임 예측에 기반한 영상 코딩 방법 및 그 장치
FI3780616T3 (fi) * 2018-04-13 2024-03-25 Lg Electronics Inc Menetelmä ja laite inter-ennustusta varten videonkäsittelyjärjestelmässä
WO2019199152A1 (ko) * 2018-04-14 2019-10-17 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2019199106A1 (ko) * 2018-04-14 2019-10-17 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
KR20230125338A (ko) * 2018-06-18 2023-08-29 엘지전자 주식회사 어파인 모션 예측을 사용하여 비디오 신호를 처리하기위한 방법 및 장치
GB2589221B (en) 2018-06-19 2023-03-22 Beijing Bytedance Network Tech Co Ltd Mode dependent MVD precision set
KR102608181B1 (ko) * 2018-07-02 2023-11-30 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020006969A1 (zh) * 2018-07-02 2020-01-09 华为技术有限公司 运动矢量预测方法以及相关装置
CN118301334A (zh) 2018-07-11 2024-07-05 华为技术有限公司 视频编码器、视频解码器及相应方法
US11051025B2 (en) 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
WO2020038232A1 (zh) * 2018-08-21 2020-02-27 华为技术有限公司 一种图像块的运动信息的预测方法及装置
CN117499672A (zh) * 2018-08-27 2024-02-02 华为技术有限公司 一种视频图像预测方法及装置
CN116647696A (zh) * 2018-09-06 2023-08-25 Lg电子株式会社 图像解码方法、图像编码方法、存储介质和发送方法
CN110891176B (zh) * 2018-09-10 2023-01-13 华为技术有限公司 基于仿射运动模型的运动矢量预测方法及设备
WO2020058886A1 (en) 2018-09-19 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Fast algorithms for adaptive motion vector resolution in affine mode
CN110944182B (zh) * 2018-09-23 2023-06-09 北京字节跳动网络技术有限公司 仿射模式中的子块的运动矢量推导
CN110944206B (zh) 2018-09-23 2023-05-26 北京字节跳动网络技术有限公司 涉及仿射运动的一般应用
WO2020058952A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. 8-parameter affine mode
CN110971899B (zh) * 2018-10-01 2021-06-01 华为技术有限公司 一种确定运动信息的方法、帧间预测方法及装置
WO2020084473A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Multi- iteration motion vector refinement
WO2020085953A1 (en) * 2018-10-25 2020-04-30 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for inter prediction
CN111107354A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 一种视频图像预测方法及装置
CN117459722A (zh) 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
CN113039802B (zh) * 2018-11-16 2024-05-14 北京字节跳动网络技术有限公司 基于历史的仿射参数的使用
CN113056914B (zh) 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020114517A1 (en) * 2018-12-08 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Shifting on affine parameters
CN113196750B (zh) * 2018-12-14 2024-07-12 北京字节跳动网络技术有限公司 Mv位置的高准确度
CN111355961B (zh) * 2018-12-24 2023-11-03 华为技术有限公司 一种帧间预测的方法和装置
EP3902257A4 (en) 2018-12-27 2022-01-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. CODING PREDICTION METHOD AND DEVICE AND COMPUTER STORAGE MEDIUM
WO2020156576A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Multi-hmvp for affine
WO2020169109A1 (en) 2019-02-22 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Sub-table for history-based affine mode
KR20210142610A (ko) * 2019-03-05 2021-11-25 브이아이디 스케일, 인크. Affine 모션 모델 유도 방법
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
CN113992916B (zh) * 2019-03-25 2023-06-27 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
JP2022529735A (ja) * 2019-04-25 2022-06-23 オーピー ソリューションズ， エルエルシー 大域的運動ベクトルの効率的なコーディング
CN113596464A (zh) * 2019-09-23 2021-11-02 杭州海康威视数字技术股份有限公司 编解码方法方法、装置及设备
CN114830665B (zh) 2019-09-30 2023-08-04 华为技术有限公司 仿射运动模型限制
CN114503558B (zh) * 2019-09-30 2023-10-20 华为技术有限公司 插值滤波器在仿射运动补偿中的适应性使用
WO2021045657A2 (en) 2020-01-07 2021-03-11 Huawei Technologies Co., Ltd. Motion vector range derivation for enhanced interpolation filter
CN113068041B (zh) * 2021-03-12 2022-02-08 天津大学 一种智能仿射运动补偿编码方法
CN114584792A (zh) * 2021-10-13 2022-06-03 同济大学 点预测中定期更新点矢量的值的数据编码解码方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001015456A1 (en) 1999-08-26 2001-03-01 M-Wave Limited Global motion estimation and compensation in video compression

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037859A2 (en) * 2000-11-03 2002-05-10 Compression Science Video data compression system
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
AU2005286786B2 (en) * 2004-09-21 2010-02-11 Euclid Discoveries, Llc Apparatus and method for processing video data
US8693540B2 (en) * 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
CN100486336C (zh) * 2006-09-21 2009-05-06 上海大学 基于h.264压缩域运动对象实时分割方法
KR101366242B1 (ko) * 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
WO2009096721A2 (en) * 2008-01-29 2009-08-06 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
KR101003105B1 (ko) * 2008-01-29 2010-12-21 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
CN101605256A (zh) * 2008-06-12 2009-12-16 华为技术有限公司 一种视频编解码的方法及装置
RU2421814C2 (ru) 2009-02-20 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ формирования составного изображения
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
CN101771878B (zh) * 2010-01-14 2011-05-25 广西大学 面向全景视频编码的自适应选择全局运动估计方法
JP5686018B2 (ja) * 2010-05-21 2015-03-18 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法および画像符号化プログラム
WO2012012582A1 (en) * 2010-07-21 2012-01-26 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2014005548A1 (en) 2012-07-05 2014-01-09 Mediatek Inc. Method and apparatus of unified disparity vector derivation for 3d video coding
WO2014078068A1 (en) 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN112087630B (zh) 2014-09-30 2022-04-08 华为技术有限公司 图像预测方法、装置、解码器及存储介质
CN104363451B (zh) 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
US10728571B2 (en) * 2015-08-04 2020-07-28 Lg Electronics Inc. Inter prediction method and device in video coding system
CN114866770A (zh) * 2015-08-07 2022-08-05 Lg 电子株式会社 视频编译***中的帧间预测方法和装置
CN105163116B (zh) * 2015-08-29 2018-07-31 华为技术有限公司 图像预测的方法及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001015456A1 (en) 1999-08-26 2001-03-01 M-Wave Limited Global motion estimation and compensation in video compression

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. 265: High efficiency video coding. Recommendation ITU-T H.265, 2013.04.*
Han Huang, et al. Control-Points Representation and Differential Coding for Affine Motion Compensation. IEEE TRANSACTION ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY. 2013.10.31.*

Also Published As

Publication number Publication date
EP3331242A4 (en) 2018-10-17
KR20200090985A (ko) 2020-07-29
ZA202109388B (en) 2023-03-29
LT3331242T (lt) 2023-07-25
AU2021203875A1 (en) 2021-07-08
AU2021212103A1 (en) 2021-08-26
AU2019229381B2 (en) 2021-07-08
US10880543B2 (en) 2020-12-29
US20180192047A1 (en) 2018-07-05
CN105163116B (zh) 2018-07-31
RU2693904C1 (ru) 2019-07-05
EP4274226A1 (en) 2023-11-08
RU2714362C2 (ru) 2020-02-14
RU2020102708A (ru) 2021-07-23
PT3331242T (pt) 2023-06-09
US20220295047A1 (en) 2022-09-15
HRP20230509T1 (hr) 2023-08-04
EP3331242A1 (en) 2018-06-06
PL3331242T3 (pl) 2023-07-10
WO2017036045A1 (zh) 2017-03-09
BR122020023963B1 (pt) 2024-02-15
DK3331242T3 (da) 2023-06-12
KR102408277B1 (ko) 2022-06-13
CN108965869A (zh) 2018-12-07
JP2018529255A (ja) 2018-10-04
BR122020023970B1 (pt) 2024-02-15
MX2018002414A (es) 2018-08-15
JP7237874B2 (ja) 2023-03-13
EP3331242B1 (en) 2023-05-10
SI3331242T1 (sl) 2023-07-31
SG10202106074TA (en) 2021-07-29
KR102138931B1 (ko) 2020-07-28
AU2021212122A1 (en) 2021-08-26
AU2019229381A1 (en) 2019-10-03
KR20180035881A (ko) 2018-04-06
ES2946901T3 (es) 2023-07-28
KR20210093386A (ko) 2021-07-27
KR20210093387A (ko) 2021-07-27
JP2020109976A (ja) 2020-07-16
RU2019117128A3 (ko) 2019-11-28
AU2015407876A1 (en) 2018-03-01
CN105163116A (zh) 2015-12-16
SG11201800920QA (en) 2018-03-28
AU2015407876B2 (en) 2019-06-13
CN108600749A (zh) 2018-09-28
CN108965869B (zh) 2023-09-12
US11368678B2 (en) 2022-06-21
BR112018003653B1 (pt) 2024-03-12
MX2021003044A (es) 2023-01-13
ZA202109389B (en) 2022-08-31
BR112018003653A2 (pt) 2018-09-25
FI3331242T3 (fi) 2023-05-25
US20210092364A1 (en) 2021-03-25
AU2021212122B2 (en) 2022-08-04
RU2019117128A (ru) 2019-07-02
CN108600749B (zh) 2021-12-28
MX2021003042A (es) 2023-01-13
SG10202106076VA (en) 2021-07-29
US11979559B2 (en) 2024-05-07
JP6669855B2 (ja) 2020-03-18
KR102281830B1 (ko) 2021-07-23
AU2021212103B2 (en) 2022-08-04
HUE063094T2 (hu) 2024-01-28

Similar Documents

Publication Publication Date Title
KR102408278B1 (ko) 이미지 예측 방법 및 장치
US11252436B2 (en) Video picture inter prediction method and apparatus, and codec
CN112040229B (zh) 视频解码方法、视频解码器及计算机可读存储介质
KR20210134034A (ko) 서브블록 기반 로컬 조명 보상을 이용한 비디오 인코딩 및 디코딩 방법 및 장치
KR102094222B1 (ko) 참조 영상 인코딩 방법, 참조 영상 디코딩 방법, 참조 영상 인코딩 디바이스 및 참조 영상 디코딩 디바이스
KR102438149B1 (ko) 비디오 코딩을 위한 위치 종속 공간 가변 변환
RU2809673C2 (ru) Способ и устройство предсказания изображения
RU2808688C2 (ru) Способ и устройство предсказания изображения
CN118216148A (zh) 一种视频编码方法及其相关装置
KR20220123643A (ko) 삼각형 병합 모드에서의 서브-블록 병합 후보들
KR20220035108A (ko) 행렬 기반 인트라 예측을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
WO2023055967A1 (en) Candidate derivation for affine merge mode in video coding
CN114097235A (zh) 用于仿射和sbtmvp运动矢量预测模式的hmvc

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant