KR20210134397A - 필터링 방법 및 장치, 컴퓨터 저장 매체 - Google Patents
필터링 방법 및 장치, 컴퓨터 저장 매체 Download PDFInfo
- Publication number
- KR20210134397A KR20210134397A KR1020217032829A KR20217032829A KR20210134397A KR 20210134397 A KR20210134397 A KR 20210134397A KR 1020217032829 A KR1020217032829 A KR 1020217032829A KR 20217032829 A KR20217032829 A KR 20217032829A KR 20210134397 A KR20210134397 A KR 20210134397A
- Authority
- KR
- South Korea
- Prior art keywords
- filtering
- filter
- neural network
- parameter
- parameters
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 814
- 238000000034 method Methods 0.000 title claims abstract description 157
- 238000013528 artificial neural network Methods 0.000 claims abstract description 174
- 230000003044 adaptive effect Effects 0.000 claims description 102
- 238000012549 training Methods 0.000 claims description 78
- 238000012805 post-processing Methods 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 description 28
- 238000013527 convolutional neural network Methods 0.000 description 22
- 238000013139 quantization Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 출원의 실시예가 필터링 방법 및 장치, 컴퓨터 저장 매체를 제공하는 바, 방법에는, 필터링하고자 하는 픽셀 정보를 취득하며; 에지 정보를 결정하며; 필터링하고자 하는 픽셀 정보와 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하고 취득하며, 여기에서, 상기 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득한 것이 포함된다.
Description
본 출원의 실시예는 비디오 인코딩/디코딩의 기술 분야에 관한 것으로, 특히 필터링 방법 및 장치, 컴퓨터 저장 매체에 관한 것이다.
비디오 인코딩/디코딩 시스템에서, 픽처/비디오 필터링은 필터를 사용하여 구현된 것이며, 여기에서, 사전 처리 필터가 오리지널 픽처에 대하여 사전 처리하고, 비디오 해상도를 낮추며, 인코딩이 표시한 비디오 해상도가 오리지널 비디오의 해상도보다 낮아야 하기 때문에, 이렇게 하면, 더 적은 비트를 사용하고 표시하여 전체의 인코딩 효율을 향상시킬 수 있으며; 후 처리 필터가 인루프 필터링된 후의 비디오에 대하여 처리하고, 비디오를 출력하여 비디오 해상도를 향상시키며; 루프 필터가 재구성 픽처의 주객관 품질을 향상시키는 데 사용된다.
사전 처리 필터, 루프 필터 및 후 처리 필터에 있어서, 모두가 합성곱 신경망을 사용하여 구현된 것이며, 합성곱 신경망을 기반으로 한 필터가 오프라인 훈련된 것과 온라인 훈련된 것 두 가지로 나누게 될 수 있다. 오프라인 훈련된 필터에 있어서, 신경망의 모든 가중 파라미터가 훈련 완성된 후 동시에 인코딩단과 디코딩단에 구비될 수 있지만 가중 계수가 고정되어있기 때문에 필터 성능이 어느 한 비디오 내용의 상황 하에서 퇴화할 수 있다. 온라인 훈련된 필터에 있어서, 네트워크의 가중 파라미터가 빈번하게 다시 훈련되고 업데이트되어야 하기 때문에 가중 계수가 비트 스트림에서 전송되어야 하고, 컴퓨팅 량과 복잡성이 높고 또한 너무 좁은 범위의 비디오 내용의 처리에 적용되어 비교적으로 한정된다.
본 출원의 실시예가 필터링 방법 및 장치, 컴퓨터 판독가능 저장 매체를 제공하는 바, 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다.
본 출원의 실시예의 기술 방안은 다음과 같이 구현될 수 있다.
본 출원의 실시예가 필터링 방법을 제공하는 바,
필터링하고자 하는 픽셀 정보를 취득하며;
에지 정보를 결정하며;
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하고 취득하며, 여기에서, 상기 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득되는 것이 포함된다.
본 출원의 실시예가 또한 필터링 방법을 제공하는 바, 비디오에 대하여 인코딩을 진행하는 것에는,
적응형 필터의 필터링 파라미터를 결정하며;
상기 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하며;
제1 필터링 파라미터를 결정하며, 여기에서, 상기 제1 필터링 파라미터는 인코딩을 진행하야 할 상기 필터링 파라미터 중의 일부 필터링 파라미터이며;
상기 제1 필터링 파라미터에 대하여 인코딩을 진행하고, 비디오 비트 스트림에 기입하는 것이 포함된다.
본 출원의 실시예가 또한 필터링 방법을 제공하는 바, 비디오 비트 스트림에 대하여 디코딩을 진행하는 것에는,
비디오 비트 스트림을 해석하고, 적응형 필터의 제1 필터링 파라미터를 결정하며, 여기에서, 상기 제1 필터링 파라미터는 상기 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터이며;
상기 제1 필터링 파라미터에 의하여 상기 적응형 필터의 전부 필터링 파라미터를 결정하며;
상기 전부 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하는 것이 포함된다.
본 출원의 실시예가 필터링 장치를 제공하는 바,
필터링하고자 하는 픽셀 정보를 취득하도록 구성되는 제1 취득 부분;
에지 정보를 결정하도록 구성되는 제1 결정 부분;
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하고 취득하며, 여기에서, 상기 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득되는 제1 필터링 부분이 포함된다.
본 출원의 실시예가 또한 필터 장치를 제공하는 바, 비디오에 대하여 인코딩을 진행하는 것에는,
적응형 필터의 필터링 파라미터를 결정하도록 구성되는 제2 결정 부분;
상기 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하는 제2 필터링 부분;
상기 제2 결정 부분은, 또한 제1 필터링 파라미터를 결정하며, 여기에서, 상기 제1 필터링 파라미터는 인코딩을 진행하야 할 상기 필터링 파라미터 중의 일부 필터링 파라미터이며;
상기 제1 필터링 파라미터에 대하여 인코딩을 진행하고, 비디오 비트 스트림에 기입하는 제2 기입 부분이 포함된다.
본 출원의 실시예가 또한 필터링 장치를 제공하는 바, 비디오에 대하여 디코딩을 진행하는 것에는,
비디오 비트 스트림을 해석하고, 적응형 필터의 제1 필터링 파라미터를 결정하며, 여기에서, 상기 제1 필터링 파라미터는 상기 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터이며; 및 상기 제1 필터링 파라미터에 의하여 상기 적응형 필터의 전부 필터링 파라미터를 결정하는 제3 결정 부분;
상기 전부 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하는 제3 필터링 부분이 포함된다.
본 출원의 실시예가 또한 필터링 장치를 제공하는 바,
실행가능한 명령을 저장하는 기억장치;
상기 기억장치 중에 저장된 실행가능한 명령을 실행할 때, 본 출원의 실시예가 제공하는 필터링 방법을 구현하는 프로세서가 포함된다.
본 출원의 실시예가 컴퓨터 저장 매체를 제공하는 바, 실행가능한 명령을 저장하고, 프로세서에 의하여 실행될 때, 본 출원의 실시예가 제공하는 필터링 방법을 구현한다.
본 출원의 실시예가 구체적으로 다음과 같은 유익한 효과를 가진다.
필터링 장치가 필터링하고자 하는 픽셀 정보에 대하여, 필터링하고자 하는 비디오 프레임의 에지 정보를 결정하며, 에지 정보와 필터링하고자 하는 픽셀을 필터에 입력하고 필터링하고, 필터링된 픽셀을 출력하며, 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득된 것이기 때문에 이렇게 하면 필터링할 때 오프라인 필터링 부분을 사용할 수 있고, 너무 넓은 범위의 비디오의 필터링에 적용되며, 동시에 또한 온라인 필터링 부분의 파라미터의 업데이트를 확보하고, 필터링 성능의 퇴화를 피할 수 있어, 즉 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다.
도1은 본 출원의 실시예가 제공하는 인코딩 블럭도의 구조 도면이다.
도2는 본 출원의 실시예가 제공하는 디코딩 블럭도의 구조 도면이다.
도3은 본 출원의 실시예가 제공하는 필터링 방법의 선택가능한 흐름 도면이다.
도4는 본 출원의 실시예가 제공하는 블록 구분 매트릭스의 구조 도면이다.
도5는 본 출원의 실시예가 제공하는 필터의 연결 방식 도면1이다.
도6은 본 출원의 실시예가 제공하는 필터의 연결 방식 도면2이다.
도7은 본 출원의 실시예가 제공하는 필터의 연결 방식 도면3이다.
도8은 본 출원의 실시예가 제공하는 필터의 연결 방식 도면4이다.
도9는 본 출원의 실시예가 제공하는 필터의 연결 방식 도면5이다.
도10은 본 출원의 실시예가 제공하는 필터링 방법의 다른 일 선택가능한 흐름 도면이다.
도11은 본 출원의 실시예가 제공하는 필터링 장치의 선택가능한 구조 도면이다.
도12는 본 출원의 실시예가 제공하는 필터링 장치의 다른 일 선택가능한 구조 도면이다.
도2는 본 출원의 실시예가 제공하는 디코딩 블럭도의 구조 도면이다.
도3은 본 출원의 실시예가 제공하는 필터링 방법의 선택가능한 흐름 도면이다.
도4는 본 출원의 실시예가 제공하는 블록 구분 매트릭스의 구조 도면이다.
도5는 본 출원의 실시예가 제공하는 필터의 연결 방식 도면1이다.
도6은 본 출원의 실시예가 제공하는 필터의 연결 방식 도면2이다.
도7은 본 출원의 실시예가 제공하는 필터의 연결 방식 도면3이다.
도8은 본 출원의 실시예가 제공하는 필터의 연결 방식 도면4이다.
도9는 본 출원의 실시예가 제공하는 필터의 연결 방식 도면5이다.
도10은 본 출원의 실시예가 제공하는 필터링 방법의 다른 일 선택가능한 흐름 도면이다.
도11은 본 출원의 실시예가 제공하는 필터링 장치의 선택가능한 구조 도면이다.
도12는 본 출원의 실시예가 제공하는 필터링 장치의 다른 일 선택가능한 구조 도면이다.
본 출원의 실시예의 특점과 기술 내용을 더 자세히 알아보기 위하여 아래는 도면을 참조하여 본 출원의 실시예의 구현에 대하여 상세하게 설명하도록 하여, 상기 첨부된 도면은 단지 참조 설명을 위한 것일 뿐, 본 출원의 실시예에 대하여 제한하는 것이 아니다.
비디오 인코딩/디코딩 시스템에서, 인코딩하고자 하는 비디오에 오리지널 비디오 프레임이 포함되고, 오리지널 비디오 프레임에 오리지널 픽처가 포함되어, 해당 오리지널 픽처에 대하여 여러가지 처리, 예를 들면, 예측, 변환, 양자화, 재구성 및 필터링 등을 진행하며, 이러한 처리 과정에서, 이미 처리된 비디오 픽처는 오리지널 픽처에 비하면 픽셀 값의 오프셋이 발생할 수 있으므로 시각장애 또는 가상을 초래한다. 그리고, 대다수의 비디오 인코딩/디코딩 시스템이 사용하는 블록 코딩 유닛(CU， Coding Unit)을 기반으로 한 하이브리드 인코딩 프레임 하에서, 인접된 인코딩 블록이 다른 인코딩 파라미터(예를 들면, 다른 변환 과정, 다른 양자화 파라미터(QP，Quantization Parameter), 다른 예측 방식, 다른 참조 픽처 프레임 등)를 사용하고, 각 인코딩 블록이 도입한 오차 크기 및 이의 분포 특성의 서로 독립하고, 인접된 인코딩 블록 경계의 불연속성으로 인해 블록 효과를 일으킨다. 이러한 왜곡 손실은 재구성 픽처 블록의 주객관 품질에 영향을 미치고, 만일 재구성 픽처 블록은 후속 인코딩 픽셀의 참조 픽처로 하면, 심지어 후속 인코딩/디코딩의 예측 정확성에 영향을 미치고, 나아가 비디오 비트 스트림 중 비트의 크기에 영향을 미친다. 따라서, 비디오 인코딩/디코딩 시스템에서, 사전 처리 필터, 후 처리 필터와 인루프 필터（In-Loop Filter）등이 가입되어 재구성 픽처의 주객관 품질을 향상시킨다.
도1은 전통 인코딩 블럭도의 구조 도면으로서, 도1에 도시된 바와 같이, 해당 전통 인코딩 블럭도(10)에 변환 및 양자화 유닛(101), 역변환 및 역양자화 유닛(102), 예측 유닛(103), 인루프 필터링 유닛(104), 엔트로피 코딩 유닛(105) , 사전 처리 필터링 유닛(106)과 후 처리 필터링 유닛(107) 등 부품이 포함될 수 있으며; 여기에서, 예측 유닛(103)에 또한 인트라 예측 유닛(1031)과 인터 예측 유닛(1032)이 포함된다. 입력된 오리지널 픽처에 대하여 초기 구분을 통하여 코딩 트리 유닛（CTU，Coding Tree Unit)을 취득할 수 있고, 하나의 CTU에 대하여 계속하여 내용 적응형 구분을 진행하고, CU를 취득할 수 있어, CU에 일반적으로 하나 또는 다수 개의 코딩 블록（CB，Coding Block）이 포함된다. 인코딩 블록에 대하여 인트라 예측 유닛(1031)의 인트라 예측 또는 인터 예측 유닛(1032)의 인터 예측을 진행하면, 잔여 정보를 취득할 수 있으며; 해당 전여 정보를 변환 및 양자화 유닛(101)을 통하여 해당 인코딩 블록에 대하여 변환을 진행하고, 전여 정보를 픽셀 도메인으로부터 변환 도메인으로 변환하는 것이 포함되고, 또한 취득된 변환 계수에 대하여 양자화를 진행하고 진일보로 비트 레이트를 감소시키며; 예측 모드를 결정한 후, 예측 유닛(103)은 또한 선택된 인트라 예측 데이터 또는 인터 예측 데이터를 엔트로피 코딩 유닛(105)으로 제공하며; 그리고, 역변환과 역양자화 유닛(102)은 해당 인코딩 블록의 재구성에 이용되고, 픽셀 도메인에서 잔여 블록을 재구성하며, 해당 재구성된 잔여 블록을 인루프 필터링 유닛(104)을 통하여 블록 효과 아티팩트를 제거한 후, 해당 재구성된 잔여 블록을 디코딩 픽처 캐시 유닛에 추가하여 재구성을 거친 참조 픽처를 생성하며; 엔트로피 코딩 유닛(105)은 여러가지 인코딩 파라미터 및 양자화된 후의 변환 계수를 인코딩하며, 예를 들면, 엔트로피 코딩 유닛(105)은 헤드 정보를 사용하여 인코딩하고 및 컨텍스트를 기반으로 한 적응형 2진수 산술 코딩（CABAC，Context-based Adaptive Binary Arithmatic Coding） 알고리즘을 사용하여, 결정된 예측 모드를 지시하는 인코딩 정보를 인코딩하고 대응되는 비트 스트림을 출력할 수 있다.
도1 중의 전통 인코딩 블럭도(10)에 대하여, 인루프 필터링 유닛(104)은 루프 필터이고, 또한 인루프 필터라고 칭하며, 이에 블록화 제거 필터（DBF, De-Blocking Filter）, 생플링 포인트 적응형 오프셋（SAO, Sample Adaptive Offset） 필터와 적응형 루프 필터(ALF, Adaptive Loop Filter) 등이 포함될 수 있다. 여기에서, 블록화 제거 필터가 블록화 제거 필터링을 구현하고, 차세대 비디오 인코딩 기준 H.266/ 다중 기능 비디오 코딩（Versatile Video Coding, VVC）에서, 오리지널 픽처 중 모든 인코딩 블록 경계에 대하여, 먼저 경계 양쪽의 인코딩 파라미터에 의하여 경계 강도의 판정을 진행하고, 및 컴퓨팅하여 취득한 블록 경계 질감 값에 의하여 블록화 제거의 필터링 정책을 진행하는지 판단하고, 마지막으로 경제 강도, 필터링 정책에 의하여 인코딩 블록 경계 양쪽의 픽셀 정보에 대하여 수정 처리를 진행한다. VVC에서, 블록화 제거 필터링을 실행한 후, 고주파수 교류 계수의 양자화 왜곡을 감소하기 위하여 또한 SAO 기술 즉 샘플링 포인트 적응형 보상 필터를 도입하며; 나아가, 픽셀 도메인으로부터 착수하여 피크 처의 픽셀에 음수 값을 추가하고, 밸리 처의 픽셀에 양수 값을 추가하여 보상 처리를 진행한다. VVC에서, 블록화 제거 필터링과 샘플링 포인트 적응형 보상 필터링을 실행한 후, 또한 진일보로 적응형 루프 필터를 사용하여 필터링 처리를 진행해야 하며; 적응형 루프 필터링에 있어서, 이는 오리지널 픽처의 픽셀 값과 왜곡 픽처의 픽셀 값에 의하여 컴퓨팅하여 평균 제곱 의미 하의 최적화 필터를 취득한다.
도1 중의 전통 인코딩 블럭도(10)에 있어서, 사전 처리 필터링 유닛(106)은 입력된 오리지널 비디오 프레임을 수신하고 오리지널 비디오 프레임에 대하여 사전 처리 필터링을 진행하고 비디오의 해상도를 낮추며, 후 처리 필터링 유닛(107)은 인루프 필터링된 비디오 프레임을 수신하고, 인루프 필터링된 비디오 프레임에 대하여 후 처리 필터링을 진행하고 비디오의 해상도를 향상시키며, 이렇게 하면, 비디오의 인코딩/디코딩 과정에서 비교적 적은 비트를 사용하고 재구성 비디오 프레임을 취득하여 전체 인코딩/디코딩의 효율을 향상시킬 수 있다. 현재 사전 처리 필터와 후 처리 필터가 모두 사용하는 신경망의 입력은 단일 입력 또는 다중 입력, 즉 입력할 때 단일 픽처 컴포넌크 또는 다중 픽처 컴포넌크이고, 픽처 재구성을 구현한다.
도1 중의 인코딩 블럭도와 유사하게, 도2는 전통 디코딩 블럭도의 구조 도면으로서, 도2에 도시된 바와 같이, 해당 전통 디코딩 블럭도(20)에 엔트로피 코딩 유닛(201), 역양자화 역변환 유닛(202), 예측 유닛(203), 인루프 필터링 유닛(204)과 후 처리 필터링 유닛(205) 등 부품이 포함될 수 있으며; 여기에서, 예측 유닛(203)에 또한 인트라 예측 유닛(2031)과 인터 예측 유닛(2032)이 포함된다. 여기에서, 설명해야 할 바로는, 비디오 디코딩 과정은 비디오 인코딩 과정과 반대되고 또는 상반되는 과정이며, 여기에서, 비디오 디코딩 과정에서 취득한 후 처리 필터링된 후의 픽처를 재구성 비디오 프레임으로 결정하며, 도2로부터 알 수 있는 바와 같이, 디코딩 과정에서 인코딩 과정 중의 사전 처리 필터링 유닛에 언급되지 않고, 단지 후 처리 필터링 유닛과 인루프 필터링 유닛에 언급된다.
본 출원의 실시예에서, 사전 처리 필터링 유닛, 후 처리 필터링 유닛과 인루프 필터링 유닛은 모두 필터 중의 하나일 수 있고, 또한 본 본 출원의 실시예 중의 필터는 합성곱 신경망（Convolutional Neural Networks，CNN） 필터일 수 있고, 또한 기타 딥러닝이 구성한 필터일 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
합성곱 신경망 필터를 예로 들어, 합성곱 신경망 필터는 도1 중의 사전 처리 필터링 유닛, 후 처리 필터링 유닛과 인루프 필터링 유닛을 대체할 수 있을 뿐 아니라, 또한 도1 중의 사전 처리 필터링 유닛, 후 처리 필터링 유닛과 인루프 필터링 유닛 중의 임의의 하나 또는 두 개를 부분적으로 대체할 수 있고, 심지어 또한 도1 중의 사전 처리 필터링 유닛, 후 처리 필터링 유닛과 인루프 필터링 유닛 중의 임의의 하나 또는 다수 개와 조합하고 사용될 수 있다. 또한 주의해야 할 바로는, 도1 중에 도시된 각 부품, 예를 들면, 변환 및 양자화 유닛(101), 역변환 및 역양자화 유닛(102), 예측 유닛(103), 인루프 필터링 유닛(104), 엔트로피 코딩 유닛(105), 사전 처리 필터링 유닛(106)과 후 처리 필터링 유닛(107)에 대하여, 이러한 부품은 가상 모듈일 수 있고, 또한 하드웨어 모듈일 수 있다. 그리고, 당업계 기술자들은 이러한 유닛이 인코딩 블럭도에 대하여 제한하지 않고, 인코딩 블럭도에 도시된 바와 보다 많거나 적은 부품이 포함될 수 있고, 또는 어떠한 부품을 조합하고, 또는 다른 부품 인테리어를 갖는다고 이해할 것이다.
본 출원의 실시예에서, 합성곱 신경망 필터가 인루프 필터링 유닛으로 할 때, 합성곱 신경망 필터가 필터 네트워크 훈련을 진행한 후 직접 인코딩단과 디코딩단에 구비될 수 있다. 그리고 해당 합성곱 신경망 필터가 또한 에지 정보 등 보조 정보와 입력된 필터링하고자 하는 픽처를 처리할 수 있으며; 이렇게 하면, 픽처 에지 정보의 관계를 충분히 이용할 뿐 아니라 나아가 인코딩/디코딩 과정 중 비디오 제구성 픽처의 주객관 품질을 향상시킨다. 합성곱 신경망 필터가 후 처리 필터링 유닛으로 할 때, 합성곱 신경망 필터가 필터링 네트워크 훈련을 진행한 후 직접 디코딩단에 구비될 수 있고, 합성곱 신경망 필터가 사전 처리 필터링 유닛으로 할 때, 합성곱 신경망 필터가 필터링 네트워크 훈련을 진행한 후 직접 인코딩단에 구비될 수 있다.
설명해야 할 바로는, 본 출원의 실시예의 필터링 방법은 필터 유형이 다를 때, 인코딩 시스템 및 디코딩 시스템 중 적어도 하나에 적용될 수 있다. 예를 들면, 인코딩 비트 레이트를 절약하는 동시에 디코딩 시스템이 정확한 디코딩 처리를 진행할 수 있도록 확보하기 위하여 인코딩 시스템과 디코딩 시스템에서 반드시 동기화적으로 본 출원의 실시예의 인루프 필터를 배치해야 한다.
본 출원의 실시예에서, 어느 한 필터가 합성곱 신경망을 사용하는지, 합성곱 신경망을 기반으로 한 필터가 오프라인 훈련된 것과 온라인 훈련된 것 두 가지로 나누게 될 수 있다. 오프라인 훈련된 필터에 있어서, 신경망의 모든 가중 파라미터가 훈련 완성된 후 동시에 인코딩단과 디코딩단에 구비될 수 있지만 가중 계수가 고정되어있기 때문에 필터 성능이 어느 한 비디오 내용의 상황 하에서 퇴화할 수 있다. 온라인 훈련된 필터에 있어서, 네트워크의 가중 파라미터가 빈번하게 다시 훈련되고 업데이트되어야 하기 때문에 가중 계수가 비트 스트림에서 전송되어야 하며, 컴퓨팅 량과 복잡성이 높고 또한 너무 좁은 범위의 비디오 내용의 처리에 적용되어 비교적 한정된다.
상술한 상황에 있어서, 본 출원의 실시예가 필터링 방법을 제공하는 바, 해당 방법은 필터링 장치에 적용되고, 해당 필터링 장치가 인코더 중의 사전 처리 필터와 인루프 필터에 구비될 수 있고, 또한 디코더의 인루프 필터와 후 처리 필터에 구비될 수 있고, 또한 기타 예측 과정에서 사용되는 필터에 적용될 수 있어, 여기에서 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
다시 말하면, 신경망을 기반으로 한 필터가 후 처리 필터링, 인루프 필터링, 사전 처리 필터링 및 예측 과정에 적용된다.
본 출원의 실시예에서, 신경망을 기반으로 한 필터가 후 처리 필터링에 적용될 때, 디코딩단에 구비되며; 신경망을 기반으로 한 필터가 인루프 처리 필터링에 적용될 때, 디코딩단과 인코딩단에 구비되며; 신경망을 기반으로 한 필터가 사전 처리 필터링에 적용될 때, 인코딩단에 구비된다.
도3은 본 출원의 실시예가 제공하는 선택가능한 필터링 방법의 흐름 도면으로서, 도3에 도시된 바와 같이, 해당 필터링 방법에는 다음과 같은 단계가 포함될 수 있다.
S101, 필터링하고자 하는 픽셀 정보를 취득한다.
S102, 에지 정보를 결정한다.
S103, 필터링하고자 하는 픽셀 정보와 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하고 취득하며, 여기에서, 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득된다.
S101에서, 본 출원의 실시예에서, 필터링하고자 하는 비디오 프레임은 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩을 진행하는 과정에서 생성된 것이고, 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 오리지널 픽처 프레임에 오리지널 픽처가 포함된다.
설명해야 할 바로는, 본 출원의 실시예에서, 필터링하고자 하는 비디오 프레임에 다중 프레임 픽처가 포함되고, 필터링 장치가 필터링할 때 각 프레임 픽처의 필터링하고자 하는 픽셀 정보에 대하여 필터링한 것이다.
S102에서, 필터링하고자 하는 비디오 프레임 중의 각 프레임 픽처에 모두 대응되는 에지 정보, 즉 각 프레임 픽처의 필터링하고자 하는 픽셀 정보에 대응되는 에지 정보가 존재한다. 여기에서, 에지 정보가 각 프레임 픽처의 경계 정보를 표시한 것이다.
설명해야 할 바로는, 본 출원의 실시예에서, 오리지널 픽처는 CTU로 구분될 수 있거나, 또한 CTU가 CU로 구분할 수 있으며; 다시 말하면, 본 출원의 실시예 중의 에지 정보는 CTU 구분 정보을 가리킬 수 있고, 또한 CU 구분 정보를 가리킬 수 있으며; 이렇게 하면, 본 출원의 실시예의 필터링 방법은 CU 레벨의 필터링에 적용될 수 있을 뿐 아니라, 또한 CTU 레벨의 필터링에 적용될 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다. 아래는 CU 구분 정보를 에지 정보로 하는 것을 예로 들어 설명을 진행한다.
본 출원의 실시예서, 인코딩하고자 하는 비디오 중의 오리지널 픽처를 기반으로 각각 오리지널 픽처에 대하여 인코딩 유닛(UC) 구분을 진행하고 CU 구분 정보를 취득한다. CU 구분 정보에 있어서, CU 경계에 대응되는 각 픽셀 포인트 위치에 제1 값을 패딩하고, 기타 픽셀 포인트 위치에 제2 값을 패딩하여, CU 구분 정보와 대응되는 제1 매트릭스를 취득하며; 여기에서, 제1 값은 제2 값과 다르며; 여기에서 제1 매트릭스는 각 프레임 픽처의 에지 정보이다.
설명해야 할 바로는, 제1 값은 사전 설정된 수치, 알파벳 등일 수 있고, 제2 값은 또한 사전 설정된 수치, 알파벳 등일 수 있어, 제1 값이 제2 값과 다르기만 하면 되며, 예를 들면, 제1 값은 2로 설정될 수 있고, 제2 값은 1로 설정될 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
S103에서, 필터링 장치가 필터를 통하여 에지 정보를 결합시키고 필터링하고자 하는 비디오 프레임의 필터링하고자 하는 픽셀 정보에 대하여 필터링을 진행하고 필터링된 픽셀을 취득하여, 마지막으로 필터링 픽처를 취득한다고 이해할 수 있어, 여기에서, 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시키고 취득된다.
본 출원의 실시예에서, 필터링 장치가 CU 정보를 보조 정보로 하고 필터링하고자 하는 비디오 프레임이 필터링 처리를 진행하도록 보조할 수 있으며, 다시 말하면, 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩을 진행하는 과정에서, CU 구분 정보를 충분히 이용하고 이와 필터링하고자 하는 비디오 프레임에 대하여 융합을 진행한 후 필터링을 지도할 수 있다.
본 출원의 일부 실시예에서, CU 구분 정보를 하나의 코딩 유닛 맵（Coding Unit Map，CUmap）으로 전환하고, 이차원 매트릭스, 즉 Cumap 매트릭스, 즉 본 출원의 실시예 중의 제1 매트릭스로 표시하며; 다시 말하면, 오리지널 픽처를 예로 들어, 이를 다수 개의 CU로 구분할 수 있으며; 각 CU 경계에 대응되는 각 픽셀 포인트 위치에서 제1 값으로 패딩하고, 기타 픽셀 포인트 위치에서 제2 값으로 패딩하여 이렇게 하면 하나의 CU 구분 정보를 반영하는 제1 매트릭스를 구조할 수 있다. 예시적으로 도4를 참조하여, 이는 본 출원의 실시예가 제공하는 블록 구분 매트릭스의 구조 도면을 제공한다. 도4에 도시된 바와 같이, 만일 해당 도면은 하나의 CTU를 표시하면, 해당 CTU를 9개의 CU로 구분할 수 있으며; 제1 값을 2로 설정하고, 제2 값을 1로 설정한다고 가정하며; 이렇게 하면, 각 CU 경계에 대응되는 각 픽셀 포인트 위치에서 2로 패딩하고, 기타 픽셀 포인트 위치에서 1로 패딩하며, 다시 말하면, 2로 패당한 픽셀 포인트 위치는 CU의 경계를 표시하여 CU 구분 정보, 즉 필터링하고자 하는 비디오 프레임의 일 프레임 픽처의 에지 정보를 결정할 수 있다.
설명해야 할 바로는, 본 출원의 실시예에서, CU 구분 정보는 또한 픽처 컴포넌크 레벨을 기반으로 대응된 것일 수 있어 본 출원의 실시예가 이에 대하여 제한하지 않는다.
본 출원의 실시예에서, 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며; 또는, 필터가 온라인 필터 모델과 오프라인 필터 모델로 연결하여 형성되며; 여기에서, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재하며; 또는, 필터가 오프라인 필터링 모델로 형성되며, 여기에서, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재한다.
필터가 오프라인 필터링 모델로 형성될 때, 필터링 장치가 필터를 통하여 에지 정보를 결합시켜 필터링하고자 하는 비디오 프레임의 필터링하고자 하는 픽셀 정보에 대하여 필터링하고, 필터링된 픽셀을 취득하는 구현 과정은, 필터링 장치가 오프라인 필터링 모델을 사용하고 에지 정보를 결합시켜 필터링하고자 하는 비디오 프레임에 대하여 필터링하고, 필터링 픽처를 취득하고, 즉 필터링하고자 하는 픽셀 정보와 에지 정보를, 신경망을 기반으로 하는 오프라인 필터링 모델에 입력하여 필터링된 픽셀을 출력한 것이다.
필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며; 또는 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성될 때, 필터링 장치가 필터를 통하여 에지 정보를 결합시켜 필터링하고자 하는 비디오 프레임의 필터링하고자 하는 픽셀 정보에 대하여 필터링하고, 필터링 픽처를 취득하고, 즉 필터링된 픽셀의 구현 과정은, 필터링 장치가 오프라인 필터링 모델을 사용하고 에지 정보를 결합시켜 팔터링하고자 하는 비디오 프레임에 대하여 필터링하고, 중간 필터링 픽처를 취득하며; 온라인 필터링 모델을 사용하고 에지 정보를 결합시켜 중간 필터링 픽처에 대하여 필터링을 진행하고 필터링 픽처를 취득한 것이다. 또는 필터링 장치가 온라인 필터링 모델을 사용하고 에지 정보를 결합시켜 팔터링하고자 하는 비디오 프레임에 대하여 필터링하고, 중간 필터링 픽처를 취득하며; 오프라인 필터링 모델을 사용하고 에지 정보를 결합시켜 중간 필터링 픽처에 대하여 필터링을 진행하고 필터링 픽처를 취득한 것이다. 즉 필터링하고자 하는 픽셀 정보와 에지 정보를, 신경망을 기반으로 한 오프라인 필터링 모델에 입력하고 중간 필터링된 필셀을 출력하며; 중간 필터링된 픽셀와 에지 정보를 신경망을 기반으로 한 온라인 필터링 모델에 입력하고 필터링된 픽셀을 출력하며; 또는, 필터링하고자 하는 픽셀 정보와 에지 정보를, 신경망을 기반으로 한 온라인 필터링 모델에 입력하고 중간 필터링된 픽셀을 출력하며; 중간 필터링된 픽셀과 에지 정보를 신경망을 기반으로 한 오프라인 필터링 모델에 입력하고 필터링된 픽셀을 출력한 것이다.
다시 말하면, 본 출원의 실시예에서, 필터가 온라인 합성곱 신경망을 사용하고 오프라인 합성곱 신경망을 결합시켜 형성된 것일 수 있다. 예를 들면, 하나의 오프라인 모델과 하나의 온라인 모델이 연결되고, 또는 하나의 오프라인 모델이지만 그 중의 일부는 온라인 훈련할 수 있고, 또는 하나의 오프라인 모델(여기에서 일부는 온라인 휸련할 수 있음)과 하나의 온라인 모델이 연결되어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
여기에서, 오프라인 필터링 모델이 오프라인 훈련된 필터이며; 오프라인 필터링 모델에는 또한 오프라인 훈련된 파라미터가 포함된다.
온라인 필터링 모델이 온라인 훈련된 필터이며; 온라인 필터링 모델에는 온라인 훈련된 파라미터가 포함된다.
상세하게 오프라인 필터링 모델이 오프라인 휸련된 필터이고, 합성곱 신경망이 대량적인 픽처로 훈련을 진행해야 하고, 훈련 세트로부터 구분된 픽처 상에서 테스트한다. 만일 성능이 효과적이면, 비디오 인코딩/디코딩 기술 중의 인루프/후 처리 필터 등 필터에 적용될 수 있다. 합성곱 신경망 중의 모든 가중 파라미터(즉 파라미터)가 훈련 완성한 후 동시에 인코딩단과 디코딩단에 구비될 수 있다.
온라인 필터링 모델은 온라인 훈련된 필터이고, 합성곱 신경망은 무작위 접속 세그먼트(비디오 시퀀스 중 방금 인코딩된 일부 비디오 프레임)을 기반으로 훈련된 것이고, 업데이트된 파라미터를 취득하며, 파라미터를 업데이트한 업데이트 온라인 필터링 모델을 사용하고 동일한 비디오 시퀀스의 후속 프레임을 사용한다. 이 유형의 합성곱 신경망의 규모가 비교적 작고, 단지 너무 좁은 범위의 비디오 시퀀스의 처리에 적용된다.
예시적으로, 필터가 온라인 필터링 모델1（On-line traind Nn）과 오프라인 필터링 모델2（Off-line traind Nn）로 연결하여 형성되며, 여기에서, 도5에 도시된 연결 순서 또는 도6에 도시된 연결 순서가 모두 가능하다. 도5의 필터에 있어서, 필터링 장치가 필터링하고자 하는 픽셀 정보(4)와 이에 대응되는 에지 정보(3)（Side information）를 오프라인 필터링 모델(2)에 입력하고, 오프라인 필터링을 거쳐 중간 필터링된 픽셀(5)을 취득하며; 중간 필터링된 픽셀(5)과 에지 정보(3)를 다시 온라인 필터링 모델(1)에 입력하고, 온라인 필터링을 진행하고 필터링된 픽셀(6)을 필터링 출력한다（Filtered output). 도6의 필터에 있어서, 필터링 장치가 필터링하고자 하는 픽셀 정보(4)와 이에 대응되는 에지 정보(3)를 온라인 필터링 모델(1)에 입력하고, 온라인 필터링을 거쳐 중간 필터링된 픽셀(5)을 취득하며; 중간 필터링된 픽셀(5)과 에지 정보(3)를 다시 오프라인 필터링 모델(2)에 입력하고 오프라인 필터링을 진행하고 필터링된 픽셀(6)을 필터링 출력한다.
예시적으로, 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며; 여기에서, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재한다. 여기에서, 도7에 도시된 연결 순서 또는 도8에 도시된 연결 순서가 모두 가능하다. 도7에 도시된 바와 같이, 필터링 장치가 필터링하고자 하는 픽셀 정보(4)와 이에 대응되는 에지 정보(3)를 오프라인 필터링 모델(2)에 입력하고, 오프라인-온라인 하이브리드 필터링을 거쳐 중간 필터링된 픽셀(5)을 취득하며; 중간 필터링된 픽셀(5)과 에지 정보(3)을 다시 온라인 필터링 모델(1)에 입력하고 온라인 필터링을 진행하고, 필터링된 픽셀(6)을 필터링 출력한다. 도8의 필터에 있어서, 필터링 장치가 필터링하고자 하는 픽셀 정보(4)와 이에 대응되는 에지 정보(3)를 온라인 필터링 모델(1)에 입력하고, 온라인 필터링을 거쳐 중간 필터링된 픽셀(5)을 취득하며; 중간 필터링된 픽셀(5)과 에지 정보(3)를 다시 오프라인 필터링 모델(2)에 입력하고 오프라인-온라인 하이브리드 필터링을 진행하고, 필터링된 픽셀(6)을 필터링 출력한다.
예시적으로, 필터가 오프라인 필터링 모델로 형성되며; 여기에서, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재한다. 도9에 도시된 바와 같이, 필터링 장치가 필터링하고자 하는 픽셀 정보(1)와 이에 대응되는 에지 정보(2)를 오프라인 필터링 모델(3)에 입력하고, 오프라인-온라인 하이브리드 필터링을 거쳐 필터링된 픽셀(4)을 필터링 출력한다.
오프라인 필터링 모델의 장점은 성능이 뛰어나고 추가로 가중 계수를 전송할 필요가 없는 것이고, 단점은 시퀀스에 대한 적응 능력이 부족한 것이며; 온라인 필터팅 모델의 장점은 시퀀스에 대하여 적응 능력을 가진 것이지만 가중 계수를 전송해야 한다. 오프라인 필터링 부분과 온라인 필터링 부분을 결합시키는 방식은 오프라인 필터링 모델의 성능에 이용될 수 있을 뿐 아니라, 또한 온라인 필터링 모델이 다시 비디오의 객관 품질을 향상시키는 데 이용될 수 있다. 다시 말하면, 본 출원의 실시예의 필터링 장치가 다른 비디오의 필터링 처리 중에서, 일반화 능력과 시퀀스 적응의 절충을 취득할 수 있고, 복잡성이 낮은 조건 하에서, 더 바람직한 인코딩 성능을 가져올 수 있다.
설명해야 할 바로는, 본 출원의 실시예에서, 필터링 장치가 필터링하고자 하는 픽셀 정보와 에지 정보를 신경망을 기반으로 한 필터에 입력하고 필터링된 픽셀을 출력하여 취득한 후, 필터링된 픽셀을 기반으로, 필터에 대하여 온라인 훈련을 진행하고 온라인 필터링 파라미터를 취득하며; 온라인 필터링 파라미터를 기반으로 필터의 온라인 부분을 훈련한 후, 후속 필터링하고자 하는 픽셀 정보와 에지 정보를 업데이트된 필터에 입력하고 필터링을 진행하여 후속 필터링된 픽셀을 취득하며; 온라인 필터링 파라미터를 비디오 비트 스트림에 기입한다.
다시 말하면, 본 출원의 실시예에서, 신경망은 무작위 접속 부분(비디오 시퀀스 중 방금 인코딩된 일부 비디오 프레임의 픽셀 정보)를 기반으로 훈련된 것이며, 훈련된 후 즉시 동일한 시퀀스의 후속 프레임, 즉 후속 프레임의 픽셀 정보에 적용된다. 이 유형의 신경망의 규모가 비교적 작고, 단지 너무 좁은 범위의 비디오 내용에 적용된다. 훈련되고 취득된 가중 파라미터(즉 온라인 필터링 파라미터)는 빈번하게 다시 훈련되고 업데이트되어야 한다. 따라서, 가중 계수가 비트 스트림에서 전송되어야 한다.
아래는 필터링하고자 하는 비디오 프레임의 필터링하고자 하는 픽셀 정보를 예로 들어 온라인 필터링 파라미터의 설명을 진행한다.
본 출원의 일부 실시예에서, 도3을 기반으로, 도10에 도시된 바와 같이, S103의 구현된 일 가능한 구현 과정에는 S1031 내지 S1036이 포함될 수 있다. 다음과 같다.
S1031, 필터를 통하여 에지 정보 중 제i 프레임 픽처의 에지 정보를 결합시켜 필터링하고자 하는 비디오 프레임의 제i 프레임 픽처의 필터링하고자 하는 픽셀 정보에 대하여 필터링하고 제i 프레임 필터링 픽처를 취득하며, 여기에서, i는 1보다 크거나 같고, 또한 N보다 작거나 같고, N는 필터링하고자 하는 비디오 프레임의 총 프레임 수량이다.
S1032, 제i+H 프레임 픽처에 대한 필터링 처리가 완성될 때까지 계속하여 제i+1 프레임 픽처의 필터링하고자 하는 픽셀 정보에 대하여 필터링 처리를 진행하고, 제i 프레임 필터링 픽처 내지 제i+H 프레임 필터링 픽처를 취득하며, 여기에서, H는 1보다 크고 또한 N-i보다 작다.
S1033, 제i 프레임 필터링 픽처 내지 제i+H 프레임 필터링 픽처를 사용하고 필터의 온라인 필터링 부분에 대하여 훈련하고 온라인 필터링 부분의 파라미터 업데이트 정보를 취득한다.
S1034, 파라미터 업데이트 정보를 이용하고 업데이트된 온라인 필터 부분을 취득한다.
S1035, 업데이트된 온라인 필터링 부분과 오프라인 필터링 부분을 이용하고 에지 정보 중 제i+H+1 프레임 픽처의 에지 정보를 결합시켜 제i+H+1 프레임 필터링 픽처 파라미터 업데이트 정보에 대하여 필터링 처리를 진행하고 제i+H+1 프레임 필터링 픽처를 취득한다.
S1036, 제 N 프레임 픽처에 대한 필터링 처리가 완성될 때까지 계속하여 제i+H+2 프레임 픽처 파라미터 업데이트 정보에 대하여 필터링 처리를 진행하고, 제i+H+1 프레임 필터링 픽처 내지 제N 프레임 필터링 픽처를 취득하며, 제1 프레임 필터링 픽처 내지 제N 프레임 필터링 픽처는 필터링 픽처이다.
본 출원의 실시예에서, 필터에 모두 오프라인 필터링 부분과 온라인 필터링 부분이 존재하는 것이고, 다른 것은 일부 온라인 필터링 부분은 직접 온라인 필터링 모델을 통하여 구현된 것이고, 일부는 오프라인 필터링 모델 중의 일부 파라미터를 통하여 온라인 훈련을 거쳐 취득된 것이고, 온라인 필터링 부분을 구현한 것이며, 후자는 상술한 두 가지 온라인 필터링을 결합시켜 구현된 것이다.
온라인 필터링 부분은 무작위 접속 세그먼트(비디오 시퀀스 중 방금 필터링된 일부 비디오 프레임)을 기반으로 훈련된 것이고, 업데이트된 파라미터를 취득하며, 파라미터를 업데이트한 업데이트 온라인 필터링 부분을 사용하고 동일한 비디오 시퀀스의 후속 프레임을 처리하는 것을 이해할 것이다.
본 출원의 실시예에서, 필터링하고자하는 비디오 프레임은 N 프레임의 픽처를 포함할 수 있고, N은 필터링하고자 하는 비디오 프레임의 총 프레임 수량이고, 또한 N은 1보다 큰 양의 정수이며, N의 수치는 필터링하고자 하는 비디오 프레임의 프레임 수량에 의하여 결정되며, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
본 출원의 실시예에서, 필터링 장치가 필터링하고자 하는 비디오 프레임 중의 제i 프레임 픽처에 대하여 필터링할 때, 제i 프레임 픽처와 해당 제i 프레임 픽처의 에지 정보를 필터에 입력하고, 온라인 필터링과 오프라인 필터링을 거친 후 제i 프레임 필터링 픽처를 출력하며, 여기에서, i는 1부터 시작한 것이고, 즉 필터링 장치는 제1 프레임 픽처부터 필터링하기 시작한 것이고, 제i 프레임 픽처의 필터링을 완성한 후, 해당 필터링 장치가 제i+H 프레임 픽처에 대한 필터링 처리가 진행될 때까지 계속하여 제i+1 프레임 픽처에 대하여 필터링 처리를 진행하고, 제i 프레임 필터링 픽처 내지 제i+H 프레임 필터링 픽처를 취득하며, 여기에서, H는 1보다 크고 또한 N-i보다 작다. 다시 말하면, 필터링 장치가 온라인 필터링 부분과 오프라인 필터링 부분을 포함하는 필터를 사용하여 필터링하고자 하는 비다오 프레임에 대하여 필터링할 때, 한 대역의 시퀀스의 프레임 픽처를 필터링한 후, 필터링된 i+H 프레임 픽처와 i+H 프레임 필터링 픽처(제i 프레임 필터링 픽처 내지 제i+H 프레임 필터링 픽처)를 훈련 샘플로 할 수 있어, 다시 필터 중의 온라인 부분에 대하여 훈련시켜, 훈련 결과와 i=H 프레임 필터링 픽처의 가장 근접된 출력 결과를 취득할 때, 이 때 온라인 필터링 부분의 파라미터 업데이트 정보를 취득하며, 파라미터 업데이트 정보를 이용하고 업데이트된 온라인 필터링 부분을 취득하면, 필터링 장치가 업데이트된 온라인 필터링 부분을 이용할 수 있고, 기존의 오프라인 필터링 부분과 제i+H+1 프레임 픽처의 에지 정보를 결합시켜, 제i+H+1 프레임 필터링 픽처에 대하여 필터링 처리를 진행하고, 제i+H+1 프레임 필터링 픽처를 취득하며, 제N 프레임 픽처에 대한 필터링 처리가 완성할 때까지 계속하여 제i+H+2 프레임 픽처에 대하여 필터링 처리를 진행하고, 제i+H+1 프레임 필터링 픽처 내지 제 N 프레임 필터링 픽처를 취득하며, 제1 프레임 필터링 픽처 내지 제N 프레임 필터링 픽처는 필터링 픽처이다.
설명해야 할 바로는, 본 출원의 실시예에서, 필터링 장치가 H-i 프레임을 필터링한 후, 필터의 온라인 필터링 부분에 대하여 업데이트하기 시작할 수 있고, 구체적인 H의 값은 실제 수요와 구체적인 설계에 의하여 결정될 수 있어, 분 출원의 실시예가 이에 대하여 제한하지 않는다.
또한 설명해야 할 바로는, 제i+H+1 프레임 픽처 내지 제N 프레임 픽처의 필터링 처리에서, 또한 H-i 프레임 픽처의 처리를 진행한 후, 아직 제N 프레임 픽처를 처리하지 않을 때, 다시 온라인 필터링 부분의 업데이트를 진행하고, 업데이트된 후의 온라인 필터링 부분을 사용하고 계속하여 후속 프레임의 필터링을 진행하고, 제N 프레임 픽처의 필터링이 완성될 때까지이다. 다시 말하면, 필터링 장치는 하나의 고정된 프레임 수량의 픽처에 대하여 필터링 후, 온라인 필터링 부분의 온라인 필터링 파라미터의 업데이트를 진행하기 시작할 수 있고, 또한 매번 온라인 필터링 부분 업데이트를 진행할 때의 필터링된 프레임 수량은 매번 다를 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다. 업데이트를 정지시키는 조건은 마지막 한 프레임 픽처에 대한 필터링이 완성되면 된 것이다.
본 출원의 일부 실시예에서, 온라인 필터링 부분은 온라인 필터링 모델일 수 있고, 또한 오프라인 모델 중의 일부 합성곱 신경망의 레벨이 온라인 가능한 업데이트 파라미터이고 파라미터 업데이트 정보(즉 온라인 필터링 파라미터)를 취득한 것일 수 있고, 또한 앞의 두 가지 온라인 필터링 부분의 결합일 수 있어, 분 출원의 실시예가 이에 대하여 제한하지 않는다.
예시적으로, 필터가 온라인 필터링 모델1（On-line traind NN）과 오프라인 필터링 모델2（Off-line traind NN）로 연결하여 형성되며, 여기에서, 도5에 도시된 연결 순서 또는 도6에 도시된 연결 순서가 모두 가능하다. 도5의 필터와 도6의 필터에 있어서, 필터링 장치가 필터링하고자 하는 픽셀 정보(4)와 이에 대응되는 에지 정보(3)（Side information）를 오프라인 필터링 모델(2)과 온라인 필터링 모델(1)에 입력하고, 또한 직전의 하나의 프레임의 필터링 결과를 사용하여 필터의 온라인 부분에 대하여 온라인 훈련을 진행하고, 즉 온라인 필터링 모델(1)에 대하여 훈련하고, 파라미터 업데이트 정보(즉 온라인 필터링 파라미터)를 취득하며; 온라인 필터링 파라미터를 기반으로 필터의 온라인 부분을 훈련한 후, 후속 필터링하고자 하는 픽셀 정보와 에지 정보를 업데이트된 필터에 입력하고 필터링을 진행하여 후속 필터링된 픽셀을 취득한다.
예시적으로, 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며; 여기에서, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재한다. 여기에서, 도7에 도시된 연결 순서 또는 도8에 도시된 연결 순서가 모두 가능하다. 도7과 도8에 도시된 바와 같이, 필터링 장치가 필터링하고자 하는 픽셀 정보(4)와 이에 대응되는 에지 정보(3)（Side information）를 오프라인 필터링 모델(2)(오프라인-온라인 하이브리드 필터링)과 온라인 필터링 모델(1) 에 입력하여 필터링하는 과정에, 또한 직전의 하나의 프레임의 필터링 결과를 사용하여 필터의 온라인 부분에 대하여 온라인 훈련을 진행하고, 즉 오프라인 필터링 모델(2) 중의 온라인 부분 및 온라인 필터링 모델(1)에 대하여 훈련하고, 파라미터 업데이트 정보(즉 온라인 필터링 파라미터)를 취득하며; 온라인 필터링 파라미터를 기반으로 필터의 온라인 부분을 훈련한 후, 후속 필터링하고자 하는 픽셀 정보와 에지 정보를 업데이트된 필터에 입력하고 필터링을 진행하여 후속 필터링된 픽셀을 취득한다.
예시적으로, 필터가 오프라인 필터링 모델로 형성되며; 여기에서, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재한다. 도9에 도시된 바와 같이, 필터링 장치가 필터링하고자 하는 픽셀 정보(1)와 이에 대응되는 에지 정보(2)를 오프라인 필터링 모델(3)에 입력하고, 오프라인-온라인 하이브리드 필터링을 거쳐, 필터링된 픽셀(4)을 필터링 출력하고, 동시에 또한 직전의 하나의 프레임의 필터링 결과를 사용하여 오프라인 필터링 모델(3)의 온라인 부분에 대하여 온라인 훈련을 진행하고, 즉 오프라인 필터링 모델(3)의 온라인 부분에 대하여 훈련하고, 파라미터 업데이트 정보(즉 온라인 필터링 파라미터)를 취득하며; 온라인 필터링 파라미터를 기반으로 필터의 온라인 부분을 훈련한 후, 후속 필터링하고자 하는 픽셀 정보와 에지 정보를 업데이트된 필터에 입력하고 필터링을 진행하여 후속 필터링된 픽셀을 취득한다.
필터링 장치가 필터링하고자 하는 비디오 프레임에 대하여, 필터링하고자 하는 비디오 프레임의 에지 정보를 결정하며; 에지 정보와 필터링하고자 하는 비디오 프레임을 필터에 입력하고 필터링하여, 필터링된 픽처을 출력하며, 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득된 것이기 때문에 이렇게 하면 필터링할 때 오프라인 필터링 부분을 사용할 수 있고, 너무 넓은 범위의 비디오의 필터링에 적용되며, 동시에 또한 온라인 필터링 부분의 온라인 필터링 파라미터의 업데이트를 확보할 수 있고 업데이트된 온라인 필터링 부분을 사용하고 필터링하고자 하는 비디오 프레임의 후속 프레임의 필터링을 진행하여, 필터링 성능의 퇴화를 피할 수 있어, 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다는 것을 이해할 것이다.
본 출원의 실시예가 또한 필터링 방법을 제공하는 바, 비디오에 대하여 인코딩을 진행하고, 인코딩단에 적용되며, 적응형 필터의 필터링 파라미터를 결정하며; 필터링 파라미터와 에지 정보에 의하여 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고 필터링된 픽셀을 취득하며; 제1 필터링 파라미터를 결정하고, 여기에서 제1 필터링 파라미터는 인코딩을 진행해야 할 필터링 파라미터 중의 일부 필터링 파라미터이며; 제1 필터링 파라미터에 대하여 인코딩을 진행하고 비디오 비트 스트림에 기입한다.
여기에서, 제1 필터링 파라미터는 온라인 필터링 파라미터이고, 즉 파라미터 업데이트 정보이다.
본 출원의 일부 실시예에서, 적응형 필터가 신경망 필터이다.
본 출원의 일부 실시예에서, 적응형 필터가 제1 신경망 필터와 제2 신경망 필터의 연결 필터이다.
본 출원의 일부 실시예에서, 적응형 필터의 필터링 파라미터를 결정하는 것에는, 오프라인 훈련을 사용하여 신경망 필터의 제2 필터링 파라미터를 결정하며, 여기에서, 제2 필터링 파라미터는 신경망 필터의 전부 파라미터이며; 온라인 훈련을 사용하여 신경망 필터링의 제3 필터링 파라미터를 결정하며; 여기에서, 제2 필터링 파라미터는 신경망 필터의 일부 파라미터이며; 제3 필터링 파라미터를 사용하여 제2 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제2 필터링 파라미터를 신경망 필터의 전부 필터링 파라미터로 하는 것이 포함된다.
본 출원의 일부 실시예에서, 제1 필터링 파라미터를 결정하는 것에는, 제3 필터링 파라미터를 제1 필터링 파라미터로 하는 것이 포함된다.
본 출원의 일부 실시예에서, 적응형 필터의 필터링 파라미터를 결정하는 것에는, 오프라인 훈련을 사용하여 제1 신경망 필터의 전부 필터링 파라미터를 결정하며; 온라인 훈련을 사용하여 제2 신경망 필터의 제4 필터링 파라미터를 결정하며, 여기에서, 제4 필터링 파라미터는 제2 신경망 필터의 전부 파라미터인 것이 포함된다.
본 출원의 일부 실시예에서, 제1 필터링 파라미터를 결정하는 것에는, 제4 필터링 파라미터를 제1 필터링 파라미터로 하는 것이 포함된다.
본 출원의 일부 실시예에서, 적응형 필터의 필터링 파라미터를 결정하는 것에는, 오프라인 훈련을 사용하여 제1 신경망 필터의 제5 필터링 파라미터를 결정하며, 여기에서, 제5 필터링 파라미터는 제1 신경망 필터의 전부 파라미터이며; 온라인 훈련을 사용하여 신경망 필터의 제6 필터링 파라미터를 결정하며, 여기에서, 제6 필터링 파라미터는 제1 신경망 필터의 일부 파라미터이며; 제6 필터링 파라미터를 사용하여 제5 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제5 필터링 파라미터를 제1 신경망 필터의 필터링 파라미터로 하며; 비디오 또는 픽처에 대하여 인코딩하는 과정에서, 온라인 훈련을 사용하여 제2 신경망 필터의 제7 필터링 파라미터를 결정하며, 여기에서, 제7 필터링 파라미터는 제2 신경망 필터링의 전부 파라미터인 것이 포함된다.
본 출원의 일부 실시예에서, 제1 필터링 파라미터를 결정하는 것에는, 제6 필터링 파라미터와 제7 필터링 파라미터를 제1 필터링 파라미터로 하는 것이 포함된다.
본 출원의 일부 실시예에서, 여기에서, 오프라인 훈련은 비디오 또는 픽처에 대하여 인코딩하기 전 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정이며;
온라인 훈련은 비디오 또는 픽처에 대하여 인코딩하는 과정에서, 인코딩하고자 하는 비디오 시퀀스 중의 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정이다.
본 출원의 일부 실시예에서, 적응형 필터가 비디오에 대하여 인코딩하는 중에서 사용하는 사전 처리 필터이고, 또는 인루프 필터이다.
설명해야 할 바로는, 필터링 파라미터 업데이트의 방식（picture adaptive，or sequence adaptive）은 random access segment, 또는 sequence adaptive를 사용할 수 있으며, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
필터링 장치가 인코딩단에 처할 때, 적응형 필터의 필터링 파라미터를 결정하며; 필터링 파라미터와 에지 정보에 의하여 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고 필터링된 픽셀을 취득하며; 제1 필터링 파라미터를 결정하고, 여기에서 제1 필터링 파라미터는 인코딩을 진행해야 할 필터링 파라미터 중의 일부 필터링 파라미터(온라인 필터링 파라미터)이며; 제1 필터링 파라미터에 대하여 인코딩을 진행하고 비디오 비트 스트림에 기입한다. 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득된 것이기 때문에, 이렇게 하면 필터링할 때 오프라인 필터링 부분을 사용할 수 있고, 너무 넓은 범위의 비디오의 필터링에 적용되며, 동시에 또한 온라인 필터링 부분의 일부 모델의 업데이트를 확보하고 필터링 성능의 퇴화를 피할 수 있어, 즉 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다는 것을 이해할 것이다.
본 출원의 실시예가, 또한 필터링 방법을 제공하는 바, 비디오에 대하여 디코딩을 진행하고 디코딩단에 적용되며, 비디오 비트 스트림을 해석하고, 적응형 필터의 제1 필터링 파라미터를 결정하며, 여기에서, 제1 필터링 파라미터는 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터이며;
제1 필터링 파라미터에 의하여 적응형 필터의 전부 필터링 파라미터를 결정하며;
전부 필터링 파라미터와 에지 정보에 의하여 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하는 것이 포함된다.
설명해야 할 바로는, 제1 필터링 파라미터는 온라인 필터링 파라미터이고, 즉 파라미터 업데이트 정보이다.
본 출원의 일부 실시예에서, 적응형 필터가 하나의 신경망 필터이다.
본 출원의 일부 실시예에서, 적응형 필터가 두 개 또는 다수 개의 연결된 다른 유형의 신경망 필터이다.
본 출원의 일부 실시예에서, 적응형 필터가 제1 신경망 필터와 제2 신경망 필터의 연결 필터이다.
본 출원의 일부 실시예에서, 적응형 필터의 전부 필터링 파라미터를 결정하는 것에는, 신경망 필터의 제2 필터링 파라미터를 결정하며, 여기에서, 제2 필터링 파라미터는 신경망 필터의 전부 파라미터이며; 제1 필터링 파라미터를 사용하여 제2 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제2 필터링 파라미터를 신경망 필터의 전부 필터링 파라미터로 하는 것이 포함된다.
본 출원의 일부 실시예에서, 신경망 필터의 제2 필터링 파라미터를 결정하는 것에는, 오프라인 훈련을 사용하여 신경망 필터의 제2 필터링 파라미터를 결정하며; 또는 비디오 비트 스트림을 디코딩하기 전, 제2 필터링 파라미터를 취득하는 것이 포함된다.
본 출원의 일부 실시예에서, 적응형 필터의 전부 필터링 파라미터를 결정하는 것에는, 제1 신경망 필터의 전부 필터링 파라미터를 결정하며; 제1 필터링 파라미터를 제2 신경망 필터의 전부 필터링 파라미터로 하는 것이 포함된다.
본 출원의 일부 실시예에서, 제1 신경망 필터의 전부 필터링 파라미터를 결정하는 것에는, 오프라인 훈련을 사용하여 제1 신경망 필터의 전부 필터링 파라미터를 결정하며; 또는, 비디오 비트 스트림을 디코딩하기 전 제1 신경망 필터의 전부 필터링 파라미터를 취득하는 것이 포함된다
본 출원의 일부 실시예에서, 적응형 필터의 전부 필터링 파라미터를 결정하는 것에는, 제1 신경망 필터의 제5 필터링 파라미터를 결정하여, 여기에서, 제5 필터링 파라미터는 제1 신경망 필터의 전부 파라미터이며; 제1 필터링 파라미터 중의 일부 파라미터를 제6 필터링 파라미터로 하며, 여기에서, 제6 필터링 파라미터는 제1 신경망 필터의 일부 파라미터이며; 제6 필터링 파라미터를 사용하여 제5 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제5 필터링 파라미터를 제1 신경망 필터의 전부 필터링 파라미터로 하며; 제1 필터링 파라미터 중의 다른 일부 파라미터를 제2 신경망 필터의 전부 파라미터로 하는 것이 포함된다.
본 출원의 일부 실시예에서, 제1 신경망 필터의 제5 필터링 파라미터를 결정하는 것에는, 오프라인 훈련을 사용하여 제5 필터링 파라미터를 결정하며; 또는 비디오 비트 스트림을 디코딩하기 전, 제5 필터링 파라미터를 취득하는 것이 포함된다.
본 출원의 일부 실시예에서, 오프라인 훈련은 비디오 비트 스트림을 해석하기 전, 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정이다.
본 출원의 일부 실시예에서, 적응형 필터가 비디오 비트 스트림에 대하여 디코딩하는 중에서 사용하는 인루프 필터 또는 후 처리 필터이다.
설명해야 할 바로는, 필터링 파라미터 업데이트의 방식（picture adaptive，or sequence adaptive）은 sequence adaptive를 사용할 수 있으며, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
필터링 장치가 디코딩단에 처할 때, 비디오 비트 스트림을 해석하는 것을 통하여 적응형 필터의 제1 필터링 파라미터를 결정하고, 제1 필터링 파라미터는 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터(온라인 필터링 파라미터)이며; 및 제1 필터링 파라미터에 의하여 적응형 필터의 전부 필터링 파라미터(온라인 필터링 파라미터와 오프라인 필터링 파라미터)를 결정하며; 전부 필터링 파라미터와 에지 정보에 의하여, 적응형 필터를 사용하고 입력된 픽셀에 대하여 필터링을 진행하고, 필터링된 픽셀을 취득하며; 필터가 온라인 필터링 부분과 오프라인 부분을 결합시켜 취득된 것이기 때문에, 이렇게 하면 필터링할 때 오프라인 필터링 부분을 사용할 수 있고, 너무 넓은 범위의 비디오의 필터링에 적용되며, 동시에 또한 온라인 필터링 부분의 일부 모델의 업데이트를 확보하고 필터링 성능의 퇴화를 피할 수 있어, 즉 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다는 것을 이해할 것이다..
같은 발명 구상을 기반으로, 도11은 본 출원의 실시예가 제공하는 일 선택가능한 핑터링 장치의 구조 도면으로서, 도11에 도시된 바와 같이, 해당 필터링 장치(1)에는 취득 부분(11), 결정 부분(12) 및 필터링 부분(13)이 포함될 수 있으며, 여기에서,
제1 취득 부분(11)은, 필터링하고자 하는 픽셀 정보를 취득하도록 구성되며;
제1 결정 부분(12)은, 에지 정보를 결정하도록 구성되며;
제1 필터링 부분(13)은, 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하여취득하도록 구성되며, 여기에서, 상기 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득된 것이다.
본 출원의 일부 실시예에서, 상기 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며; 또는,
상기 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며; 여기에서, 상기 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재한다.
본 출원의 일부 실시예에서, 상기 필터가 오프라인 필터링 모델로 형성되며, 여기에서, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재하며；
상기 제1 필터링 부분(13)은, 또한 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고, 상기 필터링된 픽셀을 출력하도록 구성된다.
본 출원의 실시예에서, 상기 제1 필터링 부분(13)은, 또한 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고 중간 필터링된 필셀을 출력하며; 상기 중간 필터링된 픽셀와 상기 에지 정보를 신경망을 기반으로 한 상기 온라인 필터링 모델에 입력하고 상기 필터링된 픽셀을 출력하며; 또는, 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 온라인 필터링 모델에 입력하고 중간 필터링된 픽셀을 출력하며; 상기 중간 필터링된 픽셀과 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고 상기 필터링된 픽셀을 출력하도록 구성된다.
본 출원의 일부 실시예에서, 상기 필터에는 또한 훈련 부분(14)과 기입 부분(15)이 포함되며;
상기 제1 훈련 부분(14)은, 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하여 취득한 후, 상기 필터링된 픽셀을 기반으로 상기 필터에 대하여 온라인 훈련을 진행하고, 온라인 필터링 파라미터를 취득하도록 구성된다.
상기 제1 필터링 부분(13)은, 또한 상기 온라인 필터링 파라미터를 기반으로 상기 필터의 온라인 부분을 훈련한 후, 후속 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 업데이트된 필터 중에 입력하고 필터링하고, 후속 필터링된 픽셀을 취득하도록 구성되며；
상기 제1 기입 부분(15)은, 상기 온라인 필터링 파라미터를 비디오 비트 스트림에 기입하도록 구성된다.
본 출원의 일부 실시예에서, 상기 오프라인 필터링 모델이 오프라인 훈련된 필터이며; 여기에서, 상기 오프라인 필터링 모델에는 또한 오프라인 훈련된 파라미터가 포함된다.
상기 온라인 필터링 모델이 온라인 훈련된 필터이며; 여기에서, 상기 온라인 필터링 모델에는 온라인 훈련된 파라미터가 포함된다.
본 출원의 일부 실시예서, 신경망을 기반으로 한 상기 필터가 후 처리 필터링, 인루프 필터링, 사전 처리 필터링 및 예측 과정에 적용된다.
본 출원의 일부 실시예서, 신경망을 기반으로 한 상기 필터가 후 처리 필터링에 적용될 때, 디코딩단에 구비되며;
신경망을 기반으로 한 상기 필터가 인루프 처리 필터링에 적용될 때, 디코딩단과 인코딩단에 구비되며;
신경망을 기반으로 한 상기 필터가 사전 처리 필터링에 적용될 때, 인코딩단에 구비된다.
본 출원의 실시예가 또한 필터 장치를 제공하는 바, 비디오에 대하여 인코딩을 진행하는 것에는,
적응형 필터의 필터링 파라미터를 결정하도록 구성되는 제2 결정 부분(20);
상기 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하도록 구성되는 제2 필터링 부분(21);
상기 제2 결정 부분(20)은, 또한 제1 필터링 파라미터를 결정하도록 구성되며, 여기에서, 상기 제1 필터링 파라미터는 인코딩을 진행하야 할 상기 필터링 파라미터 중의 일부 필터링 파라미터이며;
상기 제1 필터링 파라미터에 대하여 인코딩을 진행하고, 비디오 비트 스트림에 기입하도록 구성되는 제2 기입 부분(22)이 포함된다.
본 출원의 일부 실시예에서, 적응형 필터가 하나의 신경망 필터이다.
본 출원의 일부 실시예에서, 적응형 필터가 제1 신경망 필터와 제2 신경망 필터의 연결 필터이다.
본 출원의 일부 실시예에서, 상기 제2 결정 부분(20)은, 또한, 오프라인 훈련을 사용하여 신경망 필터의 제2 필터링 파라미터를 결정하며, 여기에서, 제2 필터링 파라미터는 신경망 필터의 전부 파라미터이며; 온라인 훈련을 사용하여 신경망 필터링의 제3 필터링 파라미터를 결정하며; 여기에서, 제2 필터링 파라미터는 신경망 필터의 일부 파라미터이며; 제3 필터링 파라미터를 사용하여 제2 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제2 필터링 파라미터를 신경망 필터의 전부 필터링 파라미터로 하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제2 결정 부분(20)은, 또한 제3 필터링 파라미터를 제1 필터링 파라미터로 하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제2 결정 부분(20)은, 또한 오프라인 훈련을 사용하여 제1 신경망 필터의 전부 필터링 파라미터를 결정하며; 온라인 훈련을 사용하여 제2 신경망 필터의 제4 필터링 파라미터를 결정하도록 구성되며, 여기에서, 제4 필터링 파라미터는 제2 신경망 필터의 전부 파라미터이다.
본 출원의 일부 실시예에서, 상기 제2 결정 부분(20)은, 또한 제4 필터링 파라미터를 제1 필터링 파라미터로 하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제2 결정 부분(20)은, 또한 오프라인 훈련을 사용하여 제1 신경망 필터의 제5 필터링 파라미터를 결정하며, 여기에서, 제5 필터링 파라미터는 제1 신경망 필터의 전부 파라미터이며; 온라인 훈련을 사용하여 신경망 필터의 제6 필터링 파라미터를 결정하며, 여기에서, 제6 필터링 파라미터는 제1 신경망 필터의 일부 파라미터이며; 제6 필터링 파라미터를 사용하여 제5 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제5 필터링 파라미터를 제1 신경망 필터의 필터링 파라미터로 하며; 비디오 또는 픽처에 대하여 인코딩하는 과정에서, 온라인 훈련을 사용하여 제2 신경망 필터의 제7 필터링 파라미터를 결정하도록 구성되며, 여기에서, 제7 필터링 파라미터는 제2 신경망 필터의 전부 파라미터이다.
본 출원의 일부 실시예에서, 상기 제2 결정 부분(20)은, 또한 제6 필터링 파라미터와 제7 필터링 파라미터를 제1 필터링 파라미터로 한다.
본 출원의 일부 실시예에서, 여기에서, 오프라인 훈련은 비디오 또는 픽처에 대하여 인코딩하기 시작하기 전 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정이며;
온라인 훈련은 비디오 또는 픽처에 대하여 인코딩하는 과정에서, 인코딩하고자 하는 비디오 시퀀스 중의 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정이다.
본 출원의 일부 실시예에서, 적응형 필터가 비디오에 대하여 인코딩하는 중에서 사용하는 사전 처리 필터이고, 또는 인루프 필터이다.
필터링 장치가 인코딩단에 처할 때, 적응형 필터의 필터링 파라미터를 결정하며; 필터링 파라미터와 에지 정보에 의하여 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고 필터링된 픽셀을 취득하며; 제1 필터링 파라미터를 결정하며, 여기에서 제1 필터링 파라미터는 인코딩을 진행해야 할 필터링 파라미터 중의 일부 필터링 파라미터(온라인 필터링 파라미터)이며; 제1 필터링 파라미터에 대하여 인코딩을 진행하고 비디오 비트 스트림에 기입된다. 필터가 온라인 필터링 부분과 오프라인 부분을 결합시켜 취득된 것이기 때문에, 이렇게 하면 필터링할 때 오프라인 필터링 부분을 사용할 수 있고, 너무 넓은 범위의 비디오의 필터링에 적용되며, 동시에 또한 온라인 필터링 부분의 일부 모델의 업데이트를 확보하고 필터링 성능의 퇴화를 피할 수 있어, 즉 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다는 것을 이해할 것이다.
본 출원의 실시예가 또한 필터링 장치를 제공하는 바, 비디오 비트 스트림에 대하여 디코딩을 진행하는 것에는,
비디오 비트 스트림을 해석하고, 적응형 필터의 제1 필터링 파라미터를 결정하며, 여기에서, 상기 제1 필터링 파라미터는 상기 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터이며; 및 상기 제1 필터링 파라미터에 의하여 상기 적응형 필터의 전부 필터링 파라미터를 결정하도록 구성되는 제3 결정 부분(30);
상기 전부 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하도록 구성되는 제3 필터링 부분(31)이 포함된다.
본 출원의 일부 실시예에서, 적응형 필터가 하나의 신경망 필터이다.
본 출원의 일부 실시예에서, 적응형 필터가 두 개 또는 다수 개의 연결된 다른 유형의 신경망 필터이다.
본 출원의 일부 실시예에서, 적응형 필터가 제1 신경망 필터와 제2 신경망 필터의 연결 필터이다.
본 출원의 일부 실시예에서, 상기 제3 결정 부분(30)은, 또한 신경망 필터의 제2 필터링 파라미터를 결정하며, 여기에서, 제2 필터링 파라미터는 신경망 필터의 전부 파라미터이며; 제1 필터링 파라미터를 사용하여 제2 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제2 필터링 파라미터를 신경망 필터의 전부 필터링 파라미터로 하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제3 결정 부분(30)은, 또한 오프라인 훈련을 사용하여 신경망 필터의 제2 필터링 파라미터를 결정하며; 또는 비디오 비트 스트림을 디코딩하기 전, 제2 필터링 파라미터를 취득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제3 결정 부분(30)은, 또한 제1 신경망 필터의 전부 필터링 파라미터를 결정하며; 제1 필터링 파라미터를 제2 신경망 필터의 전부 필터링 파라미터로 하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제3 결정 부분(30)은, 또한 오프라인 훈련을 사용하여 제1 신경망 필터의 전부 필터링 파라미터를 결정하며; 또는, 비디오 비트 스트림을 디코딩하기 전, 제1 신경망 필터의 전부 필터링 파라미터를 취득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제3 결정 부분(30)은, 또한 제1 신경망 필터의 제5 필터링 파라미터를 결정하며; 여기에서, 제5 필터링 파라미터는 제1 신경망 필터의 전부 파라미터이며; 제1 필터링 파라미터 중의 일부 파라미터를 제6 필터링 파라미터로 하며, 여기에서, 제6 필터링 파라미터는 제1 신경망 필터의 일부 파라미터이며; 제6 필터링 파라미터를 사용하여 제5 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 제5 필터링 파라미터를 제1 신경망 필터의 전부 필터링 파라미터로 하며; 제1 필터링 파라미터 중의 다른 일부 파라미터를 제2 신경망 필터의 전부 파라미터로 하도록 구성된다.
본 출원의 일부 실시예에서, 상기 제3 결정 부분(30)은, 또한 오프라인 훈련을 사용하여 제5 필터링 파라미터를 결정하며; 또는 비디오 비트 스트림을 디코딩하기 전, 제5 필터링 파라미터를 취득하도록 구성된다.
본 출원의 일부 실시예에서, 오프라인 훈련은 비디오 비트 스트림을 해석하기 전, 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정이다.
본 출원의 일부 실시예에서, 적응형 필터가 비디오 비트 스트림에 대하여 디코딩하는 중에서 사용하는 인루프 필터 또는 후 처리 필터이다.
필터링 장치가 디코딩단에 처할 때, 비디오 비트 스트림을 해석하는 것을 통하여 적응형 필터의 제1 필터링 파라미터를 결정하고, 제1 필터링 파라미터는 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터(온라인 필터링 파라미터)이며; 및 제1 필터링 파라미터에 의하여 적응형 필터의 전부 필터링 파라미터(온라인 필터링 파라미터와 오프라인 필터링 파라미터)를 결정하며; 전부 필터링 파라미터와 에지 정보에 의하여, 적응형 필터를 사용하고 입력된 픽셀에 대하여 필터링을 진행하고 필터링된 픽셀을 취득하며, 필터가 온라인 필터링 부분과 오프라인 부분을 결합시켜 취득된 것이기 때문에, 이렇게 하면 필터링할 때 오프라인 필터링 부분을 사용할 수 있고, 너무 넓은 범위의 비디오의 필터링에 적용되며, 동시에 또한 온라인 필터링 부분의 일부 모델의 업데이트를 확보하고 필터링 성능의 퇴화를 피할 수 있어, 즉 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다는 것을 이해할 것이다.
본 실시예에서, “유닛”은 일부 회로, 일부 프로세서, 일부 프로그램 또는 소프트웨어 등일 수 인 것을 이해할 것이며, 또한 모듈일 수 있도 있고, 비모듈일 수도 있는 것은 자명한다. 그리고, 본 실시예 중의 각 구성 부분은 하나의 처리 유닛 중에 집적될 수도 있고, 또한 각 유닛의 독립적인 물리적 존재일 수 있으며, 또한 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 집적되어 있을 수 있다. 상술한 집적된 유닛은 하드웨어의 형식을 이용하여 구현될 수도 있고, 또한 소프트웨어 기능 모듈의 형식을 이용하여 구현될 수도 있다.
만일 집적된 유닛은 소프트웨어 기능 모듈의 형식으로 구현되고 또한 독립적인 제품으로 판매 또는 사용될 때, 하나의 컴퓨터 판독가능한 저장 매체에 저장될 수 있어, 이를 기반으로 본 실시예의 기술방안의 본질적이나 또는 종래 기술에 대하여 공헌이 있는 부분 또는 해당 기술 방안의 전부 또는 일부는 소프트웨어 제품의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장될 수 있는 바, 일부 명령이 포함되어 한 컴퓨터 설비(개인용 컴퓨터, 서버 또는 네트워크 설비 등일 수 있음) 또는 processor(프로세서)로 하여금 본 출원의 각 실시예의 방법의 전부 또는 일부 단계를 구현하게 할 수 있다. 전술된 저장 매체에는 USB 메모리, 이동 하드, 읽기전용 메모리(ReadOnly Memory, ROM), 무작위 접속 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 여러 가지 프로그램 코드를 저장할 수 있는 매체가 포함된다.
도12는 본 출원의 실시예가 제공하는 일 선택가능한 필터링 장치의 구조 도면으로서, 본 출원의 실시예가 필터링 장치를 제공하는 바,
실행가능한 명령을 저장하는 기억장치(17);
상기 기억장치(17) 중에 저장된 실행가능한 명령을 실행할 때, 분 출원의 실시예가 제공하는 필터링 방법을 구현하는 프로세서(16)가 포함된다.
설명해야 할 바로는, 실제 응용할 때, 단말 중의 각 조립은 통신 버스(18)를 통하여 커플링된다. 통신 버스(18)는 이러한 조립 간의 연결 통신을 구현하는 것을 이해할 것이다. 통신 버스(18)에 데이터 버스가 포함되는 외에, 또한 전원 버스, 제어 버스와 상태 신호 버스가 포함된다. 하지만 명확히 설명하기 위하여 도12에서 여러가지 버스를 통신 버스(18)로 표시한다.
본 출원의 실시예가 컴퓨터 저장 매체를 제공하는 바, 실행가능한 명령을 저장하고, 프로세서에 의하여 실행될 때, 본 출원의 실시예가 제공하는 필터링 방법을 구현한다.
본 출원의 실시예 중의 기억장치는 휘발성 기억장치 또는 비휘발성 기억장치일 수 있거나, 또는 휘발성과 비휘발성 기억장치 두 가지를 포함할 수 있는 것을 이해할 것이다. 여기에서, 비휘발성 기억장치는 읽기전용 메모리(Read-Only Memory, ROM), 프로그래머블 메모리(Programmable ROM, PROM), 휘발성 프로그래머블 메모리(Erasable PROM, EPROM), 전기 휘발성 프로그래머블 메모리(Electrically EPROM, EEPROM) 또는 플래시 일 수 있다. 휘발성 메모리는 무작위 접속 메모리(Random Access Memory, RAM)일 수 있으며, 이는 외부 고속 캐시로 사용된다. 예시적이지만 제한적이지 않은 설명을 통하여, 많은 형식의 RAM가 사용가능한 것이며, 예를 들면, 정적 램(Static RAM, SRAM), 동적 램(Dynamic RAM, DRAM), 동기화 동적 램(Synchronous DRAM, SDRAM), 이중 데이터 속도 동적 램(Double Data Rate SDRAM, DDR SDRAM), 향상된 동기화 동적 램(Enhanced SDRAM, ESDRAM), 동기화 링크 동적 램(Synchlink DRAM, SLDRAM)과 직접 램버스 램(Direct Rambus RAM, DR RAM) 등이다. 본 명세서에 기재된 시스템과 방법의 기억장치는 이러한 것과 임의의 기타 적합한 유형의 기억장치를 포함하나 이에 제한되지 않기 위한 것이다.
프로세서는 집적회로 칩일 수 있고, 신호의 처리 능력을 갖는다. 구현 과정에서, 상술한 방법의 각 단계는 프로세서 중의 하드웨어의 집적 논리회로 또는 소프트웨어 형식의 명령을 통하여 완성될 수 있다. 상기 프로세서는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 기타 프로그램가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트 등일 수 있다. 본 출원의 실시예에 공개된 각 방법, 단계 및 논리 블럭도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있고, 해당 프로세서는 또한 임의의 일반적인 프로세서 등일 수 있다. 본 출원의 실시예에 공개된 방법의 단계와 결합시켜 직접 하드웨어 디코딩 프로세서로 실행하여 완성한 것으로 구현되거나, 또는 디코딩 프로세서 중의 하드웨어 및 소프트웨어 모듈 조합으로 실행하여 완성할 수 있다. 소프트웨어 모듈은 무작위 메모리, 플래시 메모리, 읽기전용 메모리, 프로그래머블 읽기전용 메모리 또는 전기 휘발성 프로그래머블 메모리, 레지스터 등 당업계의 성숙된 저장 매체에 위치할 수 있다. 해당 저장 매체는 기억장치에 위치하고, 프로세서가 기억장치 중의 정보를 읽으며, 그 하드웨어와 결합시켜 상기 방법의 단계를 완성한다.
본 명세서에 기재된 이러한 실시예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 또는 이의 조합을 사용하여 구현될 수 있는 것을 이해할 것이다. 하드웨어의 구현에 있어서, 처리 유닛은 하나 또는 다수 개의 주문형 집적회로 （Application Specific Integrated Circuit，ASIC）, 디지털 신호 처리기（Digital Signal Processor，DSP）, 디지털 신호 처리 장치（ DSP Device，DSPD）, 프로그램 가능 논리 소자（Programmable Logic Device，PLD）, 필드 프로그래머블 게이트 어레이（Field ProgRAMmable Gate Array，FPGA）, 범용 프로세서, 제어기, 마이크로 제어기, 마이크로 프로세서, 본 출원의 상기 기능을 실행하는 기타 전자 유닛 또는 이의 조합에 구현될 수 있다.
소프트웨어 구현에 있어서, 본 명세서의 상기 기능을 실행하는 모듈(예를 들면 과정, 함수 등)을 통하여 본 명세서의 상기 기능을 구현할 수 있다. 소프트웨어 코드는 기억장치에 저장되고 프로세서에 의하여 실행될 수 있다. 기억장치는 프로세서 또는 포로세서 외부에서 구현될 수 있다.
설명해야 할 바로는, 본 명세서에서, 용어 “포함” 또는 이의 임의의 기타 변체는 비 배타성의 포함을 포함되고, 일련의 요소가 포함된 과정, 방법, 물품 또는 장치에 그런 요소가 포함되게 할 뿐 아니라, 또한 명확히 열거되지 않는 기타 요소가 포함되고, 또는 이런 과정, 방법, 물품 또는 장치에 위하여 고정된 요소가 포함된다. 더 많은 제한이 없는 상황 하에서, 용어 “하나가 포함……”가 제한한 요소는, 해당 요소의 과정, 방법, 물품 또는 장치가 포함되는 중에 또한 다른 같은 요소가 존재하는 것을 제거하지 않는다.
상술한 본 출원의 실시예 번호는 단지 설명하기 위한 것일 뿐, 실시예의 우열을 대표하지 않는다.
위의 실시 방식의 설명을 통하여 본 분야의 기술자들이 상술한 실시예의 방법은 소프트웨어와 필요한 범용 하드웨어 플랫폼의 방식에 의존하여 구현될 수 있고, 하드웨어를 통하여 구현될 수 있는 것은 물론이지만, 많은 상황 하에서 전자는 더욱 바람직한 실시 방식이다. 이를 기반으로 본 출원의 기술방안의 본질적이나 또는 종래 기술에 대하여 공헌이 있는 부분은 소프트웨어 제품의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 하나의 저장 매체(예를 들면 ROM/RAM, 자기 디스크, 광 디스크)에 저장될 수 있는 바, 일부 명령이 포함되어 한 단말(핸드폰, 컴퓨터, 서버 또는 네트워크 설비 등일 수 있음)로 하여금 본 출원의 각 실시예의 상기 방법을 구현하게 할 수 있다.
위에 도면을 참조하여 본 출원의 실시예에 대하여 설명을 진행하지만, 본 출원은 상술한 구체적인 실시 방식에 제한되지 않으며, 상술한 구체적인 실시 방식은 단지 예시적일 뿐 제한하는 것이 아니고, 본 분야의 기술자들이 본 출원의 계시 하에서, 본 출원의 주지와 청구범위에 청구한 범위에 벗어나지 않는 상황 하에서, 또한 많은 형식을 구현할 수 있어, 이들은 모두 본 출원의 보호 범위에 속한다.
산업상 이용가능성
본 출원의 실시예에서, 필터링 장치가 필터링하고자 하는 비디오 프레임의 필터링하고자 하는 픽셀 정보에 대하여, 필터링하고자 하는 비디오 프레임의 에지 정보를 결정하고, 에지 정보와 필터링하고자 하는 픽셀 정보를 필터에 입력하고 필터링하여, 필터링된 픽셀을 출력하며, 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득된 것이기 때문에, 이렇게 하면 필터링할 때 오프라인 필터링 부분을 사용할 수 있고, 너무 넓은 범위의 비디오의 필터링에 적용되며, 동시에 또한 온라인 필터링 부분의 일부 모델의 업데이트를 확보하고 필터링 성능의 퇴화를 피할 수 있어, 즉 필터링 장치의 필터링 성능을 향상시키고 또한 적용 범위가 넓다는 것을 이해할 것이다.
Claims (43)
- 필터링 방법에 있어서,
필터링하고자 하는 픽셀 정보를 취득하며,
에지 정보를 결정하며,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하고 취득하며, 상기 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득되는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제1항에 있어서,
상기 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며, 또는,
상기 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며,
상기 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재하는 것을 특징으로 하는 필터링 방법. - 제1항에 있어서,
상기 필터가 오프라인 필터링 모델로 형성되며,
오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재하며,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하여 취득하는 것에는,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고, 상기 필터링된 픽셀을 출력하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제2항에 있어서,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하여 취득하는 것에는,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고 중간 필터링된 필셀을 출력하며, 상기 중간 필터링된 픽셀와 상기 에지 정보를 신경망을 기반으로 한 상기 온라인 필터링 모델에 입력하고 상기 필터링된 픽셀을 출력하며, 또는,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 온라인 필터링 모델에 입력하고, 중간 필터링된 픽셀을 출력하며, 상기 중간 필터링된 픽셀과 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고 상기 필터링된 픽셀을 출력하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 취득한 후,
상기 방법에는 또한,
상기 필터링된 픽셀을 기반으로, 상기 필터에 대하여 온라인 훈련을 진행하고 온라인 필터링 파라미터를 취득하며,
상기 온라인 필터링 파라미터를 기반으로 상기 필터의 온라인 부분을 훈련한 후, 후속 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 업데이트된 필터 중에 입력하고 필터링하고, 후속 필터링된 픽셀을 취득하며,
상기 온라인 필터링 파라미터를 비디오 비트 스트림에 기입하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
오프라인 필터링 모델이 오프라인 훈련된 필터이며, 상기 오프라인 필터링 모델에는 오프라인 훈련된 파라미터가 포함되며,
온라인 필터링 모델이 온라인 훈련된 필터이며, 상기 온라인 필터링 모델에는 온라인 훈련된 파라미터가 포함되는 것을 특징으로 하는 필터링 방법. - 제6항에 있어서,
신경망을 기반으로 한 상기 필터가 후 처리 필터링, 인루프 필터링, 사전 처리 필터링 및 예측 과정에 적용되는 것을 특징으로 하는 필터링 방법. - 제7항에 있어서,
신경망을 기반으로 한 상기 필터가 후 처리 필터링에 적용될 때, 디코딩단에 구비되며,
신경망을 기반으로 한 상기 필터가 인루프 처리 필터링에 적용될 때, 디코딩단과 인코딩단에 구비되며,
신경망을 기반으로 한 상기 필터가 사전 처리 필터링에 적용될 때, 인코딩단에 구비되는 것을 특징으로 하는 필터링 방법. - 필터링 방법에 있어서,
비디오에 대하여 인코딩을 진행하는 것에는
적응형 필터의 필터링 파라미터를 결정하며,
상기 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하며,
제1 필터링 파라미터를 결정하며, 상기 제1 필터링 파라미터는 인코딩을 진행하야 할 상기 필터링 파라미터 중의 일부 필터링 파라미터이며,
상기 제1 필터링 파라미터에 대하여 인코딩을 진행하고, 비디오 비트 스트림에 기입하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제9항에 있어서,
상기 적응형 필터에는 또한,
상기 적응형 필터가 하나의 신경망 필터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제9항에 있어서,
상기 적응형 필터에는 또한,
상기 적응형 필터가 제1 신경망 필터와 제2 신경망 필터의 연결 필터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제9항에 있어서,
상기 적응형 필터의 필터링 파라미터를 결정하는 것에는,
오프라인 훈련을 사용하여 신경망 필터의 제2 필터링 파라미터를 결정하며, 상기 제2 필터링 파라미터는 상기 신경망 필터의 전부 파라미터이며,
온라인 훈련을 사용하여 상기 신경망 필터의 제3 필터링 파라미터를 결정하며, 상기 제2 필터링 파라미터는 상기 신경망 필터의 일부 파라미터이며,
상기 제3 필터링 파라미터를 사용하여 상기 제2 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 상기 제2 필터링 파라미터를 상기 신경망 필터의 전부 필터링 파라미터로 하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제12항에 있어서,
상기 제1 필터링 파라미터를 결정하는 것에는,
상기 제3 필터링 파라미터를 상기 제1 필터링 파라미터로 하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제11항에 있어서,
상기 적응형 필터의 필터링 파라미터를 결정하는 것에는,
오프라인 훈련을 사용하여 상기 제1 신경망 필터의 전부 필터링 파라미터를 결정하며,
온라인 훈련을 사용하여 상기 제2 신경망 필터의 제4 필터링 파라미터를 결정하며, 상기 제4 필터링 파라미터는 상기 제2 신경망 필터의 전부 파라미터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제14항에 있어서,
상기 제1필터링 파라미터를 결정하는 것에는,
상기 제4 필터링 파라미터를 상기 제1 필터링 파라미터로 하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제11항에 있어서,
상기 적응형 필터의 필터링 파라미터를 결정하는 것에는,
오프라인 훈련을 사용하여 상기 제1 신경망 필터의 제5 필터링 파라미터를 결정하며, 상기 제5 필터링 파라미터는 상기 제1 신경망 필터의 전부 파라미터이며,
온라인 훈련을 사용하여 신경망 필터의 제6 필터링 파라미터를 결정하며, 상기 제6 필터링 파라미터는 상기 제1 신경망 필터의 일부 파라미터이며,
상기 제6 필터링 파라미터를 사용하여 상기 제5 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 상기 제5 필터링 파라미터를 상기 제1 신경망 필터의 필터링 파라미터로 하며,
상기 비디오 또는 픽처에 대하여 인코딩하는 과정에서, 온라인 훈련을 사용하여 상기 제2 신경망 필터의 제7 필터링 파라미터를 결정하며, 상기 제7 필터링 파라미터는 상기 제2 신경망 필터의 전부 파라미터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제16항에 있어서,
상기 제1필터링 파라미터를 결정하는 것에는,
상기 제6 필터링 파라미터와 상기 제7 필터링 파라미터를 상기 제1 필터링 파라미터로 하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제12항 내지 제17항 중 어느 한 항에 있어서, 또한
상기 오프라인 훈련은 상기 비디오 또는 픽처에 대하여 인코딩하기 시작하기 전 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정이며,
상기 온라인 훈련은 상기 비디오 또는 픽처에 대하여 인코딩하는 과정에서, 인코딩하고자 하는 비디오 시퀀스 중의 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제9항 내지 제17항 중 어느 한 항에 있어서,
또한,
상기 적응형 필터가 상기 비디오에 대하여 인코딩하는 중에서 사용하는 사전 처리 필터이고, 또는 인루프 필터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 필터링 방법에 있어서,
비디오 비트 스트림에 대하여 디코딩을 진행하는 것에는
비디오 비트 스트림을 해석하고, 적응형 필터의 제1 필터링 파라미터를 결정하며, 상기 제1 필터링 파라미터는 상기 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터이며,
상기 제1 필터링 파라미터에 의하여 상기 적응형 필터의 전부 필터링 파라미터를 결정하며,
상기 전부 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제20항에 있어서,
상기 적응형 필터에는 또한,
상기 적응형 필터가 하나의 신경망 필터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제20항에 있어서,
상기 적응형 필터에는 또한,
상기 적응형 필터가 두 개 또는 다수 개의 연결된 다른 유형의 신경망 필터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제22항에 있어서,
상기 적응형 필터에는 또한,
상기 적응형 필터가 제1 신경망 필터와 제2 신경망 필터의 연결 필터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제21항에 있어서,
적응형 필터의 전부 필터링 파라미터를 결정하는 것에는,
상기 신경망 필터의 제2 필터링 파라미터를 결정하며, 상기 제2 필터링 파라미터는 상기 신경망 필터의 전부 파라미터이며,
상기 제1 필터링 파라미터를 사용하여 상기 제2 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 상기 제2 필터링 파라미터를 상기 신경망 필터의 전부 필터링 파라미터로 하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제24항에 있어서,
상기 신경망 필터의 제2 필터링 파라미터를 결정하는 것에는,
오프라인 훈련을 사용하여 상기 신경망 필터의 제2 필터링 파라미터를 결정하며, 또는,
상기 비디오 비트 스트림을 디코딩하기 전 상기 제2 필터링 파라미터를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제23항에 있어서,
상기 적응형 필터의 전부 필터링 파라미터를 결정하는 것에는,
상기 제1 신경망 필터의 전부 필터링 파라미터를 결정하며,
상기 제1 필터링 파라미터를 상기 제2 신경망 필터의 전부 필터링 파라미터로 하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제26항에 있어서,
상기 제1 신경망 필터의 전부 필터링 파라미터를 결정하는 것에는,
오프라인 훈련을 사용하여 상기 제1 신경망 필터의 전부 필터링 파라미터를 결정하며,; 또는,
상기 비디오 비트 스트림을 디코딩하기 전 상기 제1 신경망 필터의 전부 필터링 파라미터를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제23항에 있어서,
상기 적응형 필터의 전부 필터링 파라미터를 결정하는 것에는,
상기 제1 신경망 필터의 제5 필터링 파라미터를 결정하며, 상기 제5 필터링 파라미터는 상기 제1 신경망 필터의 전부 파라미터이며,
상기 제1 필터링 파라미터 중의 일부 파라미터를 제6 필터링 파라미터로 하며, 상기 제6 필터링 파라미터는 상기 제1 신경망 필터의 일부 파라미터이며,
상기 제6 필터링 파라미터를 사용하여 상기 제5 필터링 파라미터 중 대응되는 필터링 파라미터를 업데이트하고, 업데이트된 후의 상기 제5 필터링 파라미터를 상기 제1 신경망 필터의 전부 필터링 파라미터로 하며,
상기 제1 필터링 파라미터 중의 다른 일부 파라미터를 상기 제2 신경망 필터의 전부 파라미터로 하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제28항에 있어서,
상기 제1 신경망 필터의 제5 필터링 파라미터를 결정하는 것에는,
오프라인 훈련을 사용하여 상기 제5 필터링 파라미터를 결정하며, 또는,
상기 비디오 비트 스트림을 디코딩하기 전 상기 제5 필터링 파라미터를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제24항 내지 제29항 중 어느 한 항에 있어서,
또한,
오프라인 훈련은 상기 비디오 비트 스트림을 해석하기 전 하나 또는 다수 개의 픽처를 사용하여 신경망 필터에 대하여 훈련을 진행하는 과정인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 제24항 내지 제29항 중 어느 한 항에 있어서,
또한,
상기 적응형 필터가 상기 비디오 비트 스트림에 대하여 디코딩하는 중에서 사용하는 인루프 필터 또는 후 처리 필터인 것이 포함되는 것을 특징으로 하는 필터링 방법. - 필터링 장치에 있어서,
필터링하고자 하는 픽셀 정보를 취득하도록 구성되는 제1 취득 부분;
에지 정보를 결정하도록 구성되는 제1 결정 부분;
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하고 취득하며, 상기 필터가 온라인 필터링 부분과 오프라인 필터링 부분을 결합시켜 취득되는 제1 필터링 부분;이 포함되는 것을 특징으로 하는 필터링 장치. - 제32항에 있어서,
상기 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며, 또는,
상기 필터가 온라인 필터링 모델과 오프라인 필터링 모델로 연결하여 형성되며, 상기 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재하는 것을 특징으로 하는 필터링 장치. - 제32항에 있어서,
상기 필터가 오프라인 필터링 모델로 형성되며, 오프라인 필터링 모델 중에 일부 온라인 훈련된 파라미터가 존재하며,
상기 제1 필터링 부분은, 또한 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고, 상기 필터링된 픽셀을 출력하는 것을 특징으로 하는 필터링 장치. - 제33항에 있어서,
상기 제1 필터링 부분은,
또한 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고 중간 필터링된 필셀을 출력하며,
상기 중간 필터링된 픽셀와 상기 에지 정보를 신경망을 기반으로 한 상기 온라인 필터링 모델에 입력하고 상기 필터링된 픽셀을 출력하며, 또는,
상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 상기 온라인 필터링 모델에 입력하고 중간 필터링된 픽셀을 출력하며,
상기 중간 필터링된 픽셀과 상기 에지 정보를 신경망을 기반으로 한 상기 오프라인 필터링 모델에 입력하고 상기 필터링된 픽셀을 출력하는 것을 특징으로 하는 필터링 장치. - 제32항 내지 제35항 중 어느 한 항에 있어서,
상기 필터에는 또한 훈련 부분과 기입 부분이 포함되며,
제1 훈련 부분은, 상기 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링된 픽셀을 출력하여 취득한 후, 상기 필터링된 픽셀을 기반으로 상기 필터에 대하여 온라인 훈련을 진행하고, 온라인 필터링 파라미터를 취득하며,
상기 제1 필터링 부분은, 또한 상기 온라인 필터링 파라미터를 기반으로 상기 필터의 온라인 부분을 훈련한 후, 후속 필터링하고자 하는 픽셀 정보와 상기 에지 정보를 업데이트된 필터 중에 입력하고 필터링하여, 후속 필터링된 픽셀을 취득하며,
제1 기입 부분은, 또한 상기 온라인 필터링 파라미터를 비디오 비트 스트림에 기입하는 것을 특징으로 하는 필터링 장치. - 제32항 내지 제35항 중 어느 한 항에 있어서,
오프라인 필터링 모델이 오프라인 훈련된 필터이며, 상기 오프라인 필터링 모델에는 오프라인 훈련된 파라미터가 포함되며,
온라인 필터링 모델이 온라인 훈련된 필터이며; 상기 온라인 필터링 모델에는 온라인 훈련된 파라미터가 포함되는 것을 특징으로 하는 필터링 장치. - 제37항에 있어서,
신경망을 기반으로 한 상기 필터가 후 처리 필터링, 인루프 필터링, 사전 처리 필터링 및 예측 과정에 적용되는 것을 특징으로 하는 필터링 장치. - 제38항에 있어서,
신경망을 기반으로 한 상기 필터가 후 처리 필터링에 적용될 때, 디코딩단에 구비되며,
신경망을 기반으로 한 상기 필터가 인루프 처리 필터링에 적용될 때, 디코딩단과 인코딩단에 구비되며,
신경망을 기반으로 한 상기 필터가 사전 처리 필터링에 적용될 때, 인코딩단에 구비되는 것을 특징으로 하는 필터링 장치. - 필터링 장치에 있어서, 비디오에 대하여 인코딩을 진행하며
적응형 필터의 필터링 파라미터를 결정하도록 구성되는 제2 결정 부분,
상기 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하도록 구성되는 제2 필터링 부분,
상기 제2 결정 부분은, 또한 제1 필터링 파라미터를 결정하도록 구성되며, 상기 제1 필터링 파라미터는 인코딩을 진행하야 할 상기 필터링 파라미터 중의 일부 필터링 파라미터이며,
상기 제1 필터링 파라미터에 대하여 인코딩을 진행하고, 비디오 비트 스트림에 기입하도록 구성되는 제2 기입 부분이 포함되는 것을 특징으로 하는 필터링 장치. - 필터링 장치에 있어서,
비디오 비트 스트림에 대하여 디코딩을 진행하며
비디오 비트 스트림을 해석하고, 적응형 필터의 제1 필터링 파라미터를 결정하며, 상기 제1 필터링 파라미터는 상기 적응형 필터의 전부 필터링 파라미터 중의 일부 필터링 파라미터이며, 및 상기 제1 필터링 파라미터에 의하여 상기 적응형 필터의 전부 필터링 파라미터를 결정하도록 구성되는 제3 결정 부분; 및
상기 전부 필터링 파라미터와 에지 정보에 의하여 상기 적응형 필터를 사용하여 입력된 픽셀에 대하여 필터링하고, 필터링된 픽셀을 취득하도록 구성되는 제3 필터링 부분;이 포함되는 것을 특징으로 하는 필터링 장치. - 필터링 장치에 있어서,
실행가능한 명령을 저장하는 기억장치; 및
상기 기억장치에 저장되는 실행가능한 명령을 실행할 때, 제1항 내지 제8항 중 어느 한 항의 상기 방법, 또는 제9항 내지 제19항 중 어느 한 항의 상기 방법, 또는 제20항 내지 제31항 중 어느 한 항의 상기 방법을 구현하는 프로세서;가 포함되는 것을 특징으로 하는 필터링 장치. - 컴퓨터 저장 매체에 있어서,
실행가능한 명령을 저장하고,
프로세서가 실행할 때, 제1항 내지 제8항 중 어느 한 항의 상기 방법, 또는 제9항 내지 제19항 중 어느 한 항의 상기 방법, 또는 제20항 내지 제31항 중 어느 한 항의 상기 방법을 구현하는 것을 특징으로 하는 컴퓨터 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962822949P | 2019-03-24 | 2019-03-24 | |
| US62/822,949 | 2019-03-24 | ||
| PCT/CN2019/105799 WO2020192034A1 (zh) | 2019-03-24 | 2019-09-12 | 滤波方法及装置、计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210134397A true KR20210134397A (ko) | 2021-11-09 |
Family
ID=72609590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217032829A KR20210134397A (ko) | 2019-03-24 | 2019-09-12 | 필터링 방법 및 장치, 컴퓨터 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11985313B2 (ko) |
| EP (1) | EP3941066A4 (ko) |
| JP (1) | JP2022525235A (ko) |
| KR (1) | KR20210134397A (ko) |
| CN (1) | CN113574897A (ko) |
| WO (1) | WO2020192034A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024019343A1 (ko) * | 2022-07-20 | 2024-01-25 | 현대자동차주식회사 | 다양한 잡음 및 특성에 적응적인 비디오 인루프 필터 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021170901A1 (en) * | 2020-02-24 | 2021-09-02 | Nokia Technologies Oy | A method, an apparatus and a computer program product for video encoding and video decoding |
| US11647216B2 (en) | 2021-04-12 | 2023-05-09 | Tencent America LLC | Techniques for signaling neural network topology, parameters, and processing information in video stream |
| US11979565B2 (en) | 2021-05-27 | 2024-05-07 | Tencent America LLC | Content-adaptive online training method and apparatus for post-filtering |
| CN116320410A (zh) * | 2021-12-21 | 2023-06-23 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
| WO2024073145A1 (en) * | 2022-09-30 | 2024-04-04 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for adaptive loop filtering and cross-component adaptive loop filter |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8572184B1 (en) * | 2007-10-04 | 2013-10-29 | Bitdefender IPR Management Ltd. | Systems and methods for dynamically integrating heterogeneous anti-spam filters |
| CN101841701B (zh) * | 2009-03-20 | 2012-05-23 | 华为技术有限公司 | 基于宏块对的编解码方法及装置 |
| US9762906B2 (en) * | 2013-02-18 | 2017-09-12 | Mediatek Inc. | Method and apparatus for video decoding using multi-core processor |
| GB2539845B (en) | 2015-02-19 | 2017-07-12 | Magic Pony Tech Ltd | Offline training of hierarchical algorithms |
| CN107925762B (zh) * | 2015-09-03 | 2020-11-27 | 联发科技股份有限公司 | 基于神经网络的视频编解码处理方法和装置 |
| US10531111B2 (en) * | 2015-11-06 | 2020-01-07 | Microsoft Technology Licensing, Llc | Flexible reference picture management for video encoding and decoding |
| US11132619B1 (en) * | 2017-02-24 | 2021-09-28 | Cadence Design Systems, Inc. | Filtering in trainable networks |
| US20180293486A1 (en) * | 2017-04-07 | 2018-10-11 | Tenstorrent Inc. | Conditional graph execution based on prior simplified graph execution |
| CN108932697B (zh) * | 2017-05-26 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
| MX2019014443A (es) * | 2017-05-31 | 2020-02-10 | Interdigital Vc Holdings Inc | Un metodo y un dispositivo para codificacion y decodificacion de imagenes. |
| CN108184129B (zh) * | 2017-12-11 | 2020-01-10 | 北京大学 | 一种视频编解码方法、装置及用于图像滤波的神经网络 |
| CN108134932B (zh) | 2018-01-11 | 2021-03-30 | 上海交通大学 | 基于卷积神经网络的视频编解码环路内滤波实现方法及*** |
-
2019
- 2019-09-12 EP EP19921828.0A patent/EP3941066A4/en active Pending
- 2019-09-12 JP JP2021555871A patent/JP2022525235A/ja active Pending
- 2019-09-12 CN CN201980094265.3A patent/CN113574897A/zh active Pending
- 2019-09-12 KR KR1020217032829A patent/KR20210134397A/ko active Search and Examination
- 2019-09-12 WO PCT/CN2019/105799 patent/WO2020192034A1/zh unknown
-
2021
- 2021-09-14 US US17/475,237 patent/US11985313B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024019343A1 (ko) * | 2022-07-20 | 2024-01-25 | 현대자동차주식회사 | 다양한 잡음 및 특성에 적응적인 비디오 인루프 필터 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020192034A1 (zh) | 2020-10-01 |
| EP3941066A1 (en) | 2022-01-19 |
| JP2022525235A (ja) | 2022-05-11 |
| US20220007015A1 (en) | 2022-01-06 |
| EP3941066A4 (en) | 2022-06-22 |
| US11985313B2 (en) | 2024-05-14 |
| CN113574897A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210134397A (ko) | 필터링 방법 및 장치, 컴퓨터 저장 매체 | |
| JP7350082B2 (ja) | ループフィルタリング方法、装置およびコンピュータ記憶媒体 | |
| US20220021905A1 (en) | Filtering method and device, encoder and computer storage medium | |
| CN113747179B (zh) | 环路滤波实现方法、装置及计算机存储介质 | |
| WO2021134706A1 (zh) | 环路滤波的方法与装置 | |
| CN114025164A (zh) | 图像编码方法、图像解码方法、编码器以及解码器 | |
| TWI779161B (zh) | 用於視訊編解碼的分組類神經網路的方法以及裝置 | |
| JP2016105607A (ja) | Ｈｅｖｃにおける係数符号化の調和 | |
| JP2024095842A (ja) | 画像予測方法、エンコーダー、デコーダー及び記憶媒体 | |
| CN110619607B (zh) | 图像去噪和包含图像去噪的图像编解码方法及装置 | |
| WO2022037146A1 (zh) | 图像处理方法、装置、设备、计算机存储介质和*** | |
| WO2021056216A1 (zh) | 预测值的确定方法、编码器、解码器以及计算机存储介质 | |
| KR20220064950A (ko) | 프레임 간 예측 방법 및 장치, 기기, 저장 매체 | |
| US20220014765A1 (en) | Method for picture prediction, encoder, decoder, and storage medium | |
| WO2022227062A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
| WO2022227082A1 (zh) | 块划分方法、编码器、解码器以及计算机存储介质 | |
| US20220007042A1 (en) | Colour component prediction method, encoder, decoder, and computer storage medium | |
| EP4224852A1 (en) | Video encoding and decoding methods, encoder, decoder, and storage medium | |
| KR101720216B1 (ko) | 루프 내 필터의 필터링 방법 및 루프 내 필터의 필터링 방법을 수행하는 장치 | |
| CN117880512A (zh) | 一种b帧的多时间层分层滤波方法、装置、设备及介质 | |
| KR20210114961A (ko) | 예측 방향 결정 방법, 디코더 및 컴퓨터 저장 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |