JP6615346B2 - 符号化処理におけるリアルタイムビデオノイズ低減のための方法、端末、および、不揮発性コンピュータ可読記憶媒体 - Google Patents

符号化処理におけるリアルタイムビデオノイズ低減のための方法、端末、および、不揮発性コンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP6615346B2
JP6615346B2 JP2018526059A JP2018526059A JP6615346B2 JP 6615346 B2 JP6615346 B2 JP 6615346B2 JP 2018526059 A JP2018526059 A JP 2018526059A JP 2018526059 A JP2018526059 A JP 2018526059A JP 6615346 B2 JP6615346 B2 JP 6615346B2
Authority
JP
Japan
Prior art keywords
macroblock
sub
direct current
current component
component coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018526059A
Other languages
English (en)
Other versions
JP2018534877A (ja
Inventor
▲海▼波 ▲デン▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2018534877A publication Critical patent/JP2018534877A/ja
Application granted granted Critical
Publication of JP6615346B2 publication Critical patent/JP6615346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願
この出願は、その全体が参照により本明細書に組み込まれる、2015年11月18日出願の「REAL-TIME VIDEO DENOISING METHOD AND APPARATUS DURING CODING」と題された中国特許出願第201510798985.1号の優先権を主張する。
本開示は、信号処理の分野に関し、詳細には、符号化中におけるリアルタイムビデオノイズ除去方法および端末、ならびに、不揮発性コンピュータ可読記憶媒体に関する。
現在、ほとんどのスマートフォンは、既に、ビデオシューティング機能を有する。レンズおよび費用の制限により、単一画素の光束は比較的貧弱であり、キャプチャされたビデオには多くのランダムノイズが存在し、特に、ランダムノイズは、比較的暗い背景においてより目立つ。一方では、ノイズは、画像の鮮明度および品質を低下させる。他方では、残余は、符号化中、過度に大きく、符号ストリームの数を増加させ、ネットワークおよびストレージのより高い負荷をもたらす。
ビデオに関するノイズ除去の事前処理を実行することは、ビデオ品質を改善することができるのみならず、ネットワーク送信をも容易にする。したがって、ビデオノイズ除去は、リアルタイムストリーミングメディアサービス、モバイルビデオフォン、ネットワークビデオチャット、または、帯域幅に限定されたそのようなものに関する実用的な価値を有する。
既存のノイズ除去方法は、通常、空間領域または時間領域に基づく。平均ノイズ除去、非ローカル平均(略してNLM)、ブロックマッチング3D(略してBM3D)のような空間領域ノイズ除去は、単一の画像における近隣画素間の相関のみを考慮する。平均ノイズ除去は、端部およびテクスチャ領域を平滑化し、画像品質の低下をもたらす。NLMおよびBM3Dは、大量の計算を必要とし、ビデオチャットシナリオへ適合できない。時間領域ノイズ除去は、近隣フレーム間の情報を考慮する。時間領域ノイズ除去の基本的なアイデアは、前景画素および後景画素を決定することである。時間領域平均ノイズ除去は、静止後景エリアのために使用され、空間領域ノイズ除去は、移動している前景エリアのために使用される。この方法の難しさは、前景および後景を正確に決定することであり、マルチフレームデータがバッファされる必要がある。したがって、この方法は、モバイル端末へもまた適用可能ではない。
別の領域変換方法が存在する。すなわち、画像が、ウェーブレット変換またはフーリエ変換のような変換によって、周波数領域へ変換される。高周波帯域係数におけるノイズ除去処理もまた、所望される効果を達成する。この種の方法は、追加の変換処理と、比較的高い計算複雑さとを必要とする。
これを考慮して、既存の整数離散コサイン変換情報を十分活用し、計算量を減少させ、リアルタイムビデオを実施し、ネットワーク帯域幅のボトルネックを打ち破ることができるように、符号化中に、リアルタイムビデオノイズ除去方法を提供することが必要である。
それに加えて、計算量を減少させ、リアルタイムビデオを実施し、ネットワーク帯域幅のボトルネックを打ち破ることができるように、符号化中の端末と、不揮発性コンピュータ記憶媒体とを提供することもまた必要である。
符号化中におけるリアルタイムビデオノイズ除去方法であって、以下のステップ、すなわち、
画像の現在のフレームと、現在のフレームにおけるフラットエリアとを取得するステップと、
フラットエリアに対してノイズ除去処理を実行するステップと、
現在のフレームがPフレームであるか否かを判定し、現在のフレームがPフレームである場合、現在のフレームのサブマクロブロックを読み取り、それ以外の場合、手順を終了させるステップと、
サブマクロブロックが、インターサブマクロブロックであるか否かを判定し、サブマクロブロックが、インターサブマクロブロックである場合、サブマクロブロックに対して整数離散コサイン変換を実行し、整数離散コサイン変換が実行されるサブマクロブロックに対してノイズ除去処理を実行し、さらに、サブマクロブロックが、現在のフレームの最後のインターサブマクロブロックであるか否かを判定し、サブマクロブロックが、現在のフレームの最後のインターサブマクロブロックである場合、手順を終了させ、それ以外の場合、
次のサブマクロブロックを読み取り、さらに、次のサブマクロブロックがインターサブマクロブロックであるか否かを判定するステップとを含む、方法。
メモリおよびプロセッサを備える端末であって、メモリは、コンピュータ可読命令を記憶し、命令は、プロセッサによって実行された場合、プロセッサに対して、上述の方法を実行させる、端末。
コンピュータ実行可能命令を含む1つまたは複数の不揮発性コンピュータ可読記憶媒体であって、コンピュータ実行可能命令は、1つまたは複数のプロセッサによって実行された場合、プロセッサに対して、上述の方法をを実行させる、1つまたは複数の不揮発性コンピュータ可読記憶媒体。
本発明の1つまたは複数の実施形態の詳細は、以下の添付図面および説明において提供される。本開示の他の特徴、目的、および利点が、明細書、添付図面、および特許請求の範囲においてより明確になる。
本発明の実施形態、または、既存の技術における技術的解決策を、より明確に説明するために、以下は、実施形態または既存の技術を説明するために必要とされる添付図面を簡潔に説明する。明らかに、以下の説明における添付図面は、単に本発明のいくつかの実施形態しか図示しておらず、当業者であれば、創造的な努力なくこれら添付図面から他の図面を導出し得る。
実施形態に従う符号化中におけるリアルタイムビデオノイズ除去方法のアプリケーション環境の概要図である。 実施態様に従う図1の端末の内部構成の概要図である。 実施態様に従う符号化中におけるリアルタイムビデオノイズ除去方法のフローチャートである。 現在読み取られているサブマクロブロックに対して整数離散コサイン変換を実行し、整数離散コサイン変換が実行される現在のサブマクロブロックに対してノイズ除去処理を実行する具体的なフローチャートである。 実施形態に従う符号化中におけるリアルタイムビデオノイズ除去装置の構成ブロック図である。 別の実施形態に従う符号化中におけるリアルタイムビデオノイズ除去装置の構成ブロック図である。
本開示の目的、技術的解決策、および利点をより明確にするために、以下はさらに、本開示を、添付図面および実施形態を参照して詳細に説明する。本明細書で説明される具体的な実施形態は、本開示を限定するのではなく、単に本開示を説明することが意図されていることが理解されるべきである。
図1は、実施形態に従う符号化中におけるリアルタイムビデオノイズ除去方法のアプリケーション環境の概要図である。アプリケーション環境は、1つまたは複数の端末を含み得る。リアルタイムビデオノイズ除去方法は、端末のビデオシューティング機能におけるビデオノイズ除去処理、または、リアルタイムストリーミングメディアサービスにおけるビデオノイズ除去処理へ適用され得るか、または、多数の端末間のリアルタイムビデオコールにおけるビデオノイズ除去処理へ適用され得る。図1は、2つの端末によってリアルタイムビデオコールを実行するアプリケーション環境である。このアプリケーション環境は、単なる例であり、本明細書に限定されない。別の実施形態では、サーバを使用することによって、多数の端末が、データを送信し得る。
図2は、実施形態に従う図1における端末の内部構成の概要図である。図2に図示されるように、端末は、システムバスによって接続されるプロセッサ、記憶媒体、メモリ、ネットワークインターフェース、音声収集装置、ディスプレイスクリーン、スピーカ、および入力装置を含む。端末の記憶媒体は、オペレーティングシステムを記憶し、さらに、符号化中におけるリアルタイムビデオノイズ除去装置を含む。符号化中におけるリアルタイムビデオノイズ除去装置は、符号化中にリアルタイムビデオノイズ除去方法を実施するように構成される。プロセッサは、計算および制御機能を提供し、端末全体の動作をサポートするように構成される。端末におけるメモリは、記憶媒体におけるリアルタイムビデオノイズ除去装置の実行のための環境を提供する。ネットワークインターフェースは、たとえば、データをサーバまたは端末へ送信し、サーバまたは端末によって返されたデータを受信するように、サーバまたは別の端末とのネットワーク通信を実行するように構成される。端末のディスプレイスクリーンは、液晶ディスプレイスクリーン、または、電子インクディスプレイスクリーンであり得る。入力装置は、ディスプレイスクリーン上に覆われたタッチレイヤであり得るか、または、キー、トラックボール、または、端末の筐体に配置されたタッチパネルであり得るか、または、外部接続されたキーボード、タッチパネル、またはマウスであり得る。端末は、モバイル電話、タブレットコンピュータ、または携帯情報端末であり得る。当業者であれば、図2に図示される構成は単に、本願の解決策に関連する構成の一部のブロック図であり、この出願の解決策が適用される端末への限定を構成するものではないことを理解するであろう。具体的な端末は、図面に図示されたものよりも多くの構成要素または少ない構成要素を含み得るか、または、いくつかの構成要素が結合され得るか、または、異なる構成要素展開が使用され得る。
図3は、実施態様に従う符号化中におけるリアルタイムビデオノイズ除去方法のフローチャートである。図3に図示されるように、符号化中におけるリアルタイムビデオノイズ除去方法は、以下のステップを含む。
ステップ302:画像の現在のフレームと、現在のフレームにおけるフラットエリアとを取得する。
実施形態では、現在のフレームにおけるフラットエリアを取得するステップは、現在のフレームにおける現在の画素と、現在の画素を含む選択されたエリアとを取得するステップと、エリアにおける残りの画像の画素値と、現在の画素の画素値との差の絶対値が、指定されたしきい値よりも小さいか否かを判定し、そうである場合、エリアが、フラットエリアに属すると判定し、または、そうでない場合、エリアが、フラットエリアではないと判定するステップとを含む。
具体的には、画像は、YUVまたはRGB色空間を使用することによって示され得る。YUVにおけるYは、明度、すなわち、グレースケール値を示し、UおよびVは、クロミナンスを示し、画像の色および飽和を説明し、画素の色を指定するために使用される。RGBは赤(red)、緑(green)、および青(blue)である。
グレースケール値の範囲は、[0,255]であり、画像の幅はMであり、その高さはNであると指定される。指定されたしきい値はTHであり、現在の画素(i,j)の画素値はP(i,j)であり、フィルタテンプレートの半径はrであり、フィルタテンプレートの半径rを有する範囲は、現在の画素を含むエリアである。フィルタテンプレートの半径rを有する範囲における画素の画素値と、現在の画素(i,j)の画素値P(i,j)との差分の絶対値が、指定されたしきい値THよりも小さい場合、フィルタテンプレートの半径rを有する範囲を有するエリアが、フラットエリアであることが判定される。
ステップ304:フラットエリアに対してノイズ除去処理を実行する。
具体的には、フラットエリアにおける画素に対するノイズ除去処理は、平均ノイズ除去または重み平均ノイズ除去によって実行され得る。
フラットエリアにおける画素に対して平均ノイズ除去処理を実行することによって取得される画素の画素値は、フラットエリアにおけるすべての画素の画素値の平均値であり得、画素の画素値との差分のその絶対値は、指定されたしきい値よりも小さい。
計算式は式(1)および式(2)の通りである。
Figure 0006615346
Figure 0006615346
p(i,j)は、ノイズ除去が実行されない画素(i,j)の画素値を示し、p(m,n)は、ノイズ除去が実行されない画素(m,n)の画素値を示し、p'(i,j)は、ノイズ除去が実行される画素(i,j)の画素値を示し、(m,n)の値は、半径rによって決定される。
フラットエリアにおける画素に対して重み平均ノイズ除去を実行することは、式(1)および式(2)における計算に含まれる各画素へ重み値を割り当てることを意味する。画素の画素値との差分の絶対値が、フラットエリアにおける指定されたしきい値よりも小さいすべての画素の画素値は、画素に対応する重み値を乗じられ、その後、ノイズ除去が実行される画素の画素値を取得するように、平均値が評価される。
本明細書において、指定されたしきい値THは、フィルタリング強度によって制御され得る。TH=255であれば、フィルタリングは、一般的な平均フィルタリングへグレードを落とされる。このケースでは、フィルタリング強度は、最強である。TH=0であれば、画像はフィルタされない。したがって、帯域幅が比較的低いのであれば、THの値は、十分に増加され得、符号レートを低減するように、画像に対して比較的強いフィルタリングが実行される。帯域幅が比較的高いのであれば、テクスチャおよび境界情報のダメージを防ぐために、THの値が減少され得、これによって、フラットエリアのみがフィルタされるようになる。
ステップ306:現在のフレームがPフレームであるか否かを判定し、そうである場合、ステップ308を実行し、または、そうでない場合、手順を終了する。
具体的には、ビデオ符号化中のフレームが、Iフレーム、Pフレーム、およびBフレームへ分類される。Iフレームは、イントラ基準フレームであり、キーフレームとしても称され、GOP(グループオブピクチャ)符号化の最初のフレームである。Iフレームの符号化は、前のフレームおよび後のフレームに依存しない。Pフレームは、画像シーケンスにおける前の符号化フレームを用いて時間冗長情報を十分に減少することによって、送信されたデータボリュームを圧縮する符号化画像であり、予測フレームとしても称される。Bフレームは、双方向予測フレームである。Bフレームの基準フレームは、いくつかの前の近隣フレーム、現在のフレーム、およびいくつかの後のフレームである。Iフレーム空間が、ビデオ符号化中に設定された後、PフレームとBフレームのみが、2つの近隣Iフレーム間に存在し得る。ビデオコールのアプリケーションシナリオは、極端に高いリアルタイムを必要とする。レイテンシを伴うBフレーム以外のIフレームおよびPフレームが通常選択される。
ステップ308:現在のフレームのサブマクロブロックを読み取る。
具体的には、現在のフレームは、マクロブロック(macroblock)であり得、多数のサブマクロブロックへ分割され得る。例としてH.264を使用して、サブマクロブロックのサイズは、8*8、16*16等であり得る。サブマクロブロックのサイズは、マクロブロックのもの以下である。まず、現在のフレームの第1のサブマクロブロックが読み取られる。
ステップ310:現在読み取られているサブマクロブロックが、インターサブマクロブロックであるか否かを判定し、そうである場合、ステップ312を実行し、または、そうでない場合、ステップ316を実行する。
具体的には、インターフレームサブマクロブロックは、インターサブマクロブロックである。インターサブマクロブロックの係数は、基準ブロックの値を使用することによって調節され得、これによって、インターサブマクロブロックは、インターサブマクロブロックの基準ブロックへより近くなる。イントラブロックは、対応する基準ブロックを有さない。したがって、イントラブロックは処理されない。イントラブロックは、現在のフレームのみに依存し、現在のフレームの場所の上側画素および左画素に従って、予測によって取得される。
ステップ312:現在読み取られているサブマクロブロックに対して整数離散コサイン変換を実行し、整数離散コサイン変換が実行される現在のサブマクロブロックに対してノイズ除去処理を実行する。
具体的には、整数離散コサイン変換は、符号化中に現在読み取られているサブマクロブロックに対して実行される。
ステップ314:現在読み取られているサブマクロブロックが、現在のフレームの最後のインターサブマクロブロックであるか否かを判定し、そうである場合、手順を終了し、または、そうでない場合、ステップ316を実行する。
ステップ316:次のサブマクロブロックを読み取り、さらに、ステップ310を実行する。
符号化中におけるリアルタイムビデオノイズ除去方法によって、フラットエリアにおけるノイズを低減するように、画像のフラットエリアに対して最初にノイズ除去処理が実行され、整数離散コサイン変換がさらに、現在のフレームのサブマクロブロックに対して実行され、整数離散コサイン変換が実行される現在のサブマクロブロックに対してノイズ除去処理が実行される。整数離散コサイン変換は、符号化中に使用される既存のモジュールであり、したがって、計算量を減少させるように、ダイレクトに多重化され得る。符号ストリームの数が、ノイズ除去によって減少され、リアルタイムビデオが実施され、ネットワーク帯域幅のボトルネックが打ち破られる。
実施形態では、図4に図示されるように、現在読み取られているサブマクロブロックに対して整数離散コサイン変換を実行し、整数離散コサイン変換が実行されている現在のサブマクロブロックに対してノイズ除去処理を実行するステップは、以下のステップを含む。
ステップ402:現在のサブマクロブロックの非ダイレクトな現在の成分係数を取得するために、現在読み取られているサブマクロブロックの残余係数に対して整数離散コサイン変換を実行する。
具体的には、残余係数は、符号化されるべき画像と、予測された画像との差分値である。予測された画像は、符号化中に生成される。
ステップ404:現在のサブマクロブロックの非ダイレクトな現在の成分係数を調節し、これによって、非ダイレクトな現在の成分係数の絶対値が、0へ向けて調節されるようになる。
具体的には、残余係数に対してDCT変換が実行された後、先頭における0番目の係数が、低周波数のダイレクトな現在の成分であり、残りの係数は、全体的に、非ダイレクトな現在の成分と称される。ダイレクトな現在の成分は、ブロックの低周波数成分であり、画像の輝度を決定する。非ダイレクトな現在の成分は、画像の高周波数成分であり、画像の詳細を決定する。フィルタされたノイズは、主に、中間および高周波数からなる。したがって、非ダイレクトな現在の成分が主に処理される。
実施形態では、非ダイレクトな現在の成分係数の絶対値が、0へ向けて調節されるように、現在のサブマクロブロックの非ダイレクトな現在の成分係数を調節するステップは、
非ダイレクトな現在の成分係数のオリジナルのサインビットを確保し、現在のサブマクロブロックの非ダイレクトな現在の成分係数の絶対値が、現在のサブマクロブロックの非ダイレクトな現在の成分係数のオフセットよりも大きいのであれば、非ダイレクトな現在の成分係数の絶対値を減少させるステップ、または、
現在のサブマクロブロックの非ダイレクトな現在の成分係数の絶対値が、現在のサブマクロブロックの非ダイレクトな現在の成分係数よりも小さいのであれば、非ダイレクトな現在の成分係数の値を0へ設定するステップを含む。
さらに、非ダイレクトな現在の成分係数のオリジナルのサインビットを確保し、現在のサブマクロブロックの非ダイレクトな現在の成分係数の絶対値が、現在のサブマクロブロックの非ダイレクトな現在の成分係数のオフセットよりも大きいのであれば、非ダイレクトな現在の成分係数の絶対値を減少させるステップは、
現在のサブマクロブロックの非ダイレクトな現在の成分係数の絶対値が、現在のサブマクロブロックの非ダイレクトな現在の成分係数のオフセットよりも大きく、非ダイレクトな現在の成分係数の値が0よりも大きいのであれば、非ダイレクトな現在の成分係数から、オフセットを減算するステップ、または、非ダイレクトな現在の成分係数の値が、0よりも小さいのであれば、非ダイレクトな現在の成分係数へオフセットを加算するステップを含む。
実施形態では、符号化中におけるリアルタイムビデオノイズ除去方法はさらに、現在のサブマクロブロックの各係数のオフセットを取得するステップを含む。
現在のサブマクロブロックの各係数のオフセットを取得するステップは、ノイズ除去強度、現在のサブマクロブロックを用いて同じサイズを有するサブマクロブロックを処理する回数、および、現在のサブマクロブロックの非ダイレクトな現在の成分係数を取得するステップと、ノイズ除去強度、回数、および、現在のサブマクロブロックの非ダイレクトな現在の成分係数に従う計算によって、現在のサブマクロブロックの非ダイレクトな現在の成分係数のオフセットを取得するステップとを含む。
オフセットは、サブマクロブロックの各係数に対応するオフセットを示し、統計値である。例としてH.264を使用して、サブマクロブロックのタイプは、輝度4*4、8*8、および16*16、ならびにクロミナンス4*4および8*8へ分類され得る。
サブマクロブロックの各タイプのオフセット計算式は、式(3)のようであり得る。
offset(i)=(strength*count+sum(i)/2)/(sum(i)+1) 式(3)
offset(i)は、サブマクロブロックのi番目の係数のオフセットであり、strengthは、ノイズ除去強度であり、countは、現在のサブマクロブロックと同じサイズを有するサブマクロブロックを処理する回数であり、sum(i)は、i係数の値の合計を示す。sum(i)/2は、切り捨てのために加算される。1は、分母が0になることを防ぐために、分母へ加えられる。式(3)は、変形され得る。たとえば、分母へ加えられる1は、別の正の数であり得る。
フィルタリング強度strengthが改善された場合、offset(i)の値が増加し得る。サブマクロブロックの各非ダイレクトな現在の成分係数がゼロになる可能性が改善され得、これによって、インターサブマクロブロックは、対応する基準ブロックへより類似するようになる。符号レート低減およびノイズ除去の目的が、最終的に達成される。ネットワーク帯域幅または記憶空間が不十分であれば、符号レートを低減するように、フィルタリング強度strengthが改善され得る。
図5は、実施形態に従う符号化中におけるリアルタイムビデオノイズ除去装置の構成ブロック図である。図5に図示されるように、リアルタイムビデオノイズ除去装置は、取得モジュール510、ノイズ除去モジュール520、判定モジュール530、および読取モジュール540を含む。
取得モジュール510は、現在のフレームと、現在のフレームにおけるフラットエリアとを取得するように構成される。
この実施形態では、取得モジュール510は、現在のフレームにおける現在の画素と、現在の画素を含む選択されたエリアとを取得し、エリアにおける残りの画素の画素値と、現在の画素の画素値との差分の絶対値が、指定されたしきい値よりも小さいか否かを判定し、そうである場合、このエリアがフラットエリアに属していると判定し、または、そうでない場合、このエリアがフラットエリアではないと判定するように構成される。
グレースケール値の範囲が[0,255]であり、画像の幅はMであり、高さはNであると指定される。指定されたしきい値はTHであり、現在の画素(i,j)の画素値はp(i,j)であり、フィルタテンプレートの半径はrであり、フィルタテンプレートの半径rを有する範囲は、現在の画素を含むエリアである。フィルタテンプレートの半径rを有する範囲における画素の画素値と、現在の画素p(i,j)の画素値(i,j)との差分の絶対値が、指定されたしきい値THよりも小さいのであれば、フィルタテンプレートの半径rを有する範囲を有するエリアは、フラットエリアであると判定される。
ノイズ除去モジュール520は、フラットエリアに対してノイズ除去処理を実行するように構成される。
具体的には、ノイズ除去モジュール520は、平均ノイズ除去または重み平均ノイズ除去によって、フラットエリアにおける画素に対してノイズ除去処理を実行し得る。
フラットエリアにおける画素に対して平均ノイズ除去処理を実行することによって取得される画素の画素値は、画素の画素値との差分の絶対値が、指定されたしきい値よりも小さいフラットエリアにおけるすべての画素の画素値の平均値であり得る。
計算式は、式(1)および式(2)の通りである。
Figure 0006615346
Figure 0006615346
P(i,j)は、ノイズ除去が実行されない画素(i,j)の画素値を示す。P(m,n)は、ノイズ除去が実行されない画素(m,n)の画素値を示し、P'(i,j)は、ノイズ除去が実行される画素(i,j)の画素値を示す。(m,n)の値は、半径rによって決定される。
フラットエリアにおける画素に対して重み平均ノイズ除去を実行することは、式(1)および式(2)における計算に含まれる各画素へ、重み値を割り当てることを意味する。画素の画素値との差分の絶対値が、フラットエリアにおける指定されたしきい値よりも小さいすべての画素の画素値が、画素に対応する重み値を乗じられ、その後、ノイズ除去が実行される画素の画素値を取得するように、平均値が評価される。
本明細書において、指定されたしきい値THは、フィルタリング強度によって制御され得る。TH=255であれば、フィルタリングは、平均フィルタリングへグレードを落とされる。このケースでは、フィルタリング強度は、最強である。TH=0であれば、画像はフィルタされない。したがって、帯域幅が比較的低いのであれば、THの値は、十分に増加され得、符号レートを低減するように、画像に対して、比較的強いフィルタリングが実行される。帯域幅が比較的高いのであれば、テクスチャおよび境界情報のダメージを防ぐために、THの値が減少され得、これによって、フラットエリアのみがフィルタされるようになる。
判定モジュール530は、現在のフレームがPフレームであるか否かを判定するように構成され、そうである場合、読取モジュール540は、現在のフレームのサブマクロブロックを読み取るように構成され、または、そうでない場合、手順は終了する。
具体的には、ビデオ符号化中のフレームが、Iフレーム、Pフレーム、およびBフレームへ分類される。Iフレームは、イントラ基準フレームであり、キーフレームとも称され、GOP符号化の最初のフレームである。Iフレームの符号化は、前のフレームおよび後のフレームに依存しない。Pフレームは、画像シーケンスにおいて、前に符号化されたフレームを用いて、時間冗長情報を十分に減少させることによって、送信されたデータ量を圧縮する符号化画像であり、予測フレームとも称される。Bフレームは、双方向予測フレームである。フレームが、Bフレームへ圧縮される場合、フレームの基準フレームは、いくつかの前の近隣フレーム、現在のフレーム、およびいくつかの後のフレームである。ビデオ符号化中、Iフレーム空間が設定された後、PフレームとBフレームのみが、2つの近隣Iフレーム間に存在し得る。ビデオコールのアプリケーションシナリオは、極端に高いリアルタイムを必要とする。レイテンシを伴うBフレーム以外のIフレームおよびPフレームが通常選択される。
判定モジュール530はさらに、現在読み取られているサブマクロブロックが、インターサブマクロブロックであるか否かを判定するように構成され、そうである場合、ノイズ除去モジュールはさらに、現在読み取られているサブマクロブロックに対して整数離散コサイン変換を実行し、整数離散コサイン変換が実行される現在のサブマクロブロックに対してノイズ除去処理を実行するように構成される。さらに、判定モジュール530は、現在読み取られているサブマクロブロックが、現在のフレームの最後のインターサブマクロブロックであるか否かを判定し、そうである場合、手順を終了し、それ以外の場合、読取モジュール540はさらに、次のサブマクロブロックを読み取るように構成され、その後、判定モジュール530は、現在読み取られているサブマクロブロックが、インターサブマクロブロックであるか否かを判定する。
インターサブマクロブロックは、インターサブマクロブロックである。インターサブマクロブロックの係数は、基準ブロックの値を使用することによって調節され得、これによって、インターサブマクロブロックは、インターサブマクロブロックの基準ブロックへより類似するようになる。イントラブロックは、対応する基準ブロックを有さない。したがって、イントラブロックは処理されない。イントラブロックは、現在のフレームのみに依存し、現在のフレームの場所の上側画素および左画素に従って、予測によって取得される。
符号化中におけるリアルタイムビデオノイズ除去装置によって、フラットエリアにおけるノイズを低減するように、画像のフラットエリアに対して最初にノイズ除去処理が実行され、整数離散コサイン変換がさらに、現在のフレームのサブマクロブロックに対して実行され、整数離散コサイン変換が実行される現在のサブマクロブロックに対してノイズ除去処理が実行される。整数離散コサイン変換は、符号化中における既存のモジュールであり、したがって、計算量を減少させるように、ダイレクトに多重化され得る。符号ストリームの数が、ノイズ除去によって減少され、リアルタイムビデオが実施され、ネットワーク帯域幅のボトルネックが打ち破られる。
実施形態では、ノイズ除去モジュール520はさらに、現在のサブマクロブロックの非ダイレクトな現在の成分係数を取得するために、現在読み取られているサブマクロブロックの残余係数に対して整数離散コサイン変換を実行し、現在のサブマクロブロックの非ダイレクトな現在の成分係数を調節するように構成され、これによって、非ダイレクトな現在の成分係数の絶対値が、0へ向けて調節されるようになる。
具体的には、残余係数に対してDCT変換が実行された後、先頭における0番目の係数が、低周波数のダイレクトな現在の成分であり、残りの係数は、全体的に、非ダイレクトな現在の成分と称される。ダイレクトな現在の成分は、ブロックの低周波数成分であり、画像の輝度を決定する。非ダイレクトな現在の成分は、画像の高周波数成分であり、画像の詳細を決定する。フィルタされたノイズは、主に、中間および高周波数からなる。したがって、非ダイレクトな現在の成分が主に処理される。
実施形態では、ノイズ除去モジュール520はさらに、非ダイレクトな現在の成分係数のオリジナルのサインビットを確保し、現在のサブマクロブロックの非ダイレクトな現在の成分係数の絶対値が、現在のサブマクロブロックの非ダイレクトな現在の成分係数のオフセットよりも大きいのであれば、非ダイレクトな現在の成分係数の絶対値を減少させるか、または、現在のサブマクロブロックの非ダイレクトな現在の成分係数の絶対値が、現在のサブマクロブロックの非ダイレクトな現在の成分係数よりも小さいのであれば、非ダイレクトな現在の成分係数の値を0へ設定するように構成される。
さらに、ノイズ除去モジュール520はさらに、現在のサブマクロブロックの非ダイレクトな現在の成分係数の絶対値が、現在のサブマクロブロックの非ダイレクトな現在の成分係数のオフセットよりも大きく、非ダイレクトな現在の成分係数の値が0よりも大きいのであれば、非ダイレクトな現在の成分係数から、オフセットを減算するか、または、非ダイレクトな現在の成分係数の値が、0よりも小さいのであれば、非ダイレクトな現在の成分係数へオフセットを加算するように構成される。
図6は、別の実施形態に従う符号化中におけるリアルタイムビデオノイズ除去装置の構成ブロック図である。図6に図示されるように、取得モジュール510、ノイズ除去モジュール520、判定モジュール530、および読取モジュール540に加えて、符号化中におけるリアルタイムビデオノイズ除去装置はさらに、オフセット取得モジュール550を含む。
オフセット取得モジュール550は、現在のサブマクロブロックの各係数のオフセットを取得するように構成され、具体的には、ノイズ除去強度、現在のサブマクロブロックを用いて同じサイズを有するサブマクロブロックを処理する回数、および、現在のサブマクロブロックの非ダイレクトな現在の成分係数を取得するステップと、ノイズ除去強度、回数、および、現在のサブマクロブロックの非ダイレクトな現在の成分係数に従う計算によって、現在のサブマクロブロックの非ダイレクトな現在の成分係数のオフセットを取得するステップとを含む。
オフセットは、サブマクロブロックの各係数に対応するオフセットを示し、統計値である。例としてH.264を使用して、サブマクロブロックのタイプは、輝度4*4、8*8、および16*16、ならびにクロミナンス4*4および8*8であり得る。
サブマクロブロックの各タイプのオフセット計算式は、式(3)のようであり得る。
offset(i)=(strength*count+sum(i)/2)/(sum(i)+1) 式(3)
offset(i)は、サブマクロブロックのi番目の係数のオフセットであり、strengthは、ノイズ除去強度であり、countは、現在のサブマクロブロックと同じサイズを有するサブマクロブロックを処理する回数であり、sum(i)は、i係数の値の合計を示す。sum(i)/2は、切り捨てのために加算される。1は、分母が0になることを防ぐために、分母へ加えられる。式(3)は、変形され得る。たとえば、分母へ加えられる1は、別の正の数であり得る。
フィルタリング強度strengthが改善された場合、offset(i)の値が増加し得る。サブマクロブロックの各非ダイレクトな現在の成分係数がゼロになる可能性が改善され得、これによって、インターサブマクロブロックは、対応する基準ブロックへより類似するようになる。符号レート低減およびノイズ除去の目的が、最終的に達成される。ネットワーク帯域幅または記憶空間が不十分であれば、符号レートを低減するように、フィルタリング強度strengthが改善され得る。
当業者であれば、先述した実施形態における方法のステップのすべてまたはいくつかが、関連するハードウェアに対して命令するコンピュータプログラムによって実施され得ることを理解し得る。プログラムは、不揮発性コンピュータ可読記憶媒体に記憶され得、実行された場合、先述した方法実施形態の手順を含み得る。記憶媒体は、磁気ディスク、光ディスク、読取専用メモリ(ROM)等であり得る。
先述した実施形態は、本開示のいくつかの実施方式を単に説明しており、これらの説明は具体的で詳細であるが、本開示の特許範囲への限定として理解されることはない。当業者であればさらに、本開示の概念から逸脱することなく、変形および改善を行い得、これらは、すべて、本開示の保護範囲内にあることが注目されるべきである。したがって、本開示の特許保護範囲は、添付された特許請求の範囲に従うべきである。
510 取得モジュール
520 ノイズ除去モジュール
530 判定モジュール
540 読取モジュール
550 オフセット取得モジュール

Claims (6)

  1. 符号化中におけるリアルタイムビデオノイズ除去方法であって、
    画像の現在のフレームと、前記現在のフレームにおけるフラットエリアとを取得するステップと、
    前記フラットエリアに対してノイズ除去処理を実行するステップと、
    前記現在のフレームがPフレームであるか否かを判定し、前記現在のフレームが前記Pフレームである場合、前記現在のフレームのサブマクロブロックを読み取り、それ以外の場合、手順を終了させるステップと、
    前記サブマクロブロックが、インターサブマクロブロックであるか否かを判定し、前記サブマクロブロックが、前記インターサブマクロブロックである場合、前記サブマクロブロックの残余係数に対して整数離散コサイン変換を実行し、前記サブマクロブロックの非ダイレクトな現在の成分係数を取得し、
    前記サブマクロブロックの前記非ダイレクトな現在の成分係数の絶対値が、前記サブマクロブロックの前記非ダイレクトな現在の成分係数のオフセットよりも大きい場合、前記非ダイレクトな現在の成分係数のオリジナルのサインビットを確保し、前記非ダイレクトな現在の成分係数の前記絶対値を減少させ、または、
    前記サブマクロブロックの前記非ダイレクトな現在の成分係数の前記絶対値が、前記サブマクロブロックの前記非ダイレクトな現在の成分係数のオフセットよりも小さいのであれば、前記非ダイレクトな現在の成分係数の値を0へ設定し、さらに、前記サブマクロブロックが、前記現在のフレームの最後のインターサブマクロブロックであるか否かを判定し、前記サブマクロブロックが、前記現在のフレームの前記最後のインターサブマクロブロックである場合、前記手順を終了させ、それ以外の場合、
    次のサブマクロブロックを読み取り、さらに、前記次のサブマクロブロックがインターサブマクロブロックであるか否かを判定するステップと、
    前記サブマクロブロックの前記非ダイレクトな現在の成分係数の前記絶対値が、前記サブマクロブロックの前記非ダイレクトな現在の成分係数の前記オフセットよりも大きい場合、前記非ダイレクトな現在の成分係数の前記オリジナルのサインビットを確保し、前記非ダイレクトな現在の成分係数の前記絶対値を減少させるステップは、
    前記サブマクロブロックの前記非ダイレクトな現在の成分係数の前記絶対値が、前記サブマクロブロックの前記非ダイレクトな現在の成分係数の前記オフセットよりも大きく、前記非ダイレクトな現在の成分係数の前記値が0よりも大きい場合、前記非ダイレクトな現在の成分係数から前記オフセットを減算し、または、
    前記非ダイレクトな現在の成分係数の前記値が、0よりも小さい場合、前記非ダイレクトな現在の成分係数へ前記オフセットを追加するステップとを備える、方法。
  2. 前記現在のフレームにおける前記フラットエリアを取得するステップは、
    前記現在のフレームにおける現在の画素と、前記現在の画素を備える選択されたエリアとを取得するステップと、
    前記エリアにおける残りの画素の画素値と、前記現在の画素の画素値との差の絶対値が、指定されたしきい値よりも小さいか否かを判定するステップと、
    前記差の前記絶対値が、前記指定されたしきい値よりも小さい場合、前記エリアが、前記フラットエリアに属すると判定し、それ以外の場合、前記エリアが、前記フラットエリアではないと判定するステップとを備える、請求項1に記載の方法。
  3. 前記フラットエリアに対して前記ノイズ除去処理を実行するステップは、
    前記フラットエリアに対して平均ノイズ除去処理または重み平均ノイズ除去処理を実行するステップを備える、請求項1に記載の方法。
  4. ノイズ除去強度、前記サブマクロブロックを用いて同じサイズを有するサブマクロブロックを処理する回数、および、前記サブマクロブロックの前記非ダイレクトな現在の成分係数を取得するステップと、
    前記ノイズ除去強度、前記回数、および、前記サブマクロブロックの前記非ダイレクトな現在の成分係数に従う計算によって、前記サブマクロブロックの前記非ダイレクトな現在の成分係数の前記オフセットを取得するステップとをさらに備える、請求項1に記載の方法。
  5. メモリおよびプロセッサを備える端末であって、前記メモリは、コンピュータ可読命令を記憶し、前記命令は、前記プロセッサによって実行された場合、前記プロセッサに対して、請求項１から4の何れか一項に記載の方法を実行させる、端末。
  6. コンピュータ実行可能命令を備える1つまたは複数の不揮発性コンピュータ可読記憶媒体であって、前記コンピュータ実行可能命令は、1つまたは複数のプロセッサによって実行された場合、前記プロセッサに対して、請求項１から4の何れか一項に記載の方法を実行させる、1つまたは複数の不揮発性コンピュータ可読記憶媒体。
JP2018526059A 2015-11-18 2016-05-17 符号化処理におけるリアルタイムビデオノイズ低減のための方法、端末、および、不揮発性コンピュータ可読記憶媒体 Active JP6615346B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510798985.1 2015-11-18
CN201510798985.1A CN105472205B (zh) 2015-11-18 2015-11-18 编码过程中的实时视频降噪方法和装置
PCT/CN2016/082415 WO2017084258A1 (zh) 2015-11-18 2016-05-17 编码过程中的实时视频降噪方法、终端和非易失性计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2018534877A JP2018534877A (ja) 2018-11-22
JP6615346B2 true JP6615346B2 (ja) 2019-12-04

Family

ID=55609443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526059A Active JP6615346B2 (ja) 2015-11-18 2016-05-17 符号化処理におけるリアルタイムビデオノイズ低減のための方法、端末、および、不揮発性コンピュータ可読記憶媒体

Country Status (6)

Country Link
US (1) US10587874B2 (ja)
EP (1) EP3379817B1 (ja)
JP (1) JP6615346B2 (ja)
KR (1) KR102123958B1 (ja)
CN (1) CN105472205B (ja)
WO (1) WO2017084258A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
CN105472205B (zh) 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
CN106658004B (zh) * 2016-11-24 2019-05-17 浙江大学 一种基于图像平坦区域特征的压缩方法和装置
US10140689B2 (en) * 2017-01-20 2018-11-27 Sony Corporation Efficient path-based method for video denoising
CN108174057B (zh) * 2018-01-10 2020-06-23 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、***及智能终端
CN110891177B (zh) * 2018-09-07 2023-03-21 腾讯科技（深圳）有限公司 视频降噪、视频转码中的降噪处理方法、装置和机器设备
CN110246090B (zh) * 2018-09-27 2023-03-28 浙江大华技术股份有限公司 一种图像处理的方法和设备
US11900566B1 (en) * 2019-06-26 2024-02-13 Gopro, Inc. Method and apparatus for convolutional neural network-based video denoising
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN112261474A (zh) * 2020-10-26 2021-01-22 安徽众新电子科技有限公司 一种多媒体视频图像处理***及处理方法
US20230059035A1 (en) * 2021-08-23 2023-02-23 Netflix, Inc. Efficient encoding of film grain noise
CN116260973B (zh) * 2023-03-31 2024-03-19 北京百度网讯科技有限公司 一种时域滤波方法、装置、电子设备及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06224773A (ja) 1993-01-26 1994-08-12 Toshiba Corp 高能率符号化回路
JPH08186842A (ja) 1994-12-28 1996-07-16 Fuji Photo Film Co Ltd 画像データの雑音低減装置および方法
US20030035586A1 (en) * 2001-05-18 2003-02-20 Jim Chou Decoding compressed image data
JP3880862B2 (ja) * 2002-01-29 2007-02-14 富士フイルムホールディングス株式会社 撮像装置
JP3893099B2 (ja) * 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
JP2004336103A (ja) * 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
JP2006011568A (ja) 2004-06-23 2006-01-12 Yokogawa Electric Corp 光学式タッチパネル
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US8213554B2 (en) * 2008-01-29 2012-07-03 Qualcomm Incorporated Sparse sampling of signal innovations
US20090290645A1 (en) * 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
US20110091127A1 (en) * 2008-06-20 2011-04-21 Pavel Kisilev Method and system for efficient video processing
CN101742288B (zh) * 2008-11-11 2013-03-27 北京中星微电子有限公司 视频降噪编码方法和视频降噪编码装置
CN101540834B (zh) * 2009-04-16 2011-03-30 杭州华三通信技术有限公司 去除视频图像噪声的方法和视频编码装置
EP2422242A1 (en) * 2009-04-24 2012-02-29 Ecole Polytechnique Fédérale de Lausanne (EPFL) A method and apparatus for enhanced spatial bandwidth wavefronts reconstructed from digital interferograms or holograms
CN101883280B (zh) * 2009-05-07 2014-08-27 香港科技大学 一种恢复噪声的视频编解码方法和***
KR101051569B1 (ko) * 2009-07-10 2011-07-25 삼성전기주식회사 영상 잡음 제거 장치 및 방법
US9635308B2 (en) * 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
JP5761979B2 (ja) * 2010-12-10 2015-08-12 Hoya株式会社 ノイズ除去システムおよび撮像装置
JP5291133B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
US8948253B2 (en) * 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system
US9326008B2 (en) * 2012-04-10 2016-04-26 Google Inc. Noise reduction for image sequences
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
CN102801983A (zh) * 2012-08-29 2012-11-28 上海国茂数字技术有限公司 一种基于dct的去噪方法及装置
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
JP6013178B2 (ja) * 2012-12-28 2016-10-25 株式会社東芝 画像処理装置および画像処理方法
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置

Also Published As

Publication number Publication date
US10587874B2 (en) 2020-03-10
US20170374363A1 (en) 2017-12-28
CN105472205B (zh) 2020-01-24
EP3379817A4 (en) 2018-09-26
WO2017084258A1 (zh) 2017-05-26
KR20180078310A (ko) 2018-07-09
EP3379817B1 (en) 2023-12-27
JP2018534877A (ja) 2018-11-22
EP3379817A1 (en) 2018-09-26
KR102123958B1 (ko) 2020-06-17
CN105472205A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
JP6615346B2 (ja) 符号化処理におけるリアルタイムビデオノイズ低減のための方法、端末、および、不揮発性コンピュータ可読記憶媒体
US20220058775A1 (en) Video denoising method and apparatus, and storage medium
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
CN110036637B (zh) 去噪声化已重构图像的方法及装置
US20130028322A1 (en) Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method
CN108012163B (zh) 视频编码的码率控制方法及装置
JP2007536828A (ja) 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
CN112805990A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN107071440B (zh) 使用先前帧残差的运动矢量预测
WO2015020919A2 (en) Encoding video captured in low light
KR20190061073A (ko) 인트라 프레임 코딩된 프레임에 대한 코드 레이트 할당 방법, 컴퓨터 장비, 및 저장 매체
WO2018161867A1 (zh) 码率分配方法、设备及存储介质
WO2012051164A1 (en) Internal bit depth increase in deblocking filters and ordered dither
WO2018076370A1 (zh) 一种视频帧的处理方法及设备
WO2020248715A1 (zh) 基于高效率视频编码的编码管理方法及装置
CN115623215B (zh) 一种播放视频的方法、电子设备和计算机可读存储介质
WO2022077490A1 (zh) 一种帧内预测方法、编码器、解码器及存储介质
CN113489974A (zh) 帧内预测方法、视频/图像编解码方法及相关装置
KR20210135333A (ko) 적응형 교차 성분 필터링을 위한 방법 및 시스템
KR100885441B1 (ko) 블록 경계 영역 필터링 방법
US20240236372A1 (en) Video encoding and decoding method, and device
WO2023122969A1 (zh) 帧内预测方法、设备、***、及存储介质
WO2023019407A1 (zh) 帧间预测方法、编码器、解码器以及存储介质
KR100598369B1 (ko) 블록 경계 영역 필터링 방법
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191105

R150 Certificate of patent or registration of utility model

Ref document number: 6615346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250