JP2015518698A - マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイス - Google Patents

マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイス Download PDF

Info

Publication number
JP2015518698A
JP2015518698A JP2015509302A JP2015509302A JP2015518698A JP 2015518698 A JP2015518698 A JP 2015518698A JP 2015509302 A JP2015509302 A JP 2015509302A JP 2015509302 A JP2015509302 A JP 2015509302A JP 2015518698 A JP2015518698 A JP 2015518698A
Authority
JP
Japan
Prior art keywords
frame
block
sbad
matching
scheduled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015509302A
Other languages
English (en)
Inventor
▲曉▼▲軍▼ 武
▲曉▼▲軍▼ 武
本▲順▼ 易
本▲順▼ 易
▲進▼▲シェン▼ 肖
▲進▼▲シェン▼ 肖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2015518698A publication Critical patent/JP2015518698A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Image Analysis (AREA)

Abstract

本発明の実施形態は、マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイスを提供する。この方法は、補間予定フレームのM1?M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップと、第1の決定予定整合ブロックの対を決定するステップと、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、補間予定フレームのM1?M1ブロックをM2?M2ブロックに分割して、補間予定フレームのM2?M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するステップとを含む。したがって、動き推定の精度を効果的に改善することができ、画像品質を改善することができる。

Description

本発明の実施形態は、画像処理技術の分野に関し、詳細には、マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイスに関する。
高精細度デジタルテレビおよび高性能マルチメディア情報システムの開発に伴って、人々はビデオソースの視覚効果に対してますます高い要件を課している。したがって、より良好な視覚効果を達成するために、既存のビデオプログラムソースのフレームレートを高める必要がある。一方、ますます多くの帯域幅リソースが割り振られ、占有されるにつれて、大部分のビデオアプリケーションは、非常に限定された帯域幅リソースを得ることができるにすぎず、時間分解能は、一般に、帯域幅要件を満たすために、フレームを破棄することによってエンコーダ側で低減される必要があり、デコーダ側は、ビデオ品質を改善するために、フレームを補間することによって、破棄されたフレームを回復する。
ビデオフレーム補間技術、すなわち、フレームレートアップコンバージョン(Frame Rate Up-Conversion、FRUC)技術は、デコーダ側で2個の隣接するフレーム間の中間フレームを補間して、異なるフレームレート間で変換を実施することによって、ビデオの低フレームレートを高フレームレートに高める。
動き推定方法は、主に、単方向動き推定方法および両方向動き推定方法に分類される。単方向動き推定方法は、補間フレームの「重複」および「空隙(void)」の問題をもたらす可能性があり、両方向動き推定方法は、補間予定フレームをミラーセンタ(mirror center)として使用し、これは、動き補償処理において補間フレームの「重複」および「空隙」の問題を防ぐ。先行技術の両方向動き推定方法では、三段階探索アルゴリズム(three-step search algorithm)およびダイアモンド探索アルゴリズム(diamond search algorithm)など、ビデオ圧縮における探索アルゴリズムが動き推定に適用される。しかし、ビデオ圧縮とは異なり、ビデオオブジェクトの動きの連続性により動きベクトル間に時空相関が存在し、ビデオ圧縮における探索アルゴリズムの使用は、動き補償の補間フレームに主観的視覚と不一致である画像情報を生成させる。したがって、推定された補間ブロックの動きベクトルの精度は低く、これは画像品質をも低下させる。
本発明の実施形態は、動き推定精度を効果的に改善して、画像品質を改善することができるマルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイスを提供する。
第1の態様によれば、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップであって、先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索するステップに関するアルゴリズムが三次元再帰的探索アルゴリズム(3-D Recursive Search、3-D RS)または六角探索アルゴリズムを含む、探索するステップと、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対(to-be-determined matched block pair)を決定するステップであって、第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探し出された整合ブロックのすべての対の中の2進絶対差値の最小和(Sum of Binary Absolute Difference、SBAD)を有する整合ブロックの対である、決定するステップと、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定するステップと、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するステップであって、整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索した際に適用されたSBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、再度探索するステップとを含むマルチレベル両方向動き推定方法が提供される。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップの前に、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とが決定され、第1のSBAD値は現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値は、現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値は、先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームは現在のフレームの後のフレームであり、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップが、第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップを含む。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿すること(extrapolating)によって補間予定フレームのM1×M1ブロックが取得され、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、先行するフレームの対応する整合ブロックを外挿することによって補間予定フレームのM1×M1ブロックが取得される。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップの前に、この方法は、現在のフレームおよび先行するフレームの両方の境界画素値を非ゼロに設定して、現在のフレームおよび先行するフレームの境界をそれぞれM1個の画素だけ円周方向に拡張するステップをさらに含む。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探し出された後で、この方法は、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームを取得するステップをさらに含む。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対が探索され、指定ゾーンは現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックであり、Kは2以上の正の整数であり、
第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを2回探索するステップであって、整合ブロックを2回探索するステップが反対の探索順序を有する、2回探索するステップを含む。
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するステップは、ブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するステップであって、ブロック整合基準が、
であり、式中、SBADが整合ブロックの対のSBAD値であり、Bi,jが補間予定フレームのM1×M1ブロックであり、sが補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が現在のフレームの画素値であり、fn+1が先行するフレームの画素値である、決定するステップを含む。
第2の態様によれば、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成された整合探索ユニットであって、先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索することに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、整合探索ユニットと、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成された決定ユニットであって、第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探索ユニットによって探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定ユニットとを含むマルチレベル両方向動き推定デバイスであって、決定ユニットが、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定するようにさらに構成され、整合探索ユニットが、決定ユニットによって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するようにさらに構成され、整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索した際に適用されたSBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、マルチレベル両方向動き推定デバイスが提供される。
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するようにさらに構成され、第1のSBAD値が、現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値が、現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値が、先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームが、現在のフレームの後のフレームであり、整合探索ユニットは、特に、第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成される。
第2の態様と、第2の態様の前述の実装様式とを参して、第2の態様の別の実装様式では、決定ユニットは、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得するようにさらに構成され、決定ユニットは、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の間の最小値であるとき、先行するフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得するようにさらに構成される。
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、このデバイスは拡張ユニットをさらに含み、この拡張ユニットは、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、現在のフレームおよび先行するフレームの両方の境界画素値を非ゼロに設定して、現在のフレームおよび先行するフレームの境界をそれぞれM1個の画素だけ円周方向に拡張するように構成される。
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探し出された後で、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームを取得するようにさらに構成される。
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、整合探索ユニットは、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、決定ユニットによって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するようにさらに構成され、指定ゾーンが現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックであり、決定ユニットは、整合探索ユニットによって探し出された第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、補間予定フレームのM×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である。
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、補間予定フレームのM×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である。
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、整合探索ユニットは、特に、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを2回探索するように構成され、整合ブロックを2回探索することが反対の探索順序を有する。
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、特に、ブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成され、ブロック整合基準が、
であり、式中、SBADが整合ブロックの対のSBAD値であり、Bi,jが補間予定フレームのM1×M1ブロックであり、sが補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が現在のフレームの画素値であり、fn+1が先行するフレームの画素値である。
本発明の実施形態では、両方向動き推定に基づいて、整合ブロックは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、補間予定フレームの前後のフレーム(現在のフレームおよび先行するフレーム)内で探索され、整合ブロックのすべての探索された対の中の最小SBAD値を有する整合ブロックの対が第1の決定予定整合ブロックとして決定される。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であるとき、M1×M1ブロックは、マルチレベル方法を参照して、M2×M2ブロックに分割され、整合ブロックが再度探索され、整合ブロックを再度探索するためのSBADしきい値は整合ブロックを前回探索した際に適用されたSBADしきい値の1/4である。したがって、マルチレベル方法を両方向動き推定と組み合わせて、補間予定フレームのM1×M1ブロックは徐々に分解され、動き情報がより正確に記述される。加えて、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムが動き推定に適用され、したがって、平滑な動きベクトルフィールドを取得することができ、収束は高速であり、複雑性は低く、これは動き推定精度を効果的に改善し、画像品質を改善する。
本発明の実施形態の技術的解決策をより明瞭に記述するために、以下の説明は、これらの実施形態または先行技術を記述するために必要とされる添付の図面を手短に紹介する。明らかに、以下の説明において添付の図面は、本発明のいくつかの実施形態を単に示し、当業者は、創造的努力なしに、添付の図面から依然として他の図面を導出することができる。
本発明のある実施形態によるマルチレベル両方向動き推定方法の流れ図である。 オブジェクトの長距離の動きシーン内の視像情報との不一致の補間概略図である。 本発明のある実施形態による、オブジェクトの長距離の動きシーンの補間概略図である。 本発明のある実施形態によるマルチレベル両方向動き推定方法のプロセスの流れ図である。 本発明のある実施形態による3レベル補間予定フレームの整合ブロックの概略図である。 本発明のある実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。 本発明の別の実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。
以下の説明は、本発明の実施形態の添付の図面を参照して、本発明の実施形態の技術的解決策を明瞭かつ完全に記述する。明らかに、記述される実施形態は、本発明の実施形態のすべてではなく、その一部である。創造的努力なしに、本発明の実施形態に基づいて当業者によって取得されるすべてのその他の実施形態は、本発明の保護範囲内に該当すべきである。
図1は、本発明のある実施形態によるマルチレベル両方向動き推定方法の流れ図である。図1の方法は、マルチレベル両方向動き推定デバイスによって実行される。
101。補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索する。先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索するステップに関するアルゴリズムが、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む。
102。補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定する。第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探し出された整合ブロックのすべての対の中の最小SBAD値を有する整合ブロックの対である。
103。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定する。
104。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索する。整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索した際に適用されたSBADしきい値の1/4であり、M1およびM2の両方が2のm乗であり、mが正の整数であり、M2=M1/2である。
本発明の実施形態では、両方向動き推定に基づいて、整合ブロックは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、補間予定フレームの前後のフレーム(現在のフレームおよび先行するフレーム)内で探索され、整合ブロックのすべての探索された対の中の最小SBAD値を有する整合ブロックの対が第1の決定予定整合ブロックとして決定される。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、M1×M1ブロックは、マルチレベル方法を参照して、M2×M2ブロックに分割され、整合ブロックが再度探索され、整合ブロックを再度探索するためのSBADしきい値は整合ブロックを前回探索した際に適用されたSBADしきい値の1/4である。したがって、マルチレベル方法を両方向動き推定と組み合わせて、補間予定フレームのM1×M1ブロックは徐々に分解され、動き情報はより正確に記述される。加えて、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムが動き推定に適用され、したがって、平滑な動きベクトルフィールドを取得することができ、収束は高速であり、複雑性は低く、これは動き推定精度を効果的に改善し、画像品質を改善する。
本発明の実施形態は、補間予定フレームが分割されるブロックの数、またはそれぞれの整合ブロックのサイズを限定しないことに留意されたい。補間予定フレームは1個または複数の整合ブロックに分割され、それぞれの整合ブロックはMi×Miブロックであり、Miは正の整数である。本発明の実施形態は、マルチレベル方法のいくつの(すなわち、K個のレベルの動き推定のKの値であり、2以上の正の整数であるKの値の)レベルの動き推定が適用されるかを限定しない。第i番目のレベルの動き推定のそれぞれの整合ブロックはM1×M1ブロックであり、第(i+1)番目のレベルの動き推定のそれぞれの整合ブロックはM2×M2ブロックであり、iは正の整数であると仮定する。
任意選択で、ある実施形態では、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。例えば、Kの値は4にプリセットされ、すなわち、4個のレベルの動き推定が適用される。第4番目のレベルの動き推定で、補間予定フレームのM1×M1ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、補間予定フレームのM1×M1ブロックはそれ以上分割されないことになり、すなわち、MはM1に等しく、補間予定フレームのM×Mブロックの動きベクトルは、対応する決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って決定される。
任意選択で、別の実施形態では、ステップ101で、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックが2回探索され、整合ブロックを2回探索することは反対の探索順序を有する。
任意選択で、別の実施形態では、ステップ102の後で、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とが決定され、第1のSBAD値は現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値は現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値は先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームは現在のフレームの後のフレームである。
第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、ステップ103または104が実行される。
第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックが取得され、すなわち、現在のフレームの対応する整合ブロックは、補間予定フレームのM1×M1ブロックとして複写される。
第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックに対応する、現在のフレームの整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックが取得され、すなわち、先行するフレームの対応する整合ブロックは、補間予定フレームのM1×M1ブロックとして複写される。
前述の解決策は、オブジェクトの動きにより、背景が覆われるかまたは露出されたシーン(すなわち、「ブロッキング」の問題)に適応可能である。先行技術では、ブロックされたゾーンは先行するフレームと、現在のフレームと、先行するフレームの前のフレームとを使用して検出され、先行するフレームの前のフレームは先行するフレームの先行するフレームである。例えば、先行するフレームと先行するフレームの前のフレームとを使用することによって、先行するフレームに関して逆方向動き推定が実行されて、逆方向整合絶対差の和(Sum of Absolute Difference、SAD)値を生成して、先行するフレームと現在のフレームとを使用することによって、先行するフレームに関して順方向動き推定が実行されて、順方向整合SAD値を生成する。先行するフレームで、順方向整合SAD値が逆方向整合SAD値を上回るブロックは覆われたゾーンであり、順方向整合SAD値がSAD値以下のブロックは露出ゾーンである。
したがって、本発明の実施形態の解決策がブロッキング処理に適用されるとき、動き推定を2回、すなわち、順方向動き推定と逆方向動き推定とを実行する必要はなく、それによって、計算量を削減する。加えて、先行技術は、補間予定フレームのブロックをどのように処理するかを指摘しない。ブロッキングシーンで、本実施形態のブロッキング処理によって取得される補間予定フレームは、画像品質を効果的に改善する。
任意選択で、別の実施形態では、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、ステップ101の前に、現在のフレームおよび先行するフレームの両方の境界画素値を非ゼロに設定することができ、現在のフレームおよび先行するフレームの境界はそれぞれM1個の画素だけ円周方向に拡張される。
オブジェクトが画像の境界に入るまたは出るとき、先行技術の動き推定は、補間予定フレームの境界において「ブロック効果」をもたらすが、本発明の技術的解決策に従って取得された補間予定フレームは、境界において「ブロック効果」を削減して、画像品質を改善することができる。
任意選択で、別の実施形態では、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探索された後で、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームが取得される。任意選択で、現在のフレームを補間予定フレームとして複写することが可能であるか、または先行するフレームを補間予定フレームとして複写すること可能である。
シーンが隣接するフレーム間で切り替わるとき、例えば、先行するフレームが「ロケット」画像であり、現在のフレームが「テーブル」画像であるとき、補間方法で、先行するフレームおよび現在のフレームの重複画像である補間予定フレームを取得することは合理的ではなく、外挿方法を使用して、例えば、先行するフレームの「ロケット」画像を複写して補間予定フレームを取得すること、または現在のフレームの「テーブル」画像を複写して補間予定フレームを取得することが適切である。加えて、複数のレベルの動き推定が実行されるまで、SBADしきい値以上のSBAD値を有する決定予定整合ブロックの対が計数されない場合、計算量は増大して、複数のレベルの動き推定は無益であるが、これは、補間予定フレームが外挿方法を使用することによって取得されると推定されるためである。したがって、整合ブロックに関する初めの探索の後で計数が実行される場合、計算量は効果的に削減される。
任意選択で、別の実施形態では、K個のレベルの動き推定が実行された後で、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対が探索され、指定ゾーンは、現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックである。補間予定フレームのM×Mブロックの動きベクトルは第2の決定予定整合ブロックの対の動きベクトルに従って決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。
オブジェクトの動き範囲がオブジェクトのサイズよりもはるかに大きいとき(すなわち、長距離動き)、補間フレーム内で、図2Aに示されるように、オブジェクトが出現する、対応する領域は視像情報と不一致の背景を取得することになる。
オブジェクトの長距離の動きシーンで、すなわち、オブジェクトの動き振幅が整合探索範囲を上回るとき、本発明の実施形態では、第1の決定予定整合ブロックの対のSBAD値は、整合ブロックを複数回数にわたって再度探索する時点で、依然としてSBADしきい値以上であると決定される。詳細には、図2Bに示されるように、K個のレベルの動き推定が実行された後で、補間フレームの補間プロセスで、2個の連続フレームで補間に参加する(4×4個のブロックなど)M×Mブロックにフラグが立てられ、補間に参加しないブロックは「空隙」と定義される。2個の連続フレーム内で、集められた「空隙」ブロックは組み合わされて、指定ゾーンとして記録される。すなわち、先行するフレーム内および現在のフレーム内で補間に参加しないすべてのブロックが組み合わされて指定ゾーンになる。これに基づいて、何らかの長距離動きが発生するかどうかが決定される。一方で、指定ゾーン内で第2の決定予定整合ブロックの対が探索されて、第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定される。
前述の技術的解決策に従って、オブジェクトの長距離動きが発生するとき、動き推定の精度を効果的に改善することができる。
任意選択で、別の実施形態では、ステップ102で、ブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対が決定され、ブロック整合基準は、以下の式(1)、すなわち、
であってよく、式中、SBADは整合ブロックの対のSBAD値であり、Bi,jは補間予定フレームのM1×M1ブロックであり、sは補間予定フレームの画素点であり、vは変位ベクトルであり、fn-1は現在のフレームの画素値であり、fn+1は先行するフレームの画素値である。
理解できるように、本発明の実施形態の適用は限定されない。例えば、本発明の実施形態は、ビデオ通話および電話会議に適用可能である。本発明の実施形態は、フラットスクリーンテレビの画像品質を改善すること、例えば、液晶ディスプレイ(Liquid Crystal Display, LCD)のディスプレイ内に存在する動きのぶれ、画像のジッタ、および画像の縞などの欠点を克服すること、または、プラズマディスプレイパネル(Plasma Display Panel、PDP)のディスプレイ内の重度のフリッカ(flicker)などの問題を克服することも可能である。
以下の説明は、図3の例を参照して、本発明をより詳細に記述する。図3の実施形態は、3(Kの値は3である)レベルの両方向動き推定を例として使用するが、これは、本発明の実施形態を限定すると解釈されるべきではない。
詳細には、図4に示されるように、第1のレベルの補間予定フレームFn内のそれぞれの整合ブロックは16×16ブロックであり、対応するSBADしきい値はV1であり、第2のレベルの補間予定フレームFn内の整合ブロックは8×8ブロックであり、対応するSBADしきい値はV1/4であり、第3のレベルの補間予定フレームFn内の整合ブロックは4×4ブロックであり、対応するSBADしきい値はV1/16である。
S301。第1のレベルの16×16ブロックの両方向動き推定。補間予定フレームFnの16×16ブロックのそれぞれをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを探索して、補間予定フレームFnの16×16ブロックのそれぞれに対応する決定予定整合ブロックの対をそれぞれ決定し、それぞれの決定予定整合ブロックの対は、現在のフレームFn+1内および先行するフレームFn-1内で探し出された整合ブロックの対のすべての対の中の最小SBAD値を有する整合ブロックの対である。
条件が満たされるかどうかが決定される。決定予定整合ブロックの対のSBAD値がSBADしきい値V1と比較される。
決定予定整合ブロックの対のSBAD値がSBADしきい値V1未満である場合、決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームFnの対応する16×16ブロックの(決定予定整合ブロックの対の動きベクトルの平均値など)動きベクトルが決定される。
決定予定整合ブロックの対のSBAD値がSBADしきい値V1以上である場合、ステップS302が実行され、第2のレベルの8×8ブロックの両方向動き推定が実行される。
任意選択で、ステップS301が実行される前に、現在のフレームFn+1および先行するフレームFn-1の境界をそれぞれ16個の画素だけ円周方向に拡張することができ、現在のフレームFn+1および先行するフレームFn-1の両方の境界画素値は非ゼロである。このように、オブジェクトが画像の境界に入るまたは出るとき、本発明の技術的解決策に従って取得された補間予定フレームFnは、境界において「ブロック効果」を削減して、画像品質を改善することができる。
任意選択で、ブロックされたゾーンの検出時に、Fn+3によって示される、次のフレームの後のフレームを再度使用して、現在のフレームFn+1と先行するフレームFn-1との間の第1のレベルの16×16ブロックの両方向動き推定を実行して、第1のSBAD値を生成することと、現在のフレームFn+1と次のフレームの後のフレームFn+3との間の第1のレベルの16×16ブロックの両方向動き推定を実行して、第2のSBAD値を生成することと、先行するフレームFn-1と次のフレームの後のフレームFn+3との間の第1のレベルの16×16ブロックの両方向動き推定を実行して、第3のSBAD値を生成することとが可能である。
第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、整合条件が満たされるかどうかが決定されて、第1のSBAD値がSBADしきい値V1と比較される。第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値でないとき、ローカルエリア外挿方法を使用することによって、対応する16×16ブロックの動きベクトルを取得することができる。考えられる実装様式では、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値と中の最小値であるとき、現在のフレームFn+1の対応する整合ブロックを外挿することによって、補間予定フレームFnのM1×M1ブロックが取得され、すなわち、現在のフレームFn+1の対応する整合ブロックが補間予定フレームFnのM1×M1ブロックとして複写される。別の考えられる実装様式では、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームFnのM1×M1ブロックは、補間予定フレームFnのM1×M1ブロックに対応する現在のフレームFn+1の整合ブロックを外挿することによって取得され、すなわち、先行するフレームFn-1の対応する整合ブロックが補間予定フレームFnのM1×M1ブロックとして複写される。したがって、本発明の実施形態の解決策がブロッキング処理に適用されるとき、動き推定を2回、すなわち、順方向動き推定と逆方向動き推定とを実行する必要はなく、それによって、計算量を削減する。加えて、ブロッキング処理によって取得される補間予定フレームFnは画像品質を効果的に改善する。
任意選択で、第1のレベルの16×16ブロックの両方向動き推定が実行された後で、シーン切替え検出が実行される。詳細には、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームFnの16×16ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値未満であると決定されたとき、シーン切替えは発生しないと決定され、ステップS302、すなわち、第2のレベルの8×8ブロックの両方向動き推定が実行される。すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームFnの16×16ブロックに対応し、かつSBADしきい値以上のSBAD値を有する、決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、シーン切替えが発生すると決定され、外挿様式で補間予定フレームFnが取得される。任意選択で、現在のフレームFn+1を補間予定フレームFnとして複写することが可能であり、または先行するフレームFn-1を補間予定フレームFnとして複写することが可能である。隣接するフレーム間でシーン切替えが発生するとき、複数のレベルの動き推定が実行されるまで、SBADしきい値以上のSBAD値を有する決定予定整合ブロックの対が計数されない場合、計算量は増大して、複数のレベルの動き推定は無益であるが、これは、補間予定フレームFnが外挿方法を使用することによって取得されると推定されるためである。したがって、第1のレベルの16×16ブロックの両方向動き推定が実行された後で計数が実行される場合、計算量は効果的に削減される。
S302。第2のレベルの8×8ブロックの両方向動き推定。対応する補間予定フレームFnの16×16ブロックを4個の8×8ブロックに分割して、補間予定フレームFnの8×8ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを再度探索し、整合ブロックを再度探索するためのSBADしきい値は、整合ブロックを前回探索した際に適用されたSBADしきい値V1の8/(2*16)=1/4、すなわち、V1/4である。
同様に、条件が満たされるかどうかが決定される。補間予定フレームFnの8×8ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/4未満である場合、決定予定整合ブロックの対の動きベクトルに従って、対応する補間予定フレームFnの8×8ブロックの動きベクトルが決定される。
S303。第3のレベルの4×4ブロックの両方向動き推定。補間予定フレームの8×8ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/4以上である場合、対応する補間予定フレームFnの8×8ブロックを4個の4×4ブロックに分割して、補間予定フレームFnの4×4ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを再度探索し、整合ブロックを再度探索するためのSBADしきい値は、整合ブロックを前回探索した際に適用されたSBADしきい値V1/4の4/(2*8)=1/4、すなわち、V1/16である。補間予定フレームFnの4×4ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/16未満である場合、決定予定整合ブロックの対の動きベクトルに従って、対応する補間予定フレームFnの4×4ブロックの動きベクトルが決定される。
任意選択で、補間予定フレームFnの4×4ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/16以上である場合、補間予定フレームFnの4×4ブロックに対応する決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームの4×4ブロックの動きベクトルを決定することができる。
S304。長距離動き検出を実行することができる。現在のフレームFn+1内および先行するフレームFn-1内で補間に参加しないすべてのブロック(例えば、補間に関してフラグが立てられていないブロック)を組み合わせて指定ゾーンにすることができる。これに基づいて、何らかの長距離動きが発生するかどうかが決定される。何らかの長距離動きが発生した場合、例えば、指定ゾーンが存在する場合、指定ゾーン内で決定予定整合ブロックの対を探索することができ、指定ゾーン内で探し出された決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームFnの4×4ブロックに対応する動きベクトルを決定することができる。したがって、オブジェクトの長距離動きが発生するとき、動き推定の精度を効果的に改善することができる。理解できるように、S304は任意選択である。
任意選択で、複数のレベルの両方向動き推定の実施形態では、補間予定フレームFnの16×16ブロックおよび8×8ブロックに3-D RS探索アルゴリズムが適用され、補間予定フレームFnの4×4ブロックに六角探索アルゴリズムが適用され、これは、動きベクトルフィールドを平滑にすること、計算の複雑性を削減すること、および迅速に収束することが可能である。さらに、補間予定フレームFnの16×16ブロック、8×8ブロック、または4×4ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを2回探索することができ、整合ブロックを2回探索することは反対の探索順序を有する(例えば、探索はフレームに関して2回、すなわち、「左上から右下への」正順および「右下から左上への」逆順で実行される)。
任意選択で、上記の式(1)のブロック整合基準に基づいて、補間予定フレームFnの16×16ブロック、8×8ブロック、および4×4ブロックに対応する決定予定整合ブロックの対を決定することができる。
理解できるように、上の例は、単なる例示であり、本発明の範囲を限定することが意図されない。
前述の解決策のマルチレベル両方向動き推定は、動き情報をより正確に記述して、画像品質を効果的に改善する。
図5は、本発明のある実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。マルチレベル両方向動き推定デバイス500は、整合探索ユニット501と決定ユニット502とを含む。
整合探索ユニット501は、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成され、先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索することに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む。
決定ユニット502は、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成され、第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探索ユニット501によって探し出された整合ブロックのすべての対の中の最小SBAD値を有する整合ブロックの対である。
決定ユニット502は、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定するようにさらに構成される。
整合探索ユニット501は、決定ユニット502によって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するように構成され、整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索する際に適用されたSBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である。
本発明の実施形態では、両方向動き推定に基づいて、整合ブロックは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、補間予定フレームの前後のフレーム(現在のフレームおよび先行するフレーム)内で探索され、整合ブロックのすべての探索された対の中の最小SBAD値を有する整合ブロックの対が第1の決定予定整合ブロックとして決定される。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、M1×M1ブロックは、マルチレベル方法を参照して、M2×M2ブロックに分割され、整合ブロックが再度探索され、整合ブロックを再度探索するためのSBADしきい値は整合ブロックを前回探索した際に適用されたSBADしきい値の1/4である。したがって、マルチレベル方法を両方向動き推定と組み合わせて、補間予定フレームのM1×M1ブロックは徐々に分解され、動き情報はより正確に記述される。加えて、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムが動き推定に適用され、したがって、平滑な動きベクトルフィールドを取得することが可能であり、収束は高速であり、複雑性は低く、これは動き推定精度を効果的に改善し、画像品質を改善する。
マルチレベル両方向動き推定デバイス500は、図1から図7の実施形態を実施することができる。したがって、反復を避けるために、これ以上の詳細はここで与えられない。
本発明の実施形態は、補間予定フレームが分割されるブロックの数、またはそれぞれの整合ブロックのサイズを限定しないことに留意されたい。補間予定フレームは1個または複数の整合ブロックに分割され、それぞれの整合ブロックはMi×Miブロックであり、Miは正の整数である。本発明の実施形態は、マルチレベル方法のいくつの(すなわち、K個のレベルの動き推定のKの値であり、2以上の正の整数であるKの値の)レベルの動き推定が適用されるかを限定しない。第i番目のレベルの動き推定のそれぞれの整合ブロックはM1×M1ブロックであり、第(i+1)番目のレベルの動き推定のそれぞれの整合ブロックはM2×M2ブロックであり、iは正の整数であると仮定する。
任意選択で、別の実施形態では、決定ユニット502は、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するようにさらに構成可能であり、第1のSBAD値が現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値が現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値が先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームが現在のフレームの後のフレームである。整合探索ユニット501は、特に、第1のSBAD値が、決定ユニット502によって決定された、第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成される。
任意選択で、決定ユニット502は、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得すること、すなわち、現在のフレームの対応する整合ブロックを補間予定フレームのM1×M1ブロックとして複写するようにさらに構成可能である。
任意選択で、決定ユニット502は、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、先行するフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得すること、すなわち、先行するフレームの対応する整合ブロックを補間予定フレームのM1×M1ブロックとして複写するようにさらに構成可能である。
前述の解決策は、オブジェクトの動きにより、背景が覆われるかまたは露出されたシーン(すなわち、「ブロッキング」の問題)に適用可能である。本発明の実施形態の解決策がブロッキング処理に適用されるとき、動き推定を2回、すなわち、順方向動き推定と逆方向動き推定とを行う必要はなく、それによって、計算量を削減する。加えて、先行技術は、補間予定フレーム内のブロックをどのように処理するかを指摘しない。ブロッキングシーンで、本発明の実施形態のブロッキング処理によって取得される補間予定フレームは、ブロッキング処理なしで取得された補間予定フレームと比較して画像品質を効果的に改善する。
任意選択で、別の実施形態では、デバイス500は拡張ユニット503をさらに含む。拡張ユニット503は、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、現在のフレームおよび先行するフレームの境界をそれぞれM1個の画素だけ円周方向に拡張するように構成され、現在のフレームおよび先行するフレームの両方の境界画素値が非ゼロである。
オブジェクトが画像の境界に入るまたは出るとき、先行技術の動き推定は、補間予定フレームの境界において「ブロック効果」をもたらすが、本発明の技術的解決策に従って取得された補間予定フレームは、境界において「ブロック効果」を削減して、画像品質を改善することができる。
任意選択で、別の実施形態では、決定ユニット502は、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探索された後で、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームを取得するようにさらに構成可能である。任意選択で、現在のフレームを補間予定フレームとして複写することが可能であり、または先行するフレームを補間予定フレームとして複写することが可能である。
複数のレベルの動き推定が実行されるまで、SBADしきい値以上のSBAD値を有する決定予定整合ブロックの対が計数されない場合、計算量は増大して、複数のレベルの動き推定は無益であるが、これは、補間予定フレームが外挿方法を使用することによって取得されると推定されるためである。したがって、計数が整合ブロックの初めの探索の後で実行される場合、計算量は効果的に削減される。
任意選択で、別の実施形態では、整合探索ユニット501は、K個のレベルの動き推定が実行された後で、決定ユニット502によって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するようにさらに構成可能であり、指定ゾーンが現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックである。決定ユニット502は、第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成可能であり、補間予定フレームのM×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数である。
前述の技術的解決策に従って、オブジェクトの長距離動きが発生するとき、動き推定の精度を効果的に改善することができる。
任意選択で、ある実施形態では、決定ユニット502は、K個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成可能であり、補間予定フレームのM×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数である。
任意選択で、別の実施形態では、整合探索ユニット501は、特に、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを2回探索するように構成され、整合ブロックを2回探索することが反対の探索順序を有する。
任意選択で、別の実施形態では、決定ユニット502は、特に、前述の式(1)のブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成される。
理解できるように、本発明の実施形態の適用は限定されない。例えば、本発明の実施形態は、ビデオ通話および電話会議に適用可能である。本発明の実施形態は、フラットスクリーンテレビの画像品質を改善すること、例えば、液晶ディスプレイ(Liquid Crystal Display, LCD)のディスプレイ内に存在する動きのぶれ、画像のジッタ、および画像の縞などの欠点を克服すること、または、プラズマディスプレイパネル(Plasma Display Panel、PDP)のディスプレイ内の重度のフリッカなどの問題を克服することも可能である。
図6は、本発明の別の実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。
図6に示されるように、マルチレベル両方向動き推定デバイス600は、一般に、CPUなど、少なくとも1個のプロセッサ610と、少なくとも1個のポート620と、メモリ630と、少なくとも1個の通信バス640とを含む。通信バス640は、装置間の接続および通信を実施するように構成される。プロセッサ610は、メモリ630内に記憶された、コンピュータプログラムなど、実行可能モジュールを実行するように構成される。任意選択で、デバイス600はユーザインターフェース650を含むことが可能であり、ユーザインターフェース650は、ディスプレイ、キーボード、マウスなどのクリックデバイス、トラックボール(trackball)、タッチパッドまたはタッチスクリーンを含むが、これらに限定されない。メモリ630は、高速RAMメモリまたは不揮発性メモリ(non-volatile memory)、例えば、少なくとも1個のディスクメモリを含むことが可能である。
いくつかの実装様式では、メモリ630は、以下の要素、すなわち、実行可能モジュールもしくはデータ構造、またはそれらのサブセット、あるいはそれらの拡張セットを記憶する。
オペレーティングシステム632は、様々なシステムプログラムを含み、様々な基本的なサービスを実施して、ハードウェアベースのタスクを処理するように構成される。
アプリケーションモジュール634は、様々なアプリケーションを含み、様々なアプリケーションサービスを実施するように構成される。
アプリケーションモジュール634は、整合探索ユニット501と、決定ユニット502と、拡張ユニット503とを含むが、これらに限定されない。
アプリケーションモジュール634内のそれぞれのユニットの特定の実装に関しては、図6に示される実施形態の対応するユニットを参照し、ここでは何の記述もこれ以上繰り返さない。
本明細書で開示された実施形態で記述された例と組み合わせて、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組合せによって、ユニットおよびアルゴリズムステップを実施することが可能であることを当業者は認識されよう。これらの機能がハードウェアによって実行されるか、またはソフトウェアによって実行されるかは、特定の適用および技術的解決策の設計制約条件に依存する。当業者は、異なる方法を使用して、それぞれの特定の適用に関して記述された機能を実施することができるが、その実装は本発明の範囲を超えると見なすべきではない。
好都合かつ手短に記述するために、前述のシステム、装置、およびユニットの詳細な動作プロセスに関して、前述の方法実施形態の対応するプロセスを参照することが可能であり、詳細は本明細書で再度記述されないことを当業者は明瞭に理解されよう。
本出願に提供された、いくつかの実施形態において、開示されたシステム、装置、および方法はその他の様式で実装可能であることを理解されたい。例えば、記述された装置実施形態は単なる例示である。例えば、ユニット分割は、単なる論理的な機能分割であり、実際の実装では他の分割でありうる。例えば、複数のユニットもしくは構成要素を組み合わせるか、または統合して、別のシステムにすることが可能であり、あるいはいくつかの特徴を無視すること、または実行しないことも可能である。加えて、表示もしくは議論された相互的または直接的な結合あるいは通信接続は、いくつかのインターフェースを介して実施可能である。装置間もしくはユニット間の間接的な結合または通信接続は、電子形式、機械形式、あるいはその他の形式で実施可能である。
別個の部分として記述されたユニットは、物理的に分離してよく、または物理的に分離していなくてもよく、ユニットとして表示された部分は、物理ユニットであってよく、また物理ユニットでなくてもよく、1つの位置に配置されてよく、または複数のネットワークユニット上に分散されてもよい。ユニットの一部またはすべては、これらの実施形態の解決策の目的を達成するための実際のニーズに従って選択されてよい。
加えて、本発明の実施形態の機能ユニットは1個の処理ユニットに統合されてよく、もしくはユニットのそれぞれは物理的に単独で存在してよく、または2個以上のユニットが1個のユニットに統合されてもよい。
これらの機能がソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用されるとき、これらの機能をコンピュータ可読記憶媒体内に記憶することが可能である。そのような理解に基づいて、本発明の技術的解決策は、本質的に、もしくは先行技術に貢献する部分、またはこれらの技術的解決策の部分をソフトウェア製品の形で実施することが可能である。ソフトウェア製品は、記憶媒体内に記憶され、本発明の実施形態で記述された方法のステップのすべてまたは一部を実行するように(パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであってよい)コンピュータデバイスに命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取り外し可能ハードディスク、読出し専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光ディスクなど、プログラムコードを記憶することが可能な任意の媒体を含む。
500 マルチレベル両方向動き推定デバイス、デバイス
501 整合探索ユニット
502 決定ユニット
503 拡張ユニット
600 マルチレベル両方向動き推定デバイス、デバイス
610 プロセッサ
620 ポート
630 メモリ
632 オペレーティングシステム
634 アプリケーションモジュール
640 通信バス
650 ユーザインターフェース
図6に示されるように、マルチレベル両方向動き推定デバイス600は、一般に、CPUなど、少なくとも1個のプロセッサ610と、少なくとも1個のポート620と、メモリ630と、少なくとも1個の通信バス640とを含む。通信バス640は、装置間の接続および通信を実施するように構成される。プロセッサ610は、メモリ630内に記憶された、コンピュータプログラムなど、実行可能モジュールを実行するように構成される。任意選択で、デバイス600はユーザインターフェース650を含むことが可能であり、ユーザインターフェース650は、ディスプレイ、キーボード、マウスなどのクリックデバイス、トラックボール(trackball)、タッチパッドまたはタッチスクリーンを含むが、これらに限定されない。メモリ630は、高速RAMまたは不揮発性メモリ(non-volatile memory)、例えば、少なくとも1個のディスクメモリを含むことが可能である。


Claims (18)

  1. 補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップであって、前記先行するフレームが前記補間予定フレームの前のフレームであり、前記現在のフレームが前記補間予定フレームの後のフレームであり、前記探索するステップに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、探索するステップと、
    前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するステップであって、前記第1の決定予定整合ブロックの対が、前記現在のフレーム内および前記先行するフレーム内で探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定するステップと、
    前記第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、前記第1の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームの前記M1×M1ブロックの動きベクトルを決定するステップと、
    前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記補間予定フレームの前記M1×M1ブロックをM2×M2ブロックに分割して、前記補間予定フレームの前記M2×M2ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で整合ブロックを再度探索するステップであって、前記整合ブロックを再度探索するためのSBADしきい値が前記整合ブロックを前回探索した際に適用された前記SBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、再度探索するステップと
    を含むマルチレベル両方向動き推定方法。
  2. 前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を前記決定するステップの後に、
    第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するステップであって、前記第1のSBAD値が前記現在のフレームと前記先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第2のSBAD値が前記現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第3のSBAD値が前記先行するフレームと前記次のフレームの前記後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記次のフレームの前記後のフレームが前記現在のフレームの後のフレームである、決定するステップをさらに含み、
    補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップが、
    前記第1のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中で最小値であるとき、前記補間予定フレームの前記M1×M1ブロックを前記ミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内の前記整合ブロックを探索するステップ
    を含む、請求項1に記載の方法。
  3. 前記第2のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記現在のフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックが取得され、
    前記第3のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記先行するフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックが取得される、
    請求項2に記載の方法。
  4. オブジェクトが前記先行するフレームの境界に対して前記現在のフレームの境界でシーンに入るまたは出るとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップの前に、前記方法が、
    前記現在のフレームおよび前記先行するフレームの両方の境界画素値を非ゼロに設定して、前記現在のフレームおよび前記先行するフレームの前記境界をそれぞれM1個の画素だけ、円周方向に拡張するステップ
    をさらに含む、請求項1から3のいずれか一項に記載の方法。
  5. シーンが前記先行するフレームに対して前記現在のフレームで切り替わるとき、前記整合ブロックが初めて探し出された後で、前記方法が、
    すべての以下の決定予定整合ブロックの対、すなわち、前記補間予定フレームの前記M1×M1ブロックに対応し、かつ前記SBADしきい値以上のSBAD値を有する前記決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で前記補間予定フレームを取得するステップ
    をさらに含む、請求項1から4のいずれか一項に記載の方法。
  6. 複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、前記現在のフレームおよび前記先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するステップであって、前記指定ゾーンが前記現在のフレーム内および前記先行するフレーム内で前記補間に参加しないすべてのブロックであり、Kが2以上の正の整数である、探索するステップと、
    前記第2の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するステップであって、前記補間予定フレームの前記M×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数である、決定するステップと
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 複数のレベルの両方向動き推定の前記K個のレベルの動き推定が実行された後で、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの前記動きベクトルを決定するステップであって、前記補間予定フレームの前記M×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、決定するステップ
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  8. 補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップが、
    前記補間予定フレームの前記M1×M1ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを2回探索するステップであって、前記整合ブロックを前記2回探索するステップが反対の探索順序を有する、2回探索するステップを含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を前記決定するステップが、
    ブロック整合基準に基づいて、前記補間予定フレームの前記M1×M1ブロックに対応する前記第1の決定予定整合ブロックの対を決定するステップであって、前記ブロック整合基準が、
    であり、式中、前記SBADが前記整合ブロックの対の前記SBAD値であり、Bi,jが、前記補間予定フレームの前記M1×M1ブロックであり、sが前記補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が前記現在のフレームの画素値であり、fn+1が前記先行するフレームの画素値である、決定するステップを含む、請求項1から8のいずれか一項に記載の方法。
  10. 補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成された整合探索ユニットであって、前記先行するフレームが前記補間予定フレームの前のフレームであり、前記現在のフレームが前記補間予定フレームの後のフレームであり、前記探索することに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、整合探索ユニットと、
    前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成された決定ユニットであって、前記第1の決定予定整合ブロックの対が前記現在のフレーム内および前記先行するフレーム内で前記整合探索ユニットによって探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定ユニットと
    を含むマルチレベル両方向動き推定デバイスであって、
    前記決定ユニットが、前記第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、前記第1の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームの前記M1×M1ブロックの動きベクトルを決定するようにさらに構成され、
    前記整合探索ユニットが、前記決定ユニットによって決定された、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上である場合、前記補間予定フレームの前記M1×M1ブロックをM2×M2ブロックに分割して、前記補間予定フレームの前記M2×M2ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で整合ブロックを再度探索するように構成され、前記整合ブロックを再度探索するためのSBADしきい値が前記整合ブロックを前回探索した際に適用された前記SBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、
    マルチレベル両方向動き推定デバイス。
  11. 前記決定ユニットが、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するようにさらに構成され、前記第1のSBAD値が前記現在のフレームと前記先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第2のSBAD値が前記現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第3のSBAD値が前記先行するフレームと前記次のフレームの前記後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記次のフレームの前記後のフレームが前記現在のフレームの後のフレームであり、
    前記整合探索ユニットが、特に、前記第1のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記補間予定フレームの前記M1×M1ブロックを前記ミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを探索するように構成された
    請求項10に記載のデバイス。
  12. 前記決定ユニットが、前記第2のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記現在のフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックを取得するようにさらに構成され、
    前記決定ユニットが、前記第3のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記先行するフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックを取得するようにさらに構成された
    請求項11に記載のデバイス。
  13. 前記デバイスが拡張ユニットをさらに含み、
    前記拡張ユニットが、オブジェクトが前記先行するフレームの境界に対して前記現在のフレームの境界でシーンに入るまたは出るとき、前記現在のフレームおよび前記先行するフレームの前記境界をそれぞれM1個の画素だけ円周方向に拡張するように構成され、前記現在のフレームおよび前記先行するフレームの両方の境界画素値が非ゼロである、請求項10から12のいずれか一項に記載のデバイス。
  14. 前記決定ユニットが、シーンが前記先行するフレームに対して前記現在のフレームで切り替わるとき、前記整合ブロックが初めて探し出された後で、すべての以下の決定予定整合ブロックの対、すなわち、前記補間予定フレームの前記M1×M1ブロックに対応し、かつ前記SBADしきい値以上のSBAD値を有する前記決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で前記補間予定フレームを取得するようにさらに構成された
    請求項10から13のいずれか一項に記載のデバイス。
  15. 前記整合探索ユニットが、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、前記決定ユニットによって決定された、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上である場合、前記現在のフレームおよび前記先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するようにさらに構成され、前記指定ゾーンが前記現在のフレーム内および前記先行するフレーム内で前記補間に参加しないすべてのブロックであり、
    前記決定ユニットが、前記整合探索ユニットによって探し出された前記第2の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、前記補間予定フレームの前記M×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、
    請求項10から14のいずれか一項に記載のデバイス。
  16. 前記決定ユニットが、前記複数のレベルの両方向動き推定の前記K個のレベルの動き推定が実行された後で、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、前記補間予定フレームの前記M×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、
    請求項10から14のいずれか一項に記載のデバイス。
  17. 前記整合探索ユニットが、特に、前記補間予定フレームの前記M1×M1ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを2回探索するように構成され、前記整合ブロックを前記2回探索することが反対の探索順序を有する、
    請求項10から16のいずれか一項に記載のデバイス。
  18. 前記決定ユニットが、特に、ブロック整合基準に基づいて、前記補間予定フレームの前記M1×M1ブロックに対応する前記第1の決定予定整合ブロックの対を決定するように構成され、前記ブロック整合基準が、
    であり、式中、前記SBADが前記整合ブロックの対の前記SBAD値であり、Bi,jが、前記補間予定フレームの前記M1×M1ブロックであり、sが前記補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が前記現在のフレームの画素値であり、fn+1が前記先行するフレームの画素値である、
    請求項10から17のいずれか一項に記載の方法。
JP2015509302A 2013-04-03 2013-09-25 マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイス Pending JP2015518698A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310115703.4 2013-04-03
CN201310115703.4A CN104104960B (zh) 2013-04-03 2013-04-03 多级双向运动估计方法及设备
PCT/CN2013/084153 WO2014161280A1 (zh) 2013-04-03 2013-09-25 多级双向运动估计方法及设备

Publications (1)

Publication Number Publication Date
JP2015518698A true JP2015518698A (ja) 2015-07-02

Family

ID=51657474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509302A Pending JP2015518698A (ja) 2013-04-03 2013-09-25 マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイス

Country Status (6)

Country Link
US (1) US8913185B2 (ja)
EP (1) EP2846548A4 (ja)
JP (1) JP2015518698A (ja)
KR (1) KR101519941B1 (ja)
CN (1) CN104104960B (ja)
WO (1) WO2014161280A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN107426577B (zh) * 2017-03-08 2020-05-29 青岛信芯微电子科技股份有限公司 运动估计运动补偿算法中重复性结构的检测方法及***
CN107396111B (zh) * 2017-07-13 2020-07-14 河北中科恒运软件科技股份有限公司 介导现实中自动视频插帧补偿方法及***
WO2019191717A1 (en) * 2018-03-30 2019-10-03 Hulu, LLC Template refined bi-prediction for video coding
CN110662077B (zh) * 2018-06-30 2022-07-05 北京字节跳动网络技术有限公司 用于视频编解码的对称性双向预测模式
CN110896492B (zh) * 2018-09-13 2022-01-28 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
US11315256B2 (en) * 2018-12-06 2022-04-26 Microsoft Technology Licensing, Llc Detecting motion in video using motion vectors
CN113873095A (zh) * 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 运动补偿方法和模块、芯片、电子设备及存储介质
CN114898577B (zh) * 2022-07-13 2022-09-20 环球数科集团有限公司 一种用于高峰期道路管理的道路智能管理***与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197330A (ja) * 1992-12-25 1994-07-15 Matsushita Electric Ind Co Ltd 動きベクトル検出方式
JPH11177940A (ja) * 1997-06-04 1999-07-02 Hitachi Ltd 画像信号の方式変換装置及びテレビジョン受像機
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
WO2005076629A1 (ja) * 2004-02-09 2005-08-18 Sanyo Electric Co., Ltd 画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置
JP2006332950A (ja) * 2005-05-25 2006-12-07 Nippon Hoso Kyokai <Nhk> 双方向動きベクトル検出による内挿画像生成装置及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2240118C (en) 1997-06-09 2005-11-22 Hitachi Ltd. Image sequence coding method and decoding method
US6438275B1 (en) 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
WO2003085599A1 (en) * 2002-04-11 2003-10-16 Koninklijke Philips Electronics N.V. Motion estimation unit and method of estimating a motion vector
CN100396100C (zh) * 2004-12-21 2008-06-18 华为技术有限公司 视频压缩的运动估计方法
TWI389575B (zh) * 2009-02-18 2013-03-11 Acer Inc 即時嵌入式多媒體設計之移動評估方法
KR101671676B1 (ko) * 2009-03-04 2016-11-01 르네사스 일렉트로닉스 가부시키가이샤 압축 동화상 부호화 장치, 압축 동화상 복호화 장치, 압축 동화상 부호화 방법 및 압축 동화상 복호화 방법
KR20110050283A (ko) 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
CN102123283B (zh) 2011-03-11 2013-10-30 杭州海康威视数字技术股份有限公司 视频帧率转换中的插值帧获取方法及其装置
CN102857728B (zh) * 2012-10-12 2015-05-20 重庆大学 基于sad和vod匹配准则的视频数据帧频提升方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197330A (ja) * 1992-12-25 1994-07-15 Matsushita Electric Ind Co Ltd 動きベクトル検出方式
JPH11177940A (ja) * 1997-06-04 1999-07-02 Hitachi Ltd 画像信号の方式変換装置及びテレビジョン受像機
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
WO2005076629A1 (ja) * 2004-02-09 2005-08-18 Sanyo Electric Co., Ltd 画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置
JP2006332950A (ja) * 2005-05-25 2006-12-07 Nippon Hoso Kyokai <Nhk> 双方向動きベクトル検出による内挿画像生成装置及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6015031673; Ｈａｉｐｉｎｇ　Ｈｕ　ｅｔ　ａｌ: 'Ａ　Ｎｏｖｅｌ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｆｒａｍｅ　Ｒａｔｅ　Ｕｐ-Ｃｏｎｖｅｒｓｉｏｎ' ２０１１　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ＩＡＳＰ , 20111021, ｐｐ．６-９ *
JPN6015031675; Ｇｅｒａｒｄ　ｄｅ　Ｈａａｎ　ｅｔ　ａｌ: 'Ｔｒｕｅ-Ｍｏｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ　ｗｉｔｈ　３-Ｄ　Ｒｅｃｕｒｓｉｖｅ　Ｓｅａｒｃｈ　Ｂｌｏｃｋ　Ｍａｔｃｈｉｎｇ' ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＣＩＲＣＵＩＴＳ　ＡＮＤ　ＳＹＳＴＥＭＳ　ＦＯＲ　ＶＩＤＥＯ　ＴＥＣＨＮＯＬＯＧＹ Ｖｏｌ．３，　Ｎｏ．５, 199310, ｐｐ．３６８-３７９ *
JPN6015031677; Ｇ．　Ｌｕｐａｔｉｎｉ　ｅｔ　ａｌ: 'Ｓｃｅｎｅ　ｂｒｅａｋ　ｄｅｔｅｃｔｉｏｎ：　ａ　ｃｏｍｐａｒｉｓｏｎ' ＲＥＳＥＡＲＣＨ　ＩＳＳＵＥＳ　ＩＮ　ＤＡＴＡ　ＥＮＧＩＮＥＥＲＩＮＧ，　１９９８．　ＣＯＮＴＩＮＵＯＵＳ　ＭＥＤＩＡ　ＤＡＴＡＢＡＳＥＳ　ＡＮＤ　ＡＰＰＬＩＣＡＴＩＯＮＳ'．　ＰＲＯＣＥＥＤＩＮＧＳ , 19980223, ｐｐ．３４-４１ *

Also Published As

Publication number Publication date
CN104104960A (zh) 2014-10-15
KR20140133805A (ko) 2014-11-20
CN104104960B (zh) 2017-06-27
US8913185B2 (en) 2014-12-16
EP2846548A1 (en) 2015-03-11
WO2014161280A1 (zh) 2014-10-09
KR101519941B1 (ko) 2015-05-13
US20140327819A1 (en) 2014-11-06
EP2846548A4 (en) 2015-07-01

Similar Documents

Publication Publication Date Title
JP2015518698A (ja) マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイス
US11968386B2 (en) Picture prediction method and related apparatus
CN105517671B (zh) 一种基于光流法的视频插帧方法及***
Liu et al. Multiple hypotheses Bayesian frame rate up-conversion by adaptive fusion of motion-compensated interpolations
US9148622B2 (en) Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
CN103402098B (zh) 一种基于图像插值的视频插帧方法
US9262839B2 (en) Image processing device and image processing method
KR20100114499A (ko) 후광현상이 줄어든 영상보간 장치 및 방법
CN105828106A (zh) 一种基于运动信息的非整数倍帧率提升方法
JP2004343715A (ja) フレームレート変換時のフレーム補間方法およびその装置
CN104219533A (zh) 一种双向运动估计方法和视频帧率上转换方法及***
TWI408620B (zh) 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
WO2014194722A1 (zh) 确定小物体区域的方法、视频帧之间插补帧的方法和装置
TWI490819B (zh) 影像處理方法及其裝置
US9736492B2 (en) Motion vector smoothing method and apparatus
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
EP2237560A1 (en) Halo reducing motion-compensated interpolation
Prasantha An Approach for Frame Rate conversion of a Video
Zhao et al. Frame rate up-conversion based on edge information
US8405767B2 (en) Image processing device
Dehghannasiri et al. Frame rate up-conversion using nonparametric estimator
Gavrilov et al. Efficiency Estimation of the Inter-Frame Coding of Modern Video Codecs
Ghutke Temporal video frame interpolation using new cubic motion compensation technique
Cai et al. New Motion Estimation with Angular-Distance Median Filter for Frame Interpolation
Nahmias et al. Evaluation of Modern Dynamic Programming Algorithms for Real-time Active Stereo Systems

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150811

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150916

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160301