JP2006512029A - セグメントベース動き推定 - Google Patents
セグメントベース動き推定 Download PDFInfo
- Publication number
- JP2006512029A JP2006512029A JP2005502596A JP2005502596A JP2006512029A JP 2006512029 A JP2006512029 A JP 2006512029A JP 2005502596 A JP2005502596 A JP 2005502596A JP 2005502596 A JP2005502596 A JP 2005502596A JP 2006512029 A JP2006512029 A JP 2006512029A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- motion vector
- image
- block
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
セグメント画像(100)の各セグメント(S11〜S14)に対応する動きベクトルを確定するセグメントベース動き推定方法は、各セグメント(S11〜S14)に対して動きベクトル候補の集合を作成し、このセグメント画像(100)をピクセルブロック(b11〜b88)のグリッドに分割し、セグメント(S11〜S14)とセグメント画像におけるピクセルブロック(b11〜b88)の位置とに基づいて各ブロック(b11〜b88)に属する動きベクトル候補を確定し、これらの確定された動きベクトル候補及び更なる画像(102)のピクセル値に基づいて各ブロック(b11〜b88)に対応する部分的マッチ誤差を算出し、これらの部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出し、これらマッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、これらの選択された動きベクトル候補を各セグメント(S11〜S14)に対応する動きベクトルとして指定する工程を有する。
Description
本発明はセグメント画像の各セグメントに対応する動きベクトルを推定するためのセグメントベース動き推定方法に関する。
本発明は更にセグメント画像の各セグメントに対応する動きベクトルを推定する動き推定部に関する。
本発明は更に入力画像をセグメント画像にセグメント化するセグメント部及びセグメント画像の各セグメントに対応する動きベクトルを推定する動き推定部を有する画像処理装置に関する。
セグメントベース動き推定は、例えば2Dから3Dへのコンテンツ変換、ビデオ符号化、スキャンレート変換、セキュリティ対策上オブジェクト追跡、画質改善などの各種ビデオ処理アルゴリズムにおける重要な処理ステップを構成する。現在の動き推定アルゴリズムのほとんどがブロックベースであるのに対し、セグメントベースの動き推定では動きベクトルが高いピクセル精度で算出されうるためより正確な推定が可能である。例えばビデオフレームなどの画像のセグメント画像において、セグメントベース動き推定は以下のように実行される。まず各セグメントについて動きベクトル候補を選択し、各セグメントに対応するいくつかの動きベクトル候補それぞれのマッチ誤差を算出することによって当該セグメントに対する各動きベクトル候補を評価し、この評価に基づいて各セグメントそれぞれに対応する最適な動きベクトル候補を選択する。
セグメントは任意の形状及び大きさを有することが可能であるため、上述のようなアルゴリズムを直接適用した場合、メモリ帯域幅が効率的に利用されない。典型的には考慮対象とされるセグメントが属する境界ボックスのピクセル値がメモリからアクセスされる。この場合境界ボックス内のピクセル値のすべてがこの考慮対象とされるセグメントを構成するとは限らないためメモリ帯域幅が効率的に利用されないこととなる。
そこで本発明は上記序文に記載される方法であって、比較的効率的なメモリ帯域幅の利用に基づく方法を提供することを目的とする。
上記目的を達成するために、本発明による方法は、
各セグメントに対して動きベクトル候補の集合を作成し、
セグメント画像をピクセルブロックのグリッドに分割し、
前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて前記動きベクトル候補のなかから各ブロックに属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて各ブロックに対応する部分的マッチ誤差を算出し、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出し、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する工程を有する。
各セグメントに対して動きベクトル候補の集合を作成し、
セグメント画像をピクセルブロックのグリッドに分割し、
前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて前記動きベクトル候補のなかから各ブロックに属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて各ブロックに対応する部分的マッチ誤差を算出し、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出し、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する工程を有する。
本発明の重要な特徴のひとつは、セグメント画像にブロックのグリッドがオーバーレイされ、ブロックごとに効率的な動き推定が実行されるという点である。ブロックごとの動き推定が実行された後、このブロックごとの推定結果を累算することによってセグメントごとの推定結果が算出される。したがってメモリアクセス及び部分的マッチ誤差の算出はブロックベースで行われる。これらによりセグメントベース動き推定アルゴリズムが容易に実施されうる。また、本発明の方法によると、大規模な並行処理が可能であるという利点もある。すなわちセグメント画像はいくかのブロック群に分割されうるため、各ブロック群におけるブロックの処理は並行に実施されうる。よってこの方法においては多くの並行処理手段(VLIWやASICなど)が適用されうる。
また本発明の更なる実施形態による方法は、
前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて、前記ブロックのうちの複数のセグメントと重複するブロックの各々を複数のピクセル群に分離し、
前記セグメントと前記セグメント画像における前記ピクセル群の位置とに基づいて、前記動きベクトル候補のなかから前記ピクセル群に属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて前記ピクセル群に対応する更なる部分的マッチ誤差を算出し、
前記部分的マッチ誤差及び前記更なる部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する工程を更に有する。
前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて、前記ブロックのうちの複数のセグメントと重複するブロックの各々を複数のピクセル群に分離し、
前記セグメントと前記セグメント画像における前記ピクセル群の位置とに基づいて、前記動きベクトル候補のなかから前記ピクセル群に属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて前記ピクセル群に対応する更なる部分的マッチ誤差を算出し、
前記部分的マッチ誤差及び前記更なる部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する工程を更に有する。
あるブロックが複数のセグメントと重複する場合、このブロックはいくつかのピクセル群に分離される。このピクセル群の数はこのブロックが重複するセグメントの数に相当する。そして各ピクセル群についてそれぞれ対応する部分的マッチ誤差が算出される。例えばあるブロックが4つのセグメントと重複する場合、4つのピクセル群が確定される。そしてこれら4つのピクセル群のそれぞれについてその対応動きベクトル候補が評価される。したがってこのブロックに対して4つの部分的マッチ誤差が算出されることとなる。その後これら4つの部分的マッチ誤差は対応するセグメントに属する部分的マッチ誤差と累積される。本実施形態によると、より正確な評価結果が得られるという効果が得られる。
また本発明の方法の更なる実施形態によると、前記動きベクトル候補のなかから前記ブロックに属する動きベクトル候補を確定する処理は、前記セグメント画像における前記セグメントと前記ブロックとの重複量に依存する。本実施形態によると、あるブロックについて評価される動きベクトル候補の数は当該ブロックが重複するセグメントの数と直線的な関係を有さない。例えばあるブロックが2つのセグメントと重複し、これら各セグメントにはそれぞれ5つの動きベクトル候補が備わっているとすると、最大で10の動きベクトル候補がこのブロックについて評価されうる。しかし例えばこのブロックと一方のセグメントとの重複量が比較的小さい(例えばブロック内のピクセル全体の10%未満など)場合、このブロックについて当該セグメントの動きベクトル候補に対する評価は省略されうる。すなわちこのブロックに付いては当該ブロックと比較的広領域にわたって重複する他方のセグメントの動きベクトル候補(この例では5つ存在)が評価されることとなる。この評価においては2つの異なるアプローチが適用されうる。まず第1アプローチとしては、このブロックにおける全てのピクセル(すなわち他方のセグメントに属するピクセルを含む)についてこれら動きベクトル候補が評価される。第2のアプローチとしては、このブロックにおける対応ピクセル群についてのみ(すなわち他方のセグメントに属するピクセルを含まない)これら動きベクトル候補が評価される。本実施形態によると算出処理工程の数が他の実施形態に比べて削減されうる。
また本発明の方法の一実施形態によると、前記部分的マッチ誤差のうちの少なくとも1つはセグメント画像のピクセル値と前記更なる画像の対応ピクセル値との差の和に相当する。好適にはこの部分的マッチ誤差はSAD(Sum of Absolute Difference:差分絶対和)に相当する。なお、ピクセル値は輝度値や色値などを表す。このようなマッチ誤差はローバスト性を備え、比較的少ない演算処理によって算出されうるという利点を有する。
また、好適には前記ピクセルブロックは8×8ピクセル又は16×16ピクセルから構成される。このフォーマットは最も一般的に適用されるフォーマットである。したがって市販のハードウェアとの互換性が実現される。
また本発明の更なる実施形態による方法は、前記セグメント画像と共に1つの拡張画像を構成する更にセグメント化された画像における第1セグメントに割り当てられた第1動きベクトル、及び前記更にセグメント化された画像における更なるセグメントであって前記第1セグメントと共に前記拡張画像における1つのセグメントを構成する更なるセグメントに対応付けられる特定動きベクトルに基づいて、最終動きベクトルを確定し、前記拡張画像における1つのセグメントに前記最終動きベクトルを対応付ける工程を更に有する。
すなわち本実施形態による方法においては、いくつかのサブ画像(すなわち拡張画像の各部分)の処理結果を合成する一種のポスト処理が実施される。また別の観点からみると、ある拡張画像がいくつかの帯状ブロック群やタイル状ブロック群に分けられ、各サブセグメントに対応する中間動きベクトルが確定される。その後これらの中間動きベクトルは当該拡張画像の各セグメントに対応する適正な動きベクトルを確定するために適用される。本実施形態によると、メモリ帯域幅が更に効率的に利用されうる。
また、好適には前記第1セグメントのサイズが前記更なるセグメントのサイズよりも大きい場合は前記第1動きベクトルが前記最終動きベクトルとして指定され、前記更なるセグメントのサイズが前記第1セグメントのサイズよりも大きい場合は前記特定動きベクトルが前記最終動きベクトルとして指定される。また別の実施例によると、この最終動きベクトルはこれら2つの動きベクトル(すなわち第1動きベクトル及び特定動きベクトル)の平均を算出することによって確定されうる。また、好適にはこの平均は第1セグメントのサイズと更なるセグメントのサイズとに基づく加重平均に相当する。
また、本発明は本願の序文に記載されるような動き推定部で、メモリ帯域幅の効率利用を可能にする動き推定部を提供することを更なる目的とする。
上記目的を達成するために、本発明による動き推定部は、
各セグメントに対応する動きベクトル候補の集合を作成する作成部、
前記セグメント画像をピクセルブロックのグリッドに分割する分割部、
前記セグメント及び前記セグメント画像における前記ピクセルブロックの位置に基づいて前記動きベクトルのうち前記ブロックに属する動きベクトル候補を確定する確定部、
前記確定された動きベクトル候補と更なる画像のピクセル値に基づいて前記ブロックに対応する部分的マッチ誤差を算出する算出部、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する合成部、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択する選択部、及び
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する指定部を有する。
各セグメントに対応する動きベクトル候補の集合を作成する作成部、
前記セグメント画像をピクセルブロックのグリッドに分割する分割部、
前記セグメント及び前記セグメント画像における前記ピクセルブロックの位置に基づいて前記動きベクトルのうち前記ブロックに属する動きベクトル候補を確定する確定部、
前記確定された動きベクトル候補と更なる画像のピクセル値に基づいて前記ブロックに対応する部分的マッチ誤差を算出する算出部、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する合成部、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択する選択部、及び
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する指定部を有する。
また、本発明は本願の序文に記載されるような画像処理装置で、メモリ帯域幅の効率利用を可能にする動き推定部を具備する画像処理装置を提供することを更なる目的とする。
上記目的を達成するために、本発明による画像処理装置における動き推定部は請求項1記載の方法を実行するように構成される。本発明の一実施形態による画像処理装置は、動きベクトルに基づいて制御される処理手段を有する。この処理手段は以下の各種画像処理のうちの1又は複数を支持しうる。
−ビデオ圧縮、すなわち符号化/復号化処理(例えばMPEG規格に基づくもの)
−デインタレース処理:インタレース処理は奇数又は偶数画像線を交互に送信するための一般的なビデオ放送処理である。デインタレース処理は縦の解像度をもとに修復する処理に相当する(すなわち各画像について奇数及び偶数線を同時アクセス可能にする)
−画像レート変換処理:連続オリジナル入力画像からより大きな連続出力画像を算出する処理。すなわち出力画像が2つのオリジナル入力画像の間に時間的に挿入される。
−デインタレース処理:インタレース処理は奇数又は偶数画像線を交互に送信するための一般的なビデオ放送処理である。デインタレース処理は縦の解像度をもとに修復する処理に相当する(すなわち各画像について奇数及び偶数線を同時アクセス可能にする)
−画像レート変換処理:連続オリジナル入力画像からより大きな連続出力画像を算出する処理。すなわち出力画像が2つのオリジナル入力画像の間に時間的に挿入される。
−時間的ノイズ削減処理。これは空間処理を含むことが可能で、その結果時空間ノイズの削減が実現されうる。
この画像処理装置は随意に出力画像を表示するディスプレイ部を具備しうる。この画像処理装置はテレビ、セットトップボックス、VCRプレーヤ、衛星チューナ、DVDプレーヤ/レコーダなどに相当しうる。
なお、本発明による方法の変形例や変更例は上記動き推定部の変形例や変更例に対応しうる。
また、本発明による方法、動き推定部、及び画像処理装置の上記及びその他の特徴は、本発明の実施例の説明と、添付図面の参照とによって明らかになるであろう。
図1は2つの連続するセグメント画像100及び102を概略的に示す。このうちの第1画像100は4つのセグメントS11、S12、S13、及びS14から構成される。また第2画像102も4つのセグメントS21、S22、S23、及びS24から構成される。ここで第1画像100のセグメントS11は第2画像102のセグメントS21に対応する。第1画像100のセグメントS12は第2画像102のセグメントS22に対応する。第1画像100のセグメントS13は第2画像102のセグメントS23に対応する。第1画像100のセグメントS14は第2画像102のセグメントS24に対応する。これら各セグメントは動き(例えば撮像されるシーンにおけるオブジェクトに対するカメラの動きなど)に応じて画像座標システムに対して変動する。これらの変動は動き推定によって推定されうる。すなわちセグメントS11、S12、S13、S14とセグメントS21、S22、S23、S24との関係を表す動きベクトルMV(1)、MV(2)、MV(3)、及びMV(4)が推定される。この動き推定は各セグメントに対する動きベクトル候補CMV(s,c)の評価に基づく。なお、ここでsはセグメントを表し、cはセグメントごとの候補を表す。セグメントの各動きベクトル候補CMV(s,c)についてマッチ誤差ME(s,c)が算出される。そして各セグメントにおいてマッチ誤差が最も低い動きベクトル候補が選択される。この選択された動きベクトルが対応セグメントの動きベクトルMV(s)として指定される。
本発明によるマッチ誤差ME(s,c)の算出は幾つかの部分的マッチ誤差ME(s,c,b)の算出に基づく。セグメント画像は等寸法の複数ブロックに分割される。これら各ブロックについて、当該ブロックが画像におけるどのセグメントと重複するかが確認される。この重複に基づいて適正な動きベクトル候補が選択される。そしてこれら動きベクトル候補及び当該ブロックの座標に基づいて第2画像102における対応ピクセル値がアクセスされ、当該ブロックにおけるピクセル値と比較される。これによってブロックごとに(例えば行走査方式又は列走査方式に基づいて)部分的マッチ誤差ME(s,c,b)が算出される。また、随意に並行処理が適用され、複数のマッチ誤差ME(s,c,b)が同時に算出される。これら部分的マッチ誤差ME(s,c,b)は以下の式(1)に示されるようにセグメントごとに累積される。
まず第1アプローチとしては、複数のセグメントと重複する各ブロックをそれぞれ複数のピクセル群に分離する方法がある。図2は図1の詳細部を示す。具体的にはこの図はブロックb24を示す。ここで示されるようにブロックb24はセグメントS11に対応する第1ピクセル群202及びセグメントS12に対応する第2ピクセル群204から構成される。この場合第1ピクセル群202についてはセグメントS11の動きベクトル候補が評価され、第2ピクセル群204についてはセグメントS12の動きベクトル候補が評価される必要がある。なお、セグメントS11の動きベクトル候補のいくつかはセグメントS12の動きベクトル候補と一致することも考えられる。しかしこれら各動きベクトル候補の集合が相互に異なる可能性も高い。したがって第1ピクセル群202については、いくつかの部分的マッチ誤差ME(S11,c,b24(1))が算出され、第2ピクセル群204については、いくつかの部分的マッチ誤差ME(S12,c,b24(2))が算出される。ここではブロックb24における第1ピクセル群202がb24(1)として表され、ブロックb24における第2ピクセル群204がb24(2)として表される。セグメントS11の各動きベクトル候補のマッチ誤差は、以下の式(2)に示されるようにセグメントS11に完全にあるいは部分的に属するブロックの部分的マッチ誤差を累積することによって算出される。
また、第2アプローチとしては、複数のセグメントと重複する各ブロックをそれぞれ複数のピクセル群に分離するが、あるピクセル群に含まれるピクセルの数が所定の閾値を下回る場合当該ピクセル群については部分的マッチ誤差を算出しない方法がある。この閾値としては例えばブロック内のピクセル数の1/2又は1/4に相当する値が設定されうる。具体的には図1に示される例において閾値がブロック内のピクセル数の1/4に等しい値に相当する場合、セグメントS11の各動きベクトル候補のマッチ誤差の算出に当たってブロックb44及びb52は考慮されないこととなる。なお、所定閾値を上回るピクセル数を有するピクセル群については上述のようにその部分的マッチ誤差が算出され、累積される。
また、第3アプローチによると、各ブロックに属する動きベクトル候補の確定はセグメント画像内におけるセグメントとブロックの重複量に基づく。すなわちある特定のブロックが複数のセグメントと重複する場合、この特定ブロックと最も大きく重複しているセグメントの動きベクトル候補とこの特定ブロック内の全てのピクセルに基づいて部分的マッチ誤差が算出される。具体的には図1の例においてセグメントS11の動きベクトル候補のマッチ誤差を算出する場合、ブロックb14、b24、及びb34は完全にセグメントS11の動きベクトル候補の評価に利用される。また随意に最も大きい重複量が所定の閾値を上回るか否かが確認されうる。これは特定ブロックが3つ以上のセグメントと重複する場合などに重要となりうる。ここで最も大きい重複量が所定の閾値を上回らない場合、当該ブロックについては部分的マッチ誤差が算出されないように設定しうる。
第4アプローチにおいては、複数のセグメントと重複するブロックについては全く部分的マッチ誤差が算出されない。すなわちこれらのブロックは動きベクトル候補の評価において利用されないこととなる。具体的には図1の例においてセグメントS11の動きベクトル候補のマッチ誤差を算出するに当たってはブロックb11、b12、b13、b21、b22、b23、b31、b32、b33及びb41のみが利用されることとなる。
なお、図1は2つのセグメント画像100及び102を示すが、実は一方の画像がセグメント化されていればよい。すなわち他方の画像はセグメントされる必要はない。これは本発明の方法によって実現される好適な特徴の1つである。これは本発明の方法では、実際の算出はブロックベースで行われていて、ブロックをピクセル群に分離するという随意的工程は1つのセグメント画像のセグメントだけに基づいて実行されるためである。
図3は本発明の一実施形態による動き推定部300を概略的に示す。この動き推定部300には入力コネクタ316を介してピクセル値などの画像が供給され、入力コネクタ318を介して画像ごとのマスクや画像ごとのセグメントの輪郭の記述などのセグメント化データが供給される。動き推定部300は出力コネクタ320においてセグメントごとの動きベクトルを提供する。図1の説明で講じられるように、動き推定部300は動くベクトルを推定するように構成される。この動き推定部300は以下の構成要素を有する。
−セグメント画像における各セグメントに対応する動きベクトル候補の集合を作成する作成部314。
−このセグメント画像をピクセルブロックのグリッドに分割する分割部304。この分割部304はメモリ部302から考慮対象とされるピクセルブロックに属するピクセル値にアクセスするように構成される。また、この分割部304は座標を確定するように構成され、動き推定部300における他の構成部に対してこの確定された座標に基づくピクセル値のアクセスを委ねることも可能である。なお、メモリ部302は動き推定部300の一部を構成しうるが、画像処理装置における他の構成部と共用されうる。例えばこのメモリ部302は動き推定部300によって制御される画像処理部504やセグメント化部502などと共用されうる。
−セグメント及びセグメント画像におけるブロックの位置に基づいて各ブロックに属する動きベクトル候補を確定する確定部306。
−確定された動きベクトル候補と更なる画像のピクセル値に基づいて各ブロックに対応する部分的マッチ誤差を算出する算出部308。
−これら部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する合成部310。
−これらマッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、これら選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する選択部312。
以下において動き推定部300の動作を説明する(図1も参照)。なお、ここでは画像100が4つのセグメントS11−S14に分割(セグメント化)されていて、初期段階においては各セグメントにつき1つの動きベクトル候補が提供されると仮定する。これらの動けベクトル候補CMV(*,*)は作成部314によって作成され確定部06に供給される。
分割部304はメモリ部302にアクセスして左上から右下へ(すなわちブロックb11からb88へ)と進む走査方式に従って画像100のピクセル値をブロックごとにアクセスする。分割部304は各ブロック(例えばブロックb11)に対応する座標(x,y)を確定部306に供給する。確定部306は各ピクセルブロックについてその座標とセグメントの位置に基づいて動きベクトル候補のうちのどれが当該ブロックに属するかを確定する。
第1ブロックb11は完全に第1セグメントS11と重複する。したがってこのブロックb11の部分マッチ誤差を算出する際は、セグメントS11の動きベクトル候補CMV(S11,C1)だけが算出部308に供給される。この動きベクトル候補CMV(S11,C1)とブロックb11の座標に基づいて算出部308は更なる画像102のピクセル値にアクセスするように構成される。こうしてこのブロックb11に対応する部分的マッチ誤差ME(S11,C1,b11)が算出され、これが合成部310に供給される。なお、ブロックb12及びb13についても上記と同様な処理ステップが実施され、これによりそれぞれ部分的マッチ誤差ME(S11,C1,b12)及びME(S11,C1,b13)が得られる。
4番目のブロックb14は部分的にセグメントS11と重複し、且つ部分的にセグメントS12とも重複する。したがってここでは算出部308に2つの動きベクトル候補CMV(S11,C1)及びCMV(S12,C1)が供給される。この算出部308は以下の要素に基づいて更なる画像102のピクセル値にアクセスするように構成される。
−動きベクトル候補CMV(S11,C1)及びCMV(S12,C1)、
−セグメント化データ、及び
−ブロックb14の座標。
次にブロックb14の2つのピクセル群b14(1)とb14(2)とのそれぞれに対応する2つの部分的マッチ誤差ME(S11,C1,b14(1))とME(,C1S12,b14(2))とが算出され、合成部310に供給される。
−セグメント化データ、及び
−ブロックb14の座標。
次にブロックb14の2つのピクセル群b14(1)とb14(2)とのそれぞれに対応する2つの部分的マッチ誤差ME(S11,C1,b14(1))とME(,C1S12,b14(2))とが算出され、合成部310に供給される。
上述のような処理ステップが全てのブロックに対して同様に実施される。こうして全ての部分的マッチ誤差が算出されると、セグメントごとのマッチ誤差が確定されうる。なお、部分的マッチ誤差の算出及び合成は並列的に実行されることも可能であることは明らかである。
次に各セグメントについて、新たな動きベクトル候補が生成される。好適には、これらの新たな動きベクトル候補は他のセグメントの動きベクトル候補の集合から派生する。そしてこれらの新たな動きベクトル候補についてもそれぞれマッチ誤差が算出される。そして全ての動きベクトル候補のマッチ誤差が算出されると、選択部312が各セグメントについてマッチ誤差が最も低い動きベクトル候補を選択する。
なお、上記の実施例では動きベクトル候補の生成及び評価が交互に実施されるが、また別に例では、この動きベクトル候補の生成及び評価が前後に実行されうる。すなわちまず全ての動きベクトル候補が生成された後にこれらが評価されることも可能である。また、まず動きベクトル候補の第1部分が生成され、これらが評価された後更に動きベクトル候補の第2部分が生成され評価されるような構成も可能である。
また上記実施例では特定のブロックの処理において1重複セグメントにつき1つの動きベクトル候補のみが評価され、その後継ぎのブロックが処理される。これに対して、また別の実施例では、特定のブロックに対応しうる全ての動きベクトル候補が評価された後に、次のブロックに対応しうる全ての動きベクトルを評価することも可能である。
なお、作成部314、分割部304、確定部306、算出部308、合成部310、及び選択部312は1つのプロセッサによって実現されうる。通常これらの機能はソフトウェアプログラムによる制御に基づいて実行される。このソフトウェアプログラムは実行されるに当たって通常RAMなどのメモリにロードされここから実行される。このプログラムは例えばROM,ハードディスク、又は磁気/光学記憶域などの背景メモリなどからロードされるか、あるいはインターネットなどのネットワークを介してロードされうる。また随意に特定用途向け集積回路が上記の機能を提供しうる。
なお、上記実施例においては、行ごとの走査に基づいて動きベクトルの推定処理が実施されるが、本発明はこのような実施例に限定されず、例えばこの処理はいくつかの行に対して並行に実施可能である。なお、典型的には画像を1度処理した後、再度処理が繰り返される。この場合好適には繰り返される処理は前回の走査方式とは異なる方式で行われる。例えば、行ごと、列ごと、ジグザグ方式などと各種異なる走査方式で処理が繰り返されうる。この処理は所定回数繰り返された後、又は収束が得られた時点で停止される。
なお、画像全体に対してこのような処理を繰り返すことによって適正な処理結果が得られるが、メモリ帯域幅の有効利用の観点からすると、各セグメントの動きベクトルを推定する処理を、サブセグメントごとの中間動きベクトルを推定するサブプロセスに分離し、続いてこれらサブプロセスの処理結果を合成するポスト処理工程を実施することが好適である。図4は図1のセグメント画像のうちの1つであるセグメント画像100を4つのサブ画像401−404に分割した状態を示す。ここで第1サブ画像401はブロックb11−b28に対応する。第2サブ画像401はブロックb31−b48に対応する。第3サブ画像401はブロックb51−b68に対応する。第4サブ画像401はブロックb71−b88に対応する。第1サブ画像401は第1部分(すなわち図1におけるセグメントS11のサブセグメントS111)及び第2部分(すなわち図1におけるセグメントS12のサブセグトS121)と重複する。第2サブ画像402は第1部分(すなわち図1におけるセグメントS11のサブセグメントS112)、第2部分(すなわち図1におけるセグメントS12のサブセグトS122)、第3部分(すなわち図1におけるセグメントS13のサブセグメントS132)及び第4部分(すなわち図1におけるセグメントS14のサブセグメントS142)と重複する。第3サブ画像403は第1部分(すなわち図1におけるセグメントS13のサブセグメントS133)及び第2部分(すなわち図1におけるセグメントS14のサブセグトS143)と重複する。第4サブ画像404は第1部分(すなわち図1におけるセグメントS13のサブセグメントS134)及び第2部分(すなわち図1におけるセグメントS14のサブセグトS144)と重複する。
まず各サブセグメントS111〜S144についてそれぞれ初期動きベクトルMV(S111)〜MV(S144)が推定される。この処理はサブ画像ごとに上記図1〜3の説明と同様な手順で実施される。なお初期動きベクトルMV(S111)〜MV(S144)の推定は逐次的、すなわちあるサブ画像から次のサブ画像へと処理が順次実施されうる。しかし、より好適にはこれら初期動きベクトルMV(S111)〜MV(S144)の推定は並行に実施される。これらの初期動きベクトルMV(S111)〜MV(S144)が推定された後は、セグメント画像100の各セグメントS11〜S14に対応する最終動きベクトルMV(S11)〜MV(S14)が確定されうる。具体的には例えばセグメントS12の最終動きベクトルMV(S12)はサブセグメントS121に対して確定された第1動きベクトルMV(S121)及びサブセグメントS122に対して確定された第2動きベクトルMV(S122)に基づいて確定される。なお、多くの場合これら第1動きベクトルMV(S121)と第2動きベクトルMV(S122)は同等である。この場合セグメントS12に対応する最終動きベクトルMV(S12)を確定するのは比較的簡単である(すなわち一方又は他方を選択すればよい)。なお、第1動きベクトルMV(S121)と第2動きベクトルMV(S122)とが相互一致しない場合、セグメントS12と最も大きく重複するサブセグメントに対応する初期動きベクトルを選択することが好適である。この例においては、サブセグメントS121の大きさがサブセグメントS122よりも大きいため、第1動きベクトルMV(S121)がセグメントS12の最終動きベクトルMV(S12)として確定される。
次に以下において3つのサブセグメントS132、S133、及びS134と重複するセグメントS13に対応する最終動きベクトルMV(S13)を確定する処理手順について説明する。まず各サブセグメントS132、S133、及びS134それぞれのセグメントS13との重複量が確定される。これはセグメントの輪郭部分とこの輪郭と交差するサブ画像402、403、404の境界とによってそれぞれ定義される各領域内に位置するピクセルの数を数えることによって実行される。この例ではサブセグメントS132の重複量は比較的小さい。よってこれに対応する初期動きベクトルMV(S132)はセグメントS13の最終動きベクトルMV(S13)の算出においては考慮されない。なお、セグメントS13の最終動きベクトルMV(S13)はそれぞれサブセグメントS133とS134とに対して確定された初期動きベクトルMV(S133)とMV(S134)との加重平均に基づいて確定される。ここで適用される加重係数はそれぞれのサブセグメントS133及びS134のセグメントS13との重複量に依存する。
図5は本発明による画像処理装置を概略的に示す。この画像処理装置は以下の構成要素を有する。
−入力画像をセグメント画像にセグメント化するためのセグメント化部502。このセグメント化部502は入力画像に対応する信号を受信するように構成される。この信号はアンテナやケーブルなどを介して受信される放送信号や、VCR(Video Cassette Recorder)、DVD(Digital Versatile Disk)などの記憶装置からの信号に相当しうる。この信号は入力コネクタ510に供給される。
−図3の説明において講じられるセグメントベース動き推定部508。
−動き推定部508によって制御される画像処理部504。この画像処理部504は例えばビデオ圧縮、デインタレース処理、画像レート変換、及び時間的ノイズ削減処理などの画像処理のうちの1又は複数を支持しうる。
−画像処理部504の出力画像を表示するためのディスプレイ部506。
この画像処理装置500は例えばテレビなどに相当しうる。また、画像処理装置500はディスプレイ部506を有さず、出力画像をディスプレイ部506を有する他の装置に供給しうる。この場合画像処理装置500は例えばセットトップボックス、衛星チューナ、VCRプレーヤ、DVDプレーヤ/レコーダなどに相当しうる。また、随意に画像処理装置500はハードディスクや取外し可能メディア(例えば光学ディスク)への記録手段などといった記憶手段を具備しうる。また画像処理装置500は撮影スタジオや放送局などで適用されるシステムに相当しうる。
なお、上記説明における各実施例は本発明を非限定的に例示するのであって、同業者であれば本発明の範囲を逸脱することなくこれらの実施例から各種変形例を構想することが可能であろう。また請求項における「有する」という表現は、当該請求項に記載される以外の構成要素やステップ工程の存在を否定する意味合いは含まない。本発明はいくつかの構成要素からなるハードウェア及び適正にプログラミングされたコンピュータによって実現されうる。なお、複数の手段を有するデバイスに係る請求項においてこれらの手段のいくつかが同一のハードウェア要素によって実現されることも可能である。
Claims (14)
- セグメント画像の各セグメントに対応する動きベクトルを確定するセグメントベース動き推定方法であって、
各セグメントに対して動きベクトル候補の集合を作成し、
前記セグメント画像をピクセルブロックのグリッドに分割し、
前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて前記動きベクトル候補のなかから前記ブロックに属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて前記ブロックに対応する部分的マッチ誤差を算出し、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出し、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する工程を有することを特徴とする方法。 - 前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて、前記ブロックのうち複数のセグメントと重複するブロックの各々を複数のピクセル群に分離し、
前記セグメントと前記セグメント画像における前記ピクセル群の位置とに基づいて、前記動きベクトル候補のなかから前記ピクセル群に属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて前記ピクセル群に対応する更なる部分的マッチ誤差を算出し、
前記部分的マッチ誤差及び前記更なる部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する工程を更に有することを特徴とする請求項1記載の方法。 - 前記動きベクトル候補のなかから前記ブロックに属する動きベクトル候補を確定する工程は、前記セグメント画像における前記セグメントと前記ブロックとの重複量に依存することを特徴とする請求項1記載の方法。
- 前記部分的マッチ誤差のうちの少なくとも1つは前記セグメント画像のピクセル値と前記更なる画像のピクセル値との差の和に相当することを特徴とする請求項1記載の方法。
- 前記ピクセルブロックのうちの少なくとも1つは8×8ピクセル又は16×16ピクセルから構成されることを特徴とする請求項1記載の方法。
- 前記セグメント画像と共に1つの拡張画像を構成する更にセグメント化された画像における第1セグメントに割り当てられた第1動きベクトル、及び前記更にセグメント化された画像における更なるセグメントであって前記第1セグメントと共に前記拡張画像における1つのセグメントを構成するような更なるセグメントに対応付けられる特定動きベクトルに基づいて、最終動きベクトルを確定し、
前記拡張画像における1つのセグメントに前記最終動きベクトルを対応付ける工程を更に有することを特徴とする請求項1記載の方法。 - 前記第1セグメントのサイズが前記更なるセグメントのサイズよりも大きい場合は前記第1動きベクトルが前記最終動きベクトルとして指定され、
前記更なるセグメントのサイズが前記第1セグメントのサイズよりも大きい場合は前記特定動きベクトルが前記最終動きベクトルとして指定されることを特徴とする請求項6記載の方法。 - セグメント画像の各セグメントに対応する動きベクトルを推定する動き推定部であって、
各セグメントに対応する動きベクトル候補の集合を作成する作成部、
前記セグメント画像をピクセルブロックのグリッドに分割する分割部、
前記セグメント及び前記セグメント画像における前記ピクセルブロックの位置に基づいて前記動きベクトルのうち前記ブロックに属する動きベクトル候補を確定する確定部、
前記確定された動きベクトル候補と更なる画像のピクセル値に基づいて前記ブロックに対応する部分的マッチ誤差を算出する算出部、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する合成部、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択する選択部、及び
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する指定部を有することを特徴とする動き推定部。 - 入力画像をセグメント画像にセグメント化するセグメント化部、及び
前記セグメント画像の各セグメントに対応する動きベクトルを推定する請求項8記載の動き推定部508を有することを特徴とする画像処理装置。 - 前記動きベクトルに基づいて制御される処理手段を更に有することを特徴とする請求項9記載の画像処理装置。
- 前記処理手段はビデオ圧縮を実行するように構成されることを特徴とする請求項10記載の画像処理装置。
- 前記処理手段はデインタレース処理を実行するように構成されることを特徴とする請求項10記載の画像処理装置。
- 前記処理手段は画像レート変換を実行するように構成されることを特徴とする請求項10記載の画像処理装置。
- テレビに相当することを特徴とする請求項9記載の画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02080533 | 2002-12-20 | ||
EP03102487 | 2003-08-08 | ||
PCT/IB2003/005474 WO2004057460A2 (en) | 2002-12-20 | 2003-11-20 | Segment-based motion estimation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006512029A true JP2006512029A (ja) | 2006-04-06 |
Family
ID=32683816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005502596A Withdrawn JP2006512029A (ja) | 2002-12-20 | 2003-11-20 | セグメントベース動き推定 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20060098737A1 (ja) |
EP (1) | EP1579311A2 (ja) |
JP (1) | JP2006512029A (ja) |
KR (1) | KR20050084442A (ja) |
CN (1) | CN100342401C (ja) |
AU (1) | AU2003280207A1 (ja) |
WO (1) | WO2004057460A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122934A (ja) * | 2008-11-20 | 2010-06-03 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2011062392A2 (ko) * | 2009-11-18 | 2011-05-26 | 에스케이텔레콤 주식회사 | 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
JP5857244B2 (ja) * | 2011-03-07 | 2016-02-10 | パナソニックIpマネジメント株式会社 | 動き補償装置、動画像符号化装置、動画像復号装置、動き補償方法、プログラム、及び集積回路 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7953152B1 (en) | 2004-06-28 | 2011-05-31 | Google Inc. | Video compression and encoding method |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
AR052601A1 (es) | 2005-03-10 | 2007-03-21 | Qualcomm Inc | Clasificacion de contenido para procesamiento de multimedia |
US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
US7978936B1 (en) | 2006-01-26 | 2011-07-12 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
US7694885B1 (en) | 2006-01-26 | 2010-04-13 | Adobe Systems Incorporated | Indicating a tag with visual data |
US7706577B1 (en) | 2006-01-26 | 2010-04-27 | Adobe Systems Incorporated | Exporting extracted faces |
US7716157B1 (en) | 2006-01-26 | 2010-05-11 | Adobe Systems Incorporated | Searching images with extracted objects |
US7636450B1 (en) | 2006-01-26 | 2009-12-22 | Adobe Systems Incorporated | Displaying detected objects to indicate grouping |
US7813557B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Tagging detected objects |
US7319421B2 (en) * | 2006-01-26 | 2008-01-15 | Emerson Process Management | Foldback free capacitance-to-digital modulator |
US7813526B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Normalizing detected objects |
US7720258B1 (en) * | 2006-01-26 | 2010-05-18 | Adobe Systems Incorporated | Structured comparison of objects from similar images |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
US8085849B1 (en) * | 2006-11-03 | 2011-12-27 | Keystream Corporation | Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks |
US7840031B2 (en) * | 2007-01-12 | 2010-11-23 | International Business Machines Corporation | Tracking a range of body movement based on 3D captured image streams of a user |
US8269834B2 (en) | 2007-01-12 | 2012-09-18 | International Business Machines Corporation | Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream |
US8588464B2 (en) | 2007-01-12 | 2013-11-19 | International Business Machines Corporation | Assisting a vision-impaired user with navigation based on a 3D captured image stream |
US7971156B2 (en) * | 2007-01-12 | 2011-06-28 | International Business Machines Corporation | Controlling resource access based on user gesturing in a 3D captured image stream of the user |
US8295542B2 (en) * | 2007-01-12 | 2012-10-23 | International Business Machines Corporation | Adjusting a consumer experience based on a 3D captured image stream of a consumer response |
US7877706B2 (en) * | 2007-01-12 | 2011-01-25 | International Business Machines Corporation | Controlling a document based on user behavioral signals detected from a 3D captured image stream |
WO2008118886A1 (en) | 2007-03-23 | 2008-10-02 | Bioimagene, Inc. | Digital microscope slide scanning system and methods |
KR101339785B1 (ko) * | 2007-10-29 | 2013-12-11 | 삼성전자주식회사 | 분할 영상 처리 장치 및 방법 그리고 제어 인자 계산 장치 |
KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
US8311111B2 (en) | 2008-09-11 | 2012-11-13 | Google Inc. | System and method for decoding using parallel processing |
US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
US8326075B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video encoding using adaptive loop filter |
KR101279573B1 (ko) | 2008-10-31 | 2013-06-27 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
US8537181B2 (en) * | 2009-03-09 | 2013-09-17 | Ventana Medical Systems, Inc. | Modes and interfaces for observation, and manipulation of digital images on computer screen in support of pathologist's workflow |
US20100226926A1 (en) * | 2009-03-09 | 2010-09-09 | Bioimagene, Inc | Method of Detection of Fluorescence-Labeled Probes Attached to Diseased Solid Tissue |
KR101436342B1 (ko) * | 2010-08-02 | 2014-09-01 | 페킹 유니버시티 | 효과적인 비디오 분류 및 검색을 위한 대표 모션 플로우 추출 |
US9300976B2 (en) * | 2011-01-14 | 2016-03-29 | Cisco Technology, Inc. | Video encoder/decoder, method and computer program product that process tiles of video data |
US8780971B1 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method of encoding using selectable loop filters |
US8780996B2 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method for encoding and decoding video data |
US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
US8781004B1 (en) | 2011-04-07 | 2014-07-15 | Google Inc. | System and method for encoding video using variable loop filter |
US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
US9100657B1 (en) | 2011-12-07 | 2015-08-04 | Google Inc. | Encoding time management in parallel real-time video encoding |
US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
US9344729B1 (en) | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
US11425395B2 (en) | 2013-08-20 | 2022-08-23 | Google Llc | Encoding and decoding using tiling |
US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
US10102613B2 (en) | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
US9794574B2 (en) | 2016-01-11 | 2017-10-17 | Google Inc. | Adaptive tile data size coding for video and image compression |
US10542258B2 (en) | 2016-01-25 | 2020-01-21 | Google Llc | Tile copying for video compression |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2870415B2 (ja) * | 1994-08-22 | 1999-03-17 | 日本電気株式会社 | 領域分割方法および装置 |
FR2743247B1 (fr) * | 1995-12-29 | 1998-01-23 | Thomson Multimedia Sa | Dispositif d'estimation de mouvement par appariement de blocs |
CN1163540A (zh) * | 1996-01-11 | 1997-10-29 | 三星电子株式会社 | 推断精细运动的方法和装置 |
US6249548B1 (en) * | 1998-07-10 | 2001-06-19 | U.S. Phillips Corporation | Motion vector processing |
US7120277B2 (en) * | 2001-05-17 | 2006-10-10 | Koninklijke Philips Electronics N.V. | Segmentation unit for and method of determining a second segment and image processing apparatus |
-
2003
- 2003-11-20 JP JP2005502596A patent/JP2006512029A/ja not_active Withdrawn
- 2003-11-20 US US10/539,898 patent/US20060098737A1/en not_active Abandoned
- 2003-11-20 WO PCT/IB2003/005474 patent/WO2004057460A2/en not_active Application Discontinuation
- 2003-11-20 CN CNB2003801071235A patent/CN100342401C/zh not_active Expired - Fee Related
- 2003-11-20 KR KR1020057011568A patent/KR20050084442A/ko not_active Application Discontinuation
- 2003-11-20 AU AU2003280207A patent/AU2003280207A1/en not_active Abandoned
- 2003-11-20 EP EP03772574A patent/EP1579311A2/en not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122934A (ja) * | 2008-11-20 | 2010-06-03 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2011062392A2 (ko) * | 2009-11-18 | 2011-05-26 | 에스케이텔레콤 주식회사 | 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
WO2011062392A3 (ko) * | 2009-11-18 | 2011-09-01 | 에스케이텔레콤 주식회사 | 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
US9363530B2 (en) | 2009-11-18 | 2016-06-07 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding a motion vector by selecting a set of predicted candidate motion vectors, and method and apparatus for image encoding/decoding using the same |
US9479793B2 (en) | 2009-11-18 | 2016-10-25 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding a motion vector by selecting a set of predicted candidate motion vectors, and method and apparatus for image encoding/decoding using the same |
JP5857244B2 (ja) * | 2011-03-07 | 2016-02-10 | パナソニックIpマネジメント株式会社 | 動き補償装置、動画像符号化装置、動画像復号装置、動き補償方法、プログラム、及び集積回路 |
Also Published As
Publication number | Publication date |
---|---|
AU2003280207A1 (en) | 2004-07-14 |
WO2004057460A3 (en) | 2004-10-28 |
CN1729486A (zh) | 2006-02-01 |
AU2003280207A8 (en) | 2004-07-14 |
WO2004057460A2 (en) | 2004-07-08 |
US20060098737A1 (en) | 2006-05-11 |
CN100342401C (zh) | 2007-10-10 |
EP1579311A2 (en) | 2005-09-28 |
KR20050084442A (ko) | 2005-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006512029A (ja) | セグメントベース動き推定 | |
KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
KR101135454B1 (ko) | 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 | |
KR101092287B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
KR100879324B1 (ko) | 영상정보 압축 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
CN102025959B (zh) | 从低清晰度视频产生高清晰度视频的***与方法 | |
US20070092111A1 (en) | Motion vector field re-timing | |
WO2007057986A1 (ja) | 動きベクトル算出装置および動きベクトル算出方法 | |
JP2005528708A (ja) | 現動きベクトルを推定するユニット及び方法 | |
US8144775B2 (en) | Method and device for generating candidate motion vectors from selected spatial and temporal motion vectors | |
JP2005528709A (ja) | 現動きベクトルを推定するユニット及び方法 | |
JP2005535028A (ja) | セグメント化のためのシステムおよびセグメント化方法 | |
US8565309B2 (en) | System and method for motion vector collection for motion compensated interpolation of digital video | |
US8611423B2 (en) | Determination of optimal frame types in video encoding | |
JP2009533887A (ja) | 動きベクトル場修正装置及び方法 | |
US20050163355A1 (en) | Method and unit for estimating a motion vector of a group of pixels | |
JP2007510213A (ja) | 小さな高速移動物体を追跡するための動きベクトル場の改良 | |
US8582882B2 (en) | Unit for and method of segmentation using average homogeneity | |
JP2006518960A (ja) | ショット切れ目検出 | |
KR20060029283A (ko) | 모션-보상된 영상 신호 보간 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
JP2007503656A (ja) | エッジ方向の推定 | |
JP2006529039A (ja) | エッジ方向の推定 | |
JPH10248065A (ja) | 動きベクトル検出装置 | |
KR20050023122A (ko) | 세그멘팅을 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061117 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20071001 |