WO2009011443A1 - 画像処理方法、画像処理装置及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

画像処理方法は、フレーム選択ステップと、１または複数のフレーム画像間を画素ごとに追従することにより、あるフレーム画像から他のフレーム画像への動きベクトル値を算出する動きベクトル算出ステップと、動きベクトル算出ステップにおいて、途中まで追従した画素が含まれるブロックの符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動きベクトルが存在しないときに仮の動きベクトルを算出する動きベクトル補正ステップとを有する。

Description

明 細 書

コンピュータ読み取り可能な霄^媒体 麵分野

本発明は、 画 ί»理に関し、 特にフレーム画像間の動き'賺が された符号化動画像 データを用レ、てフレーム画像同士の位置合わ ¾ ^を行うことができる画 に関する。 背景鎌

従来の符号化動画 ί象デ、ータを用レ、た動きべクトル変 去では、 ィンタレース

EG2からプログレッシブ ¾MPEG4へビットストリーム変換する際、 ブロック毎に 動きべクトルを変換するようにしており、 インタレースからプログレツシブに変換すると きにフレームレート変換を行って、 元の MP E G 2のフレームを するようにして 、た (J P2002— 252854Aの第 1頁、 図 19参照） 。 このとき、 するフレーム に する後フレームから 1¾する前フレームまでの動きベクトル値を、 するフレー ムと瞧する後フレームの対応するプロック間の動きべクトルに基づ 、て決定し、 赚す る後フレームの対応するブロックカ s持つ新しい動きべクトル値として するようにして いた。

JP2002— 252854 Aでは、 破棄するフレームから P«する前フレームまでの 動きベクトルが する には、 する後フレームのから ¾ ^するフレームまでの動 きべクトルと するフレームから ρ する前フレームまでの動きべクトルを累勸 Π算し たものを新しい動きべクトル値とし、 するフレームから する前フレームまでの動 きべクトルが存在しない場合には、 P する後フレームから; «するフレームまでの動き べクトルを«するフレームから«する前フレームまでの時間を考慮した伸張で変換し たものを新しい動きべクトノ M直としていた。 発明の開示

しかし、 例えば^ MP E G (Moving Picture Expert Group) のような動き情報が記録さ れている動画像データの複数のフレーム画像を位置合わせし、 高解敏画像を^^するよ うな には、従来の動きべクト ( J P 2 0 0 2— 2 5 2 8 5 4 Α参照） を応 用してフレーム画像の位置合わせ 1J用すると、 対応する画素を追従中にィントラ符号化 ブロックがあった^^、 Pフレームの一^ 3の動きベクトルのみを伸張して変換するため、 変換された新しい動きベクトル値の誤差が大きくなるという問題点があった。 また、 対応 する画素を追従中にイントラ符号化以外の Bフレームの片方向予測符号化プロック、 つま り Forwardもしくは Backwardの符号化ブロックがあつたときに、 そのブロックが持つ動 きべクトルが向かう片方向のフレームが対^^などであって使用できない場合には、 追従 力 s不可食になるという問題点があつ

さらに、 MP E G等でィントラ符号化プロックなど動きべクトルが しなレ、¾^、 つ まり、 上記のような追従ができない というのは、 下記 ( 1 ) 〜 （3) の 3つの原因が 考えられる。

( 1 ) シーンチェンジではなレ、が、 GO P (Group Of Pictures)構造の設定によりイント ラフレーム符号ィ匕された ij^

( 2 ) となるブロックにテクスチヤ情報がなく動き補償が出来ずィントラ符号化され た ( 3 ) シーンチェンジのフレームやプロック毎に大きな移動 ·変形があり動き補償出来ず イントラ符号化や、 Bフレームでの片方向予測 (FORWAD/BACKfARD) された場合

このような原因のうち、 （1 ) 、 （2) 、 および （3 ) におけるシーンチェンジフレー ムでな 1/、短時間の 的な移動 ·変形によるイントラ符号化や片方向予測の には、 前 後フレームの相関性が高レヽ が多く、 このようなフレームの近辺さえ追従できればフレ ーム画像の位置合わせを行うことができると考えられる。

本楽明のある態様によれば、符号化された動画像データに記録されて 、るフレーム画像 間の動きべクトルを利用する爾 M^?去であって、 符号化された動画像データを復号化 して得られるフレーム画像の中から複数のフレーム画像を選択するフレーム選択ステップ と、 符号化された動画像データに された動きべクトルを用 ヽて 1または複数のフレー ム画像間を画素ごとに追 ることにより、 フレーム選択ステップにおレヽて選択された複 数のフレーム画像の中のあるフレーム画像から他のフレーム画像への動きべクトル値を算 出する動きべクトル算出ステップと、 動きべクトル算出ステップにおいて、途中まで追従 した画素力 s含まれるプロックの符号化タイプによりこの途中まで追従した画素に対応する 追従先の @¾への追従可能な動きべクトルが しな ヽときに、途中まで追従した画素か ら追従先の画素への仮の動きべクトルを算出する動きべクトル補正ステップと、 を有する 画^«*¾が»される。

本発明の別の態様によれば、符号化された動画像データに記録されているフレーム画像 間の動きべクトルを利用する画像処職置であって、 ttiia符号化された動画像データを復 号化して得られるフレーム画像の中から基準フレームおよび参照フレームを選択するフレ ーム選択部と、廳己符号化された動画像データに総された動きべクトルを方向を考慮し て累働ロ算することで 1または複数のフレーム画像間を画素ごとに追 ることにより、 觸5 照フレームから嫌5¾準フレームへの動きべクトル値を算出する動きべクトル算出 部と、 を備え、 ΙϋΙΒ動きベクトル算出部は、途中まで追従した画素力 S含まれるブロックの 符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動 きべクトルが^ &しなレ、ときに、 ΙίίΙΒ^中まで追従した赚から嫌己追従先の画素への仮 の動きべクトルを算出する動きべクトル補正部を有する画 置が »される。 本発明のさらに別の態様によれば、 符号化された動画像データに識されてレ、るフレー ム画像間の動きべクトルを利用する画ィ»理をコンピュータに菊 させるコンピュータプ ログラムを記録したコンピュータ読取り可能な記録媒体であって、 前記コンピュータプロ グラムは、 tfflBT夺号化された動画像データを復号化して得られるフレーム画像の中から複 数のフレーム画像を選択するフレーム選択ステップと、 ftit¾ 号化された動画像データに された動きべクトルを用レヽて 1または複数のフレーム画像間を画素ごとに追 るこ とにより、 ΙίίΙ己フレーム選択ステップにおレ、て 尺された複数のフレーム画像の中のある フレーム画像から他のフレーム画像への動きべクトル値を算出する動きべクトル算出ステ ップと、 lift己動きべクトル算出ステップにおいて、途中まで追従した画素力 s含まれるプロ ックの符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可 能な動きべクトルが被しないときに、廳 中まで追従した画素から籠 S追従先の画素 への仮の動きべクトルを算出する動きべクトル補正ステップと、 を嫌己コンピュータに実 行させる、 コンピュータ^ ¾り可能な言藤媒体が «される。 図面の簡単な説明

図 1は、 本発明の難形態 1に係る爾^« ^法を ¾する画像処雜置の構成を示す ブロック図である。 図 2は、 mm ιに係る画 ί繞纖去で行われる鍵を示すフローチヤ一トである。 図 3は、 MP E G 4の復号ィ ¾ ί理ブロックの構成を示すプロック図である。

図 4は、雄形態 1のフレーム指定にぉレヽて棚者が基準フレームおよび参照フレーム を指定する際の指定^去を示した図である。

図 5は、 fM 1の位置合わせ処理を行うための動きべクトル算出処理の概要を示し た図である。

図 6は、 図 2の動きべクトル算出処理の内容を示すフローチヤ一トである。

図 7は、 図 2の動きべクトル算出処理の内容を示すフローチヤ一トである。

図 8は、動きべクトス W直 ff処理において動きべクトル値を ffする方法を示した図で ある。

図 9は、 図 6における処理 ( 1 ) 乃至 ( 9) の処理内容を示す図である。

図 1 0は、 動きべクトル補正処理の内容を示すフローチャートである。

図 1 1 A、 1 I Bは、動き補償時の予測方向と、動き補償によって各フレーム力 S持つ動 きべクトルの方向を例示する図である。

図 1 2は、 各フレーム符号化タイプの各マクロブロック符号化モードと各モードにおい てそのマクロブ口ックカ S持つ動きべクトルを示す図である。

図 1 3は、動きべクトル算出^ a®における追従の例を示す図である。

図 1 4は、動きべクトル算出処理における追従の他の例を示す図である。

図 1 5 A— 1 5 Cは、 図 1 4の例において 画素に対応する画素およひ 1¾きべクトル を探す; ^去を示す図である。

図 1 6 A—1 6 D«、 動きべクトル算出処理で動きべクトル ¾E処理が必要な と動 きべクトル #ϊΒί¾における ¾E ^去を示した図である。 図 1 7 A—1 7 Dは、 動きべクトル補正処理における重み係数の設定例を示す図であ る。

図 1 8 A— 1 8 Dは、 動きべクトル補正処理において重み係数を設定する際の方向分別 と向きの差を示す図である。

図 1 9は、 追従中に 画素に対応する画素力 S画像領斜になる例を示した図である。 図 2 0 A、 2 0 Bは、 に対応する画素力 S画像領域の範囲外に移動してしまう原 因について示す図である。

図 2 1は、位置合わせ処理部で行われる位置合わせ処理と高角？ f ^画 i ^成部 1 8で行 われる高角科 理のアルゴリズムを示すフローチヤ一トである。

図 2 2は、 高解 ^ t^部の構成例を示すプロック図である。

図 2 3は、 本発明の ¾6¾形態 2に係る動きべクトル補正 βにおける *E方法を示した 図である。

図 2 4は、 本発明の 形態 3に係る動きべクトル における ¾E:¾¾を示した 図である。

図 2 5は、 本宪明の離形態 4に係る動きべクトル捕正麵における ¾E方法を示した 図である。

図 2 6は、 本発明の^形態 5に係る動きべクトル補正処理における 去を示した 図である。

図 2 7 A— 2 7 Cは、本発明の 形態 6に係る動きべクトル補正処理における補正方 法を示した図である。

図 2 8は、 本発明の ¾5¾形態 7に係る動きべクトル ¾E処理の内容を示すフローチヤ一 トである。 発明を^するための最良の开態 以下、 図面を参照しながら本発明の 形態 1に係る画 法およひ Tiii M^置 について説明する。

図 1は、 本発明の難形態 1に係る画 i « ^法を難する画像処雄置の構成を示す ブロック図である。 図 1に示す画»¾置 1は、 動き情報付き動画像データ力 s入力され る動面 A力部 1 1、動画像復^ ¾ 2、 動きべクトル算出部 1 3、 動きべクトル ¾E部 1 3 a、棚 からのフレーム指定が入力されるフレーム選択部 1 5、位置合わせ処理 部 1 6、 高解髓画 i ^¾部 1 8、 メモリ 1 9、 およひ U象表示部 2 0を備えている。 な お画 ί象表示咅！ 52 0は、画 置 1と一体にしてもよく、別体として設けるようにして もよい。

なお本 »形態では、 動き†f (寸き動画像データ〖观に被しているものとし、 フレー ム画像間の動きべクトル lf¾を持つあらゆる動画像データのことを意味するものとする。 例えば、 現在一般的な動き情報付き動画像データとして、 MP E G (Moving Picture Expert Group) 1、 MP EG 2、 MP EG 4や、 H. 2 6 1、 H. 2 6 3、 H. 2 6 4な どがある。

動き情報付き動画像データ力 s動画 i x力部 1 1に入力された後、 動画像復"^ iu 2 - 続するフレーム画像を復号化しメモリ 1 9に保存する。 ここで、例えば MP E Gの^^、 動画像復^ 1 2はフレーム画像の復号化をすると共にフレーム画像間の動きべクトノレ [f 報を復号化し変換することで動きべクトルを抽出する。 MP E Gに記録されている動きべ クトノレ清報は、 ¾ ^となるプロックの動きべクトルと するブロックの動きべクトルの 直を 号化しているため、 動きべクトノレ 報を復号化した後に赚するブロック の動きべクトルに^ 直を加算することで変換を行い、 となるプロックの動きべクト ルを抽出する。 また動画像復^^ 1 2は、 後述する図 3の M P E G 4の復 に対応す る。

保存された復号化データは、 画像表示部 2 0で動画表示することができ、使用者は画像 表示部 2 0で表示された画像を閲覧し、例えば 解 ί嫉化させたい挪フレームと高解像 度化に使用する参照フレームを指定すること力 S可能である。 使用者からのフレーム指定に より、 フレーム選択部 1 5は動きベクトル算出部 1 3 Η¾定フレーム' を出力する。 動 きべクトル算出部 1 3は、 動画像復^^ 1 2によって抽出された動きべクトルをメモリ 1 9経由又は動画像復 1 2経由で取得し、 その動きベクトルを TOしてフレーム指定さ れた各参照フレームから基準フレームまでの動きベクトル値を算出する。 なお、 動きべク トル算出部 1 3内に動きべクトル ¾E部 1 3 aが内蔵されており、 必要に応じて動きべク トル ¾IE部 1 3 a力 反の動きべクトルを算出する。

算出された動きべクトル値は位置合わせ処理部 1 6に入力され、 この動きべクトル値を 用いて基準フレームと各参照フレームの位置合わせを行う。 なお位置合わせ処理部 1 6 は、 メモリ 1 9に保存されている復号化されたフレーム画像へのアクセスが自由にできる ようになつている。位置合わせを行った基準フレームと各参照フレームのデータは、高解 键 Kte¾部 1 8へ入力される。 高角 n嫉画脏職 151 8は、位置合わせを行った基準 フレームと各参照フレームのデータを用いて動画像復^ ¾ 1 2で復号化されたフレーム画 像よりも解誠の高い高解像度画像を生成し、 この高解像度画像をメモリ 1 9へ保存す る。 メモリ 1 9に保存された高解 像は、画像表示部 2 0に表示することができ、 使 用者は画像表示部 2 0で高角 fi ¾lK像を麵、することができる。 図 2は、本鍾形態に係る画像 去で行われる処理を示すフローチヤ一トである。 本雄形態に係る動画像データに言職されているフレーム画像間の動きべクトルを利用す る »a^法では、 まず動き情報付き動画像データ入力 « (s i o i) により動画像 データの入力を行う。 次に、人力した動画像データを動画像データ復号処理 (S 1 0 2) により動きベクトルと 镜するフレーム画像^ K号化する。 それから、使用者のフレーム 指定に基づいてフレーム選 »理 (S 1 0 3) により、 フレーム画像中の高解 ί«化の対 象となる »フレームと高解 «化に する参照フレームを選択する。 そして動きべク トル算出処理 (S 1 0 4) において、 S 1 0 2の動画像データ復号処理で複号化された動 きべクトルを用 、て 1または複数のフレーム画像間を画素ごとに追 ることにより参照 フレームから御フレームへの動きベクトル値を算出する。 それから挪フレームと参照 フレームのィ立置合わせ処理 (S 1 0 5) を行って、 高角 麵 (S 1 0 6) に より高角? I ®像を^ Tる。

図 3は、 MP E G 4の復号ィ匕処理プロックの構成を示すプロック図である。 本実施形態 におレ、て図 1の動画像復^^ 1 2は、 図 3に示す MP EG 4の復号化 プロックにおけ る復^ II 0 0と対応する。 また動き'隨付き動画像データは、 図 3の符号化信号 1 0 8 と対応する。 復^ 1 0 0に入力された符号ィ匕信号 1 0 8は、 可変長復号ィ匕ブロック 1 0 1で復号化され、 »データは逆量子化プロック 1 0 2へ、 動き情報データは動きべクト ル復号化ブロック 1 0 5へそれぞれ出力される。 その後、 映像データは逆 D C T (Discrete Cosine Transform)ブロック 1 0 3で逆 D C丁される。 動きべクトノレ復号化プ ロック 1 0 5で復号された動きべクトルは動き補償ブロック 1 0 6でメモリ 1 0 7に保存 されてレ、る前のフレーム画像の通ブロックに対し動き補償し、 逆 D C Tされた^ (象デ一 タに加算することで復号画像 1 0 9を^^する。 図 4は、 本 形態のフレーム指定にお!/、て棚者が基準フレームおよび参照フレーム を指定する際の指 ^去を示した図である。 図 4に示すように、 ¾ ^フレームおよび参照 フレームを指定するための表示画面 2 0 1において、 者は復号画像 2 0 2の表示を復 号画像表示フレーム切り替えつまみ 2 0 3を動かしながら麵し、 高角? (t 匕したい講 フレームのフレーム番号を指定フレーム設定タブ 2 0 4の基準フレーム設定タブ 2 0 5 に、 高解 it 匕に使用する参照フレームのフレーム番号を フレーム設定タブ 2 0 6に 設定することで »フレームおよび参照フレームを指定できる。

図 5は、 本 »形態の位置合わせ処理 (S 1 0 5) を行うための動きべクトル算出処理 (S 1 0 4) の概要を示した図である。 図 5に示すように、 使用者のフレーム指定に基づ いてフレーム選舰理 (S 1 0 3 ) で 尺された ¾^フレームと する各参照フレーム が持つ動きべクトル （図 5の MV 1から MV 9 ) を方向を考慮して累¾¾ロ算することで各 参照フレームから ¾ ^フレームへの動きべクトル値を求め、 その動きべクトル値で各参照 画像を変形することで フレームと各参照フレームの位置合わせができる。 これらの動 きべクトノ を求める動きベクトル算出処理を、 フレーム画像の各画素に対して行う。 な お、 これとは逆に、 動きべクトル算出処理で求めた動きべクトル値の方向を全て反転した 値で基準フレームを変形することで各参照フレームに対して位置合わせすることもでき る。 このように、 各フレーム画像が持つ動きべクトルを用レ、て 1または複数のフレーム画 像間を画素ごとに追 ることにより、 あるフレーム画像から他のフレーム画像への動き べクトル値を求めて、複数のフレーム画像を位置合わ ·¾τΤることができる。

図 6および図 7は、 図 2の動きベクトル算出処理 (S 1 0 4) の内容を示すフローチヤ ートである。 なお図 6における処理 ( 1 ) 乃至 （9 ) の処理内容は、 図 9に示されてい る。 また以下の説明において、 Iとは 「 Iフレーム（Intra - coded Frame)/ I -P i c t u r e / I - VO P (Intra— coded Video Object Plane) 」 、 Pとは 「Pフレーム (Predicted Frame) / P - P i c t u r e / P— V O P (Predicted Video Object Plane) 」 、 Bとは 「Bフレーム（Bidirectional predicted Frame) B~P i c t u r e /B-VOP (Bidirectional predicted Video Object Plane) 」 を示すものとし、 フレ ーム画像のことを単にフレームと呼ぶものとする。 なお、 Iフレーム （I一 VOP) 、 P フレーム （P— VOP) および Bフレーム （B—VOP) については後に説明する。 以 下、 動きべクトル算出鍵 (S104) について説明する。

動きべクトル算出処理 (S 104) における動きべクトル値の算出では、 フレーム選択 処理 (S 103) で ¾尺された »フレームと参照フレームのうち、 ¾2pフレーム:^の フレーム分 （参照フレーム分） の プ （S01、 S 25) と各参照フレーム内全画素分 の/！^プ （S 02、 S24) で処理される。

ノ！^プ内処理として、 ま" Τ¾フレーム ·¾· ^画素設定 « (SO 3) で元 フレー ムと ¾ フレームを参照フレームに、 元^画素と 画素を参照フレーム内の 画素 に設定する。 なおここで纖フレームとは、 上記のように動きべクトルを用いて途中まで 追従した画素 （追従前の最初の画素を含む） がその時点で属しているフレームのことであ り、 フレームとは、 それ以前に追従中の画素が属していたフレームのことである。 また 画素とは、 途中まで追従したその時点の画素 （追 ffifの最初の画素を含む） のこ とであり、 元 ¾ ^画素とは、 それ以前の追従中の画素のことである。

¾ ^フレーム 画素設定 « (S03) を行った後、 フレームと基準フレーム との脑 （時間の前後） 関係を判定 （S04) し、 処理 （1) (S05、 S12) で基準 フレームの符号化タイプと処理 (2) (SO 6、 SO 7、 SI 3、 S 14) で ¾ ^フレー ムの符号化タイプを判別する。 その後、 各符号化タイプの組み合わせを考慮して処理 (3) 乃至 (9) (SO 8、 SO 9、 S 10、 S 11、 S 15、 S 16、 S 17、 S 18) で判別 '選娜理を行う。 図 9 に示すように処理 (3) 乃至 (9) では動きベクトルを用いて ^フレームから基準フレ ームへ追従するために、 対象画素に対応する画素を探索し所定の範囲内で対象画素に対応 する画素の するフレームが見つかった;！^には、 追従先の画素としてその画素とその 画素力 S するフレームを選択する。 なお、 処理 (3) 乃至 (9) において 画素に対 応する画素が見つかった^^ (YES) には、 追従可能な動きベクトルが することと なる。

処理 (3) 乃至 (9) (S08、 S09、 S 10、 Sl l、 S15、 S16、 S 17、 SI 8) で、 ¾ ^画素に対応する画素および対応するフレーム力 S選択されない （NO) 場 合には図 7に示す処理^^り、 NOになった理由を判定 (S 26) する。 S 26において 動きべクトルは雜した力 S纖画素に対応する画素が画像領 であった には、 動き ベクトル値なし （S29) として保存 (S 23) し、 参照フレーム内全画素分ノ ~プェン ド （S 24) へ進む。 S 26において 画素に対応する画素力 S画像領：^でなレヽが動き べクトルが^ ¾しなかったと判定された には、動きべクトル補正処理 (S 27、 後に 説明する） で仮の動きべクトルを算出する。 その仮の動きべクトルでも ¾ ^画素に対応す る画素が画 ί象 であった には、 動きベクトル値なしとなる （図 10参照） 。 動き ベタトル ¾IE処理 (S 27) で仮の動きべクトルを算出した後、 動きべクトノレ値の有無を 判定 （S 28) し、 なレヽ には動きべクトル値なし （S 29) として保存 (S 23) し、 参照フレーム内全画素分ノ^ "プエンド （S24) へ進む。 S 28において動きべタト ル値がある：^には、 仮の動きべクトルを用いて動きべクトノ w直を Hff (SI 9) する。 処理 (3) 乃至 (9) (S08、 S09、 S 10、 Sl l、 S 15、 S 16、 S 17、 S I 8) で翁画素に対応する画素および対応するフレーム力 S選択される （YES) には、動きべクトノ HtSif処理 (S 19) で動きべクトルを方向を考慮して累働！]算する ことにより動きべクトノ M直を ifする。

図 8は、 動きべクトル値 KfM (SI 9) において動きべクトル値を 3Eifする方法を 示した図である。 動きべクトル値を: ^る ^去には 2穩あり、 図 8における; if方法 Aは、 選択されたフレーム内の„ に対応する画素から対象フレームの対象画素への 動きべクトルを方向を考慮して累 ¾¾算するものである。 図 8の Hff;^去 Bは、 フレ ームの ¾ ^画素から選択されたフレーム内の ¾ ^画素に対応する画素への動きべクトルを 方向を考慮して累勸 B算するものである。 蔵 去の選択は、 図 8に示すように纖フレ ーム、選択されたフレームの符号化タイプと纖フレーム、 基準フレームとの藤 m の藤） 関係から決定される。

その後、 選択されたフレームと基準フレームの比較処理 (S 20) を行い、 一致してい れば参照フレームの ¾ ^画素から フレームの 画素に対応する画素までの動きべク トル値が求められたことになるのでその動きベクトル値を保存 (S 23) し、 参照フレー ム内全画素分ループエンド （S24) へ進む。 一致していなければ、 纖フレーム.対象 画素 ff処理 (S21) において 象フレームを処理 (3) 乃至 (9) で選択されたフレ ームに Hffし、 ¾ ^画素を処理 (3) 乃至 (9) で選択された画素に ¾ϋして、 フレ ームと基準フレームの纏関係判定処理 (SO 4) へ戻る。 これらのノ プ內処理を各参 照フレーム内全画素分のノトプ （SO 2、 S 24) と参照フレーム分のノ!^プ （S01、 S 25) とで処理することにより動きべクトル算出処理 (S 104) を終了する。

図 10は、 動きベクトル ¾E画 (S27) の内容を示すフローチャートである。 動き べクトル補正 β (S 27) では、 ま i³!!]きべクトル捕正 ¾SfJを判定 (S201) し、補 正稷 ijごとに異なる仮の動きベクトルを算出する。 なおSIE糊 IJは、 例えば棚者が入力 により設定するようにしてもよく、 メ一力一パラメ一ターなどで予め設定しておくように してあよい。

本 形態の例では捕正衝 (Jが 0の;^、仮の動きべクトルを 0とする （S 2 0 2)。 補正働 IJが 1の齢は、仮の動きベクトルを 画素の周辺ブロック （後に説明する） が 持つ動きベクトルを重み付け平均することにより算出する （S 2 0 3 )。 ffiE衝が 2の は、 仮の動きべクトルを 画素の周辺画素力 S持つ動きべクトルを重み付け平均する ことにより算出する （S 2 0 4) 。 補正働 IJが 3の ¾ ^は、仮の動きベクトルを参照フレ ームの画素から 画素までの動きべクトル値を算出するのに用いられた動きべクトルを 重み付け平均することにより算出する （S 2 0 5) 。 そして S 2 0 2乃至 S 2 0 5で算出 された仮の動きべクトルによって追従を行い、 追従先である 画素に対応する画素とそ の画素が属するフレームを探索 (S 2 0 6) し、 練画素と対応する画素力 S画像領:^か どうかを判定 (S 2 0 7) する。 驗画素と対応する画素力 S画像領域内なら仮の動きべク トルを動きべクトルとし （S 2 0 8) 、画像領:^なら動きべクトル値なし （S 2 0 9) とする。

以上の動きべクトル算出処理 (S 1 0 4) の詳細を、 いくつかのパターンを例に説明す る。 まずその説明の t ^として、 MP EG 4によるフレームの符号化タイプと各符号化タ ィプ内のマク口プロック符号化タイプにつレ、て説明する。

MP EG 4のフレームには、 上記のように I一 VOP、 P— VOP、 B— VOPの 3種 類がある。 I— VO Pはイントラ符号化と呼び、 I— VO P自体の符号化時には、 フレー ム内でォ夺号化が 結するため他のフレームとの予測を必要としな 、。 P— VO Pと B— V O Pは、 インター符号化と呼び、 P— VO P自体の符号化時には、 前方の I一 VO Pまた は P— VOPから予測符号化をする。 B— VOP自体の符号化時には、 双方向 （前後方 向） の I— VOPまたは P—VOPから予測符号化をする。

図 11A、 1 IBは、 動き補償時の予測方向と、 動き補償によって各フレームが持つ (各フレーム内に符号化言 される） 動きベクトルの方向 （どのフレームに対する動きべ クトルか） を例示する図である。 なお図 11 Aは、 動き補償時の予測方向を示しており、 図 11Bは、 図 11 Aの例において各フレームが持つ動きべクトルの方向を示している。 また図 11Bの矢印は、 鉢的に図 11 Aの矢印と逆向きとなっている。

例えば、 図 11 Aの左から 4番目の I -VO Pは他のフレーム予測には棚されるが I — V O P自体の符号化に他のフレームからの予測は必要としな 、。 つまり図 11 Bに示す ように、 左から 4番目の I一 VOPからの動きべクトルは しないので II— VOP自 体は動きべクトノレを持たな ヽ。

また図 11 Aの左から 7番目の P— VOPは左から 4番目の I—VOPから予測され る。 つまり図 11Bに示すように、 左から 7番目の P— VOPからの動きべクトル ^feか ら 4番目の I一 VOPへの動きべクトルが するので P— VOP自体は動きべクトルを 持つ。

さらに図 11 Aの左から 5番目

4番目の I一 VOPと左から 7番 目の P— VOPから予測される。 つまり図 11Bに示すように左から 5番目の B— VOP からの動きべクトル ^feから 4番目の I— VOPと左から 7番目の P— VOPへの動きべ クトルが するので B—VOP自体は動きべクトルを持つ。

し力 し、 MP E G 4などの符号化はフレーム全体を一度に符号化するわけではなくフレ 一ム内を複数のマクロプロックに分けて符号化をする。 この際、 各マクロプロックの符号 ィ匕にはいくつかのモードカ S設けられているため、 必、ずしも上記のような方向への動きべク トルを持つとは限らなレ、。

図 12は、 各フレーム符号化タイプの各マクロブロック符号化モードと各モードにおい てそのマクロブロックカ S持つ動きべクトルを示す図である。 図 12に示すように、 I—V OPのマクロプロック符号ィ匕タイプは I NTRA (+Q) モードのみで 16X16ピクセ ルのフレーム内符号化を行うので動きべクトルは被しなレ、。

P— VOPのマクロブロック符号化タイプは I NTRA (+Q) 、 INTER (+ Q) 、 INTER4V、 NOT CODEDの 4種類のモードがある。 INTER (+ Q) は 16 X 16ピクセルのフレーム内符号化を行うので動きべクトルは しない。 I NTER (+Q) は 16X 16ピクセルの前方向予測符号化を行うので前予測フレームへ の動きべクトルを 1つ持つ。 I NTER4Vは 16X16ピクセルを 4分割した 8 X 8ピ クセルごとに前方向予測符号化を行うので前予測フレームへの動きべクトルを 4つ持つ。 NOT CODEDは前予測フレームとの が小さいため符号化せず、 前予測フレーム の同じ位置におけるマク口プロ Vクの画像データをそのまま使用するので、 実際には動き べクト /レは持たないが、 本! 形態においては前予測フレームへの動きべクトル値 "0" を 1つ持つと考えることができる。

D、 BACKWARD, D I RECTの 4 のモードがある。 INTERPOLATE は 16 X 16ピクセルの双方向予測符号化を行うので前後予測フレームへの動きべクトル をそれぞれ 1つずつ持つ。 F O RWARDは 16 X 16ピクセルの前方向予測符号化を行 うので前予測フレームへの動きべクトルを 1つ持つ。 BAG KWARDは 16 X 16ピク セルの後方向予測符号化を行うので後予測フレームへの動きべクトルを 1つ持つ。 D I R ECTは 16X16ピクセルを 4分割した 8 X 8ピクセルごとに前後方向予測符号化を行 うので |ίί¾予測フレームへの動きべクトルをそれぞれ 4つずつ持つ。

以上の碰を元に動きベクトル算出処理 (S 1 0 4) の詳細を、 いくつ力のパターンを 例に図 1 3乃至図 2 0 Βを用レヽて説明する。

図 1 3は、 動きべクトル算出処理 （S 1 0 4) における追従の例を示す図である。 図 1 3の例において、 1フレーム目は I—VO P、 2フレーム目と 3フレーム目は P—VO P であり、 基準フレームを 1フレーム目、 参照フレームを 3フレーム目とする。 3フレーム 目の参照フレーム内の纖画素を斜線の画素として、 まずその纖画素力 S含まれるマク口 プロックの持つ動きベクトルを探す。 この例の齢、 マクロブロック符号化タイプは I N T ERでこのマクロプロックが持つ動きべクトルは MV 1なので対象画素の ί立置を MV 1 を使って移動する。 移動した画素の位置を 2フレーム目の Ρ— VO Pのフレーム内の位置 に対応させ、 対応した 2フレーム目の 画素の位置に対して同様に文像画素が含まれる マクロブロックが持つ動きべクトルを探す。 この例の龄、 マクロプロック符号ィ匕タイプ は I NT E R 4 Vでこのマクロブロックが持つ動きべクトルは 4つ する力 ¾ ^画素 力 S含まれている 8 X 8ピクセルのブロックカ S持つ動きべクトルは MV 4なので追従中の対 象画素の ί立置をさらに MV 4を使つて移動する。 そして移動した画素の 置を 1フレーム 目の I—VO Pのフレーム内の位置に対応させる。 この例の ¾\ 1フレーム目が ¾¾pフ レームなので、 参照フレームの ¾ ^画素は基準フレームまで追従できたことになり、 追従 時に ^ffiした初期値 0と MV 1と MV 4を累灘ロ算することで参照フレームの か ら フレームの ¾ ^画素に対応する画素までの動きべクトノ HSを求めることができる。 図 1 4は、 動きべクトル算出処理 (S 1 0 4) における追従の他の例を示す図である。 図 1 4の例において、 1フレーム目は I _VO P、 2フレーム目と 3フレーム目は P— V O Pとし、 基準フレームを 3フレーム目、 参照フレームを 1フレーム目とする。 1フレー ム目の参照フレーム内の ¾ ^画素を斜線の画素として、 まず 1フレーム目への動きべクト ルを持つ 2フレーム目の P— VO Pの全画素から 1フレーム目の 画素に対応する画素 を探す。 対応する画素が見つかつたら、 その画素力含まれる 2フレーム目のマクロプロッ クが持つ動きベクトル （この例の！^ I NTER 4 Vで MV 3) の方向を反転した一 MV 3で 画素の位置を移動し、移動した画素の位置を 2フレーム目の P— VO Pのフレー ム内の位置に対応させ、対応した 2フレーム目の対象画素の位置に対して同様に 3フレー ム目の P— VO Pの全画素から 2フレーム目の ¾ ^画素に対応する画素を探す。 対応する 画素が見つかつたらその画素力 S含まれる 3フレーム目のマクロブロック力 S持つ動きべクト ノレ （この例の^ · I NTE Rで MV 5 ) の方向を反転した一 MV 5で 画素の位置を移 動し、 移動した画素の位置を 3フレーム目の P— VO Pのフレーム内の位置に対応させ る。

準 フレ ムまで追従できたことになり、 追従時に使用した初期値 0と一 MV 3と一 MV 5を 累働ロ算することで参照フレームの ¾ ^画素から基準フレームの 画素に対応する画素 までの動きべクトノ Htを求めることができる。

図 1 5 A— 1 5 Cは、 図 1 4の例にぉレヽて纖画素に対応する画素およひ ¾1きべクトル を探す方法を示す図である。 なお図 1 5 A— 1 5 Cでは、 図 1 4のような例において 1フ レーム目への動きべクトルを持つ 2フレーム目の P— VO Pの全画素から 1フレーム目の 画素に対応する画素を探す方？ \ 3フレーム目の P— VO Pの全画素から 2フレー ム目の ¾ ^画素に対応する画素を^ T方法にっレヽて示している。 図 1 5 Aの例では、 左か ら 4番目の参照フレーム （I一 VO P) の ¾ (^画素力 S左から 7番目の ¾ ^フレーム （P—

VO P) のどの画素と対応する力 \ およびその画素力 S含まれるマク口ブロック力 S持つ動き ベタトル （図 1 5 A©MV 1 ) を探す。 図 1 5 Bのように、 まず基準フレーム （P) の全てのマクロブロック （全画素） を各マ クロブロック （全画素） 力 S持つ動きベクトルで位置を移動する。 移動した結果が図 1 5 B の左図である。 この位 »動された画像領域内にぉレヽて、 参照フレームの ¾ ^画素がどの 位置にあたるかをマークし、 その位置にある £ ^フレームを移動させた画素カ¾ ^画素に 対応する画素となる。 図 1 5 Bの例では、 マク口ブロック 2の中のある一つの画素が文豫 画素に対応する画素となるため、 元のマク口プロック 2内の対応する画素とマクロブロッ ク 2の動きべクトルが M される。 このようにして ¾ ^画素と対応する画素を探すことが できる。

図 1 5 Cは、 文檢画素をマークした位置に フレームを移動した画素力 S複数 する であり、 どれを讓してもよレ、。 例えば図 1 5 Cの例では、 媳画素をマークした位 置がマクロブロック 1と 6のある画素に対応しているが、 マクロブロック 1の方が中心に 近いのでマクロブロック 1内の対応する画素を選択するようにしてもよい。 また処理の都 合上、 ラスタスキャン順に処理を行いフラグを上書きしているような:^には、 順番の遅 レヽマク口ブロック 6を凝尺するようにしてもよい。

図 1 6 A— 1 6 Dは、 動きべクトル算出処理 (S 1 0 4) で動きべクトル補正処理 (S 2 7) 力 S必要な^^と動きベクトル捕 理 （S 2 7) における ¾E ^去を示した図であ る。 図 1 6 Aの動きベクトル ¾E処理が必要な龄では、 参照フレームから基準フレーム まで各画素力 S持つ動きべクトルによって ¾ ^画素を追従中に Pフレーム内の動きべクトル を持たない I NTRAプロックが するため、 基準フレームまでの追従が える。 こ のような;^に、 本 ¾S形態の動きべクトルfcBO® (S 2 7) によって左から 3番目の Pフレームの文樣画素から左から 2番目の Pフレームへの仮の動きべクトルを算出して、 追従を続けられるようにする。 図 16 Bの第 1の捕正方、法では、 左から 3番目の Pフレーム内の対象画素の仮の動きべ クトルを 0とすることにより追従を続ける。

図 16 Cの第 2の補正方法では、 左から 3番目の Pフレーム内の通画素の仮の動きべ クトルを 画素力 S含まれるブロックの周辺ブロック力 S持つ動きべクトルを重み付け平均 することにより算出して追従を続ける。 その際の仮の動きべクトルの算出;^去を式 ( 1 ) に示す。

MV = YaixMVi · · · (1)

!=1 なお式 (1) において、 MVは仮の動きベクトル、 iは周辺ブロックの II ^番号、 nは 周辺プロックの総ブロック数、 a iは重み係数、 MV iは周辺ブロックカ S持つ動きべクト ルである。 例えば、 図 16 Cにおいて左から 3番目の Pフレーム内の ¾ ^画素力 S含まれる ブロックの周辺ブロック力 S持つ動きべクトルを MV5から MV12とすると、 MV5から MV12を重み付け平均することにより仮の動きべクトルを求める。

図 16 Dの第 3の補正方法では、 左から 2番目の Pフレーム内の対象画素の仮の動きべ クトルを、 参照フレームの元^画素から ^画素までの動きべクトル値を算出するのに 用 ヽられた動きべクトル （図 16 Dの MV 1、 MV 2、 MV3) を重み付け平均すること により算出して追従を続ける。 その際の仮の動きベクトルの算出; W去を式 （2) に示す。

MV= n MVn · · · (2) なお式 (2) において、 MVは仮の動きベクトル、 nは参照フレームの元^画素から 交豫画素までの動きべクトル値を算出するのに用いられた動きべクトルの調 IJ番号、 mは 参照フレームの元 画素から 画素までの動きべクトノ W直を算出するのに用いられた 動きべクトルの総数、 a iは重み β：、 MVnは参照フレームの元 ¾ ^画素から ¾ ^画素 までの動きべクトル値を算出するのに用いられた動きべクトルである。 例えば図 1 6 Dで は、 参照フレームの元^画素から左から 2番目の Pフレーム内の ¾· ^画素までの動きべ クトル値を算出するのに用レ、られた動きべクトルは図 1 6 Dの MV 1、 MV 2、 MV 3で あるので、 この MV 1、 MV 2、 MV 3を重み付け平均することにより仮の動きべクトル を求める。

図 1 7 ー1 70は、 動きべクトル捕正処理 (S 2 7) における重み係数の設定例を示 す図である。 図 1 7 Aは、 図 1 6 Cの第 2の ¾E方法に適用でき、 注目している 画素 と仮の動きべクトルの算出に利用する周辺プロックの中心までの赚に応じて重み係数を 決める例である。 このとき、 賺が近いほど相関性が高いと予想できるので高レ、重み係数 を付加し、 賺が遠レ、ほど低レヽ重み係数を付加する。

図 1 7 Bは、 図 1 6 Cの第 2の ¾E 去に適用でき、 仮の動きべクトルの算出〖 IJ用す る周辺プロック力 S持つ動きべクトルを例えば 9方向に分別 （^向の分別 去は後に説明す る） して^ Ifをとり、 歸量 (繊 に応じて重み付けし、 ^t量が多い方向と同一の方 向を持つプロックに対しては高い重み係数を付加し、 歸量が少ない方向と同一の方向を 持つプロックに対しては低!/ヽ重み係数を付加する。

図 1 7 Cは、 図 1 6 Cの第 2の補正方法に適用でき、 図 1 7 Bの例によつて得た統計量 が一番多い方向との向きの差 （向きの差の決定方法は後に説明する） に応じて重み付け し、 向きの差が小さいほど高い重み係数を付加し、 向きの差が大きいほど低い重み係数を 付加する。

図 1 7 Dは、 図 1 6 Dの第 3の補正; W去に適用でき、 ¾ "^画素力 S含まれるフレームと仮 の動きべク

トルを持つフレームとの時間的赚に応じて重 み付けし、 時間的賺が近いほど高い重み係数を付加し、 時間的赚が遠いほど低い重み 係数を付加する。

図 18A—18Dは、 動きべクトル捕正処理 (S27) において重み係数を設定する際 の方向分別と向きの差を示す図である。 図 18 Aは、動きベクトルを 9方向に分別する際 の分類例を示しており、動きべクトルが 0の^は方向 8としている。 図 18Bのように 動きべクトルが方向 0と方向 1の間にある; ^は、近い方に近似して方向を分別する。 図 18 Cは、 方向と統計量による重み係数の設定例を示しており、 例えば周辺プロック の 8ブロック力 S持つ動きべクトルを各 9方向に分別し、 方向 0が 1ブロック、 方向 1が 4 ブロック、方向 2が 2ブロック、 方向 5が 1ブロックと^ I十量が求められたとする。 重み 係数をそれぞれ図 18Cのように αΐから α4とした^、 図 17 Βのように利用する周 辺ブロックの動きべクトルの向きが同一の個数によって重み付けする には、 α 1≥ α 2≥_α3 = "4という大 /Jヽ関系で重み係数を決定する。

図 17 Cのよう〖 IJ用する周辺ブロックの動きべクトルの向きが同一の個数が一番多レヽ ものの向きとの差によって重み付けするときは、 α 1≥α 2 = α 3>α4という大小関係 で重み係数を決^ Τる。 ここでの向きの差の考え方にっ 、て、 図 18 Dに示すように、 例 えば周辺プロックの動きべクトルの向きが同一の個数が一番多いものの向きが方向 1だと した に、 方向 0と方向 2は方向 1との向きが他の方向よりも近いので、 差を 1とす る。 同様の考え方から方向 7と方向 3は差を 2、 方向 6と方向 4は差を 3、 方向 5は差を 4とし、 方向 8は差を 1. 5とする。 このような考え方に基づいて重み係数を決^ るこ ともできる。 なお、 この例では動きベクトルの向きが同一の個数が一番多いもの以外につ Vヽては動きべクトルの個数を考慮して ヽな 、が、 例えば纖+4の多レ、方向 2の重み係数を 銃計量の少なレ、方向 0の重み係数よりも大きくして、 α1≥α2>ο;3>ο;4という大小 関係で重み係数を決定するようにしてもよい。 また図 1 7 A— 1 7 Dに示す 4パターンの 重み付けによる動きべクトル 処理をそれぞれ組み合わせて してもよく、 さらに周 辺プロックに対する処理を周辺画素に対して行つてもよい。

図 1 9は、 追従中に 画素に対応する画素が画像領 こなる例を示した図である。 図 1 9の例では、 動きべクトル算出処理 (S 1 0 4) において左から 1 0番目の参照フレ ームのマクロブロック符号化タィプ I N T E R内の嫩画素が左から 7番目の P— VO P のマクロブロック符号化タイプ I NTER内の文豫画素と動きべクトル MV 3で対応して いる。 しかし、左から 4番目の I一 VOPまでは動きベクトルがないわけではないが、 例 えば左から 7番目の 画素力 S持つ動きべクトル MV 2で位置を移動してみると、画像領 域の範囲外に移動してしまうため追従できず、 参照フレームの元^画素から¾ ^フレー ムの ¾ ^画素と対応する画素までの動きべクトノ Hiは しなレ、。

図 2 0 A、 2 0 Bは、 文像画素に対応する画素力 S画像領域の範囲外に移動してしまう原 因について示す図である。 図 2 0 A、 2 O Bは、 MP EG 1、 MP E G 2と MP EG 4の 予測符号化時における予測用参照画像への参照方法の違レ、につレ、て示しており、 図 2 0 A に示す MP EG 1、 MPEG 2の場合には、 対象画像のマクロブロックは予測用参照画像 の画像領域内におさまってレヽなければならなかった力 図 2 0 Bに示す MP E G 4の は、 画像領域内に参照マクロブロック力 S全ておさまっていなくてもよいという き べクトル手法が取り られたため、 追従中の画素力 S画像領域の範囲外に移動してしまう ことがある。

図 2 1は、 ί立置合わせ処理き 1 6で行われる位置合わせ処理 (S 1 0 5) と高角科艘画

8で行われる高解像度画 処理 (S 1 0 6) のアルゴリズムを示すフロー チャートである。 以下、 図 2 1に示すアルゴリズムの流れに添って^置合わせ処理 (S 1 0 5) および趣? »理を用いた高解 t^W «処理 (S 1 0 6) の説明を行う。

まず、 基準フレームの画像データと参照フレ^"ムの画像データを読み込む （ S 3 0

I ) 。 なお参照フレームは、 フレーム指定およびフレーム選キ舰理 (S 1 0 3) において 複 |¾を 尺するようにし、 S 3 0 1にお 、て複»分の参照フレームの画 ί象デ、ータを読 み込むのが望まし V、。 次に、 纏フレームを高角科嫉画 鍵のターゲット画像とし て、 このターゲット画像に対しバイリユア補間やバイキュービック補間等の捕 を行 つて初期画像 z。を作成する （S 3 0 2 ) 。 なおこの補間処理は、 ^^により省略するこ と力 Sでさる。

それから、 動きべクトル算出処理 （S 1 0 4) で算出された動きべクトル値を画像変位 量として、 ターゲット画像と参照フレームとの間の画素対応関係を明らかにし、 ターゲッ ト画像の拡 fd¾標を »とする座標空間において重ねあわせ処理を行って、 レジストレー シヨン画像 yを生成する （S 3 0 3) 。 なおここで yは、 レジストレーシヨン画像の画像 データを表すベクトルである。 このレジストレーシヨン画像 yは、位置合わせ処理部 1 6 力 立置合わせ処理 (S 1 0 5) を行うことにより生成する。 レジストレーション画像 を 生成する;^去の詳細については、 「田中 ·奥富、蘭 ^¾§« «理の高速化アルゴリズ ム、 Cou ler Vision and Image Media (CVIM) Vol. 2004、 No. 113、 pp. 97-104 (2004-

II)」 に開示されている。 S 3 0 3における重ねあわせ処理は、 例えば 猶夂の参照フレ 一ムの各ピクセル値と、 ターゲット画像の拡:^標との間で画素位置の対応付けを行い、 各ピクセ /Htをターゲット画像の拡： ¾¾標の最も近い!^点上においていくことで行われ る。 このとき、 同一の格子点上に複数のピクセノ HIをおく があるが、 その齢にはそ れらのピクセノ w直に対して平均化処理を雞する。 なお本 形態では、 ターゲッ卜画像 (基準フレーム） と参照フレームとの間の画 ί«位量として、 動きベクトル算出処理 (S 104) で算出された動きべクトス 直を用いる。

次に、 光学伝達関数（OTF、 Op t i c a 1 Tr an s f e r Fun c t i o n)、 CCDアパーチャ （CCD開口） 等の撮像特 14を考慮した点広がり関数 (PS F、 P o i n t S r e a d F u n c t i o n)を求める （S 304) 。 この P S Fは、 以 下の式 （3) における行列 Aに反映され、 例えば簡易的に Ga u s s関数を用いることが できる。 それから、 S 303で生成されたレジストレーション画像 yと S 304で求めら れた PSFを用いて、 以下の式 (3) で表される籠関数 f (z) の最 /·Η匕を行い （S3 05)、 f (z) 力 S最 匕されたかどうかを判定する （S306)。

(z) = ||y-Az||²+^(z)… (3)

式 （ 3 ) にお 、て、 yは S 303で^^されたレジストレーション画像の画像データを 表す列べクトル、 zはターゲット画像を高角 fi 化した高角 fWS像の画像データを表す 列ベクトル、 Aは光学系の点 ί象分布関数、 サンプリング開口によるぼけ、 カラーモザイク フィルタ （CFA) による各色コンポネント等を含めた撮像システムの特生をあらわす画 像変換行列である。 また、 g (z) は画像の滑らかさや画像の色の相関等を考慮した正則 ィ匕項であり、 λは重み係数である。 式 （3) で表される慕関数 f (z) の最 /W匕には、 例えば最急降下法を用いることができる。 ¾ ^降下法を用いる場合には、 f (z) を zの 各要素で偏微分した値を計算して、 それらの値を要素とするべクトルを «する。 そして 以下の式 ( 4 ) に示すように、 偏微分した値を要素とするベタトルを zに付加することに より、 高解鍵画像 zを更新させていき （S 307) 、 f (z) が最小となる _Zを求め る。

ζ,Ά … · (4)

式 （4) において、 は η回目の更新を行った高解像度画像の画像データを表す列べ クトルであり、 αは の歩み幅である。 なお、 最初の S 305の処理では、 高角？ « 画像 ζとして S 302で求められた初期画像 ζ。を用いることができる。 S 306におい て f (z) 力 S最小化されたと判定された には処理を終了し、 そのときの z_nを最終的 な高角? ( S®像としてメモリ 19等に言藤する。 このようにして、 基準フレーム^ 照フ レームなどのフレーム画像よりも解像の高レ、高角? it«i像を得ることができる。

図 22は、 高解像度画像生成部 18の構成例を示すプロック図である。 なお図 22で は、動きべクトル算出部 13およ 立置合わせ処理部 16 ¾r ^めて示している。 ここで、 高解«画 ί 成部 18等で行われる位置合わせ処理 (S 105) および織 «理を用 いた高解髓歸姓成処理 （S 106) につレヽてさらに説明する。 図 22に示すように高 Mimmi .^ 18は、 捕間拡大音 301、 画像 302、 PS Fデータ保鄉 3 03、 畳込 304、 画像比較部 306、 畳込 分部 307、 正則化項演算部 3 08、 Mff!H ^き 15309、 収束半 U 310を備えている。 またィ立置合わせ処理咅 β 1 6は、 レジストレーション画 部 305を備えて！/ヽる。

はじめに、 メモリ 19に保存された複教妆のフレームのうちフレーム選択処理 (S 10 3) において激尺された フレームを高解 処理のターゲット画像として捕 間拡大部 301に与え、 ターゲット画像の補間拡大を行う （図 21の S302に対応） 。 ここで用レヽられる補間拡大の 去としては、 例えばバイリニァ補間やパイキュービック補 間などが挙げられる。 補間拡大部 301において補間拡大されたターゲット画像は、 例え ば初期画像 _{Z o}として画像蓄積部 302に送られ、 ここに蓄積される。 次に、 補間拡大さ れたターゲット画像は畳込稀 304に与えられ、 PSFデータ麟部 303により 与えられる PSFデータ （式 （3) の画像変換行列 Aに相当） との間で ®Λ 分が行わ れる。 また、 メモリ 1 9に保存された参照フレームは、 レジストレーション画胜成部 3 0 5 に与えられ、動きべクトル算出部 1 3により算出された動きべクトル値を画像変位量とし てターゲット画像の拡 標を基準とする座標空間で重ねあわせ処理を行うことにより、 レジストレーション画像 yが生成される （図 2 1の S 3 0 3に対応） 。 レジストレーショ ン U姓成部 3 0 5における重ねあわせ処理は、 例えほ 匿の参照フレームの各ピクセ ル値と、 ターゲット画像の拡^ d$標との間で画素位置の対応付けを行い、 各ピクセノ！^直を ターゲット画像の拡: ¾¾標の最も近い格子点上においていくことで行われる。 このとき、 同一の格子点上に複数のピクセル値をおく があるが、 その：^にはそれらのピクセル 値に対して平均化纏を雄する。

^¾ |53 0 4において 分された画像データ （ベクトル） は画傲匕聽 3 0 6に送られ、 レジストレーション画 成部 3 0 5において生成されたレジストレーシ ョン画像 yとの間で、 同一のピクセル位置におけるピクセノ 直の を算出することによ り、 ¾ ^画像データ （式（3) の （y—A z ) に相当） «される。 画像比 » 3 0 6 において生成された ^画像データは畳込み積^ 3 0 7に与えられ、 P S Fデータ 部 3 0 3により与えられる P S Fデータとの間で畳込^ «分が行われる。 畳込^ 3 0 7は、 例えば式 ( 3) における画像変衡 Ϊ列 Aの転節列と散画像データを表す列べ タトルとを畳込み積分することにより、 式 （3) の || y— A z I を zの各要素で偏微分 したべクトルを^ る。

また、 画像蓄積部 3 0 2に蓄積された画像は正則化項演算部 3 0 8に与えられ、 式 (3) における正則化項 g ( z ) が求められると共に、正則化項 g ( z ) を zの各難で 偏微分したベタトルが求められる。 正則化項演算部 3 0 8は、 例えば、 画像蓄¾¾ 3 0 2 に された画像データに対して、 RGBから YC C_bの色変換処理を行い、 その YC _r 成分 0¾度成分と色^ ¾分） に対して周波数高域通過フィルタ （ラプラシアンフィル タ） を畳込^ ¾分したベクトルを求める。 そして、 このベクトルの二乗ノルム （長さの二 乗） を正則化項 g ( Z ) として、 g ( Z ) を Zの各要素で偏微分したベクトルを生成す る。 C _r、 C_b成分 （色^ ¾分） にラプラシアンフィルタを掛けると偽色の成分が抽出され るため、 正則化項 g ( z ) を最 /W匕することにより偽色の成分を除去することができる。 このため、式 （3) に正則化項 g ( z ) を含めることで 「"^に画像の色 ^^分は滑らか な変ィ匕である」 という画像の先験' ff¾を用いることとなり、 色差を抑制した高解 像 を安定して求めること力 S可能となる。

畳込^^ 3 0 7で^^された画像データ （ベタトノレ） 、 画像 ¾¾¾ 3 0 2に さ れた画像データ （ベクトル） 、 正則化項演算部 3 0 8で生成された画像データ （ベクト ノレ） は、 Si?画 ί胜成部 3 0 9に与えられる。 亓画ィ姓成部3 0 9では、 これらの画像 データ （べクトル） が式 ( 3) 、 式（4) に示す; 、 _α等の重み係数を乗じて加算され、 f された高角? i Mf像が される （式 (4) に対応） 。

それから、 麵歸姓成部 3 0 9にぉぃて魏された高解^§(像は、収束判 ¾¾ 3 1 0へ与えられ、収束判定が行われる。 この収束判定では、 にかかつ：^り返し演算回 数が一定回数よりも多くなった に高解 «®像の が収束したと判断しても良 いし、 また、 過去に Hifされた高角？^画像を講しておき、 の高角？ [維画像との差 分を取って、 その Hf¾が一定の値よりも少ないと判断された^に高角？ (鍵画像の: gff ί僕が収束したと判断しても良い。

収束判: £¾53 1 0におレ、て si?賤カ s収束したと判断された mこは、 魏された高解 鍵画像《ft終的な高角？ « ί像としてメモリ 1 9等に保存される。 赌 ί僕が収束して レヽないと判断された齢には、 疲された高角 ff嫉画像は画像^ ¾ 3 0 2へ与えられ、 次回の麵 ί僕に利用される。 この高角? (鍵画像は、 次回の: Effi僕のために畳込^ ¾分 部 3 0 4、正則化項演算部 3 0 8 えられる。 以上の処理を繰り返し、

3 0 9で高解鍵画像を魏していくことで、 良好な高解献画像を得ることができる。 なお本» ^態では、 高解 Μΐΐβ成処理 (S 1 0 6) において高角 画像を^^す るようにしているが、 例えは^解 «画{胜成処理 (S 1 0 6) の代わりに、 ランダムノ ィズを させるような加重平均による平滑化処理を行ってフレーム画像を高画質化する ようにしてもよレヽ。

本 »形態では、対応する画素を追従中に動きべクトルが被しない でも、仮の動 きべクトルを算出することによりあるフレーム画像から他のフレーム画像への動きべクト ル値を少な 、誤差で求めることができるため、 フレーム画像の位置合わせや高解 ¾®像 の 等を高精度に行うこと力 S可能となる。

(難形態 2)

図 2 3は、 本発明の実施形態 2に係る動きべクトルネ ϋΕ«における補正方法を示した 図である。 なお、本¾形態に係る画譲蝶置の構成およひ面讓 ¾ ^去の内容は、 以 下に示す点を除いて 態 1に係る画像処 法およひ 置と同様であり、 異 なる部分にっレ、てのみ説明する。

本 ¾形態では、 ^形態 1の図 1 6 Cと同様に 画素が含まれるプロックの周辺ブ 口ックが持つ動きべクトルを重み付け平均することにより仮の動きべクトルを算出する が、 形態 1よりも の周辺プロックを用レ、ている。 図 2 3の例では、 中心の I NT R Aプロックの仮の動きべクトルを、 周辺ブロックの動きべクトル MV 1乃 SMV 2 4を 重み付け平均（式 ( 1 )参照） することにより算出する。

本»形態では、 周辺ブロックが持つ動きべクトルを いて仮の動きべクトルを算 出するため、 さらに精度の高レゝ仮の動きべクトルを求めることができる。 その他の効果に っレヽては»¾態 1に係る画 itM^f去およひ ϋίί^ί^置と同様である。 図 2 4は、 本発明の ^態 3に係る動きべクトル補正 βにおける補正方法を示した 図である。 なお、 本実施形態に係る画 置の構成および画像処 法の内容は、 以 下に示す点を除 Vヽて難形態 1に係る画 去およひ面»；艘置と同様であり、 異 なる部分にっレヽてのみ説明する。

図 2 4には、 フレーム選キ舰理 (S 1 0 3) とフレーム構造によって赚の追従ができ ない：^を示している。 図 2 4の例では、 右から 3番目の Bフレームが参照フレームで基 準フレームまで追 る際に、 注目している 画素力 S含まれるブロックが BACKWA RD符号化のため動きべクトルを持っているが、 この動きべクトル〖访から 1番目の Pフ レームへの動きベクトルである。 この；^、 一 から 1番目の Pフレームへ追従し、 次 に右から 4番目の Pフレームへと追 る方法が考えられる力 図 2 4の例の齢、 フレ ーム指定およびフレーム選 で右から 1番目の Ρフレームを使用できるフレーム （参 照フレーム） として選択していないため、 TOすることができない。

注目している右から 3番目の Bフレームの 画素力 S含まれるブロックの周辺ブロック には FORWARD, I NTER P O LATE, D I RE CTなどの符号化によるブロッ クがあり、 それらのブロックが持つ動きべクトルは、 右から 4番目の Pフレームへの動き べクトルである。 これらの動きべクトルを図 1 6 Cの第 2の補正方法によって βするこ とにより、 中心の BACKWARDIT^化の仮の動きべクトルを求めることができる。 本 形態では、 フレーム構 により画素の追従ができなレ、^でも周辺プロックが 持つ動きべクトルを用いて仮の動きべクトルを算出するため、 参照フレームから基準フレ ームへの動きべクトノ M直を少な 、誤差で求めることができる。 その他の効果については実 施形態 1に係る画 ί,¾^去およひ 置と同様である。

態 4)

図 2 5は、 本発明の «形態 4に係る動きべクトル補正処理における ffiE方法を示した 図である。 なお、 本実施形態に係る画像処理装置の構成および画 法の内容は、 以 下に示す点を除レ、て魏形態 1に係る画像処 ¾W去およひ面像処職置と同様であり、 異 なる部分にっレ、てのみ説明する。

図 2 5の例では、右から 1番目の参照フレームから歸フレームへ追 る力 右から 3番目の Iフレームにおいて I NTRAプロックとなるため、 動きべクトルが せず追 従を続けることができない。 このため、 まず図 1 6 B - 1 6 Dに示 1力ゝら第 3の補正 ^のいずれかの捕正方?去によって仮の動きべクトノレ MVを算出して、 この MVで追従を 続ける。 例えば図 1 6 Dの第 3の; !E^去を用 、る齡は、 図 2 5の MV 1と MV 2を重 み付け平均することにより仮の動きべクトル MVを求める。

そして MVで次のフレームに追従した後、 さらに 1フレーム分以上追従 （図 2 5の例で は 2フレーム分） を続けてから、 この 1フレーム分以上追従したときの動きベクトル （図 2 5 ©MV 3 , MV 4) を用いて仮の動きベクトル MVを する。 例えば本 ¾δ¾形態で は、 追従に使用した MV 1、 MV 2、 MV 3およひ 4を重み付け平均することで I N TRAプロックの仮の動きべクトル MVを少なくとも 1回以上: gffし、 その度に追従を繰 り返す。 この際、仮の動きべクトルを任意回 ¾ ffしてもよいし、 仮の動きべクトル MV 力 S収束するまで繰り返してもよい。

本難形態では、 第 1乃至第 3の補正雄のレヽ "f bかの 去によって仮の動きべク トルを算出し、 この仮の動きベクトルを用いて追従を続け、 さらに 1フレーム分以上追従 を続けてからこの 1フレーム分以上追従を続けたときの動きべクトルを用いて仮の動きべ クトルを ifするため、 さらに精度の高い仮の動きベクトルを求めることができる。 その 他の効果にっ 、ては » ^態 1に係、る i tM ^去およひ 置と同様である。

(¾®#H5)

図 2 6は、本発明の «形態 5に係る動きべクトル ¾E処理における補正方法を示した 図である。 なお、 本雄形態に係る画 ί狭雜置の構成およひ 去の内容は、 以 下に示す点を除いて霊形態 1に係る画 およひ Wft««と同様であり、 異 なる部分にっレヽてのみ説明する。

図 2 6の例では、右から 1番目の参照フレームから基準フレームへ追 る力 右から 3番目の Iフレームにおいて I NTR Aブロックとなるため、 動きべクトノレが &¾~f追 従を続けることができない。 このため、 まず図 1 6 Β— 1 6 Dに示 "T Iから第 3の ffi!E ^去のいずれかの ^ によって仮の動きべクトル MVを算出して、 この MVで追従を 続ける。 例えば図 1 6 Dの第 3 ¾E方法を用 、る # ^は、 図 2 5の MV 1と MV 2を重 み付け平均することにより仮の動きべクトノレ MVを求める。

そして MVで次のフレームに追従した後、 さらに 1フレーム分以上追従 (図 2 5の例で は 2フレーム分） を続けてから、 この 1フレーム分以上追従したときの動きベクトル （図 2 5の MV 3、 MV 4) を重み付け平均することにより、 仮の動きべクトル MVに対応す る逆方向の動きベクトル MV 5を算出する。 それから、 この逆方向の動きベクトル MV 5 を用レヽて右から 2番目の Pフレームから右から 3番目の Iフレームに逆向きに追従し、 逆 向きに追従した画素の位置が、 元の画素 （纖画素） の位置と一致したら上記の第 1から 第 3の ¾ΊΕ方法のい ¾かの概 去によって求めた MVを正式に仮の動きべクトルとし て追従を続ける。 元の画素の位置と一致しなけれほ ¾きべクトルなしとする。 本 形態では、追従を続けたときの動きべクトルを重み付け平均して »向の動きべ クトルを算出し、 この 向の動きべクトルで 向きに追従して元の画素と一致した：^ のみ仮の動きべクトルを追従に用いるため、 精度の高い仮の動きべクトルのみを用いて追 従を行うことができる。 その他の効果につ！/、ては無形態 1に係る画 i «^法およひ m

置と同様である。 図 2 7 A— 2 7 Cは、本発明の実施形態 6に係る動きべクトル補正処理における ¾E方 法を示した図である。 なお、 本 ^態に係る画 置の構成およひ の 内容は、 以下に示す点を除いて 形態 1に係る画 (狭賴去およひ U繞雜置と同様 であり、異なる部分についてのみ説明する。

図 2 7 A— 2 7 Cの例では、右から 1番目の参照フレームから基準フレームへ追 る 力 右から 3番目の Iフレームにおいて I NTRAブロックとなるため、動きべクトルが ¾ rf追従を続けることができなレ、。 このため、 まず図 1 6に示" 1力ら第 3の ¾E 方法の補正方法によって 3つの仮の動きべクトノレ MVを算出して、 それぞれの MVで追従 を続ける。 図 2 7 Aの例では、 図 1 6 Bの第 1の補正方法を用レ、仮の動きべクトルを 0と する。 また図 2 7 Bの例では、 図 1 6 Cの第 2の¾£ 去を用 、周辺プロックが持つ動き ベタトルを重み付け平均することにより仮の動きべクトル MVを算出する。 さらに図 2 7 Cの例では、 図 1 6 Dの第 3の ffiE^法を用レ、図 2 5の MV 1と MV 2を重み付け平均す ることにより仮の動きべクトル MVを求める。

そしてそれぞれの MVで次のフレームに追従した後、 さらに 1フレーム分以上追従 (図 2 5の例では 2フレーム分） を続けてから、 この 1フレーム分以上追従したときの動きべ クトルを重み付け平均することにより、仮の動きべクトル MVに対応する逆方向の動きべ クトル MV 5、 MV 9、 MV 1 3をそれぞれ算出する。 このとき、 図 2 7Aではさらに 1 フレーム分以上追従したときの MV 3と MV 4を、 図 2 7 Bで^！ 7と MV 8を、 図 2 7 Cでは MV 1 1と MV 1 2を重み付け平均することでそれぞれ MV 5、 MV 9、 MV 1 3を算出する。

それから、 この^向の動きベクトル MV 5、 MV 9、 MV 1 3を用いて右から 2番目 の Pフレームから右から 3番目の Iフレームに逆向きに追従し、 逆向きに追従した画素の 位置力 S、 元の画素 ^画素） の位置と一針る逆方向の動きベクトル MV 5、 MV 9、 MV 1 3を探し、一 る逆方向の動きべクトルが求められた MVを正式に仮の動きべク トルとして追従を続ける。 元の画素の位置と一 SrTる^向の動きべクトルがなければ、 動きベクトルなしとする。

本難形態では、 第 1乃至第 3の 3つの ¾E方法を用!/、て追従を続けたときの動きべク トルを重み付け平均して逆方向の動きべクトルを算出し、 3つの逆方向の動きべクトルで 逆向きに追従して元の画素と一致したものを正式な仮の動きべクトルとして追従に用いる ため、精度の高レ、仮の動きべクトルを邀尺して追従を行うことができる。 その他の効果に っレヽては ¾»さ態 1に係る画 去およひ H M^置と同様である。 図 2 8は、 本発明の雄形態 7に係る動きべクトル補正処理の内容を示すフローチヤ一 トである。 図 2 8に示す動きべクトル補正処理は、 実施形態 1の動きべクトル算出処理 (S 1 0 4、 図 2参照） における動きベクトル ¾E処理 （S 2 7、 図 7参照） として行わ れるものとする。 なお、 本^ S形態に係る画 職置の構成およひ HfWffi^去の内容 は、 以下に示す点を除レ ^x mm iに係る画 ί 賴去およひ τι »ι¾置と同様であ り、 異なる部分についてのみ説明する。 本 M? 態に係る動きべクトノレ補正麵では、 まず追従先の画素 （^画素に対応する 画素） 力 S含まれるフレームが GO P 設定に反したィントラ符号化フレームかどうかを 判定することでシーンチェンジ判定 （S 4 0 1 ) を行う。 このシーンチェンジ判定 （S 4 0 1 ) では、 MP EG等の符号化された動き '瞎艮付き動画像データに されているデー タに基づレヽて、 符号ィ を判定することでシーンチヱンジによるイントラ符号化フレー ムかどうかを判定し、 シーンチェンジによるイントラ符号化フレームの場合は動きべクト ルなし (S 4 1 0) とし、 シーンチェンジによるイントラ符号化フレームでない場合には S 4 0 2以下の処理で仮の動きべクトルを算出する。

シーンチェンジ判定 （S 4 0 1 ) において追従先の画素力 S含まれるフレームがシーンチ ヱンジによるィントラ符号化フレームでなレヽと判定された：^ こは、 動きべクトル ¾E種 別を判定 (S 4 0 2) し、 補正觀 IJごとに異なる仮の動きベクトルを算出する。 なおfcE は、 例えば使用者が入力により設定するようにしてもよく、 メーカーパラメーターな どで予め設定しておくようにしてもよい。

本難形態では ¾1形態 1と同様に捕正衝 Uが 0の:^、 仮の動きべクトルを 0とする (S 4 0 3) 。 補正 が 1の ±J ^は、 仮の動きべクトルを纖画素の周辺プロックカ持 つ動きベクトルを重み付け平均することにより算出する （S 4 0 4) 。 ¾ES¾1Jが 2の場 合は、 仮の動きべクトルを文豫画素の周辺画素力 S持つ動きべクトルを重み付け平均するこ とにより算出する （S 4 0 5) 。 ¾E働 IJが 3の^^は、 仮の動きベクトルを参照フレー ムの画素から媳画素までの動きべクトル値を算出するのに用いられた動きべクトルを重 み付け平均することにより算出する （S 4 0 6) 。 そして S 4 0 3乃至 S 4 0 6で算出さ れた仮の動きべクトルによって追従を行い、 追従先である 画素に対応する画素とその 画素力 S属するフレームを探索 (S 4 0 7) し、 交橡画素と対応する画素が画像領 かど うかを判定 (S 4 0 8 ) する。 文檢画素と対応する画素が画像領域内なら仮の動きべタト ルを動きべクトルとし （S 4 0 9 ) 、 画像領：^なら動きべクトル値なし （S 4 1 0) と する。

本難形態では、 シーンチェンジ判定 (S 4 0 1 ) を行い、 追従先の画素力 S含まれるフ レームがシーンチェンジによるィントラ符号化フレームかどう力を判定するため、 追従が できなレヽシーンチェン、 のフレームにっレ、て仮の動きべクトルの算出を省略することが でき、 シーンチェンジによるイントラ符号化フレームでなレ、^には仮の動きべクトルを 用いて追従を行うこと力 S可肯 となる。 その他の効果については 形態 1に係る画 理 ^去およひ 置と同様である。

なお、 本発明は上記した実«態に限定されるものではなく、 その ¾ ^的思想の範囲内 でなしうるさまざまな変更、 改良;^含まれることは言うまでもない。 例えば、 上記の 形態では画 置 1の位置合わせ処理部 1 6と高角科 itpfi姓成部 1 8を別々に設け ているがこれらを一体としてもよく、 また画»；3¾置 1の構成は図 1 ί すものに限定 されなレ、。 さらに上記の^ ¾形態では、 mi ^ ^ 1 8におレ、て織 維理によ る高角? MSf ^^処理 (S 1 0 6 ) を行っているが、超角 |{»理以外の高解像度化処理 を行うようこしてもよ ヽ。

また、 した 形態の説明では、 画 i ^O^置が行う処理としてハードウェアによ る処理を疆としていたが、 このような構成に限定される必要はなレ、。 例えば、別途ソフ トウエアにて処理する構成も可能である。

この ^ 画 «職置は、 C PU, RAM等の主記 置、 上記纏の全て或いは一 部を^ sさせるためのプログラム力 s記憶されたコンピュータ読取り可畫な記 '隠某体を備え る。 ここでは、 このプログラムを画像処理プログラムと呼ぶ。 そして、 ？！；が上言己記憶 媒体に記憶されている爾繞理プログラムを読み出して、 '[f¾の加工 .演算処理を菊 ることにより、 上記歸 置と同様の鍵を難させる。

ここで、 コンピュータ読み取り可能な記録媒体とは、磁気ディスク、 光磁気ディスク、 CD-ROM, DVD-ROM, ^ ^体メモリ等をいう。 また、 この画像処理プログラム を通信回線によってコンピュータに配信し、 この配信を受けたコンピュータが当該画» 理プログラムを実 ί亍するようにしても良レ、。

顕は 2007年 7月 19日に Θ本国特許庁に出願された特願 2007 - 188368に基づく優先権 を主張し、 これらの出願の全ての内容は参照により本明細書に組み込まれる。

Claims

請 求 の 範 囲

1 . 符号化された動画像データに言 されているフレーム画像間の動きべクトルを利用す る画 itM^法であつて、

嫌 夺号化された動画像データを複号化して得られるフレーム画像の中から複数のフレ ーム画像を «するフレーム 尺ステップと、

嫌 号化された動画像データに識された動きべクトルを用いて 1または複数のフレ ーム画像間を画素ごとに追 ることにより、 till己フレーム選択ステップにおいて邀尺さ れた複数のフレーム画像の中のあるフレーム画像から他のフレーム画像への動きべクトル 値を算出する動きべクトル算出ステップと、

廳己動きべクトル算出ステップにおいて、 途中まで追従した画素力 s含まれるブロックの 符^ ί匕タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動 きべクトルが雜しないときに、 謙 中まで iii従した画素から嫌己追従先の画素への仮 の動きべクトルを算出する動きべクトル ¾Eステップと、

を有する画 i W^?去。

2. 嫌己動きベクトル算出ステップにおいて、 婦己動画像データに識されているフレー ム画像間の動きべクトルを方向を考慮して累勸 B算することにより、 嫌己あるフレーム画 像から編己他のフレーム画像への動きべクトル値を画素ごとに算出する請求項 1に記載の

3. it己フレーム選択ステップにおいて、 ffit己複数のフレーム画像として基準フレームお よび参照フレームを遨尺し、 動きべクトル算出ステップにおいて、 ttilB参照フレーム から ΙίίΙΕ»フレームへの動きべクトル値を画素ごとに算出する請求項 2に記載の画像処

4. ΐ !己動きベクトル算出ステップで算出された動きベクトル値に基づいて、 ttjta ^フ レームと tfjf己参照フレームの位置合わせを行う位置合わせステップを有する請求項 3に記 載の画 i « ^去。

5 · lift己位置合わせステップにぉレ、て位置合わせを行つた tifta¾ ^フレームと tin己参照フ レームを用 、て、 謂己フレーム画像よりも解體の高レ、高角 fi tei像を する高角？ i s 画 i «ステップを有する請求項 4に記載の画 i M^?去。

6. 灘己動きベクトル補正ステップにおいて、 嫌己追従可能な動きベクトルが雜しない ときに、 tiilS 中まで追従した画素から謂己追従先の画素への仮の動きべクトルを 0とす る請求項 1に記載の画 去。

7. 前記動きベクトル補正ステップにおいて、 ttilB追従可能な動きベクトルが存在しない ときに、 ΙίΠΞ¾中まで追従した画素から tfit己追従先の画素への仮の動きべクトルを、 謙己

動きべクトルを重み付け平均することにより算出する請求項 1に記載の画 «¾¾ο

8. tiff己動きベクトル梳 Eステップにおレ、て、 tfjf己追従可能な動きベクトルが存在しない ときに、 f己途中まで追従した画素から lift己追従先の画素への仮の動きべクトルを、 ΙίίΙΕ あるフレーム画像の画素から廳 中まで追従した画素までの動きべクトル値を算出する のに用 、られた動きべクトルを重み付け平均することにより算出する請求項 1に記載の画 舰¾¾¾。

9. ΙϋΐΒ動きべクトル ステップにおいて、 ilt己追従可能な動きベクトルが しない ときに、 ItJlS 中まで追従した画素から ttif己追従先の画素への仮の動きベクトルを、 0と する第 1の補正方法、 ΙϋΙ己途中まで追従した画素の周辺プロックまたは前記途中まで追従 した画素の周辺画素力 s持つ動きべクトルを重み付け平均する第 2の ¾ΐΕ方法、 およひ mt己 あるフレーム画像の画素から tfita^中まで追従した画素までの動きべクトル値を算出する のに用 、られた動きべクトルを重み付け平均する第 3の補正方法のレ、~mかの補正; w去に よって仮の動きべクトルを算出し、 この仮の動きべクトルを用いて追従を続け、

さらに 1フレーム分以上追従を続けてからこの 1フレーム分以上追従を続けたときの動 きべクトルを用 ヽて ttft己仮の動きべクトルを HffTることを少なくとも 1回以上橾り返す 請求項 1

1 0 · 膽己動きベクトル補正ステップにおいて、 灘己追従可能な動きベクトルが被しな いときに、 tiriB¾中まで追従した画素から嫌己追従先の画素への仮の動きべクトルを、 0 とする第 1の ¾E W去、 tifts 中まで追従した画素の周辺プロックまたは膽己途中まで追 従した画素の周辺画素力 S持つ動きべクトルを重み付け平均する第 2の 去、 およひ Wi 記あるフレーム画像の画素から tfJtSt中まで追従した画素までの動きべクトル値を算出す るのに用レ、られた動きべクトルを重み付け平均する第 3の ϋΙΕ^ί去のレ、ずれかの補正^去 によって仮の動きべクトルを算出し、 この仮の動きべクトルを用いて追従を続け、 さらに 1フレーム分以上追従を続けてからこの 1フレーム分以上追従を続けたときの動 きべクトルを重み付け平均することにより鍵己仮の動きべクトルに対応するフレーム画像 間の»向の動きべクトルを算出し、 この逆方向の動きべクトルを用いて ttit己追従先の画 素から肅5¾中まで追従した画素へ逆向きに追従して、 逆向きに追従した画素の位置が前 記途中まで追従した画素の位置と一致した^ こ、 廳己第 1乃至第 3の;！ IE方法のレヽずれ かによつて算出した仮の動きべクトルを tiilSi中まで追従した画素から tiff己追従先の画素 への追従に正式に删する請求項 1に記載の画«¾^¾0

1 1. 廳己動きべクトル補正ステップにおいて、 膽己追従可能な動きべクトルが しな いときに、 I3¾中まで追従した画素から觸己追従先の画素への仮の動きベクトルを、 0 とする第 1の補正方法、 tfite 中まで追従した画素の周辺プロックまたは ΐϋΐΕ^中まで追 従した画素の周辺画素が持つ動きべクトルを重み付け平均する第 2の ¾ΊΕ^去、 およひ 記あるフレーム画像の画素から！&？ 中まで追従した画素までの動きべクトル値を算出す るのに用！/、られた動きべクトルを重み付け平均する第 3の捕正方法のそれぞれの補 法 によって仮の動きべクトルを算出し、 これらの仮の動きべクトルを用いて追従を続け、 さらに 1フレーム分以上追従を続けてからこの 1フレーム分以上追従を続けたときの動 きべクトルを重み付け平均することにより嫌己仮の動きべクトルに対応するフレーム画像 間の » "向の動きべクトルを算出し、 この逆方向の動きべクトルを用いて ΐϋΐ己追従先の画 素から ΙϋϊΒ^中まで追従した画素へ逆向きに追従して、 逆向きに追従した画素の位置が前 記途中まで追従した画素の位置と一致した:！^に、 tiff己第 1乃至第 3のそれぞれの補正方 法によって算出した仮の動きべクトルのうち、 前記逆向きに追従した画素の位置が前言 3¾ 中まで追従した画素の位置と一 "るものを、 tfilS途中まで追従した画素から tfilE追従先 の画素への追従に正式に^^する請求項 1に記載の画ィ^»^去。

1 2. 前記動きべクトル補正ステップにおいて、 lilt己追従可能な動きべクトノレが存在しな レ、ときに、 tiit¾ 号化された動画像データに言纖されているデータに基づいて、途中まで 追従した画素；^含まれるプロックがシーンチェンジによるィントラ符号化フレーム内のィ ントラ符号ィ匕ブ口ックカどうかを判定する符号ィ 胖定を行レ \ 編 中まで 従した 画素力 S含まれるプロックがシーンチヱンジによるィントラ符号化フレーム内のィントラ符 号化ブロックでなレ、; ^に、 肅己仮の動きべクトルを算出する請求項 1に記載の画 i « 紘

1 3. 符号化された動画像データに言 Ξ ^されているフレーム画像間の動きべクトルを利用 する画 ί»¾¾置であって、

tfn¾ 号化された動画像データを復号化して得られるフレーム画像の中から基準フレー ムおよび参照フレームを選択するフレーム 部と、

ΙίίΐΒ^号化された動画像データに記録された動きべクトルを方向を考慮して累働ロ算す ることで 1または複数のフレーム画像間を画素ごとに追 ることにより、漏5 照フレ ームから tfil5»フレームへの動きべクト / 直を算出する動きべクトル算出部と、 を備え、

肅己動きべクトル算出部は、途中まで追従した画素力 S含まれるプロックの符号化タイプ によりこの途中まで追従した画素に対応する追従先の画素への追従可能な動きべクトルが ¾Εしなレ、ときに、 ！&！ 中まで追従した画素から tiff己追従先の画素への仮の動きべクト ルを算出する動きべクトル捕正部を有する画

1 4. 符号化された動画像データに言凝されているフレーム画像間の動きべクトルを利用 する画 理をコンピュータに 亍させるコンピュータプログラムを記録したコンビユー タ読み取り可能な 媒体であって、

前記コンピュータプログラムは、

編 夺号化された動画像データを復号化して得られるフレーム画像の中から複数のフレ ーム画像を還尺するフレーム 尺ステップと、

t&¾号化された動画像データに言藤された動きべクトルを用いて 1または複数のフレ ーム画像間を画素ごとに追 ¾1 "ることにより、 儘己フレーム選択ステップにおレ、て邀尺さ れた複数のフレーム画像の中のあるフレーム画像から他のフレーム画像への動きべクトル 値を算出する動きべクトル算出ステップと、

lift己動きべクトル算出ステップにおいて、 途中まで追従した画素力 s含まれるブロックの 符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動 きべクトルが しないときに、 ΙϋΐΒ^中まで追従した画素から lift己追従先の画素への仮 の動きべクトルを算出する動きべクトル補正ステップと、

を liftsコンピュータに^させるコンピュータ読み取り可能な 媒体。