JPH10112863A - 動き被写体情報抽出方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 動き被写体と無関係な動きベクトルを含む映
像圧縮符号化データから正しい動き被写体情報を抽出で
きる動き被写体情報抽出方法を提供する。 【解決手段】 動き予測方式を用いた圧縮符号化方式に
よって符号化された映像圧縮符号化データに含まれる動
きベクトルから動き被写体情報を算出する動き被写体情
報抽出方法において、前記映像圧縮符号化データに含ま
れる動きベクトルの中から動き被写体とは無関係な動き
ベクトルをノイズとして除去する第１のステップと、前
記第１のステップで無関係な動きベクトルが除去された
動きベクトルから動き被写体に相当する動き被写体領域
を抽出する第２のステップと、前記第２のステップで抽
出された動き被写体領域から動き被写体情報を抽出する
第３のステップとを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き被写体情報抽
出方法及び装置に係わり、特に、動き被写体と無関係な
動きベクトルを含む映像圧縮符号化データから正しい動
き被写体情報を抽出するための動き被写体情報抽出方法
及び装置に関する。

【０００２】

【従来の技術】映像データはデータ量が膨大であり、そ
の内容を知るためには映像を時間順に全て見ていくしか
なかった。

【０００３】映像をある基準に基づいて分割し、それを
インデクスとして用いることにより、映像を飛ばし見し
たり、内容を大雑把に把握するために役立つ。こうした
映像分割の際に、映像をカット点と呼ばれるシーンの変
わり目で分割する方法が、下記公報（イ）に記載されて
いる。

【０００４】また、同一シーン内でさらに映像を細かく
分割するために、カメラワーク等によって映像の内容が
変化することを利用し、カメラワーク情報をインデクス
として用い、映像を分割する方法が、下記文献（ロ）に
記載されている。

【０００５】（イ）特開平５−３７８５３号「動画のカ
ット自動分割方法」 （ロ）「時系列オプティカルフローを用いた映像単位の
提案」（画像符号化シンポジウムＰＣＳＪ９１） 一方、映像は大量の画像データ列を持っており、それら
を扱いやすくするために多くの映像圧縮符号化方法が提
案されている。その中でも、動き予測を含む符号化方法
であるＭＰＥＧ方式は代表的な方法である。

【０００６】ＭＰＥＧ方式で符号化された画像データ列
における各予測符号化画像データでは各画像をマクロブ
ロック（ＭＢ）と呼ばれる部分領域に分割し、領域毎に
符号化を行う。

【０００７】その際に３種類の符号化方式を選択する。
一つはＩｎｔｒａとよばれる画像内符号化方式であり、
一つはＭＣ Ｃｏｄｅｄとよばれる動きベクトルを用い
た予測符号化方式であり、一つはＮｏ ＭＣ Ｃｏｄｅ
ｄとよばれる動きベクトルを用いない予測符号化方式で
ある。

【０００８】これらの符号化方式の選択は、以下の法則
によって行われる。

【０００９】ｉｆ（ｖａｒ＜ｖｍｃ）ＭＢＴｙｐｅ＝”
Ｉｎｔｒａ” ｅｌｓｅ ｉｆ（ｖ０＜α＊ｖｍｃ）ＭＢＴｙｐｅ＝”
Ｎｏ ＭＣ Ｃｏｄｅｄ” ｅｌｓｅ ＭＢＴｙｐｅ＝”ＭＣ Ｃｏｄｅｄ” ここで、ｖａｒはマクロブロック（ＭＢ）の画素値の分
散、ｖｍｃは動き予測を行った場合のフレーム間の画素
値の差の分散、ｖ０は動き予測を用いない場合のフレー
ム間の画素値の分散であり、αはバイアス値で１．２５
程度の値が用いられる。これらの選択は分散が小さい方
が符号化効率が向上することからこのような選択を行っ
ている。

【００１０】カメラワークや動き被写体の存在によって
画像内容が変化している場合、前記した符号化方式の選
択によって、カメラワークや動き被写体等の動き情報を
反映する動きベクトルを用いた予測符号化が行われる。

【００１１】そして、カメラワークが存在する原画像デ
ータ列からカメラワーク情報を抽出する場合、従来は、
一度復号化を行った後に、カメラワーク情報を抽出して
おり、コストのかかる計算処理を必要としていた。

【００１２】そのため、符号化情報に含まれる動きベク
トル情報を用いて、カメラワーク情報などの動き情報を
抽出する方法が、下記文献（ハ）または（ニ）に記載さ
れている。

【００１３】（ハ）「ＭＰＥＧデータを用いた動領域の
抽出」（信学技報 IE96-25 P.69-） （ニ）「Video Parsing Using Compressed Data」（SPI
E Vol.2182 Image and Video Processing II 1994）

【００１４】

【発明が解決しようとする課題】前記文献（ハ）または
（ニ）に記載されている方法では、画像データは理想的
な環境下において符号化され、抽出された動きベクトル
を対象に動き情報を抽出している。

【００１５】しかしながら、実際の画像においてはノイ
ズあるいは画面のちらつきが生じる。このため、実際に
カメラで撮影されたアナログ映像信号を符号化した映像
データを対象とした場合、画面のちらつきあるいはノイ
ズ等によって、動き情報とは無関係な動きベクトル（以
下、ノイズ動きベクトルと称す。）が多数出現する。

【００１６】特に、こうした動き情報を抽出する際の妨
げとなるようなノイズ動きベクトルは、明度・輝度が一
様で数ブロックに渡る広い領域が存在する場合に多数出
現する。

【００１７】即ち、マクロブロック（ＭＢ）に様々な明
度や色成分が含まれている場合、各マクロブロック（Ｍ
Ｂ）内で、様々な画素値が分布しており、位置情報によ
る予測の拘束によって、画面のちらつきあるいはノイズ
によりあまり大きな影響はうけず、ほぼ理想的な環境で
動き予測が行われ、動きベクトルを得ることができる。

【００１８】一方、数個のマクロブロック（ＭＢ）に渡
り、広く明度や色変化の少ない一様な領域が画像内に存
在する場合、理想的には静止状態では動きベクトル０、
領域が相対的に移動している状態では領域内部で動きベ
クトル０、輪郭部分で動きを反映した動きベクトルが観
察されるはずである。

【００１９】しかしながら、元々が明度、色ともに変化
のない一様な領域であるため、現実に符号化を行うと、
少しの画面のちらつきあるいはノイズが存在するだけ
で、フレーム間差分の画素値の分散が大きくなってしま
う。

【００２０】そのため、動きベクトルは０とならず他の
値を持つ。さらに、画面のちらつきあるいはノイズはラ
ンダムに出現するため、この影響をうけて動きベクトル
もランダムに出現する。即ち、ノイズ動きベクトルが出
現する。

【００２１】このように、画像データの内容が静止して
いる場合、理想的には０ベクトルしか出現しないはずで
あるが、一様な領域が存在すると実際の画像では、０ベ
クトルだはなくランダムなノイズ動きベクトルが出現す
る。

【００２２】理想的な環境下での動き被写体が存在する
場合から、カメラワークが存在する場合、さらにはノイ
ズが存在する場合の動きベクトルの分布の一例を図１４
に示す。

【００２３】同図（ａ）は、理想的な環境下で、原画像
に動き被写体が存在する場合、同図（ｂ）は、理想的な
環境下で、原画像に動き被写体が存在し、かつ、カメラ
ワーク（パン）が存在する場合、同図（ｃ）は、ノイズ
が存在する環境下で、原画像に動き被写体が存在する場
合、同図（ｄ）は、ノイズが存在する環境下で、原画像
に動き被写体が存在し、かつ、カメラワーク（パン）が
存在する場合を示している。

【００２４】前記文献（ロ）に記載されている分割方法
によれば、同一シーン内でさらに映像を細かく分割する
ことが可能である。しかしながら、カメラワーク情報よ
りも、映像内容に踏み込んだ情報として、動きベクトル
から動き被写体情報を抽出できれば、より映像を細かく
分割するためのインデクスとして有効である。

【００２５】そして、動きベクトルから動き被写体情報
を抽出する場合には、カメラワークを反映する動きベク
トル（以下、カメラワーク動きベクトルと称す。）も抽
出する処理が必要である。しかしながら、前記したよう
なノイズ動きベクトルはランダムな動きベクトルである
ため、動きベクトルから動き被写体情報を抽出する場合
に、場合によっては、カメラワーク動きベクトルを抽出
できなかったり、あるいは、このノイズ動きベクトルを
一個の動き被写体領域であるとして抽出しまうことがあ
る。

【００２６】そのため、動きベクトルから動き被写体領
域を抽出するためには、ノイズ動きベクトルを除去し、
当該ノイズ成分が除去された修正動きベクトルから、動
き被写体領域を分離し、動き被写体情報を抽出する処理
が必要となる。

【００２７】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、動き被
写体情報抽出方法及び装置において、動き被写体と無関
係な動きベクトルを含む映像圧縮符号化データから正し
い動き被写体情報を抽出することが可能となる技術を提
供することにある。

【００２８】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００２９】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。

【００３０】動き予測方式を用いた圧縮符号化方式によ
って符号化された映像圧縮符号化データに含まれる動き
ベクトルから動き被写体情報を算出する動き被写体情報
抽出方法において、前記映像圧縮符号化データに含まれ
る動きベクトルの中から動き被写体とは無関係な動きベ
クトルをノイズとして除去する第１のステップと、前記
第１のステップで無関係な動きベクトルが除去された動
きベクトルから動き被写体に相当する動き被写体領域を
抽出する第２のステップと、前記第２のステップで抽出
された動き被写体領域から動き被写体情報を抽出する第
３のステップとを具備する。

【００３１】前記第１のステップにおいて、動き被写体
領域と無関係なカメラワーク情報を予め抽出し、カメラ
ワークを反映する動きベクトルを除去する。

【００３２】前記第２にステップにおいて、時間あるい
は空間的に隣接している動きベクトルと類似した特性を
示す動きベクトルの集合を動き被写体領域として分離抽
出する。

【００３３】動き予測方式を用いた圧縮符号化方式によ
って符号化された映像圧縮符号化データに含まれる動き
ベクトルから動き被写体情報を算出する動き被写体情報
抽出装置において、前記映像圧縮符号化データに含まれ
る動きベクトルから動き被写体とは無関係な動きベクト
ルをノイズとして除去する前処理部と、前記前処理部で
動き被写体とは無関係な動きベクトルが除去された動き
ベクトルから動き被写体に相当する動き被写体領域を抽
出する動き被写体領域分離部と、前記動き被写体領域分
離部で抽出された動き被写体領域から動き被写体情報を
抽出する動き被写体情報抽出部とを具備する。

【００３４】前処理部は、動き被写体領域と無関係なカ
メラワーク情報を予め抽出し、カメラワークを反映する
動きベクトルを除去するカメラワーク除去部を備える。

【００３５】前記動き被写体領域分離部は、時間あるい
は空間的に隣接している動きベクトルと類似した特性を
示す動きベクトルの集合を動き被写体領域として分離抽
出する。

【００３６】前記時間あるいは空間的に隣接している動
きベクトルと類似した特性を示す動きベクトルの集合を
動き被写体領域として分離抽出する際に、動きベクトル
の特徴量を少なくとも１つ算出し、隣接している２つの
動きベクトルの間で特徴量を比較し、その比較結果が所
定の値を満足する場合に、前記隣接している２つの動き
ベクトルは類似していると判定する。

【００３７】前記手段によれば、動き被写体とは無関係
な動きベクトルを含む動きベクトル分布から、動き被写
体とは無関係な動きベクトルを除去し、無関係な動きベ
クトルが除去された動きベクトルから正しい動き被写体
を反映する動きベクトルを選択するようにしたので、理
想的な環境下でなくても、正しい動き被写体情報を抽出
することができ、これにより原画像を復号化しなくて
も、原画像の内容を推測することが可能となる。

【００３８】前記手段によれば、予めカメラワークを反
映する動きベクトルを除去し、カメラワークを反映する
動きベクトルが除去された動きベクトルから正しい動き
被写体を反映する動きベクトルを選択するようにしたの
で、理想的な環境下でなくても、正しい動き被写体情報
を抽出することができる。

【００３９】前記手段によれば、時間あるいは空間的に
隣接している動きベクトルと類似した特性を示す動きベ
クトルの集合を動き被写体領域として分離抽出するよう
にしたので、動き被写体領域を正確に分離することが可
能となる。

【００４０】

【発明の実施の形態】以下、図面を参照して本発明の実
施例を詳細に説明する。

【００４１】なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。

【００４２】図１は、本発明の一発明の実施の形態であ
る動き被写体情報抽出方法を説明するための図である。

【００４３】本実施の形態の動き被写体情報抽出方法
は、入力ＭＰＥＧデータ列１０から動きベクトルを有す
るフレーム間予測符号化画像データ列１のみを対象とす
る。これらのフレーム間予測符号化画像データ列１か
ら、前処理段階２で、動き被写体ベクトルの抽出を容易
にするために、ノイズ動きベクトル、カメラワーク動き
ベクトルを除去し、修正動きベクトル３を抽出する。

【００４４】次に、動き被写体領域分離段階４で、この
修正動きベクトル３から動き被写体に係わる動きベクト
ルである動き被写体領域ベクトル５を分離する。

【００４５】次に、動き被写体情報抽出段階６で、この
動き被写体領域ベクトル５から動き被写体情報（動き被
写体領域の大きさ、動きベクトルの大きさの平均と最大
最小等）を抽出する。

【００４６】図２は、本発明の一発明の実施の形態であ
る動き被写体情報抽出装置を備える映像再生装置の概略
構成を示すブロック図である。

【００４７】図２に示す映像再生装置において、良く知
られているように、入力ＭＰＥＧデータ列２０は、可変
長復号器６０、逆走査部６１、逆量子化部６２、逆ＤＣ
Ｔ部６３、加算器６４および動き補償部６５により、可
変長復号化、逆量子化、逆ＤＣＴ化、動き補償の処理を
経て、再生（復号化）画像データ列６６となる。この再
生（復号化）画像データ列６６は再生表示部６７でディ
スプレイ上に表示される。

【００４８】なお、図２に示す映像再生装置において、
入力される符号化データは動き予測符号化方式を含む圧
縮符号化情報データであればよく、ＭＰＥＧ１及びＭＰ
ＥＧ２のどちらでも、またＨ２６１やそれ以外の方式で
符号化されていても構わない。また、ＭＰＥＧにおける
データフォーマットはフレーム間予測符号化でも、フィ
ールド間予測符号化のどちらでもよい。さらに、動き予
測方式は順方向、双方向、逆方向のいずれでもよく、動
き予測ベクトルを有していればよい。

【００４９】図２に示す映像再生装置において、入力Ｍ
ＰＥＧデータ２０は、ＩｎｔｒａＭＢ（マクロブロッ
ク）だけで構成されるＩ−ｐｉｃｔｕｒｅが１フレー
ム、フレーム間順方向動き予測符号化方式を採用してい
るＰ−ｐｉｃｔｕｒｅが１４フレームからなる１５フレ
ームを一つの単位とし、これらを１つのＧＯＰ（Ｇｒｏ
ｕｐ ｏｆ Ｐｉｃｔｕｒｅ）として構成する「ＩＰＰ
ＰＰＰＰＰＰＰＰＰＰＰＰＩＰＰＰＰＰＰＰＰＰＰＰＰ
ＰＰ」というデータフォーマットとする。

【００５０】本実施の形態の動き被写体情報抽出装置で
は、始めに、ショット単位分類部２１で、逆量子化部６
２から出力されるＤＣＴ係数から、連続する同一カメラ
から撮影された映像ブロックであるショット単位（Ｓ
t，Ｓt+1，Ｓt+2，…）２２に分類する。

【００５１】このショット単位分類部２１で、ショット
単位２２に分類する手法としては、例えば、「ＭＰＥＧ
２映像からカット点検出法」（新倉、谷口、阿久津、浜
田、１９９６年電子情報通信学会秋期情報通信ソサィエ
ティ大会）に記載されているような公知の手法を用いる
ことができる。

【００５２】次に、符号化情報解析部２３で、各ショッ
ト単位２２毎に、各ショットに含まれるフレーム間予測
符号化画像データ列（Ｐt，Ｐt+1，Ｐt+2，…）２４を
抽出する。即ち、本実施の形態の動き被写体情報抽出装
置では、各ショットに含まれるフレーム間予測符号化画
像データ列２４のみを処理の対象とする。

【００５３】次に、ノイズベクトル除去部２５で、各シ
ョットに含まれるフレーム間予測符号化画像データ列２
４からノイズ動きベクトルを除去し、修正動きベクトル
（ＦＰt，ＦＰt+1，ＦＰt+2，…）２６を得る。このノ
イズベクトル除去部２５については後述する。

【００５４】次に、カメラワーク除去部２７で、この修
正動きベクトル（ＦＰt，ＦＰt+1，ＦＰt+2，…）２６
からカメラワークを算出し、カメラワーク動きベクトル
を除去し、再修正動きベクトル（Ｆ2 Ｐt，Ｆ2 Ｐt+1，
Ｆ2 Ｐt+2，…）２８を得る。このカメラワーク除去部
２７については後述する。

【００５５】なお、本実施の形態では、カメラワークは
パン、チルト、トラック等のカメラワークのみを対象と
し、焦点距離が変化するズームやドリー等のカメラワー
クは対象としていない。

【００５６】次に、動き被写体領域分離部２９で、動き
ベクトルからカメラワーク動きベクトルおよびノイズ動
きベクトルが除去された再修正動きベクトル（Ｆ2 Ｐ
t，Ｆ2Ｐt+1，Ｆ2 Ｐt+2，…）２８から、類似した動き
ベクトルが集中している領域を求め、動き被写体領域
（Ｐt｛Ｖ1，Ｖ2，…｝）３０を分離する。この動き被
写体領域分離部２９については後述する。

【００５７】次に、動き被写体情報抽出部３１で、得ら
れた動き被写体領域（Ｐt｛Ｖ1，Ｖ2，…｝）３０に基
づき、動き被写体情報（Ｐt｛ＩＶ1，ＩＶ2，…｝）３
２を抽出する。また、この動き被写体情報（Ｐt｛ＩＶ
1，ＩＶ2，…｝）３２から特徴量を算出し、インデクス
として利用しやすくする。

【００５８】この動き被写体情報（Ｐt｛ＩＶ1，ＩＶ
2，…｝）３２から算出される特徴量としては、例え
ば、動き被写体領域の個数、動き被写体領域の大きさ、
動きベクトルの密度、動きベクトルの大きさの平均と最
大最小、平均動きベクトルの方向および大きさ、その動
き被写体領域が時間とともにどのような変化を行ったか
等の情報を算出する。

【００５９】また、ショット単位分類部２１からのショ
ット単位（Ｓt，Ｓt+1，Ｓt+2，…）２２および動き被
写体情報抽出部３１からの動き被写体情報は、再生表示
部６７に入力され、これにより、再生表示部６７におい
て、再生（復号化）画像データ列６６を、ショット単位
あるいは動き被写体単位で表示することができる。

【００６０】以下、本実施の形態のノイズベクトル除去
部２５について詳細に説明する。

【００６１】図３は、右から左へパンニングを行ってい
るカメラにより撮影された画像列の中の１つの画像を示
す模式図であり、また、図４は、図３に示す原画像を予
測符号化した時の動きベクトルの分布を示す図である。

【００６２】図４において、円で囲まれた空の領域など
一様な領域に発生している動きベクトルは、パンニング
あるいは動き被写体とは無関係なベクトルである。本実
施の形態では、このようなカメラワークあるいは動き被
写体を反映しない動きベクトルをノイズとして扱う。

【００６３】図４から明らかなように、カメラワークあ
るいは動き被写体を反映しない動きベクトル（ノイズ動
きベクトル）は、明度や色が一様で変化がない無地の領
域が複数のマクロブロック（ＭＢ）に渡って存在するよ
うな場合に、画像内のちらつき、信号の乱れ等によって
発生する。

【００６４】即ち、数個のマクロブロック（ＭＢ）に渡
る広く明度や色変化の少ない一様な領域が画像内に存在
する場合、理想的には０ベクトルしか抽出されないはず
だが、動き予測符号化時における動きベクトル算出時
に、動き予測の画素差分の分散が最も小さくなるような
値を選出しているため、明度や色が一様な領域はノイズ
や画面のちらつきの影響を受けやすく、これにより、ノ
イズ動きベクトルが発生する。

【００６５】このノイズ動きベクトルのうち、動き被写
体情報を算出する際に障害となるノイズ動きベクトル
は、動きベクトルのサイズが大きく、かつ、時間および
空間的に類似したベクトルが存在しない場合である。

【００６６】なお、動きベクトル同士が類似していると
は、例えば、そのサイズ比が２倍以下であり、その角度
差が１０度以内であるような場合、これを類似している
として取り扱う。

【００６７】図５は、本実施の形態のノイズベクトル除
去部２５の処理手順の一例を示すフローチャートであ
る。

【００６８】以下、本実施の形態のノイズベクトル除去
部２５の処理手順の一例について、図５を用いて詳細に
説明する。

【００６９】なお、図５に示す処理手順は、各動きベク
トルについて、空間的に隣接する動きベクトルの中で類
似した動きベクトルが存在しない場合に、この動きベク
トルをノイズ動きベクトルと判定する処理手順である。

【００７０】始めに、変数（ｉ）を０とし（ステップ１
００）、注目している動きベクトルに対して、空間的に
隣接している動きベクトルが存在するか否かを判断する
（ステップ１０１）。

【００７１】即ち、ステップ１０１で、注目している動
きベクトルのサイズがある程度大きく、また、注目して
いる動きベクトルと空間的に隣接している動きベクトル
の中で、注目している動きベクトルと類似しているベク
トルが存在しない場合には、この注目している動きベク
トルはノイズ動きベクトルと判断する。

【００７２】次に、ステップ１０１で、注目している動
きベクトルに対して、空間的に隣接している動きベクト
ルが存在する場合に、当該動きベクトルの値を無関係な
値（ＮＵＬＬ）に変更する（ステップ１０２）。

【００７３】即ち、ステップ１０２では、注目している
動きベクトルがノイズ動きベクトルと判断された場合
に、この動きベクトルをノイズ動きベクトルとして除去
する。

【００７４】次に、前記一連の処理が全動きベクトルに
ついて終了したか否かを判断し（ステップ１０３）、一
連の処理が全動きベクトルについて終了していない場合
には、変数（ｉ）を＋１して（ステップ１０４）、前記
ステップ１０１ないしステップ１０２を繰り返す。

【００７５】なお、これらのノイズ動きベクトルの特徴
は、大きさが大きく、元々明度や色変化が少ない領域の
符号化であるため、動き予測残差はちらつきによる非常
に小さな値でしかなく、そのＤＣＴ係数もほとんどが０
になるという特徴を持っている。

【００７６】そこで、動きベクトル｛ｖi｝の大きさＬ
｛ｖi｝及び方向Ｄ｛ｖi｝、ＤＣＴ係数のＤＣ成分ＤＣ
｛ｖi｝、ＤＣＴ係数のＡＣ成分の中で、「０」でない
ＤＣＴ係数の個数ＮAC｛ｖi｝、注目動きベクトルと類
似度が高い隣接するマクロブロック（ＭＢ）に含まれる
動きベクトルの個数ＮS｛ｖi｝を、動きベクトルの特徴
量とし、それぞれの特徴量が、それぞれに対して与えら
れる閾値を満たすかどうかに基づいて、注目動きベクト
ルがノイズ動きベクトルであるかどうかを判定するよう
にしてもよい。

【００７７】これにより、図６に示すように、図４に示
す動きベクトルの中で、動き被写体と無関係なノイズ動
きベクトルの大半を除去することができる。

【００７８】図６は、図４に示す動きベクトルの中で、
ノイズ動きベクトルと判定された動きベクトルを除去し
た後の動きベクトル分布を示す図である。

【００７９】以下、本実施の形態のカメラワーク除去部
２７について詳細に説明する。

【００８０】カメラワーク動きベクトルは、画面全体に
数多く出現するという特徴を有している。また、パンや
チルト等の特徴的な動きの場合、理想的な環境において
は、動きベクトルの角度別累積和の値は、パンニングや
チルティング方向と対応した特定の角度にピークを示
す。

【００８１】図４（ｂ）および図６（ｂ）から明らかな
ように、それぞれノイズ動きベクトル除去前とノイズ動
きベクトル除去後の動きベクトルの角度別累積和を比較
するとノイズ動きベクトル除去後の方が、パンニング方
向と一致するピークが観察されていることが分かる。

【００８２】なお、図４あるいは図６に示す動きベクト
ルの方向と角度の定義は、図７に示す通りである。ま
た、角度別累積和の抽出方法は、以下の示す通りであ
る。

【００８３】Ａｎｇｌｅ＝０〜３６０ｄｅｇ ｆｏｒ 全マクロブロック（ＭＢ）数 Ａｎｇｌｅ＝方向Ｖ Ｈｉｓｔ（Ａｎｇｌｅ）＋＝Ｌｅｎｇｔｈ（Ｖ） ここで、Ｖはマクロブロック（ＭＢ）上の動きベクト
ル、Ａｎｇｌｅ（Ｖ）は動きベクトルの方向、Ｌｅｎｇ
ｔｈ（Ｖ）は動きベクトルの長さ、Ｈｉｓｔ（Ａｎｇｌ
ｅ）が角度別累積和の成分を示す。

【００８４】そこで、本実施の形態のカメラワーク除去
部２７では、動きベクトルの角度頻度分布を作成し、最
も多い頻度を示した動きベクトルがカメラワーク動きベ
クトルと判定するようにしている。

【００８５】図８は、本実施の形態のカメラワーク除去
部２７の処理手順の一例を示すフローチャートである。

【００８６】以下、本実施の形態のカメラワーク除去部
２７の処理手順の一例について、図８を用いて詳細に説
明する。

【００８７】始めに、変数（ｉ）を０とし（ステップ１
１０）、注目している動きベクトルの角度頻度分布を作
成する（ステップ１１１）。

【００８８】次に、ステップ１１１の処理が全動きベク
トルについて終了したか否かを判断し（ステップ１１
２）、ステップ１１１の処理が全動きベクトルについて
終了していない場合には、変数（ｉ）を＋１して（ステ
ップ１１３）、前記ステップ１１０を繰り返す。

【００８９】ステップ１１２で、ステップ１１１の処理
が全動きベクトルについて終了した場合には角度頻度分
布が最大の動きベクトルをカメラワーク動きベクトル
（ＣＶ）とする（ステップ１１４）。

【００９０】次に、変数（ｉ）を０とし（ステップ１１
５）、注目している動きベクトルがカメラワーク動きベ
クトル（ＣＶ）か否かを判断し（ステップ１１６）し、
注目している動きベクトルがカメラワーク動きベクトル
（ＣＶ）である場合には、当該動きベクトルの値を無関
係な値（ＮＵＬＬ）に変更する（ステップ１１７）。

【００９１】次に、ステップ１１７の処理が全動きベク
トルについて終了したか否かを判断し（ステップ１１
８）、ステップ１１７の処理が全動きベクトルについて
終了していない場合には、変数（ｉ）を＋１して（ステ
ップ１１９）、前記ステップ１１６ないしステップ１１
７を繰り返す。

【００９２】なお、カメラワーク動きベクトルを判定す
る際に、角度頻度分布の分散をみて、適当な範囲の動き
ベクトルをカメラワーク動きベクトルと判定するように
してもよい。

【００９３】以下、本実施の形態の動き被写体領域分離
部２９について詳細に説明する。

【００９４】動き被写体領域は、領域として集中する特
性を示す。そこで、本実施の形態では、類似した動きベ
クトルが空間的に集中している領域を動き被写体領域と
している。

【００９５】既に、ノイズ動きベクトルおよびカメラワ
ーク動きベクトルは除去しているため、動き被写体領域
の分離は容易である。全動きベクトルについて空間的に
隣接している動きベクトルと比較し、類似条件を満たす
場合に、注目している動きベクトルと隣接する類似ベク
トルとに同一のラベリングを施す。

【００９６】隣接する類似している動きベクトルが既に
他のベクトルとラベリングされていたら、第３の動きベ
クトルと共に同じラベリングを施す。こうして隣接する
もの同士の結び付きを強めていき、序々に巨大な領域を
作成していく。

【００９７】図９は、本実施の形態の動き被写体領域分
離部２９の処理手順の一例を示すフローチャートであ
る。

【００９８】以下、本実施の形態の被写体領域分離部２
９の処理手順の一例について、図９を用いて詳細に説明
する。

【００９９】始めに、変数（ｉ）を０とし（ステップ１
２０）、注目している動きベクトルに類似している動き
ベクトルが存在するか否かを判断する（ステップ１２
１）。

【０１００】ステップ１２１で、注目している動きベク
トルに類似している動きベクトルが存在する場合には、
当該類似している動きベクトルが既に他の動きベクトル
とラベリングされているかを判断する（ステップ１２
４）。

【０１０１】ステップ１２４で、当該類似している動き
ベクトルが既に他の動きベクトルとラベリングされてい
る場合には、注目している動きベクトルを当該類似して
いる動きベクトルが既にラベリングされている領域にラ
ベリングする（ステップ１２５）。

【０１０２】また、ステップ１２４で、当該類似してい
る動きベクトルが既に他の動きベクトルとラベリングさ
れていない場合には、注目している動きベクトルを当該
類似している動きベクトルにラベリングする（ステップ
１２６）。

【０１０３】次に、前記一連の処理が全動きベクトルに
ついて終了したか否かを判断し（ステップ１２２）、前
記一連の処理が全動きベクトルについて終了していない
場合には、変数（ｉ）を＋１して（ステップ１２３）、
前記ステップ１２１、ステップ１２２、ステップ１２
４、ステップ１２５およびステップ１２６を繰り返す。

【０１０４】なお、図９に示す処理手順では、隣接する
もの同士を比較するというプリミティブな例を説明した
が、隣接する動きベクトル同士を対象とするものだけで
なく、１フレーム内の領域を分割（例えば、ｍ×ｍ個の
マクロブロック（ＭＢ）等）し、隣接する領域同士の動
きベクトルの特徴量（平均ベクトルの大きさ、方向等）
を算出し、それぞれを比較して領域同士の併合によっ
て、動き被写体領域を分離してもよい。

【０１０５】また、図５、図６および図９に示す処理手
順は、空間的な処理を中心に説明したが、動き被写体で
あるがゆえに、時間的な処理を施すことにより、より精
度の高い動き被写体領域も可能である。

【０１０６】次に、時間的な処理手順を加味したノイズ
ベクトル除去部２５の処理手順、カメラワーク除去部２
７および動き被写体領域分離部２９の処理手順について
説明する。

【０１０７】図１０は、本実施の形態のノイズベクトル
除去部２５の処理手順の他の例を示すフローチャートで
ある。

【０１０８】以下、本実施の形態のノイズベクトル除去
部２５の処理手順の他の例について、図１０を用いて詳
細に説明する。

【０１０９】始めに、変数（ｉ）を０とし（ステップ１
１００）、また、カウンタ（Ｃｏｕｎｔｅｒ）をリセッ
トする（ステップ１１０１）。

【０１１０】次に、注目している動きベクトルに対し
て、ステップ１１０２ないしステップ１１０５におい
て、注目している動きベクトルに対して、空間的あるい
は時間的に隣接している動きベクトルが存在するか否か
を判断し、注目している動きベクトルに対して、時間的
あるいは空間的に隣接している動きベクトルが存在する
場合に、カウンタ（Ｃｏｕｎｔｅｒ）を＋１する。

【０１１１】次に、カウンタ（Ｃｏｕｎｔｅｒ）の値
が、閾値（１）より大きいか否かを判断し（ステップ１
１０６）、ステップ１１０６で、カウンタ（Ｃｏｕｎｔ
ｅｒ）の値が、閾値（１）より小さい場合には、当該動
きベクトルの値を無関係な値（ＮＵＬＬ）に変更する
（ステップ１１０７）。

【０１１２】次に、前記一連の処理が全動きベクトルに
ついて終了したか否かを判断し（ステップ１１０８）、
一連の処理が全動きベクトルについて終了していない場
合には、変数（ｉ）を＋１して（ステップ１１０９）、
前記ステップ１１０１ないしステップ１１０８を繰り返
す。

【０１１３】即ち、図１０に示す処理手順では、注目し
ている動きベクトルに対して、空間的に類似するものだ
けではなく、時間的に過去のフレームの隣接する位置に
存在する動きベクトルも比較の対象とし、類似する動き
ベクトルがいくつ存在するかを算出する。類似する動き
ベクトルの個数が少なければ、ノイズ動きベクトルと判
断する。

【０１１４】図１１は、本実施の形態のカメラワーク除
去部２７の処理手順の他の例を示すフローチャートであ
る。

【０１１５】カメラワークが存在する場合には、数フレ
ームに渡って連続した動きベクトルが出現する。即ち、
時間的に隣接してフレームにおける動きベクトルはそれ
ぞれ類似している。そこで、図１１に示すカメラワーク
除去部２７の処理手順においては、図８に示すカメラワ
ーク除去部２７の処理手順にステップ１１１０、ステッ
プ１１１５、ステップ１１６を追加し、３フレームに渡
る動きベクトルの角度分布を、ステップ１１１０ないし
ステップ１１１６の処理で算出し、ピーク値をカメラワ
ークとしている。

【０１１６】図１１に示す処理手順では、複数フレーム
に渡る角度頻度分布からカメラワークを算出しているた
め、フラッシュ等による１フレームだけの急激な変化
や、１フレームだけの急激なノイズ動きベクトル等によ
る影響が少なく、カメラワークベクトルを正確に判定す
ることができる。

【０１１７】図１２は、本実施の形態の動き被写体領域
分離部２９の処理手順の他の例を示すフローチャートで
ある。

【０１１８】以下、本実施の形態の被写体領域分離部２
９の処理手順の他の例について、図１２を用いて詳細に
説明する。

【０１１９】図９に示す動き被写体領域分離部２９の処
理手順においては、空間的に逐一ラベリングをおこなっ
ていたが、図１２に示す処理手順では、始めに、ステッ
プ１１３３で直前のフレームの動き被写体領域を参考に
対応する位置の動きベクトルを各領域にラベリングす
る。

【０１２０】次に、変数（ｉ）を０とし（ステップ１１
２１）、注目している動きベクトルがラベリングされて
いるか否かを判断する（ステップ１１２２）。

【０１２１】ステップ１１２２において、注目している
動きベクトルがラベリングされている場合には、注目し
ている動きベクトルが同一ラベルの隣接する動きベクト
ルと類似しているか否を判断する（ステップ１１２
３）。

【０１２２】ステップ１１２３において、注目している
動きベクトルが同一ラベルの隣接する動きベクトルと類
似していない場合には、ラベルを初期化し（ステップ１
１２４）、注目している動きベクトルが同一ラベルの隣
接する動きベクトルと類似している場合には、そのラベ
リングを変更しない。

【０１２３】次に、ステップ１１２２で注目している動
きベクトルがラベリングされていない場合、あるいはス
テップ１１２４でラベルを初期化した場合には、注目し
ている動きベクトルに類似している動きベクトルが存在
するか否かを判断する（ステップ１１２５）。

【０１２４】ステップ１１２５で、注目している動きベ
クトルに類似している動きベクトルが存在する場合に
は、当該類似している動きベクトルが既に他の動きベク
トルとラベリングされているかを判断する（ステップ１
１２６）。

【０１２５】ステップ１１２６で、当該類似している動
きベクトルが既に他の動きベクトルとラベリングされて
いる場合には、注目している動きベクトルを当該類似し
ている動きベクトルが既にラベリングされている領域に
ラベリングする（ステップ１１２８）。

【０１２６】また、ステップ１１２６で、当該類似して
いる動きベクトルが既に他の動きベクトルとラベリング
されていない場合には、注目している動きベクトルを当
該類似している動きベクトルにラベリングする（ステッ
プ１１２７）。

【０１２７】次に、前記一連の処理が全動きベクトルに
ついて終了したか否かを判断し（ステップ１１２９）、
一連の処理が全動きベクトルについて終了していない場
合には、変数（ｉ）を＋１して（ステップ１１３０）、
前記ステップ１１２２ないしステップ１１２９を繰り返
す。

【０１２８】図１２に示す処理手順によれば、予め過去
の領域情報を利用してラベリングを行うため、ラベリン
グにかかるスピードを軽減することができる。

【０１２９】図１３は、本実施の形態の動き被写体領域
分離部２９の処理手順の他の例を示すフローチャートで
ある。

【０１３０】以下、本実施の形態の被写体領域分離部２
９の処理手順の他の例について、図１３を用いて詳細に
説明する。

【０１３１】図１３に示す処理手順においては、ステッ
プ１１４０ないしステップ１１４６により、各フレーム
毎に動き被写体領域候補１１４７を算出する。なお、ス
テップ１１４０ないしステップ１１４６の処理は、図９
の処理手順と同じであるので、詳細な説明は省略する。

【０１３２】次に、得られた動き被写体領域候補１１４
７を、次の領域候補１１４８として保存するとともに、
得られた動き被写体領域の候補１１４７と過去の動き被
写体領域候補１１４９との領域がどの程度重複している
のか判断する（ステップ１１５０）。

【０１３３】一般に、実際に動き被写体領域が存在する
場合には、過去のフレームでも、同様の大きさ、位置に
動き被写体領域が存在するはずである。

【０１３４】そのため、図１３に示す処理手順において
は、ステップ１１５０で、得られた注目フレーム上の動
き被写体領域候補１１４７と、既に算出されている過去
の動き被写体領域候補１１４９とを比較し、注目フレー
ム上の動き被写体領域候補１１４７と対応した位置に過
去の動き被写体領域候補１１４９が多数存在する場合に
のみ、注目フレーム上の動き被写体領域候補１１４７を
正しい動き被写体領域と判定する。

【０１３５】なお、正しい動き被写体領域であるか否か
の判定は、対象注目フレーム上の動き被写体領域候補１
１４７と、過去の動き被写体領域候補１１４９との間
で、動きベクトルがどれだけ重複しているかを基に判定
する。また、この比較に際しては、単純に動きベクトル
の重複する個数だけでなく、各領域に含まれる動きベク
トルの方向、大きさを含めて重複しているか判定しても
よい。

【０１３６】本実施の形態では、カメラワーク動きベク
トル判定の際に、対象としてパンやチルトのみを対象と
し、ズームやドリーについては対象としていない。しか
し、カメラワーク動きベクトル判定の際に、新しオペレ
ーションを組み込むことで、これを検出することも可能
である。既に、いくつかの従来方法が提案されているの
で、こうした手法を応用してもよい。

【０１３７】また、本実施の形態では、予め、カメラワ
ーク動きベクトルを除去することで、動き被写体領域の
分離を容易にしていたが、このカメラワーク動きベクト
ルを除去する処理を前処理部において行わず、動き被写
体領域を分離するようにしてもよい。

【０１３８】この場合には、カメラワーク動きベクトル
群も、１つの動き被写体領域と判定される。しかしなが
ら、一般に、カメラワーク動きベクトルは、画面全体に
広がり、かつ、最大の領域となる。したがって、こうし
た特徴を用いて最大の領域を有するものをカメラワーク
領域として分離すればよい。

【０１３９】なお、本実施の形態では、類似ベクトルの
判定に用いる閾値はあらかじめ与えられるものとしてい
たが、映像や画像の内容によって適宜変化させても良
く、また、インタフェースを付加することによって人間
の手によってチューニングし、適宜情報を与えるとして
も良い。

【０１４０】このように、本実施の形態の動き被写体情
報抽出装置によれば、圧縮された画像データ列から、動
き被写体情報を抽出し、従来方法によって抽出されてい
るカット点の情報と組み合わせることによって、カット
点と動き被写体情報という映像内容における特別な情報
を基に、圧縮された画像データ列の内容を高速、簡便に
閲覧することが可能である。また、本実施の形態の動き
被写体情報抽出装置は、その仕様をソフトウェアで記述
し、汎用コンピュータにおいて実行するだけで容易に実
現することができる。

【０１４１】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。

【０１４２】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記のとおりである。

【０１４３】（１）本発明によれば、動き被写体情報抽
出方法及び装置において、理想的な環境下でなくても、
アナログ信号の乱れやＡ／Ｄ変換時のノイズなどの影響
を受けることなく、正しい動き被写体を反映する動きベ
クトルを抽出することが可能であり、これにより、原画
像を復号化しなくても、原画像の内容を推測することが
可能となる。

【０１４４】（２）本発明によれば、動き被写体情報抽
出方法及び装置において、動き被写体領域を正確に判定
し、さらに、動き被写体領域を正確に分離することが可
能となる。

【０１４５】（３）本発明によれば、動き被写体情報抽
出方法及び装置において、動き情報と無関係な動きベク
トルを正確に判定し、除去することが可能となる。

【０１４６】（４）本発明によれば、動き被写体情報抽
出方法及び装置において、カメラワークを正確に判定
し、カメラワークを反映する動きベクトルを正確に判定
し、除去することが可能となる。

【０１４７】（５）本発明によれば、圧縮された画像デ
ータ列の内容を高速、簡便に閲覧することが可能であ
る。

【図面の簡単な説明】

【図１】本発明の一発明の実施の形態である動き被写体
情報抽出方法を説明するための図である。

【図２】本発明の一発明の実施の形態である動き被写体
情報抽出装置を備える映像再生装置の概略構成を示すブ
ロック図である。

【図３】右から左へパンニングを行っているカメラによ
り撮影された画像列の中の１つの画像を示す模式図であ
る。

【図４】図３に示す原画像を予測符号化した時の動きベ
クトルの分布を示す図である。

【図５】本実施の形態のノイズベクトル除去部２５の処
理手順を示すフローチャートである。

【図６】図４に示す動きベクトルの中で、ノイズ動きベ
クトルと判定された動きベクトルを除去した後の動きベ
クトル分布を示す図である。

【図７】図４あるいは図５に示す動きベクトルの方向と
角度の定義を説明するための図である。

【図８】本実施の形態のカメラワーク除去部２７の処理
手順の一例を示すフローチャートである。

【図９】本実施の形態の動き被写体領域分離部２９の処
理手順の一例を示すフローチャートである。

【図１０】本実施の形態のノイズベクトル除去部２５の
処理手順の他の例を示すフローチャートである。

【図１１】本実施の形態のカメラワーク除去部２７の処
理手順の他の例を示すフローチャートである。

【図１２】本実施の形態の動き被写体領域分離部２９の
処理手順の他の例を示すフローチャートである。

【図１３】本実施の形態の動き被写体領域分離部２９の
処理手順の他の例を示すフローチャートである。

【図１４】理想的な環境下での動き被写体が存在する場
合から、カメラワークが存在する場合、さらにはノイズ
が存在する場合の動きベクトルの分布の一例を示す図で
ある。

【符号の説明】

１…フレーム間予測符号化画像データ列、１０，２０…
入力ＭＰＥＧデータ列、２１…ショット単位分類部、２
３…符号化情報解析部、２５…ノイズベクトル除去部、
２７…カメラワーク除去部、２９…動き被写体領域分離
部、３１…動き被写体情報抽出部、６０…可変長復号
器、６１…逆走査部、６２…逆量子化部、６３…逆ＤＣ
Ｔ部、６４…加算器、６５…動き補償部、６６…再生
（復号化）画像データ列、６７…再生表示部。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 動き予測方式を用いた圧縮符号化方式に
   よって符号化された映像圧縮符号化データに含まれる動
   きベクトルから動き被写体情報を算出する動き被写体情
   報抽出方法において、 前記映像圧縮符号化データに含まれる動きベクトルの中
   から動き被写体とは無関係な動きベクトルをノイズとし
   て除去する第１のステップと、 前記第１のステップで無関係な動きベクトルが除去され
   た動きベクトルから動き被写体に相当する動き被写体領
   域を抽出する第２のステップと、 前記第２のステップで抽出された動き被写体領域から動
   き被写体情報を抽出する第３のステップとを具備するこ
   とを特徴とする動き被写体情報抽出方法。
2. 【請求項２】 前記第１のステップにおいて、動き被写
   体領域と無関係なカメラワーク情報を予め抽出し、カメ
   ラワークを反映する動きベクトルを除去することを特徴
   とする請求項１に記載された動き被写体情報抽出方法。
3. 【請求項３】 前記第２のステップにおいて、時間ある
   いは空間的に隣接している動きベクトルと類似した特性
   を示す動きベクトルの集合を動き被写体領域として分離
   抽出することを特徴とする請求項１または請求項２に記
   載された動き被写体情報抽出方法。
4. 【請求項４】 前記時間あるいは空間的に隣接している
   動きベクトルと類似した特性を示す動きベクトルの集合
   を動き被写体領域として分離抽出する際に、動きベクト
   ルの特徴量を少なくとも１つ算出し、隣接している２つ
   の動きベクトルの間で、特徴量を比較し、その比較結果
   が所定の値を満足する場合に、前記隣接している２つの
   動きベクトルは類似していると判定することを特徴とす
   る請求項３に記載された動き被写体情報抽出方法。
5. 【請求項５】 動き予測方式を用いた圧縮符号化方式に
   よって符号化された映像圧縮符号化データに含まれる動
   きベクトルから動き被写体情報を算出する動き被写体情
   報抽出装置において、 前記映像圧縮符号化データに含まれる動きベクトルから
   動き被写体とは無関係な動きベクトルをノイズとして除
   去する前処理部と、 前記前処理部で動き被写体とは無関係な動きベクトルが
   除去された動きベクトルから動き被写体に相当する動き
   被写体領域を抽出する動き被写体領域分離部と、 前記動き被写体領域分離部で抽出された動き被写体領域
   から動き被写体情報を抽出する動き被写体情報抽出部と
   を具備することを特徴とする動き被写体情報抽出装置。
6. 【請求項６】 前記前処理部は、動き被写体領域と無関
   係なカメラワーク情報を予め抽出し、カメラワークを反
   映する動きベクトルを除去するカメラワーク除去部を備
   えることを特徴とする請求項５に記載された動き被写体
   情報抽出装置。
7. 【請求項７】 前記動き被写体領域分離部は、時間ある
   いは空間的に隣接している動きベクトルと類似した特性
   を示す動きベクトルの集合を動き被写体領域として分離
   抽出することを特徴とする請求項５または請求項６に記
   載された動き被写体情報抽出装置。
8. 【請求項８】 前記時間あるいは空間的に隣接している
   動きベクトルと類似した特性を示す動きベクトルの集合
   を動き被写体領域として分離抽出する際に、動きベクト
   ルの特徴量を少なくとも１つ算出し、隣接している２つ
   の動きベクトルの間で特徴量を比較し、その比較結果が
   所定の値を満足する場合に、前記隣接している２つの動
   きベクトルは類似していると判定することを特徴とする
   請求項７に記載された動き被写体情報抽出装置。