JP2012222653A - 映像再生装置、映像再生方法、および映像再生プログラム - Google Patents

Abstract

【課題】あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする。
【解決手段】映像データを記憶する映像記憶手段１６と、ユーザが入力した基準座標と移動座標とを受け付ける入力手段１２と、基準フレーム画像上で入力された基準座標の周辺の検索パターンが、基準フレームの前後の各フレーム画像のどこに移動したかを検出する動き検出手段１４と、各フレーム画像毎に動き検出手段１４が検出した検索パターンの位置を示す対応座標を記憶する動き検出記憶手段１７と、動き検出記憶手段１７を参照して移動座標との距離が最も小さい対応座標のフレーム画像を選択するフレーム画像選択手段１３と、選択したフレーム画像を表示する表示手段１１とを備える。
【選択図】図１

Description

本発明は、映像を再生する映像再生装置、映像再生方法、および映像再生プログラムに関する。

コンピュータを用いてデジタル映像を再生する上で、単に映像を先頭から再生して流し見するだけでなく、好きな部分をインタラクティブに巻き戻し・早送り・コマ送りして再生する方法がある。

従来の映像再生方法としては、スライダーのGUI（Graphical User Interface）を用いて、再生する映像のフレームを選ぶものがある。例えば、図７に示すように、マウスやタッチパネル等のポインティングデバイスを用いて、スライダー上のツマミを左右に動かすことによって、フレームを前後にコマ送りし、所望のフレーム画像を表示する。

また、特許文献１には、あらかじめ被写体の動きに合った折れ線型のスライダーを定義し、映像の中に配置しておくことによって、あたかも被写体を動かしているかのように、映像をコマ送り再生する方法が記載されている。

また、非特許文献１には、Particle Video（非特許文献２参照）等の動き検出技術を用いて、画面上の多数の点（パーティクル）の動きをあらかじめ追跡しておき、ポインティングデバイスからの入力座標の動きに一番近い動きに相当するフレームを選択することで、映像再生を実現する方法が記載されている。

また、非特許文献３では、あらかじめSIFT特徴点の追跡により被写体の動きを検出し、検出した被写体の動きを用いて映像再生を実現する方法が記載されている。

特許第3325859号公報

Goldman, D.B., Curless, B., Salesin D., Seitz, S.M., "Interactive Video Object Annotation", Tech Report UW-CSE-2007-04-01, 2007. Sand, P., and Teller, S., "Particle video: LOng-range motion estimation using point trajectories", CVPR'06 2006. Dragicevic, P., Ramos, G., Bibliowitcz, J. Nowrouzezahrai, D., Balakrishnan, R., and Singh, K, "Video Browsing by Direct Manipulation", CHI'08, 2008

以上の従来技術では、あらかじめ被写体の動きに対応した折れ線型のスライダーを設定し、もしくは、被写体の動きを検出しておく必要がある。このため、折れ線型のスライダーを編集する作業負荷が発生し、もしくは、被写体の動きを計算するための計算コストがかかるという問題がある。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする映像再生装置、映像再生方法、および映像再生プログラムを提供することにある。

上記目的を達成するため、本発明は、映像再生装置であって、複数のフレーム画像からなる映像データを記憶する映像記憶手段と、ユーザが入力した基準座標と、前記ユーザが前記基準座標を移動させた移動座標とを受け付ける入力手段と、所定の時点の基準フレーム画像上で入力された前記基準座標の周辺の画像データである検索パターンが、前記基準フレームの前後の各フレーム画像のどこに移動したかを検出する動き検出手段と、各フレーム画像毎に、前記動き検出手段が検出した前記検索パターンの位置を示す対応座標を記憶する動き検出記憶手段と、前記動き検出記憶手段を参照し、前記移動座標との距離が最も小さい対応座標のフレーム画像を選択するフレーム画像選択手段と、前記フレーム画像選択手段が選択したフレーム画像を表示する表示手段と、を備える。

また、本発明は、映像再生装置が行う映像再生方法であって、前記映像再生装置は、複数のフレーム画像からなる映像データを記憶する映像記憶部を備え、ユーザが入力した基準座標と、前記ユーザが前記基準座標を移動させた移動座標とを受け付ける入力ステップと、所定の時点の基準フレーム画像上で入力された前記基準座標の周辺の画像データである検索パターンが、前記基準フレームの前後の各フレーム画像のどこに移動したかを検出する動き検出ステップと、各フレーム画像毎に、前記動き検出ステップで検出した前記検索パターンの位置を示す対応座標を動き検出記憶部に記憶する記憶ステップと、前記動き検出記憶部を参照し、前記移動座標との距離が最も小さい対応座標のフレーム画像を選択するフレーム画像選択ステップと、前記フレーム画像選択ステップで選択されたフレーム画像を表示する表示ステップと、を行う。

また、本発明は、前記映像再生装置としてコンピュータを機能させるための映像再生プログラムである。

本発明によれば、あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする映像再生装置、映像再生方法、および映像再生プログラムを提供することができる。

本発明の第１の実施形態に係る映像再生装置の構成図である。 表示部に表示されたゴルフプレーヤのフレーム画像の一例を示す図である。 本実施形態の動作を示すフローチャートである。 ブロックマッチング法を説明する説明図である。 複数の探索パターンを説明する説明図である。 動き検出記憶テーブルの一例を示す図である。 動き検出記憶テーブルの一例を示す図である。 基準フレーム画像と、移動後のフレーム画像の一例を示す図である。 本発明の第２の実施形態に係る映像再生装置の構成図である。 第２の実施形態の動き検出記憶テーブルの一例を示す図である。 第２の実施形態の変形例のブロックカウンタを説明する説明図である。 従来のスライダーを説明するための説明図である。

以下、本発明の実施の形態について、図面を参照して説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る映像再生装置の構成を示す構成図である。本実施形態の映像再生装置は、映像データを表示する表示部１１と、入力部１２と、フレーム画像選択部１３と、動き検出部１４と、フレーム画像復号部１５と、デジタル化された映像データを記憶する映像記憶部１６と、動き検出記憶部１７と、記憶部１８とを備える。

映像記憶部１６に記憶される映像データは、複数のフレーム画像から構成される動画データである。なお、本実施形態の映像データは、例えばＭＰＥＧなどの所定の圧縮方式を用いて圧縮し、映像記憶部１６に記憶されているものとする。

フレーム画像復号部１５は、映像記憶部１６に圧縮して記憶された映像データのフレーム画像を復号する。

入力部１２は、例えばマウスやタッチパネルなどのユーザの指示を受け付ける入力装置であって、ユーザが入力した基準座標と、ユーザが基準座標を移動させた移動座標とを受け付ける。

動き検出部１４は、所定の時点の基準フレーム画像上で入力された基準座標の周辺の画像データである検索パターンが、基準フレームの前後の各フレーム画像のどこに移動したかを検出する。動き検出記憶部１７には、各フレーム画像毎に、動き検出部１４が検出した検索パターンの位置を示す対応座標が記憶される。

フレーム画像選択部１３は、動き検出記憶部１７を参照し、移動座標との距離が最も小さい対応座標のフレーム画像を選択する。表示部１１は、フレーム画像選択部１３が選択したフレーム画像を表示する。

以上説明した映像再生装置は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた映像再生装置用のプログラムを実行することにより、映像再生装置の各機能が実現される。また、映像再生装置のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。また、映像再生装置は、専用ハードウェア上で動作することとしてもよい。

次に、本実施形態の動作について説明する。

本実施形態では、映像再生操作をするユーザの知識や経験、期待、操作履歴などを活用し、計算コストを削減しながら、直感的な映像再生を可能にする。ユーザは映像を見ると、被写体がどのように動くのかを期待する。たとえば、ゴルフプレーヤの映像の場合、ゴルフクラブを振り回すであろうと期待する。実際にユーザの行動を観察すると、期待する動きをなぞるように操作することが多い。そこで、本実施形態では、ユーザの操作を手がかりとして、ユーザが指定した点を中心とした必要最小限の領域で動き検出を行うことで、処理を削減する。

ここでは、映像記憶部１６には、ゴルフプレーヤのスイング映像が記憶されおり、表示部１１には、当該スイング映像の中の図２に示す所定の時点の基準フレーム画像が表示されている場合を例に、本実施形態の動作を説明する。

図示するフレーム画像上で、ユーザは、入力部１２を用いて、ゴルフプレーヤの手の部分の座標Ｉ₁を基準座標として入力するものとする。図示する例では、矢印で表示したカーソルを操作することで、基準座標Ｉ₁（矢印の先端座標）を入力する。そして、ユーザが、入力部１２を用いて、基準座標Ｉ₁を右上の移動座標Ｉ₂方向に移動（ドラッグ）した場合の動作を説明する。

図３は、本実施形態の映像再生装置の動作を示すフローチャートである。

ここでは、表示部１１に図２に示す基準フレーム画像（静止画）が表示されており、この状態でユーザは、基準座標Ｉ₁を入力する。これにより、映像再生装置のフレーム画像選択部１３は、初期化処理として、現時点で表示されている基準フレーム画像の基準フレーム番号ｎと、ユーザが入力した基準座標Ｉｎ（Ｉ₁）と、基準フレーム画像上の探索パターンＲｎとを、記憶部１８に記憶する（Ｓ１１）。

探索パターンＲｎは、図２に示すように、基準座標Ｉｎ（Ｉ₁）の周辺領域の画像データである。図２に示す探索パターンＲｎは、基準座標Ｉｎ（Ｉ₁）を中心とした、所定のサイズの矩形領域の画像データである。

そして、ユーザは、入力部１２を用いて基準座標ｎ（₁）に設定されたカーソルを所望の位置に移動する。このカーソルの移動操作（ドラッグ）により、カーソルが順次移動した位置（移動座標）に応じて、Ｓ１３からＳ１７の処理が繰り返し行われ（Ｓ１２）、対応するフレーム画像がコマ送りで再生される。

すなわち、フレーム画像選択部１３は、カーソルの移動操作により、移動されたことを検知すると、現時点でのカーソルの位置を示す移動座標Ｉｃ（Ｉ_２）を、記憶部１８に記憶する（Ｓ１３）。

そして、フレーム画像選択部１３は、Ｓ１１で記憶部１８に記憶した基準フレーム番号ｎの前後のフレーム番号（ｄ＝ｎ±１、ｎ±２、・・・、ｎ±Ｄ）の各フレーム画像（探索フレーム画像）について、Ｓ１５およびＳ１６の処理を、フレーム画像復号部１５および動き検出部１４を用いて、繰り返し行う（Ｓ１４）。

まず、フレーム画像復号部１５は、フレーム画像選択部１３が指示したフレーム番号ｄのフレーム画像Ｆｄを、映像記憶部１６から読み出し、復号する（Ｓ１５）。

そして、動き検出部１４は、フレーム画像復号部１５が復号したフレーム番号ｄのフレーム画像Ｆｄと、基準フレーム番号ｎの基準フレーム画像との間の動きを検出（動きベクトルを算出）する（Ｓ１６）。

動きの検出や、物体の追跡方法としては、ブロックマッチング法、オプティカルフロー法、Lucas-Kanade法、パーティクルフィルタ法などを用いることができる。本実施形態では、ブロックマッチング法を用いて動きを検出するものとする。

ブロックマッチング法は、図４に示すように、所定のサイズの探索ウィンドウを設定し、当該探索ウィンドウの中で探索ブロックを１ピクセルずつずらしながら走査して、探索対象の画像データ（探索パターンＲｎ）と最も類似する画像データの探索ブロックの位置を調べる方法である。

本実施形態では、復号したフレーム画像Ｆｄの全ての領域を探索ウィンドウとするのではなく、基準座標Ｉｎ（Ｉ_１）を中心とした所定のサイズの領域を探索ウィンドウとして設定する。図２に示す基準フレーム画像を用いて探索ウィンドウを説明すると、基準座標Ｉｎ（Ｉ_１）を中心とした、探索パターンＲｎのサイズより大きい所定のサイズの矩形領域を探索ウィンドウとする。動き検出部１４は、図２に示す探索ウィンドウと同じ位置の探索ウィンドウを、復号したフレーム画像Ｆｄに設定する。

そして、図４で説明したように、探索パターンＲｎと同じサイズの探索ブロックを、探索ウィンドウの左上から１ピクセルずつずらしながら走査していき、探索パターンＲｎの画像データと最も類似する画像データの探索ブロックの位置を取得する。ここでは、最も類似する探索ブロックの中心座標を、対応座標Ｏｄとして取得する。これにより、基準フレーム画像における探索パターンＲｎがフレーム画像Ｆｄ上のどこに動いたのかを検出する。

なお、動き検出部１４は、探索パターンＲｎとの類似度を判定するために、比較する２つの画像データ（探索パターンＲｎの画像データと、探索ブロックの画像データ）の間の距離として、輝度の差の絶対値の和や、差の二乗和を用いることが考えられる。すなわち、以下の式により、輝度の差の絶対値の和、差の二乗和を算出する。

輝度の差の絶対値の和＝Σ｜Ｐ_１−Ｐ_２｜
輝度の差の二乗和＝Σ（Ｐ_１−Ｐ_２）^２
ここで、Ｐ_１とＰ_２は、比較する２つの画像データの特定の画素の輝度値を表す。このほか、ＲＧＢ成分の差の絶対値の和や２乗和や、輝度色ヒストグラムの差の絶対値の和または２乗和等を、画像データ間の距離として用いてもよい。いずれの距離を用いるにせよ、動き検出部１４は、探索ウィンドウの中で、最も距離の小さくなる（すなわち、最も類似する）探索ブロックの位置（対応座標Ｏｄ）を検出する。

なお、動き検出部１４は、１つの探索パターンＲｎだけでなく、探索パターンＲｎの周辺に存在する複数の周辺探索パターンの動きを検出し、それらの動きベクトルの平均を用いることとしてもよい。

複数の周辺探索パターンの設定としては、例えば図５（ａ）に示すように、探索パターンＲｎの周囲の８つの周辺探索パターンを設定すること、あるいは、図５（ｂ）に示すように、互いに重なった８つの周辺探索パターンを設定することなどが考えられる。複数の探索パターンの動きの平均を用いることで、物体の隠れや変形、出現、ノイズ、照明条件の変化等にも頑健な、安定した動き検出が可能になる。
動き検出部１４は、基準フレーム画像上の基準座標Ｉｎ（Ｉ_１）が、フレーム画像Ｆｄの探索ウィンドウの中のどこに対応するのかを動き検出記憶部１７に記憶する。

図６（ａ）は、動き検出記憶部１７に記憶される、動き検出テーブルの一例を示す図である。図示する動き検出テーブルは、基準フレーム番号と、基準座標と、対応フレーム番号と、対応座標とを有する。動き検出部１４は、基準フレーム番号および基準座標に、Ｓ１１で記憶部１８に記憶した基準フレーム番号および基準座標を設定し、対応フレーム番号には処理対象のフレーム番号ｄを設定し、対応座標には、最も類似する探索ブロックの対応座標Ｏｄを設定したレコードを生成し、動き検出テーブルに登録する。なお、生成したレコードと同じレコードが既に動き検出テーブルに存在する場合は、動き検出部１４は、生成したレコードを登録しない。

なお、図６（ａ）の動き検出テーブルでは、基準フレーム番号１の基準フレーム画像における基準座標(10,20)が、フレーム番号２の対応フレーム画像では対応座標(20,30)と対応し、対応フレーム番号３の対応フレーム画像では対応座標(30,30)と対応している。

図６（ｂ）は、図６（ａ）に示す動き検出テーブルでの基準座標(10,20)の動きを模式的に示した図である。基準座標(10,20)の基準点が、対応座標(20,30)および(30,30)の各対応点に順次移動していることを示している。

このように、基準フレーム番号ｎの前後のフレーム番号の各フレーム画像毎にＳ１５およびＳ１６を繰り返し行うことで、動き検出記憶部１７には、各フレーム画像の対応座標が記憶される。

そして、フレーム画像選択部１３は、Ｓ１３で記憶部１８に記憶した移動座標Ｉｃ（Ｉ_２）と、動き検出記憶部１７に記憶された各フレームの対応座標（最も類似する探索ブロックの中心座標Ｏｄ）との距離をそれぞれ算出し、移動座標Ｉｃ（Ｉ_２）との距離が最も小さい対応座標のフレーム画像を選択し、選択したフレーム画像を表示部１１に出力する（Ｓ１７）。

なお、移動座標Ｉｃ（Ｉ_２）に最も近い対応座標との距離が、所定の閾値を超える場合、探索するフレーム画像を、Ｓ１４で設定したフレーム番号ｄより、さらに前後のフレーム番号（ｅ＝ｎ±Ｄ±１、ｎ±Ｄ±２、・・・、ｎ±Ｄ±Ｅ）のフレーム画像に広げて、各フレーム画像毎にＳ１５およびＳ１６の処理を行いうこととしてもよい。

例えば、図７に示すように、移動座標が大きく右上に移動したため、移動座標と最も近い対応座標(30,30)との距離が、所定の閾値を超える場合、さらに前後のフレーム番号の動きを検出して、移動座標と最も近い対応座標(50,20)のフレーム番号７のフレーム画像を選択し、表示する。

以上説明した、本実施形態の動作により、図８に示すように、Ｓ１１で表示部１１に表示された基準フレーム画像（図８（ａ））において、ユーザが基準座標Ｉ₁を入力し、当該フレーム画像上でカーソルを右上の移動座標Ｉ_２に移動させることで、基準座標Ｉ₁が示す箇所の画像（ゴルフプレーヤの手）が、移動座標Ｉ_２に移動したフレーム画像（図８（ｂ））を自動的に検索し、表示する。これにより、ユーザは、あたかもゴルフプレーヤの手を直接つかんで動かしているかのように直感的に映像データを再生することができる。

なお、ユーザのカーソルの移動操作（ドラッグ）により、カーソルの各位置（移動座標）に応じてＳ１３からＳ１７のループ処理が行われるため、例えば図８に示すフレーム画像において、ユーザが、初期位置Ｉ₁から右上の方向にカーソルを移動させていくと、連続的なフレーム画像が、ユーザの操作速度と同じ速度で表示部１１に順次再生される。

以上説明した第１の実施形態では、基準フレーム画像上で入力された基準座標の周辺の検索パターンが、基準フレームの前後の各フレーム画像のどこに移動したかを検出し、移動座標との距離が最も小さい対応座標のフレーム画像を選択し、表示する。これにより、本実施形態では、被写体の動きに基づくインタラクティブな映像再生を実現する上で、あらかじめ映像中の被写体の動きを検出しなくても、ユーザの期待に基づく操作を活用して、直感的な映像再生を可能とする。

また、本実施形態では、基準座標を中心とした所定のサイズの領域を探索ウィンドウとして設定し、当該探索ウィンドウ内で探索パターンの動きを検出する。これにより、本実施形態では、ユーザが指定した基準座標を中心として必要最小限の領域の画像データのみを探索すれば済むため、計算コストを削減することができる。

＜第２の実施形態＞
第２の実施形態では、動き検出記憶部１７に記憶された動き検出テーブル（図６、図７参照）を所定のタイミングでメンテナンスして（見直して）、不要なレコードを削除し、動き検出記憶部１７の容量が増大することを防止する。

図９は、第２の実施形態の映像再生装置の構成を示す構成図である。本実施形態の映像再生装置は、第１の実施形態の映像再生装置（図１参照）に、データ管理部１９をさらに備える。また、動き検出記憶部１７の動き検出テーブルでは、選択回数を備える。その他については第１の実施形態と同様である。

データ管理部１９は、ユーザが同じ操作を繰り返しているかどうかを検知し、動き検出記憶部１７の選択回数を更新する。

図１０は、本実施形態の動き検出記憶部１７に記憶された動き検出テーブルの一例を示す図である。図示する動き検出テーブルは、基準フレーム番号と、基準座標と、対応フレーム番号と、対応座標と、さらに選択回数とを備える。データ管理部１９は、フレーム画像選択部１３が、動き検出テーブルのいずれかのレコードを表示部１１に表示するフレーム画像として選択したときに（図３：Ｓ１７）、当該レコードの選択回数を「１」加算して更新する。これにより、頻繁に選択されるレコードの選択回数は、大きくなる。

そして、データ管理部１９は、定期的に選択回数が所定の閾値より小さいレコードを削除する。

なお、データ管理部１９（計測手段）は、図１１に示すようなブロックカウントにより、動き検出テーブルのレコード削除することとしてもよい。すなわち、図１１に示すように、画面（フレーム画像）を所定の大きさのブロックで量子化する。データ管理部１９は、ユーザが入力部１２を用いて基準座標および移動座標を入力する度に（図３：Ｓ１１、Ｓ１３）、これらの座標を含むブロックのカウントを「１」加算する。その結果、ユーザが繰返し操作するブロックのカウントは大きくなる。なお、本実施形態の映像再生装置は、図１１に示すようなブロックカウントを記憶するための記憶部（不図示）を有するものとする。

そして、データ管理部１９は、定期的に、カウント数が所定の閾値より小さい全てのブロックを特定する。そして、データ管理部１９は、動き検出記憶部１７の動き検出テーブルの各レコードについて、基準座標および対応座標が前記特定したいずれかのブロック（カウント数が所定の閾値より小さいブロック）に含まれる場合は、当該レコードを削除する。なお、データ管理部１９は、基準座標または対応座標が前記特定したいずれかのブロックに含まれる場合に、当該レコードを削除することとしてもよい。

以上説明した第２の実施形態では、ユーザが繰り返し行う操作に関するレコードだけが、動き検出記憶部１７に記憶され、繰り返し行われない操作に関するレコードは定期的に削除されるため、動き検出記憶部１７の容量が増大することを防止することができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態の本映像装置を、ＰＣなどのコンピュータだけでなく、デジタルカメラ、カメラ付き携帯電話、スマートフォンなどで動作させてもよい。

また、上記実施形態では、映像再生装置が単体で、映像生成を行うこととしたが、サーバー・クライアント構成を適用し、サーバ側に計算コストが比較的高い動き検出部１４、フレーム画像選択部１３、データ管理部１９を備え、クライアント側では、サーバ側から送信される処理結果の画像フレームを表示することとしてもよい。

また、上記実施形態では、映像データは圧縮して映像記憶部１６に記憶されることとしたが、圧縮しない状態で映像記憶部１６に記憶されることとしてもよい。この場合、映像再生装置は、フレーム画像復号部１５を備えなくてもよい。

また、上記実施形態において、動き検出記憶部１７のデータ（レコード）が十分蓄積された場合、動き検出部１４およびデータ管理部１９の処理を行うことなく、フレーム画像選択部１３は、動き検出記憶部１７のデータを用いて表示部１１に表示するフレーム画像を選択することとしてもよい。ユーザは、カーソルを操作して期待通りの映像再生が行われると、カーソルを往復させて繰返し何度も再生する傾向がある。逆に期待に反する場合は、操作をやめてしまう。そこで、ユーザが繰返し操作を行った場合の動き情報を動き検出記憶部１７に記録しておき、以後、同じ箇所を操作する場合や、異なるユーザが再生するときに、動き検出を行わないようにすることによって、処理をさらに削減することができる。

１１：表示部
１２：入力部
１３：フレーム画像選択部
１４：動き検出部
１５：フレーム画像復号部
１６：映像記憶部
１７：動き検出記憶部
１８：記憶部
１９：データ管理部

Claims (8)

1. 映像再生装置であって、
   複数のフレーム画像からなる映像データを記憶する映像記憶手段と、
   ユーザが入力した基準座標と、前記ユーザが前記基準座標を移動させた移動座標とを受け付ける入力手段と、
   所定の時点の基準フレーム画像上で入力された前記基準座標の周辺の画像データである検索パターンが、前記基準フレームの前後の各フレーム画像のどこに移動したかを検出する動き検出手段と、
   各フレーム画像毎に、前記動き検出手段が検出した前記検索パターンの位置を示す対応座標を記憶する動き検出記憶手段と、
   前記動き検出記憶手段を参照し、前記移動座標との距離が最も小さい対応座標のフレーム画像を選択するフレーム画像選択手段と、
   前記フレーム画像選択手段が選択したフレーム画像を表示する表示手段と、を備えること
   を特徴とする映像再生装置。
2. 請求項１に記載の映像再生装置であって、
   前記動き検出手段は、前記検索パターンが各フレーム画像の前記基準座標を中心とする所定のサイズの探索ウィンドウ内のどこに移動したかを検出すること
   を特徴とする映像再生装置。
3. 請求項１または請求項２に記載の映像再生装置であって、
   前記フレーム画像選択手段がフレーム画像を選択する度に、前記動き検出記憶手段の前記選択されたフレーム画像の選択回数を加算するデータ管理手段を、さらに有し、
   前記データ管理手段は、所定のタイミングで、前記動き検出記憶手段を参照し、選択回数が所定の閾値より小さいフレーム画像のデータを削除すること
   を特徴とする映像再生装置。
4. 請求項１または請求項２に記載の映像再生装置であって、
   画面を所定のサイズに分割したブロック毎に、前記基準座標および前記移動座標が入力された入力回数を計測する計測手段を、さらに有し、
   前記計測手段は、所定のタイミングで、前記動き検出記憶手段の各対応座標について、当該対応座標が含まれるブロックの入力回数が所定の閾値より小さい場合、当該対応座標のデータを削除すること
   を特徴とする映像再生装置。
5. 請求項１に記載の映像再生装置であって、
   前記動き検出手段は、ブロックマッチング法を用いて、前記探索パターンの動きを検出すること
   を特徴とする映像再生装置。
6. 請求項１記載の映像再生装置であって、
   前記映像記憶手段に記憶された映像データのフレーム画像を復号するフレーム画像復号手段をさらに備えること
   を特徴とする映像再生装置。
7. 映像再生装置が行う映像再生方法であって、
   前記映像再生装置は、
   複数のフレーム画像からなる映像データを記憶する映像記憶部を備え、
   ユーザが入力した基準座標と、前記ユーザが前記基準座標を移動させた移動座標とを受け付ける入力ステップと、
   所定の時点の基準フレーム画像上で入力された前記基準座標の周辺の画像データである検索パターンが、前記基準フレームの前後の各フレーム画像のどこに移動したかを検出する動き検出ステップと、
   各フレーム画像毎に、前記動き検出ステップで検出した前記検索パターンの位置を示す対応座標を動き検出記憶部に記憶する記憶ステップと、
   前記動き検出記憶部を参照し、前記移動座標との距離が最も小さい対応座標のフレーム画像を選択するフレーム画像選択ステップと、
   前記フレーム画像選択ステップで選択されたフレーム画像を表示する表示ステップと、を行うこと
   を特徴とする映像再生方法。
8. 請求項１から請求項６のいずれか一項に記載の映像再生装置としてコンピュータを機能させるための映像再生プログラム。

Images