JP2005286524A - 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 - Google Patents

Abstract

【課題】 本発明は、動画像において、被写体の動きに応じて、適切にシーン分割する技術を提供すること。
【解決手段】 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理方法であって、複数の画像から２つの画像を１組の画像群として、時系列順に順次設定する。設定された１組の画像群ごとに、２つの画像のうち、一方を基準画像、他方を対象画像として設定する。基準画像において、基準となる基準画素を順次設定し、設定した基準画素ごとに、対象画像における基準画素に対応した位置にある画素を対象画素として設定する。対象画素の画素値と基準画素の画素値との差分の絶対値をそれぞれ算出する。算出した絶対値の総和を求め、求めた絶対値の総和を基準画像と対象画像との画像間の動きを表わす動き量として検出する。検出した動き量を基準画像に該当する画像に対応づけて記憶する。
【選択図】 図２

Description

本発明は、動画像を複数のシーンに分割する技術に関する。

デジタルビデオ等で撮影した動画像を表わす動画像データは、複数の画像データ（例えば、フレーム画像データなど。）から構成される。
従来、動画像データからダイジェストを作成したりする場合などに、その動画像データを複数のシーンに分割することが行われている。このような場合に、その動画像データが表わす動画像内のある対象物（以下、被写体とも呼ぶ。）に「動き」があるかないかでシーンに分割することがある。

特開平９−２８４７０２号公報

上述のように、動画像データを動きがあるかないかで複数のシーンに分割する場合に、動画像において被写体が動いているにも関わらず、被写体の動作状況によって、被写体が動いていないと誤認してシーンの切り替わりを特定できない可能性があった。

本発明は、上記課題にかんがみてなされたもので、動画像において、被写体の動きに応じて、適切にシーン分割する技術を提供することを目的とする。

上記目的の少なくとも一部を達成するために、本発明の画像処理装置は、時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理装置であって、
前記複数の画像から２つの画像を１組の画像群として、時系列順に順次設定し、設定された前記１組の画像群ごとに、２つの画像のうち、一方を基準画像、他方を対象画像として設定すると共に、
前記基準画像と前記対象画像との画像間の動きを表わす動き量を検出する動き量検出部と、
検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する動き量記憶部とを備え、
前記動き量検出部は、前記動き量を検出する際、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定して、該対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出し、それら算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記動き量として検出することを要旨とする。

このようにすれば、記憶した動き量を用いて、種々の画像処理を行うことができる。例えば、上述のごとくして記憶した動き量と予め設定される閾値とを比較することで、その動き量が対応づけられている各画像において、動きのあるなしを表わすフラグを設定し、各画像に設定されたフラグの転換点をシーンの切り替え点とし、動画像を動きがあるかないかにより複数のシーンに分割する処理を行うことができる。

上記画像処理装置は、
前記動き量検出部は、前記動き量を検出する際、
前記基準画像と前記対象画像との画像間の位置ずれ量を推定し、
前記基準画素ごとに、前記対象画素を設定する場合には、前記対象画像における前記基準画素に対応する位置から、推定した前記位置ずれ量分だけずらした位置にある画素を対象画素として設定するようにしてもよい。

このようにすれば、基準画像と対象画像の位置ずれをキャンセルすることができるので、正確に動き量を求めることができる。

上記画像処理装置は、
検出された各動き量に基づいて前記動画像を複数のシーンに分割するシーン分割処理部を備えるようにしてもよい。

上記画像処理装置において算出される絶対値の総和は、基準画像の各画素と、それらの画素位置に対応する対象画像の各画素の画素値との変化の総量を表わす。画像間で被写体が動いていると、その画像間において対応する各画素間の画素値も被写体の動きに応じて変化し、その結果、被写体の動きは上記絶対値の総和に反映される。そして、上記画像処理装置は、この絶対値の総和を動き量として求めている。そのため、このようにして求めた動き量は、被写体の本来の動きの大きさを精度よく表わすことができる。従って、上記画像処理装置の構成によれば、動画像中において被写体に動きがあるかどうかを正確に判断することができ、その分岐点をシーンの分割点として動画像を適切にシーン分割することができる。

上記画像処理装置は、
前記シーン分割処理部は、
前記動画像を構成する時系列に並んだ各画像の前記動き量の変化を表わした時系列波形において、予め定められたシーン分割閾値と比較することにより、前記時系列波形を前記シーン分割閾値より大きい部分波形と小さい部分波形とに交互に区分し、
前記動画像において、交互に区分された前記部分波形のそれぞれに対応する部分をそれぞれ１シーンとして、前記動画像を複数のシーンに分割するようにしてもよい。

このようにすれば、時系列波形がシーン分割閾値と一致する点をシーンの分割点として、容易にシーン分割することができる。

上記画像処理装置は、
前記シーン分割処理部は、
前記動画像における前記１組の画像群ごとに、
検出された前記動き量と予め定められた動き判定閾値とを比較し、前記動き量が前記動き判定閾値より大きい場合には、前記基準画像と前記対象画像との画像間で動きがあることを示す第１の情報を前記基準画像に対応づけて記憶し、前記動き量が前記動き判定閾値より小さい場合には、前記基準画像と前記対象画像との間で動きがないことを示す第２の情報を前記基準画像に対応づけて記憶し、
前記１組の画像群で前記基準画像と設定された画像を時系列順に並べ、その画像に対応づけられて記憶された前記第１の情報または前記第２の情報がそれぞれ前記第２の情報または前記第１の情報へ転換する前の前記画像をシーンの終了画像、転換した後の前記画像をシーンの開始画像として、前記動画像を複数のシーンに分割するようにしてもよい。

このようにすれば、動画像において、時系列に並べられた各画像に対応づけられる第１の情報もしくは第２の情報の転換点は、すなわち、動きのあるなしを表す転換点となり、その転換点をシーンの分割点とすることで、動画像を容易にシーン分割することができる。

上記画像処理装置は、
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定し、前記シーン分割閾値より小さい部分波形に対応する前記シーンを静止領域シーンと判定するシーン判定部と、
外部からの指示に基づいて、判定された前記動領域シーンもしくは前記静止領域シーンを選択的に表示する画像表示部とを備えるようにしてもよい。

このようにすれば、動領域シーンまたは静止領域シーンを、ユーザが任意に選択して上記画像表示部に表示することができる。

上記画像処理装置は、
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定する動領域シーン判定部と、
前記動領域シーンに関する情報を記憶する動領域情報記憶部と、
前記動領域シーンの動き状況を判別し、判別結果を前記動領域シーンに対応づけて動領域シーン情報として前記動領域情報記憶部に記憶する動領域シーン処理部とを備えるようにしてもよい。

このようにすれば、例えば、記憶された判別結果に基づき、ユーザの所望する動き状況に合う動領域シーンを検索することができる。

上記画像処理装置は、
前記動領域シーン処理部は、
前記動領域シーンにおける前記時系列波形の形状から、前記動領域シーンの前記動き状況を判別するようにしてもよい。

上述したように、上記動領域シーンを構成するすべての画像の動き量はシーン分割閾値より大きく、動領域シーンにおいて、各画像中の被写体は、連続して動いている。従って、動き量の時系列な変化を表わす時系列波形は、動領域シーン中の被写体の動きを如実に表わすので、その動き状況を判別することができる。なお、上記時系列波形は、例えば、重み付け移動平均法等で、平滑化されてもよい。

上記画像処理装置は、
外部から指示される検索条件と一致する前記動き状況を前記動領域シーン情報から探索し、前記検索条件と一致した前記動き状況に対応する前記動領域シーンを抽出する動領域探索部を備えるようにしてもよい。

このようにすれば、ユーザは、所望する条件にあった動領域シーンを容易に取得することができる。

なお、本発明は、上記した画像処理装置などの装置発明の態様に限ることなく、画像処理方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。

また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。

以下では、本発明の実施の形態を実施例に基づいて以下の手順で説明する。
Ａ．第１の実施例：
Ａ１．画像処理装置の構成：
Ａ２．動き量算出処理：
Ａ３．シーン分割処理：
Ａ４．画像表示処理：
Ａ５．実施例の効果：
Ｂ．第２の実施例：
Ｂ１．画像処理装置の構成：
Ｂ２．動き種別判別処理：
Ｂ３．動領域検索処理：
Ｂ４．実施例の効果：
Ｃ．変形例：

Ａ．第１の実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１の実施例としての画像処理装置の概略構成を示す説明図である。本実施例の画像処理装置は、動画像において、被写体の動きを検出し、動きがあるかどうかにより、動画像を複数のシーンに分割する機能を備えている。この画像処理装置は、汎用のパーソナルコンピュータであり、コンピュータ１００に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０と、動画像データなど、種々のデータを記憶することが可能なハードディスク２５０と、を備えている。また、コンピュータ１００に動画像データを入力する装置としてデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他、ＤＶＤドライブ等の、種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。ハードディスク２５０には、少なくとも後述する動き量Ｓｔを記憶する動き量テーブル、後述するシーンフラグを記憶するシーンフラグテーブル、および後述する動領域フラグなどを記憶するシーン情報テーブルが用意されている。

なお、本実施例においては、動画像データは、所定のデジタルビデオカメラ（以下、ビデオカメラとも呼ぶ。）で撮影することにより生成されたこととする。動画像データを構成する画像データは、フレーム画像データとする。このフレーム画像データが表す画像をフレーム画像とも呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。また、フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す画素データで構成されている。画素データは、Ｙ（輝度）、Ｃｂ(ブルーの色差)，Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等である。

コンピュータ１００は、ＣＰＵ２００と、ＲＡＭ２２０と、各種プログラムが格納されているＲＯＭ２３０と、入力インターフェイス部２４０とを備え、それぞれがバスを介して接続されている。また、コンピュータ１００は、ＣＰＵ２００がＲＯＭ２３０から所望のプログラムを読み出し、ＲＡＭ２２０に展開して実行することで、図に示すように、画像処理部２９０、動画像データ取得部３００、動き量検出部３１０、位置ずれ量推定部３２０、シーン分割処理部３３０として機能する。

入力インターフェイス部２４０は、インタフェースボード（図示せず）に含まれ、上述のディスプレイ１５０、キーボード１２０、マウス１３０、およびデジタルビデオカメラ３０と、コンピュータ１００の各部とをバスを介して接続する。

画像処理部２９０は、キーボード１２０やマウス１３０からユーザによって動画像の再生の指示が入力されると、ＣＤ−Ｒ／ＲＷドライブ１４０内に挿入されるＣＤ−ＲＯＭやＣＤ−ＲＷ、デジタルビデオカメラ３０、あるいはハードディスク２５０などからＲＡＭ２２０内に動画像データに含まれるフレーム画像データを時系列に読み込む。そして、そのＲＡＭ２２０内に読み込まれたフレーム画像データの表すフレーム画像（静止画像）をビデオドライバを介してディスプレイ１５０に時系列順に表示する。このようにして、ディスプレイ１５０上で動画像が表示される。また、画像処理部２９０は、後述する画像表示処理も行う。この処理についての詳細は、後述する。

動画像データ取得部３００は、キーボード１２０やマウス１３０からユーザによってフレーム画像データの取得指示が入力されることにより動画像データを取得する。

位置ずれ量推定部３２０は、位置ずれ量の推定を行う。ここで、「位置ずれ」とは、被写体（撮影対象物自体）の局所的な動きなどに起因するものではなく、パンやチルトなどのカメラワークや、「手ぶれ」のように、ビデオカメラの向きの変化のみに起因するものとする。従って、「位置ずれ量」とは、フレーム画像間において、全ての画素が同じ量だけずれるようなずれ量をいう。

動き量検出部３１０は、動画像データから時系列に連続する２つのフレーム画像データを取得する。また、それらのフレーム画像データの表わすフレーム画像間の動き量を求め、記憶する。ここで、「動き量」とは、位置ずれを含まず、フレーム画像間における被写体の本来の動きを表わす量である。

シーン分割処理部３３０は、動き量検出部３１０で求めた動き量に基づき、動画像を複数のシーンに分割するシーン分割処理を行う。この処理についての詳細は、後述する。

Ａ２．動き量算出処理：
それでは、本実施例における処理として、まず、動き量算出処理について説明する。この動き量算出処理では、動画像データを取得し、取得した動画像データ内のすべてのフレーム画像データにおいて動き量を算出し、その動き量を各フレーム画像データに対応づけて記憶する。

図２は、本実施例における動き量の算出処理を示すフローチャートである。
まず、ステップＳ１００の処理で、動画像データ取得部３００は、キーボード１２０やマウス１３０からユーザによって動画像データの取得指示が入力されることにより動画像データを取得する。

なお、本実施例では、取得された動画像データは、１０００個のフレーム画像データで構成されるものとする。また、これらのフレーム画像データにおいて、各フレーム画像データの時系列上での順番を意味するフレーム番号が付与される。すなわち、最初のフレーム画像データから順番に１，２，３...，１０００と番号が付与されるものとする。例えば、時系列上で最初のフレーム画像データの順番をフレーム番号１とし、時系列上で最後のフレーム画像データの順番をフレーム番号１０００とする。

ステップＳ１１０の処理では、動き量検出部３１０は、取得した動画像データを構成する１０００個のフレーム画像データにおいてそれらのフレーム番号のそれぞれに対応づけて、以下のごとく、動き量Ｓｔがハードディスク２５０に記憶されたかどうかを判断する。

１０００個のフレーム画像データのそれぞれのフレーム番号のうち、動き量が対応づけられて記憶されていないフレーム番号が残っている場合（ステップＳ１１０：ＹＥＳ）は、ステップＳ１２０の処理で、動き量検出部３１０は、動画像データから時系列に連続する２つのフレーム画像データを取得する。なお、以下では、取得する２つのフレーム画像データのうち、時系列順で後のフレーム画像データを基準フレーム画像データＦとして選択し、時系列順で前のフレーム画像データを対象フレーム画像データＧとして選択することとする。さらに、基準フレーム画像データＦが表わす画像を基準フレーム画像Ｆと呼び、対象フレーム画像データＧが表わす画像対象フレーム画像Ｇと呼ぶ。

次に、ステップＳ１３０の処理で、位置ずれ量推定部３２０は、基準フレーム画像Ｆと対象フレーム画像Ｇとの位置ずれ量を推定する。以下に、位置ずれについて説明する。

図３は、本実施例における基準フレーム画像Ｆと対象フレーム画像Ｇとの間の位置ずれ及びその補正について示す説明図である。図の(ａ)は、基準フレーム画像Ｆと対象フレーム画像Ｇとの間の位置ずれについて説明する図である。(ａ)の各フレーム画像には月と山と走行中の車が示されている。また、基準フレーム画像Ｆに対する、対象フレーム画像Ｇの位置ずれ量を分かり易く示すため、基準フレーム画像Ｆの縁と、対象フレーム画像Ｇの縁とを重ねて示すとともに、基準フレーム画像Ｆ上の中心位置に仮想の十字画像ＸＦを追記し、この十字画像ＸＦが、対象フレーム画像Ｇと共にずれたとして、対象フレーム画像Ｇ上に、ずれた結果の画像である十字画像ＸＧを示すようにしている。更に、この位置ずれ量を、分かり易く示すために、基準フレーム画像Ｆ、および十字画像ＸＦを太い実線で示すとともに、対象フレーム画像Ｇ、および十字画像ＸＧを細い破線で示すようにしている。（ａ）に示すように、十字画像ＸＦの中心から十字画像ＸＧの中心へのベクトル量が、位置ずれ量となる。本実施例では、横方向の位置ずれを「ｕ」，縦方向の位置ずれを「ｖ」として、位置ずれ量を（ｕ，ｖ）で表わす。ステップＳ１３０の処理において、位置ずれ量推定部３２０は、この位置ずれ量（ｕ，ｖ）を、画像間のずれを推定する一般的な手法である、パターンマッチ法や勾配法等により推定することとする。

ところで、基準フレーム画像Ｆと対象フレーム画像Ｇとの間における局所的な動き、すなわち、画像中の被写体における本来の動き（車の動き）の動き量を求めるためには、画像間で発生している上述した位置ずれをキャンセルする必要がある。

図３の（ｂ）は、基準フレーム画像Ｆと対象フレーム画像Ｇとの間の位置ずれをキャンセルした後の図である。（ｂ）のごとく、対象フレーム画像Ｇの各画素の位置を、位置ずれ量（ｕ，ｖ）とは逆のベクトル量（−ｕ，−ｖ）分ほど移動させることにより、位置ずれをキャンセルすることができる。（ｂ）においては、（ａ）と同じ仮想の十字画像ＸＦ、およびＸＧが表記されており、位置ずれキャンセルの結果、十字画像ＸＧは、十字画像ＸＦと一致する。従って、（ｂ）には、被写体である車において、位置ずれがキャンセルされた本来の動きが表現されている。この時、基準フレーム画像Ｆの或る位置の座標が（ｘ，ｙ）であるとすると、位置ずれキャンセル後における、基準フレーム画像Ｆと対応する対象フレーム画像Ｇの座標は、上記逆ベクトル量を用いて（ｘ−ｕ，ｙ−ｖ）となる。このように、位置ずれキャンセル後における、基準フレーム画像Ｆの画素（ｘ，ｙ）と対応する位置にある対象フレーム画像Ｇの画素（ｘ−ｕ，ｙ−ｖ）を位置補正画素とも呼ぶ。

続いて、ステップＳ１４０の処理では、動き量検出部３１０は、基準フレーム画像Ｆの各画素の画素値と、それらの画素に対応する対象フレーム画像Ｇの各位置補正画素の画素値との差分の絶対値をとった画素値差分Ｄｆ（ｘ，ｙ）を算出する。この場合において、基準フレーム画像Ｆの画素（ｘ，ｙ）に対する対象フレーム画像Ｇの位置補正画素は、上述のごとく位置ずれをキャンセルした後の画素(ｘ−ｕ，ｙ−ｖ)となっている。従って、基準フレーム画像の画素（ｘ，ｙ）における画素値をＦ（ｘ，ｙ）とし、対象フレーム画像Ｇの画素（ｘ−ｕ，ｙ−ｖ）における画素値をＧ（ｘ−ｕ，ｙ−ｖ）とすると、画素値差分Ｄｆ（ｘ，ｙ）は、式（１）により算出する。
画素値差分Ｄｆ（ｘ，ｙ）＝｜Ｆ（ｘ，ｙ）−Ｇ(ｘ−ｕ，ｙ−ｖ）｜...（１）

次に、ステップＳ１５０の処理では、動き量検出部３１０は、上述の処理で求めた基準フレーム画像Ｆの各画素と、対象フレーム画像Ｇとの各位置補正画素における画素値差分Ｄｆの総和ＳＳを式（２）より算出する。
画素値差分の総和ＳＳ＝ΣＤｆ（ｘ，ｙ）...（２）
この画素値差分の総和ＳＳは、位置ずれキャンセル後のフレーム画像間の対応する各画素間の画素値の変化の総量を表わす。フレーム画像間で被写体が動いていると、基準フレーム画像Ｆの各画素の画素値に対するそれらの画素に対応する対象フレーム画像Ｇの各位置補正画素の画素値は被写体の動きに応じて変化し、その結果、被写体の動きはこの画素値差分の総和ＳＳに反映される。従って、この画素値差分の総和ＳＳは、フレーム画像間における位置ずれをキャンセルした被写体の本来の動きを表わす量、すなわち、動き量とみなすことができる。このことから、動き量検出部３１０は、式（２）において画素値差分Ｄｆの総和ＳＳを動き量Ｓｔに置き換えた式（３）より、動き量Ｓｔを算出する。
動き量Ｓｔ＝ΣＤｆ（ｘ，ｙ）...（３）

図４は、本実施例における動き量Ｓｔを記憶する動き量テーブルを示す模式図である。
次に、ステップＳ１６０の処理で、動き量検出部３１０は、算出した動き量Ｓｔを、図４に示すように、ハードディスク２５０内に用意された動き量テーブルに基準フレーム画像Ｆのフレーム番号に対応づけて記憶する。

動き量検出部３１０は、上述したステップＳ１２０（図２）の処理で、２つのフレーム画像データを、フレーム番号１，２、フレーム番号２，３、フレーム番号３，４、・・・、という具合にフレーム番号順（時系列）に取得し、取得した２つのフレーム画像データごとに、上述したステップＳ１３０〜ステップＳ１６０の処理を繰り返し行い、図４に示すように、動画像データを構成する１０００個すべてのフレーム画像データにおいて、それらのフレーム番号に対応づけて動き量Ｓｔを記憶する。そして、動き量が対応づけられて記憶されていないフレーム番号が残っていない場合（ステップＳ１１０：ＮＯ）には、この動き量の算出処理を終了する。

図５は、本実施例において動き量テーブルに記憶されたフレーム番号および動き量Ｓｔを用いて、動画像における動き量Ｓｔの時系列な変化を表わしたグラフＺを示す図である。図では、横軸はフレーム番号、縦軸は動き量Ｓｔを表わしている。フレーム番号は、上述したように時系列順に並んでいるので、図のグラフＺは、上述の動画像中における被写体の動きの時系列な変化を表わす。

Ａ３．シーン分割処理：
次に、本実施例の処理として、シーン分割処理について説明する。このシーン分割処理では、上述で求めた動き量Ｓｔに基づいて、動画像を複数のシーンに分割し、それらの情報を記憶する。

図６は、本実施例におけるシーン分割処理を示すフローチャートである。
まず、ステップＳ２００の処理で、シーン分割処理部３３０は、１０００個のフレーム画像データにおいて、それらのフレーム番号のそれぞれに対応づけて、以下のごとく、後述のシーンフラグテーブルにシーンフラグが記憶されたかどうかを判断する。

１０００個のフレーム画像データのそれぞれのフレーム番号のうち、シーンフラグが対応づけられて記憶されていないフレーム番号が残っている場合（ステップＳ２００：ＹＥＳ）は、ステップＳ２０５の処理で、シーン分割処理部３３０は、時系列順に１つのフレーム番号を読み込む。

続いて、ステップＳ２１０の処理で、シーン分割処理部３３０は、動き量テーブル（図４）からステップＳ２０５の処理で取得したフレーム番号に対応するフレーム画像データの動き量Ｓｔを読み込む。

次に、シーン分割処理部３３０は、ステップＳ２２０の処理で、読み込んだ動き量Ｓｔと予め設定される閾値Ｔｈと比較し、その結果をステップＳ２３０もしくはステップＳ２４０の処理において図７に示すシーンフラグテーブルに記憶する。

図７は、本実施例におけるシーンフラグを記憶するシーンフラグテーブルを示す模式図である。
シーン分割処理部３３０は、動き量Ｓｔが予め定められた閾値Ｔｈより大きい場合（ステップＳ２２０：ＹＥＳ）には、ステップＳ２０５の処理で読み込んだフレーム番号に対応するフレーム画像データは動きがあるフレーム画像データと判断する。そこで、シーン分割処理部３３０は、ステップＳ２３０の処理で、図７に示すように、ハードディスク２５０内に用意されるシーンフラグテーブルにそのフレーム番号に対応づけてシーンフラグを１として記憶する。

シーン分割処理部３３０は、動き量Ｓｔが予め定められた閾値Ｔｈ以下の場合（ステップＳ２２０：ＮＯ）には、ステップＳ２０５の処理で読み込んだフレーム番号に対応するフレーム画像データは動きがないフレーム画像データと判断する。そこで、シーン分割処理部３３０は、ステップＳ２４０の処理で、図７に示すように、シーンフラグテーブルにフレーム番号に対応づけてシーンフラグを０として記憶する。

シーン分割処理部３３０は、上述したステップＳ２００〜ステップＳ２４０の処理を繰り返し行い、図７に示すように、動画像データを構成する１０００個すべてのフレーム画像データにおいて、それらのフレーム番号に対応づけてシーンフラグを記憶する。

すべてのフレーム画像データにおけるフレーム番号に対応づけて、シーンフラグを記憶し、１０００個のフレーム画像データのそれぞれのフレーム番号のうち、シーンフラグが対応づけられて記憶されていないフレーム番号が残っていない場合（ステップＳ２００：ＮＯ）には、続いて、ステップＳ２５０の処理で、シーン分割処理部３３０は、すべてのフレーム画像データに対してノイズ除去処理を行う。

本実施例では、シーン分割処理部３３０は、シーンフラグテーブル（図７）において、一度シーンフラグが転換し、その転換後のシーンフラグが４つ以上連続せず再度シーンフラグの転換が生じた場合に、シーンフラグが転換し、再度転換するまでの間のフレーム画像データをノイズとみなす。このようなノイズが発生すると、後述のステップＳ２６０の処理でシーン分割する際に誤ってノイズ部分をシーン分割してしまい、頻繁にシーン分割が行われることになる。そこで、このステップＳ２５０の処理においてノイズ除去を行う。

図８は、本実施例におけるノイズ除去処理を説明するための模式図である。（ａ）は、グラフＺ（図５）の点線で囲われたＸＨ部分にあるフレーム番号に対応するシーンフラグテーブルを示している。図８（ｂ）は、フレーム番号ｎ〜フレーム番号（ｎ＋２）のシーンフラグを１から０に反転させた様子を示している。

例えば、図５に示す動画像の時系列な動きを表わしたグラフＺにおいて、ＸＨ部分のフレーム番号に対応するフレーム画像データの動き量Ｓｔに着目すると、フレーム番号ｎ〜フレーム番号（ｎ＋２）の部分のみ突発的に動き量Ｓｔが検出されている。そして、（ａ）に示すように、ＸＨ部分においてフレーム番号ｎ〜フレーム番号（ｎ＋２）に対応するシーンフラグのみ「１」となっている。シーン分割処理部３３０は、このようにシーンフラグの転換がなされたフレーム番号ｎ〜フレーム番号（ｎ＋２）に該当するフレーム画像データを、ノイズとみなす。

ノイズ除去として、シーン分割処理部３３０は、図８（ｂ）のごとく、シーンフラグテーブル（図７）において、一度シーンフラグが転換し、その転換後のシーンフラグが４つ以上連続せず再度シーンフラグの転換が生じた部分について、その部分におけるシーンフラグを反転させることで、ノイズを除去する。

続いて、ステップＳ２６０の処理で、シーン分割処理部３３０は、シーンフラグテーブル（図７）において、シーンフラグが転換する前のフレーム番号に対応するフレーム画像データを或るシーンの終了フレーム画像データ、シーンフラグが転換した後のフレーム番号に対応するフレーム画像データを次のシーンの開始フレーム画像データとして、動画像データを複数のシーンに分割する。以下に、図９を用いて、シーン分割について具体的に説明する。

図９は、本実施例における動画像データのシーン分割を説明する図である。図９は、図７と同じシーンフラグテーブルを表わす。図９において、フレーム番号（ｐ−１）（１≦ｐ≦１０００，ｐ：整数）に対応するフレーム画像データと、フレーム番号（ｐ）に対応するフレーム画像データとの間でシーンフラグが転換するので、この間でシーンの切り替えがなされる。そして、フレーム番号（ｐ−１）に対応するフレーム画像データが、シーンＸ（Ｘ：自然数）の終了フレーム画像データとなり、フレーム番号（ｐ）に対応するフレーム画像データがシーン（Ｘ＋１）の開始フレーム画像データとなる。なお、本実施例では、シーン分割処理部３３０は、シーンＸのように、シーン中の各フレーム画像データにおけるシーンフラグが１の場合には、シーン中の各フレーム画像データにおいて被写体に動きがあるので、このようなシーンを動領域シーンと判断する。逆に、シーン分割処理部３３０は、シーン（Ｘ＋１）のように、シーン中の各フレーム画像データにおけるシーンフラグが０の場合には、シーン中の各フレーム画像データにおいて被写体に動きがないので、このようなシーンを静止領域シーンと判断する。

本実施例では、こうしたシーン分割がなされることにより、動画像データは７つのシーンに分割されることとし、分割した各シーンを、時系列の順番にシーン１、シーン２・・・シーン７とする。

次に、ステップＳ２７０の処理で、シーン分割処理部３３０は、分割した各シーンのサムネイル画像を作成する。具体的には、シーン分割処理部３３０は、シーンの開始フレーム画像データをもとにサムネイル画像を作成し、ファイル名をつけてハードディスク２５０の所定の領域に保存する。なお、本実施例では、ファイル名は、サムネイル画像のもととなったフレーム画像データのフレーム番号とする。

ステップＳ２８０の処理で、シーン分割処理部３３０は、シーンごとに動領域シーンか静止領域シーンかを示す動領域フラグ、開始フレーム番号、終了フレーム番号およびサムネイル画像ファイル名などの所定の情報を、ハードディスク２５０内のシーン情報テーブルに記憶する。

図１０は、本実施例におけるシーンごとの動領域フラグなどを記憶するシーン情報テーブルを示す模式図である。図に示すように、シーン情報テーブルには、動領域フラグ、開始フレーム番号、終了フレーム番号および、サムネイル画像ファイル名が記憶できるようになっている。シーン分割処理部３３０は、各シーンにおいて、図に示すように、ステップＳ２６０の処理で動領域シーンと判断したシーンについては、動領域フラグを１として記憶し、ステップＳ２６０の処理で静止領域シーンと判断したシーンについては、動領域フラグを０として記憶する。また、シーン分割処理部３３０は、各シーンの開始フレーム画像データのフレーム番号、および終了フレーム画像データのフレーム番号をそれぞれ、開始フレーム番号、および終了フレーム番号として記憶する。さらに、シーン分割処理部３３０は、ステップＳ２７０の処理で記憶したサムネイル画像のファイル名をシーンごとに記憶する。

図１１は、本実施例の動画像における動き量Ｓｔの時系列な変化を表わしたグラフＺと、各シーンとの関係を説明する図である。図に示すように、７つに分割されたシーンのうち動きがあるシーン（動き量Ｓｔ＞Ｔｈ）は、動領域シーンとなっており、動きがないシーン（動き量≦Ｔｈ）は、静止領域シーンとなっていることがわかる。また、グラフＺの動領域シーンにおける動き量Ｓｔの時系列な波形は、被写体の動きの時系列な変化、すなわち、被写体の様々な動きのシチュエーションを表わす。これについての詳細は、第２の実施例で述べる。

Ａ４．画像表示処理：
次に、上述のシーン分割処理の結果を用いて、動画像における動領域シーンと静止領域シーンとを識別することができる画像表示処理を説明する。

図１２は、本実施例における動画像を表示する表示ウィンドウＷの一例を示す説明図である。この表示ウィンドウＷにおいて、（ａ）は、動画像の動領域シーンを表示し、（ｂ）は、動画像の静止領域シーンを表示している。なお、この表示ウィンドウＷは、画像処理部２９０（図１）によって生成されて、ディスプレイ１５０に表示される。

表示ウィンドウＷは、動画像表示領域４００、動画像操作領域４１０、インジゲータ４２０を備えている。インジゲータ４２０は、スライダ４３０および動領域シーン識別マーク４４０からなる。動画像操作領域４１０は、動画像の再生、停止などを行うための種々のボタンを備えている。インジゲータ４２０において、その幅ＸＩは、動画像表示領域４００に表示される動画像の時間的な長さを示しており、スライダ４３０の位置により、動画像表示領域４００に表示される動画像の時間的な位置が決定される。また、動領域シーン識別マーク４４０は、動画像における動領域シーンの時間的な位置および時間的な長さを示している。

それでは、画像表示処理について以下に説明する。
ユーザにより、デジタルビデオカメラ３０などに記憶された動画像データが指定されると、表示ウィンドウＷをディスプレイ１５０に表示させると共に、その動画像データに対して上述した動き量の算出処理およびシーン分割処理が実行される。その後、画像処理部２９０は、指定された動画像データの表わす動画像の開始フレーム画像（すなわち、フレーム番号１のフレーム画像データの表わすフレーム画像）を表示ウィンドウＷの動画像表示領域４００に表示する。

次に、画像処理部２９０は、シーン情報テーブルに記憶された各シーンの情報をＲＡＭ２２０に読み出し、動領域フラグが１である全ての動領域シーンにおける開始および終了フレーム番号から、動画像における動領域シーンの時間的な位置および時間的な長さを決定し、図１２に示すように、インジゲータ４２０上に、動領域シーンを表わす動領域シーン識別マーク４４０を表示する。

図１２（ａ）において、ユーザがマウス１３０を操作することにより、スライダ４３０を動領域シーン識別マーク４４０に重ねて、動画像操作領域４１０の再生ボタンを押すと、画像処理部２９０は、スライダ４３０を重ねた動領域シーン識別マーク４４０の位置に対応する動画像を再生する。従って、この再生される動画像のシーンは、動領域シーンとなる。

また、図１２（ｂ）において、ユーザがマウス１３０を操作することにより、スライダ４３０を動領域シーン識別マーク４４０ではない部分に重ねて、動画像操作領域４１０の再生ボタンを押すと、画像処理部２９０は、スライダ４３０を重ねた位置に対応する動画像を再生する。従って、この再生される動画像のシーンは、動領域シーン以外のシーン、すなわち、静止領域シーンとなる。

以上のようにすれば、動画像において、動領域シーンと静止領域シーンを識別することができ、ユーザは、スライダ４３０を移動させることにより、動領域シーンおよび静止領域シーンを任意に選択して、動画像表示領域４００に動画像を再生することができる。

また、上述のシーン情報テーブルに記憶されたサムネイル画像の情報は、例えば、ユーザが、動画像において複数ある動領域シーンの中で所望するシーンを検索したい場合に用いることができる。この場合、画像処理部２９０（図１）は、シーン情報テーブルに記憶された各シーンの情報をＲＡＭ２２０に読み出し、動領域フラグが１のシーンにおけるサムネイル画像ファイル名に該当するサムネイル画像をハードディスク２５０から取得し、それらをディスプレイ１５０に表示させる。その後、ユーザがマウス１３０等によりサムネイル画像を選択すると、画像処理部２９０は、シーン情報テーブルから選択されたサムネイル画像のファイル名が記憶されているシーンにおける開始および終了フレーム番号を読み出す。画像処理部２９０は、読み出したそれらのフレーム番号間のすべてのフレーム画像データをハードディスク２５０から取得し、それらのフレーム画像データをディスプレイ１５０に時系列に表示する。このようにして、ユーザの所望する動領域シーンをディスプレイ１５０に再生することができる。

Ａ５．実施例の効果：
以上のように、本実施例の画像処理装置は、動画像データを取得し、図４に示すごとく、動画像データを構成するすべてのフレーム画像データにおいて、それらのフレーム番号に対応づけて動き量Ｓｔを記憶する。一方で、上述のごとく動画像をシーン分割する際には、フレーム画像データにおける動きのあるなしを表わすシーンフラグ（図９）を参照し、その転換点をシーンの切り替え点としている。このシーンフラグは、動き量Ｓｔと閾値Ｔｈとを比較することで決定される（図６、ステップＳ２２０）。そして、このシーンフラグにおいて動きがあることを表わすシーンフラグが連続しているシーンを動領域シーンとしている。従って、例えば、閾値Ｔｈを大きく設定すると、動きがあることを表わすシーンフラグの数が少なくなり、動領域シーンは、縮小される。すなわち、例えば、アクションシーンやスポーツシーンなどのように動きの激しいものや被写体の大きなものを表わすシーンとなる。反対に、閾値Ｔｈを小さく設定すると、動きがあることを表わすシーンフラグの数が多くなり、動領域シーンは、拡大される。すなわち、より細かな動きを含んだシーンとなる。以上より、動画像データ全体について算出した動き量Ｓｔを記憶しておけば、ユーザが閾値Ｔｈを設定変更することにより、記憶した動き量Ｓｔと、変更させた閾値Ｔｈとを比較することで、新たにシーンフラグを設定しなおすことができ、シーンの切り替え点を変更することができる。その結果、動画像をユーザが所望する動きの程度に合わせて、シーン分割することが可能となる。

また、本実施例の画像処理装置は、上述のように、位置ずれキャンセル後のフレーム画像間の対応する各画素間の画素値の変化の総量を表す画素値差分の総和ＳＳを算出している（図２、ステップＳ１５０）。フレーム画像間で被写体が動いていると、フレーム画像間において対応する各画素間の画素値も被写体の動きに応じて変化し、その結果、被写体の動きはこの画素値差分の総和ＳＳに反映される。そして、本実施例では、この画素値差分の総和ＳＳを動き量として求めている。従って、このようにして求めた動き量は、フレーム画像間における位置ずれをキャンセルした被写体の本来の動きの大きさを精度よく表わすことができる。さらに、この動き量に基づいて、シーンフラグを設定するので、そのシーンフラグは精度よく動きのあるなしを表す。その結果、このようにして設定された各シーンフラグの転換点をシーンの分割点として動画像を複数のシーンに分割することができ、適切なシーン分割を行うことができる。

さらに、本実施例の画像処理装置は、上述のように、シーンフラグテーブルにおいて、一度シーンフラグが転換し、その転換後のシーンフラグが４つ以上連続せず再度シーンフラグの転換が生じた部分について、ノイズと判断し、その部分におけるシーンフラグを反転させることで、ノイズを除去するようにしている。このようにすれば、シーン分割処理で動画像をシーン分割する（ステップＳ２６０）際に、誤ってノイズ部分をシーン分割してしまうことがなく、シーン分割を適切に行うことができる。

Ｂ．第２の実施例：
本発明の第２の実施例について以下に説明する。本発明における第２の実施例は、基本的に第１の実施例と同様の構成となっており、シーン分割処理部３３０が行うシーン分割処理（図６、ステップＳ２８０）までの動作は、第１の実施例の画像処理装置と同じである。従って、それらの動作の説明については省略する。

本実施例の画像処理装置は、第１の実施例の画像処理装置と同様に、シーン分割処理までの動作を行い、その後、動き種別判別処理を行う点で、第１の実施例の画像処理装置と異なる。以下では、本実施例における画像処理装置について、主に、第１の実施例と相違する動作および処理について説明する。

Ｂ１．画像処理装置の構成：
図１３は、本発明における第２の実施例としての画像処理装置の概略構成を示す説明図である。本実施例の画像処理装置は第１の実施例の画像処理装置と同様に汎用のパーソナルコンピュータであり、これをコンピュータ１０１とする。本実施例のコンピュータ１０１は、第１の実施例のコンピュータ１００とほとんど同様であるが、コンピュータ１００の機能に加えて、ＣＰＵ２００がＲＯＭ２３０からプログラムを読み出し、ＲＡＭ２２０に展開して実行することで、図に示すように、動領域シーン処理部５００、動き種別判別部５１０としても機能する。

動領域シーン処理部５００は、各動領域シーンを、動きのシチュエーションにより複数のカテゴリに判別する動き種別判別処理を行う。

動き種別判別部５１０は、後述の動き種別判別処理において、動き種別の判別を行う。
画像処理部２９０は、第１の実施例の機能に加えて後述の動領域検索処理を行う。

Ｂ２．動き種別判別処理：
以下に、動き種別判別処理について説明する。上述のごとく、シーン分割処理を行うと、その後、この動き種別判別処理が行われる。この動き種別判別処理では、各動領域シーンの情報を取得し、それらの情報に基づき、各動領域シーンを動きのシチュエーションにより複数のカテゴリに判別し、その結果を記憶する。

図１４は、本実施例における動き種別判別処理を示すフローチャートである。
まず、ステップＳ５００の処理で、動領域シーン処理部５００は、すべての動領域シーンのそれぞれにおいて、以下のごとく動き種別の判別結果が記憶されたかどうかを判断する。

図１５は、本実施例におけるシーンごとの動き種別を記憶する動き種別フラグテーブルを示す模式図である。図に示すように、動き種別フラグテーブルは、シーン情報テーブルの各シーンに対応してハードディスク２５０内に用意され、動領域シーンにおける動き種別フラグ、すなわち、被写体中心撮影シーン、横切るシーン、遠のくシーン、近づくシーンおよび等距離シーンの各フラグが記憶できるようになっている。これらの動き種別についての詳細は、後述する。

動き種別の判別結果が記憶されていない動領域シーンが残っている場合（ステップＳ５００：ＹＥＳ）は、ステップＳ５１０の処理で、動領域シーン処理部５００は、動き種別の判別結果が記憶されていない動領域シーン（以下では、動領域シーンＹとも呼ぶ。）を選択し、その動領域シーンＹに関する情報を取得する。具体的には、動領域シーン処理部５００は、シーン情報テーブル（図１０）において動領域フラグが１である動領域シーンのうち、動き種別フラグテーブル（図１５）に記憶される動き種別の判別結果が記憶されていない動領域シーンＹ（すなわち、動き種別フラグが記憶されていない動領域シーンＹ）を選択し、開始および終了フレーム番号を読み出す。そして、動き量テーブル（図４）から、その開始フレーム番号から終了フレーム番号までの間にある各フレーム番号に対応するフレーム画像データの動き量Ｓｔをそれぞれ読み出し、取得する。

ところで、上述したように、グラフＺ（図１１）の動領域シーンにおける動き量Ｓｔの時系列な波形は、被写体の動きの時系列な変化、すなわち、被写体の様々な動きのシチュエーションを表わす。

そこで、ステップＳ５２０の処理（図１４）では、動領域シーン処理部５００は、動領域シーンＹにおいて、取得した動領域シーン情報に基づいて、動領域シーンにおける様々な動きのシチュエーションを示す動き量Ｓｔの時系列な波形（図１１、グラフＺ）を平滑化して、時系列な平滑化波形を作成する。本実施例では、動領域シーン処理部５００は、この平滑化波形を、取得した動領域シーン情報に基づき、公知の重み付け移動平均法を用いることにより作成する。なお、この重み付け移動平均法は、注目するフレーム番号に対応するフレーム画像データの動き量を重要視しつつ、そのフレーム番号の前後のフレーム番号に対応するフレーム画像データの動き量も考慮することで、動き量を時系列に平滑化する方法である。このステップＳ５２０の処理において、例えば、シーン１およびシーン７（図１１）の平滑化波形を作成すれば、図１６のように示される。

図１６は、動領域シーンにおける動き量Ｓｔの時系列な平滑化波形の一例を示す説明図である。（ａ）は、シーン１（図１１）における動き量Ｓｔの時系列な平滑化波形を示し、（ｂ）は、シーン７（図１１）における動き量Ｓｔの時系列な平滑化波形を示す。

この時系列な平滑化波形において、開始フレーム番号をＦｓ、終了フレーム番号をＦｅとする。また、動領域シーンにおいてＦｓを０とし、Ｆｅを１とすると、その１／４地点のフレーム番号をＦｑ、３／４地点のフレーム番号をＦ３ｑとする。ＦｑおよびＦ３ｑは、以下に示す式（４）、（５）によりそれぞれ算出する。なお、ｉｎｔ（）は、値の整数部を取出す関数である。
Ｆｑ＝ｉｎｔ（（３×Ｆｓ＋Ｆｅ）／４）...（４）
Ｆ３ｑ＝ｉｎｔ（（Ｆｓ＋３×Ｆｅ）／４）...（５）

また、平滑化波形において、最大値をとるフレーム番号をＦｐとし、極大値（Ｌｏｃａｌ Ｍａｘｉｍｕｍ）の数ＮをＬｐ（Ｎ）とする。（ａ）に示すように、シーン１の場合には、それぞれ、Ｆｓ：１、Ｆｅ：１１７、Ｆｑ：３０、Ｆ３ｑ：８８、Ｆｐ：１００、Ｌｐ（１）となっていることがわかる。また、（ｂ）に示すように、シーン７の場合には、それぞれ、Ｆｓ：７５０、Ｆｅ：１０００、Ｆｑ：８１２、Ｆ３ｑ：９３７、Ｆｐ：７９０、ＬｐＮ：（３）となっていることがわかる。

続いて、ステップＳ５３０の処理（図１４）では、動き種別判別部５１０は、動領域シーンＹにおいて、作成した平滑化波形に基づいて、その動領域シーンを複数のカテゴリに判別する動き種別の判別を行う。

図１７は、本実施例における動き種別の判別を示すフローチャートである。
まず、ステップＳ５３５の処理で、動き種別判別部５１０は、シーン情報テーブル（図１５）から、作成された平滑化波形に該当する動領域シーンＹにおける開始および終了フレーム番号を読み出すことにより、ＦｓおよびＦｅを設定する。

次に、ステップＳ５４０の処理（図１７）で、動き種別判別部５１０は、設定したＦｓおよびＦｅを上述した式（４）および（５）に代入することにより、ＦｑおよびＦ３ｑを算出する。

続いて、ステップＳ５４５の処理で、動き種別判別部５１０は、Ｆｐ、Ｌｐ（Ｎ）の検索を行う。

そして、ステップＳ５５０の処理（図１７）で、動き種別判別部５１０は、検索したＬｐ（Ｎ）が２以上であるかどうかを判断する。

動き種別判別部５１０は、Ｌｐ（Ｎ）が２以上である場合（ステップＳ５５０：ＹＥＳ）、すなわち、平滑化波形の極大値の数が２つ以上ある場合には、ステップＳ５５５の処理で、被写体中心撮影シーンと判別する。このように判別する理由を以下に示す。

平滑化波形の極大値が２つ以上あるということは、動き量のピークが２つ以上あるということである。このピークは、被写体の動きの転換点を表わすので、このピークが２つ以上あるということは、撮影時に被写体が撮影領域の略中心で様々な動きをしていることを表わす。従って、動き種別判別部５１０は、平滑化波形の極大値の数が２つ以上ある場合に、被写体中心撮影シーンと判別する。

例えば、動き種別判別部５１０は、シーン７において平滑化波形は、図１６に示すごとく、Ｌｐ（３）であるので、シーン７を、被写体中心撮影シーンとして判別する。

動き種別判別部５１０は、Ｌｐ（Ｎ）が２未満である場合（ステップＳ５５０：Ｎｏ）、すなわち、平滑化波形の極大値の数が２つ未満である場合には、ステップＳ５６０の処理で、横切るシーンと判別する。このように判別する理由を以下に示す。

上述において、シーンの分割（図６、ステップＳ２６０）は、シーンフラグの転換点、すなわち、被写体が動いているかどうかの境目で行われる。そして、動領域シーンにおいて、シーンの始まりでは、被写体が動き始め、シーンの終わりではほとんど被写体の動きがなくなり、動領域シーン中は、必ず被写体は動いている。従って、動画像が動領域シーン中に切れている場合を除き、平滑化波形は少なくとも１つの極大値を有する。このことから、このステップＳ５５０処理において、Ｌｐ（Ｎ）が２未満である場合とは、平滑化波形の極大値の数が１つの場合であり、すなわち、動画像において被写体の動き量が単調に増加し、極大となり、その後単調に減少するようなシーンに該当する。このようなシーンとしては、以下に示す３つのパターンのいずれかに該当すると考えられる。
パターン１：ビデオカメラの撮影領域において、撮影領域外から被写体が表れて、再び撮影領域外に消えていくシーン。
パターン２：ビデオカメラの撮影領域において、被写体が遠くから近づいて来て、撮影領域外に消えていくシーン。
パターン３：ビデオカメラの撮影領域において、撮影領域外から被写体が表れて、被写体が遠くへ消えていくシーン。
これらパターン１〜３のそれぞれのシーンは、いずれも被写体が撮影領域を横切るシーンである。

以上より、ステップＳ５６０の処理（図１７）では、動き種別判別部５１０は、平滑化波形において、極大値の数が２つ未満である場合、すなわち、極大値が１つの場合には、横切るシーンとして判別する。

例えば、動き種別判別部５１０は、シーン１における平滑化波形は、図１６に示すごとく、Ｌｐ（１）であるので、シーン１を、横切るシーンとして判別する。

続いて、ステップＳ５５５の処理もしくはステップＳ５６０の処理が終了すると、動き種別判別部５１０は、ステップＳ５６５の処理（図１７）で、平滑化波形においてＦｐがＦｑ以下であるかを判断する。

動き種別判別部５１０は、平滑化波形においてＦｐがＦｑ以下である場合（ステップＳ５６５：ＹＥＳ）には、ステップＳ５７０の処理で、動領域シーンＹを遠のくシーンとして判別する。このように判別する理由を図１８（ａ）を用いて説明する。

図１８は、本実施例において動領域シーンのシーン判別を説明するための図である。図の(ａ)は、遠のくシーンを説明する図であり、（ｂ）は、近づくシーンを説明する図であり、（ｃ）は、等距離シーンを説明する図である。

平滑化波形においてＦｐがＦｑ以下である場合には、図１８の(ａ)に示すように、Ｆｐは、ＦｓとＦｑとの間にある。このことは、動領域シーンＹにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が大きく、そのシーンが終わりに近づくと、被写体の動き量が小さくなっていくことを示す。すなわち、このシーンは、被写体が遠のいていくシーンを示していることになる。従って、平滑化波形においてＦｐがＦｑ以下である場合には、動き種別判別部５１０は、ステップＳ５７０の処理で、動領域シーンＹを遠のくシーンとして判別する。なお、図１８の（ａ）では、動領域シーンＹの平滑化波形が極大値の数が１のみとなっている。しかし、上記条件（Ｆｐ≦Ｆｑ）を満たす平滑化波形において極大値が複数ある場合にも、この動領域シーンＹにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が大きく、そのシーンが終わりに近づくと、被写体の動き量が小さくなる傾向は変らない。従って、動き種別判別部５１０は、平滑化波形において極大値が複数ある場合にも、この処理において、動領域シーンＹを遠のくシーンとして判別する。

動き種別判別部５１０は、ステップＳ５７０の処理で、判別が終了すると、この動き種別の判別を終了する。

動き種別判別部５１０は、平滑化波形においてＦｐがＦｑ以上であり（ステップＳ５６５：ＮＯ）、さらに、ＦｐがＦ３ｑ以上の場合（ステップＳ５７５：ＹＥＳ）には、ステップＳ５８０の処理で、動領域シーンＹを近づくシーンとして判別する。このように判別する理由を図１８（ｂ）を用いて説明する。

平滑化波形においてＦｐがＦ３ｑ以上である場合には、図１８の(ｂ)に示すように、Ｆｐは、Ｆ３ｑと、Ｆｅとの間にある。このことは、動領域シーンＹにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が小さく、そのシーンが終わりに近づくと、被写体の動き量が大きくなっていくことを示す。すなわち、このシーンは、被写体が近づいて来るシーンを示していることになる。従って、平滑化波形においてＦｐがＦ３ｑ以上である場合には、動き種別判別部５１０、ステップＳ５７０の処理で、動領域シーンＹを近づくシーンとして判別する。なお、図１８の（ｂ）では、動領域シーンＹの平滑化波形が極大値の数が１のみとなっている。しかし、上記条件（Ｆ３ｑ≦Ｆｐ）を満たす平滑化波形において極大値が複数ある場合にも、この動領域シーンＹにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が小さく、そのシーンが終わりに近づくと、被写体の動き量が大きくなる傾向は変らない。従って、動き種別判別部５１０は、平滑化波形において極大値が複数ある場合にも、この処理において、動領域シーンＹを近づくシーンとして判別する。

動き種別判別部５１０は、ステップＳ５８０の処理で、判別が終了すると、この動き種別の判別を終了する。

動き種別判別部５１０は、平滑化波形において、ＦｐがＦｑより大きく（ステップＳ５６５：ＮＯ）、Ｆ３ｑより小さい場合（ステップＳ５７５：ＮＯ）であり、さらに、上述したステップＳ５６０の処理で、横切るシーンと判別している場合（ステップＳ５８５：ＹＥＳ）には、ステップＳ５９０の処理（図１７）で、動領域シーンＹを等距離シーンとして判別する。このように判別する理由を図１８（ｃ）を用いて説明する。

平滑化波形においてＦｐがＦｑより大きく、Ｆ３ｑより小さい場合であり、さらに、横切るシーンと判別されている場合には、平滑化波形は、図１８の(ｃ)に示すように、極大値が１つであり、Ｆｐは、Ｆｑと、Ｆ３ｑとの間にある。このことは、動領域シーンＹにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が単調に増加し、中盤では、被写体の動き量が大きくなり、そのシーンが終わりに近づくにつれ、被写体の動き量が単調に減少していくことを示す。このようなシーンは、撮影領域において、撮影領域外から被写体が表れて、再び撮影領域外に消えていくシーンであり、かつ、撮影するビデオカメラと被写体の距離が略一定であるようなシーンを表わす。従って、このシーンは、被写体がビデオカメラと一定の距離を保つ、すなわち、等距離にあるようなシーンを示していることになる。このことより、平滑化波形においてＦｐがＦｑより大きく、Ｆ３ｑより小さい場合であり、さらに、横切るシーンと判別されている場合には、動き種別判別部５１０、ステップＳ５９０の処理で、動領域シーンＹを等距離シーンとして判別する。

動き種別判別部５１０は、ステップＳ５９０の処理で、判別が終了した場合、および、ステップＳ５８５の処理で、横切るシーンと判別されなかった場合（ステップＳ５８５：ＮＯ）には、この動き種別の判別を終了する。

動き種別の判別が終了すると、続いて、ステップＳ６００の処理（図１４）で、動領域シーン処理部５００は、判別結果を動き種別フラグテーブル（図１５）に記憶する。具体的には、動領域シーン処理部５００は、動領域シーンＹにおいて、上述のステップＳ５３０の処理で、動き種別判別部５１０により判別された動き種別に対して、その動き種別に該当するフラグを１として記憶し、判別されていない動き種別には、その動き種別に該当するフラグを０として記憶する。例えば、動領域シーンであるシーン１において、ステップＳ５３０の処理で、動き種別判別部５１０により動領域シーンＹにおける動き種別が横切るシーンおよび近づくシーンとして判別されると、図１８のごとく、横切るシーンおよび近づくシーンにフラグが１として記憶され、その他の動き種別である被写体中心撮影シーン、遠のくシーンおよび等距離シーンには、フラグが０として記憶される。

以上のようにして、動領域シーン処理部５００は、動領域シーンＹを、シーン情報テーブル（図１５）において動き種別の判別結果が記憶されていない動領域シーンのうち、シーン番号が小さい動領域シーンから順番に選択していき、すべての動領域シーンについて動き種別フラグテーブル（図１５）に、動き種別の判別結果を記憶する。そして、動き種別の判別結果が記憶されていない動領域シーンが残っていない場合（ステップＳ５００：ＮＯ）には、この動き種別判別処理を終了する。

Ｂ３．動領域検索処理：
続いて、上述の動き種別判別処理の結果を用いて、所望の動領域シーンの検索を行う動領域検索処理を説明する。
図１９は、本実施例における動領域シーンの検索を行う動領域検索処理のフローチャートである。

画像処理部２９０は、ユーザにより動領域検索ウィンドウの立ち上げの指示がなされると、まず、ステップＳ８００の処理で、動領域検索ウィンドウＷＷをディスプレイ１５０に表示させる。

図２０は、本実施例における動領域検索ウィンドウＷＷをディスプレイ１５０に表示した様子を表わした図である。動領域検索ウィンドウＷＷにおいて、左側が検索条件表示エリア８００となっており、右側がサムネイル画像表示エリア８３０となっている。検索条件表示エリア８００には、検索条件チェックエリア８１０と検索ボタン８２０が設けられている。検索条件チェックエリア８１０には、検索条件として、「被写体中心撮影シーン」、「横切るシーン」、「遠のくシーン」、「近づくシーン」、および「等距離シーン」がチェックボックス８１５と共に表示されている。ユーザは、チェックボックス８１５にチェックを入れることで、これらの検索条件を選択できる。また、サムネイル画像表示エリア８３０には、検索後にサムネイル画像８４０が表示されるようになっている。

次に、ステップＳ８１０の処理（図１９）で、画像処理部２９０は、検索ボタン８２０が押されたかどうかを判断し、検索ボタン８２０が押された場合（ステップＳ８１０：ＹＥＳ）には、さらに、ユーザにより検索条件が選択されているかどうか、すなわち、検索条件チェックエリア８１０において、チェックボックス８１５にチェックがあるかどうかを判断する。画像処理部２９０は、チェックボックス８１５に１つもチェックがない場合には、ユーザにより検索条件が選択されていないので、ステップＳ８３０の処理で、「検索条件を選択してください。」等のエラーメッセージ（図示せず）をディスプレイ１５０にポップアップさせて、検索条件を選択するように指示し、ステップＳ８１０の処理にリターンする。また、画像処理部２９０は、ステップＳ８１０の処理で、検索ボタン８２０が押されていない場合（ステップＳ８１０：ＮＯ）には、検索ボタン８２０が押されるまで待機する。

画像処理部２９０は、ユーザにより検索条件が選択されている場合、すなわち、検索条件チェックエリア８１０において、チェックボックス８１５にチェックがある場合（ステップＳ８２０：ＹＥＳ）には、ステップＳ８４０の処理（図１９）で、各動領域シーンの動き種別情報をＲＡＭ２２０に読み出す。具体的には、画像処理部２９０は、シーン情報テーブル（図１５）において動領域フラグが１である動領域シーンのシーン番号を認定し、動き種別フラグテーブル（図１５）から、その認定した動領域シーンのシーン番号に対応する動き種別情報をＲＡＭ２２０に読み出す。

続いて、ステップＳ８５０の処理で、画像処理部２９０は、読み出した各動領域シーンの動き種別情報と、ユーザにより選択された検索条件とが一致する動領域シーンを探索する。例えば、画像処理部２９０は、ユーザにより選択された検索条件が、近づくシーンであった場合には、読み出した各動領域シーンの動き種別情報において、近づくシーンフラグが１である動領域シーンを探索する。なお、他の動き種別フラグについても同様に探索される。

探索が終了すると、ステップＳ８６０の処理で、画像処理部２９０は、探索の結果、ユーザにより選択された検索条件とが一致した動領域シーンにおいて、そのシーン番号におけるサムネイルファイル名を、シーン情報テーブルからＲＡＭ２２０に読み出す。例えば、画像処理部２９０は、ユーザにより選択された検索条件が、近づくシーンであった場合には、読み出した各動領域シーンの動き種別情報において、近づくシーンフラグが１である動領域シーンを検索条件に一致した動領域シーンとして、そのシーン番号におけるサムネイルファイル名を、シーン情報テーブル（図１５）からＲＡＭ２２０に読み出す。

次に、ステップＳ８７０の処理で（図１９）、画像処理部２９０は、読み出したサムネイルファイル名に該当するサムネイル画像をハードディスク２５０からＲＡＭ２２０に読み出し、サムネイル画像表示エリア８３０に表示させる。画像処理部２９０は、ステップＳ８７０の処理が終了すると、この動領域検索処理を終了する。

なお、ユーザが、サムネイル画像表示エリア８３０に表示されたサムネイル画像８４０をＷクリックすると、画像処理部２９０は、そのサムネイル画像８４０のサムネイル画像ファイル名が記憶されている動領域シーンをディスプレイ１５０に再生表示する。

Ｂ４．実施例の効果：
以上のように、本実施例の画像処理装置は、動き種別判別処理（図１４）で、動領域シーンにおける動き量Ｓｔを時系列に平滑化した波形を作成し（図１４、ステップＳ５２０）、その平滑化波形の形状から、動領域シーンを５つの動きのシチュエーションに判別（ステップＳ５３０）している。上述したように、シーンの分割は、動きのあるなしにより行われるので、動領域シーンにおいて、被写体は、途切れることなく連続して動く。そのため、動き量Ｓｔの時系列な変化を表わす平滑化波形は、被写体の動きを如実に表わす。従って、この平滑化波形の形状の特徴と、５つの動きシチュエーションを考慮した条件とを比較することで、動領域シーンを平滑化波形の形状から容易に５つの動きのシチュエーションに判別することができる。さらに、この判別結果を動き種別フラグテーブル（図１５）に記憶している（図１４、ステップＳ５４０）。このようにすれば、記憶された判別結果に基づき、ユーザの所望する動きのシチュエーションに合う動領域シーンを検索することができる。

また、本実施例の画像処理装置は、上述のように動領域検索処理で、動き種別フラグテーブル（図１５）における動き種別情報を読み出し、ユーザが指定する検索条件と一致する動領域シーンを探索する。そして、検索条件と一致した動領域シーンにおいて、その動領域シーンを示すサムネイル画像８４０を動領域検索ウィンドウＷＷ（図２０）のサムネイル画像表示エリア８３０に表示する。このようにすれば、ユーザの所望する条件にあった動領域シーンが幾つあり、それらの動領域シーンは概ねどのようなシーンであるかを容易に知ることができる。また、ユーザは、サムネイル画像表示エリア８３０に表示されたサムネイル画像８４０をＷクリックすることにより、所望する動領域シーンをディスプレイ１５０に再生表示することができる。

Ｃ．変形例：
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。

Ｃ１．変形例１：
上記実施例では、動画像データを取得し、その動画像データをシーン分割するようにしているが、本発明はこれに限られるものではない。例えば、取得した動画像データを所定の方法で、幾つかに区分し、その区分された動画像データを上述のごとくシーン分割するようにしてもよい。

Ｃ２．変形例２：
上記実施例では、動画像において一度シーンフラグが転換し、その転換後のシーンフラグが４つ以上連続せず再度シーンフラグの転換が生じた部分におけるフレーム画像データをノイズとみなしているが、本発明はこれに限られるものではない。ノイズとみなす部分のフレーム画像データの数について、例えば、４〜２０個のフレーム画像データとしてもよい。

Ｃ３．変形例３：
上記第２の実施例では、動領域シーン処理部５００は、ステップＳ５２０の処理（図１４）において、波形の平滑化方法として、重み付け移動平均法を用いているが、本発明はこれに限られるものではなく種々の平滑化方法を用いることが可能である。例えば、最小二乗近似法やＳａｖｉｔｚ−Ｇｏｌａｙ法などの平滑化方法を用いてもよい。

Ｃ４．変形例４：
上記実施例において、取得する動画像データ（図２、ステップＳ１００）は１０００個のフレーム画像データで構成されることとしているが、本発明はこれに限られるものではない。取得する動画像データは、１０００個未満もしくは、１００１個以上のフレーム画像で構成されるようにしてもよい。

Ｃ５．変形例５：
上記実施例では、画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。

Ｃ６．変形例６：
上記実施例では、画像処理装置として、パーソナルコンピュータ（ＰＣ）を採用しているが、本発明はこれに限られるものではない。上述の画像処理装置がビデオカメラ，デジタルカメラ，プリンタ，ＤＶＤプレーヤ，ビデオテーププレーヤ，ハードディスクプレーヤ，カメラ付き携帯電話などに内蔵されてもよい。

Ｃ７．変形例７：
上記実施例では、フレーム画像間の位置ずれをキャンセル後、基準フレーム画像における各画素とそれらに対応する対象フレーム画像の各画素の画素値の差分絶対値を算出し、その総和を動き量としているが、本発明はこれに限られるものではない。例えば、基準フレーム画像を所定数のブロックに分け、同じように対象フレーム画像もブロックに分ける。そして、フレーム画像間の位置ずれをキャンセル後、基準フレーム画像における各ブロックとそれらに対応する対象フレーム画像の各ブロックの平均画素値の差分の絶対値を算出し、その総和を動き量としてもよい。

Ｃ８．変形例８：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の第１の実施例としての画像処理装置の概略構成を示す説明図である。 第１の実施例における動き量の算出処理を示すフローチャートである。 第１の実施例における基準フレーム画像Ｆと対象フレーム画像Ｇとの間の位置ずれ及びその補正について示す説明図である。 第１の実施例における動き量Ｓｔを記憶する動き量テーブルを示す模式図である。 第１の実施例において動き量テーブルに記憶されたフレーム番号および動き量Ｓｔを用いて動画像における動き量Ｓｔの時系列な変化を表わしたグラフＺを示す図である。 第１の実施例におけるシーン分割処理を示すフローチャートである。 第１の実施例におけるシーンフラグを記憶するシーンフラグテーブルを示す模式図である。 第１の実施例におけるノイズ除去処理を説明するための模式図である。 第１の実施例における動画像データのシーン分割を説明する図である。 第１の実施例におけるシーンごとの動領域フラグなどを記憶するシーン情報テーブルを示す模式図である。 第１の実施例の動画像における動き量Ｓｔの時系列な変化を表わしたグラフＺと各シーンとの関係を説明する図である。 第１の実施例における動画像を表示する表示ウィンドウＷの一例を示す説明図である。 本発明における第２の実施例としての画像処理装置の概略構成を示す説明図である。 第２の実施例における動き種別判別処理を示すフローチャートである。 第２の実施例におけるシーンごとの動き種別を記憶する動き種別フラグテーブルを示す模式図である。 動領域シーンにおける動き量Ｓｔの時系列な平滑化波形の一例を示す説明図である。 第２の実施例における動き種別の判別を示すフローチャートである。 第２の実施例において動領域シーンのシーン判別を説明するための図である。 第２の実施例における動領域シーンの検索を行う動領域検索処理のフローチャートである。 第２の実施例における動領域検索ウィンドウＷＷをディスプレイ１５０に表示した様子を表わした図である。

符号の説明

３０...デジタルビデオカメラ
１００...コンピュータ
１０１...コンピュータ
１２０...キーボード
１３０...マウス
１５０...ディスプレイ
２４０...入力インターフェイス部
２５０...ハードディスク
２９０...画像処理部
３００...動画像データ取得部
３１０...動き量検出部
３２０...位置ずれ量推定部
３３０...シーン分割処理部
４００...動画像表示領域
４１０...動画像操作領域
４２０...インジゲータ
４３０...スライダ
４４０...動領域シーン識別マーク
５００...動領域シーン処理部
５１０...動き種別判別部
８００...検索条件表示エリア
８１０...検索条件チェックエリア
８１５...チェックボックス
８２０...検索ボタン
８３０...サムネイル画像表示エリア
８４０...サムネイル画像

Claims (12)

1. 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理装置であって、
   前記複数の画像から２つの画像を１組の画像群として、時系列順に順次設定し、設定された前記１組の画像群ごとに、２つの画像のうち、一方を基準画像、他方を対象画像として設定すると共に、
   前記基準画像と前記対象画像との画像間の動きを表わす動き量を検出する動き量検出部と、
   検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する動き量記憶部とを備え、
   前記動き量検出部は、前記動き量を検出する際、
   前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定して、該対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出し、それら算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記動き量として検出することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記動き量検出部は、前記動き量を検出する際、
   前記基準画像と前記対象画像との画像間の位置ずれ量を推定し、
   前記基準画素ごとに、前記対象画素を設定する場合には、前記対象画像における前記基準画素に対応する位置から、推定した前記位置ずれ量分だけずらした位置にある画素を対象画素として設定することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   検出された各動き量に基づいて前記動画像を複数のシーンに分割するシーン分割処理部を備えることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記シーン分割処理部は、
   前記動画像を構成する時系列に並んだ各画像の前記動き量の変化を表わした時系列波形において、予め定められたシーン分割閾値と比較することにより、前記時系列波形を前記シーン分割閾値より大きい部分波形と小さい部分波形とに交互に区分し、
   前記動画像において、交互に区分された前記部分波形のそれぞれに対応する部分をそれぞれ１シーンとして、前記動画像を複数のシーンに分割することを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記シーン分割処理部は、
   前記動画像における前記１組の画像群ごとに、
   検出された前記動き量と予め定められた動き判定閾値とを比較し、前記動き量が前記動き判定閾値より大きい場合には、前記基準画像と前記対象画像との画像間で動きがあることを示す第１の情報を前記基準画像に対応づけて記憶し、前記動き量が前記動き判定閾値より小さい場合には、前記基準画像と前記対象画像との間で動きがないことを示す第２の情報を前記基準画像に対応づけて記憶し、
   前記１組の画像群で前記基準画像と設定された画像を時系列順に並べ、その画像に対応づけられて記憶された前記第１の情報または前記第２の情報がそれぞれ前記第２の情報または前記第１の情報へ転換する前の前記画像をシーンの終了画像、転換した後の前記画像をシーンの開始画像として、前記動画像を複数のシーンに分割することを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置において、
   前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定し、前記シーン分割閾値より小さい部分波形に対応する前記シーンを静止領域シーンと判定するシーン判定部と、
   外部からの指示に基づいて、判定された前記動領域シーンもしくは前記静止領域シーンを選択的に表示する画像表示部とを備えることを特徴とする画像処理装置。
7. 請求項４または請求項６に記載の画像処理装置において、
   前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定する動領域シーン判定部と、
   前記動領域シーンに関する情報を記憶する動領域情報記憶部と、
   前記動領域シーンの動き状況を判別し、判別結果を前記動領域シーンに対応づけて動領域シーン情報として前記動領域情報記憶部に記憶する動領域シーン処理部とを備えることを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記動領域シーン処理部は、
   前記動領域シーンにおける前記時系列波形の形状から、前記動領域シーンの前記動き状況を判別することを特徴とする画像処理装置。
9. 請求項７または請求項８に記載の画像処理装置において、
   外部から指示される検索条件と一致する前記動き状況を前記動領域シーン情報から探索し、前記検索条件と一致した前記動き状況に対応する前記動領域シーンを抽出する動領域探索部を備えることを特徴とする画像処理装置。
10. 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理方法であって、
    （ａ）前記複数の画像から２つの画像を１組の画像群として、時系列順に順次設定する工程と、
    （ｂ）設定された前記１組の画像群ごとに、２つの画像のうち、一方を基準画像、他方を対象画像として設定する工程と、
    （ｃ）前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定する工程と、
    （ｄ）前記対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出する工程と、
    （ｅ）算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記基準画像と前記対象画像との画像間の動きを表わす動き量として検出する工程と
    （ｆ）検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する工程と、
    を備えることを特徴とする画像処理方法。
11. 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割するコンピュータプログラムであって、
    前記複数の画像から２つの画像を１組の画像群として、時系列順に順次設定する機能と、
    設定された前記１組の画像群ごとに、２つの画像のうち、一方を基準画像、他方を対象画像として設定する機能と、
    前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定する機能と、
    前記対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出する機能と、
    算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記基準画像と前記対象画像との画像間の動きを表わす動き量として検出する機能と
    検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する機能と、
    をコンピュータに実現させるコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images