JP2005286524A - 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 Download PDFInfo
- Publication number
- JP2005286524A JP2005286524A JP2004095101A JP2004095101A JP2005286524A JP 2005286524 A JP2005286524 A JP 2005286524A JP 2004095101 A JP2004095101 A JP 2004095101A JP 2004095101 A JP2004095101 A JP 2004095101A JP 2005286524 A JP2005286524 A JP 2005286524A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene
- motion
- moving
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】 本発明は、動画像において、被写体の動きに応じて、適切にシーン分割する技術を提供すること。
【解決手段】 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理方法であって、複数の画像から2つの画像を1組の画像群として、時系列順に順次設定する。設定された1組の画像群ごとに、2つの画像のうち、一方を基準画像、他方を対象画像として設定する。基準画像において、基準となる基準画素を順次設定し、設定した基準画素ごとに、対象画像における基準画素に対応した位置にある画素を対象画素として設定する。対象画素の画素値と基準画素の画素値との差分の絶対値をそれぞれ算出する。算出した絶対値の総和を求め、求めた絶対値の総和を基準画像と対象画像との画像間の動きを表わす動き量として検出する。検出した動き量を基準画像に該当する画像に対応づけて記憶する。
【選択図】 図2
【解決手段】 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理方法であって、複数の画像から2つの画像を1組の画像群として、時系列順に順次設定する。設定された1組の画像群ごとに、2つの画像のうち、一方を基準画像、他方を対象画像として設定する。基準画像において、基準となる基準画素を順次設定し、設定した基準画素ごとに、対象画像における基準画素に対応した位置にある画素を対象画素として設定する。対象画素の画素値と基準画素の画素値との差分の絶対値をそれぞれ算出する。算出した絶対値の総和を求め、求めた絶対値の総和を基準画像と対象画像との画像間の動きを表わす動き量として検出する。検出した動き量を基準画像に該当する画像に対応づけて記憶する。
【選択図】 図2
Description
本発明は、動画像を複数のシーンに分割する技術に関する。
デジタルビデオ等で撮影した動画像を表わす動画像データは、複数の画像データ(例えば、フレーム画像データなど。)から構成される。
従来、動画像データからダイジェストを作成したりする場合などに、その動画像データを複数のシーンに分割することが行われている。このような場合に、その動画像データが表わす動画像内のある対象物(以下、被写体とも呼ぶ。)に「動き」があるかないかでシーンに分割することがある。
従来、動画像データからダイジェストを作成したりする場合などに、その動画像データを複数のシーンに分割することが行われている。このような場合に、その動画像データが表わす動画像内のある対象物(以下、被写体とも呼ぶ。)に「動き」があるかないかでシーンに分割することがある。
上述のように、動画像データを動きがあるかないかで複数のシーンに分割する場合に、動画像において被写体が動いているにも関わらず、被写体の動作状況によって、被写体が動いていないと誤認してシーンの切り替わりを特定できない可能性があった。
本発明は、上記課題にかんがみてなされたもので、動画像において、被写体の動きに応じて、適切にシーン分割する技術を提供することを目的とする。
上記目的の少なくとも一部を達成するために、本発明の画像処理装置は、時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理装置であって、
前記複数の画像から2つの画像を1組の画像群として、時系列順に順次設定し、設定された前記1組の画像群ごとに、2つの画像のうち、一方を基準画像、他方を対象画像として設定すると共に、
前記基準画像と前記対象画像との画像間の動きを表わす動き量を検出する動き量検出部と、
検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する動き量記憶部とを備え、
前記動き量検出部は、前記動き量を検出する際、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定して、該対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出し、それら算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記動き量として検出することを要旨とする。
前記複数の画像から2つの画像を1組の画像群として、時系列順に順次設定し、設定された前記1組の画像群ごとに、2つの画像のうち、一方を基準画像、他方を対象画像として設定すると共に、
前記基準画像と前記対象画像との画像間の動きを表わす動き量を検出する動き量検出部と、
検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する動き量記憶部とを備え、
前記動き量検出部は、前記動き量を検出する際、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定して、該対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出し、それら算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記動き量として検出することを要旨とする。
このようにすれば、記憶した動き量を用いて、種々の画像処理を行うことができる。例えば、上述のごとくして記憶した動き量と予め設定される閾値とを比較することで、その動き量が対応づけられている各画像において、動きのあるなしを表わすフラグを設定し、各画像に設定されたフラグの転換点をシーンの切り替え点とし、動画像を動きがあるかないかにより複数のシーンに分割する処理を行うことができる。
上記画像処理装置は、
前記動き量検出部は、前記動き量を検出する際、
前記基準画像と前記対象画像との画像間の位置ずれ量を推定し、
前記基準画素ごとに、前記対象画素を設定する場合には、前記対象画像における前記基準画素に対応する位置から、推定した前記位置ずれ量分だけずらした位置にある画素を対象画素として設定するようにしてもよい。
前記動き量検出部は、前記動き量を検出する際、
前記基準画像と前記対象画像との画像間の位置ずれ量を推定し、
前記基準画素ごとに、前記対象画素を設定する場合には、前記対象画像における前記基準画素に対応する位置から、推定した前記位置ずれ量分だけずらした位置にある画素を対象画素として設定するようにしてもよい。
このようにすれば、基準画像と対象画像の位置ずれをキャンセルすることができるので、正確に動き量を求めることができる。
上記画像処理装置は、
検出された各動き量に基づいて前記動画像を複数のシーンに分割するシーン分割処理部を備えるようにしてもよい。
検出された各動き量に基づいて前記動画像を複数のシーンに分割するシーン分割処理部を備えるようにしてもよい。
上記画像処理装置において算出される絶対値の総和は、基準画像の各画素と、それらの画素位置に対応する対象画像の各画素の画素値との変化の総量を表わす。画像間で被写体が動いていると、その画像間において対応する各画素間の画素値も被写体の動きに応じて変化し、その結果、被写体の動きは上記絶対値の総和に反映される。そして、上記画像処理装置は、この絶対値の総和を動き量として求めている。そのため、このようにして求めた動き量は、被写体の本来の動きの大きさを精度よく表わすことができる。従って、上記画像処理装置の構成によれば、動画像中において被写体に動きがあるかどうかを正確に判断することができ、その分岐点をシーンの分割点として動画像を適切にシーン分割することができる。
上記画像処理装置は、
前記シーン分割処理部は、
前記動画像を構成する時系列に並んだ各画像の前記動き量の変化を表わした時系列波形において、予め定められたシーン分割閾値と比較することにより、前記時系列波形を前記シーン分割閾値より大きい部分波形と小さい部分波形とに交互に区分し、
前記動画像において、交互に区分された前記部分波形のそれぞれに対応する部分をそれぞれ1シーンとして、前記動画像を複数のシーンに分割するようにしてもよい。
前記シーン分割処理部は、
前記動画像を構成する時系列に並んだ各画像の前記動き量の変化を表わした時系列波形において、予め定められたシーン分割閾値と比較することにより、前記時系列波形を前記シーン分割閾値より大きい部分波形と小さい部分波形とに交互に区分し、
前記動画像において、交互に区分された前記部分波形のそれぞれに対応する部分をそれぞれ1シーンとして、前記動画像を複数のシーンに分割するようにしてもよい。
このようにすれば、時系列波形がシーン分割閾値と一致する点をシーンの分割点として、容易にシーン分割することができる。
上記画像処理装置は、
前記シーン分割処理部は、
前記動画像における前記1組の画像群ごとに、
検出された前記動き量と予め定められた動き判定閾値とを比較し、前記動き量が前記動き判定閾値より大きい場合には、前記基準画像と前記対象画像との画像間で動きがあることを示す第1の情報を前記基準画像に対応づけて記憶し、前記動き量が前記動き判定閾値より小さい場合には、前記基準画像と前記対象画像との間で動きがないことを示す第2の情報を前記基準画像に対応づけて記憶し、
前記1組の画像群で前記基準画像と設定された画像を時系列順に並べ、その画像に対応づけられて記憶された前記第1の情報または前記第2の情報がそれぞれ前記第2の情報または前記第1の情報へ転換する前の前記画像をシーンの終了画像、転換した後の前記画像をシーンの開始画像として、前記動画像を複数のシーンに分割するようにしてもよい。
前記シーン分割処理部は、
前記動画像における前記1組の画像群ごとに、
検出された前記動き量と予め定められた動き判定閾値とを比較し、前記動き量が前記動き判定閾値より大きい場合には、前記基準画像と前記対象画像との画像間で動きがあることを示す第1の情報を前記基準画像に対応づけて記憶し、前記動き量が前記動き判定閾値より小さい場合には、前記基準画像と前記対象画像との間で動きがないことを示す第2の情報を前記基準画像に対応づけて記憶し、
前記1組の画像群で前記基準画像と設定された画像を時系列順に並べ、その画像に対応づけられて記憶された前記第1の情報または前記第2の情報がそれぞれ前記第2の情報または前記第1の情報へ転換する前の前記画像をシーンの終了画像、転換した後の前記画像をシーンの開始画像として、前記動画像を複数のシーンに分割するようにしてもよい。
このようにすれば、動画像において、時系列に並べられた各画像に対応づけられる第1の情報もしくは第2の情報の転換点は、すなわち、動きのあるなしを表す転換点となり、その転換点をシーンの分割点とすることで、動画像を容易にシーン分割することができる。
上記画像処理装置は、
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定し、前記シーン分割閾値より小さい部分波形に対応する前記シーンを静止領域シーンと判定するシーン判定部と、
外部からの指示に基づいて、判定された前記動領域シーンもしくは前記静止領域シーンを選択的に表示する画像表示部とを備えるようにしてもよい。
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定し、前記シーン分割閾値より小さい部分波形に対応する前記シーンを静止領域シーンと判定するシーン判定部と、
外部からの指示に基づいて、判定された前記動領域シーンもしくは前記静止領域シーンを選択的に表示する画像表示部とを備えるようにしてもよい。
このようにすれば、動領域シーンまたは静止領域シーンを、ユーザが任意に選択して上記画像表示部に表示することができる。
上記画像処理装置は、
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定する動領域シーン判定部と、
前記動領域シーンに関する情報を記憶する動領域情報記憶部と、
前記動領域シーンの動き状況を判別し、判別結果を前記動領域シーンに対応づけて動領域シーン情報として前記動領域情報記憶部に記憶する動領域シーン処理部とを備えるようにしてもよい。
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定する動領域シーン判定部と、
前記動領域シーンに関する情報を記憶する動領域情報記憶部と、
前記動領域シーンの動き状況を判別し、判別結果を前記動領域シーンに対応づけて動領域シーン情報として前記動領域情報記憶部に記憶する動領域シーン処理部とを備えるようにしてもよい。
このようにすれば、例えば、記憶された判別結果に基づき、ユーザの所望する動き状況に合う動領域シーンを検索することができる。
上記画像処理装置は、
前記動領域シーン処理部は、
前記動領域シーンにおける前記時系列波形の形状から、前記動領域シーンの前記動き状況を判別するようにしてもよい。
前記動領域シーン処理部は、
前記動領域シーンにおける前記時系列波形の形状から、前記動領域シーンの前記動き状況を判別するようにしてもよい。
上述したように、上記動領域シーンを構成するすべての画像の動き量はシーン分割閾値より大きく、動領域シーンにおいて、各画像中の被写体は、連続して動いている。従って、動き量の時系列な変化を表わす時系列波形は、動領域シーン中の被写体の動きを如実に表わすので、その動き状況を判別することができる。なお、上記時系列波形は、例えば、重み付け移動平均法等で、平滑化されてもよい。
上記画像処理装置は、
外部から指示される検索条件と一致する前記動き状況を前記動領域シーン情報から探索し、前記検索条件と一致した前記動き状況に対応する前記動領域シーンを抽出する動領域探索部を備えるようにしてもよい。
外部から指示される検索条件と一致する前記動き状況を前記動領域シーン情報から探索し、前記検索条件と一致した前記動き状況に対応する前記動領域シーンを抽出する動領域探索部を備えるようにしてもよい。
このようにすれば、ユーザは、所望する条件にあった動領域シーンを容易に取得することができる。
なお、本発明は、上記した画像処理装置などの装置発明の態様に限ることなく、画像処理方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。
また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。
以下では、本発明の実施の形態を実施例に基づいて以下の手順で説明する。
A.第1の実施例:
A1.画像処理装置の構成:
A2.動き量算出処理:
A3.シーン分割処理:
A4.画像表示処理:
A5.実施例の効果:
B.第2の実施例:
B1.画像処理装置の構成:
B2.動き種別判別処理:
B3.動領域検索処理:
B4.実施例の効果:
C.変形例:
A.第1の実施例:
A1.画像処理装置の構成:
A2.動き量算出処理:
A3.シーン分割処理:
A4.画像表示処理:
A5.実施例の効果:
B.第2の実施例:
B1.画像処理装置の構成:
B2.動き種別判別処理:
B3.動領域検索処理:
B4.実施例の効果:
C.変形例:
A.第1の実施例:
A1.画像処理装置の構成:
図1は、本発明の第1の実施例としての画像処理装置の概略構成を示す説明図である。本実施例の画像処理装置は、動画像において、被写体の動きを検出し、動きがあるかどうかにより、動画像を複数のシーンに分割する機能を備えている。この画像処理装置は、汎用のパーソナルコンピュータであり、コンピュータ100に情報を入力する装置としてのキーボード120およびマウス130と、情報を出力する装置としてのディスプレイ150と、動画像データなど、種々のデータを記憶することが可能なハードディスク250と、を備えている。また、コンピュータ100に動画像データを入力する装置としてデジタルビデオカメラ30およびCD−R/RWドライブ140を備えている。なお、動画像データを入力する装置としては、CD−R/RWドライブの他、DVDドライブ等の、種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。ハードディスク250には、少なくとも後述する動き量Stを記憶する動き量テーブル、後述するシーンフラグを記憶するシーンフラグテーブル、および後述する動領域フラグなどを記憶するシーン情報テーブルが用意されている。
A1.画像処理装置の構成:
図1は、本発明の第1の実施例としての画像処理装置の概略構成を示す説明図である。本実施例の画像処理装置は、動画像において、被写体の動きを検出し、動きがあるかどうかにより、動画像を複数のシーンに分割する機能を備えている。この画像処理装置は、汎用のパーソナルコンピュータであり、コンピュータ100に情報を入力する装置としてのキーボード120およびマウス130と、情報を出力する装置としてのディスプレイ150と、動画像データなど、種々のデータを記憶することが可能なハードディスク250と、を備えている。また、コンピュータ100に動画像データを入力する装置としてデジタルビデオカメラ30およびCD−R/RWドライブ140を備えている。なお、動画像データを入力する装置としては、CD−R/RWドライブの他、DVDドライブ等の、種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。ハードディスク250には、少なくとも後述する動き量Stを記憶する動き量テーブル、後述するシーンフラグを記憶するシーンフラグテーブル、および後述する動領域フラグなどを記憶するシーン情報テーブルが用意されている。
なお、本実施例においては、動画像データは、所定のデジタルビデオカメラ(以下、ビデオカメラとも呼ぶ。)で撮影することにより生成されたこととする。動画像データを構成する画像データは、フレーム画像データとする。このフレーム画像データが表す画像をフレーム画像とも呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。また、フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す画素データで構成されている。画素データは、Y(輝度)、Cb(ブルーの色差),Cr(レッドの色差)からなるYCbCrデータや、R(レッド)、G(グリーン)、B(ブルー)からなるRGBデータ等である。
コンピュータ100は、CPU200と、RAM220と、各種プログラムが格納されているROM230と、入力インターフェイス部240とを備え、それぞれがバスを介して接続されている。また、コンピュータ100は、CPU200がROM230から所望のプログラムを読み出し、RAM220に展開して実行することで、図に示すように、画像処理部290、動画像データ取得部300、動き量検出部310、位置ずれ量推定部320、シーン分割処理部330として機能する。
入力インターフェイス部240は、インタフェースボード(図示せず)に含まれ、上述のディスプレイ150、キーボード120、マウス130、およびデジタルビデオカメラ30と、コンピュータ100の各部とをバスを介して接続する。
画像処理部290は、キーボード120やマウス130からユーザによって動画像の再生の指示が入力されると、CD−R/RWドライブ140内に挿入されるCD−ROMやCD−RW、デジタルビデオカメラ30、あるいはハードディスク250などからRAM220内に動画像データに含まれるフレーム画像データを時系列に読み込む。そして、そのRAM220内に読み込まれたフレーム画像データの表すフレーム画像(静止画像)をビデオドライバを介してディスプレイ150に時系列順に表示する。このようにして、ディスプレイ150上で動画像が表示される。また、画像処理部290は、後述する画像表示処理も行う。この処理についての詳細は、後述する。
動画像データ取得部300は、キーボード120やマウス130からユーザによってフレーム画像データの取得指示が入力されることにより動画像データを取得する。
位置ずれ量推定部320は、位置ずれ量の推定を行う。ここで、「位置ずれ」とは、被写体(撮影対象物自体)の局所的な動きなどに起因するものではなく、パンやチルトなどのカメラワークや、「手ぶれ」のように、ビデオカメラの向きの変化のみに起因するものとする。従って、「位置ずれ量」とは、フレーム画像間において、全ての画素が同じ量だけずれるようなずれ量をいう。
動き量検出部310は、動画像データから時系列に連続する2つのフレーム画像データを取得する。また、それらのフレーム画像データの表わすフレーム画像間の動き量を求め、記憶する。ここで、「動き量」とは、位置ずれを含まず、フレーム画像間における被写体の本来の動きを表わす量である。
シーン分割処理部330は、動き量検出部310で求めた動き量に基づき、動画像を複数のシーンに分割するシーン分割処理を行う。この処理についての詳細は、後述する。
A2.動き量算出処理:
それでは、本実施例における処理として、まず、動き量算出処理について説明する。この動き量算出処理では、動画像データを取得し、取得した動画像データ内のすべてのフレーム画像データにおいて動き量を算出し、その動き量を各フレーム画像データに対応づけて記憶する。
それでは、本実施例における処理として、まず、動き量算出処理について説明する。この動き量算出処理では、動画像データを取得し、取得した動画像データ内のすべてのフレーム画像データにおいて動き量を算出し、その動き量を各フレーム画像データに対応づけて記憶する。
図2は、本実施例における動き量の算出処理を示すフローチャートである。
まず、ステップS100の処理で、動画像データ取得部300は、キーボード120やマウス130からユーザによって動画像データの取得指示が入力されることにより動画像データを取得する。
まず、ステップS100の処理で、動画像データ取得部300は、キーボード120やマウス130からユーザによって動画像データの取得指示が入力されることにより動画像データを取得する。
なお、本実施例では、取得された動画像データは、1000個のフレーム画像データで構成されるものとする。また、これらのフレーム画像データにおいて、各フレーム画像データの時系列上での順番を意味するフレーム番号が付与される。すなわち、最初のフレーム画像データから順番に1,2,3...,1000と番号が付与されるものとする。例えば、時系列上で最初のフレーム画像データの順番をフレーム番号1とし、時系列上で最後のフレーム画像データの順番をフレーム番号1000とする。
ステップS110の処理では、動き量検出部310は、取得した動画像データを構成する1000個のフレーム画像データにおいてそれらのフレーム番号のそれぞれに対応づけて、以下のごとく、動き量Stがハードディスク250に記憶されたかどうかを判断する。
1000個のフレーム画像データのそれぞれのフレーム番号のうち、動き量が対応づけられて記憶されていないフレーム番号が残っている場合(ステップS110:YES)は、ステップS120の処理で、動き量検出部310は、動画像データから時系列に連続する2つのフレーム画像データを取得する。なお、以下では、取得する2つのフレーム画像データのうち、時系列順で後のフレーム画像データを基準フレーム画像データFとして選択し、時系列順で前のフレーム画像データを対象フレーム画像データGとして選択することとする。さらに、基準フレーム画像データFが表わす画像を基準フレーム画像Fと呼び、対象フレーム画像データGが表わす画像対象フレーム画像Gと呼ぶ。
次に、ステップS130の処理で、位置ずれ量推定部320は、基準フレーム画像Fと対象フレーム画像Gとの位置ずれ量を推定する。以下に、位置ずれについて説明する。
図3は、本実施例における基準フレーム画像Fと対象フレーム画像Gとの間の位置ずれ及びその補正について示す説明図である。図の(a)は、基準フレーム画像Fと対象フレーム画像Gとの間の位置ずれについて説明する図である。(a)の各フレーム画像には月と山と走行中の車が示されている。また、基準フレーム画像Fに対する、対象フレーム画像Gの位置ずれ量を分かり易く示すため、基準フレーム画像Fの縁と、対象フレーム画像Gの縁とを重ねて示すとともに、基準フレーム画像F上の中心位置に仮想の十字画像XFを追記し、この十字画像XFが、対象フレーム画像Gと共にずれたとして、対象フレーム画像G上に、ずれた結果の画像である十字画像XGを示すようにしている。更に、この位置ずれ量を、分かり易く示すために、基準フレーム画像F、および十字画像XFを太い実線で示すとともに、対象フレーム画像G、および十字画像XGを細い破線で示すようにしている。(a)に示すように、十字画像XFの中心から十字画像XGの中心へのベクトル量が、位置ずれ量となる。本実施例では、横方向の位置ずれを「u」,縦方向の位置ずれを「v」として、位置ずれ量を(u,v)で表わす。ステップS130の処理において、位置ずれ量推定部320は、この位置ずれ量(u,v)を、画像間のずれを推定する一般的な手法である、パターンマッチ法や勾配法等により推定することとする。
ところで、基準フレーム画像Fと対象フレーム画像Gとの間における局所的な動き、すなわち、画像中の被写体における本来の動き(車の動き)の動き量を求めるためには、画像間で発生している上述した位置ずれをキャンセルする必要がある。
図3の(b)は、基準フレーム画像Fと対象フレーム画像Gとの間の位置ずれをキャンセルした後の図である。(b)のごとく、対象フレーム画像Gの各画素の位置を、位置ずれ量(u,v)とは逆のベクトル量(−u,−v)分ほど移動させることにより、位置ずれをキャンセルすることができる。(b)においては、(a)と同じ仮想の十字画像XF、およびXGが表記されており、位置ずれキャンセルの結果、十字画像XGは、十字画像XFと一致する。従って、(b)には、被写体である車において、位置ずれがキャンセルされた本来の動きが表現されている。この時、基準フレーム画像Fの或る位置の座標が(x,y)であるとすると、位置ずれキャンセル後における、基準フレーム画像Fと対応する対象フレーム画像Gの座標は、上記逆ベクトル量を用いて(x−u,y−v)となる。このように、位置ずれキャンセル後における、基準フレーム画像Fの画素(x,y)と対応する位置にある対象フレーム画像Gの画素(x−u,y−v)を位置補正画素とも呼ぶ。
続いて、ステップS140の処理では、動き量検出部310は、基準フレーム画像Fの各画素の画素値と、それらの画素に対応する対象フレーム画像Gの各位置補正画素の画素値との差分の絶対値をとった画素値差分Df(x,y)を算出する。この場合において、基準フレーム画像Fの画素(x,y)に対する対象フレーム画像Gの位置補正画素は、上述のごとく位置ずれをキャンセルした後の画素(x−u,y−v)となっている。従って、基準フレーム画像の画素(x,y)における画素値をF(x,y)とし、対象フレーム画像Gの画素(x−u,y−v)における画素値をG(x−u,y−v)とすると、画素値差分Df(x,y)は、式(1)により算出する。
画素値差分Df(x,y)=|F(x,y)−G(x−u,y−v)|...(1)
画素値差分Df(x,y)=|F(x,y)−G(x−u,y−v)|...(1)
次に、ステップS150の処理では、動き量検出部310は、上述の処理で求めた基準フレーム画像Fの各画素と、対象フレーム画像Gとの各位置補正画素における画素値差分Dfの総和SSを式(2)より算出する。
画素値差分の総和SS=ΣDf(x,y)...(2)
この画素値差分の総和SSは、位置ずれキャンセル後のフレーム画像間の対応する各画素間の画素値の変化の総量を表わす。フレーム画像間で被写体が動いていると、基準フレーム画像Fの各画素の画素値に対するそれらの画素に対応する対象フレーム画像Gの各位置補正画素の画素値は被写体の動きに応じて変化し、その結果、被写体の動きはこの画素値差分の総和SSに反映される。従って、この画素値差分の総和SSは、フレーム画像間における位置ずれをキャンセルした被写体の本来の動きを表わす量、すなわち、動き量とみなすことができる。このことから、動き量検出部310は、式(2)において画素値差分Dfの総和SSを動き量Stに置き換えた式(3)より、動き量Stを算出する。
動き量St=ΣDf(x,y)...(3)
画素値差分の総和SS=ΣDf(x,y)...(2)
この画素値差分の総和SSは、位置ずれキャンセル後のフレーム画像間の対応する各画素間の画素値の変化の総量を表わす。フレーム画像間で被写体が動いていると、基準フレーム画像Fの各画素の画素値に対するそれらの画素に対応する対象フレーム画像Gの各位置補正画素の画素値は被写体の動きに応じて変化し、その結果、被写体の動きはこの画素値差分の総和SSに反映される。従って、この画素値差分の総和SSは、フレーム画像間における位置ずれをキャンセルした被写体の本来の動きを表わす量、すなわち、動き量とみなすことができる。このことから、動き量検出部310は、式(2)において画素値差分Dfの総和SSを動き量Stに置き換えた式(3)より、動き量Stを算出する。
動き量St=ΣDf(x,y)...(3)
図4は、本実施例における動き量Stを記憶する動き量テーブルを示す模式図である。
次に、ステップS160の処理で、動き量検出部310は、算出した動き量Stを、図4に示すように、ハードディスク250内に用意された動き量テーブルに基準フレーム画像Fのフレーム番号に対応づけて記憶する。
次に、ステップS160の処理で、動き量検出部310は、算出した動き量Stを、図4に示すように、ハードディスク250内に用意された動き量テーブルに基準フレーム画像Fのフレーム番号に対応づけて記憶する。
動き量検出部310は、上述したステップS120(図2)の処理で、2つのフレーム画像データを、フレーム番号1,2、フレーム番号2,3、フレーム番号3,4、・・・、という具合にフレーム番号順(時系列)に取得し、取得した2つのフレーム画像データごとに、上述したステップS130〜ステップS160の処理を繰り返し行い、図4に示すように、動画像データを構成する1000個すべてのフレーム画像データにおいて、それらのフレーム番号に対応づけて動き量Stを記憶する。そして、動き量が対応づけられて記憶されていないフレーム番号が残っていない場合(ステップS110:NO)には、この動き量の算出処理を終了する。
図5は、本実施例において動き量テーブルに記憶されたフレーム番号および動き量Stを用いて、動画像における動き量Stの時系列な変化を表わしたグラフZを示す図である。図では、横軸はフレーム番号、縦軸は動き量Stを表わしている。フレーム番号は、上述したように時系列順に並んでいるので、図のグラフZは、上述の動画像中における被写体の動きの時系列な変化を表わす。
A3.シーン分割処理:
次に、本実施例の処理として、シーン分割処理について説明する。このシーン分割処理では、上述で求めた動き量Stに基づいて、動画像を複数のシーンに分割し、それらの情報を記憶する。
次に、本実施例の処理として、シーン分割処理について説明する。このシーン分割処理では、上述で求めた動き量Stに基づいて、動画像を複数のシーンに分割し、それらの情報を記憶する。
図6は、本実施例におけるシーン分割処理を示すフローチャートである。
まず、ステップS200の処理で、シーン分割処理部330は、1000個のフレーム画像データにおいて、それらのフレーム番号のそれぞれに対応づけて、以下のごとく、後述のシーンフラグテーブルにシーンフラグが記憶されたかどうかを判断する。
まず、ステップS200の処理で、シーン分割処理部330は、1000個のフレーム画像データにおいて、それらのフレーム番号のそれぞれに対応づけて、以下のごとく、後述のシーンフラグテーブルにシーンフラグが記憶されたかどうかを判断する。
1000個のフレーム画像データのそれぞれのフレーム番号のうち、シーンフラグが対応づけられて記憶されていないフレーム番号が残っている場合(ステップS200:YES)は、ステップS205の処理で、シーン分割処理部330は、時系列順に1つのフレーム番号を読み込む。
続いて、ステップS210の処理で、シーン分割処理部330は、動き量テーブル(図4)からステップS205の処理で取得したフレーム番号に対応するフレーム画像データの動き量Stを読み込む。
次に、シーン分割処理部330は、ステップS220の処理で、読み込んだ動き量Stと予め設定される閾値Thと比較し、その結果をステップS230もしくはステップS240の処理において図7に示すシーンフラグテーブルに記憶する。
図7は、本実施例におけるシーンフラグを記憶するシーンフラグテーブルを示す模式図である。
シーン分割処理部330は、動き量Stが予め定められた閾値Thより大きい場合(ステップS220:YES)には、ステップS205の処理で読み込んだフレーム番号に対応するフレーム画像データは動きがあるフレーム画像データと判断する。そこで、シーン分割処理部330は、ステップS230の処理で、図7に示すように、ハードディスク250内に用意されるシーンフラグテーブルにそのフレーム番号に対応づけてシーンフラグを1として記憶する。
シーン分割処理部330は、動き量Stが予め定められた閾値Thより大きい場合(ステップS220:YES)には、ステップS205の処理で読み込んだフレーム番号に対応するフレーム画像データは動きがあるフレーム画像データと判断する。そこで、シーン分割処理部330は、ステップS230の処理で、図7に示すように、ハードディスク250内に用意されるシーンフラグテーブルにそのフレーム番号に対応づけてシーンフラグを1として記憶する。
シーン分割処理部330は、動き量Stが予め定められた閾値Th以下の場合(ステップS220:NO)には、ステップS205の処理で読み込んだフレーム番号に対応するフレーム画像データは動きがないフレーム画像データと判断する。そこで、シーン分割処理部330は、ステップS240の処理で、図7に示すように、シーンフラグテーブルにフレーム番号に対応づけてシーンフラグを0として記憶する。
シーン分割処理部330は、上述したステップS200〜ステップS240の処理を繰り返し行い、図7に示すように、動画像データを構成する1000個すべてのフレーム画像データにおいて、それらのフレーム番号に対応づけてシーンフラグを記憶する。
すべてのフレーム画像データにおけるフレーム番号に対応づけて、シーンフラグを記憶し、1000個のフレーム画像データのそれぞれのフレーム番号のうち、シーンフラグが対応づけられて記憶されていないフレーム番号が残っていない場合(ステップS200:NO)には、続いて、ステップS250の処理で、シーン分割処理部330は、すべてのフレーム画像データに対してノイズ除去処理を行う。
本実施例では、シーン分割処理部330は、シーンフラグテーブル(図7)において、一度シーンフラグが転換し、その転換後のシーンフラグが4つ以上連続せず再度シーンフラグの転換が生じた場合に、シーンフラグが転換し、再度転換するまでの間のフレーム画像データをノイズとみなす。このようなノイズが発生すると、後述のステップS260の処理でシーン分割する際に誤ってノイズ部分をシーン分割してしまい、頻繁にシーン分割が行われることになる。そこで、このステップS250の処理においてノイズ除去を行う。
図8は、本実施例におけるノイズ除去処理を説明するための模式図である。(a)は、グラフZ(図5)の点線で囲われたXH部分にあるフレーム番号に対応するシーンフラグテーブルを示している。図8(b)は、フレーム番号n〜フレーム番号(n+2)のシーンフラグを1から0に反転させた様子を示している。
例えば、図5に示す動画像の時系列な動きを表わしたグラフZにおいて、XH部分のフレーム番号に対応するフレーム画像データの動き量Stに着目すると、フレーム番号n〜フレーム番号(n+2)の部分のみ突発的に動き量Stが検出されている。そして、(a)に示すように、XH部分においてフレーム番号n〜フレーム番号(n+2)に対応するシーンフラグのみ「1」となっている。シーン分割処理部330は、このようにシーンフラグの転換がなされたフレーム番号n〜フレーム番号(n+2)に該当するフレーム画像データを、ノイズとみなす。
ノイズ除去として、シーン分割処理部330は、図8(b)のごとく、シーンフラグテーブル(図7)において、一度シーンフラグが転換し、その転換後のシーンフラグが4つ以上連続せず再度シーンフラグの転換が生じた部分について、その部分におけるシーンフラグを反転させることで、ノイズを除去する。
続いて、ステップS260の処理で、シーン分割処理部330は、シーンフラグテーブル(図7)において、シーンフラグが転換する前のフレーム番号に対応するフレーム画像データを或るシーンの終了フレーム画像データ、シーンフラグが転換した後のフレーム番号に対応するフレーム画像データを次のシーンの開始フレーム画像データとして、動画像データを複数のシーンに分割する。以下に、図9を用いて、シーン分割について具体的に説明する。
図9は、本実施例における動画像データのシーン分割を説明する図である。図9は、図7と同じシーンフラグテーブルを表わす。図9において、フレーム番号(p−1)(1≦p≦1000,p:整数)に対応するフレーム画像データと、フレーム番号(p)に対応するフレーム画像データとの間でシーンフラグが転換するので、この間でシーンの切り替えがなされる。そして、フレーム番号(p−1)に対応するフレーム画像データが、シーンX(X:自然数)の終了フレーム画像データとなり、フレーム番号(p)に対応するフレーム画像データがシーン(X+1)の開始フレーム画像データとなる。なお、本実施例では、シーン分割処理部330は、シーンXのように、シーン中の各フレーム画像データにおけるシーンフラグが1の場合には、シーン中の各フレーム画像データにおいて被写体に動きがあるので、このようなシーンを動領域シーンと判断する。逆に、シーン分割処理部330は、シーン(X+1)のように、シーン中の各フレーム画像データにおけるシーンフラグが0の場合には、シーン中の各フレーム画像データにおいて被写体に動きがないので、このようなシーンを静止領域シーンと判断する。
本実施例では、こうしたシーン分割がなされることにより、動画像データは7つのシーンに分割されることとし、分割した各シーンを、時系列の順番にシーン1、シーン2・・・シーン7とする。
次に、ステップS270の処理で、シーン分割処理部330は、分割した各シーンのサムネイル画像を作成する。具体的には、シーン分割処理部330は、シーンの開始フレーム画像データをもとにサムネイル画像を作成し、ファイル名をつけてハードディスク250の所定の領域に保存する。なお、本実施例では、ファイル名は、サムネイル画像のもととなったフレーム画像データのフレーム番号とする。
ステップS280の処理で、シーン分割処理部330は、シーンごとに動領域シーンか静止領域シーンかを示す動領域フラグ、開始フレーム番号、終了フレーム番号およびサムネイル画像ファイル名などの所定の情報を、ハードディスク250内のシーン情報テーブルに記憶する。
図10は、本実施例におけるシーンごとの動領域フラグなどを記憶するシーン情報テーブルを示す模式図である。図に示すように、シーン情報テーブルには、動領域フラグ、開始フレーム番号、終了フレーム番号および、サムネイル画像ファイル名が記憶できるようになっている。シーン分割処理部330は、各シーンにおいて、図に示すように、ステップS260の処理で動領域シーンと判断したシーンについては、動領域フラグを1として記憶し、ステップS260の処理で静止領域シーンと判断したシーンについては、動領域フラグを0として記憶する。また、シーン分割処理部330は、各シーンの開始フレーム画像データのフレーム番号、および終了フレーム画像データのフレーム番号をそれぞれ、開始フレーム番号、および終了フレーム番号として記憶する。さらに、シーン分割処理部330は、ステップS270の処理で記憶したサムネイル画像のファイル名をシーンごとに記憶する。
図11は、本実施例の動画像における動き量Stの時系列な変化を表わしたグラフZと、各シーンとの関係を説明する図である。図に示すように、7つに分割されたシーンのうち動きがあるシーン(動き量St>Th)は、動領域シーンとなっており、動きがないシーン(動き量≦Th)は、静止領域シーンとなっていることがわかる。また、グラフZの動領域シーンにおける動き量Stの時系列な波形は、被写体の動きの時系列な変化、すなわち、被写体の様々な動きのシチュエーションを表わす。これについての詳細は、第2の実施例で述べる。
A4.画像表示処理:
次に、上述のシーン分割処理の結果を用いて、動画像における動領域シーンと静止領域シーンとを識別することができる画像表示処理を説明する。
次に、上述のシーン分割処理の結果を用いて、動画像における動領域シーンと静止領域シーンとを識別することができる画像表示処理を説明する。
図12は、本実施例における動画像を表示する表示ウィンドウWの一例を示す説明図である。この表示ウィンドウWにおいて、(a)は、動画像の動領域シーンを表示し、(b)は、動画像の静止領域シーンを表示している。なお、この表示ウィンドウWは、画像処理部290(図1)によって生成されて、ディスプレイ150に表示される。
表示ウィンドウWは、動画像表示領域400、動画像操作領域410、インジゲータ420を備えている。インジゲータ420は、スライダ430および動領域シーン識別マーク440からなる。動画像操作領域410は、動画像の再生、停止などを行うための種々のボタンを備えている。インジゲータ420において、その幅XIは、動画像表示領域400に表示される動画像の時間的な長さを示しており、スライダ430の位置により、動画像表示領域400に表示される動画像の時間的な位置が決定される。また、動領域シーン識別マーク440は、動画像における動領域シーンの時間的な位置および時間的な長さを示している。
それでは、画像表示処理について以下に説明する。
ユーザにより、デジタルビデオカメラ30などに記憶された動画像データが指定されると、表示ウィンドウWをディスプレイ150に表示させると共に、その動画像データに対して上述した動き量の算出処理およびシーン分割処理が実行される。その後、画像処理部290は、指定された動画像データの表わす動画像の開始フレーム画像(すなわち、フレーム番号1のフレーム画像データの表わすフレーム画像)を表示ウィンドウWの動画像表示領域400に表示する。
ユーザにより、デジタルビデオカメラ30などに記憶された動画像データが指定されると、表示ウィンドウWをディスプレイ150に表示させると共に、その動画像データに対して上述した動き量の算出処理およびシーン分割処理が実行される。その後、画像処理部290は、指定された動画像データの表わす動画像の開始フレーム画像(すなわち、フレーム番号1のフレーム画像データの表わすフレーム画像)を表示ウィンドウWの動画像表示領域400に表示する。
次に、画像処理部290は、シーン情報テーブルに記憶された各シーンの情報をRAM220に読み出し、動領域フラグが1である全ての動領域シーンにおける開始および終了フレーム番号から、動画像における動領域シーンの時間的な位置および時間的な長さを決定し、図12に示すように、インジゲータ420上に、動領域シーンを表わす動領域シーン識別マーク440を表示する。
図12(a)において、ユーザがマウス130を操作することにより、スライダ430を動領域シーン識別マーク440に重ねて、動画像操作領域410の再生ボタンを押すと、画像処理部290は、スライダ430を重ねた動領域シーン識別マーク440の位置に対応する動画像を再生する。従って、この再生される動画像のシーンは、動領域シーンとなる。
また、図12(b)において、ユーザがマウス130を操作することにより、スライダ430を動領域シーン識別マーク440ではない部分に重ねて、動画像操作領域410の再生ボタンを押すと、画像処理部290は、スライダ430を重ねた位置に対応する動画像を再生する。従って、この再生される動画像のシーンは、動領域シーン以外のシーン、すなわち、静止領域シーンとなる。
以上のようにすれば、動画像において、動領域シーンと静止領域シーンを識別することができ、ユーザは、スライダ430を移動させることにより、動領域シーンおよび静止領域シーンを任意に選択して、動画像表示領域400に動画像を再生することができる。
また、上述のシーン情報テーブルに記憶されたサムネイル画像の情報は、例えば、ユーザが、動画像において複数ある動領域シーンの中で所望するシーンを検索したい場合に用いることができる。この場合、画像処理部290(図1)は、シーン情報テーブルに記憶された各シーンの情報をRAM220に読み出し、動領域フラグが1のシーンにおけるサムネイル画像ファイル名に該当するサムネイル画像をハードディスク250から取得し、それらをディスプレイ150に表示させる。その後、ユーザがマウス130等によりサムネイル画像を選択すると、画像処理部290は、シーン情報テーブルから選択されたサムネイル画像のファイル名が記憶されているシーンにおける開始および終了フレーム番号を読み出す。画像処理部290は、読み出したそれらのフレーム番号間のすべてのフレーム画像データをハードディスク250から取得し、それらのフレーム画像データをディスプレイ150に時系列に表示する。このようにして、ユーザの所望する動領域シーンをディスプレイ150に再生することができる。
A5.実施例の効果:
以上のように、本実施例の画像処理装置は、動画像データを取得し、図4に示すごとく、動画像データを構成するすべてのフレーム画像データにおいて、それらのフレーム番号に対応づけて動き量Stを記憶する。一方で、上述のごとく動画像をシーン分割する際には、フレーム画像データにおける動きのあるなしを表わすシーンフラグ(図9)を参照し、その転換点をシーンの切り替え点としている。このシーンフラグは、動き量Stと閾値Thとを比較することで決定される(図6、ステップS220)。そして、このシーンフラグにおいて動きがあることを表わすシーンフラグが連続しているシーンを動領域シーンとしている。従って、例えば、閾値Thを大きく設定すると、動きがあることを表わすシーンフラグの数が少なくなり、動領域シーンは、縮小される。すなわち、例えば、アクションシーンやスポーツシーンなどのように動きの激しいものや被写体の大きなものを表わすシーンとなる。反対に、閾値Thを小さく設定すると、動きがあることを表わすシーンフラグの数が多くなり、動領域シーンは、拡大される。すなわち、より細かな動きを含んだシーンとなる。以上より、動画像データ全体について算出した動き量Stを記憶しておけば、ユーザが閾値Thを設定変更することにより、記憶した動き量Stと、変更させた閾値Thとを比較することで、新たにシーンフラグを設定しなおすことができ、シーンの切り替え点を変更することができる。その結果、動画像をユーザが所望する動きの程度に合わせて、シーン分割することが可能となる。
以上のように、本実施例の画像処理装置は、動画像データを取得し、図4に示すごとく、動画像データを構成するすべてのフレーム画像データにおいて、それらのフレーム番号に対応づけて動き量Stを記憶する。一方で、上述のごとく動画像をシーン分割する際には、フレーム画像データにおける動きのあるなしを表わすシーンフラグ(図9)を参照し、その転換点をシーンの切り替え点としている。このシーンフラグは、動き量Stと閾値Thとを比較することで決定される(図6、ステップS220)。そして、このシーンフラグにおいて動きがあることを表わすシーンフラグが連続しているシーンを動領域シーンとしている。従って、例えば、閾値Thを大きく設定すると、動きがあることを表わすシーンフラグの数が少なくなり、動領域シーンは、縮小される。すなわち、例えば、アクションシーンやスポーツシーンなどのように動きの激しいものや被写体の大きなものを表わすシーンとなる。反対に、閾値Thを小さく設定すると、動きがあることを表わすシーンフラグの数が多くなり、動領域シーンは、拡大される。すなわち、より細かな動きを含んだシーンとなる。以上より、動画像データ全体について算出した動き量Stを記憶しておけば、ユーザが閾値Thを設定変更することにより、記憶した動き量Stと、変更させた閾値Thとを比較することで、新たにシーンフラグを設定しなおすことができ、シーンの切り替え点を変更することができる。その結果、動画像をユーザが所望する動きの程度に合わせて、シーン分割することが可能となる。
また、本実施例の画像処理装置は、上述のように、位置ずれキャンセル後のフレーム画像間の対応する各画素間の画素値の変化の総量を表す画素値差分の総和SSを算出している(図2、ステップS150)。フレーム画像間で被写体が動いていると、フレーム画像間において対応する各画素間の画素値も被写体の動きに応じて変化し、その結果、被写体の動きはこの画素値差分の総和SSに反映される。そして、本実施例では、この画素値差分の総和SSを動き量として求めている。従って、このようにして求めた動き量は、フレーム画像間における位置ずれをキャンセルした被写体の本来の動きの大きさを精度よく表わすことができる。さらに、この動き量に基づいて、シーンフラグを設定するので、そのシーンフラグは精度よく動きのあるなしを表す。その結果、このようにして設定された各シーンフラグの転換点をシーンの分割点として動画像を複数のシーンに分割することができ、適切なシーン分割を行うことができる。
さらに、本実施例の画像処理装置は、上述のように、シーンフラグテーブルにおいて、一度シーンフラグが転換し、その転換後のシーンフラグが4つ以上連続せず再度シーンフラグの転換が生じた部分について、ノイズと判断し、その部分におけるシーンフラグを反転させることで、ノイズを除去するようにしている。このようにすれば、シーン分割処理で動画像をシーン分割する(ステップS260)際に、誤ってノイズ部分をシーン分割してしまうことがなく、シーン分割を適切に行うことができる。
B.第2の実施例:
本発明の第2の実施例について以下に説明する。本発明における第2の実施例は、基本的に第1の実施例と同様の構成となっており、シーン分割処理部330が行うシーン分割処理(図6、ステップS280)までの動作は、第1の実施例の画像処理装置と同じである。従って、それらの動作の説明については省略する。
本発明の第2の実施例について以下に説明する。本発明における第2の実施例は、基本的に第1の実施例と同様の構成となっており、シーン分割処理部330が行うシーン分割処理(図6、ステップS280)までの動作は、第1の実施例の画像処理装置と同じである。従って、それらの動作の説明については省略する。
本実施例の画像処理装置は、第1の実施例の画像処理装置と同様に、シーン分割処理までの動作を行い、その後、動き種別判別処理を行う点で、第1の実施例の画像処理装置と異なる。以下では、本実施例における画像処理装置について、主に、第1の実施例と相違する動作および処理について説明する。
B1.画像処理装置の構成:
図13は、本発明における第2の実施例としての画像処理装置の概略構成を示す説明図である。本実施例の画像処理装置は第1の実施例の画像処理装置と同様に汎用のパーソナルコンピュータであり、これをコンピュータ101とする。本実施例のコンピュータ101は、第1の実施例のコンピュータ100とほとんど同様であるが、コンピュータ100の機能に加えて、CPU200がROM230からプログラムを読み出し、RAM220に展開して実行することで、図に示すように、動領域シーン処理部500、動き種別判別部510としても機能する。
図13は、本発明における第2の実施例としての画像処理装置の概略構成を示す説明図である。本実施例の画像処理装置は第1の実施例の画像処理装置と同様に汎用のパーソナルコンピュータであり、これをコンピュータ101とする。本実施例のコンピュータ101は、第1の実施例のコンピュータ100とほとんど同様であるが、コンピュータ100の機能に加えて、CPU200がROM230からプログラムを読み出し、RAM220に展開して実行することで、図に示すように、動領域シーン処理部500、動き種別判別部510としても機能する。
動領域シーン処理部500は、各動領域シーンを、動きのシチュエーションにより複数のカテゴリに判別する動き種別判別処理を行う。
動き種別判別部510は、後述の動き種別判別処理において、動き種別の判別を行う。
画像処理部290は、第1の実施例の機能に加えて後述の動領域検索処理を行う。
画像処理部290は、第1の実施例の機能に加えて後述の動領域検索処理を行う。
B2.動き種別判別処理:
以下に、動き種別判別処理について説明する。上述のごとく、シーン分割処理を行うと、その後、この動き種別判別処理が行われる。この動き種別判別処理では、各動領域シーンの情報を取得し、それらの情報に基づき、各動領域シーンを動きのシチュエーションにより複数のカテゴリに判別し、その結果を記憶する。
以下に、動き種別判別処理について説明する。上述のごとく、シーン分割処理を行うと、その後、この動き種別判別処理が行われる。この動き種別判別処理では、各動領域シーンの情報を取得し、それらの情報に基づき、各動領域シーンを動きのシチュエーションにより複数のカテゴリに判別し、その結果を記憶する。
図14は、本実施例における動き種別判別処理を示すフローチャートである。
まず、ステップS500の処理で、動領域シーン処理部500は、すべての動領域シーンのそれぞれにおいて、以下のごとく動き種別の判別結果が記憶されたかどうかを判断する。
まず、ステップS500の処理で、動領域シーン処理部500は、すべての動領域シーンのそれぞれにおいて、以下のごとく動き種別の判別結果が記憶されたかどうかを判断する。
図15は、本実施例におけるシーンごとの動き種別を記憶する動き種別フラグテーブルを示す模式図である。図に示すように、動き種別フラグテーブルは、シーン情報テーブルの各シーンに対応してハードディスク250内に用意され、動領域シーンにおける動き種別フラグ、すなわち、被写体中心撮影シーン、横切るシーン、遠のくシーン、近づくシーンおよび等距離シーンの各フラグが記憶できるようになっている。これらの動き種別についての詳細は、後述する。
動き種別の判別結果が記憶されていない動領域シーンが残っている場合(ステップS500:YES)は、ステップS510の処理で、動領域シーン処理部500は、動き種別の判別結果が記憶されていない動領域シーン(以下では、動領域シーンYとも呼ぶ。)を選択し、その動領域シーンYに関する情報を取得する。具体的には、動領域シーン処理部500は、シーン情報テーブル(図10)において動領域フラグが1である動領域シーンのうち、動き種別フラグテーブル(図15)に記憶される動き種別の判別結果が記憶されていない動領域シーンY(すなわち、動き種別フラグが記憶されていない動領域シーンY)を選択し、開始および終了フレーム番号を読み出す。そして、動き量テーブル(図4)から、その開始フレーム番号から終了フレーム番号までの間にある各フレーム番号に対応するフレーム画像データの動き量Stをそれぞれ読み出し、取得する。
ところで、上述したように、グラフZ(図11)の動領域シーンにおける動き量Stの時系列な波形は、被写体の動きの時系列な変化、すなわち、被写体の様々な動きのシチュエーションを表わす。
そこで、ステップS520の処理(図14)では、動領域シーン処理部500は、動領域シーンYにおいて、取得した動領域シーン情報に基づいて、動領域シーンにおける様々な動きのシチュエーションを示す動き量Stの時系列な波形(図11、グラフZ)を平滑化して、時系列な平滑化波形を作成する。本実施例では、動領域シーン処理部500は、この平滑化波形を、取得した動領域シーン情報に基づき、公知の重み付け移動平均法を用いることにより作成する。なお、この重み付け移動平均法は、注目するフレーム番号に対応するフレーム画像データの動き量を重要視しつつ、そのフレーム番号の前後のフレーム番号に対応するフレーム画像データの動き量も考慮することで、動き量を時系列に平滑化する方法である。このステップS520の処理において、例えば、シーン1およびシーン7(図11)の平滑化波形を作成すれば、図16のように示される。
図16は、動領域シーンにおける動き量Stの時系列な平滑化波形の一例を示す説明図である。(a)は、シーン1(図11)における動き量Stの時系列な平滑化波形を示し、(b)は、シーン7(図11)における動き量Stの時系列な平滑化波形を示す。
この時系列な平滑化波形において、開始フレーム番号をFs、終了フレーム番号をFeとする。また、動領域シーンにおいてFsを0とし、Feを1とすると、その1/4地点のフレーム番号をFq、3/4地点のフレーム番号をF3qとする。FqおよびF3qは、以下に示す式(4)、(5)によりそれぞれ算出する。なお、int()は、値の整数部を取出す関数である。
Fq=int((3×Fs+Fe)/4)...(4)
F3q=int((Fs+3×Fe)/4)...(5)
Fq=int((3×Fs+Fe)/4)...(4)
F3q=int((Fs+3×Fe)/4)...(5)
また、平滑化波形において、最大値をとるフレーム番号をFpとし、極大値(Local Maximum)の数NをLp(N)とする。(a)に示すように、シーン1の場合には、それぞれ、Fs:1、Fe:117、Fq:30、F3q:88、Fp:100、Lp(1)となっていることがわかる。また、(b)に示すように、シーン7の場合には、それぞれ、Fs:750、Fe:1000、Fq:812、F3q:937、Fp:790、LpN:(3)となっていることがわかる。
続いて、ステップS530の処理(図14)では、動き種別判別部510は、動領域シーンYにおいて、作成した平滑化波形に基づいて、その動領域シーンを複数のカテゴリに判別する動き種別の判別を行う。
図17は、本実施例における動き種別の判別を示すフローチャートである。
まず、ステップS535の処理で、動き種別判別部510は、シーン情報テーブル(図15)から、作成された平滑化波形に該当する動領域シーンYにおける開始および終了フレーム番号を読み出すことにより、FsおよびFeを設定する。
まず、ステップS535の処理で、動き種別判別部510は、シーン情報テーブル(図15)から、作成された平滑化波形に該当する動領域シーンYにおける開始および終了フレーム番号を読み出すことにより、FsおよびFeを設定する。
次に、ステップS540の処理(図17)で、動き種別判別部510は、設定したFsおよびFeを上述した式(4)および(5)に代入することにより、FqおよびF3qを算出する。
続いて、ステップS545の処理で、動き種別判別部510は、Fp、Lp(N)の検索を行う。
そして、ステップS550の処理(図17)で、動き種別判別部510は、検索したLp(N)が2以上であるかどうかを判断する。
動き種別判別部510は、Lp(N)が2以上である場合(ステップS550:YES)、すなわち、平滑化波形の極大値の数が2つ以上ある場合には、ステップS555の処理で、被写体中心撮影シーンと判別する。このように判別する理由を以下に示す。
平滑化波形の極大値が2つ以上あるということは、動き量のピークが2つ以上あるということである。このピークは、被写体の動きの転換点を表わすので、このピークが2つ以上あるということは、撮影時に被写体が撮影領域の略中心で様々な動きをしていることを表わす。従って、動き種別判別部510は、平滑化波形の極大値の数が2つ以上ある場合に、被写体中心撮影シーンと判別する。
例えば、動き種別判別部510は、シーン7において平滑化波形は、図16に示すごとく、Lp(3)であるので、シーン7を、被写体中心撮影シーンとして判別する。
動き種別判別部510は、Lp(N)が2未満である場合(ステップS550:No)、すなわち、平滑化波形の極大値の数が2つ未満である場合には、ステップS560の処理で、横切るシーンと判別する。このように判別する理由を以下に示す。
上述において、シーンの分割(図6、ステップS260)は、シーンフラグの転換点、すなわち、被写体が動いているかどうかの境目で行われる。そして、動領域シーンにおいて、シーンの始まりでは、被写体が動き始め、シーンの終わりではほとんど被写体の動きがなくなり、動領域シーン中は、必ず被写体は動いている。従って、動画像が動領域シーン中に切れている場合を除き、平滑化波形は少なくとも1つの極大値を有する。このことから、このステップS550処理において、Lp(N)が2未満である場合とは、平滑化波形の極大値の数が1つの場合であり、すなわち、動画像において被写体の動き量が単調に増加し、極大となり、その後単調に減少するようなシーンに該当する。このようなシーンとしては、以下に示す3つのパターンのいずれかに該当すると考えられる。
パターン1:ビデオカメラの撮影領域において、撮影領域外から被写体が表れて、再び撮影領域外に消えていくシーン。
パターン2:ビデオカメラの撮影領域において、被写体が遠くから近づいて来て、撮影領域外に消えていくシーン。
パターン3:ビデオカメラの撮影領域において、撮影領域外から被写体が表れて、被写体が遠くへ消えていくシーン。
これらパターン1〜3のそれぞれのシーンは、いずれも被写体が撮影領域を横切るシーンである。
パターン1:ビデオカメラの撮影領域において、撮影領域外から被写体が表れて、再び撮影領域外に消えていくシーン。
パターン2:ビデオカメラの撮影領域において、被写体が遠くから近づいて来て、撮影領域外に消えていくシーン。
パターン3:ビデオカメラの撮影領域において、撮影領域外から被写体が表れて、被写体が遠くへ消えていくシーン。
これらパターン1〜3のそれぞれのシーンは、いずれも被写体が撮影領域を横切るシーンである。
以上より、ステップS560の処理(図17)では、動き種別判別部510は、平滑化波形において、極大値の数が2つ未満である場合、すなわち、極大値が1つの場合には、横切るシーンとして判別する。
例えば、動き種別判別部510は、シーン1における平滑化波形は、図16に示すごとく、Lp(1)であるので、シーン1を、横切るシーンとして判別する。
続いて、ステップS555の処理もしくはステップS560の処理が終了すると、動き種別判別部510は、ステップS565の処理(図17)で、平滑化波形においてFpがFq以下であるかを判断する。
動き種別判別部510は、平滑化波形においてFpがFq以下である場合(ステップS565:YES)には、ステップS570の処理で、動領域シーンYを遠のくシーンとして判別する。このように判別する理由を図18(a)を用いて説明する。
図18は、本実施例において動領域シーンのシーン判別を説明するための図である。図の(a)は、遠のくシーンを説明する図であり、(b)は、近づくシーンを説明する図であり、(c)は、等距離シーンを説明する図である。
平滑化波形においてFpがFq以下である場合には、図18の(a)に示すように、Fpは、FsとFqとの間にある。このことは、動領域シーンYにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が大きく、そのシーンが終わりに近づくと、被写体の動き量が小さくなっていくことを示す。すなわち、このシーンは、被写体が遠のいていくシーンを示していることになる。従って、平滑化波形においてFpがFq以下である場合には、動き種別判別部510は、ステップS570の処理で、動領域シーンYを遠のくシーンとして判別する。なお、図18の(a)では、動領域シーンYの平滑化波形が極大値の数が1のみとなっている。しかし、上記条件(Fp≦Fq)を満たす平滑化波形において極大値が複数ある場合にも、この動領域シーンYにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が大きく、そのシーンが終わりに近づくと、被写体の動き量が小さくなる傾向は変らない。従って、動き種別判別部510は、平滑化波形において極大値が複数ある場合にも、この処理において、動領域シーンYを遠のくシーンとして判別する。
動き種別判別部510は、ステップS570の処理で、判別が終了すると、この動き種別の判別を終了する。
動き種別判別部510は、平滑化波形においてFpがFq以上であり(ステップS565:NO)、さらに、FpがF3q以上の場合(ステップS575:YES)には、ステップS580の処理で、動領域シーンYを近づくシーンとして判別する。このように判別する理由を図18(b)を用いて説明する。
平滑化波形においてFpがF3q以上である場合には、図18の(b)に示すように、Fpは、F3qと、Feとの間にある。このことは、動領域シーンYにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が小さく、そのシーンが終わりに近づくと、被写体の動き量が大きくなっていくことを示す。すなわち、このシーンは、被写体が近づいて来るシーンを示していることになる。従って、平滑化波形においてFpがF3q以上である場合には、動き種別判別部510、ステップS570の処理で、動領域シーンYを近づくシーンとして判別する。なお、図18の(b)では、動領域シーンYの平滑化波形が極大値の数が1のみとなっている。しかし、上記条件(F3q≦Fp)を満たす平滑化波形において極大値が複数ある場合にも、この動領域シーンYにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が小さく、そのシーンが終わりに近づくと、被写体の動き量が大きくなる傾向は変らない。従って、動き種別判別部510は、平滑化波形において極大値が複数ある場合にも、この処理において、動領域シーンYを近づくシーンとして判別する。
動き種別判別部510は、ステップS580の処理で、判別が終了すると、この動き種別の判別を終了する。
動き種別判別部510は、平滑化波形において、FpがFqより大きく(ステップS565:NO)、F3qより小さい場合(ステップS575:NO)であり、さらに、上述したステップS560の処理で、横切るシーンと判別している場合(ステップS585:YES)には、ステップS590の処理(図17)で、動領域シーンYを等距離シーンとして判別する。このように判別する理由を図18(c)を用いて説明する。
平滑化波形においてFpがFqより大きく、F3qより小さい場合であり、さらに、横切るシーンと判別されている場合には、平滑化波形は、図18の(c)に示すように、極大値が1つであり、Fpは、Fqと、F3qとの間にある。このことは、動領域シーンYにおいて、そのシーンの始めでは、撮影領域における被写体の動き量が単調に増加し、中盤では、被写体の動き量が大きくなり、そのシーンが終わりに近づくにつれ、被写体の動き量が単調に減少していくことを示す。このようなシーンは、撮影領域において、撮影領域外から被写体が表れて、再び撮影領域外に消えていくシーンであり、かつ、撮影するビデオカメラと被写体の距離が略一定であるようなシーンを表わす。従って、このシーンは、被写体がビデオカメラと一定の距離を保つ、すなわち、等距離にあるようなシーンを示していることになる。このことより、平滑化波形においてFpがFqより大きく、F3qより小さい場合であり、さらに、横切るシーンと判別されている場合には、動き種別判別部510、ステップS590の処理で、動領域シーンYを等距離シーンとして判別する。
動き種別判別部510は、ステップS590の処理で、判別が終了した場合、および、ステップS585の処理で、横切るシーンと判別されなかった場合(ステップS585:NO)には、この動き種別の判別を終了する。
動き種別の判別が終了すると、続いて、ステップS600の処理(図14)で、動領域シーン処理部500は、判別結果を動き種別フラグテーブル(図15)に記憶する。具体的には、動領域シーン処理部500は、動領域シーンYにおいて、上述のステップS530の処理で、動き種別判別部510により判別された動き種別に対して、その動き種別に該当するフラグを1として記憶し、判別されていない動き種別には、その動き種別に該当するフラグを0として記憶する。例えば、動領域シーンであるシーン1において、ステップS530の処理で、動き種別判別部510により動領域シーンYにおける動き種別が横切るシーンおよび近づくシーンとして判別されると、図18のごとく、横切るシーンおよび近づくシーンにフラグが1として記憶され、その他の動き種別である被写体中心撮影シーン、遠のくシーンおよび等距離シーンには、フラグが0として記憶される。
以上のようにして、動領域シーン処理部500は、動領域シーンYを、シーン情報テーブル(図15)において動き種別の判別結果が記憶されていない動領域シーンのうち、シーン番号が小さい動領域シーンから順番に選択していき、すべての動領域シーンについて動き種別フラグテーブル(図15)に、動き種別の判別結果を記憶する。そして、動き種別の判別結果が記憶されていない動領域シーンが残っていない場合(ステップS500:NO)には、この動き種別判別処理を終了する。
B3.動領域検索処理:
続いて、上述の動き種別判別処理の結果を用いて、所望の動領域シーンの検索を行う動領域検索処理を説明する。
図19は、本実施例における動領域シーンの検索を行う動領域検索処理のフローチャートである。
続いて、上述の動き種別判別処理の結果を用いて、所望の動領域シーンの検索を行う動領域検索処理を説明する。
図19は、本実施例における動領域シーンの検索を行う動領域検索処理のフローチャートである。
画像処理部290は、ユーザにより動領域検索ウィンドウの立ち上げの指示がなされると、まず、ステップS800の処理で、動領域検索ウィンドウWWをディスプレイ150に表示させる。
図20は、本実施例における動領域検索ウィンドウWWをディスプレイ150に表示した様子を表わした図である。動領域検索ウィンドウWWにおいて、左側が検索条件表示エリア800となっており、右側がサムネイル画像表示エリア830となっている。検索条件表示エリア800には、検索条件チェックエリア810と検索ボタン820が設けられている。検索条件チェックエリア810には、検索条件として、「被写体中心撮影シーン」、「横切るシーン」、「遠のくシーン」、「近づくシーン」、および「等距離シーン」がチェックボックス815と共に表示されている。ユーザは、チェックボックス815にチェックを入れることで、これらの検索条件を選択できる。また、サムネイル画像表示エリア830には、検索後にサムネイル画像840が表示されるようになっている。
次に、ステップS810の処理(図19)で、画像処理部290は、検索ボタン820が押されたかどうかを判断し、検索ボタン820が押された場合(ステップS810:YES)には、さらに、ユーザにより検索条件が選択されているかどうか、すなわち、検索条件チェックエリア810において、チェックボックス815にチェックがあるかどうかを判断する。画像処理部290は、チェックボックス815に1つもチェックがない場合には、ユーザにより検索条件が選択されていないので、ステップS830の処理で、「検索条件を選択してください。」等のエラーメッセージ(図示せず)をディスプレイ150にポップアップさせて、検索条件を選択するように指示し、ステップS810の処理にリターンする。また、画像処理部290は、ステップS810の処理で、検索ボタン820が押されていない場合(ステップS810:NO)には、検索ボタン820が押されるまで待機する。
画像処理部290は、ユーザにより検索条件が選択されている場合、すなわち、検索条件チェックエリア810において、チェックボックス815にチェックがある場合(ステップS820:YES)には、ステップS840の処理(図19)で、各動領域シーンの動き種別情報をRAM220に読み出す。具体的には、画像処理部290は、シーン情報テーブル(図15)において動領域フラグが1である動領域シーンのシーン番号を認定し、動き種別フラグテーブル(図15)から、その認定した動領域シーンのシーン番号に対応する動き種別情報をRAM220に読み出す。
続いて、ステップS850の処理で、画像処理部290は、読み出した各動領域シーンの動き種別情報と、ユーザにより選択された検索条件とが一致する動領域シーンを探索する。例えば、画像処理部290は、ユーザにより選択された検索条件が、近づくシーンであった場合には、読み出した各動領域シーンの動き種別情報において、近づくシーンフラグが1である動領域シーンを探索する。なお、他の動き種別フラグについても同様に探索される。
探索が終了すると、ステップS860の処理で、画像処理部290は、探索の結果、ユーザにより選択された検索条件とが一致した動領域シーンにおいて、そのシーン番号におけるサムネイルファイル名を、シーン情報テーブルからRAM220に読み出す。例えば、画像処理部290は、ユーザにより選択された検索条件が、近づくシーンであった場合には、読み出した各動領域シーンの動き種別情報において、近づくシーンフラグが1である動領域シーンを検索条件に一致した動領域シーンとして、そのシーン番号におけるサムネイルファイル名を、シーン情報テーブル(図15)からRAM220に読み出す。
次に、ステップS870の処理で(図19)、画像処理部290は、読み出したサムネイルファイル名に該当するサムネイル画像をハードディスク250からRAM220に読み出し、サムネイル画像表示エリア830に表示させる。画像処理部290は、ステップS870の処理が終了すると、この動領域検索処理を終了する。
なお、ユーザが、サムネイル画像表示エリア830に表示されたサムネイル画像840をWクリックすると、画像処理部290は、そのサムネイル画像840のサムネイル画像ファイル名が記憶されている動領域シーンをディスプレイ150に再生表示する。
B4.実施例の効果:
以上のように、本実施例の画像処理装置は、動き種別判別処理(図14)で、動領域シーンにおける動き量Stを時系列に平滑化した波形を作成し(図14、ステップS520)、その平滑化波形の形状から、動領域シーンを5つの動きのシチュエーションに判別(ステップS530)している。上述したように、シーンの分割は、動きのあるなしにより行われるので、動領域シーンにおいて、被写体は、途切れることなく連続して動く。そのため、動き量Stの時系列な変化を表わす平滑化波形は、被写体の動きを如実に表わす。従って、この平滑化波形の形状の特徴と、5つの動きシチュエーションを考慮した条件とを比較することで、動領域シーンを平滑化波形の形状から容易に5つの動きのシチュエーションに判別することができる。さらに、この判別結果を動き種別フラグテーブル(図15)に記憶している(図14、ステップS540)。このようにすれば、記憶された判別結果に基づき、ユーザの所望する動きのシチュエーションに合う動領域シーンを検索することができる。
以上のように、本実施例の画像処理装置は、動き種別判別処理(図14)で、動領域シーンにおける動き量Stを時系列に平滑化した波形を作成し(図14、ステップS520)、その平滑化波形の形状から、動領域シーンを5つの動きのシチュエーションに判別(ステップS530)している。上述したように、シーンの分割は、動きのあるなしにより行われるので、動領域シーンにおいて、被写体は、途切れることなく連続して動く。そのため、動き量Stの時系列な変化を表わす平滑化波形は、被写体の動きを如実に表わす。従って、この平滑化波形の形状の特徴と、5つの動きシチュエーションを考慮した条件とを比較することで、動領域シーンを平滑化波形の形状から容易に5つの動きのシチュエーションに判別することができる。さらに、この判別結果を動き種別フラグテーブル(図15)に記憶している(図14、ステップS540)。このようにすれば、記憶された判別結果に基づき、ユーザの所望する動きのシチュエーションに合う動領域シーンを検索することができる。
また、本実施例の画像処理装置は、上述のように動領域検索処理で、動き種別フラグテーブル(図15)における動き種別情報を読み出し、ユーザが指定する検索条件と一致する動領域シーンを探索する。そして、検索条件と一致した動領域シーンにおいて、その動領域シーンを示すサムネイル画像840を動領域検索ウィンドウWW(図20)のサムネイル画像表示エリア830に表示する。このようにすれば、ユーザの所望する条件にあった動領域シーンが幾つあり、それらの動領域シーンは概ねどのようなシーンであるかを容易に知ることができる。また、ユーザは、サムネイル画像表示エリア830に表示されたサムネイル画像840をWクリックすることにより、所望する動領域シーンをディスプレイ150に再生表示することができる。
C.変形例:
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。
C1.変形例1:
上記実施例では、動画像データを取得し、その動画像データをシーン分割するようにしているが、本発明はこれに限られるものではない。例えば、取得した動画像データを所定の方法で、幾つかに区分し、その区分された動画像データを上述のごとくシーン分割するようにしてもよい。
上記実施例では、動画像データを取得し、その動画像データをシーン分割するようにしているが、本発明はこれに限られるものではない。例えば、取得した動画像データを所定の方法で、幾つかに区分し、その区分された動画像データを上述のごとくシーン分割するようにしてもよい。
C2.変形例2:
上記実施例では、動画像において一度シーンフラグが転換し、その転換後のシーンフラグが4つ以上連続せず再度シーンフラグの転換が生じた部分におけるフレーム画像データをノイズとみなしているが、本発明はこれに限られるものではない。ノイズとみなす部分のフレーム画像データの数について、例えば、4〜20個のフレーム画像データとしてもよい。
上記実施例では、動画像において一度シーンフラグが転換し、その転換後のシーンフラグが4つ以上連続せず再度シーンフラグの転換が生じた部分におけるフレーム画像データをノイズとみなしているが、本発明はこれに限られるものではない。ノイズとみなす部分のフレーム画像データの数について、例えば、4〜20個のフレーム画像データとしてもよい。
C3.変形例3:
上記第2の実施例では、動領域シーン処理部500は、ステップS520の処理(図14)において、波形の平滑化方法として、重み付け移動平均法を用いているが、本発明はこれに限られるものではなく種々の平滑化方法を用いることが可能である。例えば、最小二乗近似法やSavitz−Golay法などの平滑化方法を用いてもよい。
上記第2の実施例では、動領域シーン処理部500は、ステップS520の処理(図14)において、波形の平滑化方法として、重み付け移動平均法を用いているが、本発明はこれに限られるものではなく種々の平滑化方法を用いることが可能である。例えば、最小二乗近似法やSavitz−Golay法などの平滑化方法を用いてもよい。
C4.変形例4:
上記実施例において、取得する動画像データ(図2、ステップS100)は1000個のフレーム画像データで構成されることとしているが、本発明はこれに限られるものではない。取得する動画像データは、1000個未満もしくは、1001個以上のフレーム画像で構成されるようにしてもよい。
上記実施例において、取得する動画像データ(図2、ステップS100)は1000個のフレーム画像データで構成されることとしているが、本発明はこれに限られるものではない。取得する動画像データは、1000個未満もしくは、1001個以上のフレーム画像で構成されるようにしてもよい。
C5.変形例5:
上記実施例では、画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。
上記実施例では、画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。
C6.変形例6:
上記実施例では、画像処理装置として、パーソナルコンピュータ(PC)を採用しているが、本発明はこれに限られるものではない。上述の画像処理装置がビデオカメラ,デジタルカメラ,プリンタ,DVDプレーヤ,ビデオテーププレーヤ,ハードディスクプレーヤ,カメラ付き携帯電話などに内蔵されてもよい。
上記実施例では、画像処理装置として、パーソナルコンピュータ(PC)を採用しているが、本発明はこれに限られるものではない。上述の画像処理装置がビデオカメラ,デジタルカメラ,プリンタ,DVDプレーヤ,ビデオテーププレーヤ,ハードディスクプレーヤ,カメラ付き携帯電話などに内蔵されてもよい。
C7.変形例7:
上記実施例では、フレーム画像間の位置ずれをキャンセル後、基準フレーム画像における各画素とそれらに対応する対象フレーム画像の各画素の画素値の差分絶対値を算出し、その総和を動き量としているが、本発明はこれに限られるものではない。例えば、基準フレーム画像を所定数のブロックに分け、同じように対象フレーム画像もブロックに分ける。そして、フレーム画像間の位置ずれをキャンセル後、基準フレーム画像における各ブロックとそれらに対応する対象フレーム画像の各ブロックの平均画素値の差分の絶対値を算出し、その総和を動き量としてもよい。
上記実施例では、フレーム画像間の位置ずれをキャンセル後、基準フレーム画像における各画素とそれらに対応する対象フレーム画像の各画素の画素値の差分絶対値を算出し、その総和を動き量としているが、本発明はこれに限られるものではない。例えば、基準フレーム画像を所定数のブロックに分け、同じように対象フレーム画像もブロックに分ける。そして、フレーム画像間の位置ずれをキャンセル後、基準フレーム画像における各ブロックとそれらに対応する対象フレーム画像の各ブロックの平均画素値の差分の絶対値を算出し、その総和を動き量としてもよい。
C8.変形例8:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
30...デジタルビデオカメラ
100...コンピュータ
101...コンピュータ
120...キーボード
130...マウス
150...ディスプレイ
240...入力インターフェイス部
250...ハードディスク
290...画像処理部
300...動画像データ取得部
310...動き量検出部
320...位置ずれ量推定部
330...シーン分割処理部
400...動画像表示領域
410...動画像操作領域
420...インジゲータ
430...スライダ
440...動領域シーン識別マーク
500...動領域シーン処理部
510...動き種別判別部
800...検索条件表示エリア
810...検索条件チェックエリア
815...チェックボックス
820...検索ボタン
830...サムネイル画像表示エリア
840...サムネイル画像
100...コンピュータ
101...コンピュータ
120...キーボード
130...マウス
150...ディスプレイ
240...入力インターフェイス部
250...ハードディスク
290...画像処理部
300...動画像データ取得部
310...動き量検出部
320...位置ずれ量推定部
330...シーン分割処理部
400...動画像表示領域
410...動画像操作領域
420...インジゲータ
430...スライダ
440...動領域シーン識別マーク
500...動領域シーン処理部
510...動き種別判別部
800...検索条件表示エリア
810...検索条件チェックエリア
815...チェックボックス
820...検索ボタン
830...サムネイル画像表示エリア
840...サムネイル画像
Claims (12)
- 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理装置であって、
前記複数の画像から2つの画像を1組の画像群として、時系列順に順次設定し、設定された前記1組の画像群ごとに、2つの画像のうち、一方を基準画像、他方を対象画像として設定すると共に、
前記基準画像と前記対象画像との画像間の動きを表わす動き量を検出する動き量検出部と、
検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する動き量記憶部とを備え、
前記動き量検出部は、前記動き量を検出する際、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定して、該対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出し、それら算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記動き量として検出することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記動き量検出部は、前記動き量を検出する際、
前記基準画像と前記対象画像との画像間の位置ずれ量を推定し、
前記基準画素ごとに、前記対象画素を設定する場合には、前記対象画像における前記基準画素に対応する位置から、推定した前記位置ずれ量分だけずらした位置にある画素を対象画素として設定することを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
検出された各動き量に基づいて前記動画像を複数のシーンに分割するシーン分割処理部を備えることを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記シーン分割処理部は、
前記動画像を構成する時系列に並んだ各画像の前記動き量の変化を表わした時系列波形において、予め定められたシーン分割閾値と比較することにより、前記時系列波形を前記シーン分割閾値より大きい部分波形と小さい部分波形とに交互に区分し、
前記動画像において、交互に区分された前記部分波形のそれぞれに対応する部分をそれぞれ1シーンとして、前記動画像を複数のシーンに分割することを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記シーン分割処理部は、
前記動画像における前記1組の画像群ごとに、
検出された前記動き量と予め定められた動き判定閾値とを比較し、前記動き量が前記動き判定閾値より大きい場合には、前記基準画像と前記対象画像との画像間で動きがあることを示す第1の情報を前記基準画像に対応づけて記憶し、前記動き量が前記動き判定閾値より小さい場合には、前記基準画像と前記対象画像との間で動きがないことを示す第2の情報を前記基準画像に対応づけて記憶し、
前記1組の画像群で前記基準画像と設定された画像を時系列順に並べ、その画像に対応づけられて記憶された前記第1の情報または前記第2の情報がそれぞれ前記第2の情報または前記第1の情報へ転換する前の前記画像をシーンの終了画像、転換した後の前記画像をシーンの開始画像として、前記動画像を複数のシーンに分割することを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定し、前記シーン分割閾値より小さい部分波形に対応する前記シーンを静止領域シーンと判定するシーン判定部と、
外部からの指示に基づいて、判定された前記動領域シーンもしくは前記静止領域シーンを選択的に表示する画像表示部とを備えることを特徴とする画像処理装置。 - 請求項4または請求項6に記載の画像処理装置において、
前記シーン分割閾値より大きい部分波形に対応する前記シーンを動領域シーンと判定する動領域シーン判定部と、
前記動領域シーンに関する情報を記憶する動領域情報記憶部と、
前記動領域シーンの動き状況を判別し、判別結果を前記動領域シーンに対応づけて動領域シーン情報として前記動領域情報記憶部に記憶する動領域シーン処理部とを備えることを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、
前記動領域シーン処理部は、
前記動領域シーンにおける前記時系列波形の形状から、前記動領域シーンの前記動き状況を判別することを特徴とする画像処理装置。 - 請求項7または請求項8に記載の画像処理装置において、
外部から指示される検索条件と一致する前記動き状況を前記動領域シーン情報から探索し、前記検索条件と一致した前記動き状況に対応する前記動領域シーンを抽出する動領域探索部を備えることを特徴とする画像処理装置。 - 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割する画像処理方法であって、
(a)前記複数の画像から2つの画像を1組の画像群として、時系列順に順次設定する工程と、
(b)設定された前記1組の画像群ごとに、2つの画像のうち、一方を基準画像、他方を対象画像として設定する工程と、
(c)前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定する工程と、
(d)前記対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出する工程と、
(e)算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記基準画像と前記対象画像との画像間の動きを表わす動き量として検出する工程と
(f)検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する工程と、
を備えることを特徴とする画像処理方法。 - 時系列に並んだ複数の画像からなる動画像を複数のシーンに分割するコンピュータプログラムであって、
前記複数の画像から2つの画像を1組の画像群として、時系列順に順次設定する機能と、
設定された前記1組の画像群ごとに、2つの画像のうち、一方を基準画像、他方を対象画像として設定する機能と、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像における前記基準画素に対応した位置にある画素を対象画素として設定する機能と、
前記対象画素の画素値と前記基準画素の画素値との差分の絶対値をそれぞれ算出する機能と、
算出した前記絶対値の総和を求め、求めた前記絶対値の総和を前記基準画像と前記対象画像との画像間の動きを表わす動き量として検出する機能と
検出した前記動き量を前記基準画像に該当する画像に対応づけて記憶する機能と、
をコンピュータに実現させるコンピュータプログラム。 - 請求項11に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004095101A JP2005286524A (ja) | 2004-03-29 | 2004-03-29 | 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004095101A JP2005286524A (ja) | 2004-03-29 | 2004-03-29 | 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005286524A true JP2005286524A (ja) | 2005-10-13 |
Family
ID=35184468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004095101A Pending JP2005286524A (ja) | 2004-03-29 | 2004-03-29 | 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005286524A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049332A (ja) * | 2005-08-09 | 2007-02-22 | Sony Corp | 記録再生装置および記録再生方法、並びに、記録装置および記録方法 |
JP2008242812A (ja) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | 画像再生装置及びプログラム |
JP2012156981A (ja) * | 2011-01-05 | 2012-08-16 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2016012834A (ja) * | 2014-06-30 | 2016-01-21 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
-
2004
- 2004-03-29 JP JP2004095101A patent/JP2005286524A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049332A (ja) * | 2005-08-09 | 2007-02-22 | Sony Corp | 記録再生装置および記録再生方法、並びに、記録装置および記録方法 |
JP2008242812A (ja) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | 画像再生装置及びプログラム |
JP2012156981A (ja) * | 2011-01-05 | 2012-08-16 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2016012834A (ja) * | 2014-06-30 | 2016-01-21 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4241709B2 (ja) | 画像処理装置 | |
JP3823333B2 (ja) | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム | |
JP4683031B2 (ja) | 電子機器、コンテンツ分類方法及びそのプログラム | |
US20050232588A1 (en) | Video processing device | |
JP2005354124A (ja) | 複数の低画素密度画像からの高画素密度画像の生成 | |
JP4420056B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム | |
JP2003116060A (ja) | 欠陥画素補正装置 | |
JP2006195525A (ja) | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム | |
JP4701598B2 (ja) | 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体 | |
JP5251544B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4994833B2 (ja) | ビデオデータのデインターレーシング | |
JP2005159781A (ja) | 画像選択処理装置、画像選択方法およびそのプログラム、記録媒体 | |
JP5116602B2 (ja) | 映像信号処理装置及び方法、プログラム | |
JP2005286524A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 | |
JP2007149095A (ja) | 動画像の変化点検出方法及び装置 | |
JP4189575B2 (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
JP4235490B2 (ja) | 音楽番組内容メニュー作成装置及び方法 | |
JP4656199B2 (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
JP2009206552A (ja) | 画像処理装置 | |
JP2004072528A (ja) | 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置 | |
JP3325823B2 (ja) | 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体 | |
JP5801038B2 (ja) | 画像表示装置及び画像表示方法 | |
KR100824794B1 (ko) | 화소 신호의 색을 변경하는 방법 및 장치 | |
JP3941808B2 (ja) | 動画像の変化点検出方法及び装置 | |
JP2005275765A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 |